NEWS
Backup InfluxDB ioBroker
-
Hallo ich habe ein System auf einem PI3 laufen und möchte auf einen Pi4 umsteigen. Auf beiden Systemen laufen mittlerweile 1:1 die gleichen Anwendungen. Bist auf die historischen Daten aus dem alten PI3. Gibt es eine Möglichkeit die Influx Daten herauszukopieren (Backup) und auf dem neuen System aufzuspielen (Restore) ? Ich hab das über die Backup Funktion vom ioBroker probiert. funktioniert leider nicht. Über Console hab ich es aktuell noch nicht sauber hinbekommen
Hat jemand eine Idee ?
@danwir sagte in Backup InfluxDB ioBroker:
Hat jemand eine Idee ?
Die entscheidende Frage dazu ist: von welcher InfluxDb Version kommst du und wo willst du hin?
-
@danwir sagte in Backup InfluxDB ioBroker:
Hat jemand eine Idee ?
Die entscheidende Frage dazu ist: von welcher InfluxDb Version kommst du und wo willst du hin?
@marc-berg Ist alles auf Influx DB2
Pi3
HTTP/1.1 204 No Content
Vary: Accept-Encoding
X-Influxdb-Build: OSS
X-Influxdb-Version: v2.7.1
Date: Sun, 17 Sep 2023 11:28:55 GMTPi4
HTTP/1.1 204 No Content
Vary: Accept-Encoding
X-Influxdb-Build: OSS
X-Influxdb-Version: v2.7.1
Date: Sun, 17 Sep 2023 11:29:44 GMT -
@marc-berg Ist alles auf Influx DB2
Pi3
HTTP/1.1 204 No Content
Vary: Accept-Encoding
X-Influxdb-Build: OSS
X-Influxdb-Version: v2.7.1
Date: Sun, 17 Sep 2023 11:28:55 GMTPi4
HTTP/1.1 204 No Content
Vary: Accept-Encoding
X-Influxdb-Build: OSS
X-Influxdb-Version: v2.7.1
Date: Sun, 17 Sep 2023 11:29:44 GMT@danwir sagte in Backup InfluxDB ioBroker:
Ist alles auf Influx DB2
Dann funktioniert es mit Backitup Adapter. Mehr als "funktioniert nicht" kam aber leider noch nicht von dir. Was konkret hast du schon gemacht und wie lauten die Fehlermeldungen?
Ist dir bewusst, dass du auf der Ziel-Maschine einen anderen Token nutzen musst?
-
@danwir sagte in Backup InfluxDB ioBroker:
Ist alles auf Influx DB2
Dann funktioniert es mit Backitup Adapter. Mehr als "funktioniert nicht" kam aber leider noch nicht von dir. Was konkret hast du schon gemacht und wie lauten die Fehlermeldungen?
Ist dir bewusst, dass du auf der Ziel-Maschine einen anderen Token nutzen musst?
Ja der Pi4 hat einen anderen Admin Token, hab auch schon probiert nur für den Import den Pi3 Token zu verwenden ging auch nicht
ich versuch mal paar Infos bereitzustellen:
Backup läuft mit SMB3.0
Datenbanken bzw. Bucket heist auf beiden Maschinen Absolut gleichIm Broker eim Restore auf dem Pi4 kommt: Error: {"errno":-3,"code":"Z_DATA_ERROR"}
Log:
Started restore ...
[DEBUG] [influxDB] - Try deleting the old InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB old tmp directory was successfully deleted
[DEBUG] [influxDB] - Created tmp directory
[DEBUG] [influxDB] - Start infuxDB Restore ...
[ERROR] [influxDB] - Error: incorrect header check
[ERROR] [influxDB] - infuxDB Restore not completed
[EXIT] 0
[DEBUG] [influxDB] - influxdb.0 is stopped
[DEBUG] [influxDB] - influxdb.1 is stopped
[DEBUG] [influxDB] - influxdb.2 is stopped
. -
Ja der Pi4 hat einen anderen Admin Token, hab auch schon probiert nur für den Import den Pi3 Token zu verwenden ging auch nicht
ich versuch mal paar Infos bereitzustellen:
Backup läuft mit SMB3.0
Datenbanken bzw. Bucket heist auf beiden Maschinen Absolut gleichIm Broker eim Restore auf dem Pi4 kommt: Error: {"errno":-3,"code":"Z_DATA_ERROR"}
Log:
Started restore ...
[DEBUG] [influxDB] - Try deleting the old InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB old tmp directory was successfully deleted
[DEBUG] [influxDB] - Created tmp directory
[DEBUG] [influxDB] - Start infuxDB Restore ...
[ERROR] [influxDB] - Error: incorrect header check
[ERROR] [influxDB] - infuxDB Restore not completed
[EXIT] 0
[DEBUG] [influxDB] - influxdb.0 is stopped
[DEBUG] [influxDB] - influxdb.1 is stopped
[DEBUG] [influxDB] - influxdb.2 is stopped
.@danwir sagte in Backup InfluxDB ioBroker:
Im Broker eim Restore auf dem Pi4 kommt: Error: {"errno":-3,"code":"Z_DATA_ERROR"}
Das spricht für korrupte Backup-Dateien. Hast du die Möglichkeit, das Backup mal auszupacken und anzuschauen? Außerdem mach' mal ein "ls -la" in dem Verzeichnis, in welchem die Backups liegen und zeige mal das Ergebnis.
-
@danwir sagte in Backup InfluxDB ioBroker:
Im Broker eim Restore auf dem Pi4 kommt: Error: {"errno":-3,"code":"Z_DATA_ERROR"}
Das spricht für korrupte Backup-Dateien. Hast du die Möglichkeit, das Backup mal auszupacken und anzuschauen? Außerdem mach' mal ein "ls -la" in dem Verzeichnis, in welchem die Backups liegen und zeige mal das Ergebnis.
-
@marc-berg
ich versuch mein bestes .. die Backup Dateien liegen auf einem NAS (WIN). Normal haben die PI`s komplette Berechtigung darauf. Aber ich cheke das mal gegen und öffne mal die gepackten Dateien.Guter Ansatz, danke schonmal
@danwir sagte in Backup InfluxDB ioBroker:
Aber ich cheke das mal gegen und öffne mal die gepackten Dateien.
Und am besten mal alles Mögliche hier als Screenshot oder Text in Code-Tags zeigen, dann kann man vielleicht was sehen.
-
@danwir sagte in Backup InfluxDB ioBroker:
Aber ich cheke das mal gegen und öffne mal die gepackten Dateien.
Und am besten mal alles Mögliche hier als Screenshot oder Text in Code-Tags zeigen, dann kann man vielleicht was sehen.
@marc-berg SO beide Maschinen nutzen den gleichen FritzBox Zugang und haben daher gleiche und alle Berechtigungen bzgl. lesen/schreiben.
Backup auf Maschine (ALT, PI3)
Started iobroker ... [DEBUG] [mount] - noserverino option: true [DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.0 //192.168.178.1/fritz.nas/ext_Festplatte/PI3+4_Backup /opt/iobroker/backups" [DEBUG] [mount] - mount successfully completed [DEBUG] [mount] - done [DEBUG] [iobroker] - host.raspberrypi 10290 states saved [DEBUG] [iobroker] - host.raspberrypi 10997 objects saved [DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_09_17-13_51_05_backupiobroker.tar.gz [DEBUG] [iobroker] - done [DEBUG] [influxDB] - InfluxDB-Backup for influxdb.0 is started ... [DEBUG] [influxDB] - Start InfluxDB Backup ... [DEBUG] [influxDB] - InfluxDB Backup tmp directory created [DEBUG] [influxDB] - Packed 0MB so far... [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-13_51_37_influxdb.0_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-13_51_37_influxdb.0_backupiobroker" [DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-13_51_37_influxdb.0_backupiobroker" successfully deleted [DEBUG] [influxDB] - InfluxDB-Backup for influxdb.0 is finish [DEBUG] [influxDB] - InfluxDB-Backup for influxdb.1 is started ... [DEBUG] [influxDB] - Start InfluxDB Backup ... [DEBUG] [influxDB] - InfluxDB Backup tmp directory created [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-13_52_07_influxdb.1_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-13_52_07_influxdb.1_backupiobroker" [DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-13_52_07_influxdb.1_backupiobroker" successfully deleted [DEBUG] [influxDB] - InfluxDB-Backup for influxdb.1 is finish [DEBUG] [influxDB] - done [DEBUG] [cifs] - used copy path: /fritz.nas/ext_Festplatte/PI3+4_Backup [DEBUG] [cifs] - done [DEBUG] [clean] - No older backup files are deleted, because this backup was started manually [DEBUG] [clean] - done [DEBUG] [historyHTML] - new history html values created [DEBUG] [historyHTML] - done [DEBUG] [historyJSON] - new history json values created [DEBUG] [historyJSON] - done [DEBUG] [umount] - mount activ, umount is started ... [DEBUG] [umount] - umount successfully completed [DEBUG] [umount] - done [EXIT] 0
RESTORE auf neuer Maschine: (PI4)
Fehler beim REstore:
-
@danwir sagte in Backup InfluxDB ioBroker:
Aber ich cheke das mal gegen und öffne mal die gepackten Dateien.
Und am besten mal alles Mögliche hier als Screenshot oder Text in Code-Tags zeigen, dann kann man vielleicht was sehen.
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
-
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
@danwir sagte in Backup InfluxDB ioBroker:
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
Ja, viel zu klein. Da läuft beim Backup schon was schief.
-
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
@danwir sagte in Backup InfluxDB ioBroker:
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
Ich habe dunkel in Erinnerung, dass auch @Thomas-Braun mit dem Mount auf der Fritzbox Probleme hatte. Vielleicht könnte er helfen? Da bin ich nicht fit genug, um sinnvoll helfen zu können. Aber zumindest haben wir die Ursache schon eingekreist.
NUC10I3+Ubuntu+Docker+ioBroker+influxDB2+Node Red+EMQX+Grafana
Pi-hole, Traefik, Checkmk, Conbee II+Zigbee2MQTT, ESPSomfy-RTS, LoRaWAN, Arduino, KiCad
Benutzt das Voting im Beitrag, wenn er euch geholfen hat.
-
@danwir sagte in Backup InfluxDB ioBroker:
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
Ja, viel zu klein. Da läuft beim Backup schon was schief.
@marc-berg ich glaub ich hab ne Idee...
ggf falsch herum .. teste
korrektur .. war egal geht trotzdem nicht
-
@danwir sagte in Backup InfluxDB ioBroker:
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
Ja, viel zu klein. Da läuft beim Backup schon was schief.
@marc-berg ich könnte auch versuchen auf nen Stick am PI direkt .. aber keine Ahnung wie ich den als Ordner einrichten im iOBrocker Backup
-
@marc-berg ich glaub ich hab ne Idee...
ggf falsch herum .. teste
korrektur .. war egal geht trotzdem nicht
@danwir sagte in Backup InfluxDB ioBroker:
ggf falsch herum .. teste
Heißen die Buckets in der InfluxDB so wie unter "Name der Datenbank" angegeben?
-
@danwir sagte in Backup InfluxDB ioBroker:
@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.
Ich habe dunkel in Erinnerung, dass auch @Thomas-Braun mit dem Mount auf der Fritzbox Probleme hatte. Vielleicht könnte er helfen? Da bin ich nicht fit genug, um sinnvoll helfen zu können. Aber zumindest haben wir die Ursache schon eingekreist.
@marc-berg sagte in Backup InfluxDB ioBroker:
Ich habe dunkel in Erinnerung, dass auch @Thomas-Braun mit dem Mount auf der Fritzbox Probleme hatte. Vielleicht könnte er helfen?
Richtig. Betrifft bei mir aber nur Backitup-Backups unter nodejs@20 auf einem per CIFS in /opt/iobroker/backup gemounteten ext4-Dateisystem eines FritzNAS. Alle anderen Konstellationen sind nicht betroffen.
-
@marc-berg sagte in Backup InfluxDB ioBroker:
Ich habe dunkel in Erinnerung, dass auch @Thomas-Braun mit dem Mount auf der Fritzbox Probleme hatte. Vielleicht könnte er helfen?
Richtig. Betrifft bei mir aber nur Backitup-Backups unter nodejs@20 auf einem per CIFS in /opt/iobroker/backup gemounteten ext4-Dateisystem eines FritzNAS. Alle anderen Konstellationen sind nicht betroffen.
@thomas-braun sagte in Backup InfluxDB ioBroker:
Richtig. Betrifft bei mir aber nur Backitup-Backups unter nodejs@20 auf einem per CIFS in /opt/iobroker/backup gemounteten ext4-Dateisystem eines FritzNAS. Alle anderen Konstellationen sind nicht betroffen
Okay, danke! Scheinbar haben wir es hier doch noch mit einem anderen Problem zu tun.
-
@thomas-braun sagte in Backup InfluxDB ioBroker:
Richtig. Betrifft bei mir aber nur Backitup-Backups unter nodejs@20 auf einem per CIFS in /opt/iobroker/backup gemounteten ext4-Dateisystem eines FritzNAS. Alle anderen Konstellationen sind nicht betroffen
Okay, danke! Scheinbar haben wir es hier doch noch mit einem anderen Problem zu tun.
@marc-berg ja Buckets heissen gleich
merkwürdig ist ja er macht ja das BAckup nur irgendwie ohne Inhalt. Das Backup läuft ja auch sauber im Log durch.
Started iobroker ... [DEBUG] [mount] - noserverino option: true [DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.0 //192.168.178.1/fritz.nas/ext_Festplatte/PI3+4_Backup /opt/iobroker/backups" [DEBUG] [mount] - mount successfully completed [DEBUG] [mount] - done [DEBUG] [iobroker] - host.raspberrypi 10290 states saved [DEBUG] [iobroker] - host.raspberrypi 10997 objects saved [DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_09_17-14_13_39_backupiobroker.tar.gz [DEBUG] [iobroker] - done [DEBUG] [influxDB] - InfluxDB-Backup for KNX is started ... [DEBUG] [influxDB] - Start InfluxDB Backup ... [DEBUG] [influxDB] - InfluxDB Backup tmp directory created [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker" [DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker" successfully deleted [DEBUG] [influxDB] - InfluxDB-Backup for KNX is finish [DEBUG] [influxDB] - InfluxDB-Backup for IR_Lesekopf_Zaehler is started ... [DEBUG] [influxDB] - Start InfluxDB Backup ... [DEBUG] [influxDB] - InfluxDB Backup tmp directory created [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker" [DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker" successfully deleted [DEBUG] [influxDB] - InfluxDB-Backup for IR_Lesekopf_Zaehler is finish [DEBUG] [influxDB] - done [DEBUG] [cifs] - used copy path: /fritz.nas/ext_Festplatte/PI3+4_Backup [DEBUG] [cifs] - done [DEBUG] [clean] - No older backup files are deleted, because this backup was started manually [DEBUG] [clean] - done [DEBUG] [historyHTML] - new history html values created [DEBUG] [historyHTML] - done [DEBUG] [historyJSON] - new history json values created [DEBUG] [historyJSON] - done [DEBUG] [umount] - mount activ, umount is started ... [DEBUG] [umount] - umount successfully completed [DEBUG] [umount] - done [EXIT] 0 -
@marc-berg ja Buckets heissen gleich
merkwürdig ist ja er macht ja das BAckup nur irgendwie ohne Inhalt. Das Backup läuft ja auch sauber im Log durch.
Started iobroker ... [DEBUG] [mount] - noserverino option: true [DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.0 //192.168.178.1/fritz.nas/ext_Festplatte/PI3+4_Backup /opt/iobroker/backups" [DEBUG] [mount] - mount successfully completed [DEBUG] [mount] - done [DEBUG] [iobroker] - host.raspberrypi 10290 states saved [DEBUG] [iobroker] - host.raspberrypi 10997 objects saved [DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_09_17-14_13_39_backupiobroker.tar.gz [DEBUG] [iobroker] - done [DEBUG] [influxDB] - InfluxDB-Backup for KNX is started ... [DEBUG] [influxDB] - Start InfluxDB Backup ... [DEBUG] [influxDB] - InfluxDB Backup tmp directory created [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker" [DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker" successfully deleted [DEBUG] [influxDB] - InfluxDB-Backup for KNX is finish [DEBUG] [influxDB] - InfluxDB-Backup for IR_Lesekopf_Zaehler is started ... [DEBUG] [influxDB] - Start InfluxDB Backup ... [DEBUG] [influxDB] - InfluxDB Backup tmp directory created [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker" [DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker" successfully deleted [DEBUG] [influxDB] - InfluxDB-Backup for IR_Lesekopf_Zaehler is finish [DEBUG] [influxDB] - done [DEBUG] [cifs] - used copy path: /fritz.nas/ext_Festplatte/PI3+4_Backup [DEBUG] [cifs] - done [DEBUG] [clean] - No older backup files are deleted, because this backup was started manually [DEBUG] [clean] - done [DEBUG] [historyHTML] - new history html values created [DEBUG] [historyHTML] - done [DEBUG] [historyJSON] - new history json values created [DEBUG] [historyJSON] - done [DEBUG] [umount] - mount activ, umount is started ... [DEBUG] [umount] - umount successfully completed [DEBUG] [umount] - done [EXIT] 0@danwir sagte in Backup InfluxDB ioBroker:
merkwürdig ist ja er macht ja das BAckup nur irgendwie ohne Inhalt. Das Backup läuft ja auch sauber im Log durch.
Ja, aber auch das eigentliche ioBroker Backup ist viel zu klein. Ich glaube weiterhin, dass da durch den Mount was verhunzt wird. Kannst du das Ganze mal ohne SMB Mount online bringen?
-
@danwir sagte in Backup InfluxDB ioBroker:
merkwürdig ist ja er macht ja das BAckup nur irgendwie ohne Inhalt. Das Backup läuft ja auch sauber im Log durch.
Ja, aber auch das eigentliche ioBroker Backup ist viel zu klein. Ich glaube weiterhin, dass da durch den Mount was verhunzt wird. Kannst du das Ganze mal ohne SMB Mount online bringen?
-
@marc-berg verrate mir wie ? was soll ich machen
@danwir sagte in Backup InfluxDB ioBroker:
verrate mir wie ? was soll ich machen
Im Backitup Adapter alle "Storage locations" abschalten. Dann wird das Backup lokal unter /opt/iobroker/backups abgelegt. Da mal schauen, wie die Größen aussehen.
657
Online32.5k
Benutzer81.8k
Themen1.3m
Beiträge