Backup InfluxDB ioBroker

[danwir]

@marc-berg

Ja der Pi4 hat einen anderen Admin Token, hab auch schon probiert nur für den Import den Pi3 Token zu verwenden ging auch nicht

ich versuch mal paar Infos bereitzustellen:
Backup läuft mit SMB3.0
Datenbanken bzw. Bucket heist auf beiden Maschinen Absolut gleich

Im Broker eim Restore auf dem Pi4 kommt: Error: {"errno":-3,"code":"Z_DATA_ERROR"}
Log:
Started restore ...
[DEBUG] [influxDB] - Try deleting the old InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB old tmp directory was successfully deleted
[DEBUG] [influxDB] - Created tmp directory
[DEBUG] [influxDB] - Start infuxDB Restore ...
[ERROR] [influxDB] - Error: incorrect header check
[ERROR] [influxDB] - infuxDB Restore not completed
[EXIT] 0
[DEBUG] [influxDB] - influxdb.0 is stopped
[DEBUG] [influxDB] - influxdb.1 is stopped
[DEBUG] [influxDB] - influxdb.2 is stopped
.

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

Im Broker eim Restore auf dem Pi4 kommt: Error: {"errno":-3,"code":"Z_DATA_ERROR"}

Das spricht für korrupte Backup-Dateien. Hast du die Möglichkeit, das Backup mal auszupacken und anzuschauen? Außerdem mach' mal ein "ls -la" in dem Verzeichnis, in welchem die Backups liegen und zeige mal das Ergebnis.

[danwir]

@marc-berg
ich versuch mein bestes .. die Backup Dateien liegen auf einem NAS (WIN). Normal haben die PI`s komplette Berechtigung darauf. Aber ich cheke das mal gegen und öffne mal die gepackten Dateien.

Guter Ansatz, danke schonmal

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

Aber ich cheke das mal gegen und öffne mal die gepackten Dateien.

Und am besten mal alles Mögliche hier als Screenshot oder Text in Code-Tags zeigen, dann kann man vielleicht was sehen.

[danwir]

@marc-berg SO beide Maschinen nutzen den gleichen FritzBox Zugang und haben daher gleiche und alle Berechtigungen bzgl. lesen/schreiben.

Backup auf Maschine (ALT, PI3)

Started iobroker ...
[DEBUG] [mount] - noserverino option: true
[DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.0 //192.168.178.1/fritz.nas/ext_Festplatte/PI3+4_Backup /opt/iobroker/backups"
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.raspberrypi 10290 states saved

[DEBUG] [iobroker] - host.raspberrypi 10997 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_09_17-13_51_05_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - InfluxDB-Backup for influxdb.0 is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Packed 0MB so far...
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-13_51_37_influxdb.0_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-13_51_37_influxdb.0_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-13_51_37_influxdb.0_backupiobroker" successfully deleted
[DEBUG] [influxDB] - InfluxDB-Backup for influxdb.0 is finish
[DEBUG] [influxDB] - InfluxDB-Backup for influxdb.1 is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-13_52_07_influxdb.1_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-13_52_07_influxdb.1_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-13_52_07_influxdb.1_backupiobroker" successfully deleted
[DEBUG] [influxDB] - InfluxDB-Backup for influxdb.1 is finish
[DEBUG] [influxDB] - done
[DEBUG] [cifs] - used copy path: /fritz.nas/ext_Festplatte/PI3+4_Backup
[DEBUG] [cifs] - done
[DEBUG] [clean] - No older backup files are deleted, because this backup was started manually
[DEBUG] [clean] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ, umount is started ...
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

RESTORE auf neuer Maschine: (PI4)

Fehler beim REstore:

[danwir]

@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.

Ja, viel zu klein. Da läuft beim Backup schon was schief.

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

@marc-berg kann das der Fehler sein ? bisschen klein die Dateien oder ? dafür das da 3 Monate dutzende Daten reinlaufen.

Ich habe dunkel in Erinnerung, dass auch @Thomas-Braun mit dem Mount auf der Fritzbox Probleme hatte. Vielleicht könnte er helfen? Da bin ich nicht fit genug, um sinnvoll helfen zu können. Aber zumindest haben wir die Ursache schon eingekreist.

[danwir]

@marc-berg ich glaub ich hab ne Idee...

ggf falsch herum .. teste

korrektur .. war egal geht trotzdem nicht

[danwir]

@marc-berg ich könnte auch versuchen auf nen Stick am PI direkt .. aber keine Ahnung wie ich den als Ordner einrichten im iOBrocker Backup

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

ggf falsch herum .. teste

Heißen die Buckets in der InfluxDB so wie unter "Name der Datenbank" angegeben?

[Thomas Braun]

@marc-berg sagte in Backup InfluxDB ioBroker:

Ich habe dunkel in Erinnerung, dass auch @Thomas-Braun mit dem Mount auf der Fritzbox Probleme hatte. Vielleicht könnte er helfen?

Richtig. Betrifft bei mir aber nur Backitup-Backups unter nodejs@20 auf einem per CIFS in /opt/iobroker/backup gemounteten ext4-Dateisystem eines FritzNAS. Alle anderen Konstellationen sind nicht betroffen.

[Marc Berg]

@thomas-braun sagte in Backup InfluxDB ioBroker:

Richtig. Betrifft bei mir aber nur Backitup-Backups unter nodejs@20 auf einem per CIFS in /opt/iobroker/backup gemounteten ext4-Dateisystem eines FritzNAS. Alle anderen Konstellationen sind nicht betroffen

Okay, danke! Scheinbar haben wir es hier doch noch mit einem anderen Problem zu tun.

[danwir]

@marc-berg ja Buckets heissen gleich

merkwürdig ist ja er macht ja das BAckup nur irgendwie ohne Inhalt. Das Backup läuft ja auch sauber im Log durch.

Started iobroker ...
[DEBUG] [mount] - noserverino option: true
[DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.0 //192.168.178.1/fritz.nas/ext_Festplatte/PI3+4_Backup /opt/iobroker/backups"
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.raspberrypi 10290 states saved

[DEBUG] [iobroker] - host.raspberrypi 10997 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_09_17-14_13_39_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - InfluxDB-Backup for KNX is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_KNX_backupiobroker" successfully deleted
[DEBUG] [influxDB] - InfluxDB-Backup for KNX is finish
[DEBUG] [influxDB] - InfluxDB-Backup for IR_Lesekopf_Zaehler is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_09_17-14_13_57_IR_Lesekopf_Zaehler_backupiobroker" successfully deleted
[DEBUG] [influxDB] - InfluxDB-Backup for IR_Lesekopf_Zaehler is finish
[DEBUG] [influxDB] - done
[DEBUG] [cifs] - used copy path: /fritz.nas/ext_Festplatte/PI3+4_Backup
[DEBUG] [cifs] - done
[DEBUG] [clean] - No older backup files are deleted, because this backup was started manually
[DEBUG] [clean] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ, umount is started ...
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

merkwürdig ist ja er macht ja das BAckup nur irgendwie ohne Inhalt. Das Backup läuft ja auch sauber im Log durch.

Ja, aber auch das eigentliche ioBroker Backup ist viel zu klein. Ich glaube weiterhin, dass da durch den Mount was verhunzt wird. Kannst du das Ganze mal ohne SMB Mount online bringen?

[danwir]

@marc-berg verrate mir wie ? was soll ich machen

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

verrate mir wie ? was soll ich machen

Im Backitup Adapter alle "Storage locations" abschalten. Dann wird das Backup lokal unter /opt/iobroker/backups abgelegt. Da mal schauen, wie die Größen aussehen.

[danwir]

@marc-berg okay interessant ..

ca 3MB groß ... man was für ein dreck

ahh moment influx vergessen mit zunhemen

ich krieg nen affen ...

auch nur 10KB groß

[Marc Berg]

@danwir sagte in Backup InfluxDB ioBroker:

auch nur 10KB groß

Aber lässt sich die Datei nun öffnen?

[simatec]

@danwir sagte in Backup InfluxDB ioBroker:

[DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.0 //192.168.178.1/fritz.nas/ext_Festplatte/PI3+4_Backup /opt/iobroker/backups"

Stelle bitte für die Fritzbox smb auf 3.1.1.
Sollte dies nicht funktionieren, erstelle erstmal ein lokales Backup, um zu schauen, ob es am Mount liegt.