TESTER gesucht / Backup auf Fritz.nas - node 18.18.0

[Thomas Braun]

Nochmal zur Zusammfassung: Verhalten taucht bei nodejs@20 in allen Versionen auf, bei nodejs@18 erst ab 18.18.0.
'Normale' Dateioperationen wie cp oder mv in die Freigabe funktionieren immer.
Schreiben eines tar.gz führt zu leeren Dateien.

[Thomas Braun]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

Ohne 'noserverino' funktioniert es wie gewohnt nicht mit dem fritz.nas. Hatte ich schon probiert.
Allerdings die SMB-Versionen hatte ich immer fix auf 3.1.1, da mit kann ich nochmal herumspielen.

[fastfoot]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot @Thomas-Braun
Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

In der Vergangenheit hatte ich Thomas mal gebeten damit zu experimentieren und denke er hatte das auch gemacht. Bei mir selbst ist es egal was ich einstelle, ich kann den Fehler nicht provozieren. Hatte das auch mal ähnlich damals hatte noserverino einschalten geholfen, war aber auch ne andere Box

im Prinzip reden wir über das Verhalten durch Zeile 179 in node_modules/@iobroker/js-controller-cli/build/lib/setup/setupBackup.js

                tar_1.default.create({ gzip: true, cwd: `${this.tmpDir}/` }, ['backup']).pipe(f);

[fastfoot]

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Allerdings die SMB-Versionen hatte ich immer fix auf 3.1.1, da mit kann ich nochmal herumspielen.

ist im Skript einstellbar(1.0, 2.0, 3.0, 3.0.2 und 3.1.1)

[Thomas Braun]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Allerdings die SMB-Versionen hatte ich immer fix auf 3.1.1, da mit kann ich nochmal herumspielen.

Ich hab es in der fstab jeweils angepasst. Macht aber keinen Unterschied, was ich da angebe. Freies Aushandeln des Dialekts, die diversen Versionen angegeben, macht alles keinen Unterschied, das Backup ist jeweils nur 16KB groß. Ich glaube die mount-Optionen können wir ausschließen.

[fastfoot]

@thomas-braun könntest du mal die V2 testen, da ist jetzt erstellen/copy berichtigt, d.h. die test_alternative.tar.gz sollte jetzt richtig übertragen werden

[simatec]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot @Thomas-Braun
Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

In der Vergangenheit hatte ich Thomas mal gebeten damit zu experimentieren und denke er hatte das auch gemacht. Bei mir selbst ist es egal was ich einstelle, ich kann den Fehler nicht provozieren. Hatte das auch mal ähnlich damals hatte noserverino einschalten geholfen, war aber auch ne andere Box

im Prinzip reden wir über das Verhalten durch Zeile 179 in node_modules/@iobroker/js-controller-cli/build/lib/setup/setupBackup.js

                tar_1.default.create({ gzip: true, cwd: `${this.tmpDir}/` }, ['backup']).pipe(f);

Hier wäre noch die Frage, um den js-controller auszuschließen, wie sich die anderen Backups verhalten. Backitup erstellt ja eigenständig ohne js-controller Backups wie z.B. influx oder JavaScript

Sind die Dateien auch betroffen?

[fastfoot]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Sind die Dateien auch betroffen?

Das kann ich gar nicht sagen, bisher tatsächlich nur konzentriert auf das iobroker backup. Falls diese Dateien aber nicht betroffen wären dann hätten wir ja auch schon die Lösung

@Thomas-Braun kannst Du mal Javascript mit reinpacken?

[Thomas Braun]

@fastfoot

Es sind alle Backuptypen betroffen:

echad@chet:/opt/iobroker $ ls -lah backups/ | grep '20_06\|20_05'
-rwxrwxrwx  1 iobroker iobroker  16K Oct  4 20:07 historyDB_2023_10_04-20_06_45_chet_backupiobroker.tar.gz
-rwxrwxrwx  1 iobroker iobroker  16K Oct  4 20:06 iobroker_2023_10_04-20_06_34_chet_backupiobroker.tar.gz
-rwxrwxrwx  1 iobroker iobroker    0 Oct  4 20:05 javascripts_2023_10_04-20_05_20_chet_backupiobroker.tar.gz
-rwxrwxrwx  1 iobroker iobroker    0 Oct  4 20:05 zigbee.0_2023_10_04-20_05_19_chet_backupiobroker.tar.gz

Was mir im Log auffällt:

Started iobroker ...
[DEBUG] [mount] - noserverino option: true
[DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.1.1 //fritz.nas/fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet /opt/iobroker/backups"
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.chet 8104 states saved

[DEBUG] [iobroker] - host.chet 9932 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_10_04-20_06_34_chet_backupiobroker.tar.gz

[DEBUG] [iobroker] - This backup can only be restored with js-controller version up from 4.1

[DEBUG] [iobroker] - done
[DEBUG] [historyDB] - compress from historyDB started ...
[DEBUG] [historyDB] - Packed 0MB so far...
[DEBUG] [historyDB] - Backup created: /opt/iobroker/backups/historyDB_2023_10_04-20_06_45_chet_backupiobroker.tar.gz
[DEBUG] [historyDB] - done
[DEBUG] [zigbee] - found zigbee database: zigbee.0
[DEBUG] [zigbee] - done
[DEBUG] [javascripts] - Created javascript_tmp directory: "/opt/iobroker/backups/tmpScripts"
[DEBUG] [javascripts] - found Script: dwd_uwz_nina_warnungen
[DEBUG] [javascripts] - found Script: lautstaerke_bad
[DEBUG] [javascripts] - found Script: lautstaerke_kueche
[DEBUG] [javascripts] - found Script: paketlieferungen
[DEBUG] [javascripts] - found Script: pakettruhe_offen
[DEBUG] [javascripts] - found Script: ps4_waker
[DEBUG] [javascripts] - found Script: sonnenaufgang
[DEBUG] [javascripts] - found Script: sonnenuntergang
[DEBUG] [javascripts] - found Script: speedtest
[DEBUG] [javascripts] - found Script: telefon_klingelt
[DEBUG] [javascripts] - found Script: treppenhaus_licht_ble
[DEBUG] [javascripts] - found Script: treppenhaus_licht_hub
[DEBUG] [javascripts] - found Script: tuerklingel_laeutet
[DEBUG] [javascripts] - found Script: wohnung_verlassen
[DEBUG] [javascripts] - found Script: zuhause_verlassen
[DEBUG] [javascripts] - found Script: nuki_ext_wohnungstuer_entriegelt
[DEBUG] [javascripts] - found Script: stromzaehler
[DEBUG] [javascripts] - found Script: stromzaehler2
[DEBUG] [javascripts] - found Script: frostwarner
[DEBUG] [javascripts] - found Script: awtrix
[DEBUG] [javascripts] - Try deleting the Javascript tmp directory: "/opt/iobroker/backups/tmpScripts"
[DEBUG] [javascripts] - Javascript tmp directory "/opt/iobroker/backups/tmpScripts" successfully deleted
[DEBUG] [javascripts] - Backup created: /opt/iobroker/backups/javascripts_2023_10_04-20_07_12_chet_backupiobroker.tar.gz
[DEBUG] [javascripts] - done
[DEBUG] [cifs] - used copy path: /fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet
[DEBUG] [cifs] - done
[DEBUG] [clean] - No older backup files are deleted, because this backup was started manually
[DEBUG] [clean] - done
[DEBUG] [whatsapp] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ, umount is started ...
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

History wird z. B. nicht gepackt, sonst zählt der da die MB, hier nicht:

[DEBUG] [historyDB] - compress from historyDB started ...
[DEBUG] [historyDB] - Packed 0MB so far...
[DEBUG] [historyDB] - Backup created: /opt/iobroker/backups/historyDB_2

[fastfoot]

@thomas-braun wo hat der denn den copy path zur NAS her? hattest du cifs umgestellt auf copy?

Ansonsten schade dass die nicht anders erzeugt werden. Hast du die V2 vom Skript mal testen können?

[simatec]

@thomas-braun dann kann eigentlich auch der js-controller ausgeschlossen werden

[Thomas Braun]

Ich hab jetzt gerade die nodejs 18.17.0 noch mal eingespannt. Hier sieht das Log bei History z. B. so aus:

[DEBUG] [historyDB] - compress from historyDB started ...
[DEBUG] [historyDB] - Packed 7MB so far...
[DEBUG] [historyDB] - Packed 18MB so far...
[DEBUG] [historyDB] - Backup created: /opt/iobroker/backups/historyDB_2023_10_04-20_23_55_chet_backupiobroker.tar.gz
[DEBUG] [historyDB] - done

[Thomas Braun]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

dann kann eigentlich auch der js-controller ausgeschlossen werden

Ja, den ändere ich ja auch nie. Die einzige Änderung ist jeweils die nodejs-Version.

[Thomas Braun]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Hast du die V2 vom Skript mal testen können?

Huh? Hab ich übersehen...

[Thomas Braun]

Damit kein Problem auf das NAS zu backupsen:

echad@chet:/opt/iobroker $ nodejs -v
v18.17.1
echad@chet:/opt/iobroker $ ls -lAh backups/ | grep 20_23
-rwxrwxrwx 1 iobroker iobroker  29M Oct  4 20:24 historyDB_2023_10_04-20_23_55_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 iobroker iobroker 5.8M Oct  4 20:23 iobroker_2023_10_04-20_23_39_chet_backupiobroker.tar.gz

[simatec]

@thomas-braun Ich meinte js-controller in Verbindung mit Node20

[fastfoot]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@thomas-braun dann kann eigentlich auch der js-controller ausgeschlossen werden

das verstehe ich jetzt nicht iob backup macht doch der js-controller, auch die Datei in node_modules/@iobroker/js-controller-cli/build/lib/setup/setupBackup.js deutet auf den controller?

[Thomas Braun]

fastfoot-Skript V2 mit nodejs 18.17.1:

/opt/iobroker/backups unmounted
//fritz.box/fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet mounted into /opt/iobroker/backups

file test_standard.tar.gz created
file test_standard.tar.gz done
number of files in test_standard.tar.gz: 115

file test_nocompression.tar created
file test_nocompression.tar done
number of files in test_nocompression.tar: 115

file test_alternative.tar.gz created
file test_alternative.tar.gz done
number of files in test_alternative.tar.gz: 115

listing of created files in /opt/iobroker/backups
-rwxrwxrwx 1 root root 154379 Oct  4 20:35 /opt/iobroker/backups/test_alternative.tar.gz
-rwxrwxrwx 1 root root 819712 Oct  4 20:35 /opt/iobroker/backups/test_nocompression.tar
-rwxrwxrwx 1 root root 154379 Oct  4 20:35 /opt/iobroker/backups/test_standard.tar.gz

Mit nodejs 18.18.0:

/opt/iobroker/backups unmounted
//fritz.box/fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet mounted into /opt/iobroker/backups

file test_standard.tar.gz created
file test_standard.tar.gz done
number of files in test_standard.tar.gz: 0

file test_nocompression.tar created
file test_nocompression.tar done
number of files in test_nocompression.tar: 0

file test_alternative.tar.gz created
file test_alternative.tar.gz done
number of files in test_alternative.tar.gz: 115

listing of created files in /opt/iobroker/backups
-rwxrwxrwx 1 root root 154371 Oct  4 20:41 /opt/iobroker/backups/test_alternative.tar.gz
-rwxrwxrwx 1 root root 252928 Oct  4 20:41 /opt/iobroker/backups/test_nocompression.tar
-rwxrwxrwx 1 root root  16384 Oct  4 20:41 /opt/iobroker/backups/test_standard.tar.gz

[fastfoot]

@thomas-braun das ist was ich sehen wollte! Mit create local/copy to nas funktioniert das Ganze. Könntest du mal das nocompression testen, files = 0 sieht aus wie korrupt aber die Gösse könnte stimmen. tar -tf backups/test_nocompression.tar

[Thomas Braun]

@fastfoot

echad@chet:/opt/iobroker $ tar -tf backups/test_nocompression.tar
echad@chet:/opt/iobroker $ ls -lAh backups/
total 36M
-rwxrwxrwx 1 root root    0 Oct  4 18:16 01_FREIGABE_FRITZ_NAS
-rwxrwxrwx 1 root root  16K Oct  4 18:46 2023_10_04-18_46_20_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  16K Oct  4 19:08 2023_10_04-19_07_57_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  16K Oct  4 19:11 2023_10_04-19_11_08_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 19:26 historyDB_2023_10_04-19_26_02_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 20:05 historyDB_2023_10_04-20_04_52_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  16K Oct  4 20:07 historyDB_2023_10_04-20_06_45_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  29M Oct  4 20:24 historyDB_2023_10_04-20_23_55_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 19:26 iobroker_2023_10_04-19_25_51_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 20:05 iobroker_2023_10_04-20_04_41_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  16K Oct  4 20:06 iobroker_2023_10_04-20_06_34_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root 5.8M Oct  4 20:23 iobroker_2023_10_04-20_23_39_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 19:26 javascripts_2023_10_04-19_26_28_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 20:05 javascripts_2023_10_04-20_05_20_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  14K Oct  4 20:07 javascripts_2023_10_04-20_07_12_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  73K Oct  4 20:24 javascripts_2023_10_04-20_24_23_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root 151K Oct  4 20:41 test_alternative.tar.gz
-rwxrwxrwx 1 root root 247K Oct  4 20:41 test_nocompression.tar
-rwxrwxrwx 1 root root  16K Oct  4 20:41 test_standard.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 19:26 zigbee.0_2023_10_04-19_26_28_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root    0 Oct  4 20:05 zigbee.0_2023_10_04-20_05_19_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  955 Oct  4 20:07 zigbee.0_2023_10_04-20_07_11_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  969 Oct  4 20:24 zigbee.0_2023_10_04-20_24_22_chet_backupiobroker.tar.gz
echad@chet:/opt/iobroker $