TESTER gesucht / Backup auf Fritz.nas - node 18.18.0

fastfoot

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@thomas-braun

Kannst du mal bitte den Mount manuell setzen und die Optionen probieren?

cache: Die Deaktivierung des Caches cache=none kann helfen, falls die SMB-Freigaben nicht korrekt eingehangen werden.

nobrl: Deaktivierung der Bytebereich-Sperrung (Byte-Range Lock). Einige Programme kommen mit dem Byte-Range Lock nicht zurecht und können deshalb auf gemountete SMB-Freigaben trotz korrekter Berechtigungen nicht schreiben. Abhilfe schafft hier die Mount-Option nobrl.

Der Fehler trat bei Thomas erst mit der 18.18.0 auf und mit node 20, wir hatten bzw haben gzip in Verdacht, da wurde in der neuen node was geändert

fastfoot

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Der Eintrag:

Danke! und der Aufbau der credentials Datei?

simatec

@fastfoot ja mir ist das Thema bekannt. Bin mit Thomas im Issue im Regen Austausch..
Es wäre sicher trotzdem sinnvoll die Mount Optionen mal zu testen.
Und am Ende scheint nur die Fritte betroffen zu sein.

Thomas Braun

@simatec

Mit nobrl und cache=none

echad@chet:/opt/iobroker $ mount | grep FRITZ
//192.168.178.1/FRITZ.NAS/Hitachi-HTS545012B9SA00-01/iobbackups/chet on /opt/iobroker/backups type cifs (rw,nosuid,nodev,noexec,relatime,vers=3.1.1,cache=none,username=iobroker,uid=1001,noforceuid,gid=1001,noforcegid,addr=192.168.178.1,file_mode=0777,dir_mode=0777,soft,nounix,mapposix,nobrl,rsize=65536,wsize=65536,bsize=1048576,echo_interval=60,actimeo=1,closetimeo=5)
echad@chet:/opt/iobroker $ ls -lAh backups/
total 296K
-rwxrwxrwx 1 iobroker iobroker    0 Oct  4 18:16 01_FREIGABE_FRITZ_NAS
-rwxrwxrwx 1 iobroker iobroker  16K Oct  4 18:46 2023_10_04-18_46_20_backupiobroker.tar.gz
-rwxrwxrwx 1 iobroker iobroker  16K Oct  4 18:17 test_alternative.tar.gz
-rwxrwxrwx 1 iobroker iobroker 246K Oct  4 18:17 test_nocompression.tar
-rwxrwxrwx 1 iobroker iobroker  16K Oct  4 18:17 test_standard.tar.gz
echad@chet:/opt/iobroker $

Thomas Braun

Die smbcredentials:

echad@chet:/opt/iobroker $ sudo -u iobroker cat /home/iobroker/.smbcredentials
username=iobroker
password=GehEImes_PassW0rt

Da sehe ich kein Problem.

fastfoot

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot ja mir ist das Thema bekannt. Bin mit Thomas im Issue im Regen Austausch..
Es wäre sicher trotzdem sinnvoll die Mount Optionen mal zu testen.
Und am Ende scheint nur die Fritte betroffen zu sein.

Aber natürlich, besonders Deine Bemerkungen sind besonders willkommen. Wollte dich nur auf den Stand bringen den wir nach stundenlanger Testerei erreicht hatten. Dadurch wurde dann dieser thread hier

Was die Fritte betrifft so haben doch einige diese, wie man hier auch lesen kann. Auch ich habe eine (cable 6591(kdg), os=7.57) und keinerlei Probleme

MartinP

@thomas-braun Da kann ich ja fast froh sein, meinen iobroker LXC Container unter Proxmox nicht privilegiert erstellt zu haben, und ich mir deshalb einen Workaround mit rsync ausdenken musste, um die lokalen Backups vom LXC-Container wegzuschaffen..

simatec

@fastfoot @Thomas-Braun
Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

Thomas Braun

Nochmal zur Zusammfassung: Verhalten taucht bei nodejs@20 in allen Versionen auf, bei nodejs@18 erst ab 18.18.0.
'Normale' Dateioperationen wie cp oder mv in die Freigabe funktionieren immer.
Schreiben eines tar.gz führt zu leeren Dateien.

Thomas Braun

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

Ohne 'noserverino' funktioniert es wie gewohnt nicht mit dem fritz.nas. Hatte ich schon probiert.
Allerdings die SMB-Versionen hatte ich immer fix auf 3.1.1, da mit kann ich nochmal herumspielen.

fastfoot

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot @Thomas-Braun
Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

In der Vergangenheit hatte ich Thomas mal gebeten damit zu experimentieren und denke er hatte das auch gemacht. Bei mir selbst ist es egal was ich einstelle, ich kann den Fehler nicht provozieren. Hatte das auch mal ähnlich damals hatte noserverino einschalten geholfen, war aber auch ne andere Box

im Prinzip reden wir über das Verhalten durch Zeile 179 in node_modules/@iobroker/js-controller-cli/build/lib/setup/setupBackup.js

                tar_1.default.create({ gzip: true, cwd: `${this.tmpDir}/` }, ['backup']).pipe(f);

fastfoot

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Allerdings die SMB-Versionen hatte ich immer fix auf 3.1.1, da mit kann ich nochmal herumspielen.

ist im Skript einstellbar(1.0, 2.0, 3.0, 3.0.2 und 3.1.1)

Thomas Braun

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Allerdings die SMB-Versionen hatte ich immer fix auf 3.1.1, da mit kann ich nochmal herumspielen.

Ich hab es in der fstab jeweils angepasst. Macht aber keinen Unterschied, was ich da angebe. Freies Aushandeln des Dialekts, die diversen Versionen angegeben, macht alles keinen Unterschied, das Backup ist jeweils nur 16KB groß. Ich glaube die mount-Optionen können wir ausschließen.

fastfoot

@thomas-braun könntest du mal die V2 testen, da ist jetzt erstellen/copy berichtigt, d.h. die test_alternative.tar.gz sollte jetzt richtig übertragen werden

simatec

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot @Thomas-Braun
Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

In der Vergangenheit hatte ich Thomas mal gebeten damit zu experimentieren und denke er hatte das auch gemacht. Bei mir selbst ist es egal was ich einstelle, ich kann den Fehler nicht provozieren. Hatte das auch mal ähnlich damals hatte noserverino einschalten geholfen, war aber auch ne andere Box

im Prinzip reden wir über das Verhalten durch Zeile 179 in node_modules/@iobroker/js-controller-cli/build/lib/setup/setupBackup.js
                tar_1.default.create({ gzip: true, cwd: `${this.tmpDir}/` }, ['backup']).pipe(f);

Hier wäre noch die Frage, um den js-controller auszuschließen, wie sich die anderen Backups verhalten. Backitup erstellt ja eigenständig ohne js-controller Backups wie z.B. influx oder JavaScript

Sind die Dateien auch betroffen?

fastfoot

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Sind die Dateien auch betroffen?

Das kann ich gar nicht sagen, bisher tatsächlich nur konzentriert auf das iobroker backup. Falls diese Dateien aber nicht betroffen wären dann hätten wir ja auch schon die Lösung

@Thomas-Braun kannst Du mal Javascript mit reinpacken?

Thomas Braun

@fastfoot

Es sind alle Backuptypen betroffen:

echad@chet:/opt/iobroker $ ls -lah backups/ | grep '20_06\|20_05'
-rwxrwxrwx  1 iobroker iobroker  16K Oct  4 20:07 historyDB_2023_10_04-20_06_45_chet_backupiobroker.tar.gz
-rwxrwxrwx  1 iobroker iobroker  16K Oct  4 20:06 iobroker_2023_10_04-20_06_34_chet_backupiobroker.tar.gz
-rwxrwxrwx  1 iobroker iobroker    0 Oct  4 20:05 javascripts_2023_10_04-20_05_20_chet_backupiobroker.tar.gz
-rwxrwxrwx  1 iobroker iobroker    0 Oct  4 20:05 zigbee.0_2023_10_04-20_05_19_chet_backupiobroker.tar.gz

Was mir im Log auffällt:

Started iobroker ...
[DEBUG] [mount] - noserverino option: true
[DEBUG] [mount] - cifs-mount command: "sudo mount -t cifs -o username=iobroker,password=****,noserverino,rw,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.1.1 //fritz.nas/fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet /opt/iobroker/backups"
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.chet 8104 states saved

[DEBUG] [iobroker] - host.chet 9932 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_10_04-20_06_34_chet_backupiobroker.tar.gz

[DEBUG] [iobroker] - This backup can only be restored with js-controller version up from 4.1

[DEBUG] [iobroker] - done
[DEBUG] [historyDB] - compress from historyDB started ...
[DEBUG] [historyDB] - Packed 0MB so far...
[DEBUG] [historyDB] - Backup created: /opt/iobroker/backups/historyDB_2023_10_04-20_06_45_chet_backupiobroker.tar.gz
[DEBUG] [historyDB] - done
[DEBUG] [zigbee] - found zigbee database: zigbee.0
[DEBUG] [zigbee] - done
[DEBUG] [javascripts] - Created javascript_tmp directory: "/opt/iobroker/backups/tmpScripts"
[DEBUG] [javascripts] - found Script: dwd_uwz_nina_warnungen
[DEBUG] [javascripts] - found Script: lautstaerke_bad
[DEBUG] [javascripts] - found Script: lautstaerke_kueche
[DEBUG] [javascripts] - found Script: paketlieferungen
[DEBUG] [javascripts] - found Script: pakettruhe_offen
[DEBUG] [javascripts] - found Script: ps4_waker
[DEBUG] [javascripts] - found Script: sonnenaufgang
[DEBUG] [javascripts] - found Script: sonnenuntergang
[DEBUG] [javascripts] - found Script: speedtest
[DEBUG] [javascripts] - found Script: telefon_klingelt
[DEBUG] [javascripts] - found Script: treppenhaus_licht_ble
[DEBUG] [javascripts] - found Script: treppenhaus_licht_hub
[DEBUG] [javascripts] - found Script: tuerklingel_laeutet
[DEBUG] [javascripts] - found Script: wohnung_verlassen
[DEBUG] [javascripts] - found Script: zuhause_verlassen
[DEBUG] [javascripts] - found Script: nuki_ext_wohnungstuer_entriegelt
[DEBUG] [javascripts] - found Script: stromzaehler
[DEBUG] [javascripts] - found Script: stromzaehler2
[DEBUG] [javascripts] - found Script: frostwarner
[DEBUG] [javascripts] - found Script: awtrix
[DEBUG] [javascripts] - Try deleting the Javascript tmp directory: "/opt/iobroker/backups/tmpScripts"
[DEBUG] [javascripts] - Javascript tmp directory "/opt/iobroker/backups/tmpScripts" successfully deleted
[DEBUG] [javascripts] - Backup created: /opt/iobroker/backups/javascripts_2023_10_04-20_07_12_chet_backupiobroker.tar.gz
[DEBUG] [javascripts] - done
[DEBUG] [cifs] - used copy path: /fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet
[DEBUG] [cifs] - done
[DEBUG] [clean] - No older backup files are deleted, because this backup was started manually
[DEBUG] [clean] - done
[DEBUG] [whatsapp] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ, umount is started ...
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

History wird z. B. nicht gepackt, sonst zählt der da die MB, hier nicht:

[DEBUG] [historyDB] - compress from historyDB started ...
[DEBUG] [historyDB] - Packed 0MB so far...
[DEBUG] [historyDB] - Backup created: /opt/iobroker/backups/historyDB_2

fastfoot

@thomas-braun wo hat der denn den copy path zur NAS her? hattest du cifs umgestellt auf copy?

Ansonsten schade dass die nicht anders erzeugt werden. Hast du die V2 vom Skript mal testen können?

simatec

@thomas-braun dann kann eigentlich auch der js-controller ausgeschlossen werden

Thomas Braun

Ich hab jetzt gerade die nodejs 18.17.0 noch mal eingespannt. Hier sieht das Log bei History z. B. so aus:

[DEBUG] [historyDB] - compress from historyDB started ...
[DEBUG] [historyDB] - Packed 7MB so far...
[DEBUG] [historyDB] - Packed 18MB so far...
[DEBUG] [historyDB] - Backup created: /opt/iobroker/backups/historyDB_2023_10_04-20_23_55_chet_backupiobroker.tar.gz
[DEBUG] [historyDB] - done

NEWS

TESTER gesucht / Backup auf Fritz.nas - node 18.18.0

Support us

604
Online

31.6k
Users

79.5k
Topics

1.3m
Posts

NEWS

TESTER gesucht / Backup auf Fritz.nas - node 18.18.0

Support us

604Online

31.6kUsers

79.5kTopics

1.3mPosts

604
Online

31.6k
Users

79.5k
Topics

1.3m
Posts