TESTER gesucht / Backup auf Fritz.nas - node 18.18.0

[fastfoot]

@thomas-braun ist das die gleiche Config mit der wir die Tage getestet hatten? Da hatte nämlich sowohl die alternative Methode als auch die unkomprimierte Version funktioniert. Die unkomprimierte Version ist zwar grösser aber ich denke mal dass sie auch korrupt ist(tar -tf backups/test_nocompression.tar).
Hier mein Output mit aktuellem js-controller

/opt/iobroker/backups unmounted
//fritz.box/fritz.nas/Backup mounted into /opt/iobroker/backups

file test_standard.tar.gz created
file test_standard.tar.gz done
number of files in test_standard.tar.gz: 292

file test_nocompression.tar created
file test_nocompression.tar done
number of files in test_nocompression.tar: 292

file test_alternative.tar.gz created
file test_alternative.tar.gz done
number of files in test_alternative.tar.gz: 292

listing of created files in /opt/iobroker/backups
-rwxrwxrwx 1 root root  7109435 Okt  4 18:02 /opt/iobroker/backups/test_alternative.tar.gz
-rwxrwxrwx 1 root root 42487808 Okt  4 18:02 /opt/iobroker/backups/test_nocompression.tar
-rwxrwxrwx 1 root root  7109456 Okt  4 18:02 /opt/iobroker/backups/test_standard.tar.gz

[Thomas Braun]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

ist das die gleiche Config mit der wir die Tage getestet hatten?

Ja, im Grund schon. Ich mounte über die fstab allerdings mit smbcredentials statt user/pw, aber das sollte keinen Unterschied machen, die Freigabe landet ja im Mountpunkt.

[O S]

@fastfoot

Ich nutze opt/iobroker/node_modules
Controller: 5.0.12
Backitup: 2.8.1

[fastfoot]

@o-s sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot

Ich nutze opt/iobroker/node_modules
Controller: 5.0.12
Backitup: 2.8.1

ja das passt, es gibt in der Beta eine 2.8.2 aber ich glaube nicht dass das einen Unterschied macht.

Das macht mich erstmal etwas rarlos...

[Thomas Braun]

@fastfoot
Output des check-skripts, anschließen manuelles backup in das lokale FS.

echad@chet:/opt/iobroker $ ls -lAh backups/
total 280K
-rwxrwxrwx 1 root root    0 Oct  4 18:16 01_FREIGABE_FRITZ_NAS
-rwxrwxrwx 1 root root  16K Oct  4 18:17 test_alternative.tar.gz
-rwxrwxrwx 1 root root 246K Oct  4 18:17 test_nocompression.tar
-rwxrwxrwx 1 root root  16K Oct  4 18:17 test_standard.tar.gz
echad@chet:/opt/iobroker $ sudo umount /opt/iobroker/backups
echad@chet:/opt/iobroker $ iob backup
host.chet 8105 states saved
host.chet 9932 objects saved
Backup created: /opt/iobroker/backups/2023_10_04-18_18_01_backupiobroker.tar.gz
This backup can only be restored with js-controller version up from 4.1
echad@chet:/opt/iobroker $ ls -lAh backups/
total 5.8M
-rw-rw-r--+ 1 iobroker iobroker 5.8M Oct  4 18:18 2023_10_04-18_18_01_backupiobroker.tar.gz

[simatec]

Wir können für den Anfang erstmal festhalten, dass es nicht an Backitup liegt und mir aktuell bekannt, nur in Verbindung mit der FRITZ!Box die Probleme auftreten.

Wäre gut, wenn andere ohne Fritz NAS hier auch noch Ihre Ergebnisse teilen könnten. So können wir gezielt eingrenzen..

@Thomas-Braun
Hast du noch ne Idee, ob wir im Mount noch zusätzliche Parameter testen können?

[fastfoot]

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

ist das die gleiche Config mit der wir die Tage getestet hatten?

Ja, im Grund schon. Ich mounte über die fstab allerdings mit smbcredentials statt user/pw, aber das sollte keinen Unterschied machen, die Freigabe landet ja im Mountpunkt.

ich dachte da eher an andere(ältere) Hardware. Für die Alternate Methode habe ich ne Erklärung, wir hatten mit Erstellen und dann kopieren getestet, jetzt schreibe ich das gleich in den mount, werde ich ändern. Aber uncompressed im Adapter hatte funktioniert und mit Skript nicht.

Wenn der Mount immer besteht, wie handelst du das im Adapter, der mounted doch auch immer? Dazu könntest du aber NAS/COPY ausschalten und 'normal' ein Backup machen, geht ja dann als Standard in den mountpoint. Als Alternative dazu NAS/COPY von cifs auf copy umstellen und als Pfad /opt/iobroker/backups einstellen. Wäre interessant zu sehen ob das einen Unterschied macht.

OT: Wie sieht denn der Eintrag im fstab aus? incl. der smb-credentials bitte, ohne PW narürlich

[simatec]

@thomas-braun

Kannst du mal bitte den Mount manuell setzen und die Optionen probieren?

• cache: Die Deaktivierung des Caches cache=none kann helfen, falls die SMB-Freigaben nicht korrekt eingehangen werden.
• nobrl: Deaktivierung der Bytebereich-Sperrung (Byte-Range Lock). Einige Programme kommen mit dem Byte-Range Lock nicht zurecht und können deshalb auf gemountete SMB-Freigaben trotz korrekter Berechtigungen nicht schreiben. Abhilfe schafft hier die Mount-Option nobrl.

[Thomas Braun]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Hast du noch ne Idee, ob wir im Mount noch zusätzliche Parameter testen können?

Ich bin komplett ratlos. Es muss aber mit tar und/oder gzip in Verbindung stehen. Bereits gepackte Backup kann ich z. B. auf die Freigabe schieben.

[fastfoot]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Wir können für den Anfang erstmal festhalten, dass es nicht an Backitup liegt und mir aktuell bekannt, nur in Verbindung mit der FRITZ!Box die Probleme auftreten.

Wäre gut, wenn andere ohne Fritz NAS hier auch noch Ihre Ergebnisse teilen könnten. So können wir gezielt eingrenzen..

@Thomas-Braun
Hast du noch ne Idee, ob wir im Mount noch zusätzliche Parameter testen können?

Nein, das hat auch niemand behauptet. Am Adapter liegt es nicht, aber am js-controller dessen Routinen der Adapter mW nutzt. D.h. mit manuellem cifs mount und iob backup gibt es auf betroffenen Systemen den gleichen Fehler. Und im Controller ist auch nichts wirklich falsch, aber in Kombination mit writableStream und pipe treten auf manchen Systemen halt Fehler auf. Wenn ich das tar.gz erstelle und dann kopiere tritt der Fehler nicht auf(Hier im Skript versehentlich geändert) Wir haben schon so ziemlich alle Kombinationen ohne Erfolg durch, bei mir zB klappt es immer Wir hatten auch mit Erfolg gzip: false getestet und der Fehler war weg. Hier im Skript klappt das aber plötzlich nicht mehr. Um diese Fummelei an Systemdaten zu vermeiden und einen grösseren Userkreis mit einzubinden gibt es dieses Skript

[Thomas Braun]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Wenn der Mount immer besteht, wie handelst du das im Adapter, der mounted doch auch immer?

Nein, der mount besteht nicht immer. Der ist nur in der fstab eingetragen, damit ein simples 'mount /opt/iobroker/backups' funktioniert und ich nicht immer alle Optionen angeben muss. Bin doch ein Fauler...

Der Eintrag:

# iobroker Backup
//192.168.178.1/FRITZ.NAS/Hitachi-HTS545012B9SA00-01/iobbackups/chet /opt/iobroker/backups  cifs credentials=/home/iobroker/.smbcredentials,users,noserverino,rw,noauto,uid=iobroker,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.1.1

[fastfoot]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@thomas-braun

Kannst du mal bitte den Mount manuell setzen und die Optionen probieren?

• cache: Die Deaktivierung des Caches cache=none kann helfen, falls die SMB-Freigaben nicht korrekt eingehangen werden.
• nobrl: Deaktivierung der Bytebereich-Sperrung (Byte-Range Lock). Einige Programme kommen mit dem Byte-Range Lock nicht zurecht und können deshalb auf gemountete SMB-Freigaben trotz korrekter Berechtigungen nicht schreiben. Abhilfe schafft hier die Mount-Option nobrl.

Der Fehler trat bei Thomas erst mit der 18.18.0 auf und mit node 20, wir hatten bzw haben gzip in Verdacht, da wurde in der neuen node was geändert

[fastfoot]

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Der Eintrag:

Danke! und der Aufbau der credentials Datei?

[simatec]

@fastfoot ja mir ist das Thema bekannt. Bin mit Thomas im Issue im Regen Austausch..
Es wäre sicher trotzdem sinnvoll die Mount Optionen mal zu testen.
Und am Ende scheint nur die Fritte betroffen zu sein.

[Thomas Braun]

@simatec

Mit nobrl und cache=none

echad@chet:/opt/iobroker $ mount | grep FRITZ
//192.168.178.1/FRITZ.NAS/Hitachi-HTS545012B9SA00-01/iobbackups/chet on /opt/iobroker/backups type cifs (rw,nosuid,nodev,noexec,relatime,vers=3.1.1,cache=none,username=iobroker,uid=1001,noforceuid,gid=1001,noforcegid,addr=192.168.178.1,file_mode=0777,dir_mode=0777,soft,nounix,mapposix,nobrl,rsize=65536,wsize=65536,bsize=1048576,echo_interval=60,actimeo=1,closetimeo=5)
echad@chet:/opt/iobroker $ ls -lAh backups/
total 296K
-rwxrwxrwx 1 iobroker iobroker    0 Oct  4 18:16 01_FREIGABE_FRITZ_NAS
-rwxrwxrwx 1 iobroker iobroker  16K Oct  4 18:46 2023_10_04-18_46_20_backupiobroker.tar.gz
-rwxrwxrwx 1 iobroker iobroker  16K Oct  4 18:17 test_alternative.tar.gz
-rwxrwxrwx 1 iobroker iobroker 246K Oct  4 18:17 test_nocompression.tar
-rwxrwxrwx 1 iobroker iobroker  16K Oct  4 18:17 test_standard.tar.gz
echad@chet:/opt/iobroker $

[Thomas Braun]

Die smbcredentials:

echad@chet:/opt/iobroker $ sudo -u iobroker cat /home/iobroker/.smbcredentials
username=iobroker
password=GehEImes_PassW0rt

Da sehe ich kein Problem.

[fastfoot]

@simatec sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@fastfoot ja mir ist das Thema bekannt. Bin mit Thomas im Issue im Regen Austausch..
Es wäre sicher trotzdem sinnvoll die Mount Optionen mal zu testen.
Und am Ende scheint nur die Fritte betroffen zu sein.

Aber natürlich, besonders Deine Bemerkungen sind besonders willkommen. Wollte dich nur auf den Stand bringen den wir nach stundenlanger Testerei erreicht hatten. Dadurch wurde dann dieser thread hier

Was die Fritte betrifft so haben doch einige diese, wie man hier auch lesen kann. Auch ich habe eine (cable 6591(kdg), os=7.57) und keinerlei Probleme

[MartinP]

@thomas-braun Da kann ich ja fast froh sein, meinen iobroker LXC Container unter Proxmox nicht privilegiert erstellt zu haben, und ich mir deshalb einen Workaround mit rsync ausdenken musste, um die lokalen Backups vom LXC-Container wegzuschaffen..

[simatec]

@fastfoot @Thomas-Braun
Habt ihr mal noserverino abgeschaltet und habt ihr mal mit den SMB Versionen gespielt?

[Thomas Braun]

Nochmal zur Zusammfassung: Verhalten taucht bei nodejs@20 in allen Versionen auf, bei nodejs@18 erst ab 18.18.0.
'Normale' Dateioperationen wie cp oder mv in die Freigabe funktionieren immer.
Schreiben eines tar.gz führt zu leeren Dateien.