Fehler im BackUp der history DB

[Homoran]

@wcag22 sagte in Fehler im BackUp der history DB:

ohne aktivem BackItUp-Adapter

???

hast du mal was anderes als 7z versucht?

[wcag22]

@homoran
Ja, winzip.
Da sind aber nur die Meldungen anders und nichts so ausführlich. Außerdem habe ich eine betagte Version. 7zip habe schon deshalb genommen, weil ich winzip nicht über den Weg getraut hatte und 7zip in der aktuellen Version wohl mehr der Gegenwart entspricht, als ein ergrautes ehemals kostpflichtiges Tool von anno dunnemals.

Ich habe natürlich auch noch nicht geschaut und kontrolliert, ob es auf Grund von RAM-Fehlern auf dem Desktop zu Problemen in den Archiven beim kopieren gibt. So etwas ähnliches hatte ich schon mal im Zusammenhang mit video-Dateien und einem Video-Bearbeitungsprogramm. Das muss dann über die Fingerprints (?) der Dateien erfolgen. "hashmyfiles" hieß das Tool so weit ich mich erinnere.
Es gibt sicher noch mehr Gründe, warum Archive (plötzlich?) Fehler haben.

Aber all das bringt uns m. E. nicht weiter.

Denn:
Auf die Spur der fehlerhaften Archive bin ich ja nur deshalb gekommen, weil ioB eben das Restore wegen fehlerhafter Archive verweigerte. Und eine andere Möglichkeit die Archive zu validieren, als sie durch ein Packer zu testen, sehe ich nicht.
Es sei denn:
Es wird sogleich auf dem Raspi unter Linux gemacht. Aber dazu fehlen mir (derzeit) die Kenntnisse.

Es wäre natürlich gut, wenn andere Nutzer den oder die Fehler bzw. Ursachen nachvollziehen könnten. Dann würde man ein lokales Problem hier schon mal ausschließen können. So eindeutig die Ergebnisse auch sind, geheuer ist mir das nicht. Nicht dass ich da auf einem völlig falschen Pfad bin.
Eine zweite oder dritte Meinung wäre schon gut.

[wcag22]

@wcag22 @Homoran @simatec

So, weiter gehts im Thema.
Da der Thread schon ganz schön lang geworden ist - tl;dr - hier mal die Zusammenfassung:

Ein am Pi4/8GB USB2-Port angeschlossener USB-Stick (32GB, SanDisk) nimmt die history DB auf. Die auf dem Stick liegenden history-Daten im laufenden Betrieb sind fehlerfrei, es deutet nichts auf Probleme an dieser Stelle hin.

Die tägliche Sicherung via BackItUp -Adapter erfolgt auf einen USB-Stick an der Synology.

Phase 1:
Das Problem:
Die knappe Mehrzahl der generierten Archive der historyDB (*.tar.gz) ist fehlerhaft.

BackUp-Testreihen mit laufendem history-Adapter brachten gegenüber einem gestoppten history-Adapter kein eindeutiges Ergebnis. Die Annahme, dass Zugriffe auf die history DB währen des Packvorganges ursächlich sein könnten, konnte nicht eindeutig bestätigt werden.

Phase 2:
Da das Archiv der täglichen Sicherung erneut fehlerhaft war, habe ich nun den Pfad der history DB wieder auf default gesetzt.
Also auf: /opt/iobroker/iobroker-data /history/

Ein manuell ausgelöstes BackUp (mit laufendem History-Adapter) war sofort fehlerfrei.
Drei weitere Sicherung wiederum mit Fehler.

Das legt zunächst den Gedanken nahe, dass der USB-Stick als Pfad für die history DB beim erzeugen der Archive nicht ursächlich ist.

Ein weiteres BackUp mit gestopptem history-Adapter führte auch - wie drei weitere Versuche - zu einem fehlerhaften Archiv.

Damit fällt der aktive History-Adapter in dieser Konstellation auch als Ursache vermulich aus.

Da verschiedene Sicherungsziele an der NAS (USB1, USB2 HDD) keinen Einfluss auf die bisherigen Ergebnis hatten, kann hier auch eher nicht die Ursache zu finden sein.

Was bleibt noch als Fehlerquelle?
Wenn Jemand Ideen hat, bitte her damit

Schönes WE

[simatec]

@wcag22 Was läuft denn da für ein Dateisystem auf dem USB Stick?

[Homoran]

@wcag22 sagte in Fehler im BackUp der history DB:

kann hier auch eher nicht die Ursache zu finden sein.

...außer beim Datentransfer iob <-> NAS

[wcag22]

@simatec sagte in Fehler im BackUp der history DB:

@wcag22 Was läuft denn da für ein Dateisystem auf dem USB Stick?

Stand eigentlich im output von diag.
sda5

 

*** FILESYSTEM ***
Filesystem     Type      Size  Used Avail Use% Mounted on
udev           devtmpfs  3.6G     0  3.6G   0% /dev
tmpfs          tmpfs     781M  1.2M  780M   1% /run
/dev/mmcblk0p2 ext4       29G  9.6G   18G  36% /
tmpfs          tmpfs     3.9G     0  3.9G   0% /dev/shm
tmpfs          tmpfs     5.0M   16K  5.0M   1% /run/lock
/dev/mmcblk0p1 vfat      510M   57M  454M  12% /boot/firmware

/dev/sda5      ext4       27G  2.2G   24G   9% /media/USBintern

tmpfs          tmpfs     781M     0  781M   0% /run/user/1000

[wcag22]

@homoran sagte in Fehler im BackUp der history DB:

@wcag22 sagte in Fehler im BackUp der history DB:

kann hier auch eher nicht die Ursache zu finden sein.

...außer beim Datentransfer iob <-> NAS

Das ist richtig. An das LAN Kabel hatte ich auch schon gedacht
Spass beiseite.

Nachdem das Problem auch mit dem Verschieben der history in den default Path nicht behoben wurde, der USB-Stick also komplet außen vor ist - wäre das eines der nächsten Dinge, die getestet werden könnten.

BTW: Im Moment ist jede Sicherung fehlerhaft.

Was mir noch einfällt:
Die SD Card, auf der das OS und ioB läuft,
der RAM des neuen 8G-Pi4.

Bei Ersterem müsste bekannt sein, ob die SD Card überhaupt im Prozess des Packens eine Rolle spielt (also geschrieben und gelesen wird) oder ob das nur um RAM passiert.

Die zweite Annahme ist sicher im Bereich des Möglichen, aber das wäre natürlich der Super GAU.

[wcag22]

@homoran sagte in Fehler im BackUp der history DB:

@wcag22 sagte in Fehler im BackUp der history DB:

kann hier auch eher nicht die Ursache zu finden sein.

Nachtrag:

...außer beim Datentransfer iob <-> NAS

An was denkst Du dabei?
Der / die Zieldatenträger fallen aus, da der Fehler in allen drei Konstellationen (2 unterschiedliche USB-Sticks, an 2 unterschiedlichen NAS-Ports und eine HD, die von der Synology als "gesund" gemeldet wird) auftrat.

Aber, warte mal:
Auf dem LAN-Strang hängt am switch noch ein Powerline Gerät. Die sind bekannt auch für anderweitige Störungen.

Cool - muss ich morgen gleich probieren. Danke für den Gedankenanstoss.

Edit:
Naja, das mit der Übertragung ist bei nochmaligem Nachdenken nicht ganz schlüssig. Denn da ist das Archiv ja schon fertig gepackt. Ob da Störungen einzelne Dateien innerhalb des Archives beeinflussen können , weiß ich nicht.

Edit2:
Der Fehler liegt auch immer im *.tar - Teil des Gesamtarchives *.tar.gz

[simatec]

@wcag22 Beobachte mal mit htop deine RAM Auslastung beim Schreiben des Backups

[wcag22]

@simatec sagte in Fehler im BackUp der history DB:

@wcag22 Beobachte mal mit htop deine RAM Auslastung beim Schreiben des Backups

Weil eventuell die 8 GB RAM nicht zum Packen einer gut 2 GB großen DB reichen?
Ok, kann ich mal machen.

[simatec]

@wcag22 sagte in Fehler im BackUp der history DB:

Weil eventuell die 8 GB RAM nicht zum Packen einer gut 2 GB großen DB reichen?

Da könnte das Problem liegen