[gelöst] Backupit - keine iobroker Backups möglich

[Heisenberg0709]

@thomas-braun
@Homoran
ok, ich glaube ich komme um einen kompletten "Neustart" im Sinne vom kompletten Platt machen und neu aufsetzen nicht drum herum.

Jetzt vielleicht nur noch kurz eine Frage, was eurer Meinung nach die beste Vorgehensweise wäre.

Aktuell stehen mir ein Raspi 4 4GB (aktuell läuft da der Master drauf), eine Raspi 3B (hier läuft der Slave drauf) sowie eine Synology DS920+ zur Verfügung.

Bei einem kompletten Neubeginn und alles von Grund auf neu erzeugen würde ich ungern vermeiden. Arbeit wird dadurch sicher trotzdem entstehen, aber das ist dann halt so. Ich gehe stark davon aus, dass die ganzen Geräte bei einem neuen iobrokersystem dann auch alle neue Geräte IDs bekommen. Das heißt, ich muss ich VIS definitiv alles neu abklicken. Kann man ggf. auf der Synology parallel ein System aufbauen, versuchen dort in irgendeiner Form die Skripte, vis, Einstellungen etc. dort herzustellen, dann ein Backup machen und dieses sauber auf einem sauber neu installierten Raspi aufsetzen, oder macht das eher weniger Sinn?

Oder kann ggf. das, was der Backupit Adapter und die das backup machen, "händisch" rauskopieren, ein sauberes neues System erzeugen und dann nach und nach alles wieder reinbringen?

Allgemein: Würde es funktionieren, auf einem Raspi 2 iobrokersysteme laufen zu lassen?

Oder wie würdet ihr vorgehen?

Vielen Dank euch.

[Homoran]

@heisenberg0709 sagte in Backupit - keine iobroker Backups möglich:

Ich gehe stark davon aus, dass die ganzen Geräte bei einem neuen iobrokersystem dann auch alle neue Geräte IDs bekommen

eigentlich nicht - wieso sollten sie?

@heisenberg0709 sagte in Backupit - keine iobroker Backups möglich:

Kann man ggf. auf der Synology parallel ein System aufbauen

kann man, muss man aber höllisch aufpassen, dass es da nicht zu Problemen kommt

@heisenberg0709 sagte in Backupit - keine iobroker Backups möglich:

Aktuell stehen mir ein Raspi 4 4GB (aktuell läuft da der Master drauf),

unter 2-4GB solltest du es gar nicht erst versuchen.

was spricht denn dagegen, eine neue Karte zu nehmen und erst einmal versuchen ob dann die Grundinstallation auf dem Pi incl. Backup sauber läuft. Die andere Karte hast du dann als Hardware-Backup und kannst sie jederzeit wieder einstecken und hast den aktuellen (defekten) stand

Im Prinzip sollte man auch alle Konfigurationen einzeln aus den Instanzen ziehen können. Anders macht backitup das auch nicht.
ich weiß aber gerade nicht wie das genau geht

[Heisenberg0709]

@homoran

ich habe ein neues System aufgesetzt und den iobroker aufgespielt.
Habe es vorerst nur mit dem "iobroker backup" probiert, ist tadellos durchgelaufen
Das Backup wurde wie gewohnt abgelegt.

dann muss ich jetzt nur nach und nach alle Instanzen wieder installieren und Schritt für Schritt wiederherstellen.

@simatec: kannst du mir ggf. einen Tip geben, auf was ich beim wiederherstellen eventuell achten soll/muss?
Oder ist das "händisch" alles nicht so einfach umzusetzen?

Vielen Dank euch

[simatec]

@heisenberg0709
Konfiguriere Backitup, lege das letzte Backup in den Ordner /opt/iobrokerbackups und starte den Restore.

Alle Adapter werden im Anschluss automatisch installiert und die Einstellungen übernommen.
Skripte etc. Sind danach auch wieder da

[Heisenberg0709]

@simatec

vielen Dank für deine Antwort.

Mein Vorhaben wäre leider, der Situation verschuldet, ein bissel anders.
Von meinem aktuellen Hauptsystem kann ich weder über backupit noch über die Konsole über iobroker backup ein backup schreiben.
Mich würde jetzt interessieren, ob, und wenn ja wie, es möglich ist, dass ich diesen Prozess des Backups der sonst automatisch passiert, auch händisch von jeder Instanz vornehmen kann.
Weißt wie ich das meine?

Neue Situation:
Altsystem => keine Backups mehr möglich.
Ich habe jetzt den iobroker auf eine neue SD Karte neu aufgesetzt und hätte jetzt gerne, insofern das möglich ist, alles einzeln wiederhergestellt, da ein komplettbackup nicht funktioniert.

[simatec]

@heisenberg0709
Du könntest dein altes System stoppen und den Ordner iobroker-data kopieren.
Dann das neue System stoppen und dort den Ordner iobroker-data sichern und im Anschluss durch den aus deinem alten System tauschen.

Danach

iobroker upload all
iobroker start

[Heisenberg0709]

@simatec

vielen Dank, das hat funktioniert. es war zwar alles sehr träge, aber irgendwann kam dann scheinbar alles wieder in schwung und das system lief wieder flüssig:-)

auf der neuen SD Karte ,mit dem system welches ich händisch gebackupt bzw. dort wiederhergestellt habe, bleibt aber das szenario gleich, das ich keine Backups machen kann.

ich habe mir das ganze dann mal näher angeschaut mit

htop

das brachte dann schon ein bissel mehr licht ins dunkel... man kann dort eindeutig beobachten, dass solange das system noch normal läuft alles noch i.o. ist. Sobald ich aber das backup anstoße, steigt der RAM (vom js-controller) soweit an, bis schließlich der admin good bye sagt und der RAM ans limit kommt...

das habe ich beobachtet als ich das backup angestoßen habe, als alle Instanzen aktiv waren und auch als ich nur die backupit Instanz und der admin aktiv waren. ich habe dann begonnen nach und nach Instanzen zu löschen.
ein erfolgreiches backup konnte ich erst wieder schreiben (bzw. ist dann der RAM nicht mehr so hoch angestiegen, bis der admin hops ging) als ich die Javascript Instanz und die History Instanz gelöscht habe.

@Homoran
@Thomas-Braun
kann man anhand irgendwelcher konsolenbefehle, oder gar auch "zu fuß" herausfinden, was beim backup so den Rahmen des RAMS sprengt? so wie ich das verstehe müssen das ja auch dateien sein, welche den RAM beim backup auch überlasten, ohne das die jeweilige Instanz überhaupt läuft..

habt ihr hierfür für mich nochmal einen tip?

[Thomas Braun]

@heisenberg0709 sagte in Backupit - keine iobroker Backups möglich:

kann man anhand irgendwelcher konsolenbefehle, oder gar auch "zu fuß" herausfinden, was beim backup so den Rahmen des RAMS sprengt?

Memory leaks zu finden ist extrem schwer. Das übersteigt meine Kenntnisse zugegeben.

[simatec]

@heisenberg0709 In welchen Pfad liegen deine History Daten?
JavaScript könnte eventuell auch irgendwo was mit fehlerhaften Scripten sein.

[Heisenberg0709]

@simatec

So sind die Historieeinstellungen:

[simatec]

@heisenberg0709
Da könnte die Ursache liegen. Du schreibst die History Daten in iobroker-data
Ändere den mal auf ein anderes Verzeichnis.

Kannst du z.B. in dein Homeverzeichnis legen.
Die Historydaten dann mit in das neue Verzeichnis legen und aus iobroker-data entfernen.

Im Anschluss nochmal das Backup versuchen

[Heisenberg0709]

@simatec
@Homoran
@Thomas-Braun

also egal welche Wege ich versucht habe, ich habe kein Backup mehr hinbekommen.

Ich habe mir jetzt noch einen RPI4 8GB zugelegt, den iobroker noch neu und sauber aufgesetzt und ziehe gerade alles händisch um.

Vielen Dank nochmals an euch alle für den super Support!

[Heisenberg0709]

@simatec

ich habe nochmal eine Frage bzgl. des Pfades vom Historieadapter.
Auf meinem neuen System habe ich diesen vom Standard auf:

/home/pi/Historie-Instanz-iobroker

gelegt. Allerdings bekommt der Historieadapter dort keine Schreibberechtigung.
Weißt du zufällig, wie ich dem User: pi dort Schreibberechtigungen geben kann?
Oder wo kann man ggf. einen eigenen Ordner am besten hinplatzieren, dass diese vom Backup ausgeschlossen sind aber der iobroker bzw. der User pi dort Schreibrechte hat??

Zum Beispiel hier:

/opt/iobroker/

oder wäre das eher ungünstig?
Mir geht es auch noch um andere Instanzen wie beispielsweise der Ring-Instanz etc. wo ich ggf. nicht zwingend ein Backup davon benötige.

[Thomas Braun]

@heisenberg0709

Warum nimmst du nicht einfach das Home vom User iobroker?

/home/iobroker/

Dann musst du da auch keine Klimmzüge mit den Rechten für pi oder iobroker machen.

Hättest du die komische Konstruktion schon am Start als das Backup nicht möglich war? Da hast du dir vermutlich eine Endlosschleife gebastelt.

Warum man das aber überhaupt so machen möchte ist mir ein Rätsel...

[Heisenberg0709]

@thomas-braun

nein, diese "komische Konstruktion" hatte ich am Start dieses Themas noch nicht.

Aufgrund der Info von :

@simatec sagte in Backupit - keine iobroker Backups möglich:

@heisenberg0709
Da könnte die Ursache liegen. Du schreibst die History Daten in iobroker-data
Ändere den mal auf ein anderes Verzeichnis.

Kannst du z.B. in dein Homeverzeichnis legen.
Die Historydaten dann mit in das neue Verzeichnis legen und aus iobroker-data entfernen.

Im Anschluss nochmal das Backup versuchen

wollte ich nun meine Verzeichnisse wie Historie oder Ring dort "auslagern" um ggf. so eine Situation mit dem Backup zu vermeiden.
Wenn ihr sagt, dass wäre nicht notwendig, belasse ich es beim Standard.

[Homoran]

@heisenberg0709 redest du vom gleichen wie wir?
iobroker-data ist nicht der Standard für History.

mit dem Pfad kommt es sehr wahrscheinlich zu Problemen, weil da noch ganz andere Sachen liegen.

[Heisenberg0709]

@homoran

@heisenberg0709 sagte in Backupit - keine iobroker Backups möglich:

@simatec

So sind die Historieeinstellungen:

Das war bei mir der Standardpfad nach der Installation von Historie.
M.W.n. habe ich hier auch nichts geändert.

Wo soll denn der Standardpfad liegen?

[Thomas Braun]

@heisenberg0709

Bei mir liegt der in

/home/iobroker/history

Und soweit ich weiß habe ich da nie was geändert...

Jedenfalls liegt es da gut.

[Homoran]

@thomas-braun sagte in Backupit - keine iobroker Backups möglich:

@heisenberg0709

Bei mir liegt der in
/home/iobroker/history

Und soweit ich weiß habe ich da nie was geändert...

@heisenberg0709 sagte in Backupit - keine iobroker Backups möglich:

Wo soll denn der Standardpfad liegen?

Der Standardpfad ist:
/opt/iobroker/iobroker-data/history

Entscheidend ist das /history

Ansonsten werden mit dem History-Backup auch nochmal alle anderen Daten mit gesichert

[Heisenberg0709]

Ich melde mich nochmal zurück.

Es ist ja nun einige Zeit vergangen, nachdem ich den iobroker nochmal komplett frisch aufgesetzt habe. Nun ist jedoch seit 1 Woche das Problem aufgetreten, dass wieder ohne irgendwelche Fehlermeldungen Backupit keine Backups gemacht hat. Aus diesem Grund habe ich mich jetzt nochmal intensiver damit befasst. Schlussendlich konnte ich die Problematik auch genau ausfindig machen.

Ich hatte festgestellt, das mein Backupfile vom iobroker nach ein paar Tagen immer um ein paar MB (50-100MB) größer geworden ist, als jeweils dessen Vorgänger.
Und genau dort ist auch jetzt (8GB Raspi - hier lief der iobroker weiter, das backup wurde aber nicht erzeugt) sowie mit dem Vorgänger dem 4GB Raspi das Problem gewesen. Nur mit dem Unterschied, dass sich beim 4GB immer der iobroker abgeschmiert ist, was mir dann bei dem 8GB noch nicht aufgefallen ist.

Das Problem war und ist bei mir die Ring Instanz gewesen. Diese legt jeweils eine 10sec Videodatei oder einen Snapshot bei Bewegungen oder beim Klingeln an. Zum einen habe ich in der Instanz die Haken gesetzt bei "Lösche Alte Schnappschüsse/Livestreams" und zum anderen hatte ich ja eigentlich einen anderen Pfad hinterlegt, wo die Ring Instanz jeweils die Dateien ablegen soll, sodass diese dann von einem Backup ausgeschlossen sind. Allerdings werden hier weder die alten Dateien gelöscht, noch hat das mit der Auslagerung der Dateien richtig funktioniert (es werden dann sowohl in den opt/iobroker/iobroker-data/files/ring.0 (usw.) abgelegt und parallel dazu auch im ausgelagerten Ordner. In Backupit wird dann logischer weise auch der ring.0 Ordner mit eingeschlossen.

Und genau dort fing vom ursprünglichen Thema das Problem an. So wie ich das interpretiere, lagert beim Backup der Raspi die Files welche er erzeugt in dem Arbeitsspeicher aus. Wenn dann aber schon der Arbeitsspeicher aufgrund vieler Anwendungen gut belegt ist, geht die ganze Geschichte dann hops. Und genau das ist bei mir passiert.

Dementsprechend werde ich das Thema mit diesen Beitrag oben auch auf gelöst setzen.

Nur noch eine Frage an euch, kann ich mir irgendwie eine Abfolge basteln, welche dann immer veranlasst, das alles was im Ordner ring.0 -Snapshots- (bzw. einen bestimmten Ordner auf dem Raspi) abgelegt wird, nach einer bestimmten Zeit x wieder gelöscht wird?

Oder kennt sich jemand mit dem Ring Adapter aus, wie der Hintergedanke hinter der Option "Löschen Sie alte Schnappschüsse/Alte Livestreams löschen" gedacht ist? Diesen würde ich gerne besser verstehen oder vielleicht sogar besser definieren wollen.

Sollte ich keine andere Option finden, wird die Ring Instanz wieder rausfliegen und gut ist. Es hat auch was gutes, so habe ich mich in die Thematik deutlich besser eingearbeitet und habe zumindest das Gefühl manche Sachen davon besser zu verstehen

Vielen Dank euch!!!