Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[Homoran]

@killroy2 sagte in BackItUp-Adapter RAM-Verbrauch:

warum man das nicht anderst lösen kann?

Würde es etwas an deiner Aussage:

@killroy2 sagte in BackItUp-Adapter RAM-Verbrauch:

40MB für einen Dienst der bei mir nur einmal die Woche läuft ist ziemlich verschwenderisch.

Ändern, wenn du wüsstest warum?

Außerden finde ich nicht dass bei heutzutage 4000-8000 MB RAM 40 davon viel wären.

[simatec]

@killroy2
Letztendlich nimmt sich nicht Backitup direkt den RAM, sondern dein System für die Prozesse, die beim Backup im Hintergrund geschehen.
Du kannst das aber wenn es dich stört oder dein System nicht genug RAM zur Verfügung hat mit zwei Varianten lösen.

Entweder du stellt backitup auf Compact-Modus um, oder du lässt den Adapter einmal am Tag automatisch neustarten, damit der RAM wieder freigegeben wird.

[killroy2]

@Homoran

Natürlich würde eine schlüssige Erklärung die Akzeptanz erhöhen, momentan hat der Verbrauch einen gehörigen Code-Smell.
Und nein, 40 MB mal x verschiedener Instanzen bei einer Std. Installation läppert sich mal eben zu einer gehörigen Menge an Speicher so dass man mit einfacher HW nicht mehr weiterkommt mit allen negativen Implikationen wie erhöhte Kosten durch Energieverbrauch.

[Marty56]

@simatec Meine Erfahrung mit dem Compact Mode beim Backup Adapter sind negativ. Ich habe diverse unerklärliche Fehler. Du kennst mein Issue.

Was ich mache ist, dass ich den Adapter einfach per Script disable und dann wieder enable, wenn er sein Backup machen soll.

Ich verstehe auch die Argumente mit den mehreren Timern nicht. z.B. der Yr Adapter hat auch mehrere Timer und belegt dennoch nicht ständig RAM:

[Jan1]

@killroy2
Die sind erst mal nur reserviert und nicht belegt, heißt wenn ein andere Dienst wirklich mehr verbraucht, dann wird hier auch schnell was freigegeben. Mein Pi hatte 1GB Speicher von dem im Schnitt 3/4 vergeben waren, das selbe System auf dem Beelink mit 4GB RAM ist zu 50% vergeben. Linux macht das nun mal anders und 40MB ist nix.

[killroy2]

@Jan1 Was meinst du mit reserviert und nicht belegt? Die 40MB (aktuell sind es eher 70MB) sind resident size. Wie sollte Linux die freigeben?
Mein alter Pi mit 1GB war sobald er vollgelaufen ist nicht mehr vernünftig im Haus nutzbar so dass ich ihn ersetzen musste. So eine Haussteuerung muss auf Events reagieren und nicht viel rechnen - bei mir, mit meinen Adaptern und sicher bei vielen Anwendern. Da sollte die kleinere, sparsamere Hardware die bessere sein.

[Homoran]

@killroy2

https://www.linuxatemyram.com/

[Jan1]

@killroy2
Heißt die angegebene Menge ist für den Dienst reserviert, wird aber nicht wirklich komplett gebraucht und wenn ein andere Dienst diesen benötigt, wird der freigegeben. Somit hat der angezeigte Wert nicht wirklich eine Bedeutung und erklärt auch warum plötzlich mehr Speicher angeblich belegt ist, nur weil die HW auch mehr Speicher besitzt. Linux reserviert eben was da ist und verteilt das wenn es benötigt wird aber auch schnell neu. Bei meinem Beispiel oben hätte mein Beelink nach dem Umzug eigentlich nur 750MB der 4GB belegen dürfen, nimmt sich aber trotzdem 1,1GB vom Speicher.

Google mal nach "Linux Speicherverwaltung", oder klick den Link von Homoran, der verdeutlicht das ganze.

Eins zum Schluss noch, 1BG RAM ist auf die Dauert zu wenig, deshalb gibts die PIs nun auch endlich mit mehr RAM. Ich halte aber auch nicht so viel von reinen IOBroker Installationen, die mit 32GB RAM protzten, denn jeder Chip der verbaut ist erhöht auch den Stromverbrauch und warum sollte man für was zahlen, wenn man es nicht verwendet? Auch wenn es nicht viel ist, es ist unnötig ;-)
4-8GB RAM ist für IOBroker absolut ausreichend.

[killroy2]

Die Seite spricht über Caches.
Schaut man sich den Verbrauch an über

ps -aux

sieht man in der Spalte RSS - Resident Set Size den notwendingen Verbraucht ohne swapping.
Worüber ihr redet ist VSZ. Das ist Swapping und Shared Libraries mit addiert.
Iobroker zeigt RSS an. Der Speicher wird auch nicht freigegeben wenn nicht mehr ausreichend verfügbar ist.

[Jan1]

@killroy2
Ja, wenn nix mehr da ist, ist eben Schluss, daran ändert auch Linux nichts ;-)

[Homoran]

@killroy2 sagte in BackItUp-Adapter RAM-Verbrauch:

Mein alter Pi mit 1GB war sobald er vollgelaufen ist nicht mehr vernünftig im Haus nutzbar

Wenn der Speicher wirklich voll ist (und nicht nicht frei - entscheidend ist available und nicht free!) läuft natürlich nichts mehr.

Wir haben schon vor Jahren von SBC mit nur 1GB RAM abgeraten (500MB sowieso), außer für kleine Satellitenanwendungen als Slave bei einem Multihost.

Es ist bekannt, dass ab 15 Instanzen 1GB RAM nicht mehr reichen kann. Erst recht nicht wenn noch anderes darauf läuft und/oder eine grafische Oberfläche verwendet wird.

Auch ein Backup benötigt sehr viel RAM, so dass zumeist während eines Backups die Probleme zuerst auftraten.

Was den Stromverbrauch angeht wird die Diskussion akademisch:
Ob ich jetzt einen Pi3 mit etwa 3,5-5W nehme oder einen NUC mit 6-10W ergibt im Jahr einen Mehrpreis von etwa 25€

[Jan1]

@Homoran
Ist richtig, nur liegst Du beim Pi und beim NUC schon wieder zu hoch. Der Pi hat z.B. max 3,5W, aber schreibe ich oben schon was den Mehrverbrauch des RAM angeht, was unnötig ist, ist unnötig und wenn es 2€ im Jahr sind. Man sollte es einfach wissen und im Hinterkopf haben, denn die Summer der einzelnen Geräte bei denen es im einzelnen nicht relevant ist, macht den Unterschied.
Altes Sprichwort dazu: Kleinvieh macht auch Mist ;-)

Vier mal NUC macht dann in Deiner Rechnung schon 100€, was auch kein Beinbruch ist, aber eben nicht nötig wenn es was kleineres auch tut und für die Verwendung ausreichend ist. Das muss jeder individuell entscheiden, kann er aber nur, wenn er es weiß. Mein Auto hat auch 280PS und es ist unnötig, macht aber Spaß :grin:

[killroy2]

@Homoran said in BackItUp-Adapter RAM-Verbrauch:

Auch ein Backup benötigt sehr viel RAM, so dass zumeist während eines Backups die Probleme zuerst auftraten

Wegen temporärer Lastspitzen muss immer ein ausreichender Vorhalt da sein, und da ist es hinderlich wenn Dienste, obwohl sie nicht arbeiten viel Speicher belegen den sie NICHT freigeben. Da kommen wir nach vielen Umschweifen zur ursprünglichen Frage zurück warum das beim Backup Adapter so sein muss. Für mich sieht das halt so aus dass es die Architektur nicht so einfach hergibt, dass es andere mit Aufwand oder Tricks hinkriegen so dass man es eher nicht macht und lieber empfohlen wird Hardware aufzurüsten.

[Jan1]

@killroy2
40MB was Du angibst ist nicht viel, und stört bei empfohlenen 4GB absolut nicht. Es gibt eben immer den Zeitpunkt an dem etwas zu klein wird und klar, man kann alles optimieren, verschiebt aber nur den Zeitpunkt etwas nach hinten ;-)

[Homoran]

@Jan1 sagte in BackItUp-Adapter RAM-Verbrauch:

Der Pi hat z.B. max 3,5W,

aber nicht der Pi4

[Jan1]

@Homoran
der liegt aber auch nur minimal drüber, allerdings ist der auch nicht mehr weit vom NUC weg und somit im direkten Vergleich trotz der 4GB RAM uninteressant, da ist nur noch der Preis ein Argument. Ein kleiner NUC liegt um die 5W wenn er nicht viel zu tun hat, was unter Volllast auf ca. 10W ansteigen kann. Also alles noch recht wenig Verbrauch.

[Homoran]

@Jan1 sagte in BackItUp-Adapter RAM-Verbrauch:

Ein kleiner NUC liegt um die 5W wenn er nicht viel zu tun hat, was unter Volllast auf ca. 10W ansteigen kann. Also alles noch recht wenig Verbrauch.

da hatte ich eben 6-10W geschrieben ;-)

@Jan1 sagte in BackItUp-Adapter RAM-Verbrauch:

ist der auch nicht mehr weit vom NUC weg und somit im direkten Vergleich trotz der 4GB RAM uninteressant,

Den gibt es aber auch mit 1-8GB, ich habe nur 2

[simatec]

@Marty56 sagte in BackItUp-Adapter RAM-Verbrauch:

@simatec Meine Erfahrung mit dem Compact Mode beim Backup Adapter sind negativ. Ich habe diverse unerklärliche Fehler. Du kennst mein Issue.

Das hatte ich dir auch im Issue geschrieben und ist auch in der offiziellen Doku von iobroker zu lesen, dass der compact-Modus den Nachteil hat, dass hier eine gewisse Instabilität auftreten kann.
https://www.iobroker.net/#de/documentation

Was ich mache ist, dass ich den Adapter einfach per Script disable und dann wieder enable, wenn er sein Backup machen soll.

Ich verstehe auch die Argumente mit den mehreren Timern nicht. z.B. der Yr Adapter hat auch mehrere Timer und belegt dennoch nicht ständig RAM:

Was haben denn die mehreren Timer damit zu tun?
Es liegt schlicht und ergreifend daran, dass node jedes Backup in ein Archiv packt und dafür der RAM als Zwischenspeicher genutzt wird.
D.h. wenn du deine History, Redis, mysql etc. packst, kommt da einiges an Daten zusammen, die im RAM zwischengelagert werden.
Da Linux so intelligent ist und den RAM sehr gut organisiert, wird halt dann der RAM für Backitup reserviert.
Es ist aber ein riesengroßer Unterschied zwischen RAM belegt und RAM reserviert.
Sollte dein System an einer anderen Stelle den RAM brauchen, gibt Linux den wieder frei.

Und falls du dies manuell machen willst, brauchst du nur in den Instanzen einen Timer setzen und Backitup jede Nacht einmal neustarten. Somit wird der RAM auch wieder freigegeben.

Ehrlich gesagt verstehe ich das Problem nicht so recht ...

[killroy2]

@simatec said in BackItUp-Adapter RAM-Verbrauch:

Es liegt schlicht und ergreifend daran, dass node jedes Backup in ein Archiv packt und dafür der RAM als Zwischenspeicher genutzt wird.
D.h. wenn du deine History, Redis, mysql etc. packst, kommt da einiges an Daten zusammen, die im RAM zwischengelagert werden.

Sobald ich backitup starte sind 70MB in Verwendung. Ich habe alle Haken entfernt und das Backup ist in Zukunft, d.h. er macht aktuell nichts (nach den Einstellungen). Was du beschreibst sind Aktionen zum getriggerten Zeitpunkt des Backups, aber nichts was im Idle Status gemacht wird.

Da Linux so intelligent ist und den RAM sehr gut organisiert, wird halt dann der RAM für Backitup reserviert.
Es ist aber ein riesengroßer Unterschied zwischen RAM belegt und RAM reserviert.
Sollte dein System an einer anderen Stelle den RAM brauchen, gibt Linux den wieder frei.

Nochmal, was IoBroker anzeigt ist der tatsächliche verbrauchte Speicher. Die Swaps etc. freigeben z.B. echo 3 > /proc/sys/vm/drop_caches hat keine Auswirkung auf den Wert. Warum auch immer scheint es hier zu diesem Thema eine grosse Verwirrung zu geben.

Ehrlich gesagt verstehe ich das Problem nicht so recht ...

Ich hoffe es wurde damit klar. Für was braucht das Backup im Idle viel Speicher.

[simatec]

@killroy2 sagte in BackItUp-Adapter RAM-Verbrauch:

Was du beschreibst sind Aktionen zum getriggerten Zeitpunkt des Backups, aber nichts was im Idle Status gemacht wird.

Das ist korrekt ... Aber was sind 70 MB. Es gibt sehr viele Adapter, die ebenfalls 70 MB benötigen.
Also verstehe ich die Diskussion nicht.
Als Beispiel mal Web-Speedy ... Dieser Adapter macht auch zyklisch einen Check und eine Messung der Internetverbindung und läuft dementsprechend auch nur alle x Minuten oder Stunden und hat ebenfalls einen RAM Reservierung von um die 70 MB.

Holt euch doch einfach dementsprechende Hardware zu dem was ihr mit iobroker machen wollt.
Ich kann nicht nachvollziehen, wie viele der User hier 30 Adapter und mehr auf einem PI oder vergleichbarer Hardware nutzen wollen und sich dann wundern, dass der RAM eng wird.