NEWS
[Gelöst] Speicherlecks im ioBroker?
-
@klassisch
Danke für die Antwort. Als Aktoren benutze ich einige Homematic Wired IO Module die keinerlei Zusatzfunktionen wie Timer o.ä. haben. Am Anfang hatte ich nur diese Wired Module. Auch die Javascripte waren in ioBroker noch überschaubar. Mit der Zeit sind dann verschiedenste Sensoren über Zigbee, Wlan und dem Funk-Homatic dazugekommen. Das sind dann die Bewegungsmelder die mittlerweile in jedem Flur oder Bad/WC in den Ecken kleben oder eben Temperatur/Luftfeuchtigkeit und Luftdrucksensoren.
Mit diesen Sensoren sind dann auch die Javascripte bei mir immer komplexer geworden weil ich versucht habe jede Anmerkung der Familie ( "...Morgens soll die Zeit Licht-An-Zeit im Treppenhaus länger sein als Nachmittags..." usw.) irgendwie in die "Intelligenz" des Hauses einzuarbeiten. - Und genau das habe ich anscheinend in diesem Jahr total übertrieben (Man war ja mehr Zuhause :-) ...
In vielen Fällen, wo ich Timer nutze mache ich das Ähnlich wie in dem von Dir geposteten Link beschrieben - Bis auf dsa ich bei einem clearTimeout() vorher nicht prüfe ob noch ein gültiges Objekt da hinterlegt ist (der Timer also noch läuft).
Ich gehe jetzt durch meine Scripte und räume da mal auf. Dann sollte ich die Speicherlecks, die ich eingebaut habe, hoffentlich wegbekommen.Viele Grüße,
Artur
@LoxDUS Ja, die alten HM-wired Geräte sind schon recht basic. Aber so lange sie laufen....
[Teils-OT]
Ja, das Optimierungsthema treibt uns um - sonst würde wir wohl nicht automatisieren. Als Vorschulbub hatte ich mal einen Unimog mit Anhänger, so ca. 4cm lang die einzelnen Teile. Aber damals eines meiner vornehmsten Spielzeuge, war halt eine andere Zeit. Zwischen Unimog und Hänger gab es eine Kupplung. Eine einfache Blechzunge. Manchmal hat die etwas geklemmt. Die habe ich so gebogen, daß sie viel besser ging. Aber noch nicht ganz perfekt. Also weiter gebogen und justiert. Bis die Blechzunge ab war. Eine damals sehr schmerzhafte, aber langfristig wertvolle Lehre fürs Leben: Irgendwann wird Optimierung kontraproduktiv. Seither beschäftigt mich immer die Frage "angemessen, gut genug?"
Manchmal hat das Wort "fertig" was befreiendes :-) -
@LoxDUS Ja, die alten HM-wired Geräte sind schon recht basic. Aber so lange sie laufen....
[Teils-OT]
Ja, das Optimierungsthema treibt uns um - sonst würde wir wohl nicht automatisieren. Als Vorschulbub hatte ich mal einen Unimog mit Anhänger, so ca. 4cm lang die einzelnen Teile. Aber damals eines meiner vornehmsten Spielzeuge, war halt eine andere Zeit. Zwischen Unimog und Hänger gab es eine Kupplung. Eine einfache Blechzunge. Manchmal hat die etwas geklemmt. Die habe ich so gebogen, daß sie viel besser ging. Aber noch nicht ganz perfekt. Also weiter gebogen und justiert. Bis die Blechzunge ab war. Eine damals sehr schmerzhafte, aber langfristig wertvolle Lehre fürs Leben: Irgendwann wird Optimierung kontraproduktiv. Seither beschäftigt mich immer die Frage "angemessen, gut genug?"
Manchmal hat das Wort "fertig" was befreiendes :-)@klassisch
100%ige Zustimmung ;-)
Ich hoffe das nach den Aufräumarbeiten in den Javascripten auch alles wieder stabil läuft. -
Erst mal vielen Dank an @Thomas-Braun und @OliverIO !
Meine Speicherlecks kommen sicherlich aus meinen Javascript Programmen.
So wie ich es jetzt verstehe ist/war das Problem das die Speicherlecks durch die z.T. fehlerhafte Nutzung von Timer Funktionen entstehen. Es werden Objekte erzeugt die plötzlich keine Referenz mehr haben und auch durch den Garbagne Collector nicht gefunden werden. Dadurch wird immer mehr Speicher verbraucht. Aktuell sieht es "normal aus"
Ca. in der Mitte des Diagramms bin ich auf mein "Fallbacksystem" mit den zusätzlichen Einstellungen die mir @Thomas-Braun empfohlen hat (Runlevel ändern) umgezogen ca. 11Uhr. Da sich der Speicherverbrauch aber trotzdem gesteigert hat (Man sieht das an der roten Linie (io.Javascript) dort versucht der garbage Collector ein paar mal aufzuräumen) habe ich dann um ca. 0:00Uhr viele meiner Javascript Programm gestoppt. Seit dem Zeitpunkt ist es recht ruhig in dem Javascript-Instanzen geworden (schöne glatte Linie). über "htop" sehe ich das sich der io.Javascript Prozess nicht mehr Speicher klaut und stabil ist. Das System ist jetzt seit einigen Stunden bei ca. 26% freiem Speicher :-) :Ich werde später ioBroker nochmal neu durchstarten und dann Schritt für Schritt die ganzen Javascripte nach möglichen Speicherlecks durchforsten und korrigieren.
Vielleicht noch eine letzte Frage:
Wie löst ihr das in euren Programmen wenn ihr retriggerbare Timer für z.B. Lichter im Treppenhaus die nach einer gewissen Zeit wieder ausgehen sollen, aber immer wieder neu getriggert werden sollen?Vielen Dank nachmal an alle Mitwirkenden.
Artur
@LoxDUS
Ich selbst habe ganz wenig Skripte.
Allerdings verwende ich in meinen Adapter einige Timer.
Das wichtigste ist, alle Timer nach Gebrauch oder auch beim beenden des programs/Skript aufzuräumen
Dadurch sorgst du, das Objekte oder Funktionen, die an den Timer gebunden sind, definitiv in den timerfunktionen aufgeräumt werden und zumindest dort keine Referenzen mehr existieren.Hier mal noch ein weiterer Artikel auch mit ein paar Code Beispielen.
https://blog.appsignal.com/2020/05/06/avoiding-memory-leaks-in-nodejs-best-practices-for-performance.html -
@LoxDUS
Ich selbst habe ganz wenig Skripte.
Allerdings verwende ich in meinen Adapter einige Timer.
Das wichtigste ist, alle Timer nach Gebrauch oder auch beim beenden des programs/Skript aufzuräumen
Dadurch sorgst du, das Objekte oder Funktionen, die an den Timer gebunden sind, definitiv in den timerfunktionen aufgeräumt werden und zumindest dort keine Referenzen mehr existieren.Hier mal noch ein weiterer Artikel auch mit ein paar Code Beispielen.
https://blog.appsignal.com/2020/05/06/avoiding-memory-leaks-in-nodejs-best-practices-for-performance.html@OliverIO
Ich habe jetzt meine Scripte komplett aufgeräumt. Dabei ist mir aufgefallen das ich an vielen Stellen gerade die ganzen Timerobjekte nicht vernünftig mit clearTimeout() aufgeräumt habe. So habe ich glaube ich viele Objekte ins Nirvana geschickt und dort haben die sich im Speicher festgebissen.Ich habe jetzt alle Scripte wieder am laufen und der Speicher dümpelt seit Stunden mit 66% frei vor sich hin.
(Die große Lücke kommt daher weil der SQL Datenbank zwischenzeitlich ausgestiegen ist weil ich den ioBroker neu gestartet hatte)Vielen Dank nochmal für die nützlichen Hinweise.
Viele Grüße,
Artur
-
@OliverIO
Ich habe jetzt meine Scripte komplett aufgeräumt. Dabei ist mir aufgefallen das ich an vielen Stellen gerade die ganzen Timerobjekte nicht vernünftig mit clearTimeout() aufgeräumt habe. So habe ich glaube ich viele Objekte ins Nirvana geschickt und dort haben die sich im Speicher festgebissen.Ich habe jetzt alle Scripte wieder am laufen und der Speicher dümpelt seit Stunden mit 66% frei vor sich hin.
(Die große Lücke kommt daher weil der SQL Datenbank zwischenzeitlich ausgestiegen ist weil ich den ioBroker neu gestartet hatte)Vielen Dank nochmal für die nützlichen Hinweise.
Viele Grüße,
Artur
@LoxDUS vielen Dank für die schöne Aufarbeitung und die Rückmeldung.
Jetzt habe ich wenigstens eine Ahnung davon, was das clearTimeout soll. Habe das bisher nur nachgeplappert. Allerdings wohl auch nicht so streng, in manchen Skripten fehlt es noch. Da muß ich wohl nochmals ran. -
@LoxDUS vielen Dank für die schöne Aufarbeitung und die Rückmeldung.
Jetzt habe ich wenigstens eine Ahnung davon, was das clearTimeout soll. Habe das bisher nur nachgeplappert. Allerdings wohl auch nicht so streng, in manchen Skripten fehlt es noch. Da muß ich wohl nochmals ran.@klassisch sagte in Speicherlecks im ioBroker?:
Jetzt habe ich wenigstens eine Ahnung davon, was das clearTimeout soll.
das Problem ist, dass wenn der Timeout öfters gestartet wird kann ein clear timeout den Timeout nicht mehr stoppen, weil ja mehrere laufen
-
@klassisch sagte in Speicherlecks im ioBroker?:
Jetzt habe ich wenigstens eine Ahnung davon, was das clearTimeout soll.
das Problem ist, dass wenn der Timeout öfters gestartet wird kann ein clear timeout den Timeout nicht mehr stoppen, weil ja mehrere laufen
-
@Homoran Bei mir waren es Zeitverzögerungen ("Monoflops"), die allerdings nur selten gestartet wurde. einmal am Tag, einmal alle paar Tage oder Wochen. Bei 8GB merkt man da nichts.
@klassisch sagte in Speicherlecks im ioBroker?:
Bei 8GB merkt man da nichts.
entscheidend ist, dass
@klassisch sagte in Speicherlecks im ioBroker?:
allerdings nur selten gestartet wurde
Und damit die Wahrscheinlichkeit, dass der Timeout vor dem nächsten Aufruf beendet ist, gegen 100% geht.
-
@a200 Ja, in alten Zeiten war das mal die Faustregel. Mach ich aber bei Systemen mit mehr als 2GB RAM nicht mehr.
@Thomas-Braun sagte in Speicherlecks im ioBroker?:
@a200 Ja, in alten Zeiten war das mal die Faustregel. Mach ich aber bei Systemen mit mehr als 2GB RAM nicht mehr.
Na dann viel Spaß mit hibernate, vor allem dann, wenn du neben swap nur noch eine Partition für dein FS nutzt.
IoBroker auf QNAP TS-451, Raspi und NUC
-
@Thomas-Braun sagte in Speicherlecks im ioBroker?:
@a200 Ja, in alten Zeiten war das mal die Faustregel. Mach ich aber bei Systemen mit mehr als 2GB RAM nicht mehr.
Na dann viel Spaß mit hibernate, vor allem dann, wenn du neben swap nur noch eine Partition für dein FS nutzt.
@a200 Hier wird nix in hibernate geschickt, von daher für mich entbehrlich.
-
@a200 Hier wird nix in hibernate geschickt, von daher für mich entbehrlich.
Ich werde wahnsinnig !!!
Habe gerade nochmal in den Speicherverbrauch reingeschaut:
Nach der Überarbeitung der Scripte ist es zwar viel ruhiger geworden im Vergleich zu den Speicheraktivitäten (siehe ganz oben in diesem Thema) noch vor ca. 2 Tagen, nun fällt aber auf das der Speicher insgesamt also nicht nur der io.Javascript sondern auch z.B. der shelly, der systeminfo, eigentlich quasi alle Instanzen immer mehr Speicher brauchen. Der Trend geht bei nahezu allen Instanzen der verschiedenen Adaptern nach oben (wenn auch nur sehr langsam).Vielleicht mache ich mich da ja auch verrückt und Linux holt sich gerade viele Dinge in seinen Speicher rein damit sich die Prozesse wohlfühlen aber ich werde schon wieder nervös wenn ich sehe das mein Speicher wieder nur zu ca. 27% frei ist.
Ich werde ioBroker jetzt nochmal neu starten und mir die Speicherverläufe der nächsten Tage nochmal ansehen.
-
Ich werde wahnsinnig !!!
Habe gerade nochmal in den Speicherverbrauch reingeschaut:
Nach der Überarbeitung der Scripte ist es zwar viel ruhiger geworden im Vergleich zu den Speicheraktivitäten (siehe ganz oben in diesem Thema) noch vor ca. 2 Tagen, nun fällt aber auf das der Speicher insgesamt also nicht nur der io.Javascript sondern auch z.B. der shelly, der systeminfo, eigentlich quasi alle Instanzen immer mehr Speicher brauchen. Der Trend geht bei nahezu allen Instanzen der verschiedenen Adaptern nach oben (wenn auch nur sehr langsam).Vielleicht mache ich mich da ja auch verrückt und Linux holt sich gerade viele Dinge in seinen Speicher rein damit sich die Prozesse wohlfühlen aber ich werde schon wieder nervös wenn ich sehe das mein Speicher wieder nur zu ca. 27% frei ist.
Ich werde ioBroker jetzt nochmal neu starten und mir die Speicherverläufe der nächsten Tage nochmal ansehen.
@LoxDUS Warte es einfach mal ab. Wie oben schon geschrieben, bei meinem Windows-ioBroker System geht es immer auf und ab.
Ist zwar Win, aber andere werden das Speichermanagement auch nicht so viel anders machen. Man macht es sich erst mal einfach und nimmt was da da ist, solange noch was da ist. Wenn es eng wird, dann wird man aktiv und räumt auf. -
Ich werde wahnsinnig !!!
Habe gerade nochmal in den Speicherverbrauch reingeschaut:
Nach der Überarbeitung der Scripte ist es zwar viel ruhiger geworden im Vergleich zu den Speicheraktivitäten (siehe ganz oben in diesem Thema) noch vor ca. 2 Tagen, nun fällt aber auf das der Speicher insgesamt also nicht nur der io.Javascript sondern auch z.B. der shelly, der systeminfo, eigentlich quasi alle Instanzen immer mehr Speicher brauchen. Der Trend geht bei nahezu allen Instanzen der verschiedenen Adaptern nach oben (wenn auch nur sehr langsam).Vielleicht mache ich mich da ja auch verrückt und Linux holt sich gerade viele Dinge in seinen Speicher rein damit sich die Prozesse wohlfühlen aber ich werde schon wieder nervös wenn ich sehe das mein Speicher wieder nur zu ca. 27% frei ist.
Ich werde ioBroker jetzt nochmal neu starten und mir die Speicherverläufe der nächsten Tage nochmal ansehen.
-
Ich werde wahnsinnig !!!
Habe gerade nochmal in den Speicherverbrauch reingeschaut:
Nach der Überarbeitung der Scripte ist es zwar viel ruhiger geworden im Vergleich zu den Speicheraktivitäten (siehe ganz oben in diesem Thema) noch vor ca. 2 Tagen, nun fällt aber auf das der Speicher insgesamt also nicht nur der io.Javascript sondern auch z.B. der shelly, der systeminfo, eigentlich quasi alle Instanzen immer mehr Speicher brauchen. Der Trend geht bei nahezu allen Instanzen der verschiedenen Adaptern nach oben (wenn auch nur sehr langsam).Vielleicht mache ich mich da ja auch verrückt und Linux holt sich gerade viele Dinge in seinen Speicher rein damit sich die Prozesse wohlfühlen aber ich werde schon wieder nervös wenn ich sehe das mein Speicher wieder nur zu ca. 27% frei ist.
Ich werde ioBroker jetzt nochmal neu starten und mir die Speicherverläufe der nächsten Tage nochmal ansehen.
@LoxDUS sagte in Speicherlecks im ioBroker?:
Der Trend geht bei nahezu allen Instanzen der verschiedenen Adaptern nach oben (wenn auch nur sehr langsam).
Das ist normal. Bei mir steigt der RAM-Bedarf über zwei Tage an und bleibt dann auf etwa diesem Niveau.
-
@LoxDUS sagte in Speicherlecks im ioBroker?:
Der Trend geht bei nahezu allen Instanzen der verschiedenen Adaptern nach oben (wenn auch nur sehr langsam).
Das ist normal. Bei mir steigt der RAM-Bedarf über zwei Tage an und bleibt dann auf etwa diesem Niveau.
Kurzer Zwischenstand:
Habe nach dem Neustart gestern Morgen nochmal alle "Komfort" Scripte abgeschaltet, eine Instanz (systeminfo.0) deaktiviert und mein Hausdisplay (ist ein Raspberry mit Chrome und angeschlossenem Display wo über VIS die Anzeige bereitgestellt wird) abgeschaltet. (Habe da so eine Vermutung....)
Seit ca. 24h dümpelt der freie Speicher zwischen 64 und 66% rum.
Schalte jetzt im Tagesabstand die einzelnen "Komfort" Scripte wieder ein um zu sehen ob sich was am Speicher tut.
.... to be continued ....
-
Kurzer Zwischenstand:
Habe nach dem Neustart gestern Morgen nochmal alle "Komfort" Scripte abgeschaltet, eine Instanz (systeminfo.0) deaktiviert und mein Hausdisplay (ist ein Raspberry mit Chrome und angeschlossenem Display wo über VIS die Anzeige bereitgestellt wird) abgeschaltet. (Habe da so eine Vermutung....)
Seit ca. 24h dümpelt der freie Speicher zwischen 64 und 66% rum.Schalte jetzt im Tagesabstand die einzelnen "Komfort" Scripte wieder ein um zu sehen ob sich was am Speicher tut.
.... to be continued ....
Endstand 31.12.2020, 22:38Uhr:
Es läuft wieder alles stabil.
Der freie Speicher hat sich zwischen 64 und 66% eingependelt.
Die Javascripte laufen alle und meine javascript Instanz hat sich auf eine feste Speicherauslastung eingelassen :-)
Ich habe tatsächlich noch in einem Skript einen setTimeout() und clearTimeout() Fehler gefunden.Mein FAZIT:
-
Das Know-How hier im Forum ist extrem hoch.
-
Die Verwendung von setTimeout(), setIntervall() sollte mit bedacht gewählt werden. Vielleicht werden durch ein Event/Trigger immer wieder neue Timer-Objekte angelegt und die zuvor angelegten Objekte sind als nicht mehr erreichbare Referenz irgendwo im Speicher sodass auch der Garbage Collector sie nicht mehr finden kann. Immer hinterfragen ob ggf. mit einem clearTimeout() oder clearIntervall() erzeugte Objekte (die Callbackfunktionen) gelöscht werden müssen.
https://auth0.com/blog/four-types-of-leaks-in-your-javascript-code-and-how-to-get-rid-of-them/ war ein guter Ansatzpunkt.
Viele Grüße und einen hervorragenden Start ins Jahr 2021!
Artur
-
Support us
786
Online32.4k
Benutzer81.4k
Themen1.3m
Beiträge