NEWS
Speicherverbrauch durch im Admin UI aufgeblähte Objekte
-
Hallo zusammen,
ich habe schon seit langem, also seit über 10 Jahren, einen Mini PC im Einsatz, der - mit meinem KNX System verbunden - einige Dinge in meinem Haus und drum herum automatisiert - mit misterhouse als Backend.
Ich bin Diplom Informatiker und so habe ich mir alle Add-Ons, die das misterhouse nicht hergibt, im Laufe der Zeit selbst programmiert oder integriert. Modbus zum Beispiel oder Signal.Nun habe ich mir gedacht: Du könntest ja mal iobroker ausprobieren, denn da gibt es die meisten Sachen schon, die du auch brauchst und vielleicht das ein oder andere, für das du keine Zeit hast, es selber zu machen. (TUYA Adapter z.B.)
Als erstes habe ich nur meine KNX Verbindung eingerichtet, zum Test meine Modbus Verbindungen, die REST Api für meine UI und ein Javascript Modul mit vielleicht jetzt 100 Zeilen Code, das eigentlich noch gar nichts macht, denn die Events, auf die es wartet, kommen noch gar nicht.
Mein PC ist ein Intel NUC mit einem Intel Celeron J4005 und 4GB RAM und es läuft debian darauf.Recht schnell ist mir aufgefallen, dass der PC auf einmal nicht mehr adäquat reagiert, also habe ich mal umgesehen.
So sieht es aus:
Benutze ich die REST API noch, stehen auch da schon mal schlanke 1GB Speicherverbrauch. Für eine 50kB JSON Antwort.
Nun kommt meine Frage:
Ist da was gewaltig verkehrt bei mir? Was kann es sein?
Das System ist ja noch leer - ich habe 1181 Objekte...Oder: Braucht das eigentlich nackte iobroker schon über 3GB RAM?!
Viele Grüße,
Thomas -
@thomas_ sagte: ich habe 1181 Objekte...
Über 1,5 GB für die Javascript-Instanz: Da läuft offenbar mind. ein Skript Amok.
Es hüpft jetzt auf einmal ständig hin und her.
1,5 GB admin, dann 600 MB
javascript 40 MB, dann 1,5GB.Die anderen sehen vernünftig aus.
Die Javascripte sind nur zwei:
Das erste liest alle 5 Minuten eine URL aus, die eine Zahl ausspuckt und schreibt die Zahl auf den KNX Bus
Das zweite hat 5 ON-Events drin, aus dem Modus und würde auch die ins KNX schreiben, aber der Modbus Adapter ist ja deaktiviert - das tut also gar nichtsedit: das funktioniert auch alles, ich habe die history der objekte geprüft. da kommt nichts an. nicht, dass ihr denkt, meine skripte schreiben halt alle 2 ms nen neuen wert oder sowas ^^
PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 7463 iobroker 20 0 1916916 1,1g 14768 S 1,0 31,5 0:40.20 iobroker.js-con 7504 iobroker 20 0 1383092 719332 14380 R 127,8 20,1 0:17.72 io.javascript.0 914 mysql 20 0 1887640 227456 9096 S 0,0 6,3 5:30.09 mariadbd 7589 iobroker 20 0 10,7g 143904 19692 S 0,0 4,0 0:03.89 io.rest-api.0 7488 iobroker 20 0 1759200 143072 10928 S 0,0 4,0 0:10.89 io.admin.0 7549 iobroker 20 0 1009312 137884 11872 S 0,0 3,8 0:02.40 io.tuya.0 -
@thomas_ sagte: ich habe 1181 Objekte...
Über 1,5 GB für die Javascript-Instanz: Da läuft offenbar mind. ein Skript Amok.
jetzt hat es sich eingependelt
PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 7488 iobroker 20 0 1723044 834036 22436 S 0,0 23,3 0:28.68 io.admin.0 7463 iobroker 20 0 1742872 822992 15616 S 0,7 23,0 0:52.81 iobroker.js-con 7504 iobroker 20 0 1744268 773680 19448 S 0,0 21,6 0:49.13 io.javascript.0 914 mysql 20 0 1822104 131300 11336 S 0,0 3,7 5:32.98 mariadbd 7549 iobroker 20 0 975860 61388 14352 S 0,0 1,7 0:03.06 io.tuya.0 7589 iobroker 20 0 10,7g 58580 12752 S 0,0 1,6 0:04.53 io.rest-api.0 7548 iobroker 20 0 690040 50564 15384 S 0,3 1,4 0:05.85 io.openknx.0 932 root 20 0 3538940 38364 12912 S 0,0 1,1 0:25.76 java 782 root 20 0 125268 37644 7940 S 4,0 1,1 3:47.61 perl 7570 iobroker 20 0 679596 34368 12472 S 0,0 1,0 0:01.87 io.discovery.0 -
jetzt hat es sich eingependelt
PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 7488 iobroker 20 0 1723044 834036 22436 S 0,0 23,3 0:28.68 io.admin.0 7463 iobroker 20 0 1742872 822992 15616 S 0,7 23,0 0:52.81 iobroker.js-con 7504 iobroker 20 0 1744268 773680 19448 S 0,0 21,6 0:49.13 io.javascript.0 914 mysql 20 0 1822104 131300 11336 S 0,0 3,7 5:32.98 mariadbd 7549 iobroker 20 0 975860 61388 14352 S 0,0 1,7 0:03.06 io.tuya.0 7589 iobroker 20 0 10,7g 58580 12752 S 0,0 1,6 0:04.53 io.rest-api.0 7548 iobroker 20 0 690040 50564 15384 S 0,3 1,4 0:05.85 io.openknx.0 932 root 20 0 3538940 38364 12912 S 0,0 1,1 0:25.76 java 782 root 20 0 125268 37644 7940 S 4,0 1,1 3:47.61 perl 7570 iobroker 20 0 679596 34368 12472 S 0,0 1,0 0:01.87 io.discovery.0@thomas_ das sieht dann wirklich nach einem amoklaufenden Skript aus, dass wahrscheinlich zeitgesteuert startet
-
@thomas_ das sieht dann wirklich nach einem amoklaufenden Skript aus, dass wahrscheinlich zeitgesteuert startet
iobroker neu gestartet mit deaktivierten Skripten.
Ergebnis:PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 7904 iobroker 20 0 1484584 878440 15504 S 0,0 24,5 0:10.88 io.javascript.0 7859 iobroker 20 0 1884872 846588 15236 D 30,5 23,6 0:29.92 iobroker.js-con 7882 iobroker 20 0 1766296 745928 15296 S 0,0 20,8 0:10.92 io.admin.0 7940 iobroker 20 0 1009412 154080 15332 S 0,0 4,3 0:02.13 io.tuya.0 7994 iobroker 20 0 10,7g 129052 23408 S 0,0 3,6 0:02.66 node -
iobroker neu gestartet mit deaktivierten Skripten.
Ergebnis:PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 7904 iobroker 20 0 1484584 878440 15504 S 0,0 24,5 0:10.88 io.javascript.0 7859 iobroker 20 0 1884872 846588 15236 D 30,5 23,6 0:29.92 iobroker.js-con 7882 iobroker 20 0 1766296 745928 15296 S 0,0 20,8 0:10.92 io.admin.0 7940 iobroker 20 0 1009412 154080 15332 S 0,0 4,3 0:02.13 io.tuya.0 7994 iobroker 20 0 10,7g 129052 23408 S 0,0 3,6 0:02.66 nodeWieso stehen denn da 103 Eingabewerte ganz ohne Skripte?
-
iobroker neu gestartet mit deaktivierten Skripten.
Ergebnis:PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 7904 iobroker 20 0 1484584 878440 15504 S 0,0 24,5 0:10.88 io.javascript.0 7859 iobroker 20 0 1884872 846588 15236 D 30,5 23,6 0:29.92 iobroker.js-con 7882 iobroker 20 0 1766296 745928 15296 S 0,0 20,8 0:10.92 io.admin.0 7940 iobroker 20 0 1009412 154080 15332 S 0,0 4,3 0:02.13 io.tuya.0 7994 iobroker 20 0 10,7g 129052 23408 S 0,0 3,6 0:02.66 node@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
iobroker neu gestartet
passt!
in ein, zwei Minuten sollte es weniger sein. -
Wieso stehen denn da 103 Eingabewerte ganz ohne Skripte?
@thomas_ weil der Adapter gerade alle states abonniert
aber 1,3 GB RAM kommt mir etwas viel vor -
@thomas_ weil der Adapter gerade alle states abonniert
aber 1,3 GB RAM kommt mir etwas viel vorja, mir ja auch ^^
und weniger als 700 MB werden es nicht:
-
ja, mir ja auch ^^
und weniger als 700 MB werden es nicht:
Jetzt hab ich es mal zum Test auf einem anderen debian Server installiert, der mehr RAM hat, aber der Verbrauch ist ja genau der gleiche:
2347370 iobroker 819.41 MiB io.admin.0 2347431 iobroker 76.58 MiB io.backitup.0 2351527 iobroker 865.33 MiB io.javascript.0 2351574 iobroker 76.55 MiB io.openknx.0 2347340 iobroker 1.42 GiB iobroker.js-controllerDann scheint das wohl so normal zu sein?
-
Jetzt hab ich es mal zum Test auf einem anderen debian Server installiert, der mehr RAM hat, aber der Verbrauch ist ja genau der gleiche:
2347370 iobroker 819.41 MiB io.admin.0 2347431 iobroker 76.58 MiB io.backitup.0 2351527 iobroker 865.33 MiB io.javascript.0 2351574 iobroker 76.55 MiB io.openknx.0 2347340 iobroker 1.42 GiB iobroker.js-controllerDann scheint das wohl so normal zu sein?
@thomas_
Dann scheint das wohl so normal zu sein?
Nein. Ich habe ca. die zehnfache Anzahl der Objekte, bei nur ca. einem Zehntel Speicherverbrauch.
Wie sieht der Speicher bei frisch installiertem ioBroker aus?
NUC10I3+Ubuntu+Docker+ioBroker+influxDB2+Node Red+RabbitMQ+Grafana
Pi-hole, Traefik, Checkmk, Conbee II+Zigbee2MQTT, ESPSomfy-RTS, LoRaWAN, Arduino, KiCad
Benutzt das Voting im Beitrag, wenn er euch geholfen hat.
-
@thomas_
Dann scheint das wohl so normal zu sein?
Nein. Ich habe ca. die zehnfache Anzahl der Objekte, bei nur ca. einem Zehntel Speicherverbrauch.
Wie sieht der Speicher bei frisch installiertem ioBroker aus?
@marc-berg das ist beides ein frisch installierter iobroker :man-shrugging:
Der erste, kleinere PC, 4-5 Tage alt.
Bei dem zweiten Server habe ich im Prinzip nur die Objekte importiert. Aber sonst hab ich ja eh nichts am Laufen... CPU Auslastung ist ja auch Null. -
@marc-berg das ist beides ein frisch installierter iobroker :man-shrugging:
Der erste, kleinere PC, 4-5 Tage alt.
Bei dem zweiten Server habe ich im Prinzip nur die Objekte importiert. Aber sonst hab ich ja eh nichts am Laufen... CPU Auslastung ist ja auch Null.@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
das ist beides ein frisch installierter iobroker
nein!
da sind schon weitere Adapter installiert und aktiv -
@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
das ist beides ein frisch installierter iobroker
nein!
da sind schon weitere Adapter installiert und aktivDanke für euer aller Mühen, aber: so kommen wir ja nicht wirklich weiter.
Ich hatte auf einen wertvollen Tipp gehofft, von den iobroker Profis - mit dem Betriebssystem usw kenne ich mich ja selber aus. Kann doch nicht sein, dass ich der erste/einzige mit so einem Phänomen bin, dachte ich mir (wobei ich beim googlen auch nichts gefunden habe) - schließlich habe ich ja im Sinne des Systems kaum etwas eingerichtet. Offenbar gibt es auch keine weitergehenden Debug Möglichkeiten, sonst hätte sie wohl jemand schon genannt.
Inzwischen habe ich schon versucht, den controller mit den Chrome Dev Tools und einem SSH Tunnel remote zu debuggen, damit ich mal die Objektstrukturen und deren Speicherverbrauch anschauen kann, dann hätte ich mal in den Code schauen können und das Problem vielleicht so gefunden - aber beim Erstellen des Heap Snapshots bricht der iob Controller immer zusammen - ganz ohne Meldung, leider. Einmal hat er 89% geschafft.. Sehr seltsam.
Das Einzige, was bleibt, ist dann natürlich - wie immer bei Blackboxen - Trial & Error. Also alles nochmal von vorne neu einrichten und schauen, ab wann der Fehler kommt. Darauf scheint ihr jetzt auch hinaus zu wollen, lese ich heraus.
-
Danke für euer aller Mühen, aber: so kommen wir ja nicht wirklich weiter.
Ich hatte auf einen wertvollen Tipp gehofft, von den iobroker Profis - mit dem Betriebssystem usw kenne ich mich ja selber aus. Kann doch nicht sein, dass ich der erste/einzige mit so einem Phänomen bin, dachte ich mir (wobei ich beim googlen auch nichts gefunden habe) - schließlich habe ich ja im Sinne des Systems kaum etwas eingerichtet. Offenbar gibt es auch keine weitergehenden Debug Möglichkeiten, sonst hätte sie wohl jemand schon genannt.
Inzwischen habe ich schon versucht, den controller mit den Chrome Dev Tools und einem SSH Tunnel remote zu debuggen, damit ich mal die Objektstrukturen und deren Speicherverbrauch anschauen kann, dann hätte ich mal in den Code schauen können und das Problem vielleicht so gefunden - aber beim Erstellen des Heap Snapshots bricht der iob Controller immer zusammen - ganz ohne Meldung, leider. Einmal hat er 89% geschafft.. Sehr seltsam.
Das Einzige, was bleibt, ist dann natürlich - wie immer bei Blackboxen - Trial & Error. Also alles nochmal von vorne neu einrichten und schauen, ab wann der Fehler kommt. Darauf scheint ihr jetzt auch hinaus zu wollen, lese ich heraus.
@thomas_
Mal im Ernst. Du willst Hilfe, weist aber alles besser.@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
klar reicht der! Es geht ja auch um die Speicherbelegung
@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
Das erste liest alle 5 Minuten eine URL aus, die eine Zahl ausspuckt und schreibt die Zahl auf den KNX Bus
Das zweite hat 5 ON-Events drin, aus dem Modus und würde auch die ins KNX schreiben, aber der Modbus Adapter ist ja deaktiviert - das tut also gar nichtsDir wurde ja gesagt woran es evtl. liegen könnte
@paul53 sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
Da läuft offenbar mind. ein Skript Amok.
Was ich aber nicht sehe, sind die besagten Skripte, die sich ein "Wissender" mal genau ansehen könnte, zumal in den Skripten ja teils (deaktivierte) Adapter enthalten sind. Auch Logs zu den Skripten sehe ich bisher nicht.
@marc-berg sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
Nein. Ich habe ca. die zehnfache Anzahl der Objekte, bei nur ca. einem Zehntel Speicherverbrauch.
Wie sieht der Speicher bei frisch installiertem ioBroker aus?
Auch zu diesem Hinweis sehe ich keine Reaktion in Form von aktuellen Screenshots oder what ever.
Ich bin sicher nicht der, der das alles beurteilen kann, das wäre wohl anmaßend. Wie soll aber bitte jemand helfen, wenn auf Nachfrage/Hinweis keine geeigneten Infos kommen?
-
Danke für euer aller Mühen, aber: so kommen wir ja nicht wirklich weiter.
Ich hatte auf einen wertvollen Tipp gehofft, von den iobroker Profis - mit dem Betriebssystem usw kenne ich mich ja selber aus. Kann doch nicht sein, dass ich der erste/einzige mit so einem Phänomen bin, dachte ich mir (wobei ich beim googlen auch nichts gefunden habe) - schließlich habe ich ja im Sinne des Systems kaum etwas eingerichtet. Offenbar gibt es auch keine weitergehenden Debug Möglichkeiten, sonst hätte sie wohl jemand schon genannt.
Inzwischen habe ich schon versucht, den controller mit den Chrome Dev Tools und einem SSH Tunnel remote zu debuggen, damit ich mal die Objektstrukturen und deren Speicherverbrauch anschauen kann, dann hätte ich mal in den Code schauen können und das Problem vielleicht so gefunden - aber beim Erstellen des Heap Snapshots bricht der iob Controller immer zusammen - ganz ohne Meldung, leider. Einmal hat er 89% geschafft.. Sehr seltsam.
Das Einzige, was bleibt, ist dann natürlich - wie immer bei Blackboxen - Trial & Error. Also alles nochmal von vorne neu einrichten und schauen, ab wann der Fehler kommt. Darauf scheint ihr jetzt auch hinaus zu wollen, lese ich heraus.
@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
so kommen wir ja nicht wirklich weiter.
dann liefer doch die notwendigen Infos, damit wir
@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
einen wertvollen Tipp
geben können.
Das geht nur, wenn man mehr Eckdaten hat, um die Ursache eingrenzen zu können.
-
@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
so kommen wir ja nicht wirklich weiter.
dann liefer doch die notwendigen Infos, damit wir
@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
einen wertvollen Tipp
geben können.
Das geht nur, wenn man mehr Eckdaten hat, um die Ursache eingrenzen zu können.
Jetzt seid nicht so zickig. Den Rest schaffe ich erst mal allein - ich halte euch auf dem Laufenden.
P.S.:
Und lasst meinen Mini PC in Ruhe. Der kann das ganz leicht ;) Hier soll ja keine Rakete gestartet werden. -
Jetzt seid nicht so zickig. Den Rest schaffe ich erst mal allein - ich halte euch auf dem Laufenden.
P.S.:
Und lasst meinen Mini PC in Ruhe. Der kann das ganz leicht ;) Hier soll ja keine Rakete gestartet werden.@thomas_ sagte in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
Jetzt seid nicht so zickig.
hier ist keiner zickig!
Nur ohne Infos kann niemand helfen.
Und mehr als wiederholt nachfragen können wir nicht, auch wenn dann wieder keine Antwort kommt.Die Deluxe Glaskugeln sind leider zu teuer für mich.
-
@thomas_
Dann scheint das wohl so normal zu sein?
Nein. Ich habe ca. die zehnfache Anzahl der Objekte, bei nur ca. einem Zehntel Speicherverbrauch.
Wie sieht der Speicher bei frisch installiertem ioBroker aus?
@marc-berg said in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
@thomas_
Dann scheint das wohl so normal zu sein?
Nein. Ich habe ca. die zehnfache Anzahl der Objekte, bei nur ca. einem Zehntel Speicherverbrauch.
Wie sieht der Speicher bei frisch installiertem ioBroker aus?
So ganz mag ich Dir das nicht glauben...
das wären ja bei
Oder: Braucht das eigentlich nackte iobroker schon über 3GB RAM?!
nur 300 MB für Deinen kompletten ioBroker ...
Mein noch langsameres System (siehe Signatur):
martin@iobroker-test-sicher:~$ free -m total used free shared buff/cache available Mem: 6144 1986 2801 0 1356 4157 Swap: 6144 27 6116 martin@iobroker-test-sicher:~$Kann das vielleicht davon abhängen, ob man die Datenpunkte / Stati intern im ioBroker speichert oder extern?
-
@marc-berg said in Hardware Voraussetzungen bzw. Speicherverbrauch iobroker:
@thomas_
Dann scheint das wohl so normal zu sein?
Nein. Ich habe ca. die zehnfache Anzahl der Objekte, bei nur ca. einem Zehntel Speicherverbrauch.
Wie sieht der Speicher bei frisch installiertem ioBroker aus?
So ganz mag ich Dir das nicht glauben...
das wären ja bei
Oder: Braucht das eigentlich nackte iobroker schon über 3GB RAM?!
nur 300 MB für Deinen kompletten ioBroker ...
Mein noch langsameres System (siehe Signatur):
martin@iobroker-test-sicher:~$ free -m total used free shared buff/cache available Mem: 6144 1986 2801 0 1356 4157 Swap: 6144 27 6116 martin@iobroker-test-sicher:~$Kann das vielleicht davon abhängen, ob man die Datenpunkte / Stati intern im ioBroker speichert oder extern?
Support us
392
Online32.5k
Benutzer81.6k
Themen1.3m
Beiträge