NEWS
[gelöst] Javascript-Adapter Speicherproblem memRSS
-
Es ist toll zu hören, dass du weiter gekommen bist.
> Die einstellbare Speichergrenze in den Instanzen scheinen nicht zu greifen
Es wird eine Einstellung vorgenommen, die heißt "–max-old-space-size".Es kann sein, dass die nur für 0.10 und 0.12 gültig ist.
Und das habe ich noch gefunden:
"
Keep in mind that --max-old-space-size specifies the heap limit for the v8 JS engine that powers Node.js. This doesn't include all the memory the process might be using, such as buffers (for example, if you load very large images or JSON files). OSX will show you the entire memory usage of the node process in its activity monitor. Use process.memoryUsage() programatically to see heap memory usage." `
very large JSON… passt ja :roll:
Sieht so aus, als könnte man das gar nicht verhindern...
Ich muss noch einen Editor für den Mac finden, der mit der Datei klar kommt. Ein erster Blick heute zeigte, dass das Skript wahrscheinlich ein Fehler hat und als Wert für einen Datenpunkt ein recht langes JSON erzeugt hat.
Ich gebe auf jeden Fall Rückmeldung. Entweder als Fehlerbild, um zukünftiges Unheil zu vermeiden oder man kann ggf. doch was abfangen.
Gruß
Michael
-
Mehrere hundert MB JSON File ist natürlich zu viel, selbst bei tausenden Datenpunkten. Dein Skript hat vermutlich einen Datenpunkt erstellt der alleine einen Großteil der Dateigröße ausmacht. Die meisten Editoren laden die gesamte Datei auf einmal und bekommen das ebensowenig hin wie ioBroker.
Es gibt aber auch Editoren welche die Datei nicht als ganzes laden, auf Anhieb kann ich dir jetzt leider keinen nennen.
-
Mehrere hundert MB JSON File ist natürlich zu viel, selbst bei tausenden Datenpunkten. Dein Skript hat vermutlich einen Datenpunkt erstellt der alleine einen Großteil der Dateigröße ausmacht. Die meisten Editoren laden die gesamte Datei auf einmal und bekommen das ebensowenig hin wie ioBroker.
Es gibt aber auch Editoren welche die Datei nicht als ganzes laden, auf Anhieb kann ich dir jetzt leider keinen nennen. `
Mehrere hundert MB?? ;-) na, sind nur zwei mal hundert :-)
Die 3.000 Objekte hat man ganz schnell zusammen. Ausser die Adapter als Grundgerüst, habe ich in der Installation noch gar nicht viel gemacht.
Nach den Editor suche ich gleich.
Wie groß ist den so eine durchschnittliche states.json?
Auf dem pi3 mit meinem Bluetooth Skript sind es nur 40 kB. Schon ein kleiner Unterschied zu den 200 MB. :lol:
P.S.: ja, ein Skript hatte einen Fehler und statt 50 Einträge, nun ja, sagen wir mal… recht viele Einträge erzeugt.
-
Super, dass Du den Fehler hartnäckig eingegrenzt und gefunden hast.
Mit Notepad++ hab ich schon wesentlich größere Dateien geöffnet - ich weiß nicht ob's da ein Pendant für den MAc gibt. Oder magst Du evtl. die kaputte states.json mal hochladen?
Gruß Thilo
-
Auf dem Mac kann man MacVim benutzen. Vim war zwar nie mein Favorit (Bedienung).
Danke für Dein Angebot! :-) Da stehen allerdings ein paar sehr private Daten drin, als dass ich diese ins Netz stellen möchte ;-)
Jetzt muss ich mal schauen, ob ich mir nicht noch einen anderen Bock geschossen habe.
Mein SFTP client (Cyberduck) hatte die states.json auch nach dem aktualisieren immer noch mit 207 MB angezeigt, obwohl die Datei in echt nur noch knapp 1,2 MB groß war. Daher habe ich sie gesichert und und dann einfach die states.json und die states.bak gelöscht (vorher iobroker gestoppt).
Die Datei wurde dann wieder erstellt. Interessanterweise haben wohl alle Datenpunkte wieder Ihre Werte. ich dachte eigentlich, dass die letzten Werte in der states.json gespeichert sind.
Daher muss ich nun noch folgendes klären, um das System zu verstehen:
-
sind wirklich alle Werte vorhanden?
-
wenn ja, woher kamen die Werte?
-
habe ich mir jetzt ggf. einen Bock geschossen?
-
-
Interessanterweise haben wohl alle Datenpunkte wieder Ihre Werte. ich dachte eigentlich, dass die letzten Werte in der states.json gespeichert sind. `
Soweit ich das beurteilen kann, ist die states.json ein Abbild des im RAM gehaltenen Arrays aller "states", das alle 30 s aktualisiert wird, um nach einem Reboot mit zumeist aktuellen Werten fortsetzen zu können. Wenn also zwischenzeitlich kein Reboot erfolgt, sind nach Löschen der Dateien diese in den Dateien nach spätestens 30 s alle wieder aktuell. Das Array im RAM wird ohne Reboot ohnehin nicht beeinflusst.Allerdings halte ich die Refresh-Rate für die Dateien im Sinne einer langen Lebensdauer der SD-Card für zu kurz. 10 Minuten sollten auch genügen. Man kann mit "iobroker stop" eine sofortige Aktualiserung der Dateien erzwingen.
-
Mehrere hundert MB?? ;-) na, sind nur zwei mal hundert :-)
Die 3.000 Objekte hat man ganz schnell zusammen. Ausser die Adapter als Grundgerüst, habe ich in der Installation noch gar nicht viel gemacht.
Nach den Editor suche ich gleich.
Wie groß ist den so eine durchschnittliche states.json?
Auf dem pi3 mit meinem Bluetooth Skript sind es nur 40 kB. Schon ein kleiner Unterschied zu den 200 MB. :lol:
P.S.: ja, ein Skript hatte einen Fehler und statt 50 Einträge, nun ja, sagen wir mal… recht viele Einträge erzeugt. `
200 sind doch mehrere :D. Es ist bei solchen Größen relativ egal ob es nun 200Mb oder 500Mb sind, es sollte im Normalfall maximal wenige Megabyte groß sein. Interessant wäre noch ob dein Skript viele kleine oder wenige riesige States angelegt hat. Letzteres könnte man verhindern indem eine Obergrenze für die Größe eines States eingeführt wird (falls es das nicht schon gibt?!)