[gelöst] states.jsonl file viel zu groß

[crunchip]

@randyandy sagte in states.json file viel zu groß:

Ist stabil ändert sich nicht

@randyandy sagte in states.json file viel zu groß:

herausgefunden was die Karte so auffüllt, es ist die states.json Datei.

Kann dann aber nicht sein

Oder meinst du die jsonl, die anwächst

[RandyAndy]

@crunchip

stimmt ist jsonl. Da habe ich nicht richtig aufgepaßt.

[RandyAndy]

@crunchip

Habe das File nun mal analysiert. Hat nach nicht mal 5 Stunden 710000 Zeilen.
Das erscheint mir ein wenig viel.

Andreas

[Thomas Braun]

@randyandy

Und was hat die Analyse ergeben, wo die ganzen Einträge herkommen?

[RandyAndy]

@thomas-braun

die kommen praktisch von jedem Adapter. Und die Werte werden offensichtlich immer nur drangehängt.

z.B.
Wenn ich z.B. nach

{"k":"system.adapter.hm-rega.1.connected","v":{"val":true,"ack":true,"ts":1649054073537,"q":0,"from":"system.adapter.hm-rega.1","lc":1649054073537,"expire":true}}

suche dann finde ich das im File 1297 mal

Das kann doch eigentlich nicht sein.
Lediglich die Nummer nch ts: ändert sich

ANdreas

[crunchip]

@randyandy sagte in states.jsonl file viel zu groß:

die kommen praktisch von jedem Adapter. Und die Werte werden offensichtlich immer nur drangehängt.

So arbeitet ja auch jsonl
Such mal den Thread zu jsonl, da ist es beschrieben

[AlCalzone]

@randyandy Kannste die Datei mal zippen und mir schicken? Eigentlich sollte ab einer bestimmten Schwelle die Datei neu geschrieben werden mit nur den relevanten Daten. Und am besten dazu noch deine /opt/iobroker/iobroker.json.

[RandyAndy]

Hallo,

geht leider nicht. Die Datei ist gezippt schon viel zu groß un das System läßt das nicht mehr zu

Andreas

[RandyAndy]

@alcalzone

So sollte es funktionieren.
Files

Andreas

[AlCalzone]

Problem gefunden: iobroker.json enthält unzulässige Settings. Nicht sicher, wo diese herkommen, aber diese beiden Blöcke müssen weg:

Wenn autoCompress keine sinnvollen Einstellungen enthält, sondern nur {}, dann sorgt das dafür, dass niemals auto-compressed wird - mit obigem Problem.
Gleichfalls sorgt "throttleFS": {} dafür, dass Änderungen nicht wie sonst gesammelt und zeitversetzt, sondern immer und sofort auf Platte geschrieben werden.
Bei backup bin ich mir nicht 100% sicher, aber "backup": {} könnte auch dafür sorgen, dass es keine regelmäßigen, automatischen Backups von den states und objects gibt.

[apollon77]

@randyandy Kann es sein das du mal im Admin uter "Host" die Settings geändert hast und so ein iobrokwr.json neu geschrieben wurde?

[RandyAndy]

@apollon77

nein an den Parametern habe ich nicht rumgespielt.
Allerdings habe ich von beiden Systemen die Settings verglichen.
Ich habe dann versucht zwei Pfade zu verändern ../../iobroker-data das im stabilen System nicht eingetragen war. War aber immer negativ und die Pfade wurden sofort wieder eingetragen oder wurden nicht abgespeichert.
Ich habe aber in der nahen Vergangenheit beim instabilen System alle Updates des js-controllers eingespielt und da waren wohl einige instabil (laut Forum). Kann es daran liegen? Beim zweiten stabilen System habe ich das nicht gemacht. Da bin ich zwar inzwischen auch auf auf der neuesten Version aber ohne die Zwischenlösungen.

Andreas

[RandyAndy]

@alcalzone

Hi

erst einmal vielen Dank, ich hatte da schon große Sorgen und war schon im Kopf unterwegs das System neu aufzusetzen mit manuellem kopieren wichtiger Dateien (Skripte, VIS, Bilder usw.).
Wie soll ich nun vorgehen, die Datei löschen und das System erstellt Sie dann neu oder manuell mit einem Editor anzupassen.
Jetzt ist mir auch klar warum ich beim Einspielen eines Backups (wobei ich ein Image eines zweiten Systems verwendet habe) immer wieder das gleiche Phänomen gesehen habe. Vermutlich wurde die iobroker.json Datei auch mit eingespielt und dann war das Problem immer wieder da.
Ich werde das heute Abend testen und dann Feedback geben.

Andreas

[apollon77]

@randyandy Danke, aber dieser Zustand kann meiner Erinnerung nach durch kein Update gekommen sein. Interessant wo es herkommt

[AlCalzone]

@randyandy sagte in states.jsonl file viel zu groß:

Wie soll ich nun vorgehen, die Datei löschen und das System erstellt Sie dann neu oder manuell mit einem Editor anzupassen.

Siehe Chatverlauf:

iobroker.json enthält folgende Settings:

"backup": {},
"jsonlOptions": {
  "autoCompress": {},
  "throttleFS": {}
},

jeweils für objects und states.

Stoppe iobroker, entferne diese beiden Abschnitte aus iobroker.json. Starte iobroker wieder

[RandyAndy]

@apollon77

Ich habe da noch eine Idee habe ich aber alCalzone im Chat geschrieben. ICh möchte keine Vermutungen posten.

In der Summe wäre es sicherlich eine gute Idee diese Datei(en) dann abzusichern und vielleicht die Größe zu monitoren und/oder die Struktur der Datei und sinnvolle Settings abzuftragen und gegebenenfalls anzupassen.
Jedenfalls kann es zu einem unsicheren Zustand führen und das sollte oder besser darf so nicht sein.
Das ist ohne Wertung und in der Summe bin ich ein Fan von ioBroker. Die Leistung von Euch allen ist nicht hoch genug einzustufen.

Andreas

[AlCalzone]

@randyandy Sind schon dran... Die (optimierten) Default-Settings werden - sagen wir mal - auf eine suboptimale Weise gesetzt, sodass sie in deinem Fall gar keine Auswirkungen haben.

[RandyAndy]

@alcalzone

Habe nun die Änderungen durchgeführt und nun ist die states.jsonl mit rund 4MB analog zum anderen System.
Noch ein Hinweis: Ich mußte die "fehlerhafte" states.jsonl aber erst löschen. Mit dem Befehl "iob start" ist das System nicht mehr hochgekommen. Habe ca. 30 Minuten gewartet und dann aufgegeben.

Vielen Dank noch einmal für alles.

Andreas

[FoG]

Ich habe leider das gleiche Problem ... states.jsonl wächst innerhalb von 2 Tagen auf 5 GB ... einspielen aus dem Backup rettet wieder 2 Tage lang wenn nix mehr geht.

Die Einträge in iobroker.json habe ich raus gemacht - hilft aber auch nix (reboot gemacht).
(deleted "autoCompress": {}, "throttleFS": {} in Objects und States Abschnitt unter Backup).

 "jsonlOptions": {
    }

[apollon77]

@fog mach den ganzen jsonlOptions Abschnitt weg