ioBroker sehr hohe Diskwrites in Proxmox

[saeft_2003]

Ich konnte meine diskwrites schon ca. halbieren, habe aber trotzdem noch ca. 5GB die Stunde.

Was würdet ihr mir noch empfehlen bzw. was bringt am meisten? Ich könnte noch:

1. Js-controller update (im Moment 3.1.6). Sollte ja nichts großes sein...
2. auf redis umstellen. Da bin ich mir nicht sicher ob dass das richtige für mich ist...
3. experimentelle jsonl Datenbank. Da werde ich mich wahrscheinlich erst wagen, wenn das im latest ist...

[robbsen]

@saeft_2003 warum sollte auf Redis umstellen nicht das richtige sein? Bisher läuft es ohne Probleme, bei einigen hier im Forum doch schon seit Jahren?

[crunchip]

@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

habe aber trotzdem noch ca. 5GB die Stunde.

letztendlich kommt es ja doch drauf an, was auf deinem IoBroker alles so läuft, vllt. doch noch ein Adapter am laufen, der dies verursacht!?
viele nutzen z.b. den dasWetter Adapter(hab ich schon ewig deaktiviert), denke der könnte auch so ein Kandidat sein, oder eben spezielle Adapter, wie WLED, wo noch Handlungsbedarf besteht.
Redis kannst du eigentlich bedenkenlos installieren und umstellen, würde ja bei dir mit auf der Iobroker Maschine laufen und nicht separat, von daher, bei nem eventuellen snapshot/backup, falls nötig, macht das keine Probleme.

[Dr. Bakterius]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

hochgerechnet, komm ich auf rund 7,5GB diskwrite pro Tag.

Ist ja auch schon recht wenig. Hast du states und objects auf jsonl umgestellt? Oder ist eines von beiden noch auf file bzw. redis (iobroker status)?

[crunchip]

@dr-bakterius beides umgestellt, siehst du oben im ersten screen

[Dr. Bakterius]

@crunchip Hm, bei mir ist jetzt das Schreibvolumen zwar auf 183 MiB pro Tag hochgegangen, aber das sind trotzdem keine 3% von dir. Wäre interessant weshalb du doch soviel mehr hast (oder warum ich so wenig habe). Denn eigentlich müsste es auch bei mir viel mehr sein. Die beiden Dateien haben auch bei mir deutlich über 20 MB. Wenn die also nur alle zwei Stunden komprimiert und neu geschrieben werden, müsste das alleine schon mehr sein als ich jetzt habe. Ich konnte bis jetzt noch keinen solchen Vorgang beobachten. Also irgendwas stimmt da was nicht so ganz...

[saeft_2003]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

habe aber trotzdem noch ca. 5GB die Stunde.

letztendlich kommt es ja doch drauf an, was auf deinem IoBroker alles so läuft, vllt. doch noch ein Adapter am laufen, der dies verursacht!?
viele nutzen z.b. den dasWetter Adapter(hab ich schon ewig deaktiviert), denke der könnte auch so ein Kandidat sein, oder eben spezielle Adapter, wie WLED, wo noch Handlungsbedarf besteht.
Redis kannst du eigentlich bedenkenlos installieren und umstellen, würde ja bei dir mit auf der Iobroker Maschine laufen und nicht separat, von daher, bei nem eventuellen snapshot/backup, falls nötig, macht das keine Probleme.

DasWetter steht bei mir auf alle 30min. Ich habe den Adapter jetzt mal ganz deaktiviert um zu schauen ob sich was ändert. Wled habe ich nicht installiert...

[saeft_2003]

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@saeft_2003 warum sollte auf Redis umstellen nicht das richtige sein? Bisher läuft es ohne Probleme, bei einigen hier im Forum doch schon seit Jahren?

Ich glaube hier im Thread steht auch irgendwo, dass die Umstellung auf redis keinen großen Effekt auf den diskwrite hatte. Deswegen habe ich so blöd gefragt...

[apollon77]

@crunchip re postest du das bitte nochmal
Im Anderen thread?! Lasst bitte bissl die Themen trennen.

Aber mit den 32mb objects und 9mb States kommt man mit Controller 3.2 standard Settings auf 247gb/Tag. Korrekt.

Durch objects runter auf nur 1x/h speichern sind es 91gb weniger. Rest wäre nur zu schaffen wenn man auch States seltener speichert.

[apollon77]

@saeft_2003 naja weilendes von der redis konfig bezüglich persistent abhängt. Ich glaube mit Standard konfig speichert redis Die dB alle 5 mins ... schau Größe des dump.rdb file an und rechne hoch. Sonst die Save Einstellungen anpassen oder sich hier gibt es eine aof persistentoption. Also dann wie die jsonl dB ;-))

[crunchip]

@saeft_2003 ich habe im anderen Thread noch nen Spoiler der aktiven Instanzen hinzugefügt, vllt hilft es als Vergleich, so das du raus finden könntest, welchen Adapter ich nicht habe, der eventuell bei dir soviel diskwrite verursacht.

[saeft_2003]

Ich habe jetzt den js-controller geupdatet auf 3.2.16 und mein diskwirte, hat sich fast halbiert auf ca. 700 kB.

[Meister Mopper]

@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Ich habe jetzt den js-controller geupdatet auf 3.2.16 und mein diskwirte, hat sich fast halbiert auf ca. 700 kB.

Bei mir herrscht nach dem Update auf 3.2.16 auch Ruhe. Vielen Dank an @apollon77 @Bluefox und all die anderen Entwickler. Ihr seid ein tolles Team!

[Adnim]

Hi,
lese hier auch von Anfang an mit. Habe ca 2,8 TB Write Volumen in 24h. Macht in der Woche etwas Mehr als 20TB. Bekomme das auch einfach nicht runter. Benutzte zur Zeit Redis für States und Object. Und ein paar Gig zu sparen ist auch nicht ausreichend. Es muss ja massiv weniger werden, habe nicht so richtig Ahnung wo Anfangen zu suchen wo der Load herkommt.

Habe aber schon mit den Adaptern etwas rumgespielt und habe so im Gefühl das der Hue-Extendend Adapter riesigen Load produziert. konnte hier noch jemand etwas beobachten, bringt Umstellung auf den normalen Hue adapter eine Besserung?

So brauch ich meinen Iobroker nicht weiter zu betreiben, kann ja nicht andauernd neue Festplatten kaufen...

Edith: habe aktuellen Stand aus dem Latest alles.

[Meister Mopper]

@adnim Na ja, latest ist beta. Wer weiß, was Dir da die Platte zumüllt.

[saeft_2003]

@adnim

Wow das wären ja 2GB pro Minute

Zeig mal dein diskwrite chart von proxmox.

[Dr. Bakterius]

@adnim Schon mal https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller getestet? Hat bei mir die Writes praktisch auf Null gesenkt und läuft jetzt seit knapp einer Woche ohne Probleme.

[JLeg]

@adnim wenn du Redis schon benutzt für objects/states - wie gross ist denn die dump.rdb? Und wie oft speichert Redis das auf Disk (Default ist ja eher "minimal alle 60s"...)?

[apollon77]

@jleg Genau das ist auch meine Frage!

Der Default würde dir alle 5 Minuten die ganze DB speichern. Wenn states und objects in einer Redis sind dann passiert das auch. bei mir wären das 225MB.

An der Stelle macht es sehr grossen sinn mal mindestens Redis persistenz auf "appendonly" umzustellen, dann sollte die Compaction seltener passieren, aber bissl mehr platz brauchen.

Ich habe bei mir (wie auch im Redis Forum Artikel von mir vorgeschlagen) STates und Objects in getrennte Redis gepackt und hier States lasse ich nach änderungen schreiben und objekt lasse ich aof schreiben

[Adnim]

Mein Diskwrite sieht so aus:

meine Dumb.rdb

christoph@iobroker1:/opt/iobroker$ sudo du /var/lib/redis/dump.rdb
202988  /var/lib/redis/dump.rdb

habe alles auf Standart damals gelassen, nur Installiert.

Überlege nun auf die JsonL Datenbank Umzustellen.
Wenns da so gute Rückmeldungen gibt, geh ich mal ans Backup und stelle danach um.
Gebe Rückmeldung wie es sich danach verhält.