ioBroker sehr hohe Diskwrites in Proxmox

[Dr. Bakterius]

Bei mir fehlt die Spalte mit der Diskusage.

Habe auch keine Möglichkeit gefunden sie einzublenden. Wie kommt man zu der?

Beim ioBroker sieht es bei mir so aus:

Der Knick nach unten war eine Erhöhung des Datenabfrageintervalls vom Netatmo-Server von 5 Minuten auf 10 Minuten.

[UncleSam]

@homoran sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Kannst du mir bitte erklären was das aussagt?

Deine states.json Dateien sind je knapp 10 MB gross. Jedes mal, wenn sich also im eingestellten Intervall (ich vermute 5 Minuten) mindestens ein State geändert wurde, dann schreibt er die Datei neu. Dasselbe bei Objektänderungen (aber die sind ja selten). Bei Redis sieht man nicht solche Peaks, da eine State Änderung eben nur einen kleinen Wert in der DB ändert (aber dafür nicht alle 5 Minuten, sondern viel häufiger - da kenne ich die Config nicht).

Die Höhe der Peaks sagt nur etwas darüber aus, wie gross die Datei ist. Es spielt keine Rolle, wieviele States geändert werden. Die Häufigkeit der Peaks sagt aus, wie oft sich irgendein State ändert (immer mit dem fixen Intervall) - und das ist in einem "normalen" ioBroker System recht häufig.

[Master67]

So sieht mein ioBroker aus... verwende Redis, der ioBroker läuft auf einer SSD.

[UncleSam]

@master67 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

verwende Redis

Danke für die Grafik. Genau, was zu erwarten war bei Redis: viel kleinere, dafür häufigere Writes. In Summe kann das einiges weniger sein als bei File DB.

[Homoran]

@unclesam Danke für die Erklärung!

Das mit den Schreibvorgängen war mir bewusst, aber ich habe ja gar keine wirklichen Peaks:

[paul53]

@unclesam sagte wenn sich also im eingestellten Intervall (ich vermute 5 Minuten) mindestens ein State geändert wurde, dann schreibt er die Datei neu

Voreinstellung ist 30 s.

@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Dasselbe bei Objektänderungen (aber die sind ja selten).

Da der Zeitstempel genau so jung ist wie bei der states.json, vermute ich, dass ein Adapter läuft, der immer wieder neue Objekte erzeugt.

@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:

da eine State Änderung eben nur einen kleinen Wert in der DB ändert (aber dafür nicht alle 5 Minuten, sondern viel häufiger - da kenne ich die Config nicht).

Redis schreibt in der Voreinstellung alle 5 Minuten.

[Homoran]

@paul53 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Da der Zeitstempel genau so jung ist wie bei der states.json, vermute ich, dass ein Adapter läuft, der immer wieder neue Objekte erzeugt.

Adlerauge!
Aber das passt jetzt hier nicht in den Thread, ich wollte den nicht kapern

[robbsen]

Erstmal danke, ist ja eine spannende Diskussion eingetreten.
Aktuell gehe ich also davon aus, dass ich aus Redis umstellen sollte.

Das Problem dürfte aber nicht nur bei Proxmox sondern überall auftreten oder? Würde auch erklären, warum so viele Probleme mit defekten SD Karten haben?

@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:

ls -lah /opt/iobroker/iobroker-data

total 25M
drwxrwxr-x+  9 iobroker iobroker 4.0K Jan 18 15:54 .
drwxrwxr-x+  8 iobroker iobroker 4.0K Jan 19 14:09 ..
drwxrwxr-x+  2 iobroker iobroker 4.0K Jan 19 13:27 backup-objects
drwxrwxr-x+  2 iobroker iobroker 4.0K Jan  8 13:44 eufy-security.0
drwxrwxr-x+ 52 iobroker iobroker 4.0K Jan 18 18:45 files
-rw-rwxr--+  1 iobroker iobroker 4.3K Jan 17 11:35 iobroker.json
-rw-rw-r--+  1 iobroker iobroker  114 Jan 18 17:02 notifications.json
-rw-rwxr--+  1 iobroker iobroker  11M Jan 19 14:14 objects.json
-rw-rwxr--+  1 iobroker iobroker  11M Jan 19 14:14 objects.json.bak
-rw-rwxr--+  1 iobroker iobroker 1.5M Jan 19 14:49 states.json
-rw-rwxr--+  1 iobroker iobroker 1.5M Jan 19 14:49 states.json.bak
drwxrwxr-x+  3 iobroker iobroker 4.0K Jan 17 14:13 tmp
drwxrwxr-x+  2 iobroker iobroker 4.0K Jan  8 14:14 yahka.0.hapdata
drwxrwxr-x+  2 iobroker iobroker 4.0K Jan  8 14:48 zigbee_0

[UncleSam]

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Das Problem dürfte aber nicht nur bei Proxmox sondern überall auftreten oder?

Absolut richtig, ja. Bei Proxmox kann man das nur ganz praktisch auslesen - auf dem Raspi geht das nicht so einfach.

Würde auch erklären, warum so viele Probleme mit defekten SD Karten haben?

Ja, vor allem wenn die SD Karte nicht so gut und nicht so gross ist. Ich verwende schon aus diesem Grund Redis - allerdings bin ich auch in einer VM auf einem NAS - nur meine Slaves laufen auf Raspis, aber dort hatte ich noch nie SD-Karten-Probleme.

[robbsen]

@dr-bakterius

[paul53]

@robbsen Die states.json(.bak) erzeugen einen Disk write von etwa 360 MB/h.

[robbsen]

@paul53

nur fürs Verständnis: wieso 360MB?

1,5 M(B), alle 30 Sekunden?

Liegt das dann am Theme Redis?

@UncleSam warum ist Redis dann nicht der Standard? Erklärt aber auch, warum es meine letzte SSD zerschossen hat

[paul53]

@robbsen sagte:

1,5 M(B), alle 30 Sekunden?

3 MB alle 30 s (es werden immer 2 Dateien geschrieben). 360 MB/h sind weitaus weniger als 10 GB/h, also kann die hohe Write-Belastung nicht daran liegen.

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Liegt das dann am Theme Redis?

Wenn Redis verwendet wird, werden die Dateien states.json(.bak) nicht verwendet.

[robbsen]

@paul53 Merci ....

dann heißt es für mich wohl umstellen. In der Proxmox Umgebung ja kein Thema mache mir etwas Sorgen mit meinem Slave Raspberry und dem Multihost.

[Homoran]

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Erklärt aber auch, warum es meine letzte SSD zerschossen hat

neee,
ich habe einige SBCs laufen und aus lauter Boshaftigkeit mit file/file sowie massivem History-Einsatz auf SD-Karte laufen.
Die laufen teilweise seit Jahren ohne Murren

[UncleSam]

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

warum ist Redis dann nicht der Standard?

Gute Frage. Weil das eine zusätzliche Applikation zum installieren ist? Ich kann es nur empfehlen.

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

dann heißt es für mich wohl umstellen. In der Proxmox Umgebung ja kein Thema mache mir etwas Sorgen mit meinem Slave Raspberry und dem Multihost.

Proxmox umstellen: ja. Slave ist kein Problem: die schreiben ja die Daten nicht auf ihre Disk sondern senden sie zum Master. Ein Slave ist sehr "dumm"*, der besitzt ausser der Verbindungskonfig keine Daten.

@homoran sagte in ioBroker sehr hohe Diskwrites in Proxmox:

ich habe einige SBCs laufen und aus lauter Boshaftigkeit mit file/file sowie massivem History-Einsatz auf SD-Karte laufen.
Die laufen teilweise seit Jahren ohne Murren

Jetzt musst du aber mal verraten, welche genialen SDs du einsetzt! Wenn du jetzt Samsung sagst, dann verstehe ich dich bestens.

*und da wären wir schon beim Problem der Namensgebung. Dumme Sklaven wollte ich also wirklich nicht sagen.

[Homoran]

@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

warum ist Redis dann nicht der Standard?

Gute Frage. Weil das eine zusätzliche Applikation zum installieren ist? Ich kann es nur empfehlen.

In den ersten Fertigimages für Raspi et al. war es immer installiert, alleine um die I/O Zeiten und damit die Load average niedrig zu halten.

Mit immer stärker werdenden SBCs war das nicht mehr so wichtig und die Probleme bei einem Restore eines Backups von einem System mit redis kam es immer wieder zu Problemen, so dass Redis immer mehr in den Hintergrund gedrängt wurde.

Wenn ich meine eigenen Erfahrungen zusammenfasse, habe ich (siehe Proxmox-Graph und diverse Testsysteme mit SBCs und µSD) keinerlei Probleme ohne Redis.

@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Problem der Namensgebung.

dein Secondary Host hat nicht die Rechenaufgaben wie dein Primary/Main

[robbsen]

@unclesam das beruhigt mich dann kann ich ja in aller Ruhe umstellen und einfach das Backup einspielen in Proxmox wenn es Probleme gibt.

@homoran du bist mir ja einer ;)... einfach die SSD böse belasten
Aner wie gesagt, mir hat ist die letzte SSD zerschossen. lag ggf. aber am Discovergy Adapter & FreshEnergie Adapter und der eingestellten häufigen Abfrage. Oder war einfach Pech.

Das war jetzt dann doch soviel Arbeit, dass ich da skeptisch geworden bin.

Und stimmt schon von den 360 MB sollte nicht das Thema sein.

``
3 MB 30 sekunden
6 MB Minute
360 MB Stunde
8.640 MB Tag
3.153.600 MB Jahr

22,83105023 Jahre Festplattenhaltbarkeit``

[Homoran]

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

einfach die SSD böse belasten

Nö
einfache µSD-Karten von Intenso
(auch Samsung, SanDisk)

Ich habe noch nie im laufenden Betrieb eine µSD geschrottet, lediglich eine HDD mit Lagerschaden nach 5 Jahren 24/7
Medion/Tevion und andere Billigversionen wie Hama haben schon mal beim Formatieren Probleme gezeigt und sind dann rausgeflogen.

@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Das war jetzt dann doch soviel Arbeit, dass ich da skeptisch geworden bin.

Regelmäßig Backups fahren mit dem backitup-Adapter, dann ist ein nagelneues System innerhalb einer halben Stunde wieder am Start ohne alten Ballast

[Meister Mopper]

Jetzt bin ich aber doch ein wenig hellhörig geworden.

Wenn ich meine Daten mit den euren vergleiche, fällt mir auf, dass ich zwischen 30M und 90M liege, ihr aber viel niedriger.

Ich nutze auch redis für die states und aktuell laufen 41 Instanzen auf dem Master und 5 auf dem Slave.

Ist das im Bereich des Normalen?