ioBroker sehr hohe Diskwrites in Proxmox

[MartyBr]

@saeft_2003

Also übersetzt: Ich brauche mir erstmal keine Sorgen machen.

Richtig?

[saeft_2003]

@martybr

Also ich deute das so, bin aber sicherlich kein Profi.

Vielleicht kann das jemand nochmal aufklären?

[crunchip]

ich lass mal bei einer Platte smartctl laufen, dauert ca 80 min, mal vergleichen ob das übereinstimmt, mit dem, was in Proxmox angezeigt wird.

Während dessen, auf die Suche nach Adapter bzw Scripten machen

Edit:
smartctl hat hat nichts besonderes ergeben und deckt sich mit der Ausgabe in Proxmox

[crunchip]

@martybr sagte in ioBroker sehr hohe Diskwrites in Proxmox:

erstmal keine Sorgen machen.

spätestens wenn in der Spalte S.M.A.R.T was anderes als PASSED steht, solltest du dir Gedanken machen, bzw Handeln

[MartyBr]

@crunchip
Okay, danke. Ich werde trotzdem die SSD tauschen. Ich habe mir eine 1TB SSD bestellt. Die kommt dann in den Haupt-Node rein, die 500 GB geht dann in meinen zweiten Node.

Meine Idee zum Wechsel:
Ich verschiebe die VMs auf den "Reserve"-Proxmox-Node.
Installation von Proxmox auf der freigewordenen Maschine
Beide Systeme wieder verknüpfen
Die VMs zurück schieben.

Was meint ihr dazu? Kann das erfolgreich umgesetzt werden?

[crunchip]

@martybr sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Was meint ihr dazu? Kann das erfolgreich umgesetzt werden?

sollte so funktionieren

[MartyBr]

@crunchip Dann setze ich da morgen mal dran.

Danke für die Ratschläge.

[crunchip]

@paul53 also zumindest, so wie ich es sehe, wird die objects.json in unregelmässigen Abständen geändert, also kein fester Zyklus. Jedoch noch keinen Grund gefunden.

Jetzt fasse ich aber trotzdem nochmal kurz zusammen.

• wie sich die objects.json vor dem 15.01.21 verhalten hat, weiß ich nicht
• seit dem 15.01. hab ich diese hohen i/o, davor lief alles piano, ohne Auffälligkeiten
• ab diesem Tag wurde der Js-controller und alle dazu benötigten Adapter(admin, web, socket...) upgedatet
• es kamen keine neuen Adapter dazu, es wurden lediglich, die Updates der bestehenden Adapter ausgeführt
• es wurden auch keine neuen Scripte erstellt, keine aktiviert oder geändert

wenn ich redis auch für Objekte aktiviere, sollte es vermutlich etwas besser laufen?

[Feuersturm]

Kann es auch hilfreich sein die Zeitplanung der einzelnen Instanzen zu prüfen / hinterfragen. Ich hab z.B. 5 ical Instanzen, welche bisher alle 15 min. gescheduled wurden. Gerade bei Geburtstagsterminen oder Müllkalendern ist ja sowas eher in der Häuffigkeit unnötig. Ich hab dies jetzt mal bei mir geändert und werde mal schauen ob und wie sich das Schreibverhalten ändert.

Meine "sdb" SSD ist jetzt seit knapp 4 Jahren im Einsatz und zeigt einen Wearout von 16% an.

Die "sda" SSD ist erst ein paar Monate alt.

Ich hab mit der Veröffentlichung von js-controller 3.2.x eine "ioBroker Testumgebung" aufgesetzt. Bei dieser habe ich aktuell folgende Schreibwerte:

[Homoran]

@martybr sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Ich werde trotzdem die SSD tauschen

Was habe ich denn jetzt nicht verstanden?
Ein Wearout von 3% in einem Jahr gibt rein rechnerisch noch eine Lebensdauer von 30 Jahren, bis der Wearout 100% erreicht hat

[JLeg]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@paul53 also zumindest, so wie ich es sehe, wird die objects.json in unregelmässigen Abständen geändert, also kein fester Zyklus. Jedoch noch keinen Grund gefunden.

Im Prinzip habe ich das gleiche Problem (zumindest in Bezug auf den Stress der SSD), object.json ist deutlich grösser als states.json, wird aber genauso oft neu geschrieben.
Theoretisch sollte sich ein Hinweis auf die Ursache finden lassen, wenn man die Unterschiede zwischen objects.json und objects.json.bak sinnvoll extrahieren könnte. Fürchte aber, da müsste man erst bissel basteln mit json und diff o.ä.

wenn ich redis auch für Objekte aktiviere, sollte es vermutlich etwas besser laufen?

Ja, da kannst du ja die Schreibfrequenz beliebig niedrig einstellen (allerdings auf Kosten der Datensicherheit - wenn die Kiste abschmiert mit 5 Minuten Daten im Redis-Ram, sind die dann halt weg. Muss man abwägen)

[crunchip]

@jleg muss ich mir mal durch den Kopf gehen lassen, ob ich die Objekte auch auf redis umstelle.

zu meinen Ausuferungen des i/o von 8G aufwärts, habe ich einen verdacht auf den Unifi Adapter.
Und zwar habe ich dieses gefunden, bzw ist gerade aufgetaucht, was zeitlich übereinstimmt. Ich kenne zwar die Meldung, bekomme sie aber nicht weg.

unifi.0	2021-01-22 21:19:02.936	error	(1876) Error: Login required. Check username and password.
unifi.0	2021-01-22 21:19:02.639	error	(1876) Error: Login required. Check username and password.

[MartyBr]

@homoran
Ich habe das ganze auch nicht vollständig verstanden. In einem Artikel wurde beschrieben, dass der Wert im Laufe der Abnutzung von 100% zu 0% wandert. Daher meine Reaktion. Da ich aber schon geplante hatte, den Speicher zu erweitern, investiere ich hier lieber in eine neue und größere SSD.

Als einen Verursacher der hohen Schreiblast habe ich (bei mir) den Corona-Adapter:

Ich hatte mal einen Teil der Adapter gestoppt und sukzessive wieder gestartet. Ich verfolge das weiter.

P.S.
Ich Speicher die States in Reis. Der Remis-Server ist eine eigene VM. Diese läuft aktuell sogar auf einen anderen Host/Node.

[saeft_2003]

@martybr

In dem Artikel ist aber nicht von % die rede.

"Der normalisierte Wert sinkt linear von 100 bis auf 1"

[JLeg]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@paul53 na bravo, die Nadel im Heuhaufen suchen
ich geh erstmal was essen

Ich hab‘ meine Nadel gefunden: es ist der WLED-Adapter bei mir, der permanent 3 „ts“-Attribute in der object.json ändert. Keine Ahnung, was ‚ts‘ ist, aber kein anderer Adapter macht das bei mir...

<         "ts": 1611347233158,
---
>         "ts": 1611347196916,
425532c425532
<         "ts": 1611347233313,
---
>         "ts": 1611347197059,
425736c425736
<         "ts": 1611347233379,
---
>         "ts": 1611347197127

[MartyBr]

Hier die Werte bei Start und Stopp Corona Adapter:

[crunchip]

@jleg guter Hinweis, den hab ich auch laufen und zufälligerweise die Tage festgestellt, das Wled nicht soooooo ganz korrekt läuft, gab doch da vor kurzem ein Update, wegen 3 Attribute zwecks Firmware 0.11

[Homoran]

@jleg sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Keine Ahnung, was ‚ts‘ ist,

timestamps

1611347196916 = 22.01.2021 - 21:26:36

[crunchip]

@jleg sagte in ioBroker sehr hohe Diskwrites in Proxmox:

ch hab‘ meine Nadel gefunden: es ist der WLED-Adapter

habe zum Test, ebenfalls WLED deaktiviert und siehe da, Änderungen der objekcts.json sind deutlich weniger geworden

[JLeg]

@homoran sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@jleg sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Keine Ahnung, was ‚ts‘ ist,

timestamps

Danke; dann habe ich eine Ahnung, was passieren könnte - WLED scannt alle 30 Sekunden (Default) das Netz nach WLED-Controllern (broadcast, bonjour oder sowas), und ‚findet‘ offenbar die vorhandenen immer neu - aktualisiert zumindest die Attribute für IP, Mac usw.
Nach Abschalten der Instanz ist bei mir jetzt auf jedenfall tatsächlich Ruhe...