ioBroker sehr hohe Diskwrites in Proxmox
-
@robbsen sagte:
1,5 M(B), alle 30 Sekunden?
3 MB alle 30 s (es werden immer 2 Dateien geschrieben). 360 MB/h sind weitaus weniger als 10 GB/h, also kann die hohe Write-Belastung nicht daran liegen.
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Liegt das dann am Theme Redis?
Wenn Redis verwendet wird, werden die Dateien states.json(.bak) nicht verwendet.
-
@paul53 Merci ....
dann heißt es für mich wohl umstellen. In der Proxmox Umgebung ja kein Thema mache mir etwas Sorgen mit meinem Slave Raspberry und dem Multihost.
-
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Erklärt aber auch, warum es meine letzte SSD zerschossen hat
neee,
ich habe einige SBCs laufen und aus lauter Boshaftigkeit mit file/file sowie massivem History-Einsatz auf SD-Karte laufen.
Die laufen teilweise seit Jahren ohne Murren -
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
warum ist Redis dann nicht der Standard?
Gute Frage. Weil das eine zusätzliche Applikation zum installieren ist? Ich kann es nur empfehlen.
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
dann heißt es für mich wohl umstellen. In der Proxmox Umgebung ja kein Thema mache mir etwas Sorgen mit meinem Slave Raspberry und dem Multihost.
Proxmox umstellen: ja. Slave ist kein Problem: die schreiben ja die Daten nicht auf ihre Disk sondern senden sie zum Master. Ein Slave ist sehr "dumm"
*, der besitzt ausser der Verbindungskonfig keine Daten.@homoran sagte in ioBroker sehr hohe Diskwrites in Proxmox:
ich habe einige SBCs laufen und aus lauter Boshaftigkeit mit file/file sowie massivem History-Einsatz auf SD-Karte laufen.
Die laufen teilweise seit Jahren ohne MurrenJetzt musst du aber mal verraten, welche genialen SDs du einsetzt! Wenn du jetzt Samsung sagst, dann verstehe ich dich bestens.
*und da wären wir schon beim Problem der Namensgebung. Dumme Sklaven wollte ich also wirklich nicht sagen. -
@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
warum ist Redis dann nicht der Standard?
Gute Frage. Weil das eine zusätzliche Applikation zum installieren ist? Ich kann es nur empfehlen.
In den ersten Fertigimages für Raspi et al. war es immer installiert, alleine um die I/O Zeiten und damit die Load average niedrig zu halten.
Mit immer stärker werdenden SBCs war das nicht mehr so wichtig und die Probleme bei einem Restore eines Backups von einem System mit redis kam es immer wieder zu Problemen, so dass Redis immer mehr in den Hintergrund gedrängt wurde.
Wenn ich meine eigenen Erfahrungen zusammenfasse, habe ich (siehe Proxmox-Graph und diverse Testsysteme mit SBCs und µSD) keinerlei Probleme ohne Redis.
@unclesam sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Problem der Namensgebung.
dein Secondary Host hat nicht die Rechenaufgaben wie dein Primary/Main
-
@unclesam das beruhigt mich
dann kann ich ja in aller Ruhe umstellen und einfach das Backup einspielen in Proxmox wenn es Probleme gibt.@homoran du bist mir ja einer ;)... einfach die SSD böse belasten
Aner wie gesagt, mir hat ist die letzte SSD zerschossen. lag ggf. aber am Discovergy Adapter & FreshEnergie Adapter und der eingestellten häufigen Abfrage. Oder war einfach Pech.Das war jetzt dann doch soviel Arbeit, dass ich da skeptisch geworden bin.
Und stimmt schon von den 360 MB sollte nicht das Thema sein.
``
3 MB 30 sekunden
6 MB Minute
360 MB Stunde
8.640 MB Tag
3.153.600 MB Jahr22,83105023 Jahre Festplattenhaltbarkeit``
-
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
einfach die SSD böse belasten
Nö
einfache µSD-Karten von Intenso
(auch Samsung, SanDisk)Ich habe noch nie im laufenden Betrieb eine µSD geschrottet, lediglich eine HDD mit Lagerschaden
nach 5 Jahren 24/7
Medion/Tevion und andere Billigversionen wie Hama haben schon mal beim Formatieren Probleme gezeigt und sind dann rausgeflogen.@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Das war jetzt dann doch soviel Arbeit, dass ich da skeptisch geworden bin.
Regelmäßig Backups fahren mit dem backitup-Adapter, dann ist ein nagelneues System innerhalb einer halben Stunde wieder am Start ohne alten Ballast
-
Jetzt bin ich aber doch ein wenig hellhörig geworden.
Wenn ich meine Daten mit den euren vergleiche, fällt mir auf, dass ich zwischen 30M und 90M liege, ihr aber viel niedriger.
Ich nutze auch redis für die states und aktuell laufen 41 Instanzen auf dem Master und 5 auf dem Slave.
Ist das im Bereich des Normalen?
-
@meister-mopper sagte in ioBroker sehr hohe Diskwrites in Proxmox:
fällt mir auf, dass ich zwischen 30M und 90M liege
das fiel mir auch auf
ich habe etwa 75 Instanzen (davon allerdings einige scheduled und einige vis-Widgets/Icons), davon sind nur wenige (max. 5) auf den slaves.
pi@ioBroker01:~$ iobroker list instances | grep enabled + system.adapter.admin.0 : admin - enabled, port: 8081, bind: 0.0.0.0, run as: admin + system.adapter.backitup.0 : backitup - enabled + system.adapter.cloud.0 : cloud - enabled + system.adapter.daikin.0 : daikin - enabled + system.adapter.daikin.1 : daikin - enabled + system.adapter.daikin.2 : daikin - enabled + system.adapter.daikin.3 : daikin - enabled + system.adapter.denon.0 : denon - enabled system.adapter.dwd.0 : dwd - enabled system.adapter.feiertage.0 : feiertage - enabled + system.adapter.fritzbox.0 : fritzbox - enabled + system.adapter.harmony.0 : harmony - enabled + system.adapter.history.0 : history - enabled + system.adapter.hm-rega.0 : hm-rega - enabled + system.adapter.hm-rpc.0 : hm-rpc - enabled, port: 0 + system.adapter.hm-rpc.1 : hm-rpc - enabled, port: 0 + system.adapter.hm-rpc.2 : hm-rpc - enabled, port: 0 system.adapter.ical.0 : ical - enabled system.adapter.ical.1 : ical - enabled + system.adapter.info.0 : info - enabled + system.adapter.javascript.0 : javascript - enabled + system.adapter.javascript.1 : javascript - enabled system.adapter.luftdaten.0 : luftdaten - enabled system.adapter.luftdaten.1 : luftdaten - enabled + system.adapter.mqtt.0 : mqtt - enabled, port: 1883, bind: 0.0.0.0 + system.adapter.node-red.0 : node-red - enabled, port: 1880, bind: 0.0.0.0 + system.adapter.nut.0 : nut - enabled + system.adapter.nut.1 : nut - enabled + system.adapter.onkyo.0 : onkyo - enabled + system.adapter.opi.0 : opi - enabled + system.adapter.parser.0 : parser - enabled + system.adapter.pollenflug.0 : pollenflug - enabled + system.adapter.proxmox.0 : proxmox - enabled, port: 8006 + system.adapter.rpi2.0 : rpi2 - enabled + system.adapter.sayit.0 : sayit - enabled, port: 0 + system.adapter.smartmeter.0 : smartmeter - enabled + system.adapter.snmp.0 : snmp - enabled + system.adapter.socketio.0 : socketio - enabled, port: 8084, bind: 0.0.0.0, run as: admin + system.adapter.sonos.0 : sonos - enabled + system.adapter.tankerkoenig.0 : tankerkoenig - enabled + system.adapter.tradfri.0 : tradfri - enabled + system.adapter.tradfri.1 : tradfri - enabled + system.adapter.trashschedule.0 : trashschedule - enabled system.adapter.tvspielfilm.0 : tvspielfilm - enabled system.adapter.vis-google-fonts.0 : vis-google-fonts - enabled system.adapter.vis.0 : vis - enabled + system.adapter.web.0 : web - enabled, port: 8082, bind: 0.0.0.0, run as: adminAuch die Statechanges dürften nicht gering sein, da ich alleine mein Monitoring des Stromverbrauchs incl. aller eigenen Datenpunkte zur Darstellung von Verbrauch, Einspeisung, Bezug und Ertrag im 7 Sekunden-Takt fahre
-
@homoran Hm, CPU auch nicht auffällig, das System läuft stabil.
Vielleicht ist man aber selbst überkritisch. Ich beobachte es aber weiter.
-
@dr-bakterius sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Bei mir fehlt die Spalte mit der Diskusage.
Habe auch keine Möglichkeit gefunden sie einzublenden. Wie kommt man zu der?
Beim ioBroker sieht es bei mir so aus:
Der Knick nach unten war eine Erhöhung des Datenabfrageintervalls vom Netatmo-Server von 5 Minuten auf 10 Minuten.
Ich habe auch keine Spalte diskusage. Weißt du schon warum?
-
@saeft_2003 ..... ich auch nicht, dachte erst das liegt am Dark Style, ist aber wohl so nicht
-
@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Ich habe auch keine Spalte diskusage. Weißt du schon warum?
Ja, @robbsen hat es hier gezeigt. Einfach auf einen der Pfeile klicken und dann die Spalten auswählen die man sehen möchte. Hatte zwar etwas ähnliches vermutet, aber immer neben die Pfeile geklickt. Ich dachte die Pfeile sind nur zum Sortieren.
-
@unclesam @ all
gestern noch auf Redis umgestiegen, hat es scheinbar verschlimmbessert.
Diskwrites Stunde Schnitt
Auffällig die Art und Weise wie vor der Umstellung aufs Laufwerk geschrieben wird vorher:
kleiner Nachtrag da ich den beitrag nicht löschen konnte. bin nicht sicher ob ich die Zahlen richtig interpretiere.. hier noch mal die Zahlen Woche/Durchschnitt
.... die Umstellung scheint nen positiven Effekt zu haben.
ich bin verwirrt -
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
hier noch mal die Zahlen Woche/Durchschnitt
Hat dann aber nichts mit Redis zu tun, den eine "massive" Änderung erfolgte ja bereits am 15.01.21 laut deinem Screen
-
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
kleiner Nachtrag da ich den beitrag nicht löschen konnte. bin nicht sicher ob ich die Zahlen richtig interpretiere.. hier noch mal die Zahlen Woche/Durchschnitt
.... die Umstellung scheint nen positiven Effekt zu haben.Der Rückgang ist ja noch massiver als ich das erwartet hätte! ioBroker läuft schon noch, oder?
-
@dr-bakterius sagte in ioBroker sehr hohe Diskwrites in Proxmox:
@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Ich habe auch keine Spalte diskusage. Weißt du schon warum?
Ja, @robbsen hat es hier gezeigt. Einfach auf einen der Pfeile klicken und dann die Spalten auswählen die man sehen möchte. Hatte zwar etwas ähnliches vermutet, aber immer neben die Pfeile geklickt. Ich dachte die Pfeile sind nur zum Sortieren.
Ah Danke. Iobroker hat bei mir in 24 Tagen 6000 GB geschrieben. Das macht pro Stunde 10 GB
Muss ich mir sorgen machen? Ich habe immer noch nicht kapiert wo diese große Datenmenge herkommt.
-
@saeft_2003 sagte: Das macht pro Stunde 10 GB
Muss ich mir sorgen machen?Ja, das ist auch für eine SSD zu viel.
-
Weißt du woher diese Datenmenge kommen könnte?
-
@saeft_2003 sagte: Weißt du woher diese Datenmenge kommen könnte?
Nein.
