ioBroker sehr hohe Diskwrites in Proxmox
-
@apollon77 Dafür habe ich jetzt wieder alle 2-3 Minuten einen (kleinen) Schreibzugriff. Ist da die Konfiguration die Daten nur einmal die Stunde zu schreiben gelöscht worden bzw. wird jetzt nicht mehr beachtet? Oder ist der große Brocken einmal die Stunde jetzt generell weggefallen? Muss mir mal zuhause ansehen wann die Dateien das letzte Mal geschrieben wurden...
-
@apollon77 also, ich sehe bei mir keinen Unterschied, liegt aber vllt am Eintrag (writeFileInterval auf 3600000) bei den Objekten
-
@robbsen Im writeFileInterval wurde bisher bevor das File neu geschrieben wurde vom vorherigen File ein backup angelegt. Das wurde bisher gemacht durch "lesen und neu schreiben". Jetzt wird einfach das alte File umbenannt. Danach wird das neue FIle immer voll geschrieben wie bisher auch. mehr wurde nicht geändert
Deswegen find ich den Effekt mega krass ... aber ok
-
@apollon77 macht mir auch Angst... bei mir schreibt der gar nichts mehr zumindest seit 12 Uhr (Umstellung auf v3.2.14)
Maxwerte / Tag
Stunde Durchschnitt
-
@robbsen das liegt an der Zeitlichen Ansicht, weil die Spitzenwerte im M Bereich liegen, daher die"kleinen Werte" nicht sichtbar, wenn die Zeitachse weit genug gewandert ist, werden auch da "normale" Werte erscheinen.
-
Also zum ganz sicher gehen schaut doch mal in /opt/iobroker/iobroker-data ... das *.json ist das aktuelle file und *.json.bak das letzte ... wenn sich Objekte ändern müsste das *.json neu geschrieben werden und das frühere *.json wirtd zum *.json.bak
Bei meinen Testsystemen passt das
-
@apollon77 Also meine objects.json ist aktuell von 16:29 und 14,6 MB groß. Die bak hat die selbe Größe und ist von 15:25. Die states sind in redis.
Meine Stundenansicht sieht so aus:
Ich sehe darin nicht die 14,6 MB die eigentlich geschrieben wurden. Bin nun etwas verwirrt...
PS: Habe für die objects auch
"writeFileInterval": 3600000,eingetragen... -
@dr-bakterius 3600s hast Du eingetragen ... also alle 60 minuten an sich. was proxmox da anzeigt weiss ich net. kann ja nur akkumuliert über mess-zeitäume sein. wenn 1s schreinzugriff hast aber 1min interval ist die datenmenge 1/60 ... (mal gaaaanz grob vermutet)
-
@dr-bakterius ich bewundere eure "gleichmäßigkeit" bei mir sieht das etwas "chaotischer" aus, selbst wen ich iobroker in Ruhe lasse
-
@apollon77 Naja, bisher sind die stündlichen Zugriffe sehr deutlich hervorgestochen. Das ist jetzt komplett weg - deswegen die Verunsicherung. Aber auf der Platte wird das File in entsprechender Größe ja immer noch regelmäßig angelegt. Seltsam...
-
@dr-bakterius geht mir genauso. Bis zum Update war der piek (stündlich) deutlich erkennbar.
-
@crunchip hast du denn auch die Kombination file für Objekte und Rudis für States und Write Intervall objectalloc 3600000
-
@robbsen ja states/redis, objects/file und writeintervall ist eingetragen für object, aber ich mach mich da jetzt nicht mehr verrückt, meine permanente Schreibvorgänge im G Bereich sind weg, also alles gut
-
ja sieht so aus, als ob weiterhin gesichert wird. Allerdings wird ja offensichtlich nicht mehr die komplette objects.json (11 MB) geschrieben. Hört sich ja auch sinnvoll an, aber auf jeden Fall sehr auffällig
maxwrites pro Stunde keine 11 MB sichtbar
-
Diese pieks habe ich gar nicht ich habe ehr ein gleichmäßiges schreiben. Weiter runter als die 1,5 MB komme ich aber nicht... Vorher hatte ich ca. 3-3,5 MB
-
Wenn ich die geschriebene Datenmenge in einer bestimmten Zeit ansehe, dann bestätigt sich die Aussage, dass etwa 50% weniger Daten geschrieben werden.
Zuvor hatte ich gute 20 GiB in 24 Stunden - jetzt also ca. 12 GiB.Da dürfte die Grafik in Proxmox aus irgendeinem Grund nicht korrekt sein.
Tatsache ist, dass ich die ursprüngliche geschriebene Datenmenge um über 90% reduzieren konnte (durch redis, writeFileInterval und den aktuellen js-controller). Wird vor allem SD-Karten Benutzer freuen, die jetzt viel seltener einen Ausfall verzeichnen werden.
-
So, wer ein bissl experimentierfreudig ist und den i/o weiter reduzieren möchte kann sich mal https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller ansehen
-
Hallo,
bei einem Intel NUC10i7 und auch bei einem NUC8i5 haben wir in den letzten 2 Tagen immer wieder den Effekt, dass alle VM und auch die localen LW wie folgt dargestellt werden:
.Kann es sein, dass da die SSD am Sterben ist?
Es läuft eigentlich nicht viel auf dem Proxmox. Eine VM iobroker, eine VM Raspberrymatic, eine VM mit MySQL und eine VM mit MotionEye. Nach einem Proxmox Neustart läuft das für einige Stunden normal, aber dann wie oben gezeigt überall Fragezeichen. Wir hatten erst den NUC10i7 mit einem Hardwaredefekt in Verdacht, dann beide SSDs in den NUCi5 eingebaut. Dort nun wieder der gleiche Fehler. -
Was sagt denn der ssd wearout?
-
@saeft_2003
bei einer SSD 1% und bei der anderen SSD 2%. Ich bin nicht sicher, kleiner Wert, die SSD verabschiedet sich in den Halbleiterhimmel oder bei großem Wert?
