ioBroker sehr hohe Diskwrites in Proxmox
-
Diese pieks habe ich gar nicht ich habe ehr ein gleichmäßiges schreiben. Weiter runter als die 1,5 MB komme ich aber nicht... Vorher hatte ich ca. 3-3,5 MB
-
Wenn ich die geschriebene Datenmenge in einer bestimmten Zeit ansehe, dann bestätigt sich die Aussage, dass etwa 50% weniger Daten geschrieben werden.
Zuvor hatte ich gute 20 GiB in 24 Stunden - jetzt also ca. 12 GiB.Da dürfte die Grafik in Proxmox aus irgendeinem Grund nicht korrekt sein.
Tatsache ist, dass ich die ursprüngliche geschriebene Datenmenge um über 90% reduzieren konnte (durch redis, writeFileInterval und den aktuellen js-controller). Wird vor allem SD-Karten Benutzer freuen, die jetzt viel seltener einen Ausfall verzeichnen werden.
-
So, wer ein bissl experimentierfreudig ist und den i/o weiter reduzieren möchte kann sich mal https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller ansehen
-
Hallo,
bei einem Intel NUC10i7 und auch bei einem NUC8i5 haben wir in den letzten 2 Tagen immer wieder den Effekt, dass alle VM und auch die localen LW wie folgt dargestellt werden:
.Kann es sein, dass da die SSD am Sterben ist?
Es läuft eigentlich nicht viel auf dem Proxmox. Eine VM iobroker, eine VM Raspberrymatic, eine VM mit MySQL und eine VM mit MotionEye. Nach einem Proxmox Neustart läuft das für einige Stunden normal, aber dann wie oben gezeigt überall Fragezeichen. Wir hatten erst den NUC10i7 mit einem Hardwaredefekt in Verdacht, dann beide SSDs in den NUCi5 eingebaut. Dort nun wieder der gleiche Fehler. -
Was sagt denn der ssd wearout?
-
@saeft_2003
bei einer SSD 1% und bei der anderen SSD 2%. Ich bin nicht sicher, kleiner Wert, die SSD verabschiedet sich in den Halbleiterhimmel oder bei großem Wert? -
mhhh das ist nicht viel... Keine ahnung
-
@opossum was zeigt das syslog von Proxmox?
Könnte ja auch ein "Netzwerkproblem" sein -
@crunchip ,
ich kann erst 20.00 Uhr auf die Maschine. Finde ich das Syslog unter /var/log/... bzw. wo finde ich das syslog, sorry für die Frage. -
@opossum kein Problem, wir sind ja noch länger hier
ja unter diesem Pfad, aktuelles log und gepackt von den Tagen zuvor, des weiteren findest du dort auch noch kern.log, daemon.log...etc -
....aber das Thema vllt in nem neuen thread weiter bearbeiten ;-))
-
@apollon77
ok, ich mache einen neuen Post auf, Log habe ich gefunden, dort sind auch Errors drin. Ich schicke hier dann nur noch den Link auf den neuen Post.
Neuer Post: https://forum.iobroker.net/topic/42198/proxmox-ständig-fragezeichen-im-gui -
@apollon77 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
So, wer ein bissl experimentierfreudig ist und den i/o weiter reduzieren möchte kann sich mal https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller ansehen
Ich habe es gestern gewagt und umgestellt. In den letzten 12 Stunden wurde praktisch nichts mehr auf die Platte geschrieben. Ich habe jetzt am Tag hochgerechnet nur noch 50 MiB! Davor mit allen Kniffen 12 GiB. Das sind um 99,6% weniger!
-
geb hier auch mal meinen Stand, nach rund 8Std kund.Ingesamt viel "ruhiger", hochgerechnet, komm ich auf rund 7,5GB diskwrite pro Tag.
Ob sich das in Zukunft bewährt, oder irgendwelche Probleme dadurch entstehen, wird sich noch zeigen.
zum Vergleich, die alten Werte, siehe
https://forum.iobroker.net/post/565703
https://forum.iobroker.net/post/564780
https://forum.iobroker.net/post/564691Was mir jedoch nun noch negativ aufgefallen ist, der Anstieg der CPU
-
Ich konnte meine diskwrites schon ca. halbieren, habe aber trotzdem noch ca. 5GB die Stunde.
Was würdet ihr mir noch empfehlen bzw. was bringt am meisten? Ich könnte noch:
- Js-controller update (im Moment 3.1.6). Sollte ja nichts großes sein...
- auf redis umstellen. Da bin ich mir nicht sicher ob dass das richtige für mich ist...
- experimentelle jsonl Datenbank. Da werde ich mich wahrscheinlich erst wagen, wenn das im latest ist...
-
@saeft_2003 warum sollte auf Redis umstellen nicht das richtige sein? Bisher läuft es ohne Probleme, bei einigen hier im Forum doch schon seit Jahren?
-
@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
habe aber trotzdem noch ca. 5GB die Stunde.
letztendlich kommt es ja doch drauf an, was auf deinem IoBroker alles so läuft, vllt. doch noch ein Adapter am laufen, der dies verursacht!?
viele nutzen z.b. den dasWetter Adapter(hab ich schon ewig deaktiviert), denke der könnte auch so ein Kandidat sein, oder eben spezielle Adapter, wie WLED, wo noch Handlungsbedarf besteht.
Redis kannst du eigentlich bedenkenlos installieren und umstellen, würde ja bei dir mit auf der Iobroker Maschine laufen und nicht separat, von daher, bei nem eventuellen snapshot/backup, falls nötig, macht das keine Probleme. -
@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:
hochgerechnet, komm ich auf rund 7,5GB diskwrite pro Tag.
Ist ja auch schon recht wenig. Hast du states und objects auf jsonl umgestellt? Oder ist eines von beiden noch auf file bzw. redis (
iobroker status)? -
@dr-bakterius beides umgestellt, siehst du oben im ersten screen
-
@crunchip Hm, bei mir ist jetzt das Schreibvolumen zwar auf 183 MiB pro Tag hochgegangen, aber das sind trotzdem keine 3% von dir. Wäre interessant weshalb du doch soviel mehr hast (oder warum ich so wenig habe). Denn eigentlich müsste es auch bei mir viel mehr sein. Die beiden Dateien haben auch bei mir deutlich über 20 MB. Wenn die also nur alle zwei Stunden komprimiert und neu geschrieben werden, müsste das alleine schon mehr sein als ich jetzt habe. Ich konnte bis jetzt noch keinen solchen Vorgang beobachten. Also irgendwas stimmt da was nicht so ganz...
