NEWS
ioBroker sehr hohe Diskwrites in Proxmox
-
@master67 Nee, sehe gerade es war die falsche Deutung. Es ist ioBroker, der die hohe Schreiblast verursacht. Ich weiß nicht, wo es da klemmt.
@meister-mopper sagte:
Es ist ioBroker, der die hohe Schreiblast verursacht.
Wie groß sind die Log-Dateien unter /opt/iobroker/log?
Wird Redis für die states verwendet?Bitte verzichtet auf Chat-Nachrichten, denn die Handhabung ist grauenhaft !
Produktiv: RPi 2 mit S.USV, HM-MOD-RPI und SLC-USB-Stick mit root fs -
@meister-mopper sagte:
Es ist ioBroker, der die hohe Schreiblast verursacht.
Wie groß sind die Log-Dateien unter /opt/iobroker/log?
Wird Redis für die states verwendet? -
@paul53 Ja, redis nur für die states.
@meister-mopper
Die Log-Dateien sind auch nicht zu groß.
Wie sieht es mit History aus ? -
@master67 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
der fall von 2,94MB auf 1,33MB, könnte sich aber mit der Deaktivierten Anwesenheitserkennung erklären lassen.. oder nicht?
oder!
Warum erst nach 60-90 Minuten?@master67 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
aber das gleichmäßige Schreiben
du meinst die etwas weniger vorkommenden Spitz(ch)en?
Das eigentlich eher nicht, da Redis ja IMHO genau das Gegenteil macht. Erst sammeln, dann gemeinsam schreiben, um die Schreibzugriffe zu minimieren@homoran sagte in ioBroker sehr hohe Diskwrites in Proxmox:
oder!
Warum erst nach 60-90 Minuten?Trägheit der Aufzeichnung die geht sowieso nur 4 Stunden Takt... aber was weiß ich schon davon, das ist nur stochern im Trüben Wasser.
Und wenn Redis erst sammelt und dann schreibt kommt doch die gleichmäßige Schreibkurve zusammen oder verstehe ich das falsch? :-)
Gruß Master67
-
@homoran sagte in ioBroker sehr hohe Diskwrites in Proxmox:
oder!
Warum erst nach 60-90 Minuten?Trägheit der Aufzeichnung die geht sowieso nur 4 Stunden Takt... aber was weiß ich schon davon, das ist nur stochern im Trüben Wasser.
Und wenn Redis erst sammelt und dann schreibt kommt doch die gleichmäßige Schreibkurve zusammen oder verstehe ich das falsch? :-)
Wenn ich in die Grafik der letzten Stunde schaue, gibt es regelmäßige Spitzen. Diese stammen von zwei Adaptern. Nämlich
netatmo(gelb) unddaswetter(grün).
Bei Netatmo habe ich das Abfrageintervall von 5 auf 10 Minuten erhöht. Das hat eine Reduktion von knapp 20% gebracht. Die Frage ist ob man diese Schreibwerte senken kann (ohne die Intervalle weiter zu erhöhen), bzw. ob Redis hier etwas signifikant verbessern würde?
-
Jetzt hab ich mir meins auch mal angesehen, seltsamerweise auch die Änderung ab dem 15.01. Jedoch eher negativ.
Was war die große Veränderung ab diesem Tag? Updates der Adapter und Js-Controller 3.2.x und folgende.
Das ist ein Screen von einer Woche, wenn ich da meine Werte anschau, fall ich ja total aus dem Rahmen, bin bei knapp über 9G Spitze,
vor dem Anstieg lag ich im Schnitt bei knapp 3M
diese von der letzten Stunde, auch da sieht man die spitzen im Detail
das deckt sich auch mit solchen Meldungeninfluxdb.0 2021-01-20 18:15:33.302 warn / "{\"error\":\"timeout\"}\n" influxdb.0 2021-01-20 18:15:33.302 warn (925) Error on writePoint("{"value":22,"time":"2021-01-20T17:05:00.988Z","from":"system.adapter.sonoff.0","q":0,"ack":true}): Error: {"error":"timeout"} influxdb.0 2021-01-20 18:15:21.085 warn / "{\"error\":\"timeout\"}\n" influxdb.0 2021-01-20 18:15:21.085 warn (925) Error on writePoint("{"value":4,"time":"2021-01-20T17:04:50.516Z","from":"system.adapter.sonoff.0","q":0,"ack":true}): Error: {"error":"timeout"} broadlink2.0 2021-01-20 18:15:18.409 infoumgestiegen von Proxmox auf Unraid
-
Jetzt hab ich mir meins auch mal angesehen, seltsamerweise auch die Änderung ab dem 15.01. Jedoch eher negativ.
Was war die große Veränderung ab diesem Tag? Updates der Adapter und Js-Controller 3.2.x und folgende.
Das ist ein Screen von einer Woche, wenn ich da meine Werte anschau, fall ich ja total aus dem Rahmen, bin bei knapp über 9G Spitze,
vor dem Anstieg lag ich im Schnitt bei knapp 3M
diese von der letzten Stunde, auch da sieht man die spitzen im Detail
das deckt sich auch mit solchen Meldungeninfluxdb.0 2021-01-20 18:15:33.302 warn / "{\"error\":\"timeout\"}\n" influxdb.0 2021-01-20 18:15:33.302 warn (925) Error on writePoint("{"value":22,"time":"2021-01-20T17:05:00.988Z","from":"system.adapter.sonoff.0","q":0,"ack":true}): Error: {"error":"timeout"} influxdb.0 2021-01-20 18:15:21.085 warn / "{\"error\":\"timeout\"}\n" influxdb.0 2021-01-20 18:15:21.085 warn (925) Error on writePoint("{"value":4,"time":"2021-01-20T17:04:50.516Z","from":"system.adapter.sonoff.0","q":0,"ack":true}): Error: {"error":"timeout"} broadlink2.0 2021-01-20 18:15:18.409 info@crunchip Ich bin gerade dabei, geduldig Adapter zu starten, wenn der Vorgänger ruhig wird. Bin mal gespannt welcher es ist ...
-
Jetzt hab ich mir meins auch mal angesehen, seltsamerweise auch die Änderung ab dem 15.01. Jedoch eher negativ.
Was war die große Veränderung ab diesem Tag? Updates der Adapter und Js-Controller 3.2.x und folgende.
Das ist ein Screen von einer Woche, wenn ich da meine Werte anschau, fall ich ja total aus dem Rahmen, bin bei knapp über 9G Spitze,
vor dem Anstieg lag ich im Schnitt bei knapp 3M
diese von der letzten Stunde, auch da sieht man die spitzen im Detail
das deckt sich auch mit solchen Meldungeninfluxdb.0 2021-01-20 18:15:33.302 warn / "{\"error\":\"timeout\"}\n" influxdb.0 2021-01-20 18:15:33.302 warn (925) Error on writePoint("{"value":22,"time":"2021-01-20T17:05:00.988Z","from":"system.adapter.sonoff.0","q":0,"ack":true}): Error: {"error":"timeout"} influxdb.0 2021-01-20 18:15:21.085 warn / "{\"error\":\"timeout\"}\n" influxdb.0 2021-01-20 18:15:21.085 warn (925) Error on writePoint("{"value":4,"time":"2021-01-20T17:04:50.516Z","from":"system.adapter.sonoff.0","q":0,"ack":true}): Error: {"error":"timeout"} broadlink2.0 2021-01-20 18:15:18.409 infoWeiss es noch nicht, aber hier die Reaktion, wenn der synology startet.
Wenn sich das bestätigt, mach ich ein issue auf.Proxmox und HA
-
Weiss es noch nicht, aber hier die Reaktion, wenn der synology startet.
Wenn sich das bestätigt, mach ich ein issue auf.Jetzt ist es klar. Bei mir ist es der Synology-Adapter. Hier wurde er gerade
ausgeschaltet:
-
Jetzt ist es klar. Bei mir ist es der Synology-Adapter. Hier wurde er gerade
ausgeschaltet:
-
@saeft_2003 Na ja, da wissen wir ja Bescheid :grin:
-
@saeft_2003 Na ja, da wissen wir ja Bescheid :grin:
ja aaaaaber davor war der Monate aus. Ich habe diesen heute nur zufällig ( @Glasfaser ) aktiviert.
-
ja aaaaaber davor war der Monate aus. Ich habe diesen heute nur zufällig ( @Glasfaser ) aktiviert.
-
100ms ist Standard? :astonished:
Bei mir stand es auf 5000ms ich habe es jetzt einfach mal extrem erhöht auf 50000ms und schaue was der diskwrite sagt.
-
100ms ist Standard? :astonished:
Bei mir stand es auf 5000ms ich habe es jetzt einfach mal extrem erhöht auf 50000ms und schaue was der diskwrite sagt.
@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
habe es jetzt einfach mal extrem erhöht auf 50000ms
Mit diesem Wert herrscht auch bei mir wieder Ruhe
-
@saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:
habe es jetzt einfach mal extrem erhöht auf 50000ms
Mit diesem Wert herrscht auch bei mir wieder Ruhe
Also ich habe einen diskwrite von ca 3-4 MB pro Sek im Durchschnitt das macht in der Stunde 10 GB. Ich verstehe immer noch nicht wo diese Datenmengen herkommen...
Ist dazu einer von euch schon schlauer?
-
Also ich habe einen diskwrite von ca 3-4 MB pro Sek im Durchschnitt das macht in der Stunde 10 GB. Ich verstehe immer noch nicht wo diese Datenmengen herkommen...
Ist dazu einer von euch schon schlauer?
@saeft_2003 also ich habe auf jeden Fall bei mir festgestellt, dass der javascript adapter sowie influxdb hohe Datenmengen verursachen.
Aktuell glaube ich aber, es liegt dennoch an der Kombination aus Consumer SSD mit Proxmox. Da kann man einiges drüber nachlesen auch ohne ioBroker.https://forum.proxmox.com/threads/schlechte-windows-performance-hoher-i-o-delay.52064/
Falls einer grade mal Zeit hat das zu studieren ;) oder zu testen
liegt der Verschleiß der SSD vor allem an der Verwendung von ZFS als Dateisystem?`` nein. Das liegt an Proxmox, da es ziemlich viel in die Logs schreibt. Man kann das deaktivieren, wenn man nur ein single-node betreibt. Mehr siehe hier: https://wiki.chotaire.net/proxmox-various-commands Meine beiden 250 GB EVO 850 hatten nach 3 Jahren ca. 25 % wearout (bei 24/7). Mein neuer Server hat nach nun 2 Monaten 1 % Wearout auf zwei 500 GB EVO 860.L
-
@saeft_2003 also ich habe auf jeden Fall bei mir festgestellt, dass der javascript adapter sowie influxdb hohe Datenmengen verursachen.
Aktuell glaube ich aber, es liegt dennoch an der Kombination aus Consumer SSD mit Proxmox. Da kann man einiges drüber nachlesen auch ohne ioBroker.https://forum.proxmox.com/threads/schlechte-windows-performance-hoher-i-o-delay.52064/
Falls einer grade mal Zeit hat das zu studieren ;) oder zu testen
liegt der Verschleiß der SSD vor allem an der Verwendung von ZFS als Dateisystem?`` nein. Das liegt an Proxmox, da es ziemlich viel in die Logs schreibt. Man kann das deaktivieren, wenn man nur ein single-node betreibt. Mehr siehe hier: https://wiki.chotaire.net/proxmox-various-commands Meine beiden 250 GB EVO 850 hatten nach 3 Jahren ca. 25 % wearout (bei 24/7). Mein neuer Server hat nach nun 2 Monaten 1 % Wearout auf zwei 500 GB EVO 860.L
@robbsen sagte in ioBroker sehr hohe Diskwrites in Proxmox:
Interessant, hast Du dazu diese Befehle in Folge eingegeben?
systemctl stop pve-ha-lrm systemctl stop pve-ha-crm systemctl disable pve-ha-lrm systemctl disable pve-ha-crm -
liegt der Verschleiß der SSD vor allem an der Verwendung von ZFS als Dateisystem?`` nein. Das liegt an Proxmox, da es ziemlich viel in die Logs schreibt. Man kann das deaktivieren, wenn man nur ein single-node betreibt. Mehr siehe hier: https://wiki.chotaire.net/proxmox-various-commands Meine beiden 250 GB EVO 850 hatten nach 3 Jahren ca. 25 % wearout (bei 24/7). Mein neuer Server hat nach nun 2 Monaten 1 % Wearout auf zwei 500 GB EVO 860.L
Das verstehe ich nicht nach 3 Jahren 25% macht 0,6% pro Monat. Dann ist nach 2 Monaten 1% auch nicht wirklich viel besser (um genau zu sein 0,2%).
Wie genau kann man eigentlich den wearout ermitteln?
-
liegt der Verschleiß der SSD vor allem an der Verwendung von ZFS als Dateisystem?`` nein. Das liegt an Proxmox, da es ziemlich viel in die Logs schreibt. Man kann das deaktivieren, wenn man nur ein single-node betreibt. Mehr siehe hier: https://wiki.chotaire.net/proxmox-various-commands Meine beiden 250 GB EVO 850 hatten nach 3 Jahren ca. 25 % wearout (bei 24/7). Mein neuer Server hat nach nun 2 Monaten 1 % Wearout auf zwei 500 GB EVO 860.L
Das verstehe ich nicht nach 3 Jahren 25% macht 0,6% pro Monat. Dann ist nach 2 Monaten 1% auch nicht wirklich viel besser (um genau zu sein 0,2%).
Wie genau kann man eigentlich den wearout ermitteln?
@saeft_2003
Über Linux Konsole, aber auch über Proxmox zeigt er die Smart Werte (siehe Bilder)
aber Wearout konnte ich da auch nicht finden.
226 Timed Workload, Media Wear (Abnutzung) https://www.thomas-krenn.com/de/wiki/SMART_Attribute_von_Intel_SSDs
Bei mir ist dort nur der Life Circle der wohl bei 100 sagt "Festplatte i.O."
@meister-mopper lieber nicht bin grade im Stress ^^. Wenn ich wieder mein SmartHome zerlege und Nachtschichten einlege brauche ich kein Corona mehr zum sterben ;)
224
Online32.4k
Benutzer81.4k
Themen1.3m
Beiträge