ioBroker sehr hohe Diskwrites in Proxmox

[alexmi]

Hallo Zusammen,

vorab erstmal vielen Dank für diese ganzen Infos die man hier im Forum findet.

Im Bezug auf das Thema Diskwrites habe ich folgendes Problem:

Ich habe den ioBroker erstmal auf *.jsonl laufen lassen.
Dabei habe ich festgestellt, dass mehr als 30GB pro Tag auf die SSD geschrieben wurden.
Ich habe dann testweise man auf Redis umgestellt und habe jetzt 1GB/h also 24GB pro Tag.
Das finde ich einfach zu viel. Es laufen nur 20 Adapter. Ich kann einfach nicht nachvollziehen wieso so viele Daten geschrieben werden.

Vielleicht kann mir jemand helfen? Wenn ja, sagt mir bitte, welche Infos ihr von meinem System benötigt.

Vielen Dank

[apollon77]

@alexmi hm … naja was ist deine Erwartung wenn es mal einen Crash gibt? Ist Datenverlust ok oder nicht? Wie lang das set Datenverlust sein?

20 Adapter ist ohne Angabe welche das sind mit wie vielen Objekten und Anzahl an state changes pro Zeiteinheit auch eine schlechte messgrundlage.

Am Ende ist jsonl auf eine Balance zwischen Schreibaktionen und Datenverlust-Zeit optimiert welche für die Erwartungen der User unserer Erfahrung nach kompatibel ist. Am Ende lassen sich hier settings ändern damit es zu deinen Vorstellungen passt.

Bei redis sind die standard persistenz settings recht suboptimal und sollten nach deinen Vorstellungen angepasst werden. Muss man sich mit den persistentoptionen beschäftigen und sinnvoll customized einstellen. Es gibt einen redis thread hier im Forum von mir wo zu redis einiges beschrieben ist. Hast du den gelesen?

Am Ende hast du ein Smart Home System welches die Haupt Aufgabe hat Daten zu verarbeiten. Ich finde das 24-30gb am Tag nicht viel mit der Sicherheit das ich auch bei einem Crash idealerweise keine bzw. wenige Daten verliere. Sonst gehen nämlich ggf bei einem restart logiken nicht mehr korrekt bis ein wert aktualisiert wurde. Alles eine Frage der Balance …

Was ist denn deine Erwartung und Vorstellung?

Ingo

[alexmi]

Vielen Dank für deine schnelle Antwort Ingo

Das was bei mir an Datenverlust entstehen kann, ist für mich in Ordnung. Ich mache täglich ein ioBroker und Redis Backup mit dem Backitup Adapter und habe auch schon ein Backup wieder einspielen müssen, da ich Probleme mit VIS hatte, dass nichts mehr geladen wurde.

Ja, ich habe den Redis Beitrag komplett gelesen und mich daraufhin auch erst dort ran getraut. Hat alles problemlos funktioniert.
Hab mich mit den persistenoptionen auch auseinandergesetzt.
Die CPU Last hat sich mit Redis auf jeden Fall verringert und daher auch die Betriebstemperatur.
Ein zurück auf jsonl ist ja wieder jederzeit möglich.

Ich habe mit den Datenmengen bisher keine Erfahrungen, mir kam es nur sehr viel vor für das "bisschen" was bei mir läuft.
Aber ich bin jetzt erstmal etwas beruhigter, wenn du sagst, dass die Datenmenge in Ordnung ist.

Hier kann man mal erkennen, was ich für Adapter installiert habe.

Objekte: 4858, Zustände: 4170

CPU: 0,13 %
RAM: 81,1 %
Betriebszeit: 4d3h
Verfügbar: 4.0.23
Installiert: 4.0.23
Ereignisse: ⇥18 / ↦13
Plattform: linux
Betriebssystem: linux
Architektur: arm
CPUs: 4
Geschwindigkeit: 800 MHz
Modell: ARMv7 Processor rev 3 (v7l)
RAM: 7.2 GB
System-Betriebszeit: 4 T. 00:56:47
Node.js: v16.17.0
time: 1662391338722
timeOffset: -120
Adapter-Anzahl: 510
NPM: 8.18.0
Datenträgergröße: 439.8 GB
Freier Festplattenspeicher: 422.4 GB
Betriebszeit: 4 T. 00:56:51
Aktive Instanzen: 17
Pfad: /opt/iobroker/

Alex

[Thomas Braun]

@alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

NPM: 8.18.0

Die Version ist aber auch nicht die von nodejs 16.17.0.
Da haste mal von Hand dran rumgefummelt.

[alexmi]

@thomas-braun Ja das kann sein, bin relativ neu mit dieser Umgebug. Kann dies zu Problemen führen? Dann kann ich ja sicher wieder auf npm 8.15.0 zurück.

[Thomas Braun]

@alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Kann dies zu Problemen führen?

Aus der Erfahrung: Früher oder später schon. Kommt drauf an wo und wie du diese Version ins System gekleistert hast.

[alexmi]

@thomas-braun vor ein paar Tagen über sudo npm install -g npm@latest
Sollte ich deiner Meinung zurück auf npm 8.15.0 ?

[Thomas Braun]

@alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

sudo npm install -g npm@latest

Ist Quark.
Gewöhn dir das gleich ab.

iob stop
sudo apt update
sudo apt full-upgrade
sudo apt install --reinstall nodejs
sudo reboot

[alexmi]

@thomas-braun ok werde ich tun
hab alles ausgeführt. die npm Version ist aber bei 8.18.0 geblieben.

[Thomas Braun]

@alexmi

sudo ln -s /usr/bin/node /usr/bin/nodejs
uname -m && type -P nodejs node npm && nodejs -v && node -v && npm -v && whoami && pwd && sudo apt update &> /dev/null && sudo apt update && apt policy nodejs

anschauen. Da dürfte der Pfad zu npm dann falsch sein.

[alexmi]

@thomas-braun da wird mir das ausgegeben:

[Thomas Braun]

@alexmi

Bitte keine Urlaubsbildchen aus der Konsole. So schön ist es da auch nun nicht.
Text in Textform (in CodeTags eingebettet) hier reinkopieren.

[Thomas Braun]

@alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

die npm Version ist aber bei 8.18.0 geblieben.

Ist sie nicht.

[alexmi]

@thomas-braun

ok kein Problem, sorry

das bekomme ich dann ausgegeben

armv7l
/usr/bin/nodejs
/usr/bin/node
/usr/bin/npm
v16.17.0
v16.17.0
8.15.0
raspi
/home/raspi
OK:1 http://raspbian.raspberrypi.org/raspbian bullseye InRelease
OK:2 http://archive.raspberrypi.org/debian bullseye InRelease              
OK:3 https://deb.nodesource.com/node_16.x bullseye InRelease               
Paketlisten werden gelesen… Fertig
Abhängigkeitsbaum wird aufgebaut… Fertig
Statusinformationen werden eingelesen… Fertig
Alle Pakete sind aktuell.
nodejs:
  Installiert:           16.17.0-deb-1nodesource1
  Installationskandidat: 16.17.0-deb-1nodesource1
  Versionstabelle:
 *** 16.17.0-deb-1nodesource1 500
        500 https://deb.nodesource.com/node_16.x bullseye/main armhf Packages
        100 /var/lib/dpkg/status
     12.22.12~dfsg-1~deb11u1 500
        500 http://raspbian.raspberrypi.org/raspbian bullseye/main armhf Packages

[alexmi]

@thomas-braun ja, sehe ich auch gerade. Ich hab nur im ioBroker unter Hosts geschaut, da steht sie noch drin.

[Thomas Braun]

@alexmi

GUIs lügen. Deswegen mag ich die auch nicht.
Brower neustarten/refreshen/cache löschen.

[alexmi]

@thomas-braun Vielen Dank für deine schnelle Hilfe.
Ich werde das mal beobachten, ob sich dadurch Änderungen ergeben.

[Thomas Braun]

@alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

ob sich dadurch Änderungen ergeben.

Nichts was du bemerken wirst.

[apollon77]

@alexmi wieviele Daten generell so zustandekommen siehst du im Admin in der Spalte mit den Zahlen mit den Pfeilen. Relevant ist der Pfeil „raus“ (nach rechts) und ist „je 15s“

[alexmi]

@apollon77 danke für die Info. Ich rechne mir das morgen mal aus, aber auf den ersten Blick ist das ja doch nicht so wenig wenn das für alle 15 sek zählt.