ioBroker sehr hohe Diskwrites in Proxmox

[crunchip]

@jleg hmm habs laufen lassen, Zeitspanne Post zu Post, soeben hab ich 1000M überschritten

[JLeg]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@jleg hmm habs laufen lassen, Zeitspanne Post zu Post, soeben hab ich 1000M überschritten

boa, das scheint mir ziemlich heftig; das müsste eigentlich darauf hindeuten, dass deine "states.json" und "objects.json" riesig sind - oder du das Schreibintervall runtergesetzt hast (ich glaube, Default sind 30s?)

[crunchip]

@jleg Objekte: 42695, Zustände: 40641, Schreibintervall hab ich nichts gemacht, wüsste gar nicht wo das geändert werden kann

[JLeg]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@jleg Objekte: 42695, Zustände: 40641, Schreibintervall hab ich nichts gemacht, wüsste gar nicht wo das geändert werden kann

Hm, für's Schreiben letztendlich interessant sind die tatsächlichen Grössen der o.g. Dateien (in 'iobroker-data', glaube ich...)

[crunchip]

@jleg

• objects.json 32Mb
• states.json 9,1Mb

keinen Plan ob das viel oder wenig ist

[paul53]

@crunchip sagte: Schreibintervall hab ich nichts gemacht, wüsste gar nicht wo das geändert werden kann

Füge mal in die Datei /opt/iobroker/iobroker-data/iobroker.json unter "states" ein:
"writeFileInterval": 300000,

  "states": {
    "type": "file",
    "typeComment": "Possible values: 'file' - [port 9000], 'redis' - [port 6379].",
    "host": "127.0.0.1",
    "port": 9000,
    "maxQueue": 1000,
    "writeFileInterval": 300000,
    "options": {
      "auth_pass": null,
      "retry_max_delay": 5000
    },
    "backup": {
      "disabled": false,
      "files": 12,
      "filesComment": "Minimal number of backup files, after the deletion will be executed according to backupTime settings",
      "hours": 48,
      "hoursComment": "All backups older than 48 hours will be deleted. But only if the number of files is greater than of backupNumber",
      "period": 120,
      "periodComment": "by default backup every 2 hours. Time is in minutes. To disable backup set the value to 0",
      "path": "",
      "pathComment": "Absolute path to backup directory or empty to backup in data directory"
    }
  },

und starte anschließend ioBroker neu. Dann sollte sich die Schreiblast für die Dateien states.json(.bak) auf ein Zehntel verringern.

[crunchip]

@paul53 greift das auch bei redis?

[paul53]

@crunchip sagte: greift das auch bei redis?

Nein. Redis hat eine eigene Konfiguration, bei der die Voreinstellung für das Schreiben in die Datei 5 Minuten beträgt.
Verwendest Du Redis? Wann wurde die Datei states.json das letzte Mal geschrieben?

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

states.json 9,1Mb

Das macht in der Voreinstellung eine Schreiblast von 2,2 GB pro Stunde.

[crunchip]

@paul53 ja ich verwende redis, deshalb meine Frage, states/redis, objects/file
wird mir der 05.05.2020 angezeigt

[paul53]

@crunchip sagte: wird mir der 05.05.2020 angezeigt

Dann hast Du offenbar am 5.5.2020 auf Redis umgestellt.

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

objects/file

Dann solltest Du mal beobachten, wie oft sich die Änderungszeit der Datei objects.json verändert.

[JLeg]

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@jleg

• objects.json 32Mb
• states.json 9,1Mb

keinen Plan ob das viel oder wenig ist

hängt ja komplett von der Grösse deiner iobroker-Installation ab, bzw. von der Menge an "Zeuch" mit States uns so... Heisst aber, dass bei dir alle paar Sekunden >80MB (jede Datei 2x) geschrieben werden, scheint mir also plausibel, was deine Schreibcharts betrifft.

[JLeg]

@paul53 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

@crunchip sagte: wird mir der 05.05.2020 angezeigt

Dann hast Du offenbar am 5.5.2020 auf Redis umgestellt.

aber offenbar ja nur die states - und die objects sind bei ihm offenbar "relevanter"...

[paul53]

@jleg sagte: die objects sind bei ihm offenbar "relevanter"

Normalerweise sollten die nur selten geschrieben werden, da quasi statisch.

[crunchip]

@paul53 ist möglich, habe diesbezüglich jedoch kein Zeitgefühl, wann ich umgestellt hatte.
also brauche ich "writeFileInterval": 300000, nicht eintragen?

@paul53 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

Dann solltest Du mal beobachten
wenn das hilft? untere Datum letzte Änderung, obere letzter Zugriff

[paul53]

@crunchip sagte: also brauche ich "writeFileInterval": 300000, nicht eintragen?

Nein, das hat auf Redis keine Wirkung.

@crunchip sagte in ioBroker sehr hohe Diskwrites in Proxmox:

untere Datum letzte Änderung

Wenn jetzt immer noch 17:22 Uhr angezeigt werden, ist auch das kein Problem.

[crunchip]

@paul53 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

ist auch das kein Problem.

also hab ich dann ein Problem, hab aktualisiert, jetzt 17:50

[paul53]

@crunchip sagte: also hab ich dann ein Problem, hab aktualisiert, jetzt 17:50

Offenbar. Irgendein Adapter / Script ändert laufend Objekte. Das sollte eigentlich nicht sein.

[crunchip]

@paul53 na bravo, die Nadel im Heuhaufen suchen
ich geh erstmal was essen

[Dr. Bakterius]

@crunchip Bei mir ist es offensichtlich der Netatmo-Adapter. Der schreibt alle 10 Minuten (eingestelltes Intervall) die objects.json (2 x 14,5 MB) neu.

Der Umstieg bei den States auf redis hat mir schon eine deutlich Reduktion der Schreibzugriffe gebracht. Jetzt stellt sich nur die Frage ob ich auch bei den Objekten auf redis umstellen soll, oder der Adapter angepasst werden kann? Beim Adapter habe ich mal ein Issue erstellt.

[MartyBr]

@crunchip
Hallo, die Diskussion hat mich angeregt, auch mein System zu überprüfen.
Ich setze zwei Proxmox-Nodes ein (Intel NUC6 und Intel NUC8).
Der neuere Nuc8 (Gekauft Ende 2019) hat eine Samsung 500GB SSD (970Pro).

Der Wert für Wearout liegt bei 3%.
Das sieht für mich kritisch aus!

Die 2 Jahre ältere SSD im Nuc6 (Cruxial 250GB) zeigt 42% an.

Nun mache ich mir nach der Diskussion Sorgen um die Datensicherheit.
Hier die Smart-Werte:

Das heißt, das System hat seit Ende 2019 53 TB geschrieben.

Meine Frage jetzt an die Experten: Ich würde gerne die SSD tauschen. In den Foren habe ich viel über Probleme beim Klonen gelesen, das z.B. der GPT nicht sauber oder gar nicht mit kopiert wird.

Da ich zwei Nodes habe, hier eine konkrete Frage:
Ich könnte die VMs auf den Node1 verschieben und den Node2 neu mit der Proxmox Boot-Stick erzeugen. Danach die Nodes miteinander verknüpfen und die Maschinen wieder rüberschicken.

Würde das so gehen? Oder macht ihr das anders?

Danach muss ich dann das Problem der heftigen Schreibvorgänge angenommen.

Bitte hier um Unterstützung.