ioBroker sehr hohe Diskwrites in Proxmox
-
Mein Proxmox macht jede Nacht ein Backup vom Container in welchem ioBroker läuft. Das Backup ist so eingestellt, dass der Container für das Backup gestoppt wird.
Werden in diesem Fall beim stoppen des Container die states und objects nochmal weggeschrieben (writeFileInterval auf 3600000 gesetzt) oder ist das aus Sicht ioBroker wie ein crash vom js-controller , so dass mögliche Änderungen in den states / objects verloren gehen? -
Mein Proxmox macht jede Nacht ein Backup vom Container in welchem ioBroker läuft. Das Backup ist so eingestellt, dass der Container für das Backup gestoppt wird.
Werden in diesem Fall beim stoppen des Container die states und objects nochmal weggeschrieben (writeFileInterval auf 3600000 gesetzt) oder ist das aus Sicht ioBroker wie ein crash vom js-controller , so dass mögliche Änderungen in den states / objects verloren gehen?@feuersturm Was sagt denn das log? Wird der Container wirklich runtergefahren? Siehst Du ja im Log. Oder wird er nur "angehalten"
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@feuersturm Was sagt denn das log? Wird der Container wirklich runtergefahren? Siehst Du ja im Log. Oder wird er nur "angehalten"
@apollon77 War erstmal nur eine Überlegung. Hab gerade das Schreibintervall mal eingebaut und werde morgen mal nachsehen was heute Nacht passiert ist. Bin nicht mehr am Rechner, werde morgen mal schauen ob der Container heruntergefahren wird.
-
@apollon77 War erstmal nur eine Überlegung. Hab gerade das Schreibintervall mal eingebaut und werde morgen mal nachsehen was heute Nacht passiert ist. Bin nicht mehr am Rechner, werde morgen mal schauen ob der Container heruntergefahren wird.
@feuersturm Schau doch einfach ins Logfile ... :-) Dann weisst Du es direkt
-
Mein Proxmox macht jede Nacht ein Backup vom Container in welchem ioBroker läuft. Das Backup ist so eingestellt, dass der Container für das Backup gestoppt wird.
Werden in diesem Fall beim stoppen des Container die states und objects nochmal weggeschrieben (writeFileInterval auf 3600000 gesetzt) oder ist das aus Sicht ioBroker wie ein crash vom js-controller , so dass mögliche Änderungen in den states / objects verloren gehen?@feuersturm sagte: Werden in diesem Fall beim stoppen des Container die states und objects nochmal weggeschrieben
EDIT: siehe hier
Bitte verzichtet auf Chat-Nachrichten, denn die Handhabung ist grauenhaft !
Produktiv: RPi 2 mit S.USV, HM-MOD-RPI und SLC-USB-Stick mit root fs -
@feuersturm sagte: Werden in diesem Fall beim stoppen des Container die states und objects nochmal weggeschrieben
EDIT: siehe hier
@paul53 Beim beenden wird beides geschrieben - WENN es ungeschriebene Änderungen gibt!! Code Technisch sind beide DBs "gleich" was die Basis angeht
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@paul53 Beim beenden wird beides geschrieben - WENN es ungeschriebene Änderungen gibt!! Code Technisch sind beide DBs "gleich" was die Basis angeht
@apollon77 sagte: WENN es ungeschriebene Änderungen gibt!!
Dann gab es wohl keine Änderung bei meinen objects, als ich es beobachtet habe.
-
@feuersturm sagte: Werden in diesem Fall beim stoppen des Container die states und objects nochmal weggeschrieben
EDIT: siehe hier
Heißt das, wenn ich einen Datenpunkt anlege und dann den Server einen shutdown Befehl gebe, bekomme ich anschließend, nach einem Neustart, einen Fehler, weil der Datenpunkt nicht existiert
-
Hallo Zusammen,
kurze Frage noch ihr verwendet sehr unterschiedliche Write Intervalle. Ich vermute einige weil sie kein Redis benutzten für die States und andere für die Objekte?
wo genau wird es nun seit dem Jason Controller eingebaut?einfach irgendwo folgendes dazwischen? "writeFileInterval": 3600000, ? oder habt ihr folgendes abgeändert: " "period": 120," auf alle xxx?
}, "objects": { "type": "file", "typeComment": "Possible values: 'file' - [port 9001], redis - [port 6379], couch - [port 5984].", "host": "0.0.0.0", "port": 9001, "user": "", "pass": "", "noFileCache": false, "connectTimeout": 2000, "backup": { "disabled": false, "files": 24, "filesComment": "Minimal number of backup files, after the deletion will be executed according to backupTime settings", "hours": 48, "hoursComment": "All backups older than 48 hours will be deleted. But only if the number of files is greater than of backupNumber", "period": 120, "periodComment": "by default backup every 2 hours. Time is in minutes. To disable backup set the value to 0", "path": "", "pathComment": "Absolute path to backup directory or empty to backup in data directory" },kueppert schrieb
"writeFileInterval": 36000xxxx,paul53
"writeFileInterval": 300000,crunchip
Da meine objects.json 32mb beträgt und bevor ich diese ebenfalls auf redis umstelle, habe ich nun mal "writeFileInterval": 3600000, für objekte hinterlegt,Dr-Bakterius
Durch Umstellung der States auf redis und die Änderung auf "writeFileInterval": 3600000, bei den Objects konnte ich die Datenmenge die von ioBroker geschrieben wird um über 90% reduzieren. Ich bin jetzt auf deutlich unter 20 GB am Tag.ok das hat bei mir von den Diskwrites scheinbar den Durchbruch geschafft. Was mir auch logisch erscheint wenn ich anstatt alle 15 Minuten nur noch alle 60 Minuten die scheinbar größeren Daten schreibe.
Die Voreinstellung für das Schreiben der Objects ist 15 Minuten? Korrekt?
Bleiben natürlich die Fragen meines Vorgängers, im Grund haben sich die Ursprungsprogrammierer (hier) ja gedacht 15 Minuten ist die richtige Häufigkeit zum Sichern der Objekte.Hochrechnung von gestern von Änderung der Schreibintervalle:
57 GB /Tag bzw. 20.769 GB/Jahr, damit ergibt sich eine rechnerische SSD Lebensdauer von 3,5 Jahre
Änderung auf Objects "writeFileInterval": 3600000,
13,65 GB /Tag bzw. 5.350 GB/Jahr, damit ergibt sich eine rechnerische SSD Lebensdauer von 13,5 Jahre
-
ok das hat bei mir von den Diskwrites scheinbar den Durchbruch geschafft. Was mir auch logisch erscheint wenn ich anstatt alle 15 Minuten nur noch alle 60 Minuten die scheinbar größeren Daten schreibe.
Die Voreinstellung für das Schreiben der Objects ist 15 Minuten? Korrekt?
Bleiben natürlich die Fragen meines Vorgängers, im Grund haben sich die Ursprungsprogrammierer (hier) ja gedacht 15 Minuten ist die richtige Häufigkeit zum Sichern der Objekte.Hochrechnung von gestern von Änderung der Schreibintervalle:
57 GB /Tag bzw. 20.769 GB/Jahr, damit ergibt sich eine rechnerische SSD Lebensdauer von 3,5 JahreÄnderung auf Objects "writeFileInterval": 3600000,
13,65 GB /Tag bzw. 5.350 GB/Jahr, damit ergibt sich eine rechnerische SSD Lebensdauer von 13,5 Jahre -
Mir dem js-controller v3.2.14 wurde auch die geschriebene Datenmenge gesenkt:
Optimize File DBs to lower write i/o by 50% ( backup file is not renamed instead of rewritten)
Danke @apollon77 !
-
Mir dem js-controller v3.2.14 wurde auch die geschriebene Datenmenge gesenkt:
Optimize File DBs to lower write i/o by 50% ( backup file is not renamed instead of rewritten)
Danke @apollon77 !
@dr-bakterius Ok, also so heftig hätte ich es jetzt nicht erwartet, krass
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
Mir dem js-controller v3.2.14 wurde auch die geschriebene Datenmenge gesenkt:
Optimize File DBs to lower write i/o by 50% ( backup file is not renamed instead of rewritten)
Danke @apollon77 !
-
@robbsen Musst du apollon77 fragen...
-
@apollon77 Dafür habe ich jetzt wieder alle 2-3 Minuten einen (kleinen) Schreibzugriff. Ist da die Konfiguration die Daten nur einmal die Stunde zu schreiben gelöscht worden bzw. wird jetzt nicht mehr beachtet? Oder ist der große Brocken einmal die Stunde jetzt generell weggefallen? Muss mir mal zuhause ansehen wann die Dateien das letzte Mal geschrieben wurden...
-
@apollon77 also, ich sehe bei mir keinen Unterschied, liegt aber vllt am Eintrag (writeFileInterval auf 3600000) bei den Objekten
-
@robbsen Im writeFileInterval wurde bisher bevor das File neu geschrieben wurde vom vorherigen File ein backup angelegt. Das wurde bisher gemacht durch "lesen und neu schreiben". Jetzt wird einfach das alte File umbenannt. Danach wird das neue FIle immer voll geschrieben wie bisher auch. mehr wurde nicht geändert :-)
Deswegen find ich den Effekt mega krass ... aber ok
-
@robbsen Im writeFileInterval wurde bisher bevor das File neu geschrieben wurde vom vorherigen File ein backup angelegt. Das wurde bisher gemacht durch "lesen und neu schreiben". Jetzt wird einfach das alte File umbenannt. Danach wird das neue FIle immer voll geschrieben wie bisher auch. mehr wurde nicht geändert :-)
Deswegen find ich den Effekt mega krass ... aber ok
-
@apollon77 macht mir auch Angst... bei mir schreibt der gar nichts mehr zumindest seit 12 Uhr (Umstellung auf v3.2.14)
Maxwerte / Tag
Stunde Durchschnitt
@robbsen das liegt an der Zeitlichen Ansicht, weil die Spitzenwerte im M Bereich liegen, daher die"kleinen Werte" nicht sichtbar, wenn die Zeitachse weit genug gewandert ist, werden auch da "normale" Werte erscheinen.
-
Also zum ganz sicher gehen schaut doch mal in /opt/iobroker/iobroker-data ... das *.json ist das aktuelle file und *.json.bak das letzte ... wenn sich Objekte ändern müsste das *.json neu geschrieben werden und das frühere *.json wirtd zum *.json.bak
Bei meinen Testsystemen passt das
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
631
Online32.7k
Users82.5k
Topics1.3m
Posts