NEWS
history hängt sich auf - SW oder HW?
-
Hallo, nach meinem letzten Generalupdate (auch history, jscript, admin) hängt sich jetzt history alle paar Tage ohne Eintrag im log einfach auf.
Der history-Prozess zeigt dann im Taskmanager hohe Auslastung, im Normalbetrieb ist die Auslastung unauffällig.
Neustart History Adapter hilft leider nicht. Restart ioBroker komplett hilft.
Der History schreibt auf eine eigene, separate SSD, die mittlerweile zu 90% voll ist.PlatformBetriebssystem:win32 Architektur:x64 CPUs:4 Geschwindigkeit:2712 MHz Modell:Intel(R) Core(TM) i5-7300U CPU @ 2.60GHz RAM:15.8 GB System-Betriebszeit:1 T. 09:46:42 Node.js:v20.16.0 time:1744262984502 timeOffset:-120 NPM:10.8.1 Adapter-Anzahl:561 Datenträgergröße:237.9 GB Freier Festplattenspeicher:134.8 GB Aktive Instanzen:37 Pfad:C:\ioBroker\ Betriebszeit:07:22:37 aktiv:true _nodeCurrent:20.16.0 _nodeNewest:20.19.0 _nodeNewestNext:20.19.0 _npmCurrent:10.8.1 _npmNewest:10.8.1 _npmNewestNext:10.8.2js-controller 5.0.19 Admin 7.6.3 History 3.0.1Sind irgendwelche SW-Inkompatibilitäten bekannt, oder soll ich die SSD ersetzen?
Wenn du sehr viele Datenpunkte historisierst, die in kurzen zeitlichen Abständen aktualisiert werden, dann könnte das der Flaschenhals sein.
Der History Adapter schreibt (meines Wissens nach) seine Daten in viele kleine Dateien. Das braucht natürlich auch seine Zeit.Eventuell wäre es sinnvoll, die Historisierung auf eine Datenbank über den SQL Adapter umzustellen.
Ob es die Ssd/Festplatte ist, kannst du mit den Methoden aus den folgenden Artikel testen
https://linuxblog.io/linux-server-performance-disk-io-slowing-application/ -
Wenn du sehr viele Datenpunkte historisierst, die in kurzen zeitlichen Abständen aktualisiert werden, dann könnte das der Flaschenhals sein.
Der History Adapter schreibt (meines Wissens nach) seine Daten in viele kleine Dateien. Das braucht natürlich auch seine Zeit.Eventuell wäre es sinnvoll, die Historisierung auf eine Datenbank über den SQL Adapter umzustellen.
Ob es die Ssd/Festplatte ist, kannst du mit den Methoden aus den folgenden Artikel testen
https://linuxblog.io/linux-server-performance-disk-io-slowing-application/@oliverio sagte in history hängt sich auf - SW oder HW?:
Der History Adapter schreibt (meines Wissens nach) seine Daten in viele kleine Dateien. Das Brauch natürlich auch seine Zeit.
Ja, das sind tägliche JSONs pro Datenpunkt.
Aber ich habe ca. 200 DP mit tlw. 5sekündlichem Logging.
Insgesamt über 64GB History und keine Probleme -
Vielen Dank für Eura Antworten.
Mein Datenbesatnd ist groß und es werden viele Datenpunkte geschrieben. Das läuft schon seit Jahren so.
Mein Rechner ist ein i5 Laptop unter Win und die CPU usage des history Adapters liegt normalerweise < 1%. Bei den Hängern springt sie auf > 30%.
Es gibt aber keine Fehler im Log, was mich stutzig macht.Die Festplatte habe ich nach Anleitung von ChatGPT mit diversen tools gecheckt. Sie sieht erstmal unauffällig aber 90% voll aus.
Filesystem ist NTFS, womit Win zurecht kommt.chkdsk D: /f /rhat ein paar Trümmer gefunden und aufgeräumt. Das muß aber nicht die Ursache sein, sondern es könnte auch die Auswirkung der Hänger/Abstürze sein.
Habe jetzt mal einige GB von der SSD gelöscht und die nächst größere, die noch in den Laptop passt, bestellt. Wir werden sehen. -
Vielen Dank für Eura Antworten.
Mein Datenbesatnd ist groß und es werden viele Datenpunkte geschrieben. Das läuft schon seit Jahren so.
Mein Rechner ist ein i5 Laptop unter Win und die CPU usage des history Adapters liegt normalerweise < 1%. Bei den Hängern springt sie auf > 30%.
Es gibt aber keine Fehler im Log, was mich stutzig macht.Die Festplatte habe ich nach Anleitung von ChatGPT mit diversen tools gecheckt. Sie sieht erstmal unauffällig aber 90% voll aus.
Filesystem ist NTFS, womit Win zurecht kommt.chkdsk D: /f /rhat ein paar Trümmer gefunden und aufgeräumt. Das muß aber nicht die Ursache sein, sondern es könnte auch die Auswirkung der Hänger/Abstürze sein.
Habe jetzt mal einige GB von der SSD gelöscht und die nächst größere, die noch in den Laptop passt, bestellt. Wir werden sehen.@klassisch sagte in history hängt sich auf - SW oder HW?:
die CPU usage des history Adapters liegt normalerweise < 1%. Bei den Hängern springt sie auf > 30%.
dann wäre auf jeden Fall
topinteressant, ob die load average in die Höhe geht.
Dann deutet das auf mögliche Engstelken beim I/O hin.kein Support per PN! - Fragen im Forum stellen - es gibt fast nichts, was nicht auch für andere interessant ist.
Benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
der Installationsfixer: curl -fsL https://iobroker.net/fix.sh | bash -
-
@klassisch sagte in history hängt sich auf - SW oder HW?:
die CPU usage des history Adapters liegt normalerweise < 1%. Bei den Hängern springt sie auf > 30%.
dann wäre auf jeden Fall
topinteressant, ob die load average in die Höhe geht.
Dann deutet das auf mögliche Engstelken beim I/O hin.Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.Ein Prozess kann, wenn er mit wenig Arbeit viel IO erzeugen kann, nicht besonders ausgelastet sein. Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet. Auch der Prozessor in der Festplatte und die eigentliche Hardware (bei hd die Platte+die Ansteuerung,bei ssd die ram Chips und auch dort ist ein Prozessor für die Steuerung) benötigt Zeit.
Meine Adapter und Widgets
TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
Links im Profil -
Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.Ein Prozess kann, wenn er mit wenig Arbeit viel IO erzeugen kann, nicht besonders ausgelastet sein. Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet. Auch der Prozessor in der Festplatte und die eigentliche Hardware (bei hd die Platte+die Ansteuerung,bei ssd die ram Chips und auch dort ist ein Prozessor für die Steuerung) benötigt Zeit.
@oliverio sagte in history hängt sich auf - SW oder HW?:
Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet.
genau!
Beim RasPi kann es auch durch Interferenzen zu Rückstau am Datenbus kommen.Daher vermute ich ja fort irgendwelche Komplikationrn. 30% CPU sollte nicht die Ursache sein.
-
Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.Ein Prozess kann, wenn er mit wenig Arbeit viel IO erzeugen kann, nicht besonders ausgelastet sein. Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet. Auch der Prozessor in der Festplatte und die eigentliche Hardware (bei hd die Platte+die Ansteuerung,bei ssd die ram Chips und auch dort ist ein Prozessor für die Steuerung) benötigt Zeit.
@oliverio said in history hängt sich auf - SW oder HW?:
Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.Taskmgr -> Leistung -> Resourcenmanager (gnaz unten)
Entwicklung u Betreuung: envertech-pv, hoymiles-ms, ns-client, pid, snmp Adapter;
Support Repositoryverwaltung.Wer Danke sagen will, kann nen Kaffee spendieren: https://paypal.me/mcm1957atiobroker
-
@oliverio said in history hängt sich auf - SW oder HW?:
Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.Taskmgr -> Leistung -> Resourcenmanager (gnaz unten)
Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst. Da konnte ein npm i schon mal Minuten laufen ... Es ging dann immer ne Zeit top wenn ich den vss cache mittels manager gelöscht habe. Hatte nur den Nachteil dass dann das Backup wieder 100% gelesen hat :-(.Bei ausreichend Platz hab ich das Problem (?) nicht bemerkt.
-
Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.Ein Prozess kann, wenn er mit wenig Arbeit viel IO erzeugen kann, nicht besonders ausgelastet sein. Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet. Auch der Prozessor in der Festplatte und die eigentliche Hardware (bei hd die Platte+die Ansteuerung,bei ssd die ram Chips und auch dort ist ein Prozessor für die Steuerung) benötigt Zeit.
@oliverio sagte in history hängt sich auf - SW oder HW?:
Leider nutzt er Windows.
Mit voller Absicht und gutem Erfolg. Lief über Jahre sehr stabil und besser als meine frühere SBC-Lösung.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.
Ich schon, ein Grund mehr warum ich Win nutze, solange es noch geht. Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.
Wie gesagt, mit Win läuft es bei mir schon etliche Jahre stabil, mit dieser SSD jetzt > 2 Jahre.
Hatte halt eine größere Updatesession gemacht incl. history Adapter und jetzt kamen die Hänger.
Keine Ahnung, ob es da bekannte Probleme gibt, deshalb frage ich hier.
Gleichzeitig ist die history-SSD schon ziemlich voll. Und das ist auch noch einen etwas heikle M.2 SATA mit kleinem Formfaktor und einseitiger Bestückung. Könnte also auch ein Thema sein. -
@oliverio sagte in history hängt sich auf - SW oder HW?:
Leider nutzt er Windows.
Mit voller Absicht und gutem Erfolg. Lief über Jahre sehr stabil und besser als meine frühere SBC-Lösung.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.
Ich schon, ein Grund mehr warum ich Win nutze, solange es noch geht. Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.
Wie gesagt, mit Win läuft es bei mir schon etliche Jahre stabil, mit dieser SSD jetzt > 2 Jahre.
Hatte halt eine größere Updatesession gemacht incl. history Adapter und jetzt kamen die Hänger.
Keine Ahnung, ob es da bekannte Probleme gibt, deshalb frage ich hier.
Gleichzeitig ist die history-SSD schon ziemlich voll. Und das ist auch noch einen etwas heikle M.2 SATA mit kleinem Formfaktor und einseitiger Bestückung. Könnte also auch ein Thema sein.@klassisch sagte in history hängt sich auf - SW oder HW?:
Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.
ich nix Windows!
Gemäß dem Screenshot von @mcm1957 würde ich aber in dem Zusammenhang auch mal einen Blick auf die Antwortzeit werfen.
Wenn sich die deutlich verlängert, wäre das ein Hinweis -
Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst. Da konnte ein npm i schon mal Minuten laufen ... Es ging dann immer ne Zeit top wenn ich den vss cache mittels manager gelöscht habe. Hatte nur den Nachteil dass dann das Backup wieder 100% gelesen hat :-(.Bei ausreichend Platz hab ich das Problem (?) nicht bemerkt.
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst.Vielen Dank auch für diesen Hinweis.
Ich lasse zu bestimmten Uhrzeiten Robomirror über die History-Files laufen. Da geht die Datenrate mal ein paar Sekunden auf 1MB/s.
So ein Dreckeffeckt könnte es natürlich auch sein. Die history files sind ja Legion. Und wer weiß, was bei einer gut gefüllten SSD alles passiert.
Werde mal weiter beobachen, ob das Hängen mit der Backup-Zeit korreliert. -
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst.Vielen Dank auch für diesen Hinweis.
Ich lasse zu bestimmten Uhrzeiten Robomirror über die History-Files laufen. Da geht die Datenrate mal ein paar Sekunden auf 1MB/s.
So ein Dreckeffeckt könnte es natürlich auch sein. Die history files sind ja Legion. Und wer weiß, was bei einer gut gefüllten SSD alles passiert.
Werde mal weiter beobachen, ob das Hängen mit der Backup-Zeit korreliert.Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
-
@klassisch sagte in history hängt sich auf - SW oder HW?:
Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.
ich nix Windows!
Gemäß dem Screenshot von @mcm1957 würde ich aber in dem Zusammenhang auch mal einen Blick auf die Antwortzeit werfen.
Wenn sich die deutlich verlängert, wäre das ein Hinweis@homoran Danke! Hatte ich über den Task Manager bereits gemacht, der ja auch die Datennutzung der Platten ausgibt. Wie oben geschrieben, tut sich auf der History-Platte nicht dramatisch viel im Normalbetrieb. Der Ressourenmanager gibt ein ähnliches Bild.
Habe am Rechner noch eine externe HDD auf der dauernd geschrieben wird. So eine extra Dauerlaufplatte. Aber auch das ist schon seit Jahren so. -
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
Danke! Das könnte ich mit einem Python Script machen. Ich habe etliche Python-Scripte, die mir die json files über einen bestimmten Zeitraum in XLS und csv umwandeln .
Dann wären hier alle Scripte im heutigen Tagesordner zu öffnen und zu lesen. -
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
Danke, habe ich gemacht
files von gestern
Summary: Total JSON files checked: 9083 Valid JSON files : 9083 Invalid JSON files : 0 -
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
Danke, habe ich gemacht
files von gestern
Summary: Total JSON files checked: 9083 Valid JSON files : 9083 Invalid JSON files : 0@klassisch Das sieht doch (leider ;-) ) gut aus.
Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?
-
@klassisch Das sieht doch (leider ;-) ) gut aus.
Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?
@homoran sagte in history hängt sich auf - SW oder HW?:
Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?
Nur das was Windows von sich aus mitbringt
-
@homoran sagte in history hängt sich auf - SW oder HW?:
Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?
Nur das was Windows von sich aus mitbringt
@klassisch also der Defender.
ob man bei dem die Historydaten ausnehmen könnte (zumindest testweise) weiss ich leider nicht -
@klassisch also der Defender.
ob man bei dem die Historydaten ausnehmen könnte (zumindest testweise) weiss ich leider nicht -
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
Danke, habe ich gemacht
files von gestern
Summary: Total JSON files checked: 9083 Valid JSON files : 9083 Invalid JSON files : 0@klassisch said in history hängt sich auf - SW oder HW?:
@mcm1957 sagte in history hängt sich auf - SW oder HW?:
Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.
Danke, habe ich gemacht
files von gestern
Scan mal sicherheitshalber ALLE files.
Der history Adapter versucht ja von Zeit zu Zeit alte Files zu löschen. Nicht dass da was klemmt. (Ist nicht sehr wahrscheinlich aber der Aufwand sollte sich in Grenzen halten auch das auszuschließen)
769
Online32.5k
Benutzer81.8k
Themen1.3m
Beiträge