NEWS
Test Adapter History 2.0.0
Test Adapter History 2.0.0
-
@apollon77 ganz herzlichen Dank für die Initiative
Ich guck mal, ob ich zwischendurch testen kann. Was ich noch nicht verstehe: Was bedeutet "Der Wert wird ggf. erinnert für spätere Aufzeichnung"?
Wann genau werden erinnerte Werte geschrieben? Wenn ich "gleiche Werte" z.B. spätestens nach einer Stunde aufzeichnen lasse, soll der Adapter dann wirklich den gleichen Werte nochmal aufzeichnen oder den erinnerten Wert?@apollon77 sagte in Test Adapter History 2.0.0:
Aber das leerzeichen sollte auch nichts damit zu tun haben weil es ja danach geht
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
...war halt nur noch eine Besonderheit von "geht" vs. "geht nicht".Leider hat Murphy da voll zugeschlagen. Ich habe nur noch ein 3GB Voll-Image der Proxmox-VM von vor der Umstellung. Daraus konnte ich dann mittels Bildschirm C&P folgendes ziehen (in der Hoffnung es ist das was du brauchst):
LG SBorg ( SBorg auf GitHub)
Projekte: Lebensmittelwarnung.de | WLAN-Wetterstation | PimpMyStation -
@apollon77 ganz herzlichen Dank für die Initiative
Ich guck mal, ob ich zwischendurch testen kann. Was ich noch nicht verstehe: Was bedeutet "Der Wert wird ggf. erinnert für spätere Aufzeichnung"?
Wann genau werden erinnerte Werte geschrieben? Wenn ich "gleiche Werte" z.B. spätestens nach einer Stunde aufzeichnen lasse, soll der Adapter dann wirklich den gleichen Werte nochmal aufzeichnen oder den erinnerten Wert? -
@apollon77 sagte in Test Adapter History 2.0.0:
Aber das leerzeichen sollte auch nichts damit zu tun haben weil es ja danach geht
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
...war halt nur noch eine Besonderheit von "geht" vs. "geht nicht".Leider hat Murphy da voll zugeschlagen. Ich habe nur noch ein 3GB Voll-Image der Proxmox-VM von vor der Umstellung. Daraus konnte ich dann mittels Bildschirm C&P folgendes ziehen (in der Hoffnung es ist das was du brauchst):
@sborg sagte in Test Adapter History 2.0.0:
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
Was genau meinst Du damit? Mit dem Escape? Wo?
Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@apollon77 sagte in Test Adapter History 2.0.0:
Aber das leerzeichen sollte auch nichts damit zu tun haben weil es ja danach geht
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
...war halt nur noch eine Besonderheit von "geht" vs. "geht nicht".Leider hat Murphy da voll zugeschlagen. Ich habe nur noch ein 3GB Voll-Image der Proxmox-VM von vor der Umstellung. Daraus konnte ich dann mittels Bildschirm C&P folgendes ziehen (in der Hoffnung es ist das was du brauchst):
-
@sborg sagte in Test Adapter History 2.0.0:
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
Was genau meinst Du damit? Mit dem Escape? Wo?
Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?
@apollon77 sagte in Test Adapter History 2.0.0:
@sborg sagte in Test Adapter History 2.0.0:
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
Was genau meinst Du damit? Mit dem Escape? Wo?
Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?
Ich dachte, dass ev. die "Behandlung" des Leerzeichens im Alias beim Update nicht korrekt funktionierte und erst durch das erneute Speichern korrekt funktionierte. Kann es aber auch nicht sein, er schrieb ja "0" bzw. "Null" in das entsprechende Json-File.
Aktuell sieht es nun so aus (+ funktioniert noch immer
) :
Von meiner Seite aus kannst du auch gerne einen Haken dran machen, scheint ja sonst keiner zu haben.
Du hast bestimmt auch besseres zu tun.
Aber hast du beim testen nur geschaut ob er das Objekt korrekt geändert hat? Das scheint zu funktionieren. Problem war, dass er nach dem Update keinen korrekten Wert mehr in das History-Json schrieb, sondern der value immer "0" oder "Null" war. Ich habe dann nur die History-Einstellungen des Datenpunktes nochmals gespeichert. Danach waren sofort wieder korrekte Werte im History-Json-File.LG SBorg ( SBorg auf GitHub)
Projekte: Lebensmittelwarnung.de | WLAN-Wetterstation | PimpMyStation -
@apollon77 sagte in Test Adapter History 2.0.0:
@sborg sagte in Test Adapter History 2.0.0:
Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
Was genau meinst Du damit? Mit dem Escape? Wo?
Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?
Ich dachte, dass ev. die "Behandlung" des Leerzeichens im Alias beim Update nicht korrekt funktionierte und erst durch das erneute Speichern korrekt funktionierte. Kann es aber auch nicht sein, er schrieb ja "0" bzw. "Null" in das entsprechende Json-File.
Aktuell sieht es nun so aus (+ funktioniert noch immer
) :
Von meiner Seite aus kannst du auch gerne einen Haken dran machen, scheint ja sonst keiner zu haben.
Du hast bestimmt auch besseres zu tun.
Aber hast du beim testen nur geschaut ob er das Objekt korrekt geändert hat? Das scheint zu funktionieren. Problem war, dass er nach dem Update keinen korrekten Wert mehr in das History-Json schrieb, sondern der value immer "0" oder "Null" war. Ich habe dann nur die History-Einstellungen des Datenpunktes nochmals gespeichert. Danach waren sofort wieder korrekte Werte im History-Json-File. -
@feuersturm also check für aufräumen erfolgt frühestens alle 6h, dann wird aufgeräumt nur ganze tage ab dem tag "vor" ablauf der retention
generell gilt: speichern alle 10 mins ODER wenn die anzahl erreicht ist@apollon77 sagte in Test Adapter History 2.0.0:
@feuersturm also check für aufräumen erfolgt frühestens alle 6h, dann wird aufgeräumt nur ganze tage ab dem tag "vor" ablauf der retention
generell gilt: speichern alle 10 mins ODER wenn die anzahl erreicht istDann sieht das ja soweit passend aus. Aufbewahrungsdauer steht auf 1 Tag.
proxmox@ioBrokerNew:/opt/iobroker/iobroker-data/history$ ls -l total 12 drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 20 00:02 20220420 drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 21 00:00 20220421 drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 22 00:01 20220422Was mir im Admin aufgefallen ist, ist bei den Verlaufsdaten nicht alle verfügbaren Daten angezeigt werden. Auch im csv Export tauchen nur die Daten auf, die man bei den Verlaufsdaten sieht. Ist das gewollt?
Im Diagramm werden auch die Daten vom 20.04 korrekt angezeigt
-
@apollon77 sagte in Test Adapter History 2.0.0:
@feuersturm also check für aufräumen erfolgt frühestens alle 6h, dann wird aufgeräumt nur ganze tage ab dem tag "vor" ablauf der retention
generell gilt: speichern alle 10 mins ODER wenn die anzahl erreicht istDann sieht das ja soweit passend aus. Aufbewahrungsdauer steht auf 1 Tag.
proxmox@ioBrokerNew:/opt/iobroker/iobroker-data/history$ ls -l total 12 drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 20 00:02 20220420 drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 21 00:00 20220421 drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 22 00:01 20220422Was mir im Admin aufgefallen ist, ist bei den Verlaufsdaten nicht alle verfügbaren Daten angezeigt werden. Auch im csv Export tauchen nur die Daten auf, die man bei den Verlaufsdaten sieht. Ist das gewollt?
Im Diagramm werden auch die Daten vom 20.04 korrekt angezeigt
@feuersturm Admin lädt glaube ich nur 500 werte. Kann das passen? Was csv export angeht wäre das natürlich ggf blöd. D hätte ich auch alles erwartet - aber wenn bluefox das im Browser macht dann geht es micht anders. Wäre ggf admin issue was csv export angeht.
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@feuersturm Admin lädt glaube ich nur 500 werte. Kann das passen? Was csv export angeht wäre das natürlich ggf blöd. D hätte ich auch alles erwartet - aber wenn bluefox das im Browser macht dann geht es micht anders. Wäre ggf admin issue was csv export angeht.
@apollon77 Ja es sind 500 Einträge. Kann ja mal ein issue anlegen um zu hinterfragen ob auch ein vollständiger Export, bzw. der Auszug aus dem Zeitraum möglich ist.
-
Aktuelle Test Version 2.0.0 Veröffentlichungsdatum 14.04.2022 Github Link https://github.com/ioBroker/ioBroker.history Hallo lieber Tester,
ich habe mit in den letzten Tagen mal die Zeit genommen und so ein paar Themen bei den History-Adaptern anzuschauen und in dem Zuge habe ich jetzt ein seeeehr großes Update für History zum testen für Euch. Wenn das soweit passt wird das "gleiche" auch für sql und InfluxDB noch kommen.
Diese neue (Major!) Version des History Adapters räumt einige Dinge auf und sorgt bei einigen Themen für mehr transparent und Klarheit und bringt noch dazu einige Features mit. Der Adapter wird sich an einigen Stellen was die aufgezeichneten Daten angeht künftig anders verhalten als bisher!
Ebenso haben sich Einstellungen geändert - es sollten die Einstellungen der alten Version übernommen werden und sollten auch bei einem Downgrade noch vorhanden sein wie vorher eingestellt, dennoch ist diese Version ein Breaking change. Also stellt bitte sicher Backups der Datenfiles und des Systems zu haben!Da dies jetzt einiges an Änderungen ist starten wir erst einmal mit einem Alpha Test von GitHub. Bitte als im Admin den Expertenmodus aktivieren und vom GitHub installieren.
Bei Fehlern bitte ggf hier schreiben und dann GitHub Issues anlegen.
Auf die wichtigsten Änderungen will ich gern jetzt noch genauer eingehen.
Wichtige Änderungen erklärt
Konfiguration ausschliesslich in der neuen Admin UI verfügbar!
Die Konfiguration ist ausschliesslich in der neuen Admin5 UI verfügbar
Debounce vs "Aufzeichnung zeitlich blockieren"
In der Konfiguration kann man eine sog. "Debounce-Zeit" angeben. Debounce bedeutet an sich, dass ein neuer Wert erst dann als "stabil" gilt wenn er sich für die angegebene Zeit nicht geändert hat. So war es auch (von komischen Effekten mit "Nur Änderungen aufzeichnen mal abgesehen", dazu später mehr) implementiert. Leider hat die Readme davon gesprochen das der Wert sofort geloggt wird aber dann für die angegebene Zeit kein weiterer Wert. Hier herrschte also Verwirrung.
Mit dieser Version gibt es jetzt zwei Werte die man setzen kann:
- Debounce-Zeit: Der Wert wird wirklich erst aufgezeichnet, wenn er sich für die hier angegebene Zeit nicht geändert hat! Wird hier also ein Wert eingetragen der höher ist als die übliche Änderungsfrequenz des States, dann wird faktisch NIE etwas geloggt! Also Achtung hier!
- Block-Zeit: Dieser Wert entspricht dem was die Doku bisher zum "Debounce" gesagt hat und erlaubt es, erst frühestens nach Ablauf dieser Zeit neue Werte zu loggen. Wichtig hier ist das die obige "Debounce-Zeit" vorher geprüft wird, und auch das ein "Gleiche Werte nochmals loggen" diesen Check nicht macht.
Aus Kompatibilitätsgründen wird der frühere "debounce"-Wert als "Block-Wert" übernommen. Also bitte die Einstellungen prüfen falls dies keinen Sinn macht!
"Nur Änderungen aufzeichnen" vs "Debounce"
In dieser Kombination hatten sich einige Bugs und Effekte eingeschlichen, welche dafür gesorgt haben das teilweise Werte geloggt wurden die nicht den Regeln entsprachen. Dies ist jetzt aufgeräumt.
"Nur Änderungen aufzeichnen" und Aufzeichnung zusätzlicher Werte zur besseren Grafischen Darstellung
Ein weiterer großer Verwirrungspunkt war öfters, warum denn noch zusätzliche Werte aufgezeichnet werden, die an sich durch die Regeln (vor allem "Minimale Differenz") gar nicht hätten aufgezeichnet werden dürfen. Dies kam daher, dass der Adapter versucht die Werte so aufzuzeichnen das eine Grafische Darstellung sinnvoll möglich ist, weil in vielen Fällen die Werte nur zur grafischen Darstellung genutzt werden. Vor allem dabei ist es aber ein potentiell größerer Unterschied ob ein Wert der sich mit 1h Abstand geändert hat sich zu einem Zeitpunkt schlagartig geändert hat oder über die gesamte Zeit langsam geändert hat. Die automatisch gewählten zusätzlichen Werte stellen hier eine bessere Darstellung sicher.
Die neue Version nutzt diese darstellungsoptimierte Aufzeichnung immer noch standardmäßig, kann allerdings pro Datenpunkt deaktiviert werden! Dann werden nur wirklich die Werte aufgezeichnet die laut den angegebenen Regeln definiert waren.
Neue Features
Zusätzlich zu den oben genannten Änderungen gibt es einige neue Features in der neuen Version:
- Mittels zwei neuer Einstellungen pro Datenpunkt ("Nicht loggen wenn kleiner als" und "Nicht loggen wenn größer als") können noch besser Fehlerwerte ausgeklammert werden. Die Einstellung "Nicht loggen wenn kleiner als" ersetzt das vor kurzem hinzugefügte "Keine Werte kleiner als 0 loggen", die Einstellung wird aber automatisch konvertiert.
- Eine Einstellung pro Datenpunkt ist dazugekommen, mit der man angeben kann auf wie viele Stellen nach dem Komma die Werte beim lesen (GetHistory) gerundet werden.
- Neue Aggregationsmethoden "percentile" und "quartile" wurden hinzugefügt, um das n-te Percentile bzw. das 0.x Quartile zu ermitteln. Ohne weitere Infos wird das 50er Percentile bzw. das 0.5er Quartile (Mean) zurückgegeben, was ein besserer Average ist.
- Neue Aggregationsmethode "integral" wurde hinzugefügt, um das Integral (Fläche unter den Werten) zu errechnen. Im Standard ist die Integral-Unit 1s und eine schrittweise Interpolation wird genutzt (also quasi keine, weil die werte für die ganze Zeit konstant berechnet werden). Alternativ kann eine lineare Interpolation genutzt werden. Mit einem Integral und zB Unit von 3600s kann man aus einem Stromverbrauch in Watt die Wh ermitteln,
- Standardmäßig ermitteln die Aggregationsmethoden immer auch zwei Randwerte und geben diese im Ergebnis zurück um die grafische Darstellung zu optimieren. Mittels der neuen Option "removeBorderValues" bei einem GetHistory Aufruf können die zurückgegebenen Werte so limitiert werden wie Sie per step bzw. count angefordert wurden und diese Randwerte entfernt werden. Dies ist vor allem Hilfreich wenn ein Skript die Daten verarbeiten soll. Mit dem (kommenden!) Admin 5.3.8 ist auch die Darstellung der Werte bei den Datenpunkt-Einstellungen wieder korrekt, wenn man Zeitbereiche von mehr als 24 gewählt hat und mehr als 500 Werte in dem Zeitraum geloggt wurden.
- Da das schreiben von Debug Logs vor allem bei schwächeren Systemen ziemlich auf die performance drückt und auch ein Debug Log immer sehr unübersichtlich wurde, weil alles oder nichts geloggt wurde, kann nun zusätzliches Debug pro Datenpunkt aktiviert werden! Dies wird aber nur dann ausgegeben wenn der Loglevel der Instanz auch auch Debug steht.
- Bei storeState kann nun mittels dem Parameter "rule=true" festlegen das die Daten nicht direkt geloggt werden sondern alle Rules angewendet werden wie für jeden normalen Wert - inkl. Debounce u.ä. Bitte vorsichtig nutzen das nicht unabsichtlich Werte nicht geschrieben werden!
- Die Aufbewahrungszeit kann nun neben vorgegebenen Optionen auch als eigene Dauer in Tagen angegeben werden
Die neuen Aggregationsmethoden sind (natürlich) noch nicht in flot oder echarts verfügbar und können daher nur in Skripten genutzt werden. Hierzu müssten, wenn alles geht dann noch Issues an den relevanten Stellen angelegt werden.
Die neuen Optionen für getHistory sind in https://github.com/ioBroker/ioBroker.history/blob/master/docs/en/README.md#access-values-from-javascript-adapter auch alle erklärt
Weitere Änderungen
Weiterhin gibt es folgende relevante Änderungen im Verhalten
- GetHistory-Anfragen müssen nun bei start/end Angaben in ms erfolgen! Zeitangaben in Sekunden werden nicht mehr umgerechnet! Bitte sicherstellen das alle UIs und Charting-Adapter aktuell sind!
- Die Objekt-ID wird nun immer wenn angefordert mit in den Ergebnissen von GetHistory zurückgegeben
- Spezielle Behandlung von früher aufgezeichneten Daten mit Timestamps in Sekunden bzw. Logiken die verhindert haben Werte vor 1.1.2010 zu verarbeiten wurden entfernt.
Neue Aufzeichnungslogik erklärt
Am Ende gilt jetzt folgende Reihenfolge der Checks:
- Ein Wert ist erst nach Debounce-zeit stabil. Unstabile werte werden nicht aufgezeichnet
- Wenn die Blockzeit seit dem zuletzt regulär aufgezeichneten Wert nicht erreicht ist, wird der Wert nicht aufgezeichnet
- Wenn "Null-Werte" ignoriert werden und der Wert 0 ist, dann wird der Wert nicht aufgezeichnet
- Wenn Grenzen der Werte definiert sind (Nicht loggen wenn kleiner/größer als) und der Wert ist ausserhalb der Grenzen, wird der Wert nicht aufgezeichnet
- Wenn "Nur Änderungen aufzeichnen" definiert ist:
- Wenn der Wert seit letzter Aufzeichnung unverändert war und "gleichen Wert aufzeichnen" deaktiviert ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
- Wenn der Wert seit letzter Aufzeichnung unverändert war und "gleichen Wert aufzeichnen" aktiviert ist und das angegebene "Nochmals Aufzeichnen Interval" noch nicht erreicht ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
- Wenn der Wert eine Zahl ist und eine "Minimale Differenz" definiert ist, diese aber nicht erreicht ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
Der zuletzt erinnerte Wert wird geschrieben sobald auch der nächste reguläre Wert geschrieben wird, allerdings mit seinem alten Zeitstempel - und nur wenn die Darstellungsoptimierung nicht deaktiviert wurde..
Vielen Spass beim testen und vielen Dank für Euer Feedback und Eure Erfahrungen,
Ingo
Veröffentlichungsdatum 14.04.2020 ?
Bitte benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
Immer Daten sichern! -
Veröffentlichungsdatum 14.04.2020 ?
-
So @apollon77 hier, wie gewünscht der Reminder bzgl. iobroker.sql 2.0
DAAANKEEEE !!!
-
Aktuelle Test Version 2.0.0 Veröffentlichungsdatum 14.04.2022 Github Link https://github.com/ioBroker/ioBroker.history Hallo lieber Tester,
ich habe mit in den letzten Tagen mal die Zeit genommen und so ein paar Themen bei den History-Adaptern anzuschauen und in dem Zuge habe ich jetzt ein seeeehr großes Update für History zum testen für Euch. Wenn das soweit passt wird das "gleiche" auch für sql und InfluxDB noch kommen.
Diese neue (Major!) Version des History Adapters räumt einige Dinge auf und sorgt bei einigen Themen für mehr transparent und Klarheit und bringt noch dazu einige Features mit. Der Adapter wird sich an einigen Stellen was die aufgezeichneten Daten angeht künftig anders verhalten als bisher!
Ebenso haben sich Einstellungen geändert - es sollten die Einstellungen der alten Version übernommen werden und sollten auch bei einem Downgrade noch vorhanden sein wie vorher eingestellt, dennoch ist diese Version ein Breaking change. Also stellt bitte sicher Backups der Datenfiles und des Systems zu haben!Da dies jetzt einiges an Änderungen ist starten wir erst einmal mit einem Alpha Test von GitHub. Bitte als im Admin den Expertenmodus aktivieren und vom GitHub installieren.
Bei Fehlern bitte ggf hier schreiben und dann GitHub Issues anlegen.
Auf die wichtigsten Änderungen will ich gern jetzt noch genauer eingehen.
Wichtige Änderungen erklärt
Konfiguration ausschliesslich in der neuen Admin UI verfügbar!
Die Konfiguration ist ausschliesslich in der neuen Admin5 UI verfügbar
Debounce vs "Aufzeichnung zeitlich blockieren"
In der Konfiguration kann man eine sog. "Debounce-Zeit" angeben. Debounce bedeutet an sich, dass ein neuer Wert erst dann als "stabil" gilt wenn er sich für die angegebene Zeit nicht geändert hat. So war es auch (von komischen Effekten mit "Nur Änderungen aufzeichnen mal abgesehen", dazu später mehr) implementiert. Leider hat die Readme davon gesprochen das der Wert sofort geloggt wird aber dann für die angegebene Zeit kein weiterer Wert. Hier herrschte also Verwirrung.
Mit dieser Version gibt es jetzt zwei Werte die man setzen kann:
- Debounce-Zeit: Der Wert wird wirklich erst aufgezeichnet, wenn er sich für die hier angegebene Zeit nicht geändert hat! Wird hier also ein Wert eingetragen der höher ist als die übliche Änderungsfrequenz des States, dann wird faktisch NIE etwas geloggt! Also Achtung hier!
- Block-Zeit: Dieser Wert entspricht dem was die Doku bisher zum "Debounce" gesagt hat und erlaubt es, erst frühestens nach Ablauf dieser Zeit neue Werte zu loggen. Wichtig hier ist das die obige "Debounce-Zeit" vorher geprüft wird, und auch das ein "Gleiche Werte nochmals loggen" diesen Check nicht macht.
Aus Kompatibilitätsgründen wird der frühere "debounce"-Wert als "Block-Wert" übernommen. Also bitte die Einstellungen prüfen falls dies keinen Sinn macht!
"Nur Änderungen aufzeichnen" vs "Debounce"
In dieser Kombination hatten sich einige Bugs und Effekte eingeschlichen, welche dafür gesorgt haben das teilweise Werte geloggt wurden die nicht den Regeln entsprachen. Dies ist jetzt aufgeräumt.
"Nur Änderungen aufzeichnen" und Aufzeichnung zusätzlicher Werte zur besseren Grafischen Darstellung
Ein weiterer großer Verwirrungspunkt war öfters, warum denn noch zusätzliche Werte aufgezeichnet werden, die an sich durch die Regeln (vor allem "Minimale Differenz") gar nicht hätten aufgezeichnet werden dürfen. Dies kam daher, dass der Adapter versucht die Werte so aufzuzeichnen das eine Grafische Darstellung sinnvoll möglich ist, weil in vielen Fällen die Werte nur zur grafischen Darstellung genutzt werden. Vor allem dabei ist es aber ein potentiell größerer Unterschied ob ein Wert der sich mit 1h Abstand geändert hat sich zu einem Zeitpunkt schlagartig geändert hat oder über die gesamte Zeit langsam geändert hat. Die automatisch gewählten zusätzlichen Werte stellen hier eine bessere Darstellung sicher.
Die neue Version nutzt diese darstellungsoptimierte Aufzeichnung immer noch standardmäßig, kann allerdings pro Datenpunkt deaktiviert werden! Dann werden nur wirklich die Werte aufgezeichnet die laut den angegebenen Regeln definiert waren.
Neue Features
Zusätzlich zu den oben genannten Änderungen gibt es einige neue Features in der neuen Version:
- Mittels zwei neuer Einstellungen pro Datenpunkt ("Nicht loggen wenn kleiner als" und "Nicht loggen wenn größer als") können noch besser Fehlerwerte ausgeklammert werden. Die Einstellung "Nicht loggen wenn kleiner als" ersetzt das vor kurzem hinzugefügte "Keine Werte kleiner als 0 loggen", die Einstellung wird aber automatisch konvertiert.
- Eine Einstellung pro Datenpunkt ist dazugekommen, mit der man angeben kann auf wie viele Stellen nach dem Komma die Werte beim lesen (GetHistory) gerundet werden.
- Neue Aggregationsmethoden "percentile" und "quartile" wurden hinzugefügt, um das n-te Percentile bzw. das 0.x Quartile zu ermitteln. Ohne weitere Infos wird das 50er Percentile bzw. das 0.5er Quartile (Mean) zurückgegeben, was ein besserer Average ist.
- Neue Aggregationsmethode "integral" wurde hinzugefügt, um das Integral (Fläche unter den Werten) zu errechnen. Im Standard ist die Integral-Unit 1s und eine schrittweise Interpolation wird genutzt (also quasi keine, weil die werte für die ganze Zeit konstant berechnet werden). Alternativ kann eine lineare Interpolation genutzt werden. Mit einem Integral und zB Unit von 3600s kann man aus einem Stromverbrauch in Watt die Wh ermitteln,
- Standardmäßig ermitteln die Aggregationsmethoden immer auch zwei Randwerte und geben diese im Ergebnis zurück um die grafische Darstellung zu optimieren. Mittels der neuen Option "removeBorderValues" bei einem GetHistory Aufruf können die zurückgegebenen Werte so limitiert werden wie Sie per step bzw. count angefordert wurden und diese Randwerte entfernt werden. Dies ist vor allem Hilfreich wenn ein Skript die Daten verarbeiten soll. Mit dem (kommenden!) Admin 5.3.8 ist auch die Darstellung der Werte bei den Datenpunkt-Einstellungen wieder korrekt, wenn man Zeitbereiche von mehr als 24 gewählt hat und mehr als 500 Werte in dem Zeitraum geloggt wurden.
- Da das schreiben von Debug Logs vor allem bei schwächeren Systemen ziemlich auf die performance drückt und auch ein Debug Log immer sehr unübersichtlich wurde, weil alles oder nichts geloggt wurde, kann nun zusätzliches Debug pro Datenpunkt aktiviert werden! Dies wird aber nur dann ausgegeben wenn der Loglevel der Instanz auch auch Debug steht.
- Bei storeState kann nun mittels dem Parameter "rule=true" festlegen das die Daten nicht direkt geloggt werden sondern alle Rules angewendet werden wie für jeden normalen Wert - inkl. Debounce u.ä. Bitte vorsichtig nutzen das nicht unabsichtlich Werte nicht geschrieben werden!
- Die Aufbewahrungszeit kann nun neben vorgegebenen Optionen auch als eigene Dauer in Tagen angegeben werden
Die neuen Aggregationsmethoden sind (natürlich) noch nicht in flot oder echarts verfügbar und können daher nur in Skripten genutzt werden. Hierzu müssten, wenn alles geht dann noch Issues an den relevanten Stellen angelegt werden.
Die neuen Optionen für getHistory sind in https://github.com/ioBroker/ioBroker.history/blob/master/docs/en/README.md#access-values-from-javascript-adapter auch alle erklärt
Weitere Änderungen
Weiterhin gibt es folgende relevante Änderungen im Verhalten
- GetHistory-Anfragen müssen nun bei start/end Angaben in ms erfolgen! Zeitangaben in Sekunden werden nicht mehr umgerechnet! Bitte sicherstellen das alle UIs und Charting-Adapter aktuell sind!
- Die Objekt-ID wird nun immer wenn angefordert mit in den Ergebnissen von GetHistory zurückgegeben
- Spezielle Behandlung von früher aufgezeichneten Daten mit Timestamps in Sekunden bzw. Logiken die verhindert haben Werte vor 1.1.2010 zu verarbeiten wurden entfernt.
Neue Aufzeichnungslogik erklärt
Am Ende gilt jetzt folgende Reihenfolge der Checks:
- Ein Wert ist erst nach Debounce-zeit stabil. Unstabile werte werden nicht aufgezeichnet
- Wenn die Blockzeit seit dem zuletzt regulär aufgezeichneten Wert nicht erreicht ist, wird der Wert nicht aufgezeichnet
- Wenn "Null-Werte" ignoriert werden und der Wert 0 ist, dann wird der Wert nicht aufgezeichnet
- Wenn Grenzen der Werte definiert sind (Nicht loggen wenn kleiner/größer als) und der Wert ist ausserhalb der Grenzen, wird der Wert nicht aufgezeichnet
- Wenn "Nur Änderungen aufzeichnen" definiert ist:
- Wenn der Wert seit letzter Aufzeichnung unverändert war und "gleichen Wert aufzeichnen" deaktiviert ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
- Wenn der Wert seit letzter Aufzeichnung unverändert war und "gleichen Wert aufzeichnen" aktiviert ist und das angegebene "Nochmals Aufzeichnen Interval" noch nicht erreicht ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
- Wenn der Wert eine Zahl ist und eine "Minimale Differenz" definiert ist, diese aber nicht erreicht ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
Der zuletzt erinnerte Wert wird geschrieben sobald auch der nächste reguläre Wert geschrieben wird, allerdings mit seinem alten Zeitstempel - und nur wenn die Darstellungsoptimierung nicht deaktiviert wurde..
Vielen Spass beim testen und vielen Dank für Euer Feedback und Eure Erfahrungen,
Ingo
Bitte benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
Immer Daten sichern! -
-
Nachdem ich jetzt auch genötigt wurde auf 2.0 zu gehen
habe ich auch die neue Edit Funktion testen wollen:
Muss man da noch einen Zauberspruch aufsagen, oder klappt das einfach nur nicht?
(Möglich dass es an meinen 45GB History-Daten liegt
??)--- /opt/iobroker/iobroker-data ---------------------------------------------------------------------------------------------------------------------------- /.. 44,9 GiB [##########] /historykein Support per PN! - Fragen im Forum stellen - es gibt fast nichts, was nicht auch für andere interessant ist.
Benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
der Installationsfixer: curl -fsL https://iobroker.net/fix.sh | bash -
-
Nachdem ich jetzt auch genötigt wurde auf 2.0 zu gehen
habe ich auch die neue Edit Funktion testen wollen:
Muss man da noch einen Zauberspruch aufsagen, oder klappt das einfach nur nicht?
(Möglich dass es an meinen 45GB History-Daten liegt
??)--- /opt/iobroker/iobroker-data ---------------------------------------------------------------------------------------------------------------------------- /.. 44,9 GiB [##########] /history@homoran sagte in Test Adapter History 2.0.0:
Muss man da noch einen Zauberspruch aufsagen, oder klappt das einfach nur nicht?
Was meinst du? Du musst da auch "löschen" klicken ... dann wird es gelöscht ... oder check die Checkbox dann fragt er ne weile nicht mehr nach
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@homoran sagte in Test Adapter History 2.0.0:
Muss man da noch einen Zauberspruch aufsagen, oder klappt das einfach nur nicht?
Was meinst du? Du musst da auch "löschen" klicken ... dann wird es gelöscht ... oder check die Checkbox dann fragt er ne weile nicht mehr nach
@apollon77 sagte in Test Adapter History 2.0.0:
Du musst da auch "löschen" klicken ... dann wird es gelöscht
eben nicht
kein Support per PN! - Fragen im Forum stellen - es gibt fast nichts, was nicht auch für andere interessant ist.
Benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
der Installationsfixer: curl -fsL https://iobroker.net/fix.sh | bash -
-
@apollon77 sagte in Test Adapter History 2.0.0:
Du musst da auch "löschen" klicken ... dann wird es gelöscht
eben nicht
@homoran debug log vom Adapter mal an und bitte log von so nem löschen zeigen. Dran hab ich nix geändert. Muss man schauen
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@homoran debug log vom Adapter mal an und bitte log von so nem löschen zeigen. Dran hab ich nix geändert. Muss man schauen
@apollon77 Hab ich (oder du) ein Problem.
Das debug müllt das log zu.
ich erkenne nicht was zum löschen gehörtWie lange dauert das Ganze?
fängt an mit:
2022-04-27 14:53:18.765 - debug: history.0 (4085778) Redis Objects: Use Redis connection: 0.0.0.0:9001 2022-04-27 14:53:18.794 - debug: history.0 (4085778) Objects client ready ... initialize now 2022-04-27 14:53:18.799 - debug: history.0 (4085778) Objects create System PubSub Client 2022-04-27 14:53:18.800 - debug: history.0 (4085778) Objects create User PubSub Client 2022-04-27 14:53:18.801 - debug: history.0 (4085778) Objects client initialize lua scripts 2022-04-27 14:53:18.816 - debug: history.0 (4085778) Objects connected to redis: 0.0.0.0:9001 2022-04-27 14:53:18.822 - debug: history.0 (4085778) objectDB connected 2022-04-27 14:53:18.823 - debug: history.0 (4085778) Redis States: Use Redis connection: 0.0.0.0:9000 2022-04-27 14:53:18.832 - debug: history.0 (4085778) States create System PubSub Client 2022-04-27 14:53:18.833 - debug: history.0 (4085778) States create User PubSub Client 2022-04-27 14:53:18.844 - debug: history.0 (4085778) States connected to redis: 0.0.0.0:9000 2022-04-27 14:53:18.845 - debug: history.0 (4085778) statesDB connected 2022-04-27 14:53:19.057 - debug: history.0 (4085778) Plugin sentry Initialize Plugin (enabled=true)Hab's nochmal versucht und finde:
2022-04-27 14:59:41.657 - debug: history.0 (4085778) sendTo "getHistory" to system.adapter.web.0 from system.adapter.history.0 2022-04-27 14:59:50.596 - debug: history.0 (4085778) deleteState 1 items 2022-04-27 14:59:50.597 - warn: history.0 (4085778) States system pmessage io.messagebox.system.adapter.history.0 {"command":"delete","message":[{"state":{"ts":1651063995440},"id":"Messwerte.0.Stromzaehler.Summenwerte.Tagesendverbrauch"}],"from":"system.adapter.admin.0","callback":{"message":[{"state":{"ts":1651063995440},"id":"Messwerte.0.Stromzaehler.Summenwerte.Tagesendverbrauch"}],"id":325,"ack":false,"time":1651064390595},"_id":70540713} file is not defined 2022-04-27 14:59:50.604 - warn: history.0 (4085778) ReferenceError: file is not defined at /opt/iobroker/node_modules/iobroker.history/main.js:1552:59 at Array.forEach () at _delete (/opt/iobroker/node_modules/iobroker.history/main.js:1505:15) at deleteState (/opt/iobroker/node_modules/iobroker.history/main.js:1628:17) at processMessage (/opt/iobroker/node_modules/iobroker.history/main.js:326:9) at Object.message (/opt/iobroker/node_modules/iobroker.history/main.js:233:25) at change (/opt/iobroker/node_modules/iobroker.js-controller/lib/adapter.js:5634:41) at Immediate._onImmediate (/opt/iobroker/node_modules/@iobroker/db-states-redis/lib/states/statesInRedisClient.js:232:37) at processImmediate (internal/timers.js:464:21)kein Support per PN! - Fragen im Forum stellen - es gibt fast nichts, was nicht auch für andere interessant ist.
Benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
der Installationsfixer: curl -fsL https://iobroker.net/fix.sh | bash -
-
@apollon77 Hab ich (oder du) ein Problem.
Das debug müllt das log zu.
ich erkenne nicht was zum löschen gehörtWie lange dauert das Ganze?
fängt an mit:
2022-04-27 14:53:18.765 - debug: history.0 (4085778) Redis Objects: Use Redis connection: 0.0.0.0:9001 2022-04-27 14:53:18.794 - debug: history.0 (4085778) Objects client ready ... initialize now 2022-04-27 14:53:18.799 - debug: history.0 (4085778) Objects create System PubSub Client 2022-04-27 14:53:18.800 - debug: history.0 (4085778) Objects create User PubSub Client 2022-04-27 14:53:18.801 - debug: history.0 (4085778) Objects client initialize lua scripts 2022-04-27 14:53:18.816 - debug: history.0 (4085778) Objects connected to redis: 0.0.0.0:9001 2022-04-27 14:53:18.822 - debug: history.0 (4085778) objectDB connected 2022-04-27 14:53:18.823 - debug: history.0 (4085778) Redis States: Use Redis connection: 0.0.0.0:9000 2022-04-27 14:53:18.832 - debug: history.0 (4085778) States create System PubSub Client 2022-04-27 14:53:18.833 - debug: history.0 (4085778) States create User PubSub Client 2022-04-27 14:53:18.844 - debug: history.0 (4085778) States connected to redis: 0.0.0.0:9000 2022-04-27 14:53:18.845 - debug: history.0 (4085778) statesDB connected 2022-04-27 14:53:19.057 - debug: history.0 (4085778) Plugin sentry Initialize Plugin (enabled=true)Hab's nochmal versucht und finde:
2022-04-27 14:59:41.657 - debug: history.0 (4085778) sendTo "getHistory" to system.adapter.web.0 from system.adapter.history.0 2022-04-27 14:59:50.596 - debug: history.0 (4085778) deleteState 1 items 2022-04-27 14:59:50.597 - warn: history.0 (4085778) States system pmessage io.messagebox.system.adapter.history.0 {"command":"delete","message":[{"state":{"ts":1651063995440},"id":"Messwerte.0.Stromzaehler.Summenwerte.Tagesendverbrauch"}],"from":"system.adapter.admin.0","callback":{"message":[{"state":{"ts":1651063995440},"id":"Messwerte.0.Stromzaehler.Summenwerte.Tagesendverbrauch"}],"id":325,"ack":false,"time":1651064390595},"_id":70540713} file is not defined 2022-04-27 14:59:50.604 - warn: history.0 (4085778) ReferenceError: file is not defined at /opt/iobroker/node_modules/iobroker.history/main.js:1552:59 at Array.forEach () at _delete (/opt/iobroker/node_modules/iobroker.history/main.js:1505:15) at deleteState (/opt/iobroker/node_modules/iobroker.history/main.js:1628:17) at processMessage (/opt/iobroker/node_modules/iobroker.history/main.js:326:9) at Object.message (/opt/iobroker/node_modules/iobroker.history/main.js:233:25) at change (/opt/iobroker/node_modules/iobroker.js-controller/lib/adapter.js:5634:41) at Immediate._onImmediate (/opt/iobroker/node_modules/@iobroker/db-states-redis/lib/states/statesInRedisClient.js:232:37) at processImmediate (internal/timers.js:464:21)@homoran COngrats, you forund a bug :-)) Fixed ion GitHub
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
Support us
318
Online32.4k
Users81.3k
Topics1.3m
Posts