Test Adapter influxdb 3.0.0
-
Aktuelle Test Version 3.0.0 Veröffentlichungsdatum 06.05.2022 Github Link https://github.com/ioBroker/ioBroker.influxdb Hallo lieber Tester,
nach dem großen Update von History und SQL kommt nun ein ebenfalls seeeehr großes Update für influxdb zum testen für Euch. Diese Version bringt influxdb auf den gleichen Stand wie History und SQL 2.0.0, welcher ebenfalls aktuell als Alpha verfügbar ist.
Diese neue (Major!) Version des influxdb Adapters räumt einige Dinge auf und sorgt bei einigen Themen für mehr Transparenz und Klarheit und bringt noch dazu einige Features mit. Der Adapter wird sich an einigen Stellen was die aufgezeichneten Daten angeht künftig anders verhalten als bisher!
Ebenso haben sich Einstellungen geändert - es sollten die Einstellungen der alten Version übernommen werden und sollten auch bei einem Downgrade noch vorhanden sein wie vorher eingestellt, dennoch ist diese Version ein Breaking change. Also stellt bitte sicher Backups der Datenfiles und des Systems zu haben! An den Daten in der Datenbank bzw deren Strukturen ändert sich nichts!Da dies jetzt einiges an Änderungen ist starten wir erst einmal mit einem Alpha Test von GitHub. Bitte als im Admin den Expertenmodus aktivieren und vom GitHub installieren.
Bei Fehlern bitte ggf hier schreiben und dann GitHub Issues anlegen.
Auf die wichtigsten Änderungen will ich gern jetzt noch genauer eingehen.
Wichtige Änderungen erklärt
Konfiguration ausschliesslich in der neuen Admin UI verfügbar!
Die Konfiguration ist ausschliesslich in der neuen Admin5 UI verfügbar
Debounce vs "Aufzeichnung zeitlich blockieren"
In der Konfiguration kann man eine sog. "Debounce-Zeit" angeben. Debounce bedeutet an sich, dass ein neuer Wert erst dann als "stabil" gilt wenn er sich für die angegebene Zeit nicht geändert hat. So war es auch (von komischen Effekten mit "Nur Änderungen aufzeichnen mal abgesehen", dazu später mehr) implementiert. Leider hat die Readme davon gesprochen das der Wert sofort geloggt wird aber dann für die angegebene Zeit kein weiterer Wert. Hier herrschte also Verwirrung.
Mit dieser Version gibt es jetzt zwei Werte die man setzen kann:
- Debounce-Zeit: Der Wert wird wirklich erst aufgezeichnet, wenn er sich für die hier angegebene Zeit nicht geändert hat! Wird hier also ein Wert eingetragen der höher ist als die übliche Änderungsfrequenz des States, dann wird faktisch NIE etwas geloggt! Also Achtung hier!
- Block-Zeit: Dieser Wert entspricht dem was die Doku bisher zum "Debounce" gesagt hat und erlaubt es, erst frühestens nach Ablauf dieser Zeit neue Werte zu loggen. Wichtig hier ist das die obige "Debounce-Zeit" vorher geprüft wird, und auch das ein "Gleiche Werte nochmals loggen" diesen Check nicht macht.
Aus Kompatibilitätsgründen wird der frühere "debounce"-Wert als "Block-Wert" übernommen. Also bitte die Einstellungen prüfen falls dies keinen Sinn macht!
"Nur Änderungen aufzeichnen" vs "Debounce"
In dieser Kombination hatten sich einige Bugs und Effekte eingeschlichen, welche dafür gesorgt haben das teilweise Werte geloggt wurden die nicht den Regeln entsprachen. Dies ist jetzt aufgeräumt.
"Nur Änderungen aufzeichnen" und Aufzeichnung zusätzlicher Werte zur besseren Grafischen Darstellung
Ein weiterer großer Verwirrungspunkt war öfters, warum denn noch zusätzliche Werte aufgezeichnet werden, die an sich durch die Regeln (vor allem "Minimale Differenz") gar nicht hätten aufgezeichnet werden dürfen. Dies kam daher, dass der Adapter versucht die Werte so aufzuzeichnen das eine Grafische Darstellung sinnvoll möglich ist, weil in vielen Fällen die Werte nur zur grafischen Darstellung genutzt werden. Vor allem dabei ist es aber ein potentiell größerer Unterschied ob ein Wert der sich mit 1h Abstand geändert hat sich zu einem Zeitpunkt schlagartig geändert hat oder über die gesamte Zeit langsam geändert hat. Die automatisch gewählten zusätzlichen Werte stellen hier eine bessere Darstellung sicher.
Die neue Version nutzt diese darstellungsoptimierte Aufzeichnung immer noch standardmäßig, kann allerdings pro Datenpunkt deaktiviert werden! Dann werden nur wirklich die Werte aufgezeichnet die laut den angegebenen Regeln definiert waren.
Neue Features
Zusätzlich zu den oben genannten Änderungen gibt es einige neue Features in der neuen Version:
- Mittels zwei neuer Einstellungen pro Datenpunkt ("Nicht loggen wenn kleiner als" und "Nicht loggen wenn größer als") können noch besser Fehlerwerte ausgeklammert werden. Die Einstellung "Nicht loggen wenn kleiner als" ersetzt das vor kurzem hinzugefügte "Keine Werte kleiner als 0 loggen", die Einstellung wird aber automatisch konvertiert.
- Eine Einstellung pro Datenpunkt ist dazugekommen, mit der man angeben kann auf wie viele Stellen nach dem Komma die Werte beim lesen (GetHistory) gerundet werden.
- Neue Aggregationsmethoden "percentile" und "quartile" wurden hinzugefügt, um das n-te Percentile bzw. das 0.x Quartile zu ermitteln. Ohne weitere Infos wird das 50er Percentile bzw. das 0.5er Quartile (Mean) zurückgegeben, was ein besserer Average ist. Wenn möglich berechnet die DB die Ergebnisse.
- Neue Aggregationsmethode "integral" wurde hinzugefügt, um das Integral (Fläche unter den Werten) zu errechnen. Im Standard ist die Integral-Unit 1s und eine schrittweise Interpolation wird genutzt (also quasi keine, weil die werte für die ganze Zeit konstant berechnet werden). Alternativ kann eine lineare Interpolation genutzt werden. Mit einem Integral und zB Unit von 3600s kann man aus einem Stromverbrauch in Watt die Wh ermitteln. Wenn möglich berechnet die DB die Ergebnisse.
- Standardmäßig ermitteln die Aggregationsmethoden immer auch zwei Randwerte und geben diese im Ergebnis zurück um die grafische Darstellung zu optimieren. Mittels der neuen Option "removeBorderValues" bei einem GetHistory Aufruf können die zurückgegebenen Werte so limitiert werden wie Sie per step bzw. count angefordert wurden und diese Randwerte entfernt werden. Dies ist vor allem Hilfreich wenn ein Skript die Daten verarbeiten soll. Mit dem (kommenden!) Admin 5.3.8 ist auch die Darstellung der Werte bei den Datenpunkt-Einstellungen wieder korrekt, wenn man Zeitbereiche von mehr als 24 gewählt hat und mehr als 500 Werte in dem Zeitraum geloggt wurden.
- Da das schreiben von Debug Logs vor allem bei schwächeren Systemen ziemlich auf die performance drückt und auch ein Debug Log immer sehr unübersichtlich wurde, weil alles oder nichts geloggt wurde, kann nun zusätzliches Debug pro Datenpunkt aktiviert werden! Dies wird aber nur dann ausgegeben wenn der Loglevel der Instanz auch auch Debug steht.
- Die Aufbewahrungszeit kann nun neben den vorgeschlagenen zeiträumen auch selbst in tagen definiert werden (Custom)
- Wenn Buffering genutzt wird, so werden bei einer History-Anfrage alle noch nicht gespeicherten Daten vor der Datenabfrage in die Datenbank geschrieben.
- Eine neue Message erlaubt es den gesamten Buffer in die die DB zu schreiben - oder nur einen einzelnen Datenpunkt.
- Für InfluxDB 2.x kann nun in den Einstellungen ein Pfad für die Verbindung angegeben werden, falls z.B. ein Reverse Proxy genutzt wird.
- Standardmäßig loggt der Adapter zum Start den letzten Wert eines States mit aktuellem Wert nochmals mit aktuellem Zeitstempel. Dies kann nun konfiguriert werden.
Die neuen Aggregationsmethoden sind (natürlich) noch nicht in flot oder echarts verfügbar und können daher nur in Skripten genutzt werden. Hierzu müssten, wenn alles geht dann noch Issues an den relevanten Stellen angelegt werden.
Die neuen Optionen für getHistory sind in https://github.com/ioBroker/ioBroker.history/blob/master/docs/en/README.md#access-values-from-javascript-adapter auch alle erklärt
Weitere Änderungen
Weiterhin gibt es folgende relevante Änderungen im Verhalten
- GetHistory-Anfragen müssen nun bei start/end Angaben in ms erfolgen! Zeitangaben in Sekunden werden nicht mehr umgerechnet! Bitte sicherstellen das alle UIs und Charting-Adapter aktuell sind!
- Die Objekt-ID wird nun immer wenn angefordert mit in den Ergebnissen von GetHistory zurückgegeben
- Spezielle Behandlung von früher aufgezeichneten Daten mit Timestamps in Sekunden bzw. Logiken die verhindert haben Werte vor 1.1.2010 zu verarbeiten wurden entfernt.
Neue Aufzeichnungslogik erklärt
Am Ende gilt jetzt folgende Reihenfolge der Checks:
- Ein Wert ist erst nach Debounce-zeit stabil. Unstabile werte werden nicht aufgezeichnet
- Wenn die Blockzeit seit dem zuletzt regulär aufgezeichneten Wert nicht erreicht ist, wird der Wert nicht aufgezeichnet
- Wenn "Null-Werte" ignoriert werden und der Wert 0 ist, dann wird der Wert nicht aufgezeichnet
- Wenn Grenzen der Werte definiert sind (Nicht loggen wenn kleiner/größer als) und der Wert ist ausserhalb der Grenzen, wird der Wert nicht aufgezeichnet
- Wenn "Nur Änderungen aufzeichnen" definiert ist:
- Wenn der Wert seit letzter Aufzeichnung unverändert war und "gleichen Wert aufzeichnen" deaktiviert ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
- Wenn der Wert seit letzter Aufzeichnung unverändert war und "gleichen Wert aufzeichnen" aktiviert ist und das angegebene "Nochmals Aufzeichnen Interval" noch nicht erreicht ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
- Wenn der Wert eine Zahl ist und eine "Minimale Differenz" definiert ist, diese aber nicht erreicht ist, wird der Wert nicht aufgezeichnet. Der Wert wird ggf. erinnert für spätere Aufzeichnung zur Darstellungsoptimierung.
Der zuletzt erinnerte Wert wird geschrieben sobald auch der nächste reguläre Wert geschrieben wird, allerdings mit seinem alten Zeitstempel - und nur wenn die Darstellungsoptimierung nicht deaktiviert wurde..
Vielen Spass beim testen und vielen Dank für Euer Feedback und Eure Erfahrungen,
Ingo
-
@apollon77
Danke für deine unermüdliche Weiterentwicklung aller möglichen Adapter.Gibt es eigentlich auch eine Möglichkeit einen Datenpunkt zum Zeitpunkt X zu schreiben?
Also beispielsweise um 0:00 Uhr oder um 0:00 ,6:00, 12:00 usw. -
@chaot Danke und : Ja mit einem JavaScript script mit einem Schedule und einem eigenen State
-
@apollon77 Ok, dann also wie gehabt.
Kein Problem. -
@chaot Ja, der Usecase ist in meinen Augen zu speziell
-
Eine Kleinigkeit jabe ich gerade noch nachgereicht auf GitHub:
- Standardmäßig loggt der Adapter zum Start den letzten Wert eines States mit aktuellem Wert nochmals mit aktuellem Zeitstempel. Dies kann nun konfiguriert werden.
-
Dann steige ich hier auch mal mit dem Testing mit ein
Update und erstes logging verläuft bisher problemlos -
Hi.
der Jarvis Adapter Version 3.1.0-alpha3 gibt nach dem Update keine Werte mehr im HistoryGraph Widget aus.
Scheint als ob hier der Absatz zum Tragen kommt."GetHistory-Anfragen müssen nun bei start/end Angaben in ms erfolgen! Zeitangaben in Sekunden werden nicht mehr umgerechnet! Bitte sicherstellen das alle UIs und Charting-Adapter aktuell sind!"
Ich mache ein Issue bei Jarvis auf.
-
@apollon77 sagte in Test Adapter influxdb 3.0.0:
Eine Kleinigkeit jabe ich gerade noch nachgereicht auf GitHub:
- Standardmäßig loggt der Adapter zum Start den letzten Wert eines States mit aktuellem Wert nochmals mit aktuellem Zeitstempel. Dies kann nun konfiguriert werden.
Wo wird das konfiguriert?
Irgendwie verstehe ich den Punkt nicht. Ist das unter "Optimierte Protokollierung.....überspringen"?Edit: Ich bin Blind. Gefunden. War im falschen Reiter
-
@msauer Am besten mal hier Debug log aktivieren im influxdb adapter und bei so einem Datenpunkt der abgefragt wird ... dann posten, dann sehen wir genau was ggf "falsch" ist
-
@chaot Antwort für alle: Nein "Optimierte Protokollierung" ist es nicht
Zu finden ist die hier referenzierte Einstellung auf dem "Nicht Default Tab" -
@apollon77 sagte in Test Adapter influxdb 3.0.0:
Am besten mal hier Debug log aktivieren im influxdb adapter und bei so einem Datenpunkt der abgefragt wird ... dann posten, dann sehen wir genau was ggf "falsch" ist
Hier der Log. influxlog.txt
-
@msauer Sei mal noicht so sparsam ... die interessante Zeile kommt ein biissslll früher ... GetHistory call oder sowas.
-
@apollon77 sagte in Test Adapter influxdb 3.0.0:
Sei mal noicht so sparsam ... die interessante Zeile kommt ein biissslll früher ... GetHistory call oder sowas.
hoffe das reicht...
-
Hm ...
Zuerst einmal hast Du nen Bug gefunden
GitHub ist aktualisiert ... Bitte aktualisieren, manuell Adapter neu starten und checken.
Hintergrund war das der Adapter den Parameter "step" mitsendet (der normalerweise die Gruppierungszeit definiert), aber die Daten gar nicht aufbereitet werden sollten Ist jetzt gefixt.Generell: also Start und Ende Timestamps sind korrekt. Mal abgesehen davon das Limit und Count mit 9999999 ein bissl aaaarg hoch ist ... das wären 10 Millionen Datensätze als Ergebnis ... Wenn die wirklich da wären würde der RAM zuerst vom Adapter und danach vom Browser explodieren bzw keiner würde so lange warten oder Response nie beim browser wegen Timeout ankommt...
Also das wäre das erste was in einem Jarvis Ticket angemerkt werden sollte hab ich mal getanEbenso der obige "step" Parameter mit 3600s (aka 3,6s) ist auch irgendwie vom Wert her komisch.
Die Anfrage gibt 7 Tage Daten zurück. Ist ok. Ich denke hier sollte der Adapter in Zukunft returnNewestEntries=true senden wenn er die aktuellsten haben will ... wobei naja mit 10 Mio wird er halt alle Datensätze bekommen
-
@apollon77 sagte in Test Adapter influxdb 3.0.0:
Zuerst einmal hast Du nen Bug gefunden GitHub ist aktualisiert ... Bitte aktualisieren, manuell Adapter neu starten und checken.
Hintergrund war das der Adapter den Parameter "step" mitsendet (der normalerweise die Gruppierungszeit definiert), aber die Daten gar nicht aufbereitet werden sollten Ist jetzt gefixt.ok..ich kann bestätigen, das jetzt die Charts mit Daten angezeigt werden..Danke
-
Auch hier ist der Test vorbei und jetzt geht es ins Beta/Latest .... Danke für Eure Unterstützung!
--> https://forum.iobroker.net/topic/54834/influxdb-3-0-0-zusammenfassung
