NEWS
Test Adapter influxdb 2.0
-
@excodibur Besten Dank dafür, es funktioniert.
Nur den alten Bucket konnte ich nicht nutzen. Wie wird den ausgemacht ob bereits TAGS genutzt wurden. Initial wurden den Daten mit TAGS geschrieben und dann einige wenige Tage mit Feldern, kann jetzt aber nicht mit TAGS weiter schreiben.
@sunny1081 soweit ich weiß so:
Mit fieldKeys und tagKeys kann man das Schema untersuchen. Wenn der Adapter da sieht, das für q, from, ack tags oder fields benutzt wurden, gibt der ggf einen error aus
Reicht das? Sonst muss @Excodibur mehr sagen welche Magie er da gebaut hat.
-
@sunny1081 soweit ich weiß so:
Mit fieldKeys und tagKeys kann man das Schema untersuchen. Wenn der Adapter da sieht, das für q, from, ack tags oder fields benutzt wurden, gibt der ggf einen error aus
Reicht das? Sonst muss @Excodibur mehr sagen welche Magie er da gebaut hat.
-
-
@ilovegym dann ließ mal Changelog. Das tat noch nie auf Datenpunkt Ebene und daher haben wir es mit der 2.0 dort rausgeworfen. Geht nur auf dB Ebene - da tut es aber jetzt was auch vorher nie tat ;-)
@apollon77 ach das war das.. :-D gelesen, vergessen, gewundert... :D
-
Ich sage jetzt mal frech: Versucht es doch mal ... und schreibt es for uns und die anderen auf. Ich denke "adapter stoppen, updaten, Konfig ändern (ip, port, settings) und starten sollte es sein ;-)
@apollon77 said in Test Adapter influxdb 2.0:
Ich sage jetzt mal frech: Versucht es doch mal ... und schreibt es for uns und die anderen auf. Ich denke "adapter stoppen, updaten, Konfig ändern (ip, port, settings) und starten sollte es sein ;-)
Sorry für die späte Rückmeldung. Ich hab die Migration etwas hinausgezögert und wollte das in aller Ruhe machen. Das Mistwetter bietet sich nun dafür an.
Lange Rede: Ich hab heute erfolgreich von v1 auf v2 manuell migriert. Bei mir läuft influxdb als Docker Container auf einer Synology. Hier meine Schritte:
-
Docker Container v2 erstellen, aber noch nicht starten - Umgebungsvariablen passend für setup setzen, z.B.:
DOCKER_INFLUXDB_INIT_MODE: setup
DOCKER_INFLUXDB_INIT_BUCKET: iobroker
DOCKER_INFLUXDB_INIT_ORG: iobroker
DOCKER_INFLUXDB_INIT_USERNAME: iobroker
DOCKER_INFLUXDB_INIT_PASSWORD: iobroker -
optional: Aktuelle v1 DB mit BackItUp sichern (optional, da wir sowieso einen neuen Docker Container für v2 anlegen und damit v1 als Backup vorhanden bleibt)
-
influxDB Instanz stoppen
-
Im Terminal von Docker Container v1 Datenbank exportieren:
service influxdb stop
influx_inspect export -waldir /var/lib/influxdb/wal -datadir /var/lib/influxdb/data -database "iobroker" -retention "autogen" -out /var/lib/influxdb/export.db -lponly -
Docker Container v1 stoppen
-
Docker Container v2 starten und setup abwarten
-
export.db in den gemounteten Data-Ordner Docker Container v2 verschieben
-
Im Terminmal von Docker Containver v2 export db importieren:
influx write --bucket iobroker --file /var/lib/influxdb2/export.db -
influxDB Instanz auf 2.x ändern, token eingeben und starten
Die export.db war bei mir fast 10 GByte groß, entsprechend hat der Import gute 1,5 Stunden gedauert, der Export ging mit ca. 10 min deutlich schneller.
Meine Motivation für die Migration war übrigens, dass flux nach Kalendermonaten und Jahren Daten aggregieren kann. Allerdings gibt es bereits einen ersten Wermutstropfen: flux kann aktuell keine Zeitzonen bei der Datenaggregierung. Damit sind die aggregierten Werte leicht falsch, was v.a. bei den Tageswerten deutlich spürbar ist, bei den Monatswerten weniger ins Gewicht fällt. Workaround wäre, für die Tageswerte mit influxql weiterzuarbeiten, allerdings bekomme ich grad die v1 Authentifizierung nicht hin, oder mit fixen timeshifts zu arbeiten, was aufgrund der Zeitumstellung blöd ist.
Insgesamt bin ich aber froh, dass es dann doch so reibungslos funktioniert hat. Leider hat Grafana noch kein QueryBuilder für flux, aber gut.
Danke für den tollen Support hier.
-
-
@apollon77 said in Test Adapter influxdb 2.0:
Ich sage jetzt mal frech: Versucht es doch mal ... und schreibt es for uns und die anderen auf. Ich denke "adapter stoppen, updaten, Konfig ändern (ip, port, settings) und starten sollte es sein ;-)
Sorry für die späte Rückmeldung. Ich hab die Migration etwas hinausgezögert und wollte das in aller Ruhe machen. Das Mistwetter bietet sich nun dafür an.
Lange Rede: Ich hab heute erfolgreich von v1 auf v2 manuell migriert. Bei mir läuft influxdb als Docker Container auf einer Synology. Hier meine Schritte:
-
Docker Container v2 erstellen, aber noch nicht starten - Umgebungsvariablen passend für setup setzen, z.B.:
DOCKER_INFLUXDB_INIT_MODE: setup
DOCKER_INFLUXDB_INIT_BUCKET: iobroker
DOCKER_INFLUXDB_INIT_ORG: iobroker
DOCKER_INFLUXDB_INIT_USERNAME: iobroker
DOCKER_INFLUXDB_INIT_PASSWORD: iobroker -
optional: Aktuelle v1 DB mit BackItUp sichern (optional, da wir sowieso einen neuen Docker Container für v2 anlegen und damit v1 als Backup vorhanden bleibt)
-
influxDB Instanz stoppen
-
Im Terminal von Docker Container v1 Datenbank exportieren:
service influxdb stop
influx_inspect export -waldir /var/lib/influxdb/wal -datadir /var/lib/influxdb/data -database "iobroker" -retention "autogen" -out /var/lib/influxdb/export.db -lponly -
Docker Container v1 stoppen
-
Docker Container v2 starten und setup abwarten
-
export.db in den gemounteten Data-Ordner Docker Container v2 verschieben
-
Im Terminmal von Docker Containver v2 export db importieren:
influx write --bucket iobroker --file /var/lib/influxdb2/export.db -
influxDB Instanz auf 2.x ändern, token eingeben und starten
Die export.db war bei mir fast 10 GByte groß, entsprechend hat der Import gute 1,5 Stunden gedauert, der Export ging mit ca. 10 min deutlich schneller.
Meine Motivation für die Migration war übrigens, dass flux nach Kalendermonaten und Jahren Daten aggregieren kann. Allerdings gibt es bereits einen ersten Wermutstropfen: flux kann aktuell keine Zeitzonen bei der Datenaggregierung. Damit sind die aggregierten Werte leicht falsch, was v.a. bei den Tageswerten deutlich spürbar ist, bei den Monatswerten weniger ins Gewicht fällt. Workaround wäre, für die Tageswerte mit influxql weiterzuarbeiten, allerdings bekomme ich grad die v1 Authentifizierung nicht hin, oder mit fixen timeshifts zu arbeiten, was aufgrund der Zeitumstellung blöd ist.
Insgesamt bin ich aber froh, dass es dann doch so reibungslos funktioniert hat. Leider hat Grafana noch kein QueryBuilder für flux, aber gut.
Danke für den tollen Support hier.
@sputnik24 Vor der Umstellung graut mir noch ein bissl meine v1-db hat gerade auf der platte 54GB ... keine ahnung was das als export file wird. Was hatte deine denn auf der platte wo 10GB export drauf wurden? :)
-
-
@sputnik24 Vor der Umstellung graut mir noch ein bissl meine v1-db hat gerade auf der platte 54GB ... keine ahnung was das als export file wird. Was hatte deine denn auf der platte wo 10GB export drauf wurden? :)
-
@apollon77 Autsch. Bei mir hatte /var/lib/influxdb 658 MByte
@sputnik24 Krass ... Faktor fast 20? wtf
Mein ioBroker hat 34GB ... mit faktor 20 also ca. 600GB
Na dann überlege ich mal wie ich das storage technisch mache :-)) Oder ich muss zeitraummässig migrierenWieviel ists eigentlich nach der Migration auf Platte? Auch grob die 658MB?
aahh man kann das File auch compressen ... kannst du mal ein "gzip 10GBfile" machen und sagen was rauskommt?
-
@sputnik24 Vor der Umstellung graut mir noch ein bissl meine v1-db hat gerade auf der platte 54GB ... keine ahnung was das als export file wird. Was hatte deine denn auf der platte wo 10GB export drauf wurden? :)
-
Hallo Zusammen,
habe vor ca. 2-3 Wochen meine alte Influx DB 1.8.3 aufgegeben, Influx 2.x neu aufgesetzt (Proxmox Container) und den Adapter installiert.
Ich habe seitdem allerdings Probleme mit dem Adapter oder der Datenbank selber. Die Daten werden zwar geschrieben und sind in der Datenbank vorhanden, aber der Adapter verliert regelmäßig den Kontakt.Ich hatte zuerst gehofft das Problem behebt sich von alleine durch die fleißigen Fehlerkorrekturen. Aber bisher leider nicht.
P.s. ich habe ergänzend das Problem, dass ich auch aus der Oberfläche von influxdb (siehe Bild) automatisch und schnell rausgeschmissen werde. ggf. liegt das Problem also auch bei Influx und nicht dem Adapter. Bin mir aber nicht sicher wie ich das überprüfen könnte.
Hat einer ähnliche Probleme oder eine Lösung?
2021-09-02 06:13:56.095 - error: influxdb.0 (339) Error during ping: Error: connect ECONNREFUSED 192.168.2.209:8086. Attempting reconnect. 2021-09-02 06:14:06.095 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:06.095 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:06.097 - error: influxdb.0 (339) Error: connect ECONNREFUSED 192.168.2.209:8086 2021-09-02 06:14:16.097 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:16.098 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:16.099 - error: influxdb.0 (339) Error: connect ECONNREFUSED 192.168.2.209:8086 2021-09-02 06:14:26.099 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:26.099 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:26.107 - info: influxdb.0 (339) Applying retention policy for iobroker to 63072000 seconds. Shard Group Duration (calculated): 604800 seconds 2021-09-02 06:14:26.169 - info: influxdb.0 (339) Connected! -
Hallo Zusammen,
habe vor ca. 2-3 Wochen meine alte Influx DB 1.8.3 aufgegeben, Influx 2.x neu aufgesetzt (Proxmox Container) und den Adapter installiert.
Ich habe seitdem allerdings Probleme mit dem Adapter oder der Datenbank selber. Die Daten werden zwar geschrieben und sind in der Datenbank vorhanden, aber der Adapter verliert regelmäßig den Kontakt.Ich hatte zuerst gehofft das Problem behebt sich von alleine durch die fleißigen Fehlerkorrekturen. Aber bisher leider nicht.
P.s. ich habe ergänzend das Problem, dass ich auch aus der Oberfläche von influxdb (siehe Bild) automatisch und schnell rausgeschmissen werde. ggf. liegt das Problem also auch bei Influx und nicht dem Adapter. Bin mir aber nicht sicher wie ich das überprüfen könnte.
Hat einer ähnliche Probleme oder eine Lösung?
2021-09-02 06:13:56.095 - error: influxdb.0 (339) Error during ping: Error: connect ECONNREFUSED 192.168.2.209:8086. Attempting reconnect. 2021-09-02 06:14:06.095 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:06.095 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:06.097 - error: influxdb.0 (339) Error: connect ECONNREFUSED 192.168.2.209:8086 2021-09-02 06:14:16.097 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:16.098 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:16.099 - error: influxdb.0 (339) Error: connect ECONNREFUSED 192.168.2.209:8086 2021-09-02 06:14:26.099 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:26.099 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:26.107 - info: influxdb.0 (339) Applying retention policy for iobroker to 63072000 seconds. Shard Group Duration (calculated): 604800 seconds 2021-09-02 06:14:26.169 - info: influxdb.0 (339) Connected! -
Wir haben hier nichts geändert. Influx kann pro Datenpunkt nur ein Feld (field) speichern - by design, d.h. entweder value, ack, from, oder q. Da wir hier vier Felder nutzen, gibt es auch vier getrennte Tabellen in derInfluxDB.
Siehe auch folgender Auszug aus der Doku: https://docs.influxdata.com/influxdb/v1.8/concepts/glossary/#point
Each point: - has a measurement, a tag set, a field key, a field value, and a timestamp; - is uniquely identified by its series and timestamp.Dies hat sich auch nicht zwischen Influx 1.x und 2.x geändert, nur hast du es in Influx 1.x nicht gesehen, da die Darstellung mit SQL-Queries vereinfacht wurde und man Influx dann schnell mal eher wie eine relationale Datenbank verwenden konnte, d.h. mehrere Werte pro Measurement gespeichert hat. Intern wurde es aber immer anders abgebildet, halt wie in einer Time-Series DB verteilt auf mehrere Datenpunkte.
Du kannst auch in deiner alten Influx 1.x DB schon Flux-Queries absetzen, die dir deine "echten" Datenunkte dann ebenfalls auf mehreren Tabellen ausgeben, z.B. mit
influx -type=flux -path-prefix /api/v2/query -execute 'from(bucket: "iobroker/global") |> range(start: 2020-08-06T15:00:00.000Z, stop: 2022-08-07T15:39:34.350Z)'Bei Influx2 gehört InfluxQL nun nicht mehr zum Standard, wobei du wahrscheinlich die gewohnten SQL-Statements noch immer über Compatibility Endpoints absetzen kannst. Ich gehe aber davon aus, dass das irgendwann verschwinden wird.
Bei Flux-Queries ist die pivot Funktion hier zum Zusammenfügen meines Wissens nach der offiziell von Influx vorgesehene Weg um an eine ähnliche Darstellung der Daten zu gelangen. D.h. wir können hier nicht viel mehr machen, als die Empfehlung weiter geben. Der Schlüssel ist immer Messungsname + Zeitstempel (Influx ist eine Time-Series-DB), somit sehe ich hier kein Problem mit Inkonsistenzen.
Was Influx-seitig ginge, ist zu einem Measurement-Datenpunkt neben dem einen Feld "value" noch beliebig viele Tags dran zu hängen und so ack, from und q direkt dort abzubilden. Dann hat man ohne weiteren Query-Aufwand alles in einer Tabelle, allerdings würden bestehende Tabellen aus Influx 1.x nicht nach 2.x migriert und weiter verwendet werden können, da dort nur mit "fields", statt "tags" gearbeitet wird.
@excodibur mir ist aufgefallen, dass bei mir die Einstellung "log changes intervals" nur greift wenn der Haken bei "Nur Änderungen aufzeichnen" aktiviert ist (was ja auch Sinn macht, wenn von euch so gewollt).
Jedoch sollte dann das Feld inaktiv sein, wenn der Haken nicht gesetzt wurde.
-
@excodibur mir ist aufgefallen, dass bei mir die Einstellung "log changes intervals" nur greift wenn der Haken bei "Nur Änderungen aufzeichnen" aktiviert ist (was ja auch Sinn macht, wenn von euch so gewollt).
Jedoch sollte dann das Feld inaktiv sein, wenn der Haken nicht gesetzt wurde. -
@stenmic beides Korrekt. Legst uns bitte ein GitHub issue an? Gleiches gilt auch für min Change Value und so
@apollon77 eben gemacht
-
Aktuelle Test Version 2.0.0 Veröffentlichungsdatum 29.06.2021 Github Link https://github.com/ioBroker/ioBroker.influxdb Der InfluxDB Adapter kommt mit der InfluxDB 1.x sehr gut klar ... seit kurzem gibt es aber auch eine InfluxDB 2.0 als Nachfolger, wo einiges anders ist.
Daher hat @Excodibur sich der Aufgabe angenommen den Influx-DB Adapter für InfluxDB 2.0 fit zu machen. Rausgekommen ist jetzt die erste Testversion der 2.0.0 des Adapters, der mit InfluxDB 1.x und auch mit 2.x klarkommt!
Daher Bitte unterstützt uns beim Testen!
Für InfluxDB 1.x Nutzer
Hier sollte der Adapter auch in der neuen Version genau so funktionieren wie bisher auch.Für InfluxDB 2.x Nutzer
Hier in der Konfiguration "2.x" als InfluxDB Version wählen. Angegeben werden müssen dann die zu nutzende "Organization" und ein "Token".- Als "Organization" sollte an sich der Name oder die ID funktionieren.
- Als Token geht in jedem Fall der "Owner Token" der ganz zu Beginn des Influx-DB-Setup angelegt wird. Wir haben es bisher nicht geschafft einen weiteren Token anzulegen der dann Zugriffsrechte auf die Organization hatte selbst mit allen Rechten. Also hier nehmen wir gern Eure Erfahrungen :-)
Weiterhin sollte das Speichern von Daten soweit gehen - zumindestens zeigen das die Tests.
Known Issues:
- getHistory selektiert zelweise zuviele Daten. Wer weiss wie man mit Flux Queries mehrere Output-Tables verhindert oder so joinen kann das "limit"s greifen bitte melden :-)
- Wenn Buffered-Writes genutzt werden und hier Datentypunterschiede auftreten werden diese nicht als Fehler von der InfluxDB gemeldet und daher kann die automatische Typkorrektur nicht erfolgen im Adapter.
Für Restliche Issues bitte GitHub Issues anlegen beim Adapter!
Ingo & Excodibur
Hallo Allerseits,
Im Admin Interface bei den Objekten kann man sich ja die gespeicherten Daten hinter dem Tab "Verlaufsdaten" als Tabelle bzw. bei "Diagramm" als Linie mit Fläche anzeigen lassen.
Bei diesem Diagramm hab ich beobachtet, dass die 2. Hälfte des Diagramms nicht als Teil der Linie und Fläche dargestellt werden, sondern nur bei Mouseover als Punkt mit Popup sichtbar werden:
Ich dachte ursprünglich, die unsichtbaren Daten wären jener Teil, der noch nicht in die influxdb geschrieben wurden (Einstellungen Schreibintervall & "Schreibaktionen zusammenfassen") - Aber auch wenn ein deutlich in der Vergangenheit liegendes Intervall auswähle, fehlt die 2. Hälfte des Diagramms.
-
Hallo Allerseits,
Im Admin Interface bei den Objekten kann man sich ja die gespeicherten Daten hinter dem Tab "Verlaufsdaten" als Tabelle bzw. bei "Diagramm" als Linie mit Fläche anzeigen lassen.
Bei diesem Diagramm hab ich beobachtet, dass die 2. Hälfte des Diagramms nicht als Teil der Linie und Fläche dargestellt werden, sondern nur bei Mouseover als Punkt mit Popup sichtbar werden:
Ich dachte ursprünglich, die unsichtbaren Daten wären jener Teil, der noch nicht in die influxdb geschrieben wurden (Einstellungen Schreibintervall & "Schreibaktionen zusammenfassen") - Aber auch wenn ein deutlich in der Vergangenheit liegendes Intervall auswähle, fehlt die 2. Hälfte des Diagramms.
-
Hallo Zusammen,
habe vor ca. 2-3 Wochen meine alte Influx DB 1.8.3 aufgegeben, Influx 2.x neu aufgesetzt (Proxmox Container) und den Adapter installiert.
Ich habe seitdem allerdings Probleme mit dem Adapter oder der Datenbank selber. Die Daten werden zwar geschrieben und sind in der Datenbank vorhanden, aber der Adapter verliert regelmäßig den Kontakt.Ich hatte zuerst gehofft das Problem behebt sich von alleine durch die fleißigen Fehlerkorrekturen. Aber bisher leider nicht.
P.s. ich habe ergänzend das Problem, dass ich auch aus der Oberfläche von influxdb (siehe Bild) automatisch und schnell rausgeschmissen werde. ggf. liegt das Problem also auch bei Influx und nicht dem Adapter. Bin mir aber nicht sicher wie ich das überprüfen könnte.
Hat einer ähnliche Probleme oder eine Lösung?
2021-09-02 06:13:56.095 - error: influxdb.0 (339) Error during ping: Error: connect ECONNREFUSED 192.168.2.209:8086. Attempting reconnect. 2021-09-02 06:14:06.095 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:06.095 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:06.097 - error: influxdb.0 (339) Error: connect ECONNREFUSED 192.168.2.209:8086 2021-09-02 06:14:16.097 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:16.098 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:16.099 - error: influxdb.0 (339) Error: connect ECONNREFUSED 192.168.2.209:8086 2021-09-02 06:14:26.099 - info: influxdb.0 (339) Connecting http://192.168.2.209:8086 ... 2021-09-02 06:14:26.099 - info: influxdb.0 (339) Influx DB Version used: 2.x 2021-09-02 06:14:26.107 - info: influxdb.0 (339) Applying retention policy for iobroker to 63072000 seconds. Shard Group Duration (calculated): 604800 seconds 2021-09-02 06:14:26.169 - info: influxdb.0 (339) Connected!@robbsen habe endlich die Lösung gefunden. Hat mich Nerven gekostet und die Lösung war so einfach und auf die Idee wäre ich niemals gekommen
Ich habe wohl den Fehler gefunden. Wenn ich Influxdb manuell starte bekomme ich eine Fehlermeldung das Curl nicht gefunden wurde. Hab es jetzt nachinstalliert und seitdem läufts. https://forum.iobroker.net/topic/47325/influxdb-nach-rechnerumzug-immer-wieder-econnrefused/3curl --versionsofern nicht installiert
sudo apt install curl -
@robbsen habe endlich die Lösung gefunden. Hat mich Nerven gekostet und die Lösung war so einfach und auf die Idee wäre ich niemals gekommen
Ich habe wohl den Fehler gefunden. Wenn ich Influxdb manuell starte bekomme ich eine Fehlermeldung das Curl nicht gefunden wurde. Hab es jetzt nachinstalliert und seitdem läufts. https://forum.iobroker.net/topic/47325/influxdb-nach-rechnerumzug-immer-wieder-econnrefused/3curl --versionsofern nicht installiert
sudo apt install curlHabe gerade das Update von 1.95 auf 2.2 gewagt aber bekomme damit keine Verbindung mehr zur Datenbank. Nach einem Downgrade funktioniert wieder alles. Das Log (debug) gibt leider nichts aussagekräftiges dazu her:
No connection to DBSonst gibt es leider keinen Hinweis... Hat jemand eine Idee?
-
Habe gerade das Update von 1.95 auf 2.2 gewagt aber bekomme damit keine Verbindung mehr zur Datenbank. Nach einem Downgrade funktioniert wieder alles. Das Log (debug) gibt leider nichts aussagekräftiges dazu her:
No connection to DBSonst gibt es leider keinen Hinweis... Hat jemand eine Idee?
@passuff Hast du mal dein Passwort in den Einstellungen vom Adapter neu eingegeben?
-
@passuff Hast du mal dein Passwort in den Einstellungen vom Adapter neu eingegeben?
Support us
525
Online32.6k
Users82.2k
Topics1.3m
Posts