influxdb 3.0.0 verfügbar - eine Zusammenfassung
-
@diginix sagte in influxdb 3.0.0 verfügbar - eine Zusammenfassung:
@apollon77 Wie entwickelst du dann den Adapter für influxDB v2? Testsystem mit Dummy Daten?
@diginix Die 2.0 Implementierung hat primär @Excodibur gebaut und der hatte da dann installiert. Ich hab auch irgendwo für sondertests ne mini influxdb in nem container laufen ... Ansonst habe ich einige Stunden gebastelt um bei den GitHub Actions wo alle Tests bei GitHub ausgeführt werden sowohl eine InfluxDB 1 wie auch eine InfluxDB 2 zu installieren und dann mit testdaten zu füttern und damit ie Tests laufen zu lassen ... https://github.com/ioBroker/ioBroker.influxdb/actions/runs/2337929675
Damit geht das meiste recht gut.
Das immer ein problem ist sind "Massendaten tests" weil die nahezu unmöglich sind zu stellen es sei denn man hat wirklich ein größ0eres System was Daten einliefert.
Hab bisher gedacht ich wäre allein mit v1.8 und sollte es mal angehen. Aber wenn das nicht einfach nur ein Update Kommando ist sondern mit mehr Aufwand verbunden ist, dann sitze ich das noch eine Weile aus.
Upgrade ist quasi ein Datenexport aus der 1.x und Import in die 2.x weil die Strukturen inkompatibel sind. In irgend einem Thread hier im Forum gabs das Thema schonmal auch mit den Befehlen und so.
Wenn ich es mal mache ist meine Idee:
- Adapter umstellen auf Influxdb 2 und damit gehen alle neuen Daten da rein
- Dann entweder die alten Daten Monatsweise oder so exportieren und dann die Exports Files durch die gegend schieben und einzeln importieren ODER irgendwie ein großes Dir per nfs von meiner NAS mounten und alles exportieren ... Ich glaube wir waren mal bei export faktor 10 oder größer oder sowas ... ich habe 41GB Roh-Daten angesammelt gg So arg will ich die VM nicht aufblasen
Und ich brauch noch ne Lösung für collectd weil die InfluxDB 2 das nicht mehr von hause aus kann sondern nur über umwege
Und um das alles rauszufinden fehlt mir gerade Zeit und Muse
Was hätte man mit v2 für Vorteile und gibt es auch Nachteile?
Im zweifel: 1.x ist EOL denke ich und kriegt keine Updates mehr .... 2.x ist halt aktuell und bekommt Updates und neue Features udn hat ne neue Abfragesprache mit mehr möglichkeiten
-
@apollon77 Vielen Dank die ausführlichen Infos!
Da sollte sich meine DB mit nur 586 MB ja ggf. in einem Rutsch migrieren lassen.
btw: Als ich alles noch mit dem history Adapter gespeichert habe, hatte diese Daten schon >4 GB als json. -
@diginix Such mal ... vllt findest Du ja den anderen Thread wegen Migration ...
-
Das hier?:
https://forum.iobroker.net/topic/46098/test-adapter-influxdb-2-0/164
Ich werde das bei Gelegenheit mal so probieren.
-
Jaa danke ... ok Faktor 20 :-)))
-
Habe ich das denn richtig verstanden, dass das nur den Export betrifft? Nach dem Import ist die neue DB wieder ungefähr so groß wie die alte?
-
@ofbeqnpolkkl6mby5e13 Das fragst du MICH der noch nicht migriert hat??? Aber ich nehme es stark an. Der Export sind die Rohdaten in textform ... also müsste denke ich
-
Ich werde berichten, bei Gelegenheit.
-
@apollon77 sagte in influxdb 3.0.0 verfügbar - eine Zusammenfassung:
Jaa danke ... ok Faktor 20 :-)))
Bei mir Faktor 15
-
Für die, die wie ich eine InfluxDB vor v1.8.3 einsetzen:
Die Option -lponly gibt es erst ab v1.8.3:
https://github.com/influxdata/influxdb/issues/19367
Mit den DDL und DML Daten im Export kann man aber nicht importieren. Also vor dem Export erst mal auf mindestens 1.8.3 updaten.
-
So, 2,5 Stunden später ist der Import auf einem betagten NAS offensichtlich erfolgreich verlaufen. Instanz entsprechend angepasst, scheint zu laufen.
Die Größe der InfluxDB2 ist sogar etwas kleiner.
@apollon77
Bei einem Datenpunkt erhalte ich die folgende Fehlermeldung:2022-05-20 00:07:43.832 - [31merror[39m: influxdb.0 (9531) HttpError: runtime error @4:12-4:136: filter: type conflict: bool != stringwenn ich den Verlauf angucken möchte.
Wo ist das Problem?
-
Ich habe den Datenpunkt nochmal deaktiviert und wieder aktiviert, nun geht es.
-
@ofbeqnpolkkl6mby5e13 auch wenn es geht: ein bissl mehr log - in dem Fall debug log damit man die query sieht - würde Sinn machen.
-
Wird das Editieren von Datenpunkten wie bei Influxdb1 im Admin noch hinzukommen?
-
@ofbeqnpolkkl6mby5e13 ... wenn es jemand einbaut ... InfluxDB 2 ist da speziell. leg gern ein Feature Request an dann sieht man das
-
Feature Request für den Admin Adapter? Dein Ernst?
-
@ofbeqnpolkkl6mby5e13 Nein InfluxDB Adapter. der kann updateState nur für InfluxDB 1 ...
-
Heute mal auf Deutsch...
https://github.com/ioBroker/ioBroker.influxdb/issues/262 -
Hallo,
ich hatte ja schon mal geschrieben, dass sich seit einiger Zeit Warnmeldungen bekomme, die mir dann das Log sprengen. Gestern habe mal den Adapter auf Debug gestellt, in der Hoffnung, dass der Fehler wieder auftritt. Er tat es. Anbei ein Ausschnitt des Log, das mittlerweile wieder auf eine Größe von über 2,6GB angewachsen ist. Ein Neustart des Adapter oder des InfluxDB Service behebt das Problem bis zum nächsten Auftreten, meistens irgendwann in der Nacht.
Während des Fehlers findet ein deutlich erhöhter Netzwerktraffic zwischen iobroker und dem Influx Container statt.
influxdb.0 2022-05-21 11:02:42.874 info Add point that had error for linkeddevices.0.Sensoren.EG.Küche.Küchenmaschine.ENERGIE_Strom to buffer again, error-count=9 influxdb.0 2022-05-21 11:02:42.874 warn Error on writePoint("{"value":0,"time":"2022-05-21T08:54:22.593Z","from":"system.adapter.linkeddevices.0","q":0,"ack":true}): HttpError: unexpected error writing points to database: timeout / "unexpected error writing points to database: timeout"" influxdb.0 2022-05-21 11:02:42.874 warn Point could not be written to database: iobroker influxdb.0 2022-05-21 11:02:42.861 debug Write Point: linkeddevices.0.Sensoren.OG.Thomas.Fernseher.ENERGIE_Spannung values:{"value":229,"time":"2022-05-21T08:58:52.780Z","from":"system.adapter.linkeddevices.0","q":0,"ack":true} options: null influxdb.0 2022-05-21 11:02:42.861 info Add point that had error for linkeddevices.0.Sensoren.OG.Thomas.Fernseher.ENERGIE_Spannung to buffer again, error-count=9 influxdb.0 2022-05-21 11:02:42.861 warn Error on writePoint("{"value":229,"time":"2022-05-21T08:58:52.780Z","from":"system.adapter.linkeddevices.0","q":0,"ack":true}): HttpError: unexpected error writing points to database: timeout / "unexpected error writing points to database: timeout"" influxdb.0 2022-05-21 11:02:42.861 warn Point could not be written to database: iobroker influxdb.0 2022-05-21 11:02:42.860 debug Write Point: linkeddevices.0.Sensoren.OG.Thomas.PC.ENERGIE_Strom values:{"value":0.733,"time":"2022-05-21T09:00:42.807Z","from":"system.adapter.linkeddevices.0","q":0,"ack":true} options: null influxdb.0 2022-05-21 11:02:42.860 info Add point that had error for linkeddevices.0.Sensoren.OG.Thomas.PC.ENERGIE_Strom to buffer again, error-count=8PS: Ich glaube, ich habe eine Spur gefunden. Die vorausgehenden Kommunikationsfehler treten ab 4Uhr Früh auf und genau da starten Update-Tasks in Proxmox, speziell der von meiner Windows 11 VM, die bei mir als Datei und Multimedia Server läuft. Wieso stört dieser Vorgang die Container von iobroker und InfluxDB? Die laufen doch weiter und genug Resourcen sind im Server auch noch frei und davor hat es immer Problemlos funktioniert?
PPS: Problem gelöst. Es trat auf, nachdem ich eine 6TB HDD in den PVE integriert hatte und alle VMs und CTs dort hin verschoben hatte. Wenn dann nun ein Backup einer VM anspringt, scheint die Last auf der HDD so hoch zu werden, dass es zu starken Verzögerungen zu kommen scheint, die dann diese Kommunikationsfehler mit der InfluxDB auslösen. Ich habe nun die CTs auf ein anderes Laufwerk verschoben und nun klappt es endlich wieder wunderbar, inkl. automatischer Backups.
-
@palm_maniac Perfekt, genau das wäre auch meine Vermutung gewesen. Der Fehlert liegt bei der InfluxDB. Und die "erhöhle Neutzwerklast" entsteht übrigens das der Adapter bei einem "Massenschreib Fehler" darauf zurückfällt die Daten einzeln zu schreiben
