influxdb 3.0.0 verfügbar - eine Zusammenfassung
-
Hallo,
eine Verständnisfrage. Die Aufbewahrungszeit, liese die sich auch pro Datenpunkt einstellen oder geht das bei InfluxDB nur generell, also Adapterweit? Der Hintergrund der Frage ist der, dass ich Datenpunkte habe, wo ich alle Infos ohne Löschung aufzeichne und andere, wo nur ein paar Wochen reichen würden.
-
@palm_maniac Geht nur pro DB.
-
@diginix Ok, danke. Schade.
-
@palm_maniac Bist jetzt gefühlt der 5. der das fragt. Legt halt ein GitHub Ossue als Feature Request an ... kann man halt nur manuell machen. Muss mal lesen ob InfluxDB sowas mag oder überhaupt erlaubt
-
Hallo,
bei mir häufen sich in der letzten Zeit diese Fehler:
influxdb.0 2022-05-18 10:16:55.037 warn Error in query "import "influxdata/influxdb/schema" schema.tagKeys(bucket: "iobroker")": RequestTimedOutError: Request timed outDie treten jeden Morgen auf, gefolgt von mehreren Einträgen pro Datenpunkt im Log, was dazu führt dass es mehrere Gigabyte an Größe zulegt. Helfen tut hier nur ein Neustart des InfluxDB Service oder des LXC-Containers, in dem nur Influx läuft. Das Problem habe ich seit einiger Zeit und weiß langsam nicht mehr wo ich suchen soll. Vielleicht hat hier jemand eine Idee.
Im LXC ist Ubuntu 21.11 als Grundsystem installiert mit InfluxDB V2.2.
Ich frage auch deshalb hier, weil sich das Problem gefühlt mit meinen Tests mit der Adapterversion 3.0 eingestellt hat. Leider scheint es aber wohl nur ein Gefühl zu sein, denn der Fehler tritt jetzt auch mit der V2.6.3 auf, da aber bei weitem nicht so oft.
-
@palm_maniac Request "timeout" deutet an sich darauf hin das die InfluxDB selbst irgendwas hat bzw die Query länger dauert als der aktuelle Timeout. Den Request Timeout kannst Du hochsetzen in der Konfig ... vllt mal erhöhen?
Auch die Frage ist wo die Meldung herkommt schema.tagKeys gibts in den queries nicht ... machst Du custom Queries?
-
@apollon77 Ich habe vor einiger Zeit nach Anleitung von V1.8 auf V2 gewechselt und die Datenbanken konvertiert. es sind also keine reinen frischen V2 Datenbanken. Vielleicht liegt es daran? Aber das hat bis vor kurzem nie Probleme bereitet.
-
@palm_maniac Keine Ahnung. ich bin selbst noch auf InfluxDB 1.8 und scheue mich vor den mega GB der migration :-)))
-
@apollon77 dito
-
@apollon77 Wie entwickelst du dann den Adapter für influxDB v2? Testsystem mit Dummy Daten?
Hab bisher gedacht ich wäre allein mit v1.8 und sollte es mal angehen. Aber wenn das nicht einfach nur ein Update Kommando ist sondern mit mehr Aufwand verbunden ist, dann sitze ich das noch eine Weile aus.
Was hätte man mit v2 für Vorteile und gibt es auch Nachteile?
-
@diginix sagte in influxdb 3.0.0 verfügbar - eine Zusammenfassung:
@apollon77 Wie entwickelst du dann den Adapter für influxDB v2? Testsystem mit Dummy Daten?
@diginix Die 2.0 Implementierung hat primär @Excodibur gebaut und der hatte da dann installiert. Ich hab auch irgendwo für sondertests ne mini influxdb in nem container laufen ... Ansonst habe ich einige Stunden gebastelt um bei den GitHub Actions wo alle Tests bei GitHub ausgeführt werden sowohl eine InfluxDB 1 wie auch eine InfluxDB 2 zu installieren und dann mit testdaten zu füttern und damit ie Tests laufen zu lassen ... https://github.com/ioBroker/ioBroker.influxdb/actions/runs/2337929675
Damit geht das meiste recht gut.
Das immer ein problem ist sind "Massendaten tests" weil die nahezu unmöglich sind zu stellen es sei denn man hat wirklich ein größ0eres System was Daten einliefert.
Hab bisher gedacht ich wäre allein mit v1.8 und sollte es mal angehen. Aber wenn das nicht einfach nur ein Update Kommando ist sondern mit mehr Aufwand verbunden ist, dann sitze ich das noch eine Weile aus.
Upgrade ist quasi ein Datenexport aus der 1.x und Import in die 2.x weil die Strukturen inkompatibel sind. In irgend einem Thread hier im Forum gabs das Thema schonmal auch mit den Befehlen und so.
Wenn ich es mal mache ist meine Idee:
- Adapter umstellen auf Influxdb 2 und damit gehen alle neuen Daten da rein
- Dann entweder die alten Daten Monatsweise oder so exportieren und dann die Exports Files durch die gegend schieben und einzeln importieren ODER irgendwie ein großes Dir per nfs von meiner NAS mounten und alles exportieren ... Ich glaube wir waren mal bei export faktor 10 oder größer oder sowas ... ich habe 41GB Roh-Daten angesammelt gg So arg will ich die VM nicht aufblasen
Und ich brauch noch ne Lösung für collectd weil die InfluxDB 2 das nicht mehr von hause aus kann sondern nur über umwege
Und um das alles rauszufinden fehlt mir gerade Zeit und Muse
Was hätte man mit v2 für Vorteile und gibt es auch Nachteile?
Im zweifel: 1.x ist EOL denke ich und kriegt keine Updates mehr .... 2.x ist halt aktuell und bekommt Updates und neue Features udn hat ne neue Abfragesprache mit mehr möglichkeiten
-
@apollon77 Vielen Dank die ausführlichen Infos!
Da sollte sich meine DB mit nur 586 MB ja ggf. in einem Rutsch migrieren lassen.
btw: Als ich alles noch mit dem history Adapter gespeichert habe, hatte diese Daten schon >4 GB als json. -
@diginix Such mal ... vllt findest Du ja den anderen Thread wegen Migration ...
-
Das hier?:
https://forum.iobroker.net/topic/46098/test-adapter-influxdb-2-0/164
Ich werde das bei Gelegenheit mal so probieren.
-
Jaa danke ... ok Faktor 20 :-)))
-
Habe ich das denn richtig verstanden, dass das nur den Export betrifft? Nach dem Import ist die neue DB wieder ungefähr so groß wie die alte?
-
@ofbeqnpolkkl6mby5e13 Das fragst du MICH der noch nicht migriert hat??? Aber ich nehme es stark an. Der Export sind die Rohdaten in textform ... also müsste denke ich
-
Ich werde berichten, bei Gelegenheit.
-
@apollon77 sagte in influxdb 3.0.0 verfügbar - eine Zusammenfassung:
Jaa danke ... ok Faktor 20 :-)))
Bei mir Faktor 15
-
Für die, die wie ich eine InfluxDB vor v1.8.3 einsetzen:
Die Option -lponly gibt es erst ab v1.8.3:
https://github.com/influxdata/influxdb/issues/19367
Mit den DDL und DML Daten im Export kann man aber nicht importieren. Also vor dem Export erst mal auf mindestens 1.8.3 updaten.
