NEWS
Proxmox / Influxdb V1 zu V2... wie?
-
@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
d.h. ich bekomme die Daten nicht aus der v1 in die v2?
So, wie ich das sehe, mit dieser Methode erst nach einem Update auf mindestens 1.8.3
wie ich diese useability liebe :disappointed_relieved: :cry:
-
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
influx_inspect export --help
root@QNAP:/# influx_inspect export --help Exports TSM files into InfluxDB line protocol format. Usage: influx_inspect export [flags] -compress Compress the output -database string Optional: the database to export -datadir string Data storage path (default "/root/.influxdb/data") -end string Optional: the end time to export (RFC3339 format) -out string Destination file to export to (default "/root/.influxdb/export") -retention string Optional: the retention policy to export (requires -database) -start string Optional: the start time to export (RFC3339 format) -waldir string WAL storage path (default "/root/.influxdb/wal")@massiveattack
ja, da fehlt -lponlyJetzt hast du 2 Möglichkeiten...
- Eine für dein Betriebsystem passende influx_inspect finden
oder
Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)
# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00 # DDL CREATE DATABASE iobroker WITH NAME autogen # DML # CONTEXT-DATABASE:iobroker # CONTEXT-RETENTION-POLICY:autogen # writing tsm data 0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000entfernen und dann importieren. Vorher natürlich entpacken.
Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.
-
@massiveattack
ja, da fehlt -lponlyJetzt hast du 2 Möglichkeiten...
- Eine für dein Betriebsystem passende influx_inspect finden
oder
Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)
# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00 # DDL CREATE DATABASE iobroker WITH NAME autogen # DML # CONTEXT-DATABASE:iobroker # CONTEXT-RETENTION-POLICY:autogen # writing tsm data 0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000entfernen und dann importieren. Vorher natürlich entpacken.
Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.
ich benutze hier auf Windows Notepad++
-
@massiveattack
ja, da fehlt -lponlyJetzt hast du 2 Möglichkeiten...
- Eine für dein Betriebsystem passende influx_inspect finden
oder
Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)
# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00 # DDL CREATE DATABASE iobroker WITH NAME autogen # DML # CONTEXT-DATABASE:iobroker # CONTEXT-RETENTION-POLICY:autogen # writing tsm data 0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000entfernen und dann importieren. Vorher natürlich entpacken.
Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
Jetzt hast du 2 Möglichkeiten...
- Eine für dein Betriebsystem passende influx_inspect finden
Hier https://dl.influxdata.com/influxdb/releases/influxdb-1.8.10_linux_amd64.tar.gz
wäre eine aktuellere influx_inspect enthalten. Aber ob die mit der 1.8.0 DB läuft? -
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
Jetzt hast du 2 Möglichkeiten...
- Eine für dein Betriebsystem passende influx_inspect finden
Hier https://dl.influxdata.com/influxdb/releases/influxdb-1.8.10_linux_amd64.tar.gz
wäre eine aktuellere influx_inspect enthalten. Aber ob die mit der 1.8.0 DB läuft?@marc-berg
ich würde erst die variante mit Zeilen entfernen versuchen ;)z.B. entpacken und
sed '/^[#]/d' DATEINAME > NEUER_DATEINAME(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)
danach mit
gzip NEUER_DATEINAMEwieder packen
-
@marc-berg
ich würde erst die variante mit Zeilen entfernen versuchen ;)z.B. entpacken und
sed '/^[#]/d' DATEINAME > NEUER_DATEINAME(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)
danach mit
gzip NEUER_DATEINAMEwieder packen
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
sed '/^[#]/d' DATEINAME > NEUER_DATEINAME
(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)Was ich nicht verstehe ist: Wenn diese Zeile hier angemeckert wird
Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field formatund vor dieser Zeile kein "#" steht, was bringt das denn?
-
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
sed '/^[#]/d' DATEINAME > NEUER_DATEINAME
(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)Was ich nicht verstehe ist: Wenn diese Zeile hier angemeckert wird
Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field formatund vor dieser Zeile kein "#" steht, was bringt das denn?
@marc-berg
Hast natürlich recht...
Copy und paste...EDIT
besser noch
sed -e '/^[#]/d' -e '/^CREATE/d' DATEINAME > NEUER_DATEINAMESonst kann es passieren, dass er Zeilen mit löscht, die CREATE irgendwo im TEXT haben.
Hier wird nur gelöscht nur wenn die Zeichen am Anfang sind... -
@marc-berg
Hast natürlich recht...
Copy und paste...EDIT
besser noch
sed -e '/^[#]/d' -e '/^CREATE/d' DATEINAME > NEUER_DATEINAMESonst kann es passieren, dass er Zeilen mit löscht, die CREATE irgendwo im TEXT haben.
Hier wird nur gelöscht nur wenn die Zeichen am Anfang sind...ich bekomme jetzt ein permission denied, ich hab keine lust mehr
unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix
-
ich bekomme jetzt ein permission denied, ich hab keine lust mehr
unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix
@massiveattack
langsam...
nicht unbedacht irgenwelche Berechtigungen verbiegen...Was löst den Fehler aus....
Mit welchem Benutzer?
Ist influxv2 sauber installiert?
-
@massiveattack
langsam...
nicht unbedacht irgenwelche Berechtigungen verbiegen...Was löst den Fehler aus....
Mit welchem Benutzer?
Ist influxv2 sauber installiert?
influx write -b iobroker -o universe -t KUArezBLNDbZWty0PcwTbD0rme4qIR2JZ0sffRAU8mcT2eXMB12jp6-aTRiH0Gtw0UsY4aEr1U3JXMiYWFTlWg== -f exportroot
jaDiese v2 DB dient mir grad mal als Testobjekt, da verbiege ich alles wenn notwendig ;)
-
ich bekomme jetzt ein permission denied, ich hab keine lust mehr
unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix
@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
ich bekomme jetzt ein permission denied, ich hab keine lust mehr
unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix
Ich denke mal, die V2 Installation ist völlig schief. Das kam mir mit den fehlenden Configs/Profilen schon seltsam vor. Auch wenn's nervt, fang nochmal neu an.
-
@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
ich bekomme jetzt ein permission denied, ich hab keine lust mehr
unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix
Ich denke mal, die V2 Installation ist völlig schief. Das kam mir mit den fehlenden Configs/Profilen schon seltsam vor. Auch wenn's nervt, fang nochmal neu an.
vermutlich hast du recht, vielleicht habe ich morgen wieder muse ;)
ginge eine datenmigration via csv auch? zumindest könnte man den import mit dem webui machen
-
vermutlich hast du recht, vielleicht habe ich morgen wieder muse ;)
ginge eine datenmigration via csv auch? zumindest könnte man den import mit dem webui machen
kaum macht man's richtig, geht's auch :)
- Influx 2 neu aufgesetzt
- setup mittels console (nicht webui)
- import von v1
- umgestellt auf influxql
- iobroker und grafana eingerichtet
- ein ganzes grafana dashboard umgebaut auf v2, läuft bereits
Lasse noch die v1 parallel laufen, bis ich alle dashboard umgestellt habe.
danke für die super unterstützung! :clap: :hugging_face: -
kaum macht man's richtig, geht's auch :)
- Influx 2 neu aufgesetzt
- setup mittels console (nicht webui)
- import von v1
- umgestellt auf influxql
- iobroker und grafana eingerichtet
- ein ganzes grafana dashboard umgebaut auf v2, läuft bereits
Lasse noch die v1 parallel laufen, bis ich alle dashboard umgestellt habe.
danke für die super unterstützung! :clap: :hugging_face:Hast du n Tip, wie man am einfachsten die Grafana Views von Influx1 auf V2 umstellt?
Finde das etwas umständlich mit Flux.. naja bin auch influxql gewohnt.. -
kaum macht man's richtig, geht's auch :)
- Influx 2 neu aufgesetzt
- setup mittels console (nicht webui)
- import von v1
- umgestellt auf influxql
- iobroker und grafana eingerichtet
- ein ganzes grafana dashboard umgebaut auf v2, läuft bereits
Lasse noch die v1 parallel laufen, bis ich alle dashboard umgestellt habe.
danke für die super unterstützung! :clap: :hugging_face:@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
kaum macht man's richtig, geht's auch :)
- Influx 2 neu aufgesetzt
- setup mittels console (nicht webui)
- import von v1
Wie hast du den Import hinbekommen? Mit Manipulation der Exportdatei oder einer aktuellen influx_inspect?
-
Hast du n Tip, wie man am einfachsten die Grafana Views von Influx1 auf V2 umstellt?
Finde das etwas umständlich mit Flux.. naja bin auch influxql gewohnt..@ilovegym sagte in Proxmox / Influxdb V1 zu V2... wie?:
Hast du n Tip, wie man am einfachsten die Grafana Views von Influx1 auf V2 umstellt?
Finde das etwas umständlich mit Flux.. naja bin auch influxql gewohnt..influx v1 auth create --read-bucket <ID des Buckets> --username grafana influx v1 dbrp create --db <DB Name> --rp autogen --bucket-id <ID des Buckets> --defaultDas führst du in der DB aus, damit man in grafana influxql verwenden kann.
Dann kannst du deine views in grafana behalten -
@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
kaum macht man's richtig, geht's auch :)
- Influx 2 neu aufgesetzt
- setup mittels console (nicht webui)
- import von v1
Wie hast du den Import hinbekommen? Mit Manipulation der Exportdatei oder einer aktuellen influx_inspect?
@marc-berg sagte in Proxmox / Influxdb V1 zu V2... wie?:
@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
kaum macht man's richtig, geht's auch :)
- Influx 2 neu aufgesetzt
- setup mittels console (nicht webui)
- import von v1
Wie hast du den Import hinbekommen? Mit Manipulation der Exportdatei oder einer aktuellen influx_inspect?
Hab das exportfile manipuliert. Meine 1.8er kennt das flag -lponly nicht
-
@ilovegym sagte in Proxmox / Influxdb V1 zu V2... wie?:
Hast du n Tip, wie man am einfachsten die Grafana Views von Influx1 auf V2 umstellt?
Finde das etwas umständlich mit Flux.. naja bin auch influxql gewohnt..influx v1 auth create --read-bucket <ID des Buckets> --username grafana influx v1 dbrp create --db <DB Name> --rp autogen --bucket-id <ID des Buckets> --defaultDas führst du in der DB aus, damit man in grafana influxql verwenden kann.
Dann kannst du deine views in grafana behalten@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
@ilovegym sagte in Proxmox / Influxdb V1 zu V2... wie?:
influx v1 auth create --read-bucket <ID des Buckets> --username grafana influx v1 dbrp create --db <DB Name> --rp autogen --bucket-id <ID des Buckets> --defaultDas führst du in der DB aus, damit man in grafana influxql verwenden kann.
Dann kannst du deine views in grafana behaltenDanke! hat super geklappt, musste allerdings noch die Parameter --token und --org dran hängen.
-
@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:
@ilovegym sagte in Proxmox / Influxdb V1 zu V2... wie?:
influx v1 auth create --read-bucket <ID des Buckets> --username grafana influx v1 dbrp create --db <DB Name> --rp autogen --bucket-id <ID des Buckets> --defaultDas führst du in der DB aus, damit man in grafana influxql verwenden kann.
Dann kannst du deine views in grafana behaltenDanke! hat super geklappt, musste allerdings noch die Parameter --token und --org dran hängen.
Für alle, die die Datenmigration mit einer "zu" alten Influx v1 durchführen wollen, und das flag "-lponly" nicht verwenden können, hier meine Schritte:
##################
- influx_inspect export -database iobroker -out /var/lib/influxdb/backups/inv1.gz -datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/ -compress
- gunzip inv1.gz
- sed -e '/^[#]/d' -e '/^CREATE/d' inv1 > new
- gzip new
- influx write -b iobroker -f new.gz
##################
Damit konnte ich meine komplette DB migrieren :)
-
weiter gehts mit dem Blackout! ;)
ioB ist mit Influx 2 verbunden.
In Grafana ist Influx 2 als DB-Quelle verbunden.
Jetzt wollte ich gerade ein neues Panel erstellen und steh wieder an.
Bei Influx 1 konnte man im Dropdown die DP auswählen.

Jetzt mit Influx 2 (mit Flux) gibts das nicht mehr.
Wie bring ich da die DP rein?
