Proxmox / Influxdb V1 zu V2... wie?

[Boronsbruder]

@massiveattack
influx -version

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx -version
InfluxDB shell version: 1.8.0

[Boronsbruder]

@massiveattack
okay ist nicht zu alt...
was sagt influx_inspect export --help

[MassiveAttack]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

influx_inspect export --help

root@QNAP:/# influx_inspect export --help
Exports TSM files into InfluxDB line protocol format.

Usage: influx_inspect export [flags]

  -compress
        Compress the output
  -database string
        Optional: the database to export
  -datadir string
        Data storage path (default "/root/.influxdb/data")
  -end string
        Optional: the end time to export (RFC3339 format)
  -out string
        Destination file to export to (default "/root/.influxdb/export")
  -retention string
        Optional: the retention policy to export (requires -database)
  -start string
        Optional: the start time to export (RFC3339 format)
  -waldir string
        WAL storage path (default "/root/.influxdb/wal")

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack
okay ist nicht zu alt...
was sagt influx_inspect export --help

Doch, ist zu alt

[MassiveAttack]

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

So, wie ich das sehe, mit dieser Methode erst nach einem Update auf mindestens 1.8.3

[MassiveAttack]

@marc-berg

wie ich diese useability liebe

[Boronsbruder]

@massiveattack
ja, da fehlt -lponly

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

oder

Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)

# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00
# DDL
CREATE DATABASE iobroker WITH NAME autogen
# DML
# CONTEXT-DATABASE:iobroker
# CONTEXT-RETENTION-POLICY:autogen
# writing tsm data
0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000

entfernen und dann importieren. Vorher natürlich entpacken.

Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.

[Boronsbruder]

ich benutze hier auf Windows Notepad++

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

Hier https://dl.influxdata.com/influxdb/releases/influxdb-1.8.10_linux_amd64.tar.gz
wäre eine aktuellere influx_inspect enthalten. Aber ob die mit der 1.8.0 DB läuft?

[Boronsbruder]

@marc-berg
ich würde erst die variante mit Zeilen entfernen versuchen

z.B. entpacken und

sed '/^[#]/d' DATEINAME > NEUER_DATEINAME

(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)

danach mit

gzip NEUER_DATEINAME

wieder packen

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

sed '/^[#]/d' DATEINAME > NEUER_DATEINAME

(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)

Was ich nicht verstehe ist: Wenn diese Zeile hier angemeckert wird

Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field format

und vor dieser Zeile kein "#" steht, was bringt das denn?

[Boronsbruder]

@marc-berg
Hast natürlich recht...
Copy und paste...

EDIT

besser noch

sed -e '/^[#]/d' -e '/^CREATE/d' DATEINAME > NEUER_DATEINAME

Sonst kann es passieren, dass er Zeilen mit löscht, die CREATE irgendwo im TEXT haben.
Hier wird nur gelöscht nur wenn die Zeichen am Anfang sind...

[MassiveAttack]

@boronsbruder

ich bekomme jetzt ein permission denied, ich hab keine lust mehr

unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""

im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix

[Boronsbruder]

@massiveattack
langsam...
nicht unbedacht irgenwelche Berechtigungen verbiegen...

Was löst den Fehler aus....

Mit welchem Benutzer?

Ist influxv2 sauber installiert?

[MassiveAttack]

@boronsbruder

influx write -b iobroker -o universe -t KUArezBLNDbZWty0PcwTbD0rme4qIR2JZ0sffRAU8mcT2eXMB12jp6-aTRiH0Gtw0UsY4aEr1U3JXMiYWFTlWg== -f export

root
ja

Diese v2 DB dient mir grad mal als Testobjekt, da verbiege ich alles wenn notwendig

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@boronsbruder

ich bekomme jetzt ein permission denied, ich hab keine lust mehr

unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""

im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix

Ich denke mal, die V2 Installation ist völlig schief. Das kam mir mit den fehlenden Configs/Profilen schon seltsam vor. Auch wenn's nervt, fang nochmal neu an.

[MassiveAttack]

@marc-berg

vermutlich hast du recht, vielleicht habe ich morgen wieder muse

ginge eine datenmigration via csv auch? zumindest könnte man den import mit dem webui machen

[MassiveAttack]

kaum macht man's richtig, geht's auch

• Influx 2 neu aufgesetzt
• setup mittels console (nicht webui)
• import von v1
• umgestellt auf influxql
• iobroker und grafana eingerichtet
• ein ganzes grafana dashboard umgebaut auf v2, läuft bereits

Lasse noch die v1 parallel laufen, bis ich alle dashboard umgestellt habe.
danke für die super unterstützung!