Proxmox / Influxdb V1 zu V2... wie?

[Boronsbruder]

@negalein

1. auf Host 1:
   Exportieren: hier z.B die Datenpunkte

• javascript.0.Wetterstation.Aussentemperatur
• javascript.0.Wetterstation.Regen_Tag
• javascript.0.Wetterstation.Wind_max

Mit folgendem Kommando

echo '#datatype measurement,dateTime:RFC3339,boolean,string,double,double' > export.csv && influx -database [DB-name] -username [username] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Aussentemperatur","javascript.0.Wetterstation.Regen_Tag","javascript.0.Wetterstation.Wind_max"' -format csv -precision='rfc3339' >> export.csv 

2. Die export.csv rüber auf Host2 kopieren
3. Auf Host 2 mit

influx write -b [DATENBANKNAME] -f ./export.csv 

(Datenbank ist in v2 = bucket) importieren

[Boronsbruder]

@sborg said in Proxmox / Influxdb V1 zu V2... wie?:

Guter Ansatz, funktioniert so aber auch nicht, außer du lässt es beim 1. Aufruf weg. Einmal wollen/müssen wir es ja haben

@Sborg
Nein. wollen wir nicht, da wir die export.csv mit dem Header vorbereiten

Ohne grep:

#datatype measurement,dateTime:RFC3339,boolean,string,double,double
name,time,ack,from,q,value
0_userdata.0.Wetterstation.DP100.1.Bodenfeuchtigkeit,2022-12-31T12:11:44.427Z,true,system.adapter.simple-api.0,0,15

Also, bei mir halt...

[da_Woody]

@boronsbruder da gehts ja nicht nur um die wetterstation, sondern um alle.
hab auch gerade getestet mit influxdb-studio. kann mich damit nicht einloggen.
einen seltsamen alias eintrag in der DB (bucket), den ich nie angelegt habe. erst heute in der früh influx2 installiert.

[SBorg]

@boronsbruder So wäre es ja auch richtig. Wenn du aber den grep bei allen drei Aufrufen tätigst, wird es Zeile #2 nie geben

Zeile #1 erzeugen wir ja per Hand, #3 + folgende dann der Export-Befehl.

Aufruf #1 müsste also ohne grep erfolgen, #2 und #3 dann mit.

[Negalein]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Exportieren: hier z.B die Datenpunkte

Danke
Also für jeden DP eine eigene .csv?

Das ist ja eine Arbeit für mehrere Tage.
Gibt es keine Möglichkeit, die komplette DB zu exportieren und in V2 wieder zu importieren?

[wendy2702]

@negalein Sollte das nicht hiermit einfacher gehen:

https://docs.influxdata.com/influxdb/v2.6/upgrade/v1-to-v2/manual-upgrade/#migrate-time-series-data

[Boronsbruder]

@sborg
ja, die brauchen wir ja auch nicht, da wir ihm
ja mit dem Header mitgeben, dass der

• 1.Wert das meassurement
• der 2.Wert, die Zeit ist,
• usw.

Die Zeilen bestehen immer aus der gleichen Anzahl von komma-getrennten Werten

[Negalein]

@wendy2702 sagte in Proxmox / Influxdb V1 zu V2... wie?:

Sollte das nicht hiermit einfacher gehen:

Danke
Ja, schaut aus dass man hier die komplette DB bekommt.

Aber was sind buckets?

Repeat steps 1-2 for each bucket

[da_Woody]

@negalein IMHO sind die buckets die DBs...

[A Former User]

@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:

Aber was sind buckets?

Moin,

A bucket is a named location where time series data is stored. All buckets have a retention period, a duration of time that each data point persists. InfluxDB drops all points with timestamps older than the bucket’s retention period. A bucket belongs to an organization.

Siehe Manage Buckets

VG
Bernd

[Negalein]

jetzt kommt der Supergau.

Ich kenne die Login-Daten der V1 DB nicht mehr.
In ioB komm ich im Adapter auch nicht ans PW, da nur die doofen Sternchen sichtbar sind.

Gibt es noch eine Möglichkeit?

Kann man es in Grafana rausfinden (in einem Config-File)?

[wendy2702]

@negalein das gibts doch was von Ration…. Ach ne ioBroker

https://forum.iobroker.net/topic/47173/gelöst-influxdb-passwort-verloren

[Boronsbruder]

@negalein
es gibt in der /etc/influxdb/influxdb.conf einen Eintrag unter [http] auth-enabled = true

[SBorg]

@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:

Gibt es noch eine Möglichkeit?

Kann man es in Grafana rausfinden (in einem Config-File)?

In der wetterstation.conf hast du die doch eingetragen

[Negalein]

@sborg sagte in Proxmox / Influxdb V1 zu V2... wie?:

In der wetterstation.conf hast du die doch eingetragen

ahhhhhhh, danke

da hab ich user & passw leer.

dann hab ich quasi in der influx.conf auf auth=disabled?

komisch, dass im Adapter und in Grafana Admin als User steht und in der .conf nichts.

[SBorg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

@sborg
ja, die brauchen wir ja auch nicht, da wir ihm

Doch, in der #1 steht nur "Datatype" also es kommt ein "Messwert", ein Zeitstempel im xyz-Format", ein boolean....
Es erfolgt aber keinerlei Zuweisung wo das gespeichert wird. Das macht Zeile #2. Speichere den Boolwert aus Zeile #1 unter "ack" ab....

Auszug Influx-Dokumentation:

#datatype measurement,tag,double,dateTime:RFC3339
m,host,used_percent,time
mem,host1,64.23,2020-01-01T00:00:00Z
mem,host2,72.01,2020-01-01T00:00:00Z
...

Woher sollte er nun ohne #2 wissen das der Datatype "double" unter "used_percent" abgespeichert werden soll?

[SBorg]

@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:

dann hab ich quasi in der influx.conf auf auth=disabled?

Sehr wahrscheinlich. Passwort kannst du natürlich eintragen, nur wird es eben ggf. nicht benutzt
cat /etc/influxdb/influxdb.conf | grep auth-enabled

>  auth-enabled = true
>  # no effect if either auth-enabled or pprof-enabled are set to false.
>  # pprof-auth-enabled = false
>  # endpoints. This setting has no effect if auth-enabled is set to false.
>  # ping-auth-enabled = false

Nur #1 ist maßgeblich.

[Boronsbruder]

@sborg
richtig...
Mein Fehler....
Ich lösche gerade nochmal die Datenbank....

[Boronsbruder]

Für ganze Datenbanken

Export mit:
influx_inspect export -database iobroker -out /tmp/export.gz -compress -lponly
und Import mit:
influx write -b iobroker_test -f export.gz

scheint zu funktionieren.
evtl. müssen die Datenverzeichnisse bei Export mit angegeben werden
-datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/
(bei mir)

ABER
Die Dateien sind sehr groß (hier für 2 Jahre ca. 800MB)
Das dauert...

Nur der Import über die WebGUI geht anscheinend nicht...

[SBorg]

Bedenkt aber beim kpl. Ex-/Import: alles landet in einem Bucket und für den gilt eine Retention Policy!

Wenn ihr also zB. auch die Wetterdaten und und und da mit rein packt und wollt die Wetterdaten für immer (oder länger) aufbewahren, speichert ihr in der Influx dann auch jeden anderen Wert für bspw. immer. Wenn ihr also bspw. den Status eures Briefkastens in Influx loggt, könnt ihr in 10 Jahren noch nachschauen ob am 01. April 2022 Post eingeworfen wurde....

Überlegt euch das vorher gut was ihr da macht

Es macht mehr Sinn mit mehreren Buckets und entsprechenden "Aufbewahrungsrichtlinien" zu arbeiten. Als Beispiel die Stati der Datenübertragung für Grafana von Awekas, OSeM, Firmware usw. Die kommen in ein eigenes Bucket mit einer Policy von bspw. 3 Tagen. Dann wird alles älter als 3 Tage immer automatisch gelöscht.

---

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Nur der Import über die WebGUI geht anscheinend nicht...

Hab ich auch nicht hinbekommen, aber so schwierig ist es per CLI ja auch nicht.