NEWS
Proxmox / Influxdb V1 zu V2... wie?
-
@sborg said in Proxmox / Influxdb V1 zu V2... wie?:
Guter Ansatz, funktioniert so aber auch nicht, außer du lässt es beim 1. Aufruf weg. Einmal wollen/müssen wir es ja haben
@Sborg
Nein. wollen wir nicht, da wir die export.csv mit dem Header vorbereiten ;)Ohne grep:
#datatype measurement,dateTime:RFC3339,boolean,string,double,double name,time,ack,from,q,value 0_userdata.0.Wetterstation.DP100.1.Bodenfeuchtigkeit,2022-12-31T12:11:44.427Z,true,system.adapter.simple-api.0,0,15Also, bei mir halt...
@boronsbruder So wäre es ja auch richtig. Wenn du aber den grep bei allen drei Aufrufen tätigst, wird es Zeile #2 nie geben ;)
Zeile #1 erzeugen wir ja per Hand, #3 + folgende dann der Export-Befehl.
Aufruf #1 müsste also ohne grep erfolgen, #2 und #3 dann mit.
-
- auf Host 1:
Exportieren: hier z.B die Datenpunkte
- javascript.0.Wetterstation.Aussentemperatur
- javascript.0.Wetterstation.Regen_Tag
- javascript.0.Wetterstation.Wind_max
Mit folgendem Kommando
echo '#datatype measurement,dateTime:RFC3339,boolean,string,double,double' > export.csv && influx -database [DB-name] -username [username] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Aussentemperatur","javascript.0.Wetterstation.Regen_Tag","javascript.0.Wetterstation.Wind_max"' -format csv -precision='rfc3339' >> export.csv- Die export.csv rüber auf Host2 kopieren
- Auf Host 2 mit
influx write -b [DATENBANKNAME] -f ./export.csv(Datenbank ist in v2 = bucket) importieren
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
Exportieren: hier z.B die Datenpunkte
Danke
Also für jeden DP eine eigene .csv?Das ist ja eine Arbeit für mehrere Tage.
Gibt es keine Möglichkeit, die komplette DB zu exportieren und in V2 wieder zu importieren? - auf Host 1:
-
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
Exportieren: hier z.B die Datenpunkte
Danke
Also für jeden DP eine eigene .csv?Das ist ja eine Arbeit für mehrere Tage.
Gibt es keine Möglichkeit, die komplette DB zu exportieren und in V2 wieder zu importieren? -
@sborg
ja, die brauchen wir ja auch nicht, da wir ihm
ja mit dem Header mitgeben, dass der- 1.Wert das meassurement
- der 2.Wert, die Zeit ist,
- usw.
Die Zeilen bestehen immer aus der gleichen Anzahl von komma-getrennten Werten
-
@negalein Sollte das nicht hiermit einfacher gehen:
https://docs.influxdata.com/influxdb/v2.6/upgrade/v1-to-v2/manual-upgrade/#migrate-time-series-data
@wendy2702 sagte in Proxmox / Influxdb V1 zu V2... wie?:
Sollte das nicht hiermit einfacher gehen:
Danke
Ja, schaut aus dass man hier die komplette DB bekommt.Aber was sind
buckets?Repeat steps 1-2 for each bucket -
@wendy2702 sagte in Proxmox / Influxdb V1 zu V2... wie?:
Sollte das nicht hiermit einfacher gehen:
Danke
Ja, schaut aus dass man hier die komplette DB bekommt.Aber was sind
buckets?Repeat steps 1-2 for each bucket -
@wendy2702 sagte in Proxmox / Influxdb V1 zu V2... wie?:
Sollte das nicht hiermit einfacher gehen:
Danke
Ja, schaut aus dass man hier die komplette DB bekommt.Aber was sind
buckets?Repeat steps 1-2 for each bucket@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:
Aber was sind buckets?
Moin,
A bucket is a named location where time series data is stored. All buckets have a retention period, a duration of time that each data point persists. InfluxDB drops all points with timestamps older than the bucket’s retention period. A bucket belongs to an organization.Siehe Manage Buckets
VG
Bernd -
jetzt kommt der Supergau. :(
Ich kenne die Login-Daten der V1 DB nicht mehr.
In ioB komm ich im Adapter auch nicht ans PW, da nur die doofen Sternchen sichtbar sind.Gibt es noch eine Möglichkeit?
Kann man es in Grafana rausfinden (in einem Config-File)?
-
jetzt kommt der Supergau. :(
Ich kenne die Login-Daten der V1 DB nicht mehr.
In ioB komm ich im Adapter auch nicht ans PW, da nur die doofen Sternchen sichtbar sind.Gibt es noch eine Möglichkeit?
Kann man es in Grafana rausfinden (in einem Config-File)?
@negalein
es gibt in der /etc/influxdb/influxdb.conf einen Eintrag unter[http] auth-enabled = true -
jetzt kommt der Supergau. :(
Ich kenne die Login-Daten der V1 DB nicht mehr.
In ioB komm ich im Adapter auch nicht ans PW, da nur die doofen Sternchen sichtbar sind.Gibt es noch eine Möglichkeit?
Kann man es in Grafana rausfinden (in einem Config-File)?
@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:
Gibt es noch eine Möglichkeit?
Kann man es in Grafana rausfinden (in einem Config-File)?
In der wetterstation.conf hast du die doch eingetragen ;)
-
@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:
Gibt es noch eine Möglichkeit?
Kann man es in Grafana rausfinden (in einem Config-File)?
In der wetterstation.conf hast du die doch eingetragen ;)
@sborg sagte in Proxmox / Influxdb V1 zu V2... wie?:
In der wetterstation.conf hast du die doch eingetragen
ahhhhhhh, danke :)
da hab ich user & passw leer.
dann hab ich quasi in der influx.conf auf auth=disabled?
komisch, dass im Adapter und in Grafana
Adminals User steht und in der .conf nichts. -
@sborg
ja, die brauchen wir ja auch nicht, da wir ihm
ja mit dem Header mitgeben, dass der- 1.Wert das meassurement
- der 2.Wert, die Zeit ist,
- usw.
Die Zeilen bestehen immer aus der gleichen Anzahl von komma-getrennten Werten
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
@sborg
ja, die brauchen wir ja auch nicht, da wir ihmDoch, in der #1 steht nur "Datatype" also es kommt ein "Messwert", ein Zeitstempel im xyz-Format", ein boolean....
Es erfolgt aber keinerlei Zuweisung wo das gespeichert wird. Das macht Zeile #2. Speichere den Boolwert aus Zeile #1 unter "ack" ab....Auszug Influx-Dokumentation:
#datatype measurement,tag,double,dateTime:RFC3339
m,host,used_percent,time
mem,host1,64.23,2020-01-01T00:00:00Z
mem,host2,72.01,2020-01-01T00:00:00Z
...Woher sollte er nun ohne #2 wissen das der Datatype "double" unter "used_percent" abgespeichert werden soll? ;)
-
@sborg sagte in Proxmox / Influxdb V1 zu V2... wie?:
In der wetterstation.conf hast du die doch eingetragen
ahhhhhhh, danke :)
da hab ich user & passw leer.
dann hab ich quasi in der influx.conf auf auth=disabled?
komisch, dass im Adapter und in Grafana
Adminals User steht und in der .conf nichts.@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:
dann hab ich quasi in der influx.conf auf auth=disabled?
Sehr wahrscheinlich. Passwort kannst du natürlich eintragen, nur wird es eben ggf. nicht benutzt ;)
cat /etc/influxdb/influxdb.conf | grep auth-enabled> auth-enabled = true > # no effect if either auth-enabled or pprof-enabled are set to false. > # pprof-auth-enabled = false > # endpoints. This setting has no effect if auth-enabled is set to false. > # ping-auth-enabled = falseNur #1 ist maßgeblich.
-
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
@sborg
ja, die brauchen wir ja auch nicht, da wir ihmDoch, in der #1 steht nur "Datatype" also es kommt ein "Messwert", ein Zeitstempel im xyz-Format", ein boolean....
Es erfolgt aber keinerlei Zuweisung wo das gespeichert wird. Das macht Zeile #2. Speichere den Boolwert aus Zeile #1 unter "ack" ab....Auszug Influx-Dokumentation:
#datatype measurement,tag,double,dateTime:RFC3339
m,host,used_percent,time
mem,host1,64.23,2020-01-01T00:00:00Z
mem,host2,72.01,2020-01-01T00:00:00Z
...Woher sollte er nun ohne #2 wissen das der Datatype "double" unter "used_percent" abgespeichert werden soll? ;)
@sborg
richtig...
Mein Fehler....
Ich lösche gerade nochmal die Datenbank.... -
@sborg
richtig...
Mein Fehler....
Ich lösche gerade nochmal die Datenbank....Für ganze Datenbanken
Export mit:
influx_inspect export -database iobroker -out /tmp/export.gz -compress -lponly
und Import mit:
influx write -b iobroker_test -f export.gzscheint zu funktionieren.
evtl. müssen die Datenverzeichnisse bei Export mit angegeben werden
-datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/
(bei mir)ABER
Die Dateien sind sehr groß (hier für 2 Jahre ca. 800MB)
Das dauert...Nur der Import über die WebGUI geht anscheinend nicht...
-
Bedenkt aber beim kpl. Ex-/Import: alles landet in einem Bucket und für den gilt eine Retention Policy!
Wenn ihr also zB. auch die Wetterdaten und und und da mit rein packt und wollt die Wetterdaten für immer (oder länger) aufbewahren, speichert ihr in der Influx dann auch jeden anderen Wert für bspw. immer. Wenn ihr also bspw. den Status eures Briefkastens in Influx loggt, könnt ihr in 10 Jahren noch nachschauen ob am 01. April 2022 Post eingeworfen wurde....
Überlegt euch das vorher gut was ihr da macht ;)
Es macht mehr Sinn mit mehreren Buckets und entsprechenden "Aufbewahrungsrichtlinien" zu arbeiten. Als Beispiel die Stati der Datenübertragung für Grafana von Awekas, OSeM, Firmware usw. Die kommen in ein eigenes Bucket mit einer Policy von bspw. 3 Tagen. Dann wird alles älter als 3 Tage immer automatisch gelöscht.
@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:
Nur der Import über die WebGUI geht anscheinend nicht...
Hab ich auch nicht hinbekommen, aber so schwierig ist es per CLI ja auch nicht.
-
mir raucht der Kopf und ich check garnichts mehr.
Wie/Wo/Was eingegeben werden muss.
Retention, ....Wetterstation auf InfluxDB 2: wenn ich hier mit InfluxDB 2 bei 0 anfange, hat dies keine Auswirkungen auf Awekas, Wunderground, usw.?
Ausnahme ist Grafana. Hier würde auch alles bei 0 beginnen?Alle anderen Sachen (Stromverbrauch, usw.) wären mir egal. Dann fängt da einfach auch alles bei 0 an.
-
@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:
mir raucht der Kopf und ich check garnichts mehr.
ich versteh dich. wie gesagt, da gehts nach dem topic titel ja nicht mehr um die wetter geschichte. (abgeschnippt)
hab gerade mal was neues in influx2 gebastelt.

immerhin... warum die 0 nicht angezeigt wird...
umlernen ist notwendig...Es macht mehr Sinn mit mehreren Buckets und entsprechenden "Aufbewahrungsrichtlinien" zu arbeiten.
soweit versteh ich das langsam... ;) nur wie bekomm ich einen DP aus dem bucket raus?
-
@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:
mir raucht der Kopf und ich check garnichts mehr.
ich versteh dich. wie gesagt, da gehts nach dem topic titel ja nicht mehr um die wetter geschichte. (abgeschnippt)
hab gerade mal was neues in influx2 gebastelt.

immerhin... warum die 0 nicht angezeigt wird...
umlernen ist notwendig...Es macht mehr Sinn mit mehreren Buckets und entsprechenden "Aufbewahrungsrichtlinien" zu arbeiten.
soweit versteh ich das langsam... ;) nur wie bekomm ich einen DP aus dem bucket raus?
@da_woody
löschen aus der DB?influx delete --bucket example-bucket \ --start '1970-01-01T00:00:00Z' \ --stop $(date +"%Y-%m-%dT%H:%M:%SZ") \ --predicate '_measurement="example-measurement"'hier wird vom 01.01.1970 00:00:00 Uhr bis jetzt die Messung "example-measurement" aus der Datenbank "example-bucket" gelöscht.
influx delete --bucket wetter \ --start '2022-01-01T01:00:00Z' \ --stop '2023-01-01T00:59:59Z'\ --predicate '_measurement="0_userdata.0.Wetterstation.DP100.1.Bodenfeuchtigkeit"'löscht das Jahr 2022 aus dem DP "0_userdata.0.Wetterstation.DP100.1.Bodenfeuchtigkeit" des Bucket "wetter"
ACHTUNG Zeitzone Z beachten!