InfluxDB - Daten weg / Wiederherstellung [gelöst]

[Marc Berg]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

Der "Trick" liegt hier:

In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.

So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

[Naturfreund]

@crunchip

Ich habe den Excelexport der Daten (aus Dezember) noch. Außerdem ein paar Screenshots die ich per WhatsApp mit meinen Nachbarn geteilt habe. Will mich hier aber auch nicht wegen so etwas streiten.
Mich würde viel mehr interessieren warum die verschwinden können.

Screenshot vom 18.12.22 (vom Smartphone aus gemacht, deshalb anderes Format):

Screenshot vom 13.01.22 (gleicher Zeitraum, am Laptop):

[Naturfreund]

@marc-berg said in InfluxDB - Daten weg / Wiederherstellung:

So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

Auf jeden Fall

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist

die Erklärung ist für

@marc-berg sagte in InfluxDB - Daten weg / Wiederherstellung:

Für eine InfluxDB 2.x

https://forum.iobroker.net/post/927744

nicht für deine 1.8 .. Version

[Marc Berg]

@glasfaser Hehe, ich habe im Thread Version 2.x gelesen, aber das war ja DEIN Beitrag.

@Naturfreund Dann vergiss, was ich geschrieben habe, das geht mit der 1er Version nicht.

[Naturfreund]

@marc-berg

Die Frage hab ich noch nicht gestellt, lag mir aber schon auf der Zunge. Ich arbeite aktuell noch mit 32 Bit BS. Kann ich da überhaupt auf die V2.x hoch?
Meines Wissens nach ist dafür ein 64 Bit BS notwendig.

Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Meines Wissens nach ist dafür ein 64 Bit BS notwendig.

Richtig !

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?

so habe ich es gemacht :

Datenpunkt von alt 1.8 als lp exportieren

Beispiel einer Datenbank : Solaredge

influx_inspect export -database Solaredge -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal -retention autogen  -out /mnt/influxv1backup.lp -lponly

influx write   --bucket iobroker  --file /var/lib/influxdb2/influxv1backup.lp

[crunchip]

@naturfreund ich möcht auch nicht streiten, aber das ist vom Dezember
nu mal so am Rande

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Hab gerade nochmal versucht den InfluxDB Backup vom 06.01. wiederzustellen:

und was du da zwischenzeitlich sonst noch probiert hast, keine Ahnung.

ich spreche von deinem Januar Beitrag https://forum.iobroker.net/post/926727
und wenn du nun mal nen ganzen Tag

error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086

in Log stehen hast, sind da definitiv keine Daten für den Zeitraum
das was du zeigst ist Grafana,
wenn dann müsstest du dich schon auf die Datenbank aufschalten und die Daten anhand der Zeitstempel vergleichen

[Naturfreund]

@crunchip

Das Backup ist ja fehl geschlagen, ergo arbeite ich noch auf "Main". Sonst habe ich nichts weiter probiert bezüglich Wiederherstellung.

In Grafana hab ich nur die InfluxDB eingebunden.
Die Daten die mir angezeigt wurden und jetzt weg sind müssen ja zwischenzeitlich irgendwo existiert haben. Vielleicht wurden diese während des gesamten Zeitraums nicht weg geschrieben. Und als der "Cach" voll war, waren se weg. Ich kann hier nur spekulieren, da ich die Architektur dahinter nicht kenne.
Dann wären die in den Backups auch nicht drin.

Kann ich die Daten aus den Backups nicht einfach in eine neue Datenbank speichern und die dann erst mal mit Grafana analysieren?
Würde mir vollkommen ausreichen.
Nur erstelle ich gerade ein Tagesgenaue Statistik des Primärenergieverbrauchs unseres Hauses über ein ganzes Jahr. Da tur das schon weh wenn solche Zeiträume fehlen.

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Kann ich die Daten aus den Backups nicht einfach in eine neue Datenbank speichern und die dann erst mal mit Grafana analysieren?
Würde mir vollkommen ausreichen.

Beispiel :

influxd restore -portable -db NamederaltenDatenbank -newdb NeuerDatenbankname  /tmp/MeinBackup

https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/

[crunchip]

@naturfreund da du noch influx 1.x verwendest, kannst du zumindest mit InfluxDBStudio arbeiten.

[Naturfreund]

@glasfaser

Sorry, das geht mir noch zu schnell. Ich würde jetzt gerne eines der folgenden Backups wiederstellen:

pi@raspberrypi:/opt/iobroker/backups $ dir
2022_03_04-15_37_18_backupiobroker.tar.gz
influxDB_2023_01_03-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_04-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_05-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_06-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_07-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_08-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_09-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_10-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_11-02_40_18_backupiobroker.tar.gz
influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz

zum Beipsiel:

influxd restore - portable -db influxDB_2023_01_09-02_40_18_backupiobroker.tar.gz - newdb ioBroker_2023_01_09 /tmp/InfluxBackup

Und schon liegt unter /tmp/InfluxBackup die Datenbank? Woher kennt er denn den Pfad der Sicherungsquelle?

[Naturfreund]

@crunchip

Wäre auch eine Option.

[Glasfaser]

@naturfreund

gz zip entpacken ( welches Backup du haben möchtest ) und dann am Ende den Pfad im Code dazu angeben

Beispiel:

influxd restore -portable -db NamederaltenDatenbank -newdb NeuerDatenbankname  /opt/iobroker/backups/influxDB_2023_01_12-02_40_18_backupiobroker

NamederaltenDatenbank ist die alte Datenbank von Influx gemeint
NeuerDatenbankname ist deine neuen Datenbank zum testen gemeint

EDIT :
siehe oben

[Naturfreund]

@glasfaser

Ich hab aktuell nur eine Datenbank. Mit NamederaltenDatenbank ist dann iobroker gemeint?

pi@raspberrypi:~ $ influx
Connected to http://localhost:8086 version 1.8.10
InfluxDB shell version: 1.8.10
> show databases
name: databases
name
----
_internal
iobroker

[Glasfaser]

@naturfreund

ist dann iobroker gemeint?

ja

[Naturfreund]

@glasfaser

pi@raspberrypi:/tmp $ tar xfvz iobroker_2023_01_09-02_40_10_backupiobroker.tar.gz
backup/
backup/backup.json
backup/files/
backup/files/0_userdata.0/
backup/files/admin.0/
backup/files/lovelace.0/
backup/files/shelly.0/
backup/files/web.0/
backup/files/shelly.0/scripts/

Soweit so gut
Och mist, ich sehe ich hab die falsche Datei erwischt

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

iobroker_2023

???

[Naturfreund]

@glasfaser

pi@raspberrypi:/tmp $ tar xfvz influxDB_2023_01_09-02_40_18_backupiobroker.tar.gz
...
tar: .: Funktion utime fehlgeschlagen: Die Operation ist nicht erlaubt
tar: .: Kann Zugriffsrechte nicht zu rwxr-xr-t ändern: Die Operation ist nicht erlaubt
tar: Beende mit Fehlerstatus aufgrund vorheriger Fehler

Was hab ich jetzt wieder falsch gemacht?

mit sudo hat es geklappt:

pi@raspberrypi:/tmp/backup $ dir
20230109T014018Z.manifest     20230109T014018Z.s494.tar.gz  20230109T014018Z.s726.tar.gz
20230109T014018Z.meta         20230109T014018Z.s502.tar.gz  20230109T014018Z.s734.tar.gz
20230109T014018Z.s278.tar.gz  20230109T014018Z.s510.tar.gz  20230109T014018Z.s742.tar.gz
20230109T014018Z.s286.tar.gz  20230109T014018Z.s518.tar.gz  20230109T014018Z.s750.tar.gz
20230109T014018Z.s294.tar.gz  20230109T014018Z.s526.tar.gz  20230109T014018Z.s758.tar.gz
20230109T014018Z.s302.tar.gz  20230109T014018Z.s534.tar.gz  20230109T014018Z.s766.tar.gz
20230109T014018Z.s310.tar.gz  20230109T014018Z.s542.tar.gz  20230109T014018Z.s774.tar.gz
20230109T014018Z.s318.tar.gz  20230109T014018Z.s550.tar.gz  20230109T014018Z.s782.tar.gz
20230109T014018Z.s326.tar.gz  20230109T014018Z.s558.tar.gz  20230109T014018Z.s790.tar.gz
20230109T014018Z.s334.tar.gz  20230109T014018Z.s566.tar.gz  20230109T014018Z.s798.tar.gz
20230109T014018Z.s342.tar.gz  20230109T014018Z.s574.tar.gz  20230109T014018Z.s806.tar.gz
20230109T014018Z.s350.tar.gz  20230109T014018Z.s582.tar.gz  20230109T014018Z.s814.tar.gz
20230109T014018Z.s358.tar.gz  20230109T014018Z.s590.tar.gz  20230109T014018Z.s822.tar.gz
20230109T014018Z.s366.tar.gz  20230109T014018Z.s598.tar.gz  20230109T014018Z.s830.tar.gz
20230109T014018Z.s374.tar.gz  20230109T014018Z.s606.tar.gz  20230109T014018Z.s838.tar.gz
20230109T014018Z.s382.tar.gz  20230109T014018Z.s614.tar.gz  20230109T014018Z.s846.tar.gz
20230109T014018Z.s390.tar.gz  20230109T014018Z.s622.tar.gz  20230109T014018Z.s854.tar.gz
20230109T014018Z.s398.tar.gz  20230109T014018Z.s630.tar.gz  20230109T014018Z.s862.tar.gz
20230109T014018Z.s406.tar.gz  20230109T014018Z.s638.tar.gz  20230109T014018Z.s870.tar.gz
20230109T014018Z.s414.tar.gz  20230109T014018Z.s646.tar.gz  20230109T014018Z.s878.tar.gz
20230109T014018Z.s422.tar.gz  20230109T014018Z.s654.tar.gz  20230109T014018Z.s886.tar.gz
20230109T014018Z.s430.tar.gz  20230109T014018Z.s662.tar.gz  20230109T014018Z.s894.tar.gz
20230109T014018Z.s438.tar.gz  20230109T014018Z.s670.tar.gz  20230109T014018Z.s902.tar.gz
20230109T014018Z.s446.tar.gz  20230109T014018Z.s678.tar.gz  20230109T014018Z.s910.tar.gz
20230109T014018Z.s454.tar.gz  20230109T014018Z.s686.tar.gz  20230109T014018Z.s918.tar.gz
20230109T014018Z.s462.tar.gz  20230109T014018Z.s694.tar.gz  20230109T014018Z.s926.tar.gz
20230109T014018Z.s470.tar.gz  20230109T014018Z.s702.tar.gz  20230109T014018Z.s934.tar.gz
20230109T014018Z.s478.tar.gz  20230109T014018Z.s710.tar.gz  20230109T014018Z.s942.tar.gz
20230109T014018Z.s486.tar.gz  20230109T014018Z.s718.tar.gz  influxDB_2023_01_09-02_40_18_backupiobroker.tar.gz