Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Einsteigerfragen
    4. InfluxDB - Daten weg / Wiederherstellung [gelöst]

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    InfluxDB - Daten weg / Wiederherstellung [gelöst]

    This topic has been deleted. Only users with topic management privileges can see it.
    • Marc Berg
      Marc Berg Most Active @Naturfreund last edited by Marc Berg

      @naturfreund

      Für eine InfluxDB 2.x habe ich mal zwei Zeiträume zusammengeführt. Das geht aber nur manuell, nicht mit dem Backitup Adapter.

      Dazu machst Du zunächst ein Restore in ein neues Bucket (das *tar.gz muss vorher entpackt werden):

      influx restore --new-bucket <NAMENEW> --bucket  <NAMEOLD> <PFAD/ZUM/BACKUP> -t <TOKEN>
      

      Danach kopierst Du die Daten (Dabei entstehen keine doppelten Daten, falls sich die Zeiträume überlappen, der "range" kann also großzügig gewählt werden)

      influx query 'from(bucket:"<NAMENEW>") |> range(start:-10y) |> filter(fn: (r) => r._measurement == "<NAME_MEASUREMENT>") |> set(key: "_measurement", value: "<NAME_MEASUREMENT>") |> to(bucket: "<NAMEOLD>")'
      

      Bezeichner in spitzen Klammern sind natürlich alle anzupassen.

      Mit dem zweiten Befehl kann man so innerhalb eines Buckets auch relativ einfach Daten zwischen Measurements kopieren, hilfreich, wenn man mal Objekte umbenennt.

      Danach natürlich noch das "ZWISCHENBUCKET" löschen. Fertig.

      1 Reply Last reply Reply Quote 1
      • N
        Naturfreund @crunchip last edited by Naturfreund

        @crunchip

        Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.

        @Marc-Berg

        Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.

        Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist 😕

        Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730

        Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

        By the way:
        Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld.

        crunchip Marc Berg Glasfaser 3 Replies Last reply Reply Quote 0
        • crunchip
          crunchip Forum Testing Most Active @Naturfreund last edited by

          @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

          Die Daten waren ja mal da gewesen

          das bezweifle ich, wenn die DB nen Tag nicht erreichbar war, wo sollen die Daten dann her kommen?

          N 1 Reply Last reply Reply Quote 0
          • Marc Berg
            Marc Berg Most Active @Naturfreund last edited by

            @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

            Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

            Der "Trick" liegt hier:

            36dff60d-0720-41d4-b8c5-6c9933af86bc-grafik.png

            In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
            Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.

            So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

            N 1 Reply Last reply Reply Quote 0
            • N
              Naturfreund @crunchip last edited by

              @crunchip

              Ich habe den Excelexport der Daten (aus Dezember) noch. Außerdem ein paar Screenshots die ich per WhatsApp mit meinen Nachbarn geteilt habe. Will mich hier aber auch nicht wegen so etwas streiten.
              Mich würde viel mehr interessieren warum die verschwinden können.

              Screenshot vom 18.12.22 (vom Smartphone aus gemacht, deshalb anderes Format):
              60b62c5b-f5bf-4a66-ae2d-86563ac30822-image.png

              Screenshot vom 13.01.22 (gleicher Zeitraum, am Laptop):
              97080702-324f-404d-9112-6caa253b3660-image.png

              crunchip 1 Reply Last reply Reply Quote 0
              • N
                Naturfreund @Marc Berg last edited by

                @marc-berg said in InfluxDB - Daten weg / Wiederherstellung:

                So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

                Auf jeden Fall 🙂

                1 Reply Last reply Reply Quote 0
                • Glasfaser
                  Glasfaser @Naturfreund last edited by Glasfaser

                  @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                  Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist

                  die Erklärung ist für

                  @marc-berg sagte in InfluxDB - Daten weg / Wiederherstellung:

                  Für eine InfluxDB 2.x

                  https://forum.iobroker.net/post/927744

                  nicht für deine 1.8 .. Version

                  Marc Berg 1 Reply Last reply Reply Quote 0
                  • Marc Berg
                    Marc Berg Most Active @Glasfaser last edited by

                    @glasfaser Hehe, ich habe im Thread Version 2.x gelesen, aber das war ja DEIN Beitrag.

                    @Naturfreund Dann vergiss, was ich geschrieben habe, das geht mit der 1er Version nicht.

                    N 1 Reply Last reply Reply Quote 0
                    • N
                      Naturfreund @Marc Berg last edited by Naturfreund

                      @marc-berg

                      Die Frage hab ich noch nicht gestellt, lag mir aber schon auf der Zunge. Ich arbeite aktuell noch mit 32 Bit BS. Kann ich da überhaupt auf die V2.x hoch?
                      Meines Wissens nach ist dafür ein 64 Bit BS notwendig.

                      Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?

                      Glasfaser Marc Berg 3 Replies Last reply Reply Quote 0
                      • Glasfaser
                        Glasfaser @Naturfreund last edited by

                        @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                        Meines Wissens nach ist dafür ein 64 Bit BS notwendig.

                        Richtig !

                        1 Reply Last reply Reply Quote 0
                        • Glasfaser
                          Glasfaser @Naturfreund last edited by Glasfaser

                          @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                          Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?

                          so habe ich es gemacht :

                          Datenpunkt von alt 1.8 als lp exportieren

                          Beispiel einer Datenbank : Solaredge

                          influx_inspect export -database Solaredge -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal -retention autogen  -out /mnt/influxv1backup.lp -lponly
                          
                          influx write   --bucket iobroker  --file /var/lib/influxdb2/influxv1backup.lp
                          
                          1 Reply Last reply Reply Quote 0
                          • crunchip
                            crunchip Forum Testing Most Active @Naturfreund last edited by

                            @naturfreund ich möcht auch nicht streiten, aber das ist vom Dezember
                            nu mal so am Rande

                            @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                            Hab gerade nochmal versucht den InfluxDB Backup vom 06.01. wiederzustellen:

                            und was du da zwischenzeitlich sonst noch probiert hast, keine Ahnung.

                            ich spreche von deinem Januar Beitrag https://forum.iobroker.net/post/926727
                            und wenn du nun mal nen ganzen Tag

                            error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
                            

                            in Log stehen hast, sind da definitiv keine Daten für den Zeitraum
                            das was du zeigst ist Grafana,
                            wenn dann müsstest du dich schon auf die Datenbank aufschalten und die Daten anhand der Zeitstempel vergleichen

                            N 1 Reply Last reply Reply Quote 0
                            • N
                              Naturfreund @crunchip last edited by

                              @crunchip

                              Das Backup ist ja fehl geschlagen, ergo arbeite ich noch auf "Main". Sonst habe ich nichts weiter probiert bezüglich Wiederherstellung.

                              In Grafana hab ich nur die InfluxDB eingebunden.
                              Die Daten die mir angezeigt wurden und jetzt weg sind müssen ja zwischenzeitlich irgendwo existiert haben. Vielleicht wurden diese während des gesamten Zeitraums nicht weg geschrieben. Und als der "Cach" voll war, waren se weg. Ich kann hier nur spekulieren, da ich die Architektur dahinter nicht kenne.
                              Dann wären die in den Backups auch nicht drin.

                              Kann ich die Daten aus den Backups nicht einfach in eine neue Datenbank speichern und die dann erst mal mit Grafana analysieren?
                              Würde mir vollkommen ausreichen.
                              Nur erstelle ich gerade ein Tagesgenaue Statistik des Primärenergieverbrauchs unseres Hauses über ein ganzes Jahr. Da tur das schon weh wenn solche Zeiträume fehlen.

                              Glasfaser crunchip 2 Replies Last reply Reply Quote 0
                              • Glasfaser
                                Glasfaser @Naturfreund last edited by Glasfaser

                                @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                                Kann ich die Daten aus den Backups nicht einfach in eine neue Datenbank speichern und die dann erst mal mit Grafana analysieren?
                                Würde mir vollkommen ausreichen.

                                Beispiel :

                                influxd restore -portable -db NamederaltenDatenbank -newdb NeuerDatenbankname  /tmp/MeinBackup
                                

                                https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/

                                N 1 Reply Last reply Reply Quote 0
                                • crunchip
                                  crunchip Forum Testing Most Active @Naturfreund last edited by

                                  @naturfreund da du noch influx 1.x verwendest, kannst du zumindest mit InfluxDBStudio arbeiten.

                                  N 1 Reply Last reply Reply Quote 0
                                  • N
                                    Naturfreund @Glasfaser last edited by

                                    @glasfaser

                                    Sorry, das geht mir noch zu schnell. Ich würde jetzt gerne eines der folgenden Backups wiederstellen:

                                    pi@raspberrypi:/opt/iobroker/backups $ dir
                                    2022_03_04-15_37_18_backupiobroker.tar.gz
                                    influxDB_2023_01_03-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_04-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_05-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_06-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_07-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_08-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_09-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_10-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_11-02_40_18_backupiobroker.tar.gz
                                    influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz
                                    

                                    zum Beipsiel:

                                    influxd restore - portable -db influxDB_2023_01_09-02_40_18_backupiobroker.tar.gz - newdb ioBroker_2023_01_09 /tmp/InfluxBackup
                                    

                                    Und schon liegt unter /tmp/InfluxBackup die Datenbank? Woher kennt er denn den Pfad der Sicherungsquelle?

                                    Glasfaser 1 Reply Last reply Reply Quote 0
                                    • N
                                      Naturfreund @crunchip last edited by

                                      @crunchip

                                      Wäre auch eine Option.

                                      1 Reply Last reply Reply Quote 0
                                      • Glasfaser
                                        Glasfaser @Naturfreund last edited by Glasfaser

                                        @naturfreund

                                        gz zip entpacken ( welches Backup du haben möchtest ) und dann am Ende den Pfad im Code dazu angeben

                                        Beispiel:

                                        influxd restore -portable -db NamederaltenDatenbank -newdb NeuerDatenbankname  /opt/iobroker/backups/influxDB_2023_01_12-02_40_18_backupiobroker
                                        

                                        NamederaltenDatenbank ist die alte Datenbank von Influx gemeint
                                        NeuerDatenbankname ist deine neuen Datenbank zum testen gemeint

                                        EDIT :
                                        siehe oben

                                        N 2 Replies Last reply Reply Quote 0
                                        • N
                                          Naturfreund @Glasfaser last edited by

                                          @glasfaser

                                          Ich hab aktuell nur eine Datenbank. Mit NamederaltenDatenbank ist dann iobroker gemeint?

                                          pi@raspberrypi:~ $ influx
                                          Connected to http://localhost:8086 version 1.8.10
                                          InfluxDB shell version: 1.8.10
                                          > show databases
                                          name: databases
                                          name
                                          ----
                                          _internal
                                          iobroker
                                          
                                          Glasfaser 1 Reply Last reply Reply Quote 0
                                          • Glasfaser
                                            Glasfaser @Naturfreund last edited by

                                            @naturfreund

                                            ist dann iobroker gemeint?

                                            ja

                                            N 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate

                                            798
                                            Online

                                            31.9k
                                            Users

                                            80.2k
                                            Topics

                                            1.3m
                                            Posts

                                            7
                                            142
                                            11057
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo