Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Einsteigerfragen
    4. InfluxDB - Daten weg / Wiederherstellung [gelöst]

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    InfluxDB - Daten weg / Wiederherstellung [gelöst]

    This topic has been deleted. Only users with topic management privileges can see it.
    • Marc Berg
      Marc Berg Most Active @Naturfreund last edited by

      @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

      Geht das mit der Methode von marc-berg nur wenn ich die Datenbank auf 2.0 migriert habe? Oder gibt es auch eine Möglichkeit das in der Version 1.8 zu machen?

      Diese Methode basiert auf der Skriptsprache "Flux" und läuft nur unter influxdb 2.x. Sicher gibt es auch eine entsprechende Methode für die 1.x, die kenne ich aber nicht.

      N 1 Reply Last reply Reply Quote 0
      • N
        Naturfreund @Marc Berg last edited by

        @marc-berg

        Ich bin gerade darüber gestolpert, werde mir das mal genauer ansehen:

        https://github.com/toni-moreno/syncflux#run-as-a-database-replication-tool

        Marc Berg 1 Reply Last reply Reply Quote 0
        • Marc Berg
          Marc Berg Most Active @Naturfreund last edited by Marc Berg

          @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

          @marc-berg

          Ich bin gerade darüber gestolpert, werde mir das mal genauer ansehen:

          https://github.com/toni-moreno/syncflux#run-as-a-database-replication-tool

          Hm, interessant. Es sieht für mich aber so aus, als ob du dafür zwei Datenbanken (Server) benötigst. Ich dachte, du hättest einen Server und x Backup-Files.

          Meinst du nicht, dass das hier besser ist:

          https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/#restore-data-to-an-existing-database

          Das entspricht etwa "meiner" Methode.

          1 Reply Last reply Reply Quote 0
          • N
            Naturfreund last edited by

            @marc-berg said in InfluxDB - Daten weg / Wiederherstellung:

            @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

            @marc-berg

            Ich bin gerade darüber gestolpert, werde mir das mal genauer ansehen:

            https://github.com/toni-moreno/syncflux#run-as-a-database-replication-tool

            Hm, interessant. Es sieht für mich aber so aus, als ob du dafür zwei Datenbanken (Server) benötigst. Ich dachte, du hättest einen Server und x Backup-Files.

            Meinst du nicht, dass das hier besser ist:

            https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/#restore-data-to-an-existing-database

            Das entspricht etwa "meiner" Methode.

            Stimmt, ich habe 1 Server.

            Bei den Begriffen gerate ich ins Straucheln.

            show databases
            

            Zeigt mir die Datenbanken an. Deshalb spreche ich von einer Datenbank. Die Backups die ich wieder gestellt habe, habe ich als neue Datenbank anlegen lassen. Ich will die aktuelle Datenbank ja nicht überschreiben.

            pi@raspberrypi:~ $ influx
            Connected to http://localhost:8086 version 1.8.10
            InfluxDB shell version: 1.8.10
            > > show databases
            name: databases
            name
            ----
            _internal
            iobroker
            iobroker080123
            iobroker010123
            iobroker130123
            > 
            

            Und jetzt möchte ich die Zeitabschnitte in denen die Backups Daten enthalten in mein "iobroker" Datenbank migrieren.
            Wenn ich deinen Link verstehe, dann müsste das jetzt funktionieren. Alte Datenpunkte mit identischen Daten werden einfach überschrieben.

            Punkt 1 hab ich bereits erledigt:

            1. Restore a backup to a temporary database.

            Fehlt noch:
            2. Use InfluxQL or Flux to query data from the temporary database and write it back to the existing database.

            -- Repeat for each retention policy in the temporary database
            SELECT *
            INTO "example-db".autogen.:MEASUREMENT
            FROM "example-tmp-db".autogen./.*/ GROUP BY *
            
            Marc Berg 1 Reply Last reply Reply Quote 0
            • Marc Berg
              Marc Berg Most Active @Naturfreund last edited by

              @naturfreund

              Das Statement müsste in deinem Fall

              SELECT *
              INTO iobroker.autogen.<measurement_name>:MEASUREMENT
              FROM iobroker080123.autogen.<measurement_name>
              GROUP BY *
              

              lauten. Ich würd's aber erstmal in einer weiteren DB testen.

              N 2 Replies Last reply Reply Quote 0
              • N
                Naturfreund @Marc Berg last edited by

                @marc-berg

                Ich merge zum Test erst zwei Backups.

                1 Reply Last reply Reply Quote 0
                • N
                  Naturfreund @Marc Berg last edited by Naturfreund

                  @marc-berg

                  Ich hab jetzt kein einzelnes Measurement gewählt:

                  > SELECT * INTO iobroker130123.autogen.:MEASUREMENT FROM iobroker080123.autogen./.*/ GROUP BY *
                  ERR: timeout
                  
                  

                  Für ein einzelnes Measurement hat es so geklappt:

                  > SELECT * INTO iobroker130123.autogen."shelly.0.SHSW-PM#A4CF12F3CBAB#1.ext.temperatureC1" FROM iobroker080123.autogen."shelly.0.SHSW-PM#A4CF12F3CBAB#1.ext.temperatureC1" GROUP BY *
                  name: result
                  time written
                  ---- -------
                  0    640288
                  

                  Ergebnis:
                  88adc4a2-1200-4b99-ab15-921de5ff0c0d-image.png

                  😃
                  Wir aber ein ganz schöner Aufwand, dass für alle 147 Measurements händisch zu machen...

                  1 Reply Last reply Reply Quote 0
                  • N
                    Naturfreund last edited by Naturfreund

                    Nochmal ein Vorher / Nachher Vergleich:

                    455da917-d6d0-4b38-9a41-ce7a343552a7-image.png

                    Influx starten:

                    pi@raspberrypi:~ $ influx
                    

                    Measurement auswählen:

                    > SELECT * INTO iobroker130123.autogen."shelly.0.SHSW-PM#A4CF12F3CBAB#1.ext.temperatureC1" FROM iobroker010123.autogen."shelly.0.SHSW-PM#A4CF12F3CBAB#1.ext.temperatureC1" GROUP BY *
                    name: result
                    time written
                    ---- -------
                    0    635668
                    

                    Ergebnis:

                    497a93cf-cf40-4fb6-af79-d8ce1b7d24fc-image.png

                    Danke dir in jedem Fall @Marc-Berg und auch @Thomas-Braun, @crunchip und @Glasfaser. Ich setze das Topic dann auf gelöst.

                    I 1 Reply Last reply Reply Quote 0
                    • I
                      IOJoker @Naturfreund last edited by

                      @naturfreund said in InfluxDB - Daten weg / Wiederherstellung [gelöst]:

                      Ich setze das Topic dann auf gelöst.

                      Hallo Naturfreund,

                      bei mir kommt es in letzter Zeit leider ebenfalls zu Datenverlust in der InfluxDB Datenbank. Du hast das Topic auf gelöst gesetzt, einen tatsächlichen Grund habt ihr aber nicht gefunden, richtig? Die Lücken in den Daten konntest du nur wieder schließen, weil du noch Backups hattest.

                      Läuft denn jetzt mit dem neuen System alles wieder ohne Probleme?

                      N 1 Reply Last reply Reply Quote 0
                      • N
                        Naturfreund @IOJoker last edited by

                        @iojoker
                        Oh, sorry, hab deine Frage übersehen. Ja, es läuft seit dem super stabil. Ich hab die SD Karte im Verdacht, beweisen kann ich es aber nicht. Mit SSD bisher keine Probleme mehr gehabt.
                        Würde auch jedem raten direkt mit einer SSD zu starten.

                        I 1 Reply Last reply Reply Quote 0
                        • I
                          IOJoker @Naturfreund last edited by

                          @naturfreund

                          Haha, besser spät als gar nicht. 🙂
                          Ich vermute, es lag am 32bit Betriebssystem. Ich hatte ja direkt mit SSD begonnen, jedoch mit 32bit. Seitdem ich auf 64bit umgestiegen bin, sind zum Glück keine Lücken mehr in den Daten aufgetreten.

                          1 Reply Last reply Reply Quote 0
                          • First post
                            Last post

                          Support us

                          ioBroker
                          Community Adapters
                          Donate

                          745
                          Online

                          31.9k
                          Users

                          80.2k
                          Topics

                          1.3m
                          Posts

                          7
                          142
                          11057
                          Loading More Posts
                          • Oldest to Newest
                          • Newest to Oldest
                          • Most Votes
                          Reply
                          • Reply as topic
                          Log in to reply
                          Community
                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                          The ioBroker Community 2014-2023
                          logo