Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Einsteigerfragen
    4. InfluxDB - Daten weg / Wiederherstellung [gelöst]

    NEWS

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    • Monatsrückblick - April 2025

    InfluxDB - Daten weg / Wiederherstellung [gelöst]

    This topic has been deleted. Only users with topic management privileges can see it.
    • N
      Naturfreund @crunchip last edited by

      @crunchip said in InfluxDB - Daten weg / Wiederherstellung:

      @glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
      Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz
      41cc1a1b-0e59-44de-8db3-9121770be899-image.png

      allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

      Ok, hab die Erklärung gefunden:
      By changing the configuration it is possible to cache new data points up to a defined count or a defined maximum interval after which all points are stored into the database. This also gives better performance and less system load compared to writing the data points directly. InfluxDB has a limitation of the maximum size for writes which is at around 2MB. It should be safe to have up to 15.000 data points as buffer maximum, maybe also 20.000, but this highly depends on the length of your datapoint-IDs.

      Quelle: https://github.com/ioBroker/ioBroker.influxdb

      Glasfaser 1 Reply Last reply Reply Quote 0
      • Glasfaser
        Glasfaser @Naturfreund last edited by

        @naturfreund

        Wie groß ist das Backup von Influx bzw. von ioBroker

        ls -lAh /opt/iobroker/backups/
        
        N 1 Reply Last reply Reply Quote 0
        • N
          Naturfreund @Glasfaser last edited by

          @glasfaser

          Irgendwie wusste ich, das wird die nächste Frage 😉
          1,3 GB sind das aktuell.

          12.1.2023, 02:40 >>> influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz <<< (1.3GiB)

          1 Reply Last reply Reply Quote 0
          • N
            Naturfreund last edited by Naturfreund

            Was mir gerade aufgefallen ist, Backitup legt die Backups teilweise auch lokal ab obwohl ich Google Drive als Zielort gewählt habe:

            Lokal:
            63852eb8-40fb-49f2-8032-3509c30feff6-image.png

            Google Drive:

            e70b3535-32a9-48e9-85e1-a8af9e521bd9-image.png

            Wenn er die Sicherungen tatsächlich parallel ablegt, dann wurdert mich ja nichts. Da aber dann die Frage, warum? Lokal ist nicht konfiguriert. Oder werden die Sicherungen erst lokal abgelegt und dann in Google Drive kopiert?

            1 Reply Last reply Reply Quote 0
            • crunchip
              crunchip Forum Testing Most Active last edited by

              @naturfreund ich nutze zwar nicht google, aber die werden local abgelegt und wenn abgeschloßen gelöscht, ausser das das "Zielverzeichnis" ist nicht erreichbar, dann verbleiben sie local
              selbiges gilt auch für manuelle backups, diese verbleiben ebenfalls local und müssen manuell gelöscht werden.

              1 Reply Last reply Reply Quote 0
              • crunchip
                crunchip Forum Testing Most Active @Naturfreund last edited by crunchip

                @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                Weatherunderground läuft recht häufig:

                was hast du da eingestellt?
                2133ff89-aff1-4bf3-bbf8-3ddbaacc5ce9-image.png

                die Antwort steht noch aus? https://forum.iobroker.net/post/927078

                1 Reply Last reply Reply Quote 0
                • N
                  Naturfreund @crunchip last edited by Naturfreund

                  @crunchip said in InfluxDB - Daten weg / Wiederherstellung:

                  @naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
                  wie ist der aktuelle Stand Netzwerktechnisch?

                  oder
                  @naturfreund sagte in SMA Wechselrichter:

                  Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
                  Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

                  shelly em hast du auch noch soweit ich gelesen habe
                  ist dein Pi vllt damit überfordert

                  Ja, das ist noch aktuell so.
                  Den Shelly 3 EM habe ich nicht mehr. Die historischen Daten möchte ich allerdings behalten, deshalb existiert der Datenpunkt noch. Viele Shellys habe ich bereits wieder raus geschmissen. Grundsätzlich sollte ich mal aufräumen, shame on me.

                  Die Einstellungen vom Wetteradapter hatte ich oben schon gepostet, ist vielleicht unter gegangen. Ich hole die Daten zu bestimmten Zeiten ab:

                  @naturfreund said in InfluxDB - Daten weg / Wiederherstellung:

                  Weatherunderground läuft recht häufig:
                  b151f3e5-d1bf-4ae4-ab19-afb085d3f4b4-image.png

                  crunchip 1 Reply Last reply Reply Quote 0
                  • crunchip
                    crunchip Forum Testing Most Active @Naturfreund last edited by

                    @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                    Ich hole die Daten zu bestimmten Zeiten ab:

                    das habe ich schon gesehen, warum in 3-4 Minuten Takt, das überlastet und bringt auch nix, deshalb hab ich doch die korrekte Einstellung gezeigt.

                    @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                    Ja, das ist noch aktuell so.

                    Netztwerk?

                    N 1 Reply Last reply Reply Quote 0
                    • N
                      Naturfreund @crunchip last edited by

                      @crunchip

                      Die Daten hole ich so hochfrequent, da ich einige davon mit meiner PV Anlage abgleiche (solare Einstrahlung).
                      Werde ich auf 15 Minuten reduzieren.
                      Dann funktioniert das Skript allerdings nicht mehr 😬

                      Außerdem hab ich das Backup für die InfluxDB heute ausgesetzt.

                      Die "Schreibaktionen zusammenfassen" hab ich auf 50 geändert. Mit 15000/5000/1000/100 kommen mir die Werte für die Visualisierung zu langsam.

                      Morgen werden wir im Log sehen ob es was gebracht hat.

                      Netzwerk dürfte kein Flaschenhals sein, ich habe je nach Standort im Haus zwischen 100 und 1100 MBits. Raspi/Router/Wechselrichter/SMA HM 2.0 hängen alle am Gigabit Switch über Kabel (max 2m).

                      1 Reply Last reply Reply Quote 0
                      • N
                        Naturfreund last edited by

                        Log war heute leer was die obigen Warnings und Errors betrifft.

                        Das Backup auf Google Drive war eine Notlösung. Werde jetzt endlich die NAS einbinden und die Sicherungen dort ablegen und damit noch einmal testen.

                        Zweites Problem, wie bekomme ich die alten Daten wieder hergestellt?

                        1 Reply Last reply Reply Quote 0
                        • crunchip
                          crunchip Forum Testing Most Active last edited by

                          @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                          wie bekomme ich die alten Daten wieder hergestellt

                          welche alten Daten?

                          N 1 Reply Last reply Reply Quote 0
                          • N
                            Naturfreund @crunchip last edited by

                            @crunchip

                            In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten (sie Screenshots oben).

                            Die Daten habe ich in den Backitup Sicherungen.
                            Bekomme ich die da raus und kann diese zum Beispiel über eine CSV Datei wieder in die InfluxDB schreiben?
                            Komplettes Backup zurück spielen würde nur gehen, wenn ich die aktuelle DB "droppe" und durch das Backup ersetze. Die Daten neuer als die Sicherung gehen somit verloren. Oder?

                            crunchip Marc Berg 2 Replies Last reply Reply Quote 0
                            • crunchip
                              crunchip Forum Testing Most Active @Naturfreund last edited by

                              @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                              In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten

                              ja ich weiß, jedoch verstehe ich nicht

                              @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                              Die Daten habe ich in den Backitup Sicherungen.

                              wenn die Datenbank nicht erreichbar war, ist dorthin auch nix geschrieben worden, wie soll das dann in einem backup enthalten sein?

                              @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                              wieder in die InfluxDB schreiben

                              ja, man kann Daten manuell nachtragen

                              @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                              Die Daten neuer als die Sicherung gehen somit verloren. Oder?

                              ja

                              N 1 Reply Last reply Reply Quote 0
                              • Marc Berg
                                Marc Berg Most Active @Naturfreund last edited by Marc Berg

                                @naturfreund

                                Für eine InfluxDB 2.x habe ich mal zwei Zeiträume zusammengeführt. Das geht aber nur manuell, nicht mit dem Backitup Adapter.

                                Dazu machst Du zunächst ein Restore in ein neues Bucket (das *tar.gz muss vorher entpackt werden):

                                influx restore --new-bucket <NAMENEW> --bucket  <NAMEOLD> <PFAD/ZUM/BACKUP> -t <TOKEN>
                                

                                Danach kopierst Du die Daten (Dabei entstehen keine doppelten Daten, falls sich die Zeiträume überlappen, der "range" kann also großzügig gewählt werden)

                                influx query 'from(bucket:"<NAMENEW>") |> range(start:-10y) |> filter(fn: (r) => r._measurement == "<NAME_MEASUREMENT>") |> set(key: "_measurement", value: "<NAME_MEASUREMENT>") |> to(bucket: "<NAMEOLD>")'
                                

                                Bezeichner in spitzen Klammern sind natürlich alle anzupassen.

                                Mit dem zweiten Befehl kann man so innerhalb eines Buckets auch relativ einfach Daten zwischen Measurements kopieren, hilfreich, wenn man mal Objekte umbenennt.

                                Danach natürlich noch das "ZWISCHENBUCKET" löschen. Fertig.

                                1 Reply Last reply Reply Quote 1
                                • N
                                  Naturfreund @crunchip last edited by Naturfreund

                                  @crunchip

                                  Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.

                                  @Marc-Berg

                                  Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.

                                  Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist 😕

                                  Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730

                                  Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

                                  By the way:
                                  Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld.

                                  crunchip Marc Berg Glasfaser 3 Replies Last reply Reply Quote 0
                                  • crunchip
                                    crunchip Forum Testing Most Active @Naturfreund last edited by

                                    @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                                    Die Daten waren ja mal da gewesen

                                    das bezweifle ich, wenn die DB nen Tag nicht erreichbar war, wo sollen die Daten dann her kommen?

                                    N 1 Reply Last reply Reply Quote 0
                                    • Marc Berg
                                      Marc Berg Most Active @Naturfreund last edited by

                                      @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                                      Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

                                      Der "Trick" liegt hier:

                                      36dff60d-0720-41d4-b8c5-6c9933af86bc-grafik.png

                                      In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
                                      Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.

                                      So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

                                      N 1 Reply Last reply Reply Quote 0
                                      • N
                                        Naturfreund @crunchip last edited by

                                        @crunchip

                                        Ich habe den Excelexport der Daten (aus Dezember) noch. Außerdem ein paar Screenshots die ich per WhatsApp mit meinen Nachbarn geteilt habe. Will mich hier aber auch nicht wegen so etwas streiten.
                                        Mich würde viel mehr interessieren warum die verschwinden können.

                                        Screenshot vom 18.12.22 (vom Smartphone aus gemacht, deshalb anderes Format):
                                        60b62c5b-f5bf-4a66-ae2d-86563ac30822-image.png

                                        Screenshot vom 13.01.22 (gleicher Zeitraum, am Laptop):
                                        97080702-324f-404d-9112-6caa253b3660-image.png

                                        crunchip 1 Reply Last reply Reply Quote 0
                                        • N
                                          Naturfreund @Marc Berg last edited by

                                          @marc-berg said in InfluxDB - Daten weg / Wiederherstellung:

                                          So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

                                          Auf jeden Fall 🙂

                                          1 Reply Last reply Reply Quote 0
                                          • Glasfaser
                                            Glasfaser @Naturfreund last edited by Glasfaser

                                            @naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

                                            Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist

                                            die Erklärung ist für

                                            @marc-berg sagte in InfluxDB - Daten weg / Wiederherstellung:

                                            Für eine InfluxDB 2.x

                                            https://forum.iobroker.net/post/927744

                                            nicht für deine 1.8 .. Version

                                            Marc Berg 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate

                                            516
                                            Online

                                            31.7k
                                            Users

                                            79.8k
                                            Topics

                                            1.3m
                                            Posts

                                            7
                                            142
                                            10575
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo