InfluxDB - Daten weg / Wiederherstellung [gelöst]
-
@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung
Zum Überblick ein Screenshot aus dem Log:
Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.
Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:
Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.
Error on writePoint
Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.
2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24 2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason 2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR) 2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086"" 2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ... 2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x 2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086 2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ... 2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.xWeatherunderground läuft recht häufig:
-
Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:
Sicherst du auch Influx damit oder nur den ioBroker
-
@glasfaser Beides
-
@crunchip said in InfluxDB - Daten weg / Wiederherstellung:
@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz
allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre
Ok, hab die Erklärung gefunden:
By changing the configuration it is possible to cache new data points up to a defined count or a defined maximum interval after which all points are stored into the database. This also gives better performance and less system load compared to writing the data points directly. InfluxDB has a limitation of the maximum size for writes which is at around 2MB. It should be safe to have up to 15.000 data points as buffer maximum, maybe also 20.000, but this highly depends on the length of your datapoint-IDs. -
-
Irgendwie wusste ich, das wird die nächste Frage
1,3 GB sind das aktuell.12.1.2023, 02:40 >>> influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz <<< (1.3GiB)
-
Was mir gerade aufgefallen ist, Backitup legt die Backups teilweise auch lokal ab obwohl ich Google Drive als Zielort gewählt habe:
Lokal:
Google Drive:
Wenn er die Sicherungen tatsächlich parallel ablegt, dann wurdert mich ja nichts. Da aber dann die Frage, warum? Lokal ist nicht konfiguriert. Oder werden die Sicherungen erst lokal abgelegt und dann in Google Drive kopiert?
-
@naturfreund ich nutze zwar nicht google, aber die werden local abgelegt und wenn abgeschloßen gelöscht, ausser das das "Zielverzeichnis" ist nicht erreichbar, dann verbleiben sie local
selbiges gilt auch für manuelle backups, diese verbleiben ebenfalls local und müssen manuell gelöscht werden. -
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Weatherunderground läuft recht häufig:
was hast du da eingestellt?
die Antwort steht noch aus? https://forum.iobroker.net/post/927078
-
@crunchip said in InfluxDB - Daten weg / Wiederherstellung:
@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?oder
@naturfreund sagte in SMA Wechselrichter:Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordertJa, das ist noch aktuell so.
Den Shelly 3 EM habe ich nicht mehr. Die historischen Daten möchte ich allerdings behalten, deshalb existiert der Datenpunkt noch. Viele Shellys habe ich bereits wieder raus geschmissen. Grundsätzlich sollte ich mal aufräumen, shame on me.Die Einstellungen vom Wetteradapter hatte ich oben schon gepostet, ist vielleicht unter gegangen. Ich hole die Daten zu bestimmten Zeiten ab:
@naturfreund said in InfluxDB - Daten weg / Wiederherstellung:
Weatherunderground läuft recht häufig:
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Ich hole die Daten zu bestimmten Zeiten ab:
das habe ich schon gesehen, warum in 3-4 Minuten Takt, das überlastet und bringt auch nix, deshalb hab ich doch die korrekte Einstellung gezeigt.
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Ja, das ist noch aktuell so.
Netztwerk?
-
Die Daten hole ich so hochfrequent, da ich einige davon mit meiner PV Anlage abgleiche (solare Einstrahlung).
Werde ich auf 15 Minuten reduzieren.
Dann funktioniert das Skript allerdings nicht mehr
Außerdem hab ich das Backup für die InfluxDB heute ausgesetzt.
Die "Schreibaktionen zusammenfassen" hab ich auf 50 geändert. Mit 15000/5000/1000/100 kommen mir die Werte für die Visualisierung zu langsam.
Morgen werden wir im Log sehen ob es was gebracht hat.
Netzwerk dürfte kein Flaschenhals sein, ich habe je nach Standort im Haus zwischen 100 und 1100 MBits. Raspi/Router/Wechselrichter/SMA HM 2.0 hängen alle am Gigabit Switch über Kabel (max 2m).
-
Log war heute leer was die obigen Warnings und Errors betrifft.
Das Backup auf Google Drive war eine Notlösung. Werde jetzt endlich die NAS einbinden und die Sicherungen dort ablegen und damit noch einmal testen.
Zweites Problem, wie bekomme ich die alten Daten wieder hergestellt?
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
wie bekomme ich die alten Daten wieder hergestellt
welche alten Daten?
-
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten (sie Screenshots oben).
Die Daten habe ich in den Backitup Sicherungen.
Bekomme ich die da raus und kann diese zum Beispiel über eine CSV Datei wieder in die InfluxDB schreiben?
Komplettes Backup zurück spielen würde nur gehen, wenn ich die aktuelle DB "droppe" und durch das Backup ersetze. Die Daten neuer als die Sicherung gehen somit verloren. Oder? -
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten
ja ich weiß, jedoch verstehe ich nicht
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten habe ich in den Backitup Sicherungen.
wenn die Datenbank nicht erreichbar war, ist dorthin auch nix geschrieben worden, wie soll das dann in einem backup enthalten sein?
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
wieder in die InfluxDB schreiben
ja, man kann Daten manuell nachtragen
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten neuer als die Sicherung gehen somit verloren. Oder?
ja
-
Für eine InfluxDB 2.x habe ich mal zwei Zeiträume zusammengeführt. Das geht aber nur manuell, nicht mit dem Backitup Adapter.
Dazu machst Du zunächst ein Restore in ein neues Bucket (das *tar.gz muss vorher entpackt werden):
influx restore --new-bucket <NAMENEW> --bucket <NAMEOLD> <PFAD/ZUM/BACKUP> -t <TOKEN>Danach kopierst Du die Daten (Dabei entstehen keine doppelten Daten, falls sich die Zeiträume überlappen, der "range" kann also großzügig gewählt werden)
influx query 'from(bucket:"<NAMENEW>") |> range(start:-10y) |> filter(fn: (r) => r._measurement == "<NAME_MEASUREMENT>") |> set(key: "_measurement", value: "<NAME_MEASUREMENT>") |> to(bucket: "<NAMEOLD>")'Bezeichner in spitzen Klammern sind natürlich alle anzupassen.
Mit dem zweiten Befehl kann man so innerhalb eines Buckets auch relativ einfach Daten zwischen Measurements kopieren, hilfreich, wenn man mal Objekte umbenennt.
Danach natürlich noch das "ZWISCHENBUCKET" löschen. Fertig.
-
Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.
Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist
Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
By the way:
Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld. -
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten waren ja mal da gewesen
das bezweifle ich, wenn die DB nen Tag nicht erreichbar war, wo sollen die Daten dann her kommen?
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
Der "Trick" liegt hier:
In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.
