NEWS
InfluxDB - Daten weg / Wiederherstellung [gelöst]
-
@naturfreund ich nutze zwar nicht google, aber die werden local abgelegt und wenn abgeschloßen gelöscht, ausser das das "Zielverzeichnis" ist nicht erreichbar, dann verbleiben sie local
selbiges gilt auch für manuelle backups, diese verbleiben ebenfalls local und müssen manuell gelöscht werden. -
@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung
Zum Überblick ein Screenshot aus dem Log:
Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.
Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:
Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.
Error on writePoint
Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.
2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24 2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason 2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR) 2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086"" 2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ... 2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x 2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086 2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ... 2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.xWeatherunderground läuft recht häufig:
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Weatherunderground läuft recht häufig:
was hast du da eingestellt?
die Antwort steht noch aus? https://forum.iobroker.net/post/927078
-
@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?oder
@naturfreund sagte in SMA Wechselrichter:Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert@crunchip said in InfluxDB - Daten weg / Wiederherstellung:
@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?oder
@naturfreund sagte in SMA Wechselrichter:Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordertJa, das ist noch aktuell so.
Den Shelly 3 EM habe ich nicht mehr. Die historischen Daten möchte ich allerdings behalten, deshalb existiert der Datenpunkt noch. Viele Shellys habe ich bereits wieder raus geschmissen. Grundsätzlich sollte ich mal aufräumen, shame on me.Die Einstellungen vom Wetteradapter hatte ich oben schon gepostet, ist vielleicht unter gegangen. Ich hole die Daten zu bestimmten Zeiten ab:
@naturfreund said in InfluxDB - Daten weg / Wiederherstellung:
Weatherunderground läuft recht häufig:
-
@crunchip said in InfluxDB - Daten weg / Wiederherstellung:
@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?oder
@naturfreund sagte in SMA Wechselrichter:Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordertJa, das ist noch aktuell so.
Den Shelly 3 EM habe ich nicht mehr. Die historischen Daten möchte ich allerdings behalten, deshalb existiert der Datenpunkt noch. Viele Shellys habe ich bereits wieder raus geschmissen. Grundsätzlich sollte ich mal aufräumen, shame on me.Die Einstellungen vom Wetteradapter hatte ich oben schon gepostet, ist vielleicht unter gegangen. Ich hole die Daten zu bestimmten Zeiten ab:
@naturfreund said in InfluxDB - Daten weg / Wiederherstellung:
Weatherunderground läuft recht häufig:
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Ich hole die Daten zu bestimmten Zeiten ab:
das habe ich schon gesehen, warum in 3-4 Minuten Takt, das überlastet und bringt auch nix, deshalb hab ich doch die korrekte Einstellung gezeigt.
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Ja, das ist noch aktuell so.
Netztwerk?
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Ich hole die Daten zu bestimmten Zeiten ab:
das habe ich schon gesehen, warum in 3-4 Minuten Takt, das überlastet und bringt auch nix, deshalb hab ich doch die korrekte Einstellung gezeigt.
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Ja, das ist noch aktuell so.
Netztwerk?
Die Daten hole ich so hochfrequent, da ich einige davon mit meiner PV Anlage abgleiche (solare Einstrahlung).
Werde ich auf 15 Minuten reduzieren.
Dann funktioniert das Skript allerdings nicht mehr :grimacing:Außerdem hab ich das Backup für die InfluxDB heute ausgesetzt.
Die "Schreibaktionen zusammenfassen" hab ich auf 50 geändert. Mit 15000/5000/1000/100 kommen mir die Werte für die Visualisierung zu langsam.
Morgen werden wir im Log sehen ob es was gebracht hat.
Netzwerk dürfte kein Flaschenhals sein, ich habe je nach Standort im Haus zwischen 100 und 1100 MBits. Raspi/Router/Wechselrichter/SMA HM 2.0 hängen alle am Gigabit Switch über Kabel (max 2m).
-
Log war heute leer was die obigen Warnings und Errors betrifft.
Das Backup auf Google Drive war eine Notlösung. Werde jetzt endlich die NAS einbinden und die Sicherungen dort ablegen und damit noch einmal testen.
Zweites Problem, wie bekomme ich die alten Daten wieder hergestellt?
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
wie bekomme ich die alten Daten wieder hergestellt
welche alten Daten?
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
wie bekomme ich die alten Daten wieder hergestellt
welche alten Daten?
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten (sie Screenshots oben).
Die Daten habe ich in den Backitup Sicherungen.
Bekomme ich die da raus und kann diese zum Beispiel über eine CSV Datei wieder in die InfluxDB schreiben?
Komplettes Backup zurück spielen würde nur gehen, wenn ich die aktuelle DB "droppe" und durch das Backup ersetze. Die Daten neuer als die Sicherung gehen somit verloren. Oder? -
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten (sie Screenshots oben).
Die Daten habe ich in den Backitup Sicherungen.
Bekomme ich die da raus und kann diese zum Beispiel über eine CSV Datei wieder in die InfluxDB schreiben?
Komplettes Backup zurück spielen würde nur gehen, wenn ich die aktuelle DB "droppe" und durch das Backup ersetze. Die Daten neuer als die Sicherung gehen somit verloren. Oder?@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten
ja ich weiß, jedoch verstehe ich nicht
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten habe ich in den Backitup Sicherungen.
wenn die Datenbank nicht erreichbar war, ist dorthin auch nix geschrieben worden, wie soll das dann in einem backup enthalten sein?
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
wieder in die InfluxDB schreiben
ja, man kann Daten manuell nachtragen
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten neuer als die Sicherung gehen somit verloren. Oder?
ja
-
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten (sie Screenshots oben).
Die Daten habe ich in den Backitup Sicherungen.
Bekomme ich die da raus und kann diese zum Beispiel über eine CSV Datei wieder in die InfluxDB schreiben?
Komplettes Backup zurück spielen würde nur gehen, wenn ich die aktuelle DB "droppe" und durch das Backup ersetze. Die Daten neuer als die Sicherung gehen somit verloren. Oder?Für eine InfluxDB 2.x habe ich mal zwei Zeiträume zusammengeführt. Das geht aber nur manuell, nicht mit dem Backitup Adapter.
Dazu machst Du zunächst ein Restore in ein neues Bucket (das *tar.gz muss vorher entpackt werden):
influx restore --new-bucket <NAMENEW> --bucket <NAMEOLD> <PFAD/ZUM/BACKUP> -t <TOKEN>Danach kopierst Du die Daten (Dabei entstehen keine doppelten Daten, falls sich die Zeiträume überlappen, der "range" kann also großzügig gewählt werden)
influx query 'from(bucket:"<NAMENEW>") |> range(start:-10y) |> filter(fn: (r) => r._measurement == "<NAME_MEASUREMENT>") |> set(key: "_measurement", value: "<NAME_MEASUREMENT>") |> to(bucket: "<NAMEOLD>")'Bezeichner in spitzen Klammern sind natürlich alle anzupassen.
Mit dem zweiten Befehl kann man so innerhalb eines Buckets auch relativ einfach Daten zwischen Measurements kopieren, hilfreich, wenn man mal Objekte umbenennt.
Danach natürlich noch das "ZWISCHENBUCKET" löschen. Fertig.
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten
ja ich weiß, jedoch verstehe ich nicht
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten habe ich in den Backitup Sicherungen.
wenn die Datenbank nicht erreichbar war, ist dorthin auch nix geschrieben worden, wie soll das dann in einem backup enthalten sein?
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
wieder in die InfluxDB schreiben
ja, man kann Daten manuell nachtragen
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten neuer als die Sicherung gehen somit verloren. Oder?
ja
Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.
Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist :confused:
Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
By the way:
Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld. -
Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.
Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist :confused:
Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
By the way:
Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld.@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten waren ja mal da gewesen
das bezweifle ich, wenn die DB nen Tag nicht erreichbar war, wo sollen die Daten dann her kommen?
-
Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.
Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist :confused:
Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
By the way:
Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld.@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
Der "Trick" liegt hier:
In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Die Daten waren ja mal da gewesen
das bezweifle ich, wenn die DB nen Tag nicht erreichbar war, wo sollen die Daten dann her kommen?
Ich habe den Excelexport der Daten (aus Dezember) noch. Außerdem ein paar Screenshots die ich per WhatsApp mit meinen Nachbarn geteilt habe. Will mich hier aber auch nicht wegen so etwas streiten.
Mich würde viel mehr interessieren warum die verschwinden können.Screenshot vom 18.12.22 (vom Smartphone aus gemacht, deshalb anderes Format):
Screenshot vom 13.01.22 (gleicher Zeitraum, am Laptop):
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
Der "Trick" liegt hier:
In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.
@marc-berg said in InfluxDB - Daten weg / Wiederherstellung:
So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.
Auf jeden Fall :-)
-
Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.
Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist :confused:
Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730
Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?
By the way:
Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld.@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist
die Erklärung ist für
@marc-berg sagte in InfluxDB - Daten weg / Wiederherstellung:
Für eine InfluxDB 2.x
https://forum.iobroker.net/post/927744
nicht für deine 1.8 .. Version
Synology 918+ 16GB - ioBroker in Docker v9 , VISO auf Trekstor Primebook C13 13,3" , Hikvision Domkameras mit Surveillance Station .. CCU RaspberryMatic in Synology VM .. Zigbee CC2538+CC2592 .. Sonoff .. KNX .. Modbus ..
-
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist
die Erklärung ist für
@marc-berg sagte in InfluxDB - Daten weg / Wiederherstellung:
Für eine InfluxDB 2.x
https://forum.iobroker.net/post/927744
nicht für deine 1.8 .. Version
@glasfaser Hehe, ich habe im Thread Version 2.x gelesen, aber das war ja DEIN Beitrag.
@Naturfreund Dann vergiss, was ich geschrieben habe, das geht mit der 1er Version nicht.
-
@glasfaser Hehe, ich habe im Thread Version 2.x gelesen, aber das war ja DEIN Beitrag.
@Naturfreund Dann vergiss, was ich geschrieben habe, das geht mit der 1er Version nicht.
Die Frage hab ich noch nicht gestellt, lag mir aber schon auf der Zunge. Ich arbeite aktuell noch mit 32 Bit BS. Kann ich da überhaupt auf die V2.x hoch?
Meines Wissens nach ist dafür ein 64 Bit BS notwendig.Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?
-
Die Frage hab ich noch nicht gestellt, lag mir aber schon auf der Zunge. Ich arbeite aktuell noch mit 32 Bit BS. Kann ich da überhaupt auf die V2.x hoch?
Meines Wissens nach ist dafür ein 64 Bit BS notwendig.Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Meines Wissens nach ist dafür ein 64 Bit BS notwendig.
Richtig !
-
Die Frage hab ich noch nicht gestellt, lag mir aber schon auf der Zunge. Ich arbeite aktuell noch mit 32 Bit BS. Kann ich da überhaupt auf die V2.x hoch?
Meines Wissens nach ist dafür ein 64 Bit BS notwendig.Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?
@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
Und dann gleich die Folgefrage: Backup einer alten 1.8.x DB Version kann dann mit einer neuen 2.x zusammengeführt werden?
so habe ich es gemacht :
Datenpunkt von alt 1.8 als lp exportieren
Beispiel einer Datenbank : Solaredge
influx_inspect export -database Solaredge -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal -retention autogen -out /mnt/influxv1backup.lp -lponlyinflux write --bucket iobroker --file /var/lib/influxdb2/influxv1backup.lp
Support us
744
Online32.5k
Benutzer81.6k
Themen1.3m
Beiträge