UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[Naturfreund]

@glasfaser Beides

[Naturfreund]

@crunchip said in InfluxDB - Daten weg / Wiederherstellung:

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

Ok, hab die Erklärung gefunden:
By changing the configuration it is possible to cache new data points up to a defined count or a defined maximum interval after which all points are stored into the database. This also gives better performance and less system load compared to writing the data points directly. InfluxDB has a limitation of the maximum size for writes which is at around 2MB. It should be safe to have up to 15.000 data points as buffer maximum, maybe also 20.000, but this highly depends on the length of your datapoint-IDs.

Quelle: https://github.com/ioBroker/ioBroker.influxdb

[Glasfaser]

@naturfreund

Wie groß ist das Backup von Influx bzw. von ioBroker

ls -lAh /opt/iobroker/backups/

[Naturfreund]

@glasfaser

Irgendwie wusste ich, das wird die nächste Frage ;-)
1,3 GB sind das aktuell.

12.1.2023, 02:40 >>> influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz <<< (1.3GiB)

[Naturfreund]

Was mir gerade aufgefallen ist, Backitup legt die Backups teilweise auch lokal ab obwohl ich Google Drive als Zielort gewählt habe:

Lokal:

Google Drive:

Wenn er die Sicherungen tatsächlich parallel ablegt, dann wurdert mich ja nichts. Da aber dann die Frage, warum? Lokal ist nicht konfiguriert. Oder werden die Sicherungen erst lokal abgelegt und dann in Google Drive kopiert?

[crunchip]

@naturfreund ich nutze zwar nicht google, aber die werden local abgelegt und wenn abgeschloßen gelöscht, ausser das das "Zielverzeichnis" ist nicht erreichbar, dann verbleiben sie local
selbiges gilt auch für manuelle backups, diese verbleiben ebenfalls local und müssen manuell gelöscht werden.

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Weatherunderground läuft recht häufig:

was hast du da eingestellt?

die Antwort steht noch aus? https://forum.iobroker.net/post/927078

[Naturfreund]

@crunchip said in InfluxDB - Daten weg / Wiederherstellung:

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

Ja, das ist noch aktuell so.
Den Shelly 3 EM habe ich nicht mehr. Die historischen Daten möchte ich allerdings behalten, deshalb existiert der Datenpunkt noch. Viele Shellys habe ich bereits wieder raus geschmissen. Grundsätzlich sollte ich mal aufräumen, shame on me.

Die Einstellungen vom Wetteradapter hatte ich oben schon gepostet, ist vielleicht unter gegangen. Ich hole die Daten zu bestimmten Zeiten ab:

@naturfreund said in InfluxDB - Daten weg / Wiederherstellung:

Weatherunderground läuft recht häufig:

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Ich hole die Daten zu bestimmten Zeiten ab:

das habe ich schon gesehen, warum in 3-4 Minuten Takt, das überlastet und bringt auch nix, deshalb hab ich doch die korrekte Einstellung gezeigt.

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Ja, das ist noch aktuell so.

Netztwerk?

[Naturfreund]

@crunchip

Die Daten hole ich so hochfrequent, da ich einige davon mit meiner PV Anlage abgleiche (solare Einstrahlung).
Werde ich auf 15 Minuten reduzieren.
Dann funktioniert das Skript allerdings nicht mehr :grimacing:

Außerdem hab ich das Backup für die InfluxDB heute ausgesetzt.

Die "Schreibaktionen zusammenfassen" hab ich auf 50 geändert. Mit 15000/5000/1000/100 kommen mir die Werte für die Visualisierung zu langsam.

Morgen werden wir im Log sehen ob es was gebracht hat.

Netzwerk dürfte kein Flaschenhals sein, ich habe je nach Standort im Haus zwischen 100 und 1100 MBits. Raspi/Router/Wechselrichter/SMA HM 2.0 hängen alle am Gigabit Switch über Kabel (max 2m).

[Naturfreund]

Log war heute leer was die obigen Warnings und Errors betrifft.

Das Backup auf Google Drive war eine Notlösung. Werde jetzt endlich die NAS einbinden und die Sicherungen dort ablegen und damit noch einmal testen.

Zweites Problem, wie bekomme ich die alten Daten wieder hergestellt?

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

wie bekomme ich die alten Daten wieder hergestellt

welche alten Daten?

[Naturfreund]

@crunchip

In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten (sie Screenshots oben).

Die Daten habe ich in den Backitup Sicherungen.
Bekomme ich die da raus und kann diese zum Beispiel über eine CSV Datei wieder in die InfluxDB schreiben?
Komplettes Backup zurück spielen würde nur gehen, wenn ich die aktuelle DB "droppe" und durch das Backup ersetze. Die Daten neuer als die Sicherung gehen somit verloren. Oder?

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

In den Grafana Plots fehlen zwischen jeweils 2 Zeiträumen meine Messdaten

ja ich weiß, jedoch verstehe ich nicht

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Die Daten habe ich in den Backitup Sicherungen.

wenn die Datenbank nicht erreichbar war, ist dorthin auch nix geschrieben worden, wie soll das dann in einem backup enthalten sein?

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

wieder in die InfluxDB schreiben

ja, man kann Daten manuell nachtragen

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Die Daten neuer als die Sicherung gehen somit verloren. Oder?

ja

[Marc Berg]

@naturfreund

Für eine InfluxDB 2.x habe ich mal zwei Zeiträume zusammengeführt. Das geht aber nur manuell, nicht mit dem Backitup Adapter.

Dazu machst Du zunächst ein Restore in ein neues Bucket (das *tar.gz muss vorher entpackt werden):

influx restore --new-bucket <NAMENEW> --bucket  <NAMEOLD> <PFAD/ZUM/BACKUP> -t <TOKEN>

Danach kopierst Du die Daten (Dabei entstehen keine doppelten Daten, falls sich die Zeiträume überlappen, der "range" kann also großzügig gewählt werden)

influx query 'from(bucket:"<NAMENEW>") |> range(start:-10y) |> filter(fn: (r) => r._measurement == "<NAME_MEASUREMENT>") |> set(key: "_measurement", value: "<NAME_MEASUREMENT>") |> to(bucket: "<NAMEOLD>")'

Bezeichner in spitzen Klammern sind natürlich alle anzupassen.

Mit dem zweiten Befehl kann man so innerhalb eines Buckets auch relativ einfach Daten zwischen Measurements kopieren, hilfreich, wenn man mal Objekte umbenennt.

Danach natürlich noch das "ZWISCHENBUCKET" löschen. Fertig.

[Naturfreund]

@crunchip

Die Daten waren ja mal da gewesen. Und von dem Zeitraum habe ich noch ein Backup.

@Marc-Berg

Ja genau, so meinte ich das. Ich dachte das kann ich evlt. auch manuell über InfluxDB Studio machen. Aber scheinbar gibt es dort nur eine Export Funktion für JSON/CSV Dateien. Import geht nur über das CLI.

Danke dir, ich werde mich am Wochenende durch deinen Beitrag arbeiten. Ich weiß schon gleich mal nicht was ein Bucket ist :confused:

Ich weiß nicht ob es die gleich Vorgehensweise ist. Habe einen Thread gefunden der sich mit dem selben Problem befasst https://community.influxdata.com/t/altdaten-ubernehmen-aus-csv/26730

Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

By the way:
Ich hab jetzt die Sicherung aufs NAS konfiguriert und gerade einen Probelauf inkl. InfluxDB Sicherung laufen lassen. Bisher keine Einträge im Log. Wenn es gut läuft, dann war die "langsame" Internetverbindung zum Google Drive Schuld.

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Die Daten waren ja mal da gewesen

das bezweifle ich, wenn die DB nen Tag nicht erreichbar war, wo sollen die Daten dann her kommen?

[Marc Berg]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Aber so ganz verstanden haben ich es noch nicht. Woher weiß Influx in welches Measurement (Pfad) er die Werte aus der CSV schreiben soll?

Der "Trick" liegt hier:

In diesem exportierten CSV sind alle Metadaten (u.a. das Measurement) enthalten.
Das wäre auch eine Möglichkeit zum Ziel zu kommen, aus meiner Sicht aber noch komplizierter. Und auch hier musst Du zunächst Dein InfluxDB-Backup wiederherstellen.

So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

[Naturfreund]

@crunchip

Ich habe den Excelexport der Daten (aus Dezember) noch. Außerdem ein paar Screenshots die ich per WhatsApp mit meinen Nachbarn geteilt habe. Will mich hier aber auch nicht wegen so etwas streiten.
Mich würde viel mehr interessieren warum die verschwinden können.

Screenshot vom 18.12.22 (vom Smartphone aus gemacht, deshalb anderes Format):

Screenshot vom 13.01.22 (gleicher Zeitraum, am Laptop):

[Naturfreund]

@marc-berg said in InfluxDB - Daten weg / Wiederherstellung:

So wie Du Dein Vorwissen beschreibst, .... das wird wohl noch ein längerer Weg. Viel Erfolg! Es lohnt sich aber, das Wissen aufzubauen, wenn man langfristig damit arbeiten möchte.

Auf jeden Fall :-)