InfluxDB - Daten weg / Wiederherstellung [gelöst]

[Glasfaser]

@Naturfreund

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:
, zu viele geschriebene Daten, die sich aufstauen

Wie sind die Zeiten von den Adaptern

Backitup
Telegram
dasWetter

,die fallen mir gerade ein .

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908

ah .. wann startet er .. , ändere mal den Intervall !?

hast du noch was vor 5:15 Uhr im Protokoll , was auffällig wäre !

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Und jeden Tag ab 5:10 Uhr:

und auch 4:10 Uhr

2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...

im Stundentakt !?

[Glasfaser]

@crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""

ich lese das so , der Raspberry hat die Zeit 5:09 Uhr und er will den Wert von 4:09 Uhr schreiben .

Da passt doch was nicht zusammen , aber ich denke mal nicht das deswegen ein ECONNREFUSED kommt!?

[Homoran]

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:

Da passt doch was nicht zusammen ,

Zeitzonen?

[crunchip]

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

[Glasfaser]

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

und das finde ich gerade merkwürdig .

ich hatte es nur um 5:10 Uhr / sporalisch in der Woche und kein Fehler / Hinweis ( Adapterstart oder Sonstiges ) dazu gefunden .

Bei Ihm ist es schon im Stundentakt wenn ich das so deute . 4:10 / 5:10 Uhr

[crunchip]

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

[Naturfreund]

@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung

@glasfaser

Zum Überblick ein Screenshot aus dem Log:

Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.

Error on writePoint

Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.

2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24
2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason
2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR)
2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.x

Weatherunderground läuft recht häufig:

[Glasfaser]

@naturfreund

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Sicherst du auch Influx damit oder nur den ioBroker

[Naturfreund]

@glasfaser Beides

[Naturfreund]

@crunchip said in InfluxDB - Daten weg / Wiederherstellung:

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

Ok, hab die Erklärung gefunden:
By changing the configuration it is possible to cache new data points up to a defined count or a defined maximum interval after which all points are stored into the database. This also gives better performance and less system load compared to writing the data points directly. InfluxDB has a limitation of the maximum size for writes which is at around 2MB. It should be safe to have up to 15.000 data points as buffer maximum, maybe also 20.000, but this highly depends on the length of your datapoint-IDs.

Quelle: https://github.com/ioBroker/ioBroker.influxdb

[Glasfaser]

@naturfreund

Wie groß ist das Backup von Influx bzw. von ioBroker

ls -lAh /opt/iobroker/backups/

[Naturfreund]

@glasfaser

Irgendwie wusste ich, das wird die nächste Frage
1,3 GB sind das aktuell.

12.1.2023, 02:40 >>> influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz <<< (1.3GiB)

[Naturfreund]

Was mir gerade aufgefallen ist, Backitup legt die Backups teilweise auch lokal ab obwohl ich Google Drive als Zielort gewählt habe:

Lokal:

Google Drive:

Wenn er die Sicherungen tatsächlich parallel ablegt, dann wurdert mich ja nichts. Da aber dann die Frage, warum? Lokal ist nicht konfiguriert. Oder werden die Sicherungen erst lokal abgelegt und dann in Google Drive kopiert?

[crunchip]

@naturfreund ich nutze zwar nicht google, aber die werden local abgelegt und wenn abgeschloßen gelöscht, ausser das das "Zielverzeichnis" ist nicht erreichbar, dann verbleiben sie local
selbiges gilt auch für manuelle backups, diese verbleiben ebenfalls local und müssen manuell gelöscht werden.

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Weatherunderground läuft recht häufig:

was hast du da eingestellt?

die Antwort steht noch aus? https://forum.iobroker.net/post/927078

[Naturfreund]

@crunchip said in InfluxDB - Daten weg / Wiederherstellung:

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

Ja, das ist noch aktuell so.
Den Shelly 3 EM habe ich nicht mehr. Die historischen Daten möchte ich allerdings behalten, deshalb existiert der Datenpunkt noch. Viele Shellys habe ich bereits wieder raus geschmissen. Grundsätzlich sollte ich mal aufräumen, shame on me.

Die Einstellungen vom Wetteradapter hatte ich oben schon gepostet, ist vielleicht unter gegangen. Ich hole die Daten zu bestimmten Zeiten ab:

@naturfreund said in InfluxDB - Daten weg / Wiederherstellung:

Weatherunderground läuft recht häufig:

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Ich hole die Daten zu bestimmten Zeiten ab:

das habe ich schon gesehen, warum in 3-4 Minuten Takt, das überlastet und bringt auch nix, deshalb hab ich doch die korrekte Einstellung gezeigt.

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Ja, das ist noch aktuell so.

Netztwerk?

[Naturfreund]

@crunchip

Die Daten hole ich so hochfrequent, da ich einige davon mit meiner PV Anlage abgleiche (solare Einstrahlung).
Werde ich auf 15 Minuten reduzieren.
Dann funktioniert das Skript allerdings nicht mehr

Außerdem hab ich das Backup für die InfluxDB heute ausgesetzt.

Die "Schreibaktionen zusammenfassen" hab ich auf 50 geändert. Mit 15000/5000/1000/100 kommen mir die Werte für die Visualisierung zu langsam.

Morgen werden wir im Log sehen ob es was gebracht hat.

Netzwerk dürfte kein Flaschenhals sein, ich habe je nach Standort im Haus zwischen 100 und 1100 MBits. Raspi/Router/Wechselrichter/SMA HM 2.0 hängen alle am Gigabit Switch über Kabel (max 2m).