InfluxDB - Daten weg / Wiederherstellung [gelöst]

[Naturfreund]

Habe gerade noch folgenden Thread gefunden: https://forum.iobroker.net/topic/55530/backitup-influxdb-restore-nicht-erfolgreich/20

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

backitup.0 2023-01-12 11:17:17.641 error [influxDB] restore: DB metadata not changed. database may already exist

Er macht nur ein Backup , wenn diese Datenbank nicht vorhanden ist , das heißt er überschreibt die vorhandene nicht .

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Der hat eine andere IP 192.168.1. wie die im Log*, deshalb in ich auch verwirrt. In den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

dann solltest das mal beheben
was hat er für eine IP und welche steht im Log?

die 127.0.0.1, weil es eben local auf dem selben Gerät läuft

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

warum ist nach Wiederherstellung der Daten über Backitup noch immer alles weg

was soll da zurück kommen, was nicht da war kann auch nicht hergestellt werden
es bringt auch kein backup etwas, wenn die Datenbank nen Tag nicht erreichbar war und nix geschrieben wurde

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

n den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

weil das die IP localhost ist !

[Glasfaser]

@Naturfreund

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:
ich weiß nicht ob das ein Zufall ist mit der Uhrzeit 05:10 Uhr .

Und was war damit !?

Hast du noch mehr Einträge im verlauf der letzten Tage / Wochen so !?

[Naturfreund]

@glasfaser Hab ich jeden Tag im Log stehen (ich hab ich jetzt für die letzten 4 Tage nachgesehen)

Dann passt die IP ja

Ich hab im Log noch mehr gefunden (was nicht gut ausschaut):

2023-01-09 04:10:10.883 - warn: influxdb.0 (13722) Error on writePoint("{"value":163.60000000000002,"time":"2023-01-09T03:10:10.859Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-09 04:10:10.885 - warn: influxdb.0 (13722) Error on writePoint("{"value":0,"time":"2023-01-...
2023-01-09 04:10:20.884 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:20.885 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-09 04:10:20.903 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:30.904 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-09 04:17:00.908 - info: influxdb.0 (13722) Store 99 buffered influxDB history points

Es sind zu viele Einträge in den Logs um die hier alle rein zu kopieren. Die Warns und Errors treten aber täglich in etwa zur gleichen Zeit auf.

Die Warnings bekomme ich regelmäßig für alle Datenpunkte ab 2:42 Uhr:

2023-01-09 02:43:04.083 - info: influxdb.0 (13722) Add point that had error for sma-em.0.3011850493.pregardcounter to buffer again, error-count=4
2023-01-09 02:43:04.268 - warn: influxdb.0 (13722) Error on writePoint("{"value":2000,"time":"2023-01-09T01:42:54.068Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: {"error":"timeout"}

Und jeden Tag ab 5:10 Uhr:

2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:09:53.781 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.925,"time":"2023-01-08T04:09:53.752Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-08 05:10:03.798 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908
2023-01-08 05:17:00.856 - info: influxdb.0 (13722) Store 91 buffered influxDB history points

Ich habe auch noch solche Einträge gefunden:

2023-01-09 14:57:48.183 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:49.855 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:50.962 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:52.202 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:53.228 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:54.391 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:55.544 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:56.632 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:57.808 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:58.942 - info: influxdb.0 (13722) No Data

[crunchip]

@naturfreund reine Vermutung
möglicherweise Netzwerkprobleme zu bestimmten Zeiten(Backup?), zu viele geschriebene Daten, die sich aufstauen

[Glasfaser]

@Naturfreund

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:
, zu viele geschriebene Daten, die sich aufstauen

Wie sind die Zeiten von den Adaptern

Backitup
Telegram
dasWetter

,die fallen mir gerade ein .

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908

ah .. wann startet er .. , ändere mal den Intervall !?

hast du noch was vor 5:15 Uhr im Protokoll , was auffällig wäre !

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Und jeden Tag ab 5:10 Uhr:

und auch 4:10 Uhr

2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...

im Stundentakt !?

[Glasfaser]

@crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""

ich lese das so , der Raspberry hat die Zeit 5:09 Uhr und er will den Wert von 4:09 Uhr schreiben .

Da passt doch was nicht zusammen , aber ich denke mal nicht das deswegen ein ECONNREFUSED kommt!?

[Homoran]

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:

Da passt doch was nicht zusammen ,

Zeitzonen?

[crunchip]

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

[Glasfaser]

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

und das finde ich gerade merkwürdig .

ich hatte es nur um 5:10 Uhr / sporalisch in der Woche und kein Fehler / Hinweis ( Adapterstart oder Sonstiges ) dazu gefunden .

Bei Ihm ist es schon im Stundentakt wenn ich das so deute . 4:10 / 5:10 Uhr

[crunchip]

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

[Naturfreund]

@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung

@glasfaser

Zum Überblick ein Screenshot aus dem Log:

Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.

Error on writePoint

Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.

2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24
2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason
2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR)
2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.x

Weatherunderground läuft recht häufig:

[Glasfaser]

@naturfreund

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Sicherst du auch Influx damit oder nur den ioBroker

[Naturfreund]

@glasfaser Beides

[Naturfreund]

@crunchip said in InfluxDB - Daten weg / Wiederherstellung:

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

Ok, hab die Erklärung gefunden:
By changing the configuration it is possible to cache new data points up to a defined count or a defined maximum interval after which all points are stored into the database. This also gives better performance and less system load compared to writing the data points directly. InfluxDB has a limitation of the maximum size for writes which is at around 2MB. It should be safe to have up to 15.000 data points as buffer maximum, maybe also 20.000, but this highly depends on the length of your datapoint-IDs.

Quelle: https://github.com/ioBroker/ioBroker.influxdb

[Glasfaser]

@naturfreund

Wie groß ist das Backup von Influx bzw. von ioBroker

ls -lAh /opt/iobroker/backups/