InfluxDB - Daten weg / Wiederherstellung [gelöst]

Glasfaser

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:
ich weiß nicht ob das ein Zufall ist mit der Uhrzeit 05:10 Uhr .

Und was war damit !?

Hast du noch mehr Einträge im verlauf der letzten Tage / Wochen so !?

Naturfreund

@glasfaser Hab ich jeden Tag im Log stehen (ich hab ich jetzt für die letzten 4 Tage nachgesehen)

Dann passt die IP ja

Ich hab im Log noch mehr gefunden (was nicht gut ausschaut):

2023-01-09 04:10:10.883 - warn: influxdb.0 (13722) Error on writePoint("{"value":163.60000000000002,"time":"2023-01-09T03:10:10.859Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-09 04:10:10.885 - warn: influxdb.0 (13722) Error on writePoint("{"value":0,"time":"2023-01-...
2023-01-09 04:10:20.884 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:20.885 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-09 04:10:20.903 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:30.904 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-09 04:17:00.908 - info: influxdb.0 (13722) Store 99 buffered influxDB history points

Es sind zu viele Einträge in den Logs um die hier alle rein zu kopieren. Die Warns und Errors treten aber täglich in etwa zur gleichen Zeit auf.

Die Warnings bekomme ich regelmäßig für alle Datenpunkte ab 2:42 Uhr:

2023-01-09 02:43:04.083 - info: influxdb.0 (13722) Add point that had error for sma-em.0.3011850493.pregardcounter to buffer again, error-count=4
2023-01-09 02:43:04.268 - warn: influxdb.0 (13722) Error on writePoint("{"value":2000,"time":"2023-01-09T01:42:54.068Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: {"error":"timeout"}

Und jeden Tag ab 5:10 Uhr:

2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:09:53.781 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.925,"time":"2023-01-08T04:09:53.752Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-08 05:10:03.798 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908
2023-01-08 05:17:00.856 - info: influxdb.0 (13722) Store 91 buffered influxDB history points

Ich habe auch noch solche Einträge gefunden:

2023-01-09 14:57:48.183 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:49.855 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:50.962 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:52.202 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:53.228 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:54.391 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:55.544 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:56.632 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:57.808 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:58.942 - info: influxdb.0 (13722) No Data

crunchip

@naturfreund reine Vermutung
möglicherweise Netzwerkprobleme zu bestimmten Zeiten(Backup?), zu viele geschriebene Daten, die sich aufstauen

Glasfaser

@Naturfreund

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:
, zu viele geschriebene Daten, die sich aufstauen

Wie sind die Zeiten von den Adaptern

Backitup
Telegram
dasWetter

,die fallen mir gerade ein .

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908

ah .. wann startet er .. , ändere mal den Intervall !?

hast du noch was vor 5:15 Uhr im Protokoll , was auffällig wäre !

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Und jeden Tag ab 5:10 Uhr:

und auch 4:10 Uhr

2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...

im Stundentakt !?

Glasfaser

@crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""

ich lese das so , der Raspberry hat die Zeit 5:09 Uhr und er will den Wert von 4:09 Uhr schreiben .

Da passt doch was nicht zusammen , aber ich denke mal nicht das deswegen ein ECONNREFUSED kommt!?

Homoran

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:

Da passt doch was nicht zusammen ,

Zeitzonen?

crunchip

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

Glasfaser

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

und das finde ich gerade merkwürdig .

ich hatte es nur um 5:10 Uhr / sporalisch in der Woche und kein Fehler / Hinweis ( Adapterstart oder Sonstiges ) dazu gefunden .

Bei Ihm ist es schon im Stundentakt wenn ich das so deute . 4:10 / 5:10 Uhr

crunchip

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

Naturfreund

@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung

@glasfaser

Zum Überblick ein Screenshot aus dem Log:

Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.

Error on writePoint

Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.

2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24
2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason
2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR)
2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.x

Weatherunderground läuft recht häufig:

Glasfaser

@naturfreund

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Sicherst du auch Influx damit oder nur den ioBroker

Naturfreund

@glasfaser Beides

Naturfreund

@crunchip said in InfluxDB - Daten weg / Wiederherstellung:

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

Ok, hab die Erklärung gefunden:
By changing the configuration it is possible to cache new data points up to a defined count or a defined maximum interval after which all points are stored into the database. This also gives better performance and less system load compared to writing the data points directly. InfluxDB has a limitation of the maximum size for writes which is at around 2MB. It should be safe to have up to 15.000 data points as buffer maximum, maybe also 20.000, but this highly depends on the length of your datapoint-IDs.

Quelle: https://github.com/ioBroker/ioBroker.influxdb

Glasfaser

@naturfreund

Wie groß ist das Backup von Influx bzw. von ioBroker

ls -lAh /opt/iobroker/backups/

Naturfreund

@glasfaser

Irgendwie wusste ich, das wird die nächste Frage
1,3 GB sind das aktuell.

12.1.2023, 02:40 >>> influxDB_2023_01_12-02_40_18_backupiobroker.tar.gz <<< (1.3GiB)

Naturfreund

Was mir gerade aufgefallen ist, Backitup legt die Backups teilweise auch lokal ab obwohl ich Google Drive als Zielort gewählt habe:

Lokal:

Google Drive:

Wenn er die Sicherungen tatsächlich parallel ablegt, dann wurdert mich ja nichts. Da aber dann die Frage, warum? Lokal ist nicht konfiguriert. Oder werden die Sicherungen erst lokal abgelegt und dann in Google Drive kopiert?

crunchip

@naturfreund ich nutze zwar nicht google, aber die werden local abgelegt und wenn abgeschloßen gelöscht, ausser das das "Zielverzeichnis" ist nicht erreichbar, dann verbleiben sie local
selbiges gilt auch für manuelle backups, diese verbleiben ebenfalls local und müssen manuell gelöscht werden.

crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Weatherunderground läuft recht häufig:

was hast du da eingestellt?

die Antwort steht noch aus? https://forum.iobroker.net/post/927078

NEWS

InfluxDB - Daten weg / Wiederherstellung [gelöst]

Support us

1.2k
Online

30.7k
Users

77.3k
Topics

1.2m
Posts

NEWS

InfluxDB - Daten weg / Wiederherstellung [gelöst]

Support us

1.2kOnline

30.7kUsers

77.3kTopics

1.2mPosts

1.2k
Online

30.7k
Users

77.3k
Topics

1.2m
Posts