InfluxDB - Daten weg / Wiederherstellung [gelöst]

[Naturfreund]

Hallo zusammen,

ich hatte es bereits in einem älteren Topic probiert, wollte keinen neuen Thread starten.
Da es bislang keine Antworten gibt, mache ich doch einen neuen auf.

Die Daten in einem gewissen Zeitraum sind bei mir in der InfluxDB einfach verschwunden.

Der Zeitraum beginnt genau bei 0:00 Uhr eines Tages und endet auch bei 0:00 Uhr eines Folgetages. Das ist mir jetzt bereits im Dezember und nun auch im Januar wieder passiert.
Mit Backitup sichere ich die InfluxDB. Eine Wiederherstellung hat bisher nichts gebracht.
Ich verstehe es einfach nicht.
Heute morgen hatte ich im Log von ioBroker folgenden Eintrag gefunden:

2023-01-11 05:10:05.356 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
2023-01-11 05:10:15.357 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...

Ich komm hier alleine nicht mehr weiter

[crunchip]

@naturfreund worauf läuft denn deine Influx, so wie es aussieht war diese nicht erreichbar

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-11 05:10:05.356

Error: connect ECONNREFUSED

ich weiß nicht ob das ein Zufall ist mit der Uhrzeit 05:10 Uhr .

Ich habe auch öfters um diese Uhrzeit keine Verbindung ( spöralisch ... die Wochen ) , habe alles mögliche überprüft und auch kein Zusammenhang dazu gefunden .

Da ich sowieso auf Influxdb 2 umsteigen wollte ,habe ich es jetzt umgestellt und läuft ohne Probleme .

Alt mit dem Fehler war . :

Auf der Synology in einer VM Influx installiert , lieft die Version 1.8.0 immer schon ohne Problem , keine Updates usw.
Der ioBroker ist in einem Docker auf der gleichen Synology ( Host ) .

Nach der Umstellung auf der Synology läuft Influxdb 2 ( Docker / Bridge Modus) problemlos , inkl. der alten Datenbank .
Dazu in der bestehenden Instanz nur auf Influxdb 2 die Einstellungen danach geändert.

[Naturfreund]

@crunchip Mein Influx läuft aus dem Raspi. Der hat eine andere IP 192.168.1.* wie die im Log, deshalb in ich auch verwirrt. In den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

Auch ist mir unklar ob das im Zusammenhang mit den verlorenen Daten steht.

Und warum ist nach Wiederherstellung der Daten über Backitup noch immer alles weg? Das ist echt frustrierend

Ich hatte in jüngster Vergangenheit bereits 2 solche Events. Und die Daten waren 100% vorhanden. Ich hatte die in eine CSV ausgeleitet (über Grafana) für eine Auswertung. Kann es irgendwie damit zusammen hängen?

Hab gerade nochmal versucht den InfluxDB Backup vom 06.01. wiederzustellen:

Started restore ...
[DEBUG] [influxDB] - Created tmp directory
[DEBUG] [influxDB] - Start infuxDB Restore ...
[DEBUG] [influxDB] - influxdb.0 is stopped
[ERROR] [influxDB] - 2023/01/12 11:17:17 error updating meta: DB metadata not changed. database may already exist
restore: DB metadata not changed. database may already exist

[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted
[DEBUG] [influxDB] - infuxDB Restore completed successfully
[EXIT] influxDB restore done
[DEBUG] [influxDB] - influxdb.0 started

ERROR

In den ioBroker Protokollen sehe ich noch:

backitup.0 2023-01-12 11:17:17.641	error	[influxDB] restore: DB metadata not changed. database may already exist
backitup.0 2023-01-12 11:17:17.635	error	[influxDB] 2023/01/12 11:17:17 error updating meta: DB metadata not changed. database may already exist

Die Daten sind immer noch weg:

[Naturfreund]

Habe gerade noch folgenden Thread gefunden: https://forum.iobroker.net/topic/55530/backitup-influxdb-restore-nicht-erfolgreich/20

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

backitup.0 2023-01-12 11:17:17.641 error [influxDB] restore: DB metadata not changed. database may already exist

Er macht nur ein Backup , wenn diese Datenbank nicht vorhanden ist , das heißt er überschreibt die vorhandene nicht .

[crunchip]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Der hat eine andere IP 192.168.1. wie die im Log*, deshalb in ich auch verwirrt. In den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

dann solltest das mal beheben
was hat er für eine IP und welche steht im Log?

die 127.0.0.1, weil es eben local auf dem selben Gerät läuft

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

warum ist nach Wiederherstellung der Daten über Backitup noch immer alles weg

was soll da zurück kommen, was nicht da war kann auch nicht hergestellt werden
es bringt auch kein backup etwas, wenn die Datenbank nen Tag nicht erreichbar war und nix geschrieben wurde

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

n den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

weil das die IP localhost ist !

[Glasfaser]

@Naturfreund

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:
ich weiß nicht ob das ein Zufall ist mit der Uhrzeit 05:10 Uhr .

Und was war damit !?

Hast du noch mehr Einträge im verlauf der letzten Tage / Wochen so !?

[Naturfreund]

@glasfaser Hab ich jeden Tag im Log stehen (ich hab ich jetzt für die letzten 4 Tage nachgesehen)

Dann passt die IP ja

Ich hab im Log noch mehr gefunden (was nicht gut ausschaut):

2023-01-09 04:10:10.883 - warn: influxdb.0 (13722) Error on writePoint("{"value":163.60000000000002,"time":"2023-01-09T03:10:10.859Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-09 04:10:10.885 - warn: influxdb.0 (13722) Error on writePoint("{"value":0,"time":"2023-01-...
2023-01-09 04:10:20.884 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:20.885 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-09 04:10:20.903 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:30.904 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-09 04:17:00.908 - info: influxdb.0 (13722) Store 99 buffered influxDB history points

Es sind zu viele Einträge in den Logs um die hier alle rein zu kopieren. Die Warns und Errors treten aber täglich in etwa zur gleichen Zeit auf.

Die Warnings bekomme ich regelmäßig für alle Datenpunkte ab 2:42 Uhr:

2023-01-09 02:43:04.083 - info: influxdb.0 (13722) Add point that had error for sma-em.0.3011850493.pregardcounter to buffer again, error-count=4
2023-01-09 02:43:04.268 - warn: influxdb.0 (13722) Error on writePoint("{"value":2000,"time":"2023-01-09T01:42:54.068Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: {"error":"timeout"}

Und jeden Tag ab 5:10 Uhr:

2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:09:53.781 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.925,"time":"2023-01-08T04:09:53.752Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-08 05:10:03.798 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908
2023-01-08 05:17:00.856 - info: influxdb.0 (13722) Store 91 buffered influxDB history points

Ich habe auch noch solche Einträge gefunden:

2023-01-09 14:57:48.183 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:49.855 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:50.962 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:52.202 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:53.228 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:54.391 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:55.544 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:56.632 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:57.808 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:58.942 - info: influxdb.0 (13722) No Data

[crunchip]

@naturfreund reine Vermutung
möglicherweise Netzwerkprobleme zu bestimmten Zeiten(Backup?), zu viele geschriebene Daten, die sich aufstauen

[Glasfaser]

@Naturfreund

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:
, zu viele geschriebene Daten, die sich aufstauen

Wie sind die Zeiten von den Adaptern

Backitup
Telegram
dasWetter

,die fallen mir gerade ein .

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908

ah .. wann startet er .. , ändere mal den Intervall !?

hast du noch was vor 5:15 Uhr im Protokoll , was auffällig wäre !

[Glasfaser]

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Und jeden Tag ab 5:10 Uhr:

und auch 4:10 Uhr

2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...

im Stundentakt !?

[Glasfaser]

@crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""

ich lese das so , der Raspberry hat die Zeit 5:09 Uhr und er will den Wert von 4:09 Uhr schreiben .

Da passt doch was nicht zusammen , aber ich denke mal nicht das deswegen ein ECONNREFUSED kommt!?

[Homoran]

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:

Da passt doch was nicht zusammen ,

Zeitzonen?

[crunchip]

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

[Glasfaser]

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

und das finde ich gerade merkwürdig .

ich hatte es nur um 5:10 Uhr / sporalisch in der Woche und kein Fehler / Hinweis ( Adapterstart oder Sonstiges ) dazu gefunden .

Bei Ihm ist es schon im Stundentakt wenn ich das so deute . 4:10 / 5:10 Uhr

[crunchip]

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

[Naturfreund]

@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung

@glasfaser

Zum Überblick ein Screenshot aus dem Log:

Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.

Error on writePoint

Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.

2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24
2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason
2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR)
2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.x

Weatherunderground läuft recht häufig: