InfluxDB - Daten weg / Wiederherstellung [gelöst]

crunchip

@naturfreund worauf läuft denn deine Influx, so wie es aussieht war diese nicht erreichbar

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-11 05:10:05.356

Error: connect ECONNREFUSED

ich weiß nicht ob das ein Zufall ist mit der Uhrzeit 05:10 Uhr .

Ich habe auch öfters um diese Uhrzeit keine Verbindung ( spöralisch ... die Wochen ) , habe alles mögliche überprüft und auch kein Zusammenhang dazu gefunden .

Da ich sowieso auf Influxdb 2 umsteigen wollte ,habe ich es jetzt umgestellt und läuft ohne Probleme .

Alt mit dem Fehler war . :

Auf der Synology in einer VM Influx installiert , lieft die Version 1.8.0 immer schon ohne Problem , keine Updates usw.
Der ioBroker ist in einem Docker auf der gleichen Synology ( Host ) .

Nach der Umstellung auf der Synology läuft Influxdb 2 ( Docker / Bridge Modus) problemlos , inkl. der alten Datenbank .
Dazu in der bestehenden Instanz nur auf Influxdb 2 die Einstellungen danach geändert.

Naturfreund

@crunchip Mein Influx läuft aus dem Raspi. Der hat eine andere IP 192.168.1.* wie die im Log, deshalb in ich auch verwirrt. In den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

Auch ist mir unklar ob das im Zusammenhang mit den verlorenen Daten steht.

Und warum ist nach Wiederherstellung der Daten über Backitup noch immer alles weg? Das ist echt frustrierend

Ich hatte in jüngster Vergangenheit bereits 2 solche Events. Und die Daten waren 100% vorhanden. Ich hatte die in eine CSV ausgeleitet (über Grafana) für eine Auswertung. Kann es irgendwie damit zusammen hängen?

Hab gerade nochmal versucht den InfluxDB Backup vom 06.01. wiederzustellen:

Started restore ...
[DEBUG] [influxDB] - Created tmp directory
[DEBUG] [influxDB] - Start infuxDB Restore ...
[DEBUG] [influxDB] - influxdb.0 is stopped
[ERROR] [influxDB] - 2023/01/12 11:17:17 error updating meta: DB metadata not changed. database may already exist
restore: DB metadata not changed. database may already exist

[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted
[DEBUG] [influxDB] - infuxDB Restore completed successfully
[EXIT] influxDB restore done
[DEBUG] [influxDB] - influxdb.0 started

ERROR

In den ioBroker Protokollen sehe ich noch:

backitup.0 2023-01-12 11:17:17.641	error	[influxDB] restore: DB metadata not changed. database may already exist
backitup.0 2023-01-12 11:17:17.635	error	[influxDB] 2023/01/12 11:17:17 error updating meta: DB metadata not changed. database may already exist

Die Daten sind immer noch weg:

Naturfreund

Habe gerade noch folgenden Thread gefunden: https://forum.iobroker.net/topic/55530/backitup-influxdb-restore-nicht-erfolgreich/20

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

backitup.0 2023-01-12 11:17:17.641 error [influxDB] restore: DB metadata not changed. database may already exist

Er macht nur ein Backup , wenn diese Datenbank nicht vorhanden ist , das heißt er überschreibt die vorhandene nicht .

crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Der hat eine andere IP 192.168.1. wie die im Log*, deshalb in ich auch verwirrt. In den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

dann solltest das mal beheben
was hat er für eine IP und welche steht im Log?

die 127.0.0.1, weil es eben local auf dem selben Gerät läuft

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

warum ist nach Wiederherstellung der Daten über Backitup noch immer alles weg

was soll da zurück kommen, was nicht da war kann auch nicht hergestellt werden
es bringt auch kein backup etwas, wenn die Datenbank nen Tag nicht erreichbar war und nix geschrieben wurde

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

n den Einstellungen von der Influx Instanz ist "localhost" eingetragen. Warum will Influx sich mit der IP 127.0.0.1 verbinden?

weil das die IP localhost ist !

Glasfaser

@Naturfreund

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:
ich weiß nicht ob das ein Zufall ist mit der Uhrzeit 05:10 Uhr .

Und was war damit !?

Hast du noch mehr Einträge im verlauf der letzten Tage / Wochen so !?

Naturfreund

@glasfaser Hab ich jeden Tag im Log stehen (ich hab ich jetzt für die letzten 4 Tage nachgesehen)

Dann passt die IP ja

Ich hab im Log noch mehr gefunden (was nicht gut ausschaut):

2023-01-09 04:10:10.883 - warn: influxdb.0 (13722) Error on writePoint("{"value":163.60000000000002,"time":"2023-01-09T03:10:10.859Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-09 04:10:10.885 - warn: influxdb.0 (13722) Error on writePoint("{"value":0,"time":"2023-01-...
2023-01-09 04:10:20.884 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:20.885 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-09 04:10:20.903 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-09 04:10:30.904 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-09 04:17:00.908 - info: influxdb.0 (13722) Store 99 buffered influxDB history points

Es sind zu viele Einträge in den Logs um die hier alle rein zu kopieren. Die Warns und Errors treten aber täglich in etwa zur gleichen Zeit auf.

Die Warnings bekomme ich regelmäßig für alle Datenpunkte ab 2:42 Uhr:

2023-01-09 02:43:04.083 - info: influxdb.0 (13722) Add point that had error for sma-em.0.3011850493.pregardcounter to buffer again, error-count=4
2023-01-09 02:43:04.268 - warn: influxdb.0 (13722) Error on writePoint("{"value":2000,"time":"2023-01-09T01:42:54.068Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: {"error":"timeout"}

Und jeden Tag ab 5:10 Uhr:

2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:09:53.781 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.925,"time":"2023-01-08T04:09:53.752Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:03.777 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-08 05:10:03.798 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-08 05:10:13.798 - info: influxdb.0 (13722) Influx DB Version used: 1.x
...
2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908
2023-01-08 05:17:00.856 - info: influxdb.0 (13722) Store 91 buffered influxDB history points

Ich habe auch noch solche Einträge gefunden:

2023-01-09 14:57:48.183 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:49.855 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:50.962 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:52.202 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:53.228 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:54.391 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:55.544 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:56.632 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:57.808 - info: influxdb.0 (13722) No Data
2023-01-09 14:57:58.942 - info: influxdb.0 (13722) No Data

crunchip

@naturfreund reine Vermutung
möglicherweise Netzwerkprobleme zu bestimmten Zeiten(Backup?), zu viele geschriebene Daten, die sich aufstauen

Glasfaser

@Naturfreund

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:
, zu viele geschriebene Daten, die sich aufstauen

Wie sind die Zeiten von den Adaptern

Backitup
Telegram
dasWetter

,die fallen mir gerade ein .

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

2023-01-08 05:17:00.058 - info: host.raspberrypi instance system.adapter.weatherunderground.0 started with pid 27908

ah .. wann startet er .. , ändere mal den Intervall !?

hast du noch was vor 5:15 Uhr im Protokoll , was auffällig wäre !

Glasfaser

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:

Und jeden Tag ab 5:10 Uhr:

und auch 4:10 Uhr

2023-01-09 04:10:30.903 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...

im Stundentakt !?

Glasfaser

@crunchip

@naturfreund sagte in InfluxDB - Daten weg / Wiederherstellung:
2023-01-08 05:09:53.776 - warn: influxdb.0 (13722) Error on writePoint("{"value":1030.9249,"time":"2023-01-08T04:09:52.757Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""

ich lese das so , der Raspberry hat die Zeit 5:09 Uhr und er will den Wert von 4:09 Uhr schreiben .

Da passt doch was nicht zusammen , aber ich denke mal nicht das deswegen ein ECONNREFUSED kommt!?

Homoran

@glasfaser sagte in InfluxDB - Daten weg / Wiederherstellung:

Da passt doch was nicht zusammen ,

Zeitzonen?

crunchip

@glasfaser ich hatte damals auch Probleme mit error on writePoint, teilweise waren bei mir mehrere Stunden oder sogar Tage dazwischen in der Meldung, nicht nur eine Stunde.
Abhilfe schaffte ich mit den Einstellungen in der Influx Instanz

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

Glasfaser

@crunchip sagte in InfluxDB - Daten weg / Wiederherstellung:

allerdings hatte ich nicht das Problem das die Datenbank nicht erreichbar wäre

und das finde ich gerade merkwürdig .

ich hatte es nur um 5:10 Uhr / sporalisch in der Woche und kein Fehler / Hinweis ( Adapterstart oder Sonstiges ) dazu gefunden .

Bei Ihm ist es schon im Stundentakt wenn ich das so deute . 4:10 / 5:10 Uhr

crunchip

@naturfreund weil ich mal etwas quergelesen habe https://forum.iobroker.net/post/508617
wie ist der aktuelle Stand Netzwerktechnisch?

oder
@naturfreund sagte in SMA Wechselrichter:

Die Aktualisierungen vom sma-em Adapter kommen zwar mit einer höheren Abtastrate (jede 10ms wird ein Wert über den Bus verschickt), allerdings ändert sich der Wert den der HM2.0 heraus schickt nur alle 2 Sekunden.
Die Werte die über modbus vom WR kommen werden jede Sekunde verschickt.

shelly em hast du auch noch soweit ich gelesen habe
ist dein Pi vllt damit überfordert

Naturfreund

@crunchip Die Einstellung habe ich in einem anderen Thread schon gefunden. Gibt es eine Definition für den Wert? Was ist "eine Schreibaktion" ? Mir fehlt da die Einordnung

@glasfaser

Zum Überblick ein Screenshot aus dem Log:

Die Warnungen "Error on writePoint" kommen ab 2:42 Uhr für jeden Datenpunkt .Häufigkeit varriert je nach Datenpunkt, ich hab aber auch error-counts von 10 gesehen.

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Der Error: connect ECONNREFUSED kommt um 5:10 Uhr einmal.

Error on writePoint

Vor dem Error: connect ECONNREFUSED sehe ich noch nichts auffälligs, außer den Wetteradapter.

2023-01-10 05:09:02.714 - info: weatherunderground.0 (5762) starting. Version 3.4.2 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v16.17.0, js-controller: 4.0.24
2023-01-10 05:09:08.279 - info: weatherunderground.0 (5762) Terminated (NO_ERROR): Without reason
2023-01-10 05:09:08.809 - info: host.raspberrypi instance system.adapter.weatherunderground.0 terminated with code 0 (NO_ERROR)
2023-01-10 05:09:53.355 - warn: influxdb.0 (13722) Error on writePoint("{"value":147.1,"time":"2023-01-10T04:09:53.342Z","from":"system.adapter.sma-em.0","q":0,"ack":true}): Error: connect ECONNREFUSED 127.0.0.1:8086 / "connect ECONNREFUSED 127.0.0.1:8086""
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:03.362 - info: influxdb.0 (13722) Influx DB Version used: 1.x
2023-01-10 05:10:03.378 - error: influxdb.0 (13722) Error: connect ECONNREFUSED 127.0.0.1:8086
2023-01-10 05:10:13.379 - info: influxdb.0 (13722) Connecting http://localhost:8086/ ...
2023-01-10 05:10:13.380 - info: influxdb.0 (13722) Influx DB Version used: 1.x

Weatherunderground läuft recht häufig:

Glasfaser

@naturfreund

Mit dem Backitup Adapter scheinst du einen guten Riecher gehabt zu haben, die Sicherung startet um 2:40 Uhr:

Sicherst du auch Influx damit oder nur den ioBroker

NEWS

InfluxDB - Daten weg / Wiederherstellung [gelöst]

Support us

1.0k
Online

30.7k
Users

77.3k
Topics

1.2m
Posts

NEWS

InfluxDB - Daten weg / Wiederherstellung [gelöst]

Support us

1.0kOnline

30.7kUsers

77.3kTopics

1.2mPosts

1.0k
Online

30.7k
Users

77.3k
Topics

1.2m
Posts