Neues YouTube-Video: Visualisierung im Devices-Adapter

[Bavarian]

Hallo zusammen, @apollon77

ich habe dank der guten Anleitung meine History Daten von 2019 - 09.2021 von History zu InfluxDB migriren können.
Vielen Dank für die Skripte!

Nur mit den letzten Wochen habe ich ein Problem, da logge ich noch zusätzlich die PV Anlage und erzeuge viele Daten.
Es kommt dann zum Abbruch was wie folgt aussieht:

Send Data to influxdb.0
Start at 20210930
Use historyDir /opt/iobroker/iobroker-data/history
Use Delay multiplicator 2
Log changes only once per 30 minutes
ExistingDBValues initialized from cache 222
EarliesDBValues initialized from cache 222
EarliesDBValues overwritten with 1636714357354
ExistingDBTypes initialized from cache 222
started processFiles with 222 known db values
We start earliest at 20210930
Day 20210930 - history.0_userdata.0.Bat-Entladen.json
Check: 20210930 / pos 4
    Ignore existing ID history.0_userdata.0.Bat-Entladen.json: 0_userdata.0.Bat-Entladen
Day 20210930 - history.0_userdata.0.Bat-Laden.json
Check: 20210930 / pos -1
  datapoints reduced from 21967 --> 5930
  sorted out 0 values
Data stored but db not available anymore, break. {"success":true,"connected":false,"seriesBufferCounter":22309,"seriesBufferFlushPlanned":false}
DONE

Ich schließe ein generelles Problem erstmal aus, dazu hat es ja bislang zu gut geklappt.
Vermutung, es gibt auf Grund der hohen Datenmenge ein Timeout?

Hat da jemand schon Erfahrungen mit gesammelt?

[apollon77]

@bavarian Ja was sagt denn das log des InfluxDB adapters? Wenn 22309 entries im Buffer stehen dann kann der das irgendwie nicht schreiben ...

[Bavarian]

@apollon77

Im Terminal Fenster geht erstmal nichts weiter und nach einer sehr langen Wartezeit kommt dann das Data stored but....
Im Log finde ich dann 2021-11-12 18:32:01.596 warn instance system.adapter.influxdb.0 terminated due to SIGKILL
Manchmal wird auch neu gebootet, wer das auslöst hab ich in den logs noch nicht gefunden.

Achso zur HW, Raspberry Pi4 8GB und Software alles auf dem letzten Stand.

[Bavarian]

Im Iobroker Log jedemenge gefunden:

2021-11-12 15:33:49.482  - warn: influxdb.0 (30587) Error on writePoint("{"value":2.4,"time":"2021-09-27T22:00:13.409Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT"
2021-11-12 15:33:49.482  - warn: influxdb.0 (30587) Error on writePoint("{"value":0,"time":"2021-09-27T22:00:17.277Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT"
2021-11-12 15:33:49.493  - warn: influxdb.0 (30587) Error on writePoint("{"value":1.9,"time":"2021-09-27T22:00:25.310Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT"
2021-11-12 15:33:49.494  - warn: influxdb.0 (30587) Error on writePoint("{"value":0,"time":"2021-09-27T22:00:29.154Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT"


2021-11-12 15:34:08.292  - info: influxdb.0 (30587) Currently no hosts available, try later
2021-11-12 15:34:16.597  - info: influxdb.0 (30587) Connecting http://localhost:8086 ...
2021-11-12 15:34:20.488  - info: influxdb.0 (30587) Connected!

2021-11-12 15:35:13.537  - warn: influxdb.0 (30587) Error on writePoint("{"value":185.58310241699218,"time":"2021-09-27T22:00:01.413Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT"

[apollon77]

@bavarian dann schau mal im log der influxdb. Weil der Adapter hat timeouts wenn er was schreiben will.

[apollon77]

@bavarian bzw schau mal /var/log/syslog

[Bavarian]

@apollon77 ich bin mit den Logs nicht wirklich weiter gekommen.

Ich habe einen weiteren RPI4 aufgesetzt mit Ubuntu 64 Bit damit ich die InfluxDB 2.1.1 nutzen kann.
Vorab, es läuft nun gerade die Migration.

Es waren aber zwei Hürden zu nehmen.

1. In der Adapter Konfiguration steht "Localhost" als Vorgabe.
   Ich vermute mit "Verbindung testen" wird geprüft ob der Server per ping eine Antwort gibt nicht auf IP+Port.
   Die InfluxDB läuft nämlich nicht auf den localhost mit 127.0.0.1 sondern auf 127.0.1.1 und gewähltem Hostname.
   Das war dann in den Logs eindeutig zu sehen, dass die DB nicht auf 127.0.0.1:8086 erreicht werden konnte.
   Mit netstat war dann klar wo das Problem liegt und ich habe in der Adapter Konfiguration die richtige IP aus meinem
   Netzwerk eingetragen.

2. Für große Datenmengen ist das direkte Schreiben anscheinend keine ganz so gute Idee.
   Nachdem ich den Wert nun auf 300 erhöht habe läuft die Migration.

Ich denke mal zum Frühstück wird das abgeschlossen sein...

[apollon77]

@bavarian sagte in History2DB converter influx DB not available anymore:

Für große Datenmengen ist das direkte Schreiben anscheinend keine ganz so gute Idee.

Exakt, daher gibts den Buffered Modus ... der ist meiner Meinung nach am sinnvollsten.

[Bavarian]

@apollon77

Mit einem Buffer von 10000 hat das proma geklappt.

Nun wollte ich das analyzeinflux script laufen lassen, schein nicht zu klappen.

pi@C1PO:/opt/iobroker/node_modules/iobroker.history/converter$ sudo nodejs analyzeinflux.js influxdb.0 info --deepAnalyze
Query Data from influxdb.0
Do deep analysis to find holes in data
Invalid call

influxdb.0
	2021-11-16 08:40:34.590	error	queries: Error: 1 Error happened while processing 1 queries
influxdb.0
	2021-11-16 08:40:34.589	warn	Error in query "SHOW MEASUREMENTS": HttpError: error @1:1-1:5: undefined identifier SHOW

Kann ich da was ändern damit das auch läuft?

[apollon77]

@bavarian Ich tippe Du hast eine InfliuxDB 2? Das Skript ist gerade noch "voll" auf InfluxDB 1 ... Bitte GitHub Issue machen. Keine Ahnung wann jemand dafür Zeit findet. sorry

[Bavarian]

@apollon77
Ok mache ich.

BackitUp scheint auch noch nicht soweit zu sein.

Da Ubuntu 64 Bit nicht stabil läuft gehe ich wieder auf Raspbian, Ubuntu64 ist einfach noch verbugt.
Übrigens wird unter Ubuntu64 Bit der Link NodeJs > Node auch nicht gesetzt.

Thema ist damit erstmal erledigt danke @apollon77