NEWS
History2DB converter influx DB not available anymore
-
Hallo zusammen, @apollon77
ich habe dank der guten Anleitung meine History Daten von 2019 - 09.2021 von History zu InfluxDB migriren können.
Vielen Dank für die Skripte!Nur mit den letzten Wochen habe ich ein Problem, da logge ich noch zusätzlich die PV Anlage und erzeuge viele Daten.
Es kommt dann zum Abbruch was wie folgt aussieht:Send Data to influxdb.0 Start at 20210930 Use historyDir /opt/iobroker/iobroker-data/history Use Delay multiplicator 2 Log changes only once per 30 minutes ExistingDBValues initialized from cache 222 EarliesDBValues initialized from cache 222 EarliesDBValues overwritten with 1636714357354 ExistingDBTypes initialized from cache 222 started processFiles with 222 known db values We start earliest at 20210930 Day 20210930 - history.0_userdata.0.Bat-Entladen.json Check: 20210930 / pos 4 Ignore existing ID history.0_userdata.0.Bat-Entladen.json: 0_userdata.0.Bat-Entladen Day 20210930 - history.0_userdata.0.Bat-Laden.json Check: 20210930 / pos -1 datapoints reduced from 21967 --> 5930 sorted out 0 values Data stored but db not available anymore, break. {"success":true,"connected":false,"seriesBufferCounter":22309,"seriesBufferFlushPlanned":false} DONEIch schließe ein generelles Problem erstmal aus, dazu hat es ja bislang zu gut geklappt.
Vermutung, es gibt auf Grund der hohen Datenmenge ein Timeout?Hat da jemand schon Erfahrungen mit gesammelt?
-
@bavarian Ja was sagt denn das log des InfluxDB adapters? Wenn 22309 entries im Buffer stehen dann kann der das irgendwie nicht schreiben ...
Im Terminal Fenster geht erstmal nichts weiter und nach einer sehr langen Wartezeit kommt dann das Data stored but....
Im Log finde ich dann 2021-11-12 18:32:01.596 warn instance system.adapter.influxdb.0 terminated due to SIGKILL
Manchmal wird auch neu gebootet, wer das auslöst hab ich in den logs noch nicht gefunden.Achso zur HW, Raspberry Pi4 8GB und Software alles auf dem letzten Stand.
-
Im Terminal Fenster geht erstmal nichts weiter und nach einer sehr langen Wartezeit kommt dann das Data stored but....
Im Log finde ich dann 2021-11-12 18:32:01.596 warn instance system.adapter.influxdb.0 terminated due to SIGKILL
Manchmal wird auch neu gebootet, wer das auslöst hab ich in den logs noch nicht gefunden.Achso zur HW, Raspberry Pi4 8GB und Software alles auf dem letzten Stand.
Im Iobroker Log jedemenge gefunden:
2021-11-12 15:33:49.482 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":2.4,"time":"2021-09-27T22:00:13.409Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:33:49.482 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":0,"time":"2021-09-27T22:00:17.277Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:33:49.493 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":1.9,"time":"2021-09-27T22:00:25.310Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:33:49.494 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":0,"time":"2021-09-27T22:00:29.154Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:34:08.292 - [32minfo[39m: influxdb.0 (30587) Currently no hosts available, try later 2021-11-12 15:34:16.597 - [32minfo[39m: influxdb.0 (30587) Connecting http://localhost:8086 ... 2021-11-12 15:34:20.488 - [32minfo[39m: influxdb.0 (30587) Connected! 2021-11-12 15:35:13.537 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":185.58310241699218,"time":"2021-09-27T22:00:01.413Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" -
Im Iobroker Log jedemenge gefunden:
2021-11-12 15:33:49.482 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":2.4,"time":"2021-09-27T22:00:13.409Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:33:49.482 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":0,"time":"2021-09-27T22:00:17.277Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:33:49.493 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":1.9,"time":"2021-09-27T22:00:25.310Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:33:49.494 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":0,"time":"2021-09-27T22:00:29.154Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" 2021-11-12 15:34:08.292 - [32minfo[39m: influxdb.0 (30587) Currently no hosts available, try later 2021-11-12 15:34:16.597 - [32minfo[39m: influxdb.0 (30587) Connecting http://localhost:8086 ... 2021-11-12 15:34:20.488 - [32minfo[39m: influxdb.0 (30587) Connected! 2021-11-12 15:35:13.537 - [33mwarn[39m: influxdb.0 (30587) Error on writePoint("{"value":185.58310241699218,"time":"2021-09-27T22:00:01.413Z","from":"system.adapter.javascript.0","q":0,"ack":true}): Error: ETIMEDOUT / "ETIMEDOUT" -
Im Terminal Fenster geht erstmal nichts weiter und nach einer sehr langen Wartezeit kommt dann das Data stored but....
Im Log finde ich dann 2021-11-12 18:32:01.596 warn instance system.adapter.influxdb.0 terminated due to SIGKILL
Manchmal wird auch neu gebootet, wer das auslöst hab ich in den logs noch nicht gefunden.Achso zur HW, Raspberry Pi4 8GB und Software alles auf dem letzten Stand.
-
@apollon77 ich bin mit den Logs nicht wirklich weiter gekommen.
Ich habe einen weiteren RPI4 aufgesetzt mit Ubuntu 64 Bit damit ich die InfluxDB 2.1.1 nutzen kann.
Vorab, es läuft nun gerade die Migration.Es waren aber zwei Hürden zu nehmen.
-
In der Adapter Konfiguration steht "Localhost" als Vorgabe.
Ich vermute mit "Verbindung testen" wird geprüft ob der Server per ping eine Antwort gibt nicht auf IP+Port.
Die InfluxDB läuft nämlich nicht auf den localhost mit 127.0.0.1 sondern auf 127.0.1.1 und gewähltem Hostname.
Das war dann in den Logs eindeutig zu sehen, dass die DB nicht auf 127.0.0.1:8086 erreicht werden konnte.
Mit netstat war dann klar wo das Problem liegt und ich habe in der Adapter Konfiguration die richtige IP aus meinem
Netzwerk eingetragen. -
Für große Datenmengen ist das direkte Schreiben anscheinend keine ganz so gute Idee.
Nachdem ich den Wert nun auf 300 erhöht habe läuft die Migration.
Ich denke mal zum Frühstück wird das abgeschlossen sein...
-
-
@apollon77 ich bin mit den Logs nicht wirklich weiter gekommen.
Ich habe einen weiteren RPI4 aufgesetzt mit Ubuntu 64 Bit damit ich die InfluxDB 2.1.1 nutzen kann.
Vorab, es läuft nun gerade die Migration.Es waren aber zwei Hürden zu nehmen.
-
In der Adapter Konfiguration steht "Localhost" als Vorgabe.
Ich vermute mit "Verbindung testen" wird geprüft ob der Server per ping eine Antwort gibt nicht auf IP+Port.
Die InfluxDB läuft nämlich nicht auf den localhost mit 127.0.0.1 sondern auf 127.0.1.1 und gewähltem Hostname.
Das war dann in den Logs eindeutig zu sehen, dass die DB nicht auf 127.0.0.1:8086 erreicht werden konnte.
Mit netstat war dann klar wo das Problem liegt und ich habe in der Adapter Konfiguration die richtige IP aus meinem
Netzwerk eingetragen. -
Für große Datenmengen ist das direkte Schreiben anscheinend keine ganz so gute Idee.
Nachdem ich den Wert nun auf 300 erhöht habe läuft die Migration.
Ich denke mal zum Frühstück wird das abgeschlossen sein...
@bavarian sagte in History2DB converter influx DB not available anymore:
Für große Datenmengen ist das direkte Schreiben anscheinend keine ganz so gute Idee.
Exakt, daher gibts den Buffered Modus ... der ist meiner Meinung nach am sinnvollsten.
-
-
@bavarian sagte in History2DB converter influx DB not available anymore:
Für große Datenmengen ist das direkte Schreiben anscheinend keine ganz so gute Idee.
Exakt, daher gibts den Buffered Modus ... der ist meiner Meinung nach am sinnvollsten.
Mit einem Buffer von 10000 hat das proma geklappt.
Nun wollte ich das analyzeinflux script laufen lassen, schein nicht zu klappen.
pi@C1PO:/opt/iobroker/node_modules/iobroker.history/converter$ sudo nodejs analyzeinflux.js influxdb.0 info --deepAnalyze Query Data from influxdb.0 Do deep analysis to find holes in data Invalid callinfluxdb.0 2021-11-16 08:40:34.590 error queries: Error: 1 Error happened while processing 1 queries influxdb.0 2021-11-16 08:40:34.589 warn Error in query "SHOW MEASUREMENTS": HttpError: error @1:1-1:5: undefined identifier SHOWKann ich da was ändern damit das auch läuft?
-
Mit einem Buffer von 10000 hat das proma geklappt.
Nun wollte ich das analyzeinflux script laufen lassen, schein nicht zu klappen.
pi@C1PO:/opt/iobroker/node_modules/iobroker.history/converter$ sudo nodejs analyzeinflux.js influxdb.0 info --deepAnalyze Query Data from influxdb.0 Do deep analysis to find holes in data Invalid callinfluxdb.0 2021-11-16 08:40:34.590 error queries: Error: 1 Error happened while processing 1 queries influxdb.0 2021-11-16 08:40:34.589 warn Error in query "SHOW MEASUREMENTS": HttpError: error @1:1-1:5: undefined identifier SHOWKann ich da was ändern damit das auch läuft?
-
@bavarian Ich tippe Du hast eine InfliuxDB 2? Das Skript ist gerade noch "voll" auf InfluxDB 1 ... Bitte GitHub Issue machen. Keine Ahnung wann jemand dafür Zeit findet. sorry
@apollon77
Ok mache ich.BackitUp scheint auch noch nicht soweit zu sein.
Da Ubuntu 64 Bit nicht stabil läuft gehe ich wieder auf Raspbian, Ubuntu64 ist einfach noch verbugt.
Übrigens wird unter Ubuntu64 Bit der Link NodeJs > Node auch nicht gesetzt.Thema ist damit erstmal erledigt danke @apollon77
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden