History2DB converter

[XxJooO]

Hallo,

die richtige Syntax scheint nun gefunden. Mit dem Parameter -simulate kommen auch scheinbar vernünftige Ausgaben. Wenn ich allerdings mit history2db.js die Daten in influx schreiben will, dann kommen zwar über putty in der Konsole vermeintlich vernünftige Ausgaben, im Log von iobroker aber nur:
Auszug

history.0	2020-01-25 16:16:18.390	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.389	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.388	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.386	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.384	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.383	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.381	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.380	error	(1626) storeState called with invalid data
history.0	2020-01-25 16:16:18.363	error	(1626) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.639	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.632	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.631	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.630	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.629	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.628	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.626	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.620	error	(8469) storeState called with invalid data
influxdb.0	2020-01-25 16:16:19.612	error	(8469) storeState called with invalid data

Kann mir jemand sagen, woran das wohl liegt?

[XxJooO]

@apollon77

Hallo apollon77, hättest Du einen Tip für mich?

Vielen Dank für Deine Mühe!

Jo

[apollon77]

Mach bitte mal ein Issue auf im History Projekt. Muss ich mir ansehen

[XxJooO]

Issue erstellt

[stan23]

Ich habe die gleiche Fehlermeldung wie @XxJooO und im Issue mein Log hinzugefügt.

[apollon77]

Kam noch nicht dazu. Sorry

[Marcus007]

Hallo Zusammen,

gibt es zu dieser Problematik "History-Daten in eine InfluxDB" importieren ein Tool das durch Personen ohne Datenbankprogrammierkenntnisse bedient werden kann?

Beste Grüße
Marcus

[XxJooO]

Hallo Marcus,

wenn Du Dich an die Anleitung hältst, dann brauchst Du keine Kenntnisse. Gehe davon aus, dass Dein ioBroker unter Linux läuft, dann genügt die Anleitung in der readme, vorher wichtig: Backup machen.
Schau dazu auf den github vom history Adapter. Hier stehen die Befehle, die unter Linux per SSH abgesetzt werden müssen.
Die beiden Jungs aus dem thread hier haben zusammen auch den Fehler ausgemerzt und das Übertragen der Werte funktioniert jetzt einwandfrei. Falls was unklar bleibt, nochmal melden und vor allem zeigen, wo es hakt.

Grüße und viel Erfolg

[Marcus007]

@XxJooO Danke.
Du hast mir Mut gemacht.
Ich werde es bei Gelegenheit testen.

Marcus

Es hat geklappt:
545 Tagesverzeichnisse mit ca. 18GB Daten wurden in 7h mit Erfolg umgezogen.

Nochmals vielen Dank, für die Arbeit.

Marcus

[Davipet]

Hallo Leute,

ich versuche grade meine History-Daten in influx zu migrieren.
Leider bekomme ich beim Aufruf von "analyzeinflux.js" schon Fehler.

In der Console bekomme ich:

Und zeitgleich im ioBroker-Log:

Beim Versuch ohne analyze-script die Daten zu migrieren wird schlicht alles "ignored". Datenpunkt für Datenpunkt.

Mein IOBroker läuft als Docker unter Unraid... die InfluxDB in einem eigenen Docker Container.

Kann mir jemand helfen?'

Danke!

David

[apollon77]

@davipet Ist das ne InfluxDB 1 oder 2? Ist die InfluxDB Instanz korrekt konfiguriert?

InfluxDB 2 wird erst seit History 2.2.1 im analyze Skript unterstützt ... Welche History Version ists denn?

[Davipet]

Hallo @apollon77
Danke für die Info!
Es ist eine History 2.2.0 Instanz und eine influxDB 2
Da ist also das Problem.
Dann ziehe ich mal auf History 2.2.1 hoch und versuche es erneut

Gruß

David

[meto]

Hallo,
ich habe vor einigen Tagen begonnen auf Influx umzustellen. Influx funktioniert augenscheinlich einwandfrei. Die neuen Werte kommen alle an. Leider erhalte ich bei der Konvertierung Fehlermeldungen. Mit History 2.2.0 und Inlux 3.1.7 Ende des ganz kurz nach dem Aufruf mit "warn: influxdb.0 (12548) storeState executed with 3 errors" im iobroker log.

Ich habe dann von Github History 2.2.1 und Inlux 3.1.8 installiert.

Nun Endet das Ganz nach dem Aufruf unverrichteter Dinge:

pi@raspbi4:/opt/iobroker/node_modules/iobroker.history/converter $ node history2db.js influxdb.0 info 20201231 /home/pi/history  --logChangesOnly --processNonExistingValuesOnly
Send Data to influxdb.0
Start at 20201231
Use historyDir /home/pi/history
earliesDBValues initialized from cache 135
ExistingDBTypes initialized from cache 135
Started processFiles with 135 known db values
We start earliest at 20201231
Day 20201231 - history.hm-rega.0.51333.json
  datapoints reduced from 345 --> 345
This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). The promise rejected with the reason:
TypeError: Assignment to constant variable.
    at processFile (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:282:66)
    at processFiles (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:185:5)
    at main (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:148:5)
    at Adapter.<anonymous> (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:96:5)
    at Adapter.emit (node:events:513:28)
    at Adapter.emit (node:domain:489:12)
    at /opt/iobroker/node_modules/@iobroker/js-controller-adapter/src/lib/adapter/adapter.js:9132:26

Hat jemand eine Idee was da falsch läuft und wie ich die Daten von History trotzdem in die Influx-Datenbank bekomme?

Danke im Voraus.

Gruß
meto

[apollon77]

@meto Bitte Github issue anlegen bei histotry ... muss ich ansehen, scheint code fehler

[meto]

@apollon77 issue ist geöffnet. Hab den Fehler auch bei mir schon gefunden.
Hab bei mir jetzt Zeile 282 von "const jj = 0" in "let jj = 0" geändert. Läuft jetzt gerade noch. Aber auf jeden Fall nicht gleich in den obigen Fehler. Anmerkung ist auch im Github.

[apollon77]

@meto Danke, hatte das gleiche gesehen. Fix kommt nachher

[Chris83 0]

Hallo zusammen,
ich bin auch gerade mit dem Umzug in MySQL beschäftig. Leider bekomme ich die Daten von den Bosch Geräten nicht migriert und beispielsweise diese Meldung angezeigt:

Day 20220925 - history.bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption.json
    Ignore ID history.bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption.json: bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption

Ich vermute, dass es an dem Zeichen "~" liegt, welches er anstelle der beiden Doppelpunkte gesetzt hat.
Im History Data-Ordner wurde das Logfile unter diesem Namen gespeichert:

history.bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption.json

Der dazugehörige Datenpunkt:

bshb.0.hdm:ZigBee:385b44fffeabccbb.PowerMeter.powerConsumption

Hätte jemand eine Idee, wie ich die Daten doch noch übertragen kann?

[apollon77]

@chris83-0 Bitte Github issue bei history anlegen. denke da fehlt die konvertierung zurück ... aber problem ist das das die Information was das zeichen vorher war verlioren ist ... da muss ich mal rein überlegen

[Chris83 0]

@apollon77 Okay, ist erledigt Github issue #198.

Habe probehalber mal ein .json entsprechend umbenannt (also ":" anstelle "~") und das hat dann auch geklappt. Muss nur mal schauen, wie ich das als .batch job machen kann, weil sind doch einige files zu bearbeiten

EDIT: "rename 's/~/:/g' *"

[apollon77]

@chris83-0 Super das du nen workaround hast ... dann hab ich zeit nachzudenken