Object Daten in Influx db speichern

[drdoener]

Hallo zusammen,

über Node-Red beziehe ich Daten von Solarprognose.de, die als objects mit zahlreichen Werten zuverlässig bezogen werden.
Bsp:

Ich möchte diese Daten in meiner influx db speichern, idealerweise in diesem Format:

(ein anderes Tool, das abgelöst werden muss, schreibt aktuell die Daten in die influx db)

Aktuell stehe ich total auf dem Schlauch, wie ich die Daten umwandeln muss, um diese in die influxdb zu bekommen.

Kann mir hier jemand auf die Sprünge helfen?

Danke!
Michael

[mickym]

@drdoener Also ich kann Dich ggf. unterstützen, wenn Du in eine neuere Influx DB schreiben willst, also ab Version 2.x

Dann würde ich mir halt die InfluxDB Node installieren und dann musst Du Dir überlegen wie Du die Datenbank aufbauen willst.

Aus dem Data Objekt mit dem Array musst Du halt Objekte machen, denn die Feldnamen zuordnest, ob Du dabei die Timestamps so übergibst oder bereits in lesbarer Form - oder beides bleibt Dir überlassen.

Die folgenden Nodes hab ich mal getestet: node-red-contrib-influxdb

Wenn Du willst das ich Dir bei der Konvertierung Deiner Arrays mit den zugehörigen Feldnamen behilflich sein soll, dann musst Du halt mal so ein ganzes Objekt hier in Code-Tags einstellen. Dabei aber auch richtig über die Schaltfläche Wert kopieren, herauskopieren.

[drdoener]

Hi mickym,
das klingt hervorragend!
Ich benutze eine influx 2.x und node-red-contrib-influxdb v 0.6.0 habe ich installiert.

Von dem gelb markierten Datensatz habe ich Pfad und Wert herauskopiert:

payload.data["1695798000"] value: [1695798000,1.112,1.156]
payload.data["1695798000"][0] value: 1695798000
payload.data["1695798000"][1] value: 1.112
payload.data["1695798000"][2] value: 1.156

Reicht das so?

VG

[mickym]

@drdoener Wie gesagt mir wäre es lieber, wenn Du mir Deine ganze payload hier in CodeTags einstellst, wie in den Screenshots beschrieben und Du brauchst auch noch Feldnamen

Geh ganz oben auf payload objekt und dann rechts mit der Maus auf Wert kopieren!

[drdoener]

solarprognose reply.txt

So?

[mickym]

@drdoener Ja das passt damit kann ich es nachvollziehen:

ich bin zwar noch etwas am tüffteln, ob man ganze Datenreihen auf einmal schreiben kann, aber egal.

Wie sollten Deine Feldnamen heißen?

Also element 0 = timestamp? dann vielleicht noch ein lesbares Datum zusätzlich?
Was ist element 1 und 2 ?

[drdoener]

0 ist timestamp
1 soll "Prognose_W"
2 soll "Prognose_Wh"
heissen.

Lesbares Datum zusätzlich finde ich auch gut!

[mickym]

@drdoener Sollen die timestamps einfach so stehen bleiben oder sollen die in der influx als Zeitstempel verwendet werden?

Ich probiere mal letzteres.

[drdoener]

in der influx als Zeitstempel, da es die Prognose pro Stunde für die Zukunft ist.

[mickym]

Muss da aber selbst bissi tüfteln und muss bald weg - evtl. gehts erst heute abend weiter.

[drdoener]

@mickym Super

[mickym]

@drdoener Also mit der Node und timestamps setzen wird das glaube ich nichts - ggf musst doch direktes HTTP verwenden.

Spoiler

[
   {
       "id": "5ff807883384b0f3",
       "type": "inject",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "props": [
           {
               "p": "payload"
           },
           {
               "p": "topic",
               "vt": "str"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "{\"preferredNextApiRequestAt\":{\"secondOfHour\":528,\"epochTimeUtc\":1695816528},\"status\":0,\"iLastPredictionGenerationEpochTime\":1695815141,\"weather_source_text\":\"<a target=\\\"_blank\\\" href=\\\"https://www.dwd.de/DE/service/copyright/copyright_node.html\\\"><img src=\\\"http://www.solarprognose.de/web/img/dwd_logo_258x69.png\\\"></a>\",\"datalinename\":\"sts gesamt\",\"data\":{\"1695790800\":[1695790800,0,0],\"1695794400\":[1695794400,0.044,0.044],\"1695798000\":[1695798000,1.112,1.156],\"1695801600\":[1695801600,2.694,3.85],\"1695805200\":[1695805200,3.77,7.62],\"1695808800\":[1695808800,4.463,12.083],\"1695812400\":[1695812400,5.123,17.206],\"1695816000\":[1695816000,5.476,22.682],\"1695819600\":[1695819600,4.925,27.607],\"1695823200\":[1695823200,4.402,32.009],\"1695826800\":[1695826800,4.207,36.216],\"1695830400\":[1695830400,2.143,38.359],\"1695834000\":[1695834000,0,38.359],\"1695880800\":[1695880800,0,0],\"1695884400\":[1695884400,0.66,0.66],\"1695888000\":[1695888000,1.784,2.444],\"1695891600\":[1695891600,2.577,5.021],\"1695895200\":[1695895200,3.195,8.216],\"1695898800\":[1695898800,3.821,12.037],\"1695902400\":[1695902400,4.032,16.069],\"1695906000\":[1695906000,3.739,19.808],\"1695909600\":[1695909600,3.249,23.057],\"1695913200\":[1695913200,3.031,26.088],\"1695916800\":[1695916800,1.402,27.49],\"1695920400\":[1695920400,0,27.49]}}",
       "payloadType": "json",
       "x": 130,
       "y": 2980,
       "wires": [
           [
               "67a4bedad21c660c"
           ]
       ]
   },
   {
       "id": "67a4bedad21c660c",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data",
               "tot": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 310,
       "y": 2980,
       "wires": [
           [
               "6912f0e6b54c0a4d"
           ]
       ]
   },
   {
       "id": "6912f0e6b54c0a4d",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "$each($.payload, function($v, $k) {$v}).{\t    \"measurement\":\"Solarprognose1\",\t    \"timestamp\":$[0] ,\t   \"fields\":{\t       \"Datum\": ($moment($[0]*1000).locale(\"de\").tz('Europe/Berlin').format('DD.MM.YYYY HH:mm:ss'))[0],\t       \"Prognose_W\":$[1],\t       \"Prognose_Wh\":$[2]\t   }\t}",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 530,
       "y": 2980,
       "wires": [
           [
               "c4d295389e3d4b79",
               "5b025943bb873f35"
           ]
       ]
   },
   {
       "id": "c4d295389e3d4b79",
       "type": "debug",
       "z": "5ad55a7b0d4580eb",
       "name": "Objekt",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 710,
       "y": 2920,
       "wires": []
   }
]

Ich brings nicht ganz hin.

Verwendet wurde die Batch Node mit folgenden Einstellungen:

Aber wie gesagt mit dem timestamp setzen bekomme ich nicht hin - man muss sich noch mal die Format doku inkl. HTTP anschauen.

Das Teil arbeitet die Objekte für die Batch-Node soweit auf:

aber wie gesagt - ggf. muss man sich da was anderes einfallen lassen.

Eventuell ist die Batch Node auch nur für Version 1.8 vorgesehen. Für die influx out habe ich keinen Parameter gefunden, wie man die Zeit setzen kann. Also wahrscheinlich selbst über HTTP arbeiten. Mal schauen, wann ich dazu Zeit finde.

[Marc Berg]

@mickym @drdoener

Ich mache so etwas ähnliches für Strompreisdaten und schreibe die Daten mit InfluxDB-Zeitstempel "in die Zukunft". Dafür ist zwar ein Funktion Node erforderlich, aber der Code hält sich in Grenzen. Vielleicht könnt ihr daraus eine Anregung ziehen.

Spoiler

[
    {
        "id": "dc823e55b3f32d09",
        "type": "group",
        "z": "6556fa3d962af7db",
        "name": "Marktdaten",
        "style": {
            "label": true
        },
        "nodes": [
            "ce0ce74334490ad4",
            "d341b3beca12571b",
            "c64fcd9185267629",
            "3c19e908450d135f",
            "c78441b6fc108a17",
            "1504b80c578e48e8"
        ],
        "x": 54,
        "y": 479,
        "w": 812,
        "h": 82
    },
    {
        "id": "ce0ce74334490ad4",
        "type": "http request",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "aWattar",
        "method": "GET",
        "ret": "obj",
        "paytoqs": "ignore",
        "url": "https://api.awattar.de/v1/marketdata",
        "tls": "",
        "persist": true,
        "proxy": "",
        "insecureHTTPParser": false,
        "authType": "",
        "senderr": false,
        "headers": [],
        "x": 280,
        "y": 520,
        "wires": [
            [
                "c64fcd9185267629"
            ]
        ]
    },
    {
        "id": "d341b3beca12571b",
        "type": "inject",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "",
        "props": [
            {
                "p": "payload"
            }
        ],
        "repeat": "10800",
        "crontab": "",
        "once": true,
        "onceDelay": 0.1,
        "topic": "",
        "payload": "",
        "payloadType": "str",
        "x": 150,
        "y": 520,
        "wires": [
            [
                "ce0ce74334490ad4"
            ]
        ]
    },
    {
        "id": "c64fcd9185267629",
        "type": "change",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "array",
        "rules": [
            {
                "t": "set",
                "p": "payload",
                "pt": "msg",
                "to": "payload.data",
                "tot": "msg"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 410,
        "y": 520,
        "wires": [
            [
                "3c19e908450d135f"
            ]
        ]
    },
    {
        "id": "3c19e908450d135f",
        "type": "split",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "",
        "splt": "\\n",
        "spltType": "str",
        "arraySplt": 1,
        "arraySpltType": "len",
        "stream": false,
        "addname": "",
        "x": 530,
        "y": 520,
        "wires": [
            [
                "c78441b6fc108a17"
            ]
        ]
    },
    {
        "id": "c78441b6fc108a17",
        "type": "function",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "values",
        "func": "msg.payload = \n[\n     [\n        {\n            time: msg.payload[\"start_timestamp\"],\n            value: msg.payload[\"marketprice\"]\n        }\n        //Tags\n        //,{\n        //    tag1: \"value1\",\n        //    tag2: \"value2\"\n        //}\n    ]\n];\nreturn msg;",
        "outputs": 1,
        "noerr": 0,
        "initialize": "",
        "finalize": "",
        "libs": [],
        "x": 650,
        "y": 520,
        "wires": [
            [
                "1504b80c578e48e8"
            ]
        ]
    },
    {
        "id": "1504b80c578e48e8",
        "type": "influxdb out",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "influxdb": "4d3e21e6d3a637e2",
        "name": "flux out",
        "measurement": "mqtt.0.power.marketdata",
        "precision": "ms",
        "retentionPolicy": "",
        "database": "test",
        "precisionV18FluxV20": "ms",
        "retentionPolicyV18Flux": "",
        "org": "home",
        "bucket": "iobroker",
        "x": 780,
        "y": 520,
        "wires": []
    },
    {
        "id": "4d3e21e6d3a637e2",
        "type": "influxdb",
        "hostname": "127.0.0.1",
        "port": "8086",
        "protocol": "http",
        "database": "database",
        "name": "influx2",
        "usetls": false,
        "tls": "60ff8359.8da344",
        "influxdbVersion": "2.0",
        "url": "http://influxdb2:8086",
        "rejectUnauthorized": false
    },
    {
        "id": "60ff8359.8da344",
        "type": "tls-config",
        "name": "",
        "cert": "",
        "key": "",
        "ca": "",
        "certname": "",
        "keyname": "",
        "caname": "",
        "servername": "",
        "verifyservercert": false
    }
]

[drdoener]

@mickym
Klappt doch schon! Nur die Time Precision in"influx batch" auf seconds stellen.
Schaue es mir jetzt nochmal im Detail an und melde mich.

[drdoener]

Zweites Feedback:
Klappt super !

[mickym]

@drdoener Na dann freut mich das - bei mir war da irgendwie der Wurm drin. Kümmer Dich also nicht um mein anderes Geschreibsel - ich möchte nur verstehen, warum das bei mir nicht tut.

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

Dafür ist zwar ein Funktion Node erforderlich, aber der Code hält sich in Grenzen. Vielleicht könnt ihr daraus eine Anregung ziehen.

Na ja eine function Node ist dafür nicht erforderlich, dass kann ich Dir gerne zeigen wenn Du willst, aber wenn ich Deinen Flow nehme dann kommen ja die Arrays raus, die Du ggf. für tags brauchst.

Das verstehe ich alles -

hab das dann mal in meine DB in ein anderes Bucket geschrieben.

und ich sehe immer nur EINEN Wert in der DB - das kapiere ich nicht - freut mich ja wenn es bei Euch geht - aber würde halt gerne verstehen warum das bei mir nicht tut.

Ich sehe nur EINEN Wert.

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Ich sehe nur EINEN Wert.

Bin mir nicht ganz sicher, aber es könnte hieran liegen:

Die meisten Werte liegen ja in der Zukunft. Versuch mal den Zeitraum anzupassen.

[mickym]

@marc-berg Oh Du bist sooo schlau. - und ich so doof - das wars.

[mickym]

@marc-berg Ich passe trotzdem mal Deinen Flow an - um mal wieder zu beweisen, dass man für sowas keine function Node braucht.

Ein weiterer Unterschied zu meiner Methode über die Batch-Node ist, dass man alles aufeinmal übergeben kann und nicht alles in einzelne Nachrichten aufteilen musst.

Angeblich soll das ja auch mit der influx Out Node gehen: