Object Daten in Influx db speichern

[mickym]

Muss da aber selbst bissi tüfteln und muss bald weg - evtl. gehts erst heute abend weiter.

[drdoener]

@mickym Super

[mickym]

@drdoener Also mit der Node und timestamps setzen wird das glaube ich nichts - ggf musst doch direktes HTTP verwenden.

Spoiler

[
   {
       "id": "5ff807883384b0f3",
       "type": "inject",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "props": [
           {
               "p": "payload"
           },
           {
               "p": "topic",
               "vt": "str"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "{\"preferredNextApiRequestAt\":{\"secondOfHour\":528,\"epochTimeUtc\":1695816528},\"status\":0,\"iLastPredictionGenerationEpochTime\":1695815141,\"weather_source_text\":\"<a target=\\\"_blank\\\" href=\\\"https://www.dwd.de/DE/service/copyright/copyright_node.html\\\"><img src=\\\"http://www.solarprognose.de/web/img/dwd_logo_258x69.png\\\"></a>\",\"datalinename\":\"sts gesamt\",\"data\":{\"1695790800\":[1695790800,0,0],\"1695794400\":[1695794400,0.044,0.044],\"1695798000\":[1695798000,1.112,1.156],\"1695801600\":[1695801600,2.694,3.85],\"1695805200\":[1695805200,3.77,7.62],\"1695808800\":[1695808800,4.463,12.083],\"1695812400\":[1695812400,5.123,17.206],\"1695816000\":[1695816000,5.476,22.682],\"1695819600\":[1695819600,4.925,27.607],\"1695823200\":[1695823200,4.402,32.009],\"1695826800\":[1695826800,4.207,36.216],\"1695830400\":[1695830400,2.143,38.359],\"1695834000\":[1695834000,0,38.359],\"1695880800\":[1695880800,0,0],\"1695884400\":[1695884400,0.66,0.66],\"1695888000\":[1695888000,1.784,2.444],\"1695891600\":[1695891600,2.577,5.021],\"1695895200\":[1695895200,3.195,8.216],\"1695898800\":[1695898800,3.821,12.037],\"1695902400\":[1695902400,4.032,16.069],\"1695906000\":[1695906000,3.739,19.808],\"1695909600\":[1695909600,3.249,23.057],\"1695913200\":[1695913200,3.031,26.088],\"1695916800\":[1695916800,1.402,27.49],\"1695920400\":[1695920400,0,27.49]}}",
       "payloadType": "json",
       "x": 130,
       "y": 2980,
       "wires": [
           [
               "67a4bedad21c660c"
           ]
       ]
   },
   {
       "id": "67a4bedad21c660c",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data",
               "tot": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 310,
       "y": 2980,
       "wires": [
           [
               "6912f0e6b54c0a4d"
           ]
       ]
   },
   {
       "id": "6912f0e6b54c0a4d",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "$each($.payload, function($v, $k) {$v}).{\t    \"measurement\":\"Solarprognose1\",\t    \"timestamp\":$[0] ,\t   \"fields\":{\t       \"Datum\": ($moment($[0]*1000).locale(\"de\").tz('Europe/Berlin').format('DD.MM.YYYY HH:mm:ss'))[0],\t       \"Prognose_W\":$[1],\t       \"Prognose_Wh\":$[2]\t   }\t}",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 530,
       "y": 2980,
       "wires": [
           [
               "c4d295389e3d4b79",
               "5b025943bb873f35"
           ]
       ]
   },
   {
       "id": "c4d295389e3d4b79",
       "type": "debug",
       "z": "5ad55a7b0d4580eb",
       "name": "Objekt",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 710,
       "y": 2920,
       "wires": []
   }
]

Ich brings nicht ganz hin.

Verwendet wurde die Batch Node mit folgenden Einstellungen:

Aber wie gesagt mit dem timestamp setzen bekomme ich nicht hin - man muss sich noch mal die Format doku inkl. HTTP anschauen.

Das Teil arbeitet die Objekte für die Batch-Node soweit auf:

aber wie gesagt - ggf. muss man sich da was anderes einfallen lassen.

Eventuell ist die Batch Node auch nur für Version 1.8 vorgesehen. Für die influx out habe ich keinen Parameter gefunden, wie man die Zeit setzen kann. Also wahrscheinlich selbst über HTTP arbeiten. Mal schauen, wann ich dazu Zeit finde.

[Marc Berg]

@mickym @drdoener

Ich mache so etwas ähnliches für Strompreisdaten und schreibe die Daten mit InfluxDB-Zeitstempel "in die Zukunft". Dafür ist zwar ein Funktion Node erforderlich, aber der Code hält sich in Grenzen. Vielleicht könnt ihr daraus eine Anregung ziehen.

Spoiler

[
    {
        "id": "dc823e55b3f32d09",
        "type": "group",
        "z": "6556fa3d962af7db",
        "name": "Marktdaten",
        "style": {
            "label": true
        },
        "nodes": [
            "ce0ce74334490ad4",
            "d341b3beca12571b",
            "c64fcd9185267629",
            "3c19e908450d135f",
            "c78441b6fc108a17",
            "1504b80c578e48e8"
        ],
        "x": 54,
        "y": 479,
        "w": 812,
        "h": 82
    },
    {
        "id": "ce0ce74334490ad4",
        "type": "http request",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "aWattar",
        "method": "GET",
        "ret": "obj",
        "paytoqs": "ignore",
        "url": "https://api.awattar.de/v1/marketdata",
        "tls": "",
        "persist": true,
        "proxy": "",
        "insecureHTTPParser": false,
        "authType": "",
        "senderr": false,
        "headers": [],
        "x": 280,
        "y": 520,
        "wires": [
            [
                "c64fcd9185267629"
            ]
        ]
    },
    {
        "id": "d341b3beca12571b",
        "type": "inject",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "",
        "props": [
            {
                "p": "payload"
            }
        ],
        "repeat": "10800",
        "crontab": "",
        "once": true,
        "onceDelay": 0.1,
        "topic": "",
        "payload": "",
        "payloadType": "str",
        "x": 150,
        "y": 520,
        "wires": [
            [
                "ce0ce74334490ad4"
            ]
        ]
    },
    {
        "id": "c64fcd9185267629",
        "type": "change",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "array",
        "rules": [
            {
                "t": "set",
                "p": "payload",
                "pt": "msg",
                "to": "payload.data",
                "tot": "msg"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 410,
        "y": 520,
        "wires": [
            [
                "3c19e908450d135f"
            ]
        ]
    },
    {
        "id": "3c19e908450d135f",
        "type": "split",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "",
        "splt": "\\n",
        "spltType": "str",
        "arraySplt": 1,
        "arraySpltType": "len",
        "stream": false,
        "addname": "",
        "x": 530,
        "y": 520,
        "wires": [
            [
                "c78441b6fc108a17"
            ]
        ]
    },
    {
        "id": "c78441b6fc108a17",
        "type": "function",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "name": "values",
        "func": "msg.payload = \n[\n     [\n        {\n            time: msg.payload[\"start_timestamp\"],\n            value: msg.payload[\"marketprice\"]\n        }\n        //Tags\n        //,{\n        //    tag1: \"value1\",\n        //    tag2: \"value2\"\n        //}\n    ]\n];\nreturn msg;",
        "outputs": 1,
        "noerr": 0,
        "initialize": "",
        "finalize": "",
        "libs": [],
        "x": 650,
        "y": 520,
        "wires": [
            [
                "1504b80c578e48e8"
            ]
        ]
    },
    {
        "id": "1504b80c578e48e8",
        "type": "influxdb out",
        "z": "6556fa3d962af7db",
        "g": "dc823e55b3f32d09",
        "influxdb": "4d3e21e6d3a637e2",
        "name": "flux out",
        "measurement": "mqtt.0.power.marketdata",
        "precision": "ms",
        "retentionPolicy": "",
        "database": "test",
        "precisionV18FluxV20": "ms",
        "retentionPolicyV18Flux": "",
        "org": "home",
        "bucket": "iobroker",
        "x": 780,
        "y": 520,
        "wires": []
    },
    {
        "id": "4d3e21e6d3a637e2",
        "type": "influxdb",
        "hostname": "127.0.0.1",
        "port": "8086",
        "protocol": "http",
        "database": "database",
        "name": "influx2",
        "usetls": false,
        "tls": "60ff8359.8da344",
        "influxdbVersion": "2.0",
        "url": "http://influxdb2:8086",
        "rejectUnauthorized": false
    },
    {
        "id": "60ff8359.8da344",
        "type": "tls-config",
        "name": "",
        "cert": "",
        "key": "",
        "ca": "",
        "certname": "",
        "keyname": "",
        "caname": "",
        "servername": "",
        "verifyservercert": false
    }
]

[drdoener]

@mickym
Klappt doch schon! Nur die Time Precision in"influx batch" auf seconds stellen.
Schaue es mir jetzt nochmal im Detail an und melde mich.

[drdoener]

Zweites Feedback:
Klappt super !

[mickym]

@drdoener Na dann freut mich das - bei mir war da irgendwie der Wurm drin. Kümmer Dich also nicht um mein anderes Geschreibsel - ich möchte nur verstehen, warum das bei mir nicht tut.

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

Dafür ist zwar ein Funktion Node erforderlich, aber der Code hält sich in Grenzen. Vielleicht könnt ihr daraus eine Anregung ziehen.

Na ja eine function Node ist dafür nicht erforderlich, dass kann ich Dir gerne zeigen wenn Du willst, aber wenn ich Deinen Flow nehme dann kommen ja die Arrays raus, die Du ggf. für tags brauchst.

Das verstehe ich alles -

hab das dann mal in meine DB in ein anderes Bucket geschrieben.

und ich sehe immer nur EINEN Wert in der DB - das kapiere ich nicht - freut mich ja wenn es bei Euch geht - aber würde halt gerne verstehen warum das bei mir nicht tut.

Ich sehe nur EINEN Wert.

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Ich sehe nur EINEN Wert.

Bin mir nicht ganz sicher, aber es könnte hieran liegen:

Die meisten Werte liegen ja in der Zukunft. Versuch mal den Zeitraum anzupassen.

[mickym]

@marc-berg Oh Du bist sooo schlau. - und ich so doof - das wars.

[mickym]

@marc-berg Ich passe trotzdem mal Deinen Flow an - um mal wieder zu beweisen, dass man für sowas keine function Node braucht.

Ein weiterer Unterschied zu meiner Methode über die Batch-Node ist, dass man alles aufeinmal übergeben kann und nicht alles in einzelne Nachrichten aufteilen musst.

Angeblich soll das ja auch mit der influx Out Node gehen:

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Na ja eine function Node ist dafür nicht erforderlich, dass kann ich Dir gerne zeigen wenn Du willst

Nachdem es bei meinen Versuchen mit dem Change Node nicht gleich funktioniert hatte, habe ich es einfach mit der Function Node gemacht. Aber wäre cool wenn du eine Lösung parat hättest. Function Nodes finde ich eigentlich auch bäh.

Edit: zu lange gebraucht für die Antwort

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Angeblich soll das ja auch mit der influx Out Node gehen:

Jaha! Aber so wie ich das verstehe, werden dann ALLE Fields und Tags in einen Datensatz mit einem Timestamp gepackt. Das ist ja nicht das, was wir wollen.

[mickym]

@marc-berg Ah OK - aber dann geht es mit der Batch- Node wie ich ja dann an dem Flow für @drdoener zeigen konnte.

in der Batch Node - kannst Du einen timestamp Property setzen.

Deswegen schauen meine Objekte auch so aus:

{
  "measurement": "Solarprognose1",
  "timestamp": 1695790800,
  "fields": {
    "Datum": "27.09.2023 07:00:00",
    "Prognose_W": 0,
    "Prognose_Wh": 0
  }
}

Ok - ich bin aber noch an Deinem Flow ...

bissi Geduld.

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

@mickym sagte in Object Daten in Influx db speichern:

Na ja eine function Node ist dafür nicht erforderlich, dass kann ich Dir gerne zeigen wenn Du willst

Nachdem es bei meinen Versuchen mit dem Change Node nicht gleich funktioniert hatte, habe ich es einfach mit der Function Node gemacht. Aber wäre cool wenn du eine Lösung parat hättest. Function Nodes finde ich eigentlich auch bäh.

Edit: zu lange gebraucht für die Antwort

Ok - ist eigentlich nicht schwer - man muss nur aufpassen mit den verschachtelten Arrays - aber ich habs jetzt mit Deiner Ausgabe abgeglichen.

Hier die modifizierte ChangeNode:

Spoiler

[
   {
       "id": "89f0c587efd90376",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "array",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data.[[{\"time\":start_timestamp,\"value\":marketprice}]]",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 2570,
       "y": 240,
       "wires": [
           [
               "c49673d982f45821"
           ]
       ]
   }
]

Das Array mit den geänderten Objekten kannst Du einfach so erstellen:

payload.data.[[{"time":start_timestamp,"value":marketprice}]]

falls Du noch tags dahinter machen wolltest.

EDIT: Habs gleich in eine Regel gepackt.

[mickym]

@marc-berg

@marc-berg sagte in Object Daten in Influx db speichern:

@mickym sagte in Object Daten in Influx db speichern:

Angeblich soll das ja auch mit der influx Out Node gehen:

Jaha! Aber so wie ich das verstehe, werden dann ALLE Fields und Tags in einen Datensatz mit einem Timestamp gepackt. Das ist ja nicht das, was wir wollen.

Du brauchst das nicht in einzelne Nachrichten aufteilen. Ich hab einfach mal das gesamte Array übergeben und das ist in der Datenbank völlig identisch. Und ja es geht mit _time. Klasse wieder viel gelernt.

Du musst nur eine Verschachtelung weniger machen.

Wenn Du also das ganze Array auf einmal in die Influx Node schickst, kommt das identische raus (power.marketdata.3), Deine Lösung (power.marketdata.2).

Spoiler

[
   {
       "id": "ce0ce74334490ad4",
       "type": "http request",
       "z": "5ad55a7b0d4580eb",
       "name": "aWattar",
       "method": "GET",
       "ret": "obj",
       "paytoqs": "ignore",
       "url": "https://api.awattar.de/v1/marketdata",
       "tls": "",
       "persist": true,
       "proxy": "",
       "insecureHTTPParser": false,
       "authType": "",
       "senderr": false,
       "headers": [],
       "x": 2380,
       "y": 180,
       "wires": [
           [
               "c64fcd9185267629",
               "89f0c587efd90376"
           ]
       ]
   },
   {
       "id": "d341b3beca12571b",
       "type": "inject",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "props": [
           {
               "p": "payload"
           }
       ],
       "repeat": "10800",
       "crontab": "",
       "once": true,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "",
       "payloadType": "str",
       "x": 2250,
       "y": 180,
       "wires": [
           [
               "ce0ce74334490ad4"
           ]
       ]
   },
   {
       "id": "c64fcd9185267629",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "array",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data",
               "tot": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 2570,
       "y": 180,
       "wires": [
           [
               "3c19e908450d135f"
           ]
       ]
   },
   {
       "id": "3c19e908450d135f",
       "type": "split",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "splt": "\\n",
       "spltType": "str",
       "arraySplt": 1,
       "arraySpltType": "len",
       "stream": false,
       "addname": "",
       "x": 2690,
       "y": 180,
       "wires": [
           [
               "c78441b6fc108a17"
           ]
       ]
   },
   {
       "id": "c78441b6fc108a17",
       "type": "function",
       "z": "5ad55a7b0d4580eb",
       "name": "values",
       "func": "msg.payload = \n[\n     [\n        {\n            time: msg.payload[\"start_timestamp\"],\n            value: msg.payload[\"marketprice\"]\n        }\n        //Tags\n        //,{\n        //    tag1: \"value1\",\n        //    tag2: \"value2\"\n        //}\n    ]\n];\nreturn msg;",
       "outputs": 1,
       "noerr": 0,
       "initialize": "",
       "finalize": "",
       "libs": [],
       "x": 2810,
       "y": 180,
       "wires": [
           [
               "1504b80c578e48e8",
               "7abc6461d2339da3"
           ]
       ]
   },
   {
       "id": "1504b80c578e48e8",
       "type": "influxdb out",
       "z": "5ad55a7b0d4580eb",
       "influxdb": "64647facf05f4c10",
       "name": "flux out -power.marketdata.3",
       "measurement": "power.marketdata.3",
       "precision": "ms",
       "retentionPolicy": "",
       "database": "test",
       "precisionV18FluxV20": "ms",
       "retentionPolicyV18Flux": "",
       "org": "mwdebian",
       "bucket": "Node-Red Test",
       "x": 3040,
       "y": 180,
       "wires": []
   },
   {
       "id": "7abc6461d2339da3",
       "type": "debug",
       "z": "5ad55a7b0d4580eb",
       "name": "mit function Node",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 3010,
       "y": 120,
       "wires": []
   },
   {
       "id": "89f0c587efd90376",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "array",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data.[{\"time\":start_timestamp,\"value\":marketprice}]",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 2550,
       "y": 280,
       "wires": [
           [
               "e52c29391aa1d250",
               "f9128ed718447be4"
           ]
       ]
   },
   {
       "id": "e52c29391aa1d250",
       "type": "influxdb out",
       "z": "5ad55a7b0d4580eb",
       "influxdb": "64647facf05f4c10",
       "name": "flux out - power.marketdata.2",
       "measurement": "power.marketdata.2",
       "precision": "ms",
       "retentionPolicy": "",
       "database": "test",
       "precisionV18FluxV20": "ms",
       "retentionPolicyV18Flux": "",
       "org": "mwdebian",
       "bucket": "Node-Red Test",
       "x": 2760,
       "y": 280,
       "wires": []
   },
   {
       "id": "f9128ed718447be4",
       "type": "debug",
       "z": "5ad55a7b0d4580eb",
       "name": "ganzes Array",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 2710,
       "y": 320,
       "wires": []
   },
   {
       "id": "64647facf05f4c10",
       "type": "influxdb",
       "hostname": "127.0.0.1",
       "port": "8086",
       "protocol": "http",
       "database": "database",
       "name": "MWDebian InfluxDB",
       "usetls": false,
       "tls": "",
       "influxdbVersion": "2.0",
       "url": "http://mwdebian.fritz.box:8086",
       "rejectUnauthorized": false
   }
]

Fazit für mich: Man muss nicht die Batch-Node verwenden.

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Du musst nur eine Verschachtelung weniger machen.

So, das habe ich jetzt eingebaut und das Ergebnis sieht sehr gut aus. Immer toll zu sehen, wie mächtig eine kurze Zeile JSONata ist. Zwei Nodes gespart.

Danke dir!

[mickym]

@marc-berg Und wie gesagt - Du kannst das komplette Array aufeinmal senden.

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

Immer toll zu sehen, wie mächtig eine kurze Zeile JSONata ist.

Ja das fasziniert mich auch immer wieder, wie mächtig das Teil ist und wieviel Code man sich gegenüber normalem Javascript sparen kann.

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Und wie gesagt - Du kannst das komplette Array aufeinmal senden.

Ja, das ist klar. Hätte ich nicht gedacht, dass es so geht.