Object Daten in Influx db speichern

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Na ja eine function Node ist dafür nicht erforderlich, dass kann ich Dir gerne zeigen wenn Du willst

Nachdem es bei meinen Versuchen mit dem Change Node nicht gleich funktioniert hatte, habe ich es einfach mit der Function Node gemacht. Aber wäre cool wenn du eine Lösung parat hättest. Function Nodes finde ich eigentlich auch bäh.

Edit: zu lange gebraucht für die Antwort

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Angeblich soll das ja auch mit der influx Out Node gehen:

Jaha! Aber so wie ich das verstehe, werden dann ALLE Fields und Tags in einen Datensatz mit einem Timestamp gepackt. Das ist ja nicht das, was wir wollen.

[mickym]

@marc-berg Ah OK - aber dann geht es mit der Batch- Node wie ich ja dann an dem Flow für @drdoener zeigen konnte.

in der Batch Node - kannst Du einen timestamp Property setzen.

Deswegen schauen meine Objekte auch so aus:

{
  "measurement": "Solarprognose1",
  "timestamp": 1695790800,
  "fields": {
    "Datum": "27.09.2023 07:00:00",
    "Prognose_W": 0,
    "Prognose_Wh": 0
  }
}

Ok - ich bin aber noch an Deinem Flow ...

bissi Geduld.

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

@mickym sagte in Object Daten in Influx db speichern:

Na ja eine function Node ist dafür nicht erforderlich, dass kann ich Dir gerne zeigen wenn Du willst

Nachdem es bei meinen Versuchen mit dem Change Node nicht gleich funktioniert hatte, habe ich es einfach mit der Function Node gemacht. Aber wäre cool wenn du eine Lösung parat hättest. Function Nodes finde ich eigentlich auch bäh.

Edit: zu lange gebraucht für die Antwort

Ok - ist eigentlich nicht schwer - man muss nur aufpassen mit den verschachtelten Arrays - aber ich habs jetzt mit Deiner Ausgabe abgeglichen.

Hier die modifizierte ChangeNode:

Spoiler

[
   {
       "id": "89f0c587efd90376",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "array",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data.[[{\"time\":start_timestamp,\"value\":marketprice}]]",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 2570,
       "y": 240,
       "wires": [
           [
               "c49673d982f45821"
           ]
       ]
   }
]

Das Array mit den geänderten Objekten kannst Du einfach so erstellen:

payload.data.[[{"time":start_timestamp,"value":marketprice}]]

falls Du noch tags dahinter machen wolltest.

EDIT: Habs gleich in eine Regel gepackt.

[mickym]

@marc-berg

@marc-berg sagte in Object Daten in Influx db speichern:

@mickym sagte in Object Daten in Influx db speichern:

Angeblich soll das ja auch mit der influx Out Node gehen:

Jaha! Aber so wie ich das verstehe, werden dann ALLE Fields und Tags in einen Datensatz mit einem Timestamp gepackt. Das ist ja nicht das, was wir wollen.

Du brauchst das nicht in einzelne Nachrichten aufteilen. Ich hab einfach mal das gesamte Array übergeben und das ist in der Datenbank völlig identisch. Und ja es geht mit _time. Klasse wieder viel gelernt.

Du musst nur eine Verschachtelung weniger machen.

Wenn Du also das ganze Array auf einmal in die Influx Node schickst, kommt das identische raus (power.marketdata.3), Deine Lösung (power.marketdata.2).

Spoiler

[
   {
       "id": "ce0ce74334490ad4",
       "type": "http request",
       "z": "5ad55a7b0d4580eb",
       "name": "aWattar",
       "method": "GET",
       "ret": "obj",
       "paytoqs": "ignore",
       "url": "https://api.awattar.de/v1/marketdata",
       "tls": "",
       "persist": true,
       "proxy": "",
       "insecureHTTPParser": false,
       "authType": "",
       "senderr": false,
       "headers": [],
       "x": 2380,
       "y": 180,
       "wires": [
           [
               "c64fcd9185267629",
               "89f0c587efd90376"
           ]
       ]
   },
   {
       "id": "d341b3beca12571b",
       "type": "inject",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "props": [
           {
               "p": "payload"
           }
       ],
       "repeat": "10800",
       "crontab": "",
       "once": true,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "",
       "payloadType": "str",
       "x": 2250,
       "y": 180,
       "wires": [
           [
               "ce0ce74334490ad4"
           ]
       ]
   },
   {
       "id": "c64fcd9185267629",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "array",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data",
               "tot": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 2570,
       "y": 180,
       "wires": [
           [
               "3c19e908450d135f"
           ]
       ]
   },
   {
       "id": "3c19e908450d135f",
       "type": "split",
       "z": "5ad55a7b0d4580eb",
       "name": "",
       "splt": "\\n",
       "spltType": "str",
       "arraySplt": 1,
       "arraySpltType": "len",
       "stream": false,
       "addname": "",
       "x": 2690,
       "y": 180,
       "wires": [
           [
               "c78441b6fc108a17"
           ]
       ]
   },
   {
       "id": "c78441b6fc108a17",
       "type": "function",
       "z": "5ad55a7b0d4580eb",
       "name": "values",
       "func": "msg.payload = \n[\n     [\n        {\n            time: msg.payload[\"start_timestamp\"],\n            value: msg.payload[\"marketprice\"]\n        }\n        //Tags\n        //,{\n        //    tag1: \"value1\",\n        //    tag2: \"value2\"\n        //}\n    ]\n];\nreturn msg;",
       "outputs": 1,
       "noerr": 0,
       "initialize": "",
       "finalize": "",
       "libs": [],
       "x": 2810,
       "y": 180,
       "wires": [
           [
               "1504b80c578e48e8",
               "7abc6461d2339da3"
           ]
       ]
   },
   {
       "id": "1504b80c578e48e8",
       "type": "influxdb out",
       "z": "5ad55a7b0d4580eb",
       "influxdb": "64647facf05f4c10",
       "name": "flux out -power.marketdata.3",
       "measurement": "power.marketdata.3",
       "precision": "ms",
       "retentionPolicy": "",
       "database": "test",
       "precisionV18FluxV20": "ms",
       "retentionPolicyV18Flux": "",
       "org": "mwdebian",
       "bucket": "Node-Red Test",
       "x": 3040,
       "y": 180,
       "wires": []
   },
   {
       "id": "7abc6461d2339da3",
       "type": "debug",
       "z": "5ad55a7b0d4580eb",
       "name": "mit function Node",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 3010,
       "y": 120,
       "wires": []
   },
   {
       "id": "89f0c587efd90376",
       "type": "change",
       "z": "5ad55a7b0d4580eb",
       "name": "array",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "payload.data.[{\"time\":start_timestamp,\"value\":marketprice}]",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 2550,
       "y": 280,
       "wires": [
           [
               "e52c29391aa1d250",
               "f9128ed718447be4"
           ]
       ]
   },
   {
       "id": "e52c29391aa1d250",
       "type": "influxdb out",
       "z": "5ad55a7b0d4580eb",
       "influxdb": "64647facf05f4c10",
       "name": "flux out - power.marketdata.2",
       "measurement": "power.marketdata.2",
       "precision": "ms",
       "retentionPolicy": "",
       "database": "test",
       "precisionV18FluxV20": "ms",
       "retentionPolicyV18Flux": "",
       "org": "mwdebian",
       "bucket": "Node-Red Test",
       "x": 2760,
       "y": 280,
       "wires": []
   },
   {
       "id": "f9128ed718447be4",
       "type": "debug",
       "z": "5ad55a7b0d4580eb",
       "name": "ganzes Array",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 2710,
       "y": 320,
       "wires": []
   },
   {
       "id": "64647facf05f4c10",
       "type": "influxdb",
       "hostname": "127.0.0.1",
       "port": "8086",
       "protocol": "http",
       "database": "database",
       "name": "MWDebian InfluxDB",
       "usetls": false,
       "tls": "",
       "influxdbVersion": "2.0",
       "url": "http://mwdebian.fritz.box:8086",
       "rejectUnauthorized": false
   }
]

Fazit für mich: Man muss nicht die Batch-Node verwenden.

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Du musst nur eine Verschachtelung weniger machen.

So, das habe ich jetzt eingebaut und das Ergebnis sieht sehr gut aus. Immer toll zu sehen, wie mächtig eine kurze Zeile JSONata ist. Zwei Nodes gespart.

Danke dir!

[mickym]

@marc-berg Und wie gesagt - Du kannst das komplette Array aufeinmal senden.

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

Immer toll zu sehen, wie mächtig eine kurze Zeile JSONata ist.

Ja das fasziniert mich auch immer wieder, wie mächtig das Teil ist und wieviel Code man sich gegenüber normalem Javascript sparen kann.

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Und wie gesagt - Du kannst das komplette Array aufeinmal senden.

Ja, das ist klar. Hätte ich nicht gedacht, dass es so geht.

[drdoener]

Ist ja richtig was los hier in diesem jungen Beitrag.
Danke Euch beiden, insbesondere mickym für´s schnelle Antworten.
Das läuft jetzt wunderbar.
Hätte ich gleich posten sollen, dann hätte ich mir 2 Stunden rumprobieren ersparen können!

[drdoener]

@mickym said in Object Daten in Influx db speichern:

Das Array mit den geänderten Objekten kannst Du einfach so erstellen:
payload.data.[[{"time":start_timestamp,"value":marketprice}]]

Hallo nochmal,
bin auch gerade dabei, die Preise von der Strombörse in meine influx zu schreiben.
Klappt mit Marcs Vorlage grundsätzlich auch wunderbar.
Nun möchte ich aber noch tags hinzufügen. Habe verschiedenes ausprobiert und es will nicht wirklich klappen.
Wie baue ich die am Besten in die payload ein?

Danke Euch!

[mickym]

@drdoener Tags ist einfach ein 2.Objekt im Array jedes Datenpunktes.

Also einfach

[[{"time":start_timestamp,"value":marketprice},{"tag":"tag1"}]]

[drdoener]

@mickym
Danke !!
Klappt wunderbar, VG!

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

payload.data.[[{"time":start_timestamp,"value":marketprice}]]

Ich bräuchte bitte nochmal deine JSONata Zauberkünste. Ich möchte die Daten nicht mehr bei Awattar abfragen, sondern beim Fraunhofer Institut. Die Daten sehen dort aber anders aus:

Quelle

{"unix_seconds":[1703257200,1703260800,1703264400,1703268000,1703271600,1703275200,1703278800,1703282400,1703286000,1703289600,1703293200,1703296800,1703300400,1703304000,1703307600,1703311200,1703314800,1703318400,1703322000,1703325600,1703329200,1703332800,1703336400,1703340000],"price":[42.41,42.95,50.36,40.49,24.66,25.53,30.41,12,0.04,-0.01,-0.01,-0.02,-0.01,0,0.1,7.43,20,42.08,41.64,45.9,47.36,49.81,52.3,53.77],"unit":"EUR/MWh"}

Es gibt jeweils ein eigenes Array für die Zeit und den Preis. Geht das auch per JSONata aufzubereiten? Im Ergebnis bräuchte ich dann wieder als Input für den "influxdb out" Node so etwas:

Ziel

[[{"time":1703253600000,"value":34.17}],[{"time":1703257200000,"value":42.41}],[{"time":1703260800000,"value":42.95}],[{"time":1703264400000,"value":50.36}],[{"time":1703268000000,"value":40.49}],[{"time":1703271600000,"value":24.66}],[{"time":1703275200000,"value":25.53}],[{"time":1703278800000,"value":30.41}],[{"time":1703282400000,"value":12}],[{"time":1703286000000,"value":0.04}],[{"time":1703289600000,"value":-0.01}],[{"time":1703293200000,"value":-0.01}],[{"time":1703296800000,"value":-0.02}],[{"time":1703300400000,"value":-0.01}],[{"time":1703304000000,"value":0}],[{"time":1703307600000,"value":0.1}],[{"time":1703311200000,"value":7.43}],[{"time":1703314800000,"value":20}],[{"time":1703318400000,"value":42.08}],[{"time":1703322000000,"value":41.64}],[{"time":1703325600000,"value":45.9}],[{"time":1703329200000,"value":47.36}],[{"time":1703332800000,"value":49.81}],[{"time":1703336400000,"value":52.3}]]

Nach meinem Verständnis hätte es so funktionieren müssen:

$map(
  [$zip(payload.unix_seconds, payload.price)],
  function($v, $i, $a) {
    return [{"time": $v[0], "value": $v[1]}]
  }
)

Mit der "zip" Funktion die "Pärchen" zusammenstellen und danach mit der "map" Funktion die Bezeichner austauschen. Geht aber nicht, ich bekomme kein (ein leeres) Ergebnis.

Hast du eine Idee?

Danke dir!

EDIT: ich hab's jetzt, die Klammern waren falsch gesetzt! Aber vielleicht hast du noch eine elegantere Lösung!?

$map(
   $zip(payload.unix_seconds, payload.price),
   function($v, $i, $a) {
       [return {"time": $v[0], "value": $v[1]}]
  }
)

[mickym]

@marc-berg sagte in Object Daten in Influx db speichern:

Ja mit dem Zip ist schon richtig - da Du die Daten aber nicht aufbereiten willst, kannst du Dir die map-Funktion sparen und mit dem internen Mapper die Objekte neu aufbauen:

$zip(unix_seconds,price).{"time":$[0],"value":$[1]}

https://try.jsonata.org/kkHXkQ6s2

Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also

$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also
$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}

Ja, fast! Es fehlt noch die "innere" Klammer.

Ist:

[{"time":1703264400,"value":50.36},{"time":1703268000,"value":40.49},{"time":1703271600,"value":24.66},{"time":1703275200,"value":25.53},{"time":1703278800,"value":30.41},{"time":1703282400,"value":12},{"time":1703286000,"value":0.04},{"time":1703289600,"value":-0.01},{"time":1703293200,"value":-0.01},{"time":1703296800,"value":-0.02},{"time":1703300400,"value":-0.01},{"time":1703304000,"value":0},{"time":1703307600,"value":0.1},{"time":1703311200,"value":7.43},{"time":1703314800,"value":20},{"time":1703318400,"value":42.08},{"time":1703322000,"value":41.64},{"time":1703325600,"value":45.9},{"time":1703329200,"value":47.36},{"time":1703332800,"value":49.81},{"time":1703336400,"value":52.3},{"time":1703340000,"value":53.77},{"time":1703343600,"value":58.05},{"time":1703347200,"value":68.12}]

Soll:

[[{"time":1703260800000,"value":42.95}],[{"time":1703264400000,"value":50.36}],[{"time":1703268000000,"value":40.49}],[{"time":1703271600000,"value":24.66}],[{"time":1703275200000,"value":25.53}],[{"time":1703278800000,"value":30.41}],[{"time":1703282400000,"value":12}],[{"time":1703286000000,"value":0.04}],[{"time":1703289600000,"value":-0.01}],[{"time":1703293200000,"value":-0.01}],[{"time":1703296800000,"value":-0.02}],[{"time":1703300400000,"value":-0.01}],[{"time":1703304000000,"value":0}],[{"time":1703307600000,"value":0.1}],[{"time":1703311200000,"value":7.43}],[{"time":1703314800000,"value":20}],[{"time":1703318400000,"value":42.08}],[{"time":1703322000000,"value":41.64}],[{"time":1703325600000,"value":45.9}],[{"time":1703329200000,"value":47.36}],[{"time":1703332800000,"value":49.81}],[{"time":1703336400000,"value":52.3}],[{"time":1703340000000,"value":53.77}],[{"time":1703343600000,"value":58.05}]]

[mickym]

@marc-berg Nein da fehlt keine Klammer: https://try.jsonata.org/BSZozJuYr

Spoiler

[
   {
       "id": "48da8c6f81ce8ae8",
       "type": "inject",
       "z": "517cd16e4d7e6ae4",
       "name": "",
       "props": [
           {
               "p": "payload"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "{\"unix_seconds\":[1703257200,1703260800,1703264400,1703268000,1703271600,1703275200,1703278800,1703282400,1703286000,1703289600,1703293200,1703296800,1703300400,1703304000,1703307600,1703311200,1703314800,1703318400,1703322000,1703325600,1703329200,1703332800,1703336400,1703340000],\"price\":[42.41,42.95,50.36,40.49,24.66,25.53,30.41,12,0.04,-0.01,-0.01,-0.02,-0.01,0,0.1,7.43,20,42.08,41.64,45.9,47.36,49.81,52.3,53.77],\"unit\":\"EUR/MWh\"}",
       "payloadType": "json",
       "x": 510,
       "y": 1600,
       "wires": [
           [
               "e834b204fd02fd6b",
               "e6645087b57d894d"
           ]
       ]
   },
   {
       "id": "98368b8240eac2ba",
       "type": "debug",
       "z": "517cd16e4d7e6ae4",
       "name": "Ausgabe",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 880,
       "y": 1600,
       "wires": []
   },
   {
       "id": "e834b204fd02fd6b",
       "type": "debug",
       "z": "517cd16e4d7e6ae4",
       "name": "Eingabe",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 680,
       "y": 1540,
       "wires": []
   },
   {
       "id": "e6645087b57d894d",
       "type": "change",
       "z": "517cd16e4d7e6ae4",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "$zip(payload.unix_seconds,payload.price).{\"time\":$[0],\"value\":$[1]}",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 690,
       "y": 1600,
       "wires": [
           [
               "98368b8240eac2ba"
           ]
       ]
   }
]

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Nein da fehlt keine Klammer:

So frisst es aber der influxDb Node nicht.

[mickym]

@mickym Ach so Du willst die Päärchen noch in der Klammer haben

Ja dann halt die Klammer drum rum aber das ist ja easy:

$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]

[Marc Berg]

@mickym sagte in Object Daten in Influx db speichern:

Du willst die Päärchen noch in der Klammer haben

Genau!