Object Daten in Influx db speichern

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

Du musst nur eine Verschachtelung weniger machen.

So, das habe ich jetzt eingebaut und das Ergebnis sieht sehr gut aus. Immer toll zu sehen, wie mächtig eine kurze Zeile JSONata ist. Zwei Nodes gespart.

Danke dir!

mickym

@marc-berg Und wie gesagt - Du kannst das komplette Array aufeinmal senden.

mickym

@marc-berg sagte in Object Daten in Influx db speichern:

Immer toll zu sehen, wie mächtig eine kurze Zeile JSONata ist.

Ja das fasziniert mich auch immer wieder, wie mächtig das Teil ist und wieviel Code man sich gegenüber normalem Javascript sparen kann.

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

Und wie gesagt - Du kannst das komplette Array aufeinmal senden.

Ja, das ist klar. Hätte ich nicht gedacht, dass es so geht.

drdoener

Ist ja richtig was los hier in diesem jungen Beitrag.
Danke Euch beiden, insbesondere mickym für´s schnelle Antworten.
Das läuft jetzt wunderbar.
Hätte ich gleich posten sollen, dann hätte ich mir 2 Stunden rumprobieren ersparen können!

drdoener

@mickym said in Object Daten in Influx db speichern:

Das Array mit den geänderten Objekten kannst Du einfach so erstellen:
payload.data.[[{"time":start_timestamp,"value":marketprice}]]

Hallo nochmal,
bin auch gerade dabei, die Preise von der Strombörse in meine influx zu schreiben.
Klappt mit Marcs Vorlage grundsätzlich auch wunderbar.
Nun möchte ich aber noch tags hinzufügen. Habe verschiedenes ausprobiert und es will nicht wirklich klappen.
Wie baue ich die am Besten in die payload ein?

Danke Euch!

mickym

@drdoener Tags ist einfach ein 2.Objekt im Array jedes Datenpunktes.

Also einfach

[[{"time":start_timestamp,"value":marketprice},{"tag":"tag1"}]]

drdoener

@mickym
Danke !!
Klappt wunderbar, VG!

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

payload.data.[[{"time":start_timestamp,"value":marketprice}]]

Ich bräuchte bitte nochmal deine JSONata Zauberkünste. Ich möchte die Daten nicht mehr bei Awattar abfragen, sondern beim Fraunhofer Institut. Die Daten sehen dort aber anders aus:

{"unix_seconds":[1703257200,1703260800,1703264400,1703268000,1703271600,1703275200,1703278800,1703282400,1703286000,1703289600,1703293200,1703296800,1703300400,1703304000,1703307600,1703311200,1703314800,1703318400,1703322000,1703325600,1703329200,1703332800,1703336400,1703340000],"price":[42.41,42.95,50.36,40.49,24.66,25.53,30.41,12,0.04,-0.01,-0.01,-0.02,-0.01,0,0.1,7.43,20,42.08,41.64,45.9,47.36,49.81,52.3,53.77],"unit":"EUR/MWh"}

Es gibt jeweils ein eigenes Array für die Zeit und den Preis. Geht das auch per JSONata aufzubereiten? Im Ergebnis bräuchte ich dann wieder als Input für den "influxdb out" Node so etwas:

[[{"time":1703253600000,"value":34.17}],[{"time":1703257200000,"value":42.41}],[{"time":1703260800000,"value":42.95}],[{"time":1703264400000,"value":50.36}],[{"time":1703268000000,"value":40.49}],[{"time":1703271600000,"value":24.66}],[{"time":1703275200000,"value":25.53}],[{"time":1703278800000,"value":30.41}],[{"time":1703282400000,"value":12}],[{"time":1703286000000,"value":0.04}],[{"time":1703289600000,"value":-0.01}],[{"time":1703293200000,"value":-0.01}],[{"time":1703296800000,"value":-0.02}],[{"time":1703300400000,"value":-0.01}],[{"time":1703304000000,"value":0}],[{"time":1703307600000,"value":0.1}],[{"time":1703311200000,"value":7.43}],[{"time":1703314800000,"value":20}],[{"time":1703318400000,"value":42.08}],[{"time":1703322000000,"value":41.64}],[{"time":1703325600000,"value":45.9}],[{"time":1703329200000,"value":47.36}],[{"time":1703332800000,"value":49.81}],[{"time":1703336400000,"value":52.3}]]

Nach meinem Verständnis hätte es so funktionieren müssen:

$map(
  [$zip(payload.unix_seconds, payload.price)],
  function($v, $i, $a) {
    return [{"time": $v[0], "value": $v[1]}]
  }
)

Mit der "zip" Funktion die "Pärchen" zusammenstellen und danach mit der "map" Funktion die Bezeichner austauschen. Geht aber nicht, ich bekomme kein (ein leeres) Ergebnis.

Hast du eine Idee?

Danke dir!

EDIT: ich hab's jetzt, die Klammern waren falsch gesetzt! Aber vielleicht hast du noch eine elegantere Lösung!?

$map(
   $zip(payload.unix_seconds, payload.price),
   function($v, $i, $a) {
       [return {"time": $v[0], "value": $v[1]}]
  }
)

mickym

@marc-berg sagte in Object Daten in Influx db speichern:

Ja mit dem Zip ist schon richtig - da Du die Daten aber nicht aufbereiten willst, kannst du Dir die map-Funktion sparen und mit dem internen Mapper die Objekte neu aufbauen:

$zip(unix_seconds,price).{"time":$[0],"value":$[1]}

https://try.jsonata.org/kkHXkQ6s2

Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also

$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also
$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}

Ja, fast! Es fehlt noch die "innere" Klammer.

Ist:

[{"time":1703264400,"value":50.36},{"time":1703268000,"value":40.49},{"time":1703271600,"value":24.66},{"time":1703275200,"value":25.53},{"time":1703278800,"value":30.41},{"time":1703282400,"value":12},{"time":1703286000,"value":0.04},{"time":1703289600,"value":-0.01},{"time":1703293200,"value":-0.01},{"time":1703296800,"value":-0.02},{"time":1703300400,"value":-0.01},{"time":1703304000,"value":0},{"time":1703307600,"value":0.1},{"time":1703311200,"value":7.43},{"time":1703314800,"value":20},{"time":1703318400,"value":42.08},{"time":1703322000,"value":41.64},{"time":1703325600,"value":45.9},{"time":1703329200,"value":47.36},{"time":1703332800,"value":49.81},{"time":1703336400,"value":52.3},{"time":1703340000,"value":53.77},{"time":1703343600,"value":58.05},{"time":1703347200,"value":68.12}]

Soll:

[[{"time":1703260800000,"value":42.95}],[{"time":1703264400000,"value":50.36}],[{"time":1703268000000,"value":40.49}],[{"time":1703271600000,"value":24.66}],[{"time":1703275200000,"value":25.53}],[{"time":1703278800000,"value":30.41}],[{"time":1703282400000,"value":12}],[{"time":1703286000000,"value":0.04}],[{"time":1703289600000,"value":-0.01}],[{"time":1703293200000,"value":-0.01}],[{"time":1703296800000,"value":-0.02}],[{"time":1703300400000,"value":-0.01}],[{"time":1703304000000,"value":0}],[{"time":1703307600000,"value":0.1}],[{"time":1703311200000,"value":7.43}],[{"time":1703314800000,"value":20}],[{"time":1703318400000,"value":42.08}],[{"time":1703322000000,"value":41.64}],[{"time":1703325600000,"value":45.9}],[{"time":1703329200000,"value":47.36}],[{"time":1703332800000,"value":49.81}],[{"time":1703336400000,"value":52.3}],[{"time":1703340000000,"value":53.77}],[{"time":1703343600000,"value":58.05}]]

mickym

@marc-berg Nein da fehlt keine Klammer: https://try.jsonata.org/BSZozJuYr

[
   {
       "id": "48da8c6f81ce8ae8",
       "type": "inject",
       "z": "517cd16e4d7e6ae4",
       "name": "",
       "props": [
           {
               "p": "payload"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "{\"unix_seconds\":[1703257200,1703260800,1703264400,1703268000,1703271600,1703275200,1703278800,1703282400,1703286000,1703289600,1703293200,1703296800,1703300400,1703304000,1703307600,1703311200,1703314800,1703318400,1703322000,1703325600,1703329200,1703332800,1703336400,1703340000],\"price\":[42.41,42.95,50.36,40.49,24.66,25.53,30.41,12,0.04,-0.01,-0.01,-0.02,-0.01,0,0.1,7.43,20,42.08,41.64,45.9,47.36,49.81,52.3,53.77],\"unit\":\"EUR/MWh\"}",
       "payloadType": "json",
       "x": 510,
       "y": 1600,
       "wires": [
           [
               "e834b204fd02fd6b",
               "e6645087b57d894d"
           ]
       ]
   },
   {
       "id": "98368b8240eac2ba",
       "type": "debug",
       "z": "517cd16e4d7e6ae4",
       "name": "Ausgabe",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 880,
       "y": 1600,
       "wires": []
   },
   {
       "id": "e834b204fd02fd6b",
       "type": "debug",
       "z": "517cd16e4d7e6ae4",
       "name": "Eingabe",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 680,
       "y": 1540,
       "wires": []
   },
   {
       "id": "e6645087b57d894d",
       "type": "change",
       "z": "517cd16e4d7e6ae4",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "$zip(payload.unix_seconds,payload.price).{\"time\":$[0],\"value\":$[1]}",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 690,
       "y": 1600,
       "wires": [
           [
               "98368b8240eac2ba"
           ]
       ]
   }
]

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

Nein da fehlt keine Klammer:

So frisst es aber der influxDb Node nicht.

mickym

@mickym Ach so Du willst die Päärchen noch in der Klammer haben

Ja dann halt die Klammer drum rum aber das ist ja easy:

$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

Du willst die Päärchen noch in der Klammer haben

Genau!

Marc Berg

@mickym sagte in Object Daten in Influx db speichern:

Ja dann halt die Klammer drum rum aber das ist ja easy:
$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]

Ja, perfekt! Danke!!

CrazyChickenBln

@mickym

Hallo!
Ich bastle gerade an der gleichen Integration, die Du hier schon gelöst hast.
Leider liefert die "Solarprognose.de" API bei mir irgendwie ein anderes Format als das bei @drdoener der Fall war.

Somit funktioniert natürlich der Flow nicht richtig.
Könntest Du Dir das bitte einmal ansehen? Ich stehe bei Programmierung ziemlich auf dem Schlauch.

Hier mein API Payload:

Schon einmal vielen Dank :-)

mickym

@crazychickenbln Wieso ist doch fast das Gleiche. Wie brauchst Du Dein Objekt?

timestamp und dann fields mit Prognose_W und Prognose W_h als fields?

Schau halt mal, ob das so für Dich passt - besser bekomme ich es erstmal nicht hin:
https://try.jsonata.org/bTDLArmfO

CrazyChickenBln

@mickym Erst einmal danke für die schnelle Antwort!

Ich möchte die Prognosedaten genau wie oben bei @drdoener mit den entsprechenden Timestamps in eine Influx DB 2 schreiben, damit ich sie in Grafana visualisieren kann.
Über den Thread Solarprognose hier im Forum habe ich es geschafft, die Daten zumindest schön im Broker zu implementieren. An der Übergabe der Zukunftswerte nach Grafana scheint es damit aber nicht möglich zu sein, jedenfalls hat es dort keiner geschafft. Dort wurde dann auf diesen Beitrag verwiesen.

Da es mit Deinem Flow ja wohl bei Ihm funtioniert, würde ich also gerne mein Objekt (das brauche ich ja wohl für die Datenübergabe an Influx) genauso aufbauen wie bei Ihm.
(Objekt mit den Flields Datum, Prognose_W, Prognose_Wh)

Ich habe zumindest begriffen, dass ich irgend etwas in der zweiten Switch-Node ändern muss
($each($.payload, function($v, $k) {$v}).{
"measurement":"Solarprognose1",
"timestamp":$[0] ,
"fields":{
"Datum": ($moment($[0]*1000).locale("de").tz('Europe/Berlin').format('DD.MM.YYYY HH:mm:ss'))[0],
"Prognose_W":$[1],
"Prognose_Wh":$[2]
}
}

weil bei meinem API-Output der zweite Timestamp ja nicht mehr existiert.
Leider war es das aber auch schon mit meinem Wissen, mit meinen Kenntnissen in BASIC aus Schulzeiten komme ich hier nicht wirklich weiter :disappointed_relieved:

Diese JSONata Exerciser Seite habe ich mir angeschaut. Allerdings komme ich da auch nicht wirklich weiter, weil die Formel oben rechts

$zip($keys(data),$zip(data.#$i[($i%2)=0],data.#$i[($i%2)=1])).[{"timestamp":$[0],"fields":{"Prognose_W":$[1],"Prognose_Wh":$[2]}}]

ist ja nun wieder völlig anders, als die Node-Red Funktion weiter oben.

mickym

Also ich bin auch nimmer so fit - mit der normalen Influx bekomme ich es nicht hin, sondern nur mit der Batch-Node.

Hier der Flow:

[{"id":"29339e62b7a1b9e3","type":"inject","z":"5ad55a7b0d4580eb","name":"","props":[{"p":"payload"}],"repeat":"","crontab":"","once":false,"onceDelay":0.1,"topic":"","payload":"{\"preferredNextApiRequestAt\":{\"secondOfHour\":408,\"epochTimeUtc\":1713276408},\"status\":0,\"iLastPredictionGenerationEpochTime\":1713275949,\"weather_source_text\":\"Kurzfristig (3 Tage): Powered by <a href='https: //www.weatherapi.com/title=\",\"datalinename\":\"Germany > Pichelsdorf\",\"data\":{\"1713236400\":[0,0],\"1713240000\":[0.003,0.003],\"1713243600\":[0.112,0.115],\"1713247200\":[0.269,0.384],\"1713250800\":[0.403,0.787],\"1713254400\":[0.621,1.408],\"1713258000\":[0.599,2.007],\"1713261600\":[0.697,2.704],\"1713265200\":[0.835,3.539],\"1713268800\":[0.679,4.218],\"1713272400\":[0.581,4.799],\"1713276000\":[0.496,5.295],\"1713279600\":[0.405,5.7],\"1713283200\":[0.272,5.972],\"1713286800\":[0.115,6.087],\"1713290400\":[0,6.087],\"1713322800\":[0,0],\"1713326400\":[0.019,0.019],\"1713330000\":[0.395,0.414],\"1713333600\":[0.775,1.189],\"1713337200\":[1.039,2.228],\"1713340800\":[0.858,3.086],\"1713344400\":[1.022,4.108],\"1713348000\":[0.623,4.731],\"1713351600\":[0.961,5.692],\"1713355200\":[0.644,6.336],\"1713358800\":[0.579,6.915],\"1713362400\":[0.656,7.571],\"1713366000\":[0.566,8.137],\"1713369600\":[0.298,8.435],\"1713373200\":[0.084,8.519],\"1713376800\":[0,8.519]}}","payloadType":"json","x":150,"y":2500,"wires":[["586029ecb69d46e0"]]},{"id":"586029ecb69d46e0","type":"change","z":"5ad55a7b0d4580eb","name":"","rules":[{"t":"set","p":"payload","pt":"msg","to":"$zip(\t   $keys(payload.data),\t   $zip(\t       payload.data.*#$i[($i%2)=0],\t       payload.data.*#$i[($i%2)=1]\t   )\t).\t   {\t       \"measurement\" : \"Solarprognose2\",\t       \"timestamp\":$number($[0])*1000,\t       \"fields\":{\t        \"Datum\": ($moment($[0],'X').format('DD.MM.YYYY HH:mm:ss'))[0],\t        \"Prognose_W\":$[1],\t        \"Prognose_Wh\":$[2]}\t   }\t","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":330,"y":2500,"wires":[["6ac97ec264377ff5","276d267403e20027"]]},{"id":"6ac97ec264377ff5","type":"debug","z":"5ad55a7b0d4580eb","name":"Daten","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":550,"y":2600,"wires":[]},{"id":"276d267403e20027","type":"influxdb batch","z":"5ad55a7b0d4580eb","influxdb":"492dfce8b90a8cc8","precision":"","retentionPolicy":"","name":"","database":"database","precisionV18FluxV20":"ms","retentionPolicyV18Flux":"","org":"mwdebian","bucket":"Node-Red Test","x":650,"y":2500,"wires":[]},{"id":"492dfce8b90a8cc8","type":"influxdb","hostname":"127.0.0.1","port":"8086","protocol":"http","database":"database","name":"","usetls":false,"tls":"","influxdbVersion":"2.0","url":"http://mwdebian.fritz.box:8086","rejectUnauthorized":false}]

Community Forum

NEWS

Object Daten in Influx db speichern

Support us

694

32.5k

81.6k

1.3m