NEWS
Object Daten in Influx db speichern
-
@mickym sagte in Object Daten in Influx db speichern:
payload.data.[[{"time":start_timestamp,"value":marketprice}]]
Ich bräuchte bitte nochmal deine JSONata Zauberkünste. Ich möchte die Daten nicht mehr bei Awattar abfragen, sondern beim Fraunhofer Institut. Die Daten sehen dort aber anders aus:
Es gibt jeweils ein eigenes Array für die Zeit und den Preis. Geht das auch per JSONata aufzubereiten? Im Ergebnis bräuchte ich dann wieder als Input für den "influxdb out" Node so etwas:Nach meinem Verständnis hätte es so funktionieren müssen:
$map( [$zip(payload.unix_seconds, payload.price)], function($v, $i, $a) { return [{"time": $v[0], "value": $v[1]}] } )Mit der "zip" Funktion die "Pärchen" zusammenstellen und danach mit der "map" Funktion die Bezeichner austauschen. Geht aber nicht, ich bekomme kein (ein leeres) Ergebnis.
Hast du eine Idee?
Danke dir!
EDIT: ich hab's jetzt, die Klammern waren falsch gesetzt! Aber vielleicht hast du noch eine elegantere Lösung!?
$map( $zip(payload.unix_seconds, payload.price), function($v, $i, $a) { [return {"time": $v[0], "value": $v[1]}] } )@marc-berg sagte in Object Daten in Influx db speichern:
Ja mit dem Zip ist schon richtig - da Du die Daten aber nicht aufbereiten willst, kannst du Dir die map-Funktion sparen und mit dem internen Mapper die Objekte neu aufbauen:
$zip(unix_seconds,price).{"time":$[0],"value":$[1]}https://try.jsonata.org/kkHXkQ6s2
Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also
$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@marc-berg sagte in Object Daten in Influx db speichern:
Ja mit dem Zip ist schon richtig - da Du die Daten aber nicht aufbereiten willst, kannst du Dir die map-Funktion sparen und mit dem internen Mapper die Objekte neu aufbauen:
$zip(unix_seconds,price).{"time":$[0],"value":$[1]}https://try.jsonata.org/kkHXkQ6s2
Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also
$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}@mickym sagte in Object Daten in Influx db speichern:
Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also
$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}Ja, fast! Es fehlt noch die "innere" Klammer.
Ist:
[{"time":1703264400,"value":50.36},{"time":1703268000,"value":40.49},{"time":1703271600,"value":24.66},{"time":1703275200,"value":25.53},{"time":1703278800,"value":30.41},{"time":1703282400,"value":12},{"time":1703286000,"value":0.04},{"time":1703289600,"value":-0.01},{"time":1703293200,"value":-0.01},{"time":1703296800,"value":-0.02},{"time":1703300400,"value":-0.01},{"time":1703304000,"value":0},{"time":1703307600,"value":0.1},{"time":1703311200,"value":7.43},{"time":1703314800,"value":20},{"time":1703318400,"value":42.08},{"time":1703322000,"value":41.64},{"time":1703325600,"value":45.9},{"time":1703329200,"value":47.36},{"time":1703332800,"value":49.81},{"time":1703336400,"value":52.3},{"time":1703340000,"value":53.77},{"time":1703343600,"value":58.05},{"time":1703347200,"value":68.12}]Soll:
[[{"time":1703260800000,"value":42.95}],[{"time":1703264400000,"value":50.36}],[{"time":1703268000000,"value":40.49}],[{"time":1703271600000,"value":24.66}],[{"time":1703275200000,"value":25.53}],[{"time":1703278800000,"value":30.41}],[{"time":1703282400000,"value":12}],[{"time":1703286000000,"value":0.04}],[{"time":1703289600000,"value":-0.01}],[{"time":1703293200000,"value":-0.01}],[{"time":1703296800000,"value":-0.02}],[{"time":1703300400000,"value":-0.01}],[{"time":1703304000000,"value":0}],[{"time":1703307600000,"value":0.1}],[{"time":1703311200000,"value":7.43}],[{"time":1703314800000,"value":20}],[{"time":1703318400000,"value":42.08}],[{"time":1703322000000,"value":41.64}],[{"time":1703325600000,"value":45.9}],[{"time":1703329200000,"value":47.36}],[{"time":1703332800000,"value":49.81}],[{"time":1703336400000,"value":52.3}],[{"time":1703340000000,"value":53.77}],[{"time":1703343600000,"value":58.05}]]NUC10I3+Ubuntu+Docker+ioBroker+influxDB2+Node Red+RabbitMQ+Grafana
Pi-hole, Traefik, Checkmk, Conbee II+Zigbee2MQTT, ESPSomfy-RTS, LoRaWAN, Arduino, KiCad
Benutzt das Voting im Beitrag, wenn er euch geholfen hat.
-
@mickym sagte in Object Daten in Influx db speichern:
Halt payload noch davorsetzen - um auf die Eigenschaften der payload zugreifen. Also
$zip(payload.unix_seconds,payload.price).{"time":$[0],"value":$[1]}Ja, fast! Es fehlt noch die "innere" Klammer.
Ist:
[{"time":1703264400,"value":50.36},{"time":1703268000,"value":40.49},{"time":1703271600,"value":24.66},{"time":1703275200,"value":25.53},{"time":1703278800,"value":30.41},{"time":1703282400,"value":12},{"time":1703286000,"value":0.04},{"time":1703289600,"value":-0.01},{"time":1703293200,"value":-0.01},{"time":1703296800,"value":-0.02},{"time":1703300400,"value":-0.01},{"time":1703304000,"value":0},{"time":1703307600,"value":0.1},{"time":1703311200,"value":7.43},{"time":1703314800,"value":20},{"time":1703318400,"value":42.08},{"time":1703322000,"value":41.64},{"time":1703325600,"value":45.9},{"time":1703329200,"value":47.36},{"time":1703332800,"value":49.81},{"time":1703336400,"value":52.3},{"time":1703340000,"value":53.77},{"time":1703343600,"value":58.05},{"time":1703347200,"value":68.12}]Soll:
[[{"time":1703260800000,"value":42.95}],[{"time":1703264400000,"value":50.36}],[{"time":1703268000000,"value":40.49}],[{"time":1703271600000,"value":24.66}],[{"time":1703275200000,"value":25.53}],[{"time":1703278800000,"value":30.41}],[{"time":1703282400000,"value":12}],[{"time":1703286000000,"value":0.04}],[{"time":1703289600000,"value":-0.01}],[{"time":1703293200000,"value":-0.01}],[{"time":1703296800000,"value":-0.02}],[{"time":1703300400000,"value":-0.01}],[{"time":1703304000000,"value":0}],[{"time":1703307600000,"value":0.1}],[{"time":1703311200000,"value":7.43}],[{"time":1703314800000,"value":20}],[{"time":1703318400000,"value":42.08}],[{"time":1703322000000,"value":41.64}],[{"time":1703325600000,"value":45.9}],[{"time":1703329200000,"value":47.36}],[{"time":1703332800000,"value":49.81}],[{"time":1703336400000,"value":52.3}],[{"time":1703340000000,"value":53.77}],[{"time":1703343600000,"value":58.05}]]Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@mickym sagte in Object Daten in Influx db speichern:
Nein da fehlt keine Klammer:
So frisst es aber der influxDb Node nicht.
-
@mickym Ach so Du willst die Päärchen noch in der Klammer haben
Ja dann halt die Klammer drum rum aber das ist ja easy:
$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@mickym Ach so Du willst die Päärchen noch in der Klammer haben
Ja dann halt die Klammer drum rum aber das ist ja easy:
$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]@mickym sagte in Object Daten in Influx db speichern:
Du willst die Päärchen noch in der Klammer haben
Genau!
-
@mickym Ach so Du willst die Päärchen noch in der Klammer haben
Ja dann halt die Klammer drum rum aber das ist ja easy:
$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]@mickym sagte in Object Daten in Influx db speichern:
Ja dann halt die Klammer drum rum aber das ist ja easy:
$zip(payload.unix_seconds,payload.price).[{"time":$[0],"value":$[1]}]Ja, perfekt! Danke!!
-
@drdoener Also mit der Node und timestamps setzen wird das glaube ich nichts - ggf musst doch direktes HTTP verwenden.
Ich brings nicht ganz hin.
Verwendet wurde die Batch Node mit folgenden Einstellungen:
Aber wie gesagt mit dem timestamp setzen bekomme ich nicht hin - man muss sich noch mal die Format doku inkl. HTTP anschauen.
Das Teil arbeitet die Objekte für die Batch-Node soweit auf:
aber wie gesagt - ggf. muss man sich da was anderes einfallen lassen.
Eventuell ist die Batch Node auch nur für Version 1.8 vorgesehen. Für die influx out habe ich keinen Parameter gefunden, wie man die Zeit setzen kann. Also wahrscheinlich selbst über HTTP arbeiten. Mal schauen, wann ich dazu Zeit finde.
Hallo!
Ich bastle gerade an der gleichen Integration, die Du hier schon gelöst hast.
Leider liefert die "Solarprognose.de" API bei mir irgendwie ein anderes Format als das bei @drdoener der Fall war.Somit funktioniert natürlich der Flow nicht richtig.
Könntest Du Dir das bitte einmal ansehen? Ich stehe bei Programmierung ziemlich auf dem Schlauch.Hier mein API Payload:
Schon einmal vielen Dank :-)
-
Hallo!
Ich bastle gerade an der gleichen Integration, die Du hier schon gelöst hast.
Leider liefert die "Solarprognose.de" API bei mir irgendwie ein anderes Format als das bei @drdoener der Fall war.Somit funktioniert natürlich der Flow nicht richtig.
Könntest Du Dir das bitte einmal ansehen? Ich stehe bei Programmierung ziemlich auf dem Schlauch.Hier mein API Payload:
Schon einmal vielen Dank :-)
@crazychickenbln Wieso ist doch fast das Gleiche. Wie brauchst Du Dein Objekt?
timestamp und dann fields mit Prognose_W und Prognose W_h als fields?
Schau halt mal, ob das so für Dich passt - besser bekomme ich es erstmal nicht hin:
https://try.jsonata.org/bTDLArmfO -
@crazychickenbln Wieso ist doch fast das Gleiche. Wie brauchst Du Dein Objekt?
timestamp und dann fields mit Prognose_W und Prognose W_h als fields?
Schau halt mal, ob das so für Dich passt - besser bekomme ich es erstmal nicht hin:
https://try.jsonata.org/bTDLArmfO@mickym Erst einmal danke für die schnelle Antwort!
Ich möchte die Prognosedaten genau wie oben bei @drdoener mit den entsprechenden Timestamps in eine Influx DB 2 schreiben, damit ich sie in Grafana visualisieren kann.
Über den Thread Solarprognose hier im Forum habe ich es geschafft, die Daten zumindest schön im Broker zu implementieren. An der Übergabe der Zukunftswerte nach Grafana scheint es damit aber nicht möglich zu sein, jedenfalls hat es dort keiner geschafft. Dort wurde dann auf diesen Beitrag verwiesen.Da es mit Deinem Flow ja wohl bei Ihm funtioniert, würde ich also gerne mein Objekt (das brauche ich ja wohl für die Datenübergabe an Influx) genauso aufbauen wie bei Ihm.
(Objekt mit den Flields Datum, Prognose_W, Prognose_Wh)Ich habe zumindest begriffen, dass ich irgend etwas in der zweiten Switch-Node ändern muss
($each($.payload, function($v, $k) {$v}).{
"measurement":"Solarprognose1",
"timestamp":$[0] ,
"fields":{
"Datum": ($moment($[0]*1000).locale("de").tz('Europe/Berlin').format('DD.MM.YYYY HH:mm:ss'))[0],
"Prognose_W":$[1],
"Prognose_Wh":$[2]
}
}weil bei meinem API-Output der zweite Timestamp ja nicht mehr existiert.
Leider war es das aber auch schon mit meinem Wissen, mit meinen Kenntnissen in BASIC aus Schulzeiten komme ich hier nicht wirklich weiter :disappointed_relieved:Diese JSONata Exerciser Seite habe ich mir angeschaut. Allerdings komme ich da auch nicht wirklich weiter, weil die Formel oben rechts
$zip($keys(data),$zip(data.#$i[($i%2)=0],data.#$i[($i%2)=1])).[{"timestamp":$[0],"fields":{"Prognose_W":$[1],"Prognose_Wh":$[2]}}]
ist ja nun wieder völlig anders, als die Node-Red Funktion weiter oben.
-
Also ich bin auch nimmer so fit - mit der normalen Influx bekomme ich es nicht hin, sondern nur mit der Batch-Node.
Hier der Flow:
-
Vielen Dank für die Hilfe, das hat wunderbar geklappt! :slightly_smiling_face:
Ihr seid eine tolle Community :+1: -
Hallo ich kram das hier nochmal nach oben, weil leider bei mir das ganze nich funktioniert. Ich bekomme zwar in Node-Red die Daten, aber das senden an Influx funktioniert nicht , bei mir kommt immer diese Fehlermeldung:
Das json von Solarprognose sieht so aus:
was muß ich hier ändern? -
Hallo ich kram das hier nochmal nach oben, weil leider bei mir das ganze nich funktioniert. Ich bekomme zwar in Node-Red die Daten, aber das senden an Influx funktioniert nicht , bei mir kommt immer diese Fehlermeldung:
Das json von Solarprognose sieht so aus:
was muß ich hier ändern?@icebear Wenn Du Deine Daten so aufbereitest, darfst Du nicht die Influx-Out Node nehmen, sondern Du musst die Batch Node nehmen.
Das wars auch schon.
Ach und ggf. noch auf ms umstellen:
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@icebear Wenn Du Deine Daten so aufbereitest, darfst Du nicht die Influx-Out Node nehmen, sondern Du musst die Batch Node nehmen.
Das wars auch schon.
Ach und ggf. noch auf ms umstellen:
Supi, vielen Dank für den Hinweis, ich habs grad mal ausprobiert und er schreibt jetzt die Werte in die DB.
Ich müsste da evtl. noch etwas an der Abfrage bzw. den Daten ändern, kann das aber im Moment nicht weiter testen, da ich beim Free-Account mit der letzten Abfrage das Limit erreicht habe.
Ich probier Morgen mal weiter und meld mich nochmal falls ich noch Hilfe brauche.
Also nochmal, vielen Dank für deine Hilfe.
-
Supi, vielen Dank für den Hinweis, ich habs grad mal ausprobiert und er schreibt jetzt die Werte in die DB.
Ich müsste da evtl. noch etwas an der Abfrage bzw. den Daten ändern, kann das aber im Moment nicht weiter testen, da ich beim Free-Account mit der letzten Abfrage das Limit erreicht habe.
Ich probier Morgen mal weiter und meld mich nochmal falls ich noch Hilfe brauche.
Also nochmal, vielen Dank für deine Hilfe.
@icebear Wenn Du die Influx-Out Nodes nimmst, dann hast Du keine Eigenschaften im Objekt, wie fields und measurement, sondern nur verschachtelte Arrays:
[ [ { "temperature": 24, "humidity": 52 }, { "room": "Wohnzimmer" } ], [ { "temperature": 25, "humidity": 70 }, { "room": "Bad" } ] ]Das äussere Array enthält die Datenpunkte, jeder Datenpunkt besteht wieder aus einem Array mit 2 Objekten. Im Ersten sind die "Fields" mit den Werten, im Zweiten die Tags.
Insofern ist die Batch-Verarbeitung etwas übersichtlicher und kannst so halt auch mit einer Node in verschiedene measurements schreiben.
Support us
537
Online32.5k
Benutzer81.6k
Themen1.3m
Beiträge