Accuweather - stündliche Werte nicht komplett

[ThomKast]

@mickym

So, da bin ich wieder... Habe noch 2 zwei-beinige-Projekte, die zu erst zur Ruhe kommen wollen

Mit node-red wollte ich mich eh mal beschäftigen. Dann scheint wohl jetzt eine guter Moment zu sein . Arbeite mich anhand Deiner Infos voran und melde mich dann.

... schon mal wieder vielen Dank vorab!

[ThomKast]

@mickym

@mickym sagte in Accuweather - stündliche Werte nicht komplett:

@thomkast sagte in Accuweather - stündliche Werte nicht komplett:

https://api.openweathermap.org/data/2.5/onecall?lat=xxxxxxxxxxx&lon=xxxxxxxxxxxxx&exclude=minutely,current,daily,alerts&appid=XXXXXXXXXXXXXXXXXXX&units=metric&lang=de

Ich hab den mal benutzt und mit einem ganz einfachen Node-Red Flow bekommst Du die Daten aus Deinem Aufruf als Datenpunkte in den iobroker.

Für die fehlenden Objekte lassen wir dann auch noch ein Skript drüber laufen.

Das sieht dann im iobroker so aus:

Außerdem hast Du Post (PN )

Also wenn Du das so wie oben haben willst, dann installiere Dir mal den NodeRed Adapter im iobroker. In der Konfiguration des Adapters

machst Du die Konvertierung in Zeichenkette raus und lässt die Erstellung von Fremdobkjekten zu.

Also der node-red-Adapter läuft und die nötigen Nodes habe ich auch schon zusammengeklickt...

Aber da fehlen doch noch die ganzen Definition dazu...Oder?

[mickym]

@thomkast Wenn Du die NodeRed-Adaptereinstellungen gemacht hast, dann brauchst Dir keine Nodes zusammensuchen, sondern importierst den Flow einfach:

Openweather One Call.json

Falls Du im Chrome auf die Datei klickst wird der Text aufgemacht dann mit rechter Maustaste mit "Speichern unter " irgendwo lokal abspeichern.

Anschließend gehst Du in das rechte Menü und klickst auf Import:

Klickst in dem Fenster auf Datei importieren und wählst die OPenweather One Call.json Datei aus.

Über die Zwischenablage gehts dieses Mal nicht, da irgendein Apostroph den Import verhindert.

In der Inject Node änderst Du wieder Deine Geodaten und Deinen API Key.

In der msg.top Node - kannst Du noch einen anderen Namen angeben, unter dem Du die Datenpunkte unter 0_userdata.0 anlegen willst. Ich habs halt mal openweather genannt.

Wenn das alles soweit geht, feuerst Du die Inject Node ab und DU solltest die Datenpunkte alle haben und dann müssen wir das seit dem admin5 noch fein schleifen.

[ThomKast]

@mickym
Import ist erledigt. Im inject habe ich die URL komplettiert.
msg.top sieht nun so aus.

Rest habe ich nur angeschaut und nichts geändert...

Allerdings finde ich keine neue Gruppe und auch keine Datenpunkte in 0_userdata..?..?

[mickym]

@thomkast

1. Hast Du den Flow übernommen
   darf nicht so rot sein, sondern muss grau sein.

2. Hast Du dem NodeRed Adapter erlaubt Objekte zu erstellen
   

3. Hast Du den Flow auch über die Inject Node gestartet?

habs Dir mal markiert wie Du den Flow startest.

Wenn alles geklappt hat, dann hast Du

unter 0_userdata => 0 => openweather => hourly => und dann 48 Unterordner.

Wenn nicht müssen wir halt über debug Nodes schauen, wo der Fehler liegt.

[ThomKast]

@mickym
Ja, glaubt man es denn... Kaum macht man es richtig, schon funktionierts.
Ok, das sind echt die ersten Schritte. Und den inject zu starten hat ich nicht auf der Schnur.
Schaue mir jetzt mal die Werte an.

[mickym]

@thomkast Helf Dir gleich weiter. Mach noch einen Flow für Dich.

[ThomKast]

@thomkast
Keine Hektik

Die 47 Folder ergeben sich offensichtlich aus den Daten. Allerdings ist die Uhrzeit nicht als DATE darstellbar. Die Werte stehen dann auf 1970... Daher weiß ich jetzt nicht welche zeit der Folder 0h enthält.

Könnte der Wert als reguläres Datum dargestellt werden?

[mickym]

@thomkast Das ist gleich mein 2. Flow für Dich - wie willst Du den Datumspunkt gerne genannt haben, habs gerade

forcastTime genannt - aber such Dir gerne was anderes aus, dann ändere ich das noch schnell in dem Flow.

Normalerweise darf da aber gar kein Datum drin stehen, sondern nur eine Zahl

[ThomKast]

@mickym
Alles bestens, ist doch ein guter Vorschlag.
Habe das UNIX-Datum mal umgerechnet. 0h bedeutet die aktuelle Stunde - also 2200.

[ThomKast]

@mickym sagte in Accuweather - stündliche Werte nicht komplett:

@thomkast Das ist gleich mein 2. Flow für Dich - wie willst Du den Datumspunkt gerne genannt haben, habs gerade

forcastTime genannt - aber such Dir gerne was anderes aus, dann ändere ich das noch schnell in dem Flow.

Normalerweise darf da aber gar kein Datum drin stehen, sondern nur eine Zahl

Ja klar. Ich habe die Rolle manuell auf DATE geändert. Dachte es wird dann direkt korrekt dargestellt. Als Rolle STATE steht dann das UNIX UTC Datum/Uhrzeit als Zahl drin.

[mickym]

@thomkast So wenn Du in Deinen bestehenden Flow noch folgende Nodes importierst, dann wird das um neue Datenpunkte mit ausgeschriebenem Datum ergänzt:

Dieses Mal kannst Du den Code direkt über die Zwischenablage importieren:

Spoiler

[
   {
       "id": "4d65b9d.07b0148",
       "type": "ioBroker in",
       "z": "918d8a88.bb7cf8",
       "name": "",
       "topic": "0_userdata.0.openweather.hourly.*.dt",
       "payloadType": "value",
       "onlyack": "",
       "func": "all",
       "gap": "",
       "fireOnStart": "false",
       "x": 490,
       "y": 180,
       "wires": [
           [
               "2fb2b1d1.03df6e"
           ]
       ]
   },
   {
       "id": "2fb2b1d1.03df6e",
       "type": "change",
       "z": "918d8a88.bb7cf8",
       "name": "",
       "rules": [
           {
               "t": "change",
               "p": "topic",
               "pt": "msg",
               "from": "(.*)\\/dt",
               "fromt": "re",
               "to": "$1",
               "tot": "str"
           },
           {
               "t": "change",
               "p": "topic",
               "pt": "msg",
               "from": "/",
               "fromt": "str",
               "to": ".",
               "tot": "str"
           },
           {
               "t": "set",
               "p": "topic",
               "pt": "msg",
               "to": "topic & '.forcastTime'",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 770,
       "y": 180,
       "wires": [
           [
               "a732a96b.a95798"
           ]
       ]
   },
   {
       "id": "a732a96b.a95798",
       "type": "change",
       "z": "918d8a88.bb7cf8",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "$moment((payload)*1000).locale(\"de\").tz('Europe/Berlin').format('DD.MM.YY [um] HH:mm')",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 990,
       "y": 180,
       "wires": [
           [
               "5014a26.bf5065c"
           ]
       ]
   },
   {
       "id": "5014a26.bf5065c",
       "type": "ioBroker out",
       "z": "918d8a88.bb7cf8",
       "name": "",
       "topic": "",
       "ack": "true",
       "autoCreate": "true",
       "stateName": "",
       "role": "",
       "payloadType": "string",
       "readonly": "false",
       "stateUnit": "",
       "stateMin": "",
       "stateMax": "",
       "x": 1200,
       "y": 180,
       "wires": []
   }
]

Dann bekommst Du die folgenden Nodes noch dazu:

Eigentlich müsste es ja forecastTime heißen:

Musst halt hier nochmal ändern:

[mickym]

@thomkast So nun noch ein paar Ergänzungen - weil seit dem admin5 sich einiges geändert hat und in NodeRed hat man das bei den iobroker-out Nodes nicht mitberücksichtigt.

Bei den ganzen Ordnern fehlen leider die Objekte (rot markiert):

Deshalb bitte folgendes Skript im Javascript Adapter als Javascript importieren:

/**
* Zweck:       Korrigiert übergeordnete Ordnerstrukturen eines Datenpunkts
* Datum:      07.08.2021
* Autor:       @fastfoot
*/
 
//              In den Settings der Javascript-Instanz muss setObject erlaubt sein!!!
 
let arr = [],
   id = '';
 
const ids = $('0_userdata.0.*');
ids.each(idTmp => {
   arr=idTmp.split('.');
   arr.splice(arr.length-1);
   id=arr.join('.');
   if(arr[0] === '0_userdata' || arr[0] === 'alias' || arr[0] === 'mqtt' || arr[0] === 'javascript'){
       correctObject(id, arr);
   }
})
 
function correctObject(id,arr){
   if(arr.length === 2) return;
   if(!existsObject(id)){
       let obj = {};
       obj = {
           type: 'folder',
           common:{
               name: arr[arr.length - 1]
           }
       }
       extendObject(id, obj, e => {
           if (e) log('Fehler beim Schreiben des Objektes: '+ id + ' ' + e);
       })
   }
   arr.splice(arr.length - 1);
   id = arr.join('.');
   correctObject(id, arr);
}

Dieses Skript musst Du einmal Laufen lassen und immer dann - wenn Du mal den ganzen Openweather Ast löscht.

Sobald das Skript einmal gelaufen ist, dann sind das wieder saubere Folder Objekte:

[ThomKast]

@mickym
Also, Du machst mich vollends sprachlos....

Klappt perfekt und die Daten sehen gut aus. Damit kann ich erst mal meine weiteren Überlegungen anstellen.

Müsste jetzt nicht noch der inject per CRON automatisiert werden?
Hattest Du bei OW gelesen wie oft die Daten aktualisiert werden?

[mickym]

@thomkast Und damit Du wenn alles klappt nicht immer auf die Inject - Node drücken musst - öffnest Du die Inject Node einfach und gibst unten an, in welchen Zeitintervallen die Openweather API aufgerufen werden soll:

[mickym]

@thomkast sagte in Accuweather - stündliche Werte nicht komplett:

@mickym
Also, Du machst mich vollends sprachlos....

Klappt perfekt und die Daten sehen gut aus. Damit kann ich erst mal meine weiteren Überlegungen anstellen.

Müsste jetzt nicht noch der inject per CRON automatisiert werden?
Hattest Du bei OW gelesen wie oft die Daten aktualisiert werden?

Hab ich Dir gerade geschrieben, in der Inject-Node kannst Du selbst das Intervall bestimmen, wie oft dieses automatisch abruft. Ich machs alle 10 Minuten - aber bei 1000 Aufrufen/Tag solltest Du nun keine Probleme mehr haben.

[ThomKast]

@mickym
Oh cool! Sogar mit "Intervall zwischen Uhrzeiten".

Vielleicht noch den eigentlichen UseCase zum Ende der Umsetzung ...

Wir haben eine Wärmepumpe erhalten, die über SGready den Wasserspeicher um 5K überhitzen kann. Wenn also viel PV-Überschuss zur Verfügung steht, kann der Speicher zusätzlich aufgeheizt werden und damit bei späterer Nutzung Energie gespart werden.
Das Problem ist nur, wenn ich vom reinen Einspeisewert ausgehe, dann kommt es vor, dass die Einspeisemenge einbricht, die Wärmepumpe aber dennoch mind. 10 Minuten läuft und und für diese Dauer dann Strom zugekauft werden muss.
Sofern die OpenWeather-UVindex-Werte einigermaßen passen, könnte erst ab einem entsprechend hohen Wert das SGready-Signal Verwendung finden.

Vielleicht hilft Deine Umsetzung ja auch noch anderen der Community. Mir hast Du auf alle perfekt weitergeholfen.
Schaue mir die Tage mal node-red und Deine Umsetzung tiefer an. Dann würde ich mich vielleicht gerne noch mal bei Dir melden.

Für heute meinen herzlichen Dank für Deine Hilfe.

[mickym]

@thomkast sagte in Accuweather - stündliche Werte nicht komplett:

Vielleicht hilft Deine Umsetzung ja auch noch anderen der Community. Mir hast Du auf alle perfekt weitergeholfen.
Schaue mir die Tage mal node-red und Deine Umsetzung tiefer an. Dann würde ich mich vielleicht gerne noch mal bei Dir melden.

Für heute meinen herzlichen Dank für Deine Hilfe.

Ich hab Dir gerne weitergeholfen und vielleicht bist Du nun jemand (oder wirst es), der erkennt, was für ein tolles Tool Node Red ist, gerade wenn man in der Programmierung nicht so bewandert ist, sondern sich mehr auf die Logik konzentriert. Übrigens hilft Dir vielleicht auch der Clouds Wert - also der Bedeckungsgrad.

Ich nutz den bei meiner Visualisierung bei Tag hellblauer oder grauer Hintergrund.

[mickym]

@thomkast Ich hab noch bissi nachgedacht - bei uns ist leider nicht so schönes Wetter in nächster Zeit.

Ich habe mal mit folgendem Flow - in der 3 Tagesvorhersage rausgefiltert, ab wann der UV Index über 1 ist - den Wert kann man natürlich dann später viel höher setzen

Mit dem folgenden Flow filterst Du die Zeiten dann aus:

Spoiler

[
   {
       "id": "2920aadc.0badc6",
       "type": "ioBroker in",
       "z": "40d29c16.113a14",
       "name": "",
       "topic": "0_userdata.0.openweather.hourly.*.uvi",
       "payloadType": "value",
       "onlyack": "",
       "func": "all",
       "gap": "",
       "fireOnStart": "false",
       "x": 190,
       "y": 320,
       "wires": [
           [
               "111ae666.75877a"
           ]
       ]
   },
   {
       "id": "111ae666.75877a",
       "type": "change",
       "z": "40d29c16.113a14",
       "name": "Prepare Topic & setze msg.uvi",
       "rules": [
           {
               "t": "change",
               "p": "topic",
               "pt": "msg",
               "from": "(.*)\\/uvi",
               "fromt": "re",
               "to": "$1",
               "tot": "str"
           },
           {
               "t": "change",
               "p": "topic",
               "pt": "msg",
               "from": "/",
               "fromt": "str",
               "to": ".",
               "tot": "str"
           },
           {
               "t": "set",
               "p": "topic",
               "pt": "msg",
               "to": "topic & '.forcastTime'",
               "tot": "jsonata"
           },
           {
               "t": "move",
               "p": "payload",
               "pt": "msg",
               "to": "uvi",
               "tot": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 510,
       "y": 320,
       "wires": [
           [
               "becb8167.7d6bd"
           ]
       ]
   },
   {
       "id": "becb8167.7d6bd",
       "type": "switch",
       "z": "40d29c16.113a14",
       "name": "Filter UVI",
       "property": "uvi",
       "propertyType": "msg",
       "rules": [
           {
               "t": "gt",
               "v": "1",
               "vt": "num"
           }
       ],
       "checkall": "true",
       "repair": false,
       "outputs": 1,
       "x": 740,
       "y": 320,
       "wires": [
           [
               "746d1820.319268"
           ]
       ]
   },
   {
       "id": "9b0fa59a.28c568",
       "type": "debug",
       "z": "40d29c16.113a14",
       "name": "",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "true",
       "targetType": "full",
       "statusVal": "",
       "statusType": "auto",
       "x": 1310,
       "y": 380,
       "wires": []
   },
   {
       "id": "746d1820.319268",
       "type": "ioBroker get",
       "z": "40d29c16.113a14",
       "name": "",
       "topic": "",
       "attrname": "forecastTime",
       "payloadType": "value",
       "x": 920,
       "y": 320,
       "wires": [
           [
               "b380af18.9c4b6"
           ]
       ]
   },
   {
       "id": "b380af18.9c4b6",
       "type": "change",
       "z": "40d29c16.113a14",
       "name": "Lösche nicht benötigte Eigenschaften",
       "rules": [
           {
               "t": "delete",
               "p": "acknowledged",
               "pt": "msg"
           },
           {
               "t": "delete",
               "p": "timestamp",
               "pt": "msg"
           },
           {
               "t": "delete",
               "p": "lastchange",
               "pt": "msg"
           },
           {
               "t": "delete",
               "p": "from",
               "pt": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 1170,
       "y": 320,
       "wires": [
           [
               "9b0fa59a.28c568"
           ]
       ]
   }
]

Die Debug Node spukt Dir dann den UVI Index aus und wann das ist. Du wirst den Wert zum herausfiltern natürlich viel höher machen - aber das wird wohl auch alles erst bei besserem Wetter relevant sein.

Die Indexnr. (also Ordnernummer) verschiebt sich ja, da das zurückgelieferte Array ja immer in Stundenabstand vom aktuellen Abrufzeitpunkt abhängt.

Andererseits ist das aber auch Praktisch - weil im Ordner 0 immer der ForeCast der aktuellen Stunde enthalten ist und in Ordner 1 der in einer Stunde, sodass man auch ohne Filter eigentlich nur diese beiden Werte braucht um direkt eine Steuerung anzustossen.

[ThomKast]

@mickym
Verstehe ich dank Deiner Beschreibung. In den Nodes muss ich mir das in Ruhe anarbeiten...

Für die Ansteuerung des SGready-Relais werde ich die UVindex-Werte aus 0h und 1h verwenden, also ähnlich wie in Deinem Ansatz. Da die Wärmepumpe nach einem Start mindestens 10 Minuten läuft und im Standardbetrieb ~ 2.8 kW zieht, macht es mMn. Sinn folgende Logik näher zu betrachten:

• Wenn Minuten (akt.Zeit) zwischen 0 und 45 -> prüfe UVi-Schwellwert gegen UVi von 0h
• Wenn Minuten (akt.Zeit) zwischen 46 und 59 -> prüfe UVi-Schwellwert gegen Mittelwert UVi von 0h und 1h
• zum Zeitpunkt der Ermittlung des UVi-Schwellwerts, müsste dann der Wert der PV-Einspeisung >= 3.0 kW sein (PV-Schwellwert)
• Wenn beides eingetreten ist, dann ist das SGready-Relais zu aktivieren
• Sobald entweder UVi oder PV-Einspeisung unter den jeweiligen Schwellwert fällt, ist das SGready-Relais zu deaktivieren

Um diese Logik zu prüfen werde ich die Werte in grafana darstellen. Mal schauen, ob sich ein sinnvoller UVi-Schwellwert finden lässt.

Wobei, noch eine Anmerkung: So wie ich es verstanden habe, ist der UVindex als 100'stel dargestellt und dürfte nie größer 1 werden. "0.15" würde damit 15% der maximal möglichen Sonneneinstrahlung entsprechen.
Da die Werte "UVindex" und "Clouds" in grafana den Werten der PV-Produktion gegenübergestellt werden sollen, wäre es nötig die beiden Werte zu vereinheitlich. Denn "Clouds" wiederum läuft von "0" bis "100" und stellt die Bewölkung direkt in "%" dar. Diese Anpassung führe ich dann in grafana herbei.

Muss mal über mehrere Tage die Daten sammeln und betrachten. Melde mich dann gerne wieder mit einem ersten Eindruck.

Du bist doch Profi im Forum ;-). Macht es Sinn, die weiteren Details in diesem Post fortzuführen, oder sollte der Post thematisch in einer anderen Gruppe/Kategorie geführt werden ??.??