Node-RED Nodes für externe ioBroker Integration

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

und das Erstellen von Datenpunkten mit der automatischen Generierung der Hierarchien steht noch aus.

Ja, das steht als Nächstes auf der Todo List, ich benutze das nicht.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Wenn man "cleared" und anschließend "refreshed" dann scheint das Aktualisieren zu funktionieren.

Okay, das war ein Browser-Cache Thema. Die 0.4.4 sollte dies fixen und die neu geladenen Daten in jedem Fall an den Browser durchreichen. Nach dem Laden des Updates unbedingt den Cache löschen, es sollte der Text oben angezeigt werden.

In der 0.4.4 wurden auch noch ein paar Edge Cases bzgl. der Verbindung zum ioBroker angegangen. Bisher war es u.a. noch so, dass der ioBroker zum Start von Node RED laufen musste. Jetzt wird auch unabhängig davon der Verbindungsaufbau versucht.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Ich hatte in der Vergangenheit oft das Gefühl, dass das IOB Team zum einen deswegen die interne Adapterlösung verwendet haben, da es ggf. geringerer Aufwand ist

Es IST natürlich ein viel geringerer Aufwand. Ca. 90% der Entwicklungsarbeit für die externen Nodes gingen in den Test und das Handling der verschiedenen potentiellen Connection-Probleme, Token Ablauf Erneuerung (bei aktivierter Authentifizierung) inkl. der dann jeweils zu erneuernden Subscriptions, Node-Status-Texte, etc.

Beim Adapter ist die Gleichung im Vergleich recht einfach: "Wenn ioBroker aus, dann auch Node RED". Und für 99% aller Nutzer ist der Adapter auch die bessere Lösung.

und das es vielleicht strategisch nicht gewollt ist, ein API von außen zugänglich zu machen.

Im Ernst? Bei der Anzahl der zur Verfügung stehenden Schnittstellen (REST API, Simple API, Websocket, socket.io, ...)?

[mickym]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Wenn man "cleared" und anschließend "refreshed" dann scheint das Aktualisieren zu funktionieren.

Okay, das war ein Browser-Cache Thema. Die 0.4.4 sollte dies fixen und die neu geladenen Daten in jedem Fall an den Browser durchreichen. Nach dem Laden des Updates unbedingt den Cache löschen, es sollte der Text oben angezeigt werden.

In der 0.4.4 wurden auch noch ein paar Edge Cases bzgl. der Verbindung zum ioBroker angegangen. Bisher war es u.a. noch so, dass der ioBroker zum Start von Node RED laufen musste. Jetzt wird auch unabhängig davon der Verbindungsaufbau versucht.

Das mit dem Refresh funktioniert jetzt wunderbar (auch die Anzeige ob Cache oder neu eingelesen). - Der Clear Button erschließt sich mir allerdings nicht ganz.

Allerdings wenn kein gültiger Topic/State eingetragen ist - also bei einer leeren Node oder wenn man das topic löscht und dann auf den Refresh-Button oder die Baumansicht geht, dann verheddert sich die Node.

Erst wenn man dann manuell einen gültigen Pfad eingibt und deployed - dann kann man auch den Treeview in der Node wieder verwenden.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Allerdings wenn kein gültiger Topic/State eingetragen ist - also bei einer leeren Node oder wenn man das topic löscht und dann auf den Refresh-Button oder die Baumansicht geht, dann verheddert sich die Node.

Dann hat dein Browser noch einen alten Stand im Cache. Tritt es auch auf, wenn du mal einen Inkognito Tab öffnest? Wenn ja, bitte mal Schritt für Schritt, damit ich es nachstellen kann.

[mickym]

@marc-berg In dem Inkognito Fenster trat der Fehler nicht auf. Ich hatte zwar den Cache gelöscht, aber vielleicht hätte ich alles zu machen müssen.
Also alles fein.

Kannst Du mir noch erklären, wofür der Clear Button ist?

Etwas gewöhnungsbedürftig ist noch, dass man aus dem Tree-View die Übernahme des Topics mit einem Doppelklick machen muss. Oft klickt man auf die manuelle Ansicht oder denkt man hat den topic ausgewählt und schließt den Dialog und wundert sich, warum das Topic nicht übernommen wurde.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Kannst Du mir noch erklären, wofür der Clear Button ist?

Der löscht den search Input und setzt den Baum zurück, (falls man sich verlaufen hat)

[Marc Berg]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

und das Erstellen von Datenpunkten mit der automatischen Generierung der Hierarchien steht noch aus.

Ja, das steht als Nächstes auf der Todo List, ich benutze das nicht.

In der 0.5.0 gibt es jetzt eine Node "iob out+"

Die kann jetzt auch Objekte erstellen. Bin noch nicht groß zum Testen gekommen, insbesondere die Autodetect Funktion für den Payload-Type müsste mal durchgetestet werden. Wenn das alles gut ist, würde ich die Funktion in die iobout Node übernehmen.

Screenshot

[mickym]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Kannst Du mir noch erklären, wofür der Clear Button ist?

Der löscht den search Input und setzt den Baum zurück, (falls man sich verlaufen hat)

OK

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Etwas gewöhnungsbedürftig ist noch, dass man aus dem Tree-View die Übernahme des Topics mit einem Doppelklick machen muss. Oft klickt man auf die manuelle Ansicht oder denkt man hat den topic ausgewählt und schließt den Dialog und wundert sich, warum das Topic nicht übernommen wurde.

Meines Erachtens wäre es sinnvoll den aktiven State auch in dem Tree View als Read-Only anzuzeigen.

Das sind halt kleine Anpassungen, um den Dialog etwas intuitiver zu machen.

[mickym]

@marc-berg Die 0.5.0 Version wird mir in der Palette nicht angeboten.
Du kannst das aber mit meinem Subflow selbst testen.

Im Prinzip hänge ich sonst nur noch die iob-Out Node dran. Die Angaben die in der iob-out stehen - stehen dann halt in der Prio über die automatischen Erkennungen.

Im Topic steht ja - welche Datenpunkte zu beschreiben sind - egal, ob er bereits existiert oder nicht.
Hier der Testflow:

Spoiler

[{"id":"6e802f1553b18149","type":"subflow","name":"JSON or Obj to IOBroker","info":"# Creates an IOBroker tree\n\nThis node creates an IOBroker tree out of an Java-Object or JSON String.\n\nThe object tree will be created under 0_userdata.0\nIn addition to the JSON-String or Java Object as `msg.payload` it is necessary to specify a `msg.top` properity in addition to the msg-Object.\n\nThe object tree will be created under 0_userdata.0\n\nExisting `msg.topic` entries will be deleted.\nAn iobroker-out node has to be appended to this subflow node. It is not part of the subflow itself. No topic should be specified in the iobroker out node.\n\nIs `msg.top` property isn't defined, the `top` property of the subflow-node is used. \n\nIn the properties of the subflow node a new property `keepTopic` has been added. Default is _false_ to keep the current behaviour. If set to _true_ then the originial topic will be placed between the `top` property of the subflow node and the property of the analyzed JSON object.\n\n**Attention:**\nIf msg.top and top is empty, all msg.topics (msg.topic) will be directly prefixed with 0_userdata.0. . \n\n**Update 13.09.2022:**\nSpaces in topics of objects are no longer replaced with underscores in objects. No differences between all data types.\n\n# Erstellt einen Objektbaum im ioBroker\n\nDiese Node erstellt einen Objektbaum im ioBroker aus einem JAVA Objekt bzw. einem JSON String. \n\nDer Baum wird in jedem Fall unter 0_userdata.0 erstellt und zwar unter dem Topic der in` msg.top` mitgegeben wurde. In der `msg.payload` befindet sich dann der JSON String oder das entsprechende Objekt.\n\nExistierende `msg.topic `Einträge werden gelöscht.\nEin entsprechende iobroker-out Node muss an den Flow angehängt werden. Sie ist nicht Bestandteil des Subflows. In dieser iobroker-out Node darf kein Topic angegeben werden. \n\nFalls msg.top nicht definiert wurde, wird der `top`-Wert der Subflow-Node verwendet.\n\nIn den Eigenschaften der Subflow-Node wurde ein neuer Parameter `keepTopic` hinzugefügt. Standardwert ist _false_, um das bisherige Verhalten beizubehalten. Setzt man die Eigenschaft auf _true_, dann wird das originale Topic zwischen der `top` Eigenschaft der Subflow-Node und Eigenschaft des analysierten JSON Objektes eingefügt.\n\n**Achtung:**\nWenn top und msg.top leer ist, werden alle msg.topics (msg.topic) direkt unter dem Präfix 0_userdata.0., angelegt bzw. ausgegeben. \n\n**Update 13.09.2022:**\nLeerzeichen werden in Topics von Objekten nicht mehr durch Unterstriche ersetzt. Es gibt keine Unterschiede mehr zwischen den Datentypen.","category":"","in":[{"x":60,"y":160,"wires":[{"id":"554b8c663bcb46c2"}]}],"out":[{"x":2620,"y":280,"wires":[{"id":"0962842ebd23e0d7","port":0}]}],"env":[{"name":"top","type":"str","value":"objRoot"},{"name":"keepTopic","type":"bool","value":"false"}],"meta":{},"color":"#E2D96E","icon":"node-red/batch.svg"},{"id":"3e11e8338f694832","type":"split","z":"6e802f1553b18149","name":"split object","splt":"\\n","spltType":"str","arraySplt":1,"arraySpltType":"len","stream":false,"addname":"key","x":1370,"y":160,"wires":[["0562a4249c8b856b"]]},{"id":"0562a4249c8b856b","type":"change","z":"6e802f1553b18149","name":"add key to topic","rules":[{"t":"set","p":"stateName","pt":"msg","to":"key","tot":"msg"},{"t":"change","p":"key","pt":"msg","from":".","fromt":"str","to":"_","tot":"str"},{"t":"set","p":"topic","pt":"msg","to":"topic  & '.' & key","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":1560,"y":160,"wires":[["ddc90985bef0fafa"]]},{"id":"ddc90985bef0fafa","type":"switch","z":"6e802f1553b18149","name":"is type?","property":"payload","propertyType":"msg","rules":[{"t":"istype","v":"array","vt":"array"},{"t":"istype","v":"object","vt":"object"},{"t":"else"}],"checkall":"true","repair":false,"outputs":3,"x":1740,"y":160,"wires":[["bfce19b206660fbe"],["3e11e8338f694832"],["1a8c03d866b85b12"]]},{"id":"bfce19b206660fbe","type":"split","z":"6e802f1553b18149","name":"split array","splt":"\\n","spltType":"str","arraySplt":1,"arraySpltType":"len","stream":false,"addname":"","x":780,"y":280,"wires":[["e89927810c6d75ec"]]},{"id":"e89927810c6d75ec","type":"change","z":"6e802f1553b18149","name":"add index to topic","rules":[{"t":"set","p":"topic","pt":"msg","to":"topic  & '.' & parts.index","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":970,"y":280,"wires":[["a4d1a5d04564dc77"]]},{"id":"f5d52c6a57d08904","type":"change","z":"6e802f1553b18149","name":"finalize msg.topic","rules":[{"t":"set","p":"top","pt":"msg","to":"'0_userdata.0.' & top","tot":"jsonata"},{"t":"set","p":"topic","pt":"msg","to":"top & '.' & topic","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":2170,"y":240,"wires":[["0962842ebd23e0d7"]]},{"id":"1a8c03d866b85b12","type":"switch","z":"6e802f1553b18149","name":"is msg.top != null","property":"top","propertyType":"msg","rules":[{"t":"nnull"},{"t":"null"}],"checkall":"true","repair":false,"outputs":2,"x":1950,"y":280,"wires":[["f5d52c6a57d08904"],["74c895ce724750de"]]},{"id":"e023fe88445ce43e","type":"change","z":"6e802f1553b18149","name":"","rules":[{"t":"delete","p":"topic","pt":"msg"}],"action":"","property":"","from":"","to":"","reg":false,"x":350,"y":200,"wires":[["3649300b4c233b10"]]},{"id":"3649300b4c233b10","type":"switch","z":"6e802f1553b18149","name":"is type?","property":"payload","propertyType":"msg","rules":[{"t":"istype","v":"json","vt":"json"},{"t":"istype","v":"array","vt":"array"},{"t":"istype","v":"object","vt":"object"},{"t":"else"}],"checkall":"true","repair":false,"outputs":4,"x":600,"y":160,"wires":[["fc7913a8524badb7"],["bfce19b206660fbe"],["3e11e8338f694832"],["9ac3cc3681e8b6c6"]]},{"id":"1b8480cd2df7ba3f","type":"comment","z":"6e802f1553b18149","name":"Array","info":"","x":600,"y":280,"wires":[]},{"id":"b3541807672be040","type":"comment","z":"6e802f1553b18149","name":"object","info":"","x":1340,"y":100,"wires":[]},{"id":"a4d1a5d04564dc77","type":"switch","z":"6e802f1553b18149","name":"is type?","property":"payload","propertyType":"msg","rules":[{"t":"istype","v":"object","vt":"object"},{"t":"istype","v":"array","vt":"array"},{"t":"else"}],"checkall":"true","repair":false,"outputs":3,"x":1160,"y":280,"wires":[["3e11e8338f694832"],["bfce19b206660fbe"],["a096a93bb82b7a93"]]},{"id":"74c895ce724750de","type":"change","z":"6e802f1553b18149","name":"finalize msg.topic","rules":[{"t":"set","p":"top","pt":"msg","to":"top","tot":"env"},{"t":"set","p":"top","pt":"msg","to":"'0_userdata.0.' & top","tot":"jsonata"},{"t":"set","p":"topic","pt":"msg","to":"top & '.' & topic","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":2170,"y":320,"wires":[["0962842ebd23e0d7"]]},{"id":"554b8c663bcb46c2","type":"switch","z":"6e802f1553b18149","name":"","property":"keepTopic","propertyType":"env","rules":[{"t":"true"},{"t":"false"}],"checkall":"true","repair":false,"outputs":2,"x":170,"y":160,"wires":[["e30ba9f0483285e4"],["e023fe88445ce43e"]]},{"id":"e30ba9f0483285e4","type":"change","z":"6e802f1553b18149","name":"","rules":[{"t":"change","p":"topic","pt":"msg","from":"/","fromt":"str","to":".","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":350,"y":120,"wires":[["3649300b4c233b10"]]},{"id":"0962842ebd23e0d7","type":"change","z":"6e802f1553b18149","name":"translate invalid chars in topic","rules":[{"t":"change","p":"topic","pt":"msg","from":"..","fromt":"str","to":".","tot":"str"},{"t":"change","p":"topic","pt":"msg","from":"€","fromt":"str","to":"EUR","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":2430,"y":280,"wires":[[]]},{"id":"9ac3cc3681e8b6c6","type":"change","z":"6e802f1553b18149","name":"set topic, if empty","rules":[{"t":"set","p":"topic","pt":"msg","to":"topic ? topic : $type(payload)\t","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":950,"y":200,"wires":[["a096a93bb82b7a93"]]},{"id":"fc7913a8524badb7","type":"json","z":"6e802f1553b18149","name":"","property":"payload","action":"obj","pretty":false,"x":750,"y":100,"wires":[["d9e7bdd4c48a8aa1"]]},{"id":"d9e7bdd4c48a8aa1","type":"switch","z":"6e802f1553b18149","name":"is type?","property":"payload","propertyType":"msg","rules":[{"t":"istype","v":"array","vt":"array"},{"t":"istype","v":"object","vt":"object"},{"t":"else"}],"checkall":"true","repair":false,"outputs":3,"x":900,"y":100,"wires":[["1520be42bcc2145e"],["1520be42bcc2145e"],["9ac3cc3681e8b6c6"]]},{"id":"a096a93bb82b7a93","type":"junction","z":"6e802f1553b18149","x":1380,"y":280,"wires":[["1a8c03d866b85b12"]]},{"id":"1520be42bcc2145e","type":"junction","z":"6e802f1553b18149","x":480,"y":20,"wires":[["3649300b4c233b10"]]},{"id":"8d36fab85a67b5f5","type":"subflow:6e802f1553b18149","z":"636428f191d4dd62","name":"","env":[{"name":"top","value":"Test2","type":"str"}],"x":650,"y":520,"wires":[["f6641df68daf3f73"]]},{"id":"80c5f230876a9366","type":"inject","z":"636428f191d4dd62","name":"Testobjekt","props":[{"p":"payload"}],"repeat":"","crontab":"","once":false,"onceDelay":0.1,"topic":"","payload":"{\"squadName\":\"Super hero squad\",\"homeTown\":\"Metro City\",\"formed\":2016,\"secretBase\":\"Super tower\",\"active\":true,\"members\":[{\"name\":\"Molecule Man\",\"age\":29,\"secretIdentity\":\"Dan Jukes\",\"powers\":[\"Radiation resistance\",\"Turning tiny\",\"Radiation blast\"],\"dressed\":{\"head\":\"Kopfbedeckung\"}},{\"name\":\"Madame Uppercut\",\"age\":69,\"secretIdentity\":\"Jane Wilson\",\"powers\":[\"Million tonne punch\",\"Damage resistance\",\"Superhuman reflexes\"]},{\"name\":\"Eternal Flame\",\"age\":1000000,\"secretIdentity\":\"Unknown\",\"powers\":[\"Immortality\",\"Heat Immunity\",\"Inferno\",\"Teleportation\",\"Interdimensional travel\"]}]}","payloadType":"json","x":420,"y":520,"wires":[["8d36fab85a67b5f5"]]},{"id":"f6641df68daf3f73","type":"debug","z":"636428f191d4dd62","name":"Objektbaum","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":910,"y":520,"wires":[]}]

Im Prinzip ist das das 6. Beispiel JSON String in meinem Subflow und so sollte der Baum dann auch aussehen:
https://forum.iobroker.net/topic/43856/json-oder-javascript-objekt-in-iobroker-datenpunkte-zerlegen

Ich muss jetzt für heute erst mal weg. Also lass Dir ruhig Zeit.

[mickym]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Kannst Du mir noch erklären, wofür der Clear Button ist?

Der löscht den search Input und setzt den Baum zurück, (falls man sich verlaufen hat)

Meines Erachtens braucht es den Button aber nicht, weil der Refreshknopf ja auch die Suche zurücksetzt - aber Du bist der Chef.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Meines Erachtens braucht es den Button aber nicht, weil der Refreshknopf ja auch die Suche zurücksetzt - aber Du bist der Chef.

Wenn man eine Vielzahl von States hat, kann das Refreshen schon mal länger dauern, deshalb diese einfache Alternative.

Als very-very-very-nice-to-have möchte ich den refresh Button abschaffen und auf Objekt-Änderungen in Realtime reagieren.

[mickym]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Meines Erachtens braucht es den Button aber nicht, weil der Refreshknopf ja auch die Suche zurücksetzt - aber Du bist der Chef.

Wenn man eine Vielzahl von States hat, kann das Refreshen schon mal länger dauern, deshalb diese einfache Alternative.

Als very-very-very-nice-to-have möchte ich den refresh Button abschaffen und auf Objekt-Änderungen in Realtime reagieren.

Ich finde, dass Dein Refresh Button gut funktioniert. Im Adapter funktioniert der Refresh bis heute nicht und ich hatte das schon vor Jahren "angemerkt". - Also lieber ein funktionierender Refresh, als kein Refresh.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Meines Erachtens wäre es sinnvoll den aktiven State auch in dem Tree View als Read-Only anzuzeigen.

---> 0.5.1 (es dauert meist eine halbe Stunde, bis es in der Palette erscheint)

[mickym]

@marc-berg Also 0.5.0 schaut erst mal sehr gut aus.

String, Boolean und Number wurden richtig erkannt. Das ist doch schon sehr gut!! Bei der Erkennung gehts ja auch nur um skalare Objekte. Auch die Updates funktionieren.
Danke erst mal dafür.

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Bei der Erkennung gehts ja auch nur um skalare Objekte.

Es können auch Arrays, Objekte und Files erkannt werden. Ob das nun praktisch relevant sein könnte -- keine Ahnung. Besser haben als brauchen.

[mickym]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

Es können auch Arrays, Objekte und Files erkannt werden.

Na ja - die drösel ich ja mit dem Subflow auf. Sprich Du schreibst ein Array, Objekt in EINEN Datenpunkt und machst wieder ein JSON-Objekt daraus oder machst Du dann auch mehrere Datenpunkte daraus?

[Marc Berg]

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Sprich Du schreibst ein Array, Objekt in EINEN Datenpunkt oder machst Du dann auch mehrere Datenpunkte daraus?

Nein, das bleibt alles ein Datenpunkt. Diese "Intelligenz" möchte ich mir nicht antun.

[mickym]

@marc-berg sagte in Node-RED Nodes für externe ioBroker Integration:

@mickym sagte in Node-RED Nodes für externe ioBroker Integration:

Sprich Du schreibst ein Array, Objekt in EINEN Datenpunkt oder machst Du dann auch mehrere Datenpunkte daraus?

Nein, das bleibt alles ein Datenpunkt. Diese "Intelligenz" möchte ich mir nicht antun.

Na dann behält mein Subflow ja noch seinen Sinn. Also vielen Dank - wie gesagt produktiv werde ich es erst irgendwann in der Zukunft einsetzen, aber wenn ich noch mal was konkret testen soll, dann mache ich das gerne.

[peterfido]

@marc-berg Die Verbindung steht. Die Uhrzeit an den Nodes läuft in einer anderen Zeitzone.

Die Uhrzeit könnte aber auch an meinem Docker-System liegen.

Ich will jetzt erstmal die Last auf dem ioBroker loggen.