JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen

[mickym]

@noah3112 Welches Script meinst Du?

[mickym]

@noah3112 Ich hab mal mein ganzen zigbee2mqtt Baum ausgelesen Indem ich als topic zigbee2mqtt/# nehme.

Spoiler

[
    {
        "id": "6e802f1553b18149",
        "type": "subflow",
        "name": "JSON or Obj to IOBroker",
        "info": "# Creates an IOBroker tree\n\nThis node creates an IOBroker tree out of an Java-Object or JSON String.\n\nThe object tree will be created under 0_userdata.0\nIn addition to the JSON-String or Java Object as `msg.payload` it is necessary to specify a `msg.top` properity in addition to the msg-Object.\n\nThe object tree will be created under 0_userdata.0\n\nExisting `msg.topic` entries will be deleted.\nAn iobroker-out node has to be appended to this subflow node. It is not part of the subflow itself. No topic should be specified in the iobroker out node.\n\nIs `msg.top` property isn't defined, the `top` property of the subflow-node is used. \n\nIn the properties of the subflow node a new property `keepTopic` has been added. Default is _false_ to keep the current behaviour. If set to _true_ then the originial topic will be placed between the `top` property of the subflow node and the property of the analyzed JSON object.\n\n**Attention:**\nIf msg.top and top is empty, all msg.topics (msg.topic) will be directly prefixed with 0_userdata.0. . \n\n# Erstellt einen Objektbaum im ioBroker\n\nDiese Node erstellt einen Objektbaum im ioBroker aus einem JAVA Objekt bzw. einem JSON String. \n\nDer Baum wird in jedem Fall unter 0_userdata.0 erstellt und zwar unter dem Topic der in` msg.top` mitgegeben wurde. In der `msg.payload` befindet sich dann der JSON String oder das entsprechende Objekt.\n\nExistierende `msg.topic `Einträge werden gelöscht.\nEin entsprechende iobroker-out Node muss an den Flow angehängt werden. Sie ist nicht Bestandteil des Subflows. In dieser iobroker-out Node darf kein Topic angegeben werden. \n\nFalls msg.top nicht definiert wurde, wird der `top`-Wert der Subflow-Node verwendet.\n\nIn den Eigenschaften der Subflow-Node wurde ein neuer Parameter `keepTopic` hinzugefügt. Standardwert ist _false_, um das bisherige Verhalten beizubehalten. Setzt man die Eigenschaft auf _true_, dann wird das originale Topic zwischen der `top` Eigenschaft der Subflow-Node und Eigenschaft des analysierten JSON Objektes eingefügt.\n\n**Achtung:**\nWenn top und msg.top leer ist, werden alle msg.topics (msg.topic) direkt unter dem Präfix 0_userdata.0., angelegt bzw. ausgegeben. ",
        "category": "",
        "in": [
            {
                "x": 60,
                "y": 160,
                "wires": [
                    {
                        "id": "554b8c663bcb46c2"
                    }
                ]
            }
        ],
        "out": [
            {
                "x": 2320,
                "y": 280,
                "wires": [
                    {
                        "id": "f5d52c6a57d08904",
                        "port": 0
                    },
                    {
                        "id": "74c895ce724750de",
                        "port": 0
                    }
                ]
            }
        ],
        "env": [
            {
                "name": "top",
                "type": "str",
                "value": "objRoot"
            },
            {
                "name": "keepTopic",
                "type": "bool",
                "value": "false"
            }
        ],
        "meta": {},
        "color": "#E2D96E",
        "icon": "node-red/batch.svg"
    },
    {
        "id": "3e11e8338f694832",
        "type": "split",
        "z": "6e802f1553b18149",
        "name": "split object",
        "splt": "\\n",
        "spltType": "str",
        "arraySplt": 1,
        "arraySpltType": "len",
        "stream": false,
        "addname": "key",
        "x": 1370,
        "y": 160,
        "wires": [
            [
                "0562a4249c8b856b"
            ]
        ]
    },
    {
        "id": "0562a4249c8b856b",
        "type": "change",
        "z": "6e802f1553b18149",
        "name": "add key to topic",
        "rules": [
            {
                "t": "set",
                "p": "stateName",
                "pt": "msg",
                "to": "key",
                "tot": "msg"
            },
            {
                "t": "set",
                "p": "topic",
                "pt": "msg",
                "to": "topic  & '.' & key",
                "tot": "jsonata"
            },
            {
                "t": "change",
                "p": "topic",
                "pt": "msg",
                "from": " ",
                "fromt": "str",
                "to": "_",
                "tot": "str"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 1560,
        "y": 160,
        "wires": [
            [
                "ddc90985bef0fafa"
            ]
        ]
    },
    {
        "id": "ddc90985bef0fafa",
        "type": "switch",
        "z": "6e802f1553b18149",
        "name": "is type?",
        "property": "payload",
        "propertyType": "msg",
        "rules": [
            {
                "t": "istype",
                "v": "array",
                "vt": "array"
            },
            {
                "t": "istype",
                "v": "object",
                "vt": "object"
            },
            {
                "t": "else"
            }
        ],
        "checkall": "true",
        "repair": false,
        "outputs": 3,
        "x": 1740,
        "y": 160,
        "wires": [
            [
                "bfce19b206660fbe"
            ],
            [
                "3e11e8338f694832"
            ],
            [
                "1a8c03d866b85b12"
            ]
        ]
    },
    {
        "id": "bfce19b206660fbe",
        "type": "split",
        "z": "6e802f1553b18149",
        "name": "split array",
        "splt": "\\n",
        "spltType": "str",
        "arraySplt": 1,
        "arraySpltType": "len",
        "stream": false,
        "addname": "",
        "x": 780,
        "y": 280,
        "wires": [
            [
                "e89927810c6d75ec"
            ]
        ]
    },
    {
        "id": "e89927810c6d75ec",
        "type": "change",
        "z": "6e802f1553b18149",
        "name": "add index to topic",
        "rules": [
            {
                "t": "set",
                "p": "topic",
                "pt": "msg",
                "to": "topic  & '.' & parts.index",
                "tot": "jsonata"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 970,
        "y": 280,
        "wires": [
            [
                "a4d1a5d04564dc77"
            ]
        ]
    },
    {
        "id": "f5d52c6a57d08904",
        "type": "change",
        "z": "6e802f1553b18149",
        "name": "finalize msg.topic",
        "rules": [
            {
                "t": "set",
                "p": "top",
                "pt": "msg",
                "to": "'0_userdata.0.' & top",
                "tot": "jsonata"
            },
            {
                "t": "set",
                "p": "topic",
                "pt": "msg",
                "to": "top & '.' & topic",
                "tot": "jsonata"
            },
            {
                "t": "change",
                "p": "topic",
                "pt": "msg",
                "from": "..",
                "fromt": "str",
                "to": ".",
                "tot": "str"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 2170,
        "y": 240,
        "wires": [
            []
        ]
    },
    {
        "id": "c863dd7d651b2272",
        "type": "switch",
        "z": "6e802f1553b18149",
        "name": "is type?",
        "property": "payload",
        "propertyType": "msg",
        "rules": [
            {
                "t": "istype",
                "v": "json",
                "vt": "json"
            },
            {
                "t": "istype",
                "v": "object",
                "vt": "object"
            },
            {
                "t": "istype",
                "v": "array",
                "vt": "array"
            },
            {
                "t": "else"
            }
        ],
        "checkall": "true",
        "repair": false,
        "outputs": 4,
        "x": 580,
        "y": 160,
        "wires": [
            [
                "158930afddd0780b"
            ],
            [
                "3e11e8338f694832"
            ],
            [
                "bfce19b206660fbe"
            ],
            [
                "a4d1a5d04564dc77"
            ]
        ]
    },
    {
        "id": "158930afddd0780b",
        "type": "json",
        "z": "6e802f1553b18149",
        "name": "",
        "property": "payload",
        "action": "",
        "pretty": false,
        "x": 770,
        "y": 120,
        "wires": [
            [
                "3649300b4c233b10"
            ]
        ]
    },
    {
        "id": "1a8c03d866b85b12",
        "type": "switch",
        "z": "6e802f1553b18149",
        "name": "is msg.top != null",
        "property": "top",
        "propertyType": "msg",
        "rules": [
            {
                "t": "nnull"
            },
            {
                "t": "null"
            }
        ],
        "checkall": "true",
        "repair": false,
        "outputs": 2,
        "x": 1950,
        "y": 280,
        "wires": [
            [
                "f5d52c6a57d08904"
            ],
            [
                "74c895ce724750de"
            ]
        ]
    },
    {
        "id": "e023fe88445ce43e",
        "type": "change",
        "z": "6e802f1553b18149",
        "name": "",
        "rules": [
            {
                "t": "delete",
                "p": "topic",
                "pt": "msg"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 350,
        "y": 200,
        "wires": [
            [
                "c863dd7d651b2272"
            ]
        ]
    },
    {
        "id": "3649300b4c233b10",
        "type": "switch",
        "z": "6e802f1553b18149",
        "name": "is array?",
        "property": "payload",
        "propertyType": "msg",
        "rules": [
            {
                "t": "istype",
                "v": "array",
                "vt": "array"
            },
            {
                "t": "else"
            }
        ],
        "checkall": "true",
        "repair": false,
        "outputs": 2,
        "x": 900,
        "y": 120,
        "wires": [
            [
                "bfce19b206660fbe"
            ],
            [
                "3e11e8338f694832"
            ]
        ]
    },
    {
        "id": "1b8480cd2df7ba3f",
        "type": "comment",
        "z": "6e802f1553b18149",
        "name": "Array",
        "info": "",
        "x": 600,
        "y": 280,
        "wires": []
    },
    {
        "id": "b3541807672be040",
        "type": "comment",
        "z": "6e802f1553b18149",
        "name": "object",
        "info": "",
        "x": 1340,
        "y": 100,
        "wires": []
    },
    {
        "id": "a4d1a5d04564dc77",
        "type": "switch",
        "z": "6e802f1553b18149",
        "name": "is type?",
        "property": "payload",
        "propertyType": "msg",
        "rules": [
            {
                "t": "istype",
                "v": "object",
                "vt": "object"
            },
            {
                "t": "istype",
                "v": "array",
                "vt": "array"
            },
            {
                "t": "else"
            }
        ],
        "checkall": "true",
        "repair": false,
        "outputs": 3,
        "x": 1160,
        "y": 280,
        "wires": [
            [
                "3e11e8338f694832"
            ],
            [
                "bfce19b206660fbe"
            ],
            [
                "1a8c03d866b85b12"
            ]
        ]
    },
    {
        "id": "74c895ce724750de",
        "type": "change",
        "z": "6e802f1553b18149",
        "name": "finalize msg.topic",
        "rules": [
            {
                "t": "set",
                "p": "top",
                "pt": "msg",
                "to": "top",
                "tot": "env"
            },
            {
                "t": "set",
                "p": "top",
                "pt": "msg",
                "to": "'0_userdata.0.' & top",
                "tot": "jsonata"
            },
            {
                "t": "set",
                "p": "topic",
                "pt": "msg",
                "to": "top & '.' & topic",
                "tot": "jsonata"
            },
            {
                "t": "change",
                "p": "topic",
                "pt": "msg",
                "from": "..",
                "fromt": "str",
                "to": ".",
                "tot": "str"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 2170,
        "y": 320,
        "wires": [
            []
        ]
    },
    {
        "id": "554b8c663bcb46c2",
        "type": "switch",
        "z": "6e802f1553b18149",
        "name": "",
        "property": "keepTopic",
        "propertyType": "env",
        "rules": [
            {
                "t": "true"
            },
            {
                "t": "false"
            }
        ],
        "checkall": "true",
        "repair": false,
        "outputs": 2,
        "x": 170,
        "y": 160,
        "wires": [
            [
                "e30ba9f0483285e4"
            ],
            [
                "e023fe88445ce43e"
            ]
        ]
    },
    {
        "id": "e30ba9f0483285e4",
        "type": "change",
        "z": "6e802f1553b18149",
        "name": "",
        "rules": [
            {
                "t": "change",
                "p": "topic",
                "pt": "msg",
                "from": "/",
                "fromt": "str",
                "to": ".",
                "tot": "str"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 350,
        "y": 120,
        "wires": [
            [
                "c863dd7d651b2272"
            ]
        ]
    },
    {
        "id": "6f9ad0fae408d97f",
        "type": "subflow:6e802f1553b18149",
        "z": "393214410c8f2f15",
        "name": "",
        "env": [
            {
                "name": "top",
                "value": "zigbee",
                "type": "str"
            },
            {
                "name": "keepTopic",
                "value": "true",
                "type": "bool"
            }
        ],
        "x": 790,
        "y": 460,
        "wires": [
            [
                "997fd3a2eec1d4d4",
                "ad50aeda7750ebf1"
            ]
        ]
    },
    {
        "id": "73ad04043864791c",
        "type": "change",
        "z": "393214410c8f2f15",
        "name": "",
        "rules": [
            {
                "t": "change",
                "p": "topic",
                "pt": "msg",
                "from": "zigbee2mqtt\\/(.*)$",
                "fromt": "re",
                "to": "$1",
                "tot": "str"
            }
        ],
        "action": "",
        "property": "",
        "from": "",
        "to": "",
        "reg": false,
        "x": 550,
        "y": 460,
        "wires": [
            [
                "6f9ad0fae408d97f",
                "5bfd9417fad9ef9a"
            ]
        ]
    },
    {
        "id": "997fd3a2eec1d4d4",
        "type": "debug",
        "z": "393214410c8f2f15",
        "name": "",
        "active": true,
        "tosidebar": true,
        "console": false,
        "tostatus": false,
        "complete": "false",
        "statusVal": "",
        "statusType": "auto",
        "x": 1030,
        "y": 400,
        "wires": []
    },
    {
        "id": "5bfd9417fad9ef9a",
        "type": "debug",
        "z": "393214410c8f2f15",
        "name": "",
        "active": true,
        "tosidebar": true,
        "console": false,
        "tostatus": false,
        "complete": "true",
        "targetType": "full",
        "statusVal": "",
        "statusType": "auto",
        "x": 750,
        "y": 400,
        "wires": []
    },
    {
        "id": "ad50aeda7750ebf1",
        "type": "ioBroker out",
        "z": "393214410c8f2f15",
        "name": "",
        "topic": "",
        "ack": "true",
        "autoCreate": "true",
        "stateName": "",
        "role": "",
        "payloadType": "",
        "readonly": "",
        "stateUnit": "",
        "stateMin": "",
        "stateMax": "",
        "x": 1020,
        "y": 460,
        "wires": []
    }
]

Ich hab meinen zigbee2mqtt halt nach Funktionen gegliedert - aber wird alles aufgelöst.

,

die states werden auch korrekt aufgeschlüsselt:

Importiere ggf- nochmals neu - damit Du auch die aktuellste Version hast.

Die Subflow Node muss halt keepTopic auf true sein:

[mickym]

@noah3112 Wahrscheinlich hast Du Dein zigbee2mqtt struktur anders aufgebaut. Wie gesagt nutze mal zigbee2mqtt/# als input - die Change Node um das Topic zu isolieren, habe ich angepasst. Das mit dem Bewegungsmelder war nur ein Beispiel wenn man selektieren möchte und nicht den ganzen Baum abbilden will.

[A Former User]

@mickym sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@waldmensch Generell muss man seit dem Admin5 - einmal auch immer noch das Skript von @fastfoot drüberlaufen lassen - das automatische Erstellen von Objekten im Admin5 lässt wohl auf sich warten.

Also dieses Skript importieren - und einmal ausführen:

Spoiler

/**
* Zweck:       Korrigiert übergeordnete Ordnerstrukturen eines Datenpunkts
* Datum:      07.08.2021
* Autor:       @fastfoot
*/

//              In den Settings der Javascript-Instanz muss setObject erlaubt sein!!!

let arr = [],
  id = '';

const ids = $('0_userdata.0.*');
ids.each(idTmp => {
  arr=idTmp.split('.');
  arr.splice(arr.length-1);
  id=arr.join('.');
  if(arr[0] === '0_userdata' || arr[0] === 'alias' || arr[0] === 'mqtt' || arr[0] === 'javascript'){
      correctObject(id, arr);
  }
})

function correctObject(id,arr){
  if(arr.length === 2) return;
  if(!existsObject(id)){
      let obj = {};
      obj = {
          type: 'folder',
          common:{
              name: arr[arr.length - 1]
          }
      }
      extendObject(id, obj, e => {
          if (e) log('Fehler beim Schreiben des Objektes: '+ id + ' ' + e);
      })
  }
  arr.splice(arr.length - 1);
  id = arr.join('.');
  correctObject(id, arr);
}

Muss man nur einmal machen - wenn die Objekte angelegt sind - kann der Flow ungehindert weiter in die einzelnen Datenpunkte schreiben.

Das war mit dem Script gemeint.

[mickym]

@noah3112 Nein das brauchst Du nicht mehr. Das hat unser großer Meister gefixt wenn Du NodeRed Adapter Version 3.0 und höher verwendest, das heißt die Folder-Objekte werden korrekt angelegt (da unter 0_userdata.0).

[A Former User]

@mickym Bei mir ist es auch nach Funktionen gegliedert. Das war der Versuch mit den Umweltsensoren. Ich werde mal alles anwählen und schauen was passiert. keepTopic war auch auf true hatte vergessen davon ein Screenshot zu machen.

[mickym]

@noah3112 Ja bei Dir musst halt ggf. zigbee/# verwenden und dann musst das topic halt mit dem regex Ausdruck richtig rausselektieren:

Wie gesagt - wichtig ist, dass das topic richtig aufbereitet wird, um es korrekt in dem Subflow zu verwenden.

[A Former User]

@mickym so jetzt mal das gesamte Paket mit den von dir gerade gesendeten Flow laufen lassen. Das gleiche Ergebnis ich bekomme nur den state angezeigt. Komisch im debug Fenster bekomme ich wesentlich mehr Daten angezeigt diese werden nur nicht aufgelöst und dargestellt.

[mickym]

@noah3112 Vielleicht browser refresh? - Wenn im debug alles rauskommt, dann müsste es auch so angelegt werden.

[A Former User]

@noah3112 Sorry das stimmt so nicht bei einigen Sensoren bzw Aktoren sind mehrere Daten vorhanden. Kann es sein das ich einfach nur warten muss bis alle mal gesendet haben?

[mickym]

@noah3112 KLar - mqtt - sendet ja nur wenn was aktualisiert wird - das heisst die Bäume bauen sich ja erst auf - mqtt - liest nie "vorhandene" alte Daten aus - ausser Du speicherst das mit retain - was nicht zu empfehlen ist.

[A Former User]

@mickym Alles Bestens ich habe jetzt Daten ohne Ende Vielen Dank das hat mir echt weitergeholfen. Jetzt kann ich mich an meine Visualisierung machen. Beim Dashboard ist man echt eingeschränkt aber Vis überfordert mich auf der anderen Seite auch wieder. Man hat´s echt nicht leicht

[mickym]

@noah3112 sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@noah3112 Sorry das stimmt so nicht bei einigen Sensoren bzw Aktoren sind mehrere Daten vorhanden. Kann es sein das ich einfach nur warten muss bis alle mal gesendet haben?

ggf. - das hat aber mit diesem Thema nichts zu tun - ist, dass Du im zigbee2mqtt die availabilty Option zu nutzen.

[mickym]

@noah3112 sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@mickym Alles Bestens ich habe jetzt Daten ohne Ende Vielen Dank das hat mir echt weitergeholfen. Jetzt kann ich mich an meine Visualisierung machen. Beim Dashboard ist man echt eingeschränkt aber Vis überfordert mich auf der anderen Seite auch wieder. Man hat´s echt nicht leicht

Na ja ich finde das Dashboard schon gut - und für mich ist das nach wie vor die 1. Wahl um schnell Dinge zu steuern. Viel kann man mit den Template Nodes machen und aber auch VIS hat seine Berechtigung. Ich nutze ggf. einzelne Seiten, in dem ich diese in das Dashboard einbinde. So muss man sich nicht für eins entscheiden, sondern kann beides nutzen.

[A Former User]

@mickym Kannst da das noch etwas präzisieren?

[A Former User]

@mickym sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@noah3112 sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@noah3112 Sorry das stimmt so nicht bei einigen Sensoren bzw Aktoren sind mehrere Daten vorhanden. Kann es sein das ich einfach nur warten muss bis alle mal gesendet haben?

ggf. - das hat aber mit diesem Thema nichts zu tun - ist, dass Du im zigbee2mqtt die availabilty Option zu nutzen.

Sorry das meinte ich.

[A Former User]

@noah3112 Bin erst seit kurzem mit zigbee2mqtt unterwegs. Ich hatte sehr viele Probleme mit dem zigbee Adapter und bin bis jetzt sehr angetan. Allerdingt fehlt die Langzeiterfahrung und was damit alles geht.

[mickym]

@noah3112 sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@mickym sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@noah3112 sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@noah3112 Sorry das stimmt so nicht bei einigen Sensoren bzw Aktoren sind mehrere Daten vorhanden. Kann es sein das ich einfach nur warten muss bis alle mal gesendet haben?

ggf. - das hat aber mit diesem Thema nichts zu tun - ist, dass Du im zigbee2mqtt die availabilty Option zu nutzen.

Sorry das meinte ich.

Na das hat nichts mit der availabilty zu tun - aber Du kannst ein Update der states erzwingen, wenn Du einen get Datenpunkt erstellst:

https://www.zigbee2mqtt.io/guide/usage/mqtt_topics_and_messages.html#zigbee2mqtt-friendly-name-get

Wenn Du get mit leerem state setzt, kannst Du quasi ein Update des Status via mqtt erzwingen:

[mickym]

@noah3112 sagte in JSON oder JavaScript Objekt in iobroker Datenpunkte zerlegen:

@noah3112 Bin erst seit kurzem mit zigbee2mqtt unterwegs. Ich hatte sehr viele Probleme mit dem zigbee Adapter und bin bis jetzt sehr angetan. Allerdingt fehlt die Langzeiterfahrung und was damit alles geht.

Ja da bist Du nicht der Erste. In meinen Augen ist es in diesem Fall sogar ein Vorteil unabhängig von iobroker Updates zu sein.

[A Former User]

@mickym Okay ich verstehe, quasi ein manuelles anstoßen um Daten zu erhalten, gut zu wissen