mqtt Adapter 4.0.7 Hohe CPU Load
-
@sro769 Ich hab das in dem anderen Thread schon mal geschrieben:
Wenn du NICHTS in das Subscribe Pattern schreibst - dann nimmt er AUTOMATISCH # - also ALLES. Deshalb bekommst Du alles was Du schreibst postwendend zurück und die Endlosschleife ist perfekt. Wenn diese Instanz nichts subsriben soll - dann musst Du einen Dummy nehmen - schau mal in meinen Screenshot - da steht "nothing". Ausserdem wird er nichts machen mit diesen Einstellungen, wenn Du kein Präfix mitgibst.
Habe ich aber hier alles beschrieben:
https://forum.iobroker.net/topic/57365/mqtt-broker-empfängt-daten-sendet-aber-nicht-an-client/8?_=1662032439387 -
@mickym wenn du mir jetzt noch sagst, wie ich da machen soll... der Adapter läuft als Client. Unter "Subscribe Pattern" kann ich zwar was eintragen aber nichts speichern. Der Speicher-Button bleibt ausgegraut. Wenn ich noch eine andere Option ändere und den Button damit aktiviere, ist der Eintrag unter Subscribe Pattern wech... Wenn ich dann wieder was eintrage und auf Speichern klicke, ist nix gepeichert....
-
@mickym laut Log (höchste Detail-Stufe) bekomme ich auch keine Nachricht zurück, die zuvor gesendet wurde
-
@sro769 Subscribe Pattern was reinschreiben und dann ENTER drücken - dann wird aus dem Text so eine ovale Kachel, wie im Screenshot.
-
@mickym Shit, Asche auf mein Haupt. Da war ich aber schon lange nicht mehr dran. Habe ich jetzt entsprechend nachgetragen und werde das beobachten. Soweit erst mal danke.
-
@sro769 und trotzdem Präfix mit abschließendem / vergeben- der Adapter schmeißt in der Regel alles weg, das genauso wie ein Adapterpfad beginnt
-
@mickym Vorab erstmal, ich hab meine mqtt-Einstellungen jetzt genau nach deinem Vorbild gemacht
Danke nochmal für deine Hilfe gestern!Sag, darf ich dir zu diesem Thema noch eine Frage stellen:
ioBroker Subscribe Pattern: home/#
ioBroker Präfix für alle Tonics: lakelounge/
ioBroker published (Maske zum Bekanntgeben eigener States) mqtt.0.*
und nehmen wir an, „Sende auch Zustände (ack=true)“ ist aktivDie Tasmota Devices haben einen Datenpunkt stat in dem es Unterdatenpunkte wie RESULT etc. gibt. Die Änderung kommen vom Tasmota Device nach mqtt.0 und laut den Angaben oben, verstehe ich auch, dass sie von dort sofort wieder published werden. Dadurch entsteht der Loop.
Aber müssten diese jetzt nicht eigentlich unter (Präfix) lakelounge/ ... gepublished werden?
Warum published er den mqtt.0.* nicht mit dem Präfix lakelounge?Ich hab das mit fbcheckpresence versucht und da macht er das so wie erwartet:
Das ganze passiert aber nur, wenn „Sende auch Zustände (ack=true)“ aktiv ist. Das würde ich so verstehen, dass er neben allem Möglichen auch den ack des Datenpunktes mit raus published – oder?
Kannst du da den Hintergrund erklären, warum er den mqtt.0.* ohne den Präfix macht und den fbcheckpresence z. B. mit?
Nur, wenn du Lust hast
-
@lakelounge Nun ich habe eigentlich versucht das zu erklären.
Ich habe 2 !!! Instanzen. Die Instanz mit dem mqtt.0 - bei mir im Screenshot mqtt.1 ist ein Abbild des Brokers - da Subscribest alles - also nicht home/# sondern. Wenn ein Tasmota Device also was published taucht das unter mqtt.0 auf. Diese Instanz veröffentlicht KEINE Zustände - deshalb sind alle Haken draussen. Wenn Du was steuern willst schreibst Du es in einen Datenpunkt unter mqtt.0 und zwar unbestätigt. Dann wird das auch zum Broker geschickt. Deswegen braucht oder darf diese Instanz auch KEINE Zustände publishen.
Die 2. Instanz veröffentlicht Zustände eines bestehenden Adapters (dort sind die Datenpunkte alle bereits vom Adapter) bestätigt. Nur diese Instanz veröffentlichst Du unter eine Präfix - von mir aus lakelounge. Diese Datenpunkte tauchen dann automatisch in der 1. Instanz - also unter mqtt.0 unter lakelounge auf.
Diese 2. Instanz veröffentlicht iobroker Datenpunkte aber subscribed nichts - muss sie ja auch nicht, weil Du die Datenpunkte eh im iobroker hast. Wenn Du mit einem anderen Tool zum Beispiel NodeRed direkt an Deinen mosquito gehst - sind die Datenpunkt ja unter lakelounge . Schau Dir bitte meine beiden Screenshotsmqtt.1 = bei Dir mqtt.0 und ein komplettes Abbild Deines mosquitto Brokers
mqtt.2 = bei Dir halt mqtt.1 und dort werden die iobroker Adapter Punkte unter einem Präfix gepublished.Den Screenshot von mqtt.0, bei mir mqtt.1 hast Du ja unten. mqtt.2 ist meine publishing Instanz und die published bei mir halt nicht unter dem Prefix lakelounge sonder iobroker.
Die hat aber keine eigenen Datenpunkte - da sie diese ja von fremden Adaptern holt -
Du siehst mqtt.2 hat gar keine eigenen Datenpunkte - da ja die Datenpunke vom tr-064 gepublished werden sollen und bei mir unter dem präfix ioboker, dass taucht dann auch in der mqtt.1 - die ja ein vollständiges Abbild darstellt auf.
Die mqtt.0 bwz, mqtt.1 Instanz published keine Zustände, da sie alles vom mosquitto bekommt - Zustände publishen macht man nur von FREMDEN Adaptern - da diese Datenpunkte von diesen bestätigt werden.
-
@lakelounge sagte in mqtt Adapter 4.0.7 Hohe CPU Load:
Die Tasmota Devices haben einen Datenpunkt stat in dem es Unterdatenpunkte wie RESULT etc. gibt. Die Änderung kommen vom Tasmota Device nach mqtt.0 und laut den Angaben oben, verstehe ich auch, dass sie von dort sofort wieder published werden. Dadurch entsteht der Loop.
Das passiert eben nicht, wenn man keine Zustände published - deswegen sind alle Haken weg bei der Instanz, die ein 1:1 von mosquitto darstellt. Man braucht keine Zustände. Der Master ist mosquitto und sonst gar nichts. Wenn Du was rausschickst, dann schickst Du das unbestätigt - also keinen Zustand, sondern ein Kommando.
Ich weiss nicht ob das hier richtig verlinkt ist:
https://forum.iobroker.net/topic/57648/visualisierung-mit-node-red-erstellen/33
und
https://forum.iobroker.net/topic/57648/visualisierung-mit-node-red-erstellen/29 (also so ziemlich am Anfang des Threads).- aber hier habe ich noch mal erklärt - was bestätigt ist, was ein Zustand und ein ACK Flag ist. Nur mqtt kennt keine ACK Flags die mqtt-Adapter schon. Im reinen mqtt Umfeld wirst Du also nie eine Einstellung Zustände publishen finden, das ist ein Feature des iobrokers:
-
@mickym ja, klar! Ich hab ja jetzt auch 2 Instanzen! Hatte ich doch geschrieben, dass ich das genau so gemacht habe, wie du. Leuchtet mir ein und ich bin ja lernfähig
Mir erschließt sich eben nur meine Frage nicht, warum der mqtt.0 nicht über das Präfix sendet und dann auch unter lakelounge landet. Da geht es nur im das Verstehen.
Der fbcheckpresence sendet ja in lakelounge aber der mqtt.0, der gleich eingetragen ist nicht. Da muss es doch intern im Adapter etwas geben, was dem mqtt.0 sagt, du sendest bitte zurück mit dem Tonic home/egw1/Gerät und nicht mit wie ich erwarten würde lakelounge/home/egw1/ ... -
@lakelounge Im mqtt.0 hast Du doch in der Konfig gar kein Präfix eingegeben, wenn Du es so wie ich gemacht hast.
-
@mickym ja, ist auch so und es funktioniert dank deiner Hilfe ja auch super. Nur das mit dem mqtt.0 und dem Präfix (lakelounge) leuchtet eben nicht ein. Weil, wie grade im anderen Post korrigiert, der fbcheckpresence so sendet.
-
@lakelounge sagte in mqtt Adapter 4.0.7 Hohe CPU Load:
Der fbcheckpresence sendet ja in lakelounge aber der mqtt.0, der gleich eingetragen ist nicht. Da muss es doch intern im Adapter etwas geben, was dem mqtt.0 sagt, du sendest bitte zurück mit dem Tonic home/egw1/Gerät und nicht mit wie ich erwarten würde lakelounge/home/egw1/ ...
Also um es etwas präziser zu sagen - der fbcheckpresence sendet gar nichts.
Deine mqtt.1 Instanz sendet, weil Du sagst, dass seien ihre (also deren Instanz mqtt.1) Werte und Du Zustände senden willst - also stell Dir vor, wenn fbcheckpresence was schreibt, wird dies nun von der mqtt.1 Instanz überwacht und gepublished und zwar unter dem Prefix was Du in mqtt.1 angegeben hast. So befindet es sich jetzt in mosquitto.Die mqtt.0 instanz hat alles subscribed also # und bekommt oder schreibt diese werte unter lakelounge/home/egw1 usw,
Diese Instanz weiss nicht, dass der Präfix dazu gekommen ist und wird auch wenn Du da was publishst in dem Du in mqtt.0.laklounge.home.egw1 usw. was reinschreibst - das wieder so nach mosquitto zurückschreiben.Da muss es doch intern im Adapter etwas geben, was dem mqtt.0 sagt, du sendest bitte zurück mit dem Tonic home/egw1/Gerät und nicht mit wie ich erwarten würde lakelounge/home/egw1/ ...
Nein das gibt es eben nicht und weil der mqtt.1 auch nicht wieder zurück subscribed - bleiben die Werte im mosquitto - aber keiner interessiert sich dafür - ausser Du nimmst einen anderen Client. Und genau das ist auch beabsichtigt:
- DU DARFST NIE - in den Namensraum eines Adapters schreiben. Es wäre hochgradig gefährlich oder überhaupt nicht beabsichtigst, dass Du über mqtt - Datenpunkte direkt in den Adaptern steuerst. Das solltest Du dann bitte über Deine Logikmaschine mache. Das Präfix wird auch nie mehr entfernt.
Nun kann der Adapter auch ohne Präfix in mosquitto schreiben - das geht und habe ich getestet. Allerdings verweigert der mqtt-Adapter grundsätzlich, alles was genauso wie ein Adapterpfad beginnt um genau davor zu schützen, dass man via mqtt- direkt in den Namensraum der Adapter schreiben kann - da genaut dies das Chaos erzeugt. Ich habe das getestet: Sprich wenn Du die mqtt.1. Instanz ohne Präfix schreiben lässt kommt es auch im mosquitto ohne Prefix an - der mqtt.0 Adapter weigert sich aber Punkte mit fbcheckpresense etc. wieder zu importieren - der hat eine Sperre, dass er nichts importiert, das einem internen Adapterpfad entspricht. Das ist quasi ein interner Schutz in den mqtt-Adaptern, dass die nichts importieren, was quasi direkt in Bereiche von anderen Adapter geschrieben werden kann.
Ich hab ja schon mal kurz angedeutet, dass mqtt - kein ACK Flag kennt - für die iobroker Adapter ist das aber essentiell. Nur der Adapter darf bestätigte Datenpunkte setzen - der mqtt Adapter will aber ebenfalls bestätigte Datenpunkte setzen - da er auch unbestätigte nur Datenpunkte publishen will und mit dem ACK Flag weiss - ok das habe ich gesetzt und muss es nicht publishen. Das Chaos ist also perfekt. - Ich bin hier nicht der große MQTT- Guru aber so ist halt mein Verständnis.
Es bleibt im Prinzip dabei, Du kannst, darfst iob-Adapter im iobroker nicht direkt von aussen über mqtt ansteuern, sondern nur über Deine Logikmaschine. Bei tasmota oder ähnlichem - dass Du über mqtt.0 und quasi eigenen mqtt - Datenpunkten ist das was anderes - da diese nur im mqtt Adapter sind und nicht in einem anderen Adapter.
Also Grundregel: Du kannst über mqtt.0 aus dem iobroker alles steuern und Rückmeldungen bekommen, solange es nichts mit einem anderen Adapter zu tun hat. Möchtest Du aus welchen Gründen Information - wie fbcheckpresence aus dem iobroker exportieren, kannst Du das tun - aber nur um es in anderen Systemen zu verarbeiten. Wollen die was zurückmelden bekommst Du es unter lakelounge/ in mqtt.0 wieder mit - und dann musst Du mit Blockly oder NodeRed - JS reagieren, wenn das wieder was in einem oder mehreren Adaptern steuern soll.
oder um es kurz auszudrücken auf Deine Frage:
Da muss es doch intern im Adapter etwas geben, was dem mqtt.0 sagt, du sendest bitte zurück mit dem Tonic home/egw1/Gerät und nicht mit wie ich erwarten würde lakelounge/home/egw1/ ...
NEIN, gibt es nicht und das ist in meinen Augen von den Entwicklern zu 100% so beabsichtigt, damit der mqtt- Adapter nicht in den Hoheitsraum eines anderen Adapters schreibt. Es war schon ein Kampf - oder eine Diskussion mit den Entwicklern, dass man über haupt States von anderen Adapter veröffentlichen kann. In der mqtt Adapter Version 4.0.0 war es komplett abgeschaltet und Du hattest gar keine Chance, was von anderen Adapter zu publishen - das wurde peu a peu nach der 3er Version entfernt. Ich habe dann aber mit bisschen diskutieren erreicht, dass man das wieder darf, so dass man zum Beispiel in NodeRed oder über andere Systeme über mqtt - iob States abfragen kann - aber eben abfragen und nie steuern. In der 4.0.0 Version - konnten die mqtt-Adapter IMMER NUR States aus dem eigenen Namensraum publishen, also mqtt.0.* usw.
Wer also iobroker Adapter von außen ansteuern will, muss das entweder via mqtt und Logikmaschine machen oder er nutzt die HTTP API - sprich den Simple-API Adapter.
Lies hierzu mal das Change Log des Adapters:
https://github.com/ioBroker/ioBroker.mqtt
ab der Version 4.0.2 war es dann zum Glück wieder möglich.
Wenn Du Lust hast - diese ganze Diskussion nachzuverfolgen, das war hier: https://github.com/ioBroker/ioBroker.mqtt/issues/293
-
Das letzte stimmt auch nicht ganz - man kann auch den iobroker von aussen via mqtt steuern - dann aber sollte man wirklich den reinen mqtt-Client Adapter nehmen. Da kann man dann auch topics vergeben die erstes mal völlig unabhängig vom Adapter Namen sind:
hier mal ein 0_userdata.0. Datenpunkt - selbst erstellt - mit ganz anderen Topic Namen.
Ausserdem kann man hier dann auch unterschiedliche Präfixe beim Subscriben und Publishen (für den ganzen Adapter )angeben - das hab ich aber nicht getested:
Der müsste dann exakt das machen, was Du sagst - mit Präfix publishen und beim subscriben den Präfix wieder entfernen - habe ich aber nicht getestet.
Also man kann den iobroker auch via mqtt- von aussen steuern - muss das aber dann für einzelne Datenpunkte machen und mit dem mqtt-client Adapter. So ist es dann auch sinnvoll - um das Chaos zu verhindern, wobei auch hier natürlich Endlosschleifen vorprogrammiert sind.
-
@mickym Du bist der Wahnsinn! Der mqtt-Master! 1000 Dank! Langsam lichtet sich bei mir der Nebel im Gehirn
Warum kennst du dich eigentlich so extrem gut aus mit mqtt? Hast du dich da eingefuchst oder machst du das beruflich? Danke jedenfalls nochmals für deine Geduld und deine Hilfe! Schönes Wochenende! mc -
@lakelounge sagte in mqtt Adapter 4.0.7 Hohe CPU Load:
Der mqtt-Master! 1000 Dank! Langsam lichtet sich bei mir der Nebel im Gehirn
na bin ich nicht - ich bin da immer noch viel zu viel an der Oberfläche und kenn mich mit dem mqtt Protokoll im Einzelnen nicht wirklich aus, aber zumindest kann ich es ein bisschen einordnen, was die Begriffe bedeuten. Die mqtt-Adapter - zumindest den von dem wir reden, sind auch in meinen Augen nicht komplett mqtt- konform. Das merkt man an den retain messages, die nicht beim Verbindungsaufbau geschickt werden wenn man den Adapter als Broker betreibt, der mosquitto schickt sie aber.
Warum kennst du dich eigentlich so extrem gut aus mit mqtt? Hast du dich da eingefuchst oder machst du das beruflich?
Ich hab mich da bissi reingefuchst - weil ich selbst mit viel Schmerzen und Endlosschleifen mein System oft gecrashed habe.
Aber ist wie bei Dir - wenn sich der Nebel lichtet, freut man sich.Das was viele nicht begreifen ist immer - ich will was über mqtt- schicken. Man kann was zum Broker publishen - und der Broker verschickt es, wenn sich der Client dafür interessiert. Allein in die Köpfe zu bekommen, dass man keine direkte Verbindung von Sender zu Empfänger via mqtt aufbauen kann, sondern dass da noch ein Broker dazwischen hängt ist einfach vielen nicht bewusst.
-
@mickym Mach dich nicht kleiner als du bist!
Mir hast du jedenfalls extrem geholfen und du hast dafür gesorgt, dass sich viele Nebel lichten. Dafür danke ich dir nochmals sehr!!!
