Frage zu MQTT, SonOff-Adapter und mqqt über Shell

[klassisch]

@mickym Super, vielen Dank! Dann werde ich den zweiten MQTT Adapter auch ausmustern und auf den ersten gehen.

Vielen Dank auch für das JScript Beispiel!
Wenn ich dann Werte an den Victron reinschreiben möchte, dann müssen die natürlich auch so zu einem String zusammengesetzt werden, nehm ich an, was aber durch einfaches Addieren" einfacher sein dürfte.

[mickym]

@klassisch Nein wenn Du ein JS Objekt wieder in einen JSON zu verschicken via MQTT publishen willst, dann must Du das JS Objekt wieder stringifizieren:

https://www.w3schools.com/js/js_json_stringify.asp

Also das Gegenteil von parse.
Wenn Du also dieses Beipsiel aus dem Artikel nimmst:

Dann sieht das im JS so aus:

objAcPowerSetpoint = { "value" : -200};
// object wieder in JSON String

strMqtt = JSON.stringify(objAcPowerSetpoint);
setState ('mqtt.0.W.e0ff50a097c0.vebus.257.Hub4.L1.AcPowerSetpoint', strMqtt, false);

[klassisch]

@mickym Und auch dafür herzlichen Dank!
Also zum hin und Rückwärtswandlung von json Objekten gibt es extra Funktionen und korrespondierende Objekte in JScript.
Dann sollte die Umwandlung mit diesen eingebauten Funktionen auch recht flott und ressourcenschonend gehen.

[mickym]

@klassisch sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

@mickym Und auch dafür herzlichen Dank!
Also zum hin und Rückwärtswandlung von json Objekten gibt es extra Funktionen und korrespondierende Objekte in JScript.
Dann sollte die Umwandlung mit diesen eingebauten Funktionen auch recht flott und ressourcenschonend gehen.

Genau - JSON ist einfach die Möglichkeit Javascript Objekte als Strings über verschiedene Protokolle zu transportieren (mqtt, HTTP, usw.) Versuch mal über eine Browser URL ein Boolvariable zu versenden DU wirst verzweifeln, weil HTTP in den URLs alles als Strings interpretiert.

Deswegen stand auch - was ist JSON:

What is JSON?

• JSON stands for JavaScript Object Notation

• JSON is a lightweight data interchange format

• JSON is language independent *

• JSON is "self-describing" and easy to understand

[klassisch]

@mickym Ja, der history Adapter arbeitet ja mit JSON und die simpleApi gibt JSON als Antwort zurück.

Aber jetzt habe ich doch nochmals eine Frage zu den 2 MQTT Adaptern.
Mein erster ist als Server/Broker konfiguriert und hört auf alles. Bei dem liefern z.B. die ESPEasy ein.
Mein Zweiter, den ich ja jetzt in den ersten integrieren will, hat aber die IP des Venus Raspi eingetragen. Das bekomme ich jetzt nicht unter einen Hut. Ich habe auch keinen Knopf gefunden, um den parallel als Client laufen zu lassen bzw. einen weiteren Eingabetab zu eröffnen.

[mickym]

@klassisch Nochmal Du brauchst keinen Client. Wenn Dein mqtt Adapter als Broker arbeitet, dann verbinden sich alle Clients mit ihm. Wenn Du dann direkt in den DP schreibst, dann published der Broker das automatisch.

Da ich das in dem anderen Zusammenhang als Video demonstriert habe (stell Dir den mqtt Explorer einfach als ESPEasy, Venus Raspi vor. Du gibst überall die gleiche IP und den port ein. Die tun sich doch alle nicht weh, weil sie auf unterschiedliche topics publishen und subscriben. Ich habe meine Shellies, Tasmota und Owntracks alles unter einem Broker laufen:

mqtt.1 hat nur historische Gründe - weil der Broker manchmal Fehler macht - aber solange er das nicht tut ist alles gut.

Hier werden die Punkte in der Instanz erzeugt, wenn ein anderes Gerät in Deinen Broker published so wie es Dein Venus gemacht hat:

extern mqtt publish.mp4

und hier wenn Du in einen Datenpunkt schreibst und dieser published:

publish mqtt topic.mp4

[mickym]

@klassisch sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Mein Zweiter, den ich ja jetzt in den ersten integrieren will, hat aber die IP des Venus Raspi eingetragen.

Ok wenn das so ist, wäre dann würde der Venus Raspi als mqtt Broker agieren und dann brauchst Du tatsächlich 2 Instanzen. Sprich Du kannst den Venus Raspi nicht so konfigurieren, dass er einen vorhandenen Broker bereits benutzt?

Wenn nicht, dann ist das mit den 2 Instanzen in Ordnung (einen als Client zum Venus Raspi mqtt-Broker, einen als Broker für die Geräte, für die Du im iobroker zur Verfügung stellen willst).

[klassisch]

@mickym Vielen Dank, hatte nicht wirklich verstanden, wie zwei Broker zueinander finden sollten, die nichts voneinander wissen.
Venus kann oder will wohl nur Broker

Mehr kann ich auf der Oberfläche nicht einstellen, man kann nicht tiefer absteigen.
Und ich möchte dort auch nichts durcheinanderbringen.
Also ist das wohl ein Broker und ich spreche ihn mich einem Client an.

[mickym]

@klassisch sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Also ist das wohl ein Broker und ich spreche ihn mich einem Client an.

Genau - dann ist es so - wenn das nicht anders geht. Letztlich ist ja doch alles im iobroker vereint auch mit unterschiedlichen Instanzen.

[Andreas Jordan]

@klassisch
Hallo,

Ich versuche ebenfalls einen Victron Venus über MQTT zum leben zu erwecken.
Leider scheitere ich dabei den keep Alive an den Victron zu senden.

Woher weiß der MQTT Broker die IP Adresse des Venus?
Habe versucht den Datenpunkt wie oben beschrieben anzulegen und zu füllen bzw. über JScript zu senden.
Über MQTT Explorer kann der Victron angesprochen werden.

Hast du einen Tipp?

Gruß

[dan11hh]

@mickym
Ich habe mir den Thread jetzt 2-3 Mal durchgelesen. Ich finde toll welche Mühe Du Dir gibst, damit wir MQTT besser verstehen. Auch wenn es mir etwas peinlich ist: Ich habe eine Sache immer noch nicht verstanden. Es reicht grundsätzlich einen MQTT Broker im Netzwerk zu haben, oder? Zumindest habe ich dich so verstanden. Das Venus OS hat doch einen Broker laufen. Wofür brauche ich dann noch einen zweiten Broker im ioBroker? Ich habe bspw. einen MQTT Client Adapter laufen, der fragt die Werte von meinem OpenWB Broker ab und schreibt dort auch bspw. SoC oder den Lademodus. Könnte eine zweite Instanz (weil anderer Broker, andere IP) als Client nicht auch, die Werte (also aktuelle PV Leistung, EVU Werte) aus der ersten Instanz von der OpenWB genauso in den Venus Broker schreiben (natürlich über ein Skript) ? Ich bin gerade etwas verzweifelt, weil ich offenbar den Wald vor lauter Bäumen nicht sehe. Im Photovoltaikforum sind sie, glaube ich, kurz davor an mir zu verzweifeln.
Würde mich sehr, sehr freuen, wenn Du mich aus dieser Situation befreien könntest. 1000Dank.

[mickym]

@dan11hh sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

@mickym
Ich habe mir den Thread jetzt 2-3 Mal durchgelesen. Ich finde toll welche Mühe Du Dir gibst, damit wir MQTT besser verstehen. Auch wenn es mir etwas peinlich ist: Ich habe eine Sache immer noch nicht verstanden. Es reicht grundsätzlich einen MQTT Broker im Netzwerk zu haben, oder? Zumindest habe ich dich so verstanden.

Richtig!

Das Venus OS hat doch einen Broker laufen.

Das weiß ich nicht. Hab mal gegoogelt und unter Venus OS
https://obenschlaefer.com/low-budget-energiemonitor-victron-venus-os-mit-raspberry-pi-obenschlaefer/

Keine Ahnung - aber wie kommst Du darauf, dass da bereits ein mqtt Broker enthalten ist? Für mich ist das ein normales Linux OS.

Wofür brauche ich dann noch einen zweiten Broker im ioBroker?

Brauchst du grundsätzlich nicht.

Ich habe bspw. einen MQTT Client Adapter laufen, der fragt die Werte von meinem OpenWB Broker ab und schreibt dort auch bspw. SoC oder den Lademodus.

Dann schau doch erst mal ob Du das nicht als einzige Broker instanz bejalten willst. Ich kann immer noch keinen Broker im Venus oS sehen.

Könnte eine zweite Instanz (weil anderer Broker, andere IP) als Client nicht auch, die Werte (also aktuelle PV Leistung, EVU Werte) aus der ersten Instanz von der OpenWB genauso in den Venus Broker schreiben (natürlich über ein Skript) ?

Das wäre theoretisch möglich. Nur warum brauchst Du 2 Broker? das verstehe ich immer noch nicht.
Ich würde lieber alles daran setzen, alles in einem Broker zu konsolidieren. Ggf. setze einen mosquitto (als Master) auf und schau, dass Du dort alle Geräte ihre Informationen publishen lässt und dann nimmst Du nur noch den MQTT-Client für Dein Front-End im iobroker.

Ich bin gerade etwas verzweifelt, weil ich offenbar den Wald vor lauter Bäumen nicht sehe. Im Photovoltaikforum sind sie, glaube ich, kurz davor an mir zu verzweifeln.
Würde mich sehr, sehr freuen, wenn Du mich aus dieser Situation befreien könntest. 1000Dank.

Wie gesagt ich würde einfach erst mal einen neuen Broker auf mosquitto Basis aufbauen. Die bisherigen deaktivieren und jedes Gerät Stück für Stück anschließen.

1. Nimm erst mal alle Geräte, die an Deinen OpenWB publishen und stelle die auf mosquitto um.
2. Nimm alle Geräte, die an den Venus Broker publishen und stelle die auf msoquitto um.
3. Alles ist an einem Platz und Du kannst von Venus, OpenWB, iobroker mit einem Client zentral den mosquitto Broker befragen. Da muss man nichts kopieren etc. - das ist die einzig saubere Lösung.

Von mir aus nimmst Du auch Dein OpenWB Broker oder Deinen Venus (Broker) (wie gesagt kenne ich nicht) als Master und stellst halt die Geräte um, das die an diesen neuen Broker publishen. Oberstes Ziel sollte ein Broker im Netz sein. Du musst also die Geräte halt entsprechend umkonfigurieren. Ansonsten musst Du wirklich über 2 mqtt-client Instanzen rumkopieren, das ist aber halt nicht schön.

[dan11hh]

@mickym sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Richtig!

@mickym sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Das weiß ich nicht. Hab mal gegoogelt und unter Venus OS
https://obenschlaefer.com/low-budget-energiemonitor-victron-venus-os-mit-raspberry-pi-obenschlaefer/
Keine Ahnung - aber wie kommst Du darauf, dass da bereits ein mqtt Broker enthalten ist? Für mich ist das ein normales Linux OS.

Weil ich mich ja mit einem Client wie dem MQTT Explorer am Venus OS Broker anmelden kann. Außerdem ist er auch hier beschrieben:
https://github.com/victronenergy/dbus-mqtt/blob/master/README.md

@mickym sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Das wäre theoretisch möglich. Nur warum brauchst Du 2 Broker? das verstehe ich immer noch nicht.
Will ich gar nicht, aber die sind halt da.

Aktuell laufen die zwei Broker bei mir im Netz. Nicht mein Wunsch, sondern war/ist so Standard. Einmal die OpenWB (dahin published nur ioBroker) und einmal Venus OS (daran arbeite ich ja gerade) (Es sind übrigens alles mosquitto Broker). Da ich so tief nicht im Thema stecke, ist das alles so out of the box eingerichtet und ich habe nie weiter nachgedacht, weil es zumindest mit der OpenWB einfach so funktioniert hat.

Ich glaube auch nicht (siehe auch vorherige Posts von @klassisch), dass ich MQTT im Venus OS einfach so als Client laufen lassen kann. Ebenso bei der OpenWB. Im dortigen Forum richten dann viele eine Bridge ein. Wäre das eine saubere Lösung? Ich hätte zwar auch lieber einen Broker und viele Clients, aber offenbar funktioniert das mit unangepasster "Standard-" Hardware nicht so richtig. Grundsätzlich hätte ich lieber im ioBroker einen MQTT Broker laufen, der alle Infos für die entsprechenden Clients vorhält.

Deshalb nochmal gefragt:
Wenn ich nichts an dem Status als Broker der OpenWB und am Venus ändern kann (weil unfähig bin oder das so nicht vorgeshen ist). Dann brauche ich doch nur einen weiteren Client der auf den Broker vom Venus OS published, richtig? Wie kann ich zwischen zwei Clients die Werte austauschen? Skript? Oder MUSS da wirloch noch ein weiterer Broker dazwischen? (Ich habs mal aufgemalt)

1000Dank für Deine Hilfe!

[mickym]

@dan11hh sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

...
Aktuell laufen die zwei Broker bei mir im Netz. Nicht mein Wunsch, sondern war/ist so Standard. Einmal die OpenWB (dahin published nur ioBroker) und einmal Venus OS (daran arbeite ich ja gerade) (Es sind übrigens alles mosquitto Broker). Da ich so tief nicht im Thema stecke, ist das alles so out of the box eingerichtet und ich habe nie weiter nachgedacht, weil es zumindest mit der OpenWB einfach so funktioniert hat.

Nun wenn der iobroker dahin publishen würde, dann wäre es ja einfach und Du brauchst den iobroker ja nur auf den Venus mqtt Broker umstellen und Du hättest einen Master.

Ich denke aber wenn Du sagst 2 mqtt-Broker - das die Wallbox über OpenWB auf einen Broker published und im Venus OS publishen irgendwelche andere Geräte

Ich glaube auch nicht (siehe auch vorherige Posts von @klassisch), dass ich MQTT im Venus OS einfach so als Client laufen lassen kann. Ebenso bei der OpenWB. Im dortigen Forum richten dann viele eine Bridge ein. Wäre das eine saubere Lösung? Ich hätte zwar auch lieber einen Broker und viele Clients, aber offenbar funktioniert das mit unangepasster "Standard-" Hardware nicht so richtig. Grundsätzlich hätte ich lieber im ioBroker einen MQTT Broker laufen, der alle Infos für die entsprechenden Clients vorhält.

Ja man könnte eine mqtt Bridge erstellen - musst Du aber nicht, wen Du es wie unten machst.

Deshalb nochmal gefragt:
Wenn ich nichts an dem Status als Broker der OpenWB und am Venus ändern kann (weil unfähig bin oder das so nicht vorgeshen ist). Dann brauche ich doch nur einen weiteren Client der auf den Broker vom Venus OS published, richtig? Wie kann ich zwischen zwei Clients die Werte austauschen? Skript? Oder MUSS da wirloch noch ein weiterer Broker dazwischen? (Ich habs mal aufgemalt)

1000Dank für Deine Hilfe!

Ja Du brauchst aber keinen Austausch. Im iobroker machst Du 2 Instanzen des mqtt-adapters als Client der sich einmal mit Deinem OpenWB und einmal mit dem Venus OS verbindet.

Damit hast Du alle Infos bereits in Deinem iobroker system. Austauschen musst Du zwischen beiden System gar nichts!!!!

Du kannst aber über Deine Logikmaschine Blockly, NodeRed, etc. über trigger aus einer mqtt instanz natürlich die andere Instanz steuern. Das ist aber kein Austausch, sondern ist ja nur im Bedarfsfall nötig. Also so wie auf Deinem Papier und das mit dem ? lass einfach mal sein und entscheide dann bei Bedarf wenn Du was schalten musst. Dein iobroker ist dann quasi die Bridge oder Schaltzentrale.

Über mosquitto könntest Du auch beide Systeme über eine Bridge verbinden, aber das ist in meinen Augen erst mal nicht notwendig, da es so wie auf dem Papier am Einfachsten ist.
Ich glaube jedenfalls das es so funktionieren könnte, da nach meinem Verständnis immer von mqtt-Cleint der Verbindungsaufbau zum Broker stattfindet. Deswegen kannst Du auch 2 unterschiedliche Instanzen über den gleichen Port auf verschiedene IP Adressen adressieren. Das ist ein weiteres Beispiel warum viele Verständnisschwierigkeiten haben. Also 2 mqtt client instanzen sollten funktionieren, wie auf dem Papier und ein Datenaustausch zwischen den beiden Broker ist gar nicht nötig und würde ich nur im Anwendungsfall betrachten.

Wenn man halt keinen iobroker hat, dann kann über eine mosquitto Bridge Daten direkt austauschen und dann einen zum Master machen oder die Bridge abfragen - aber wie gesagt mit dem iobroker ist das wie Du es gezeichnet hast am Einfachsten und wie gesagt es besteht keine grundsätzliche Notwendigkeit Infos zwischen beiden Systemen auszutauchen. Dein iobroker ist die Bridge und nur im Bedarfsfall steuert eine Instanz die andere und umgekehrt.

[dan11hh]

@mickym sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Also 2 mqtt client instanzen sollten funktionieren, wie auf dem Papier und ein Datenaustausch zwischen den beiden Broker ist gar nicht nötig und würde ich nur im Anwendungsfall betrachten.

Jap. Genau so. Danke. Und ich habe schon gedacht, dass ich total auf dem Schlauch stehe.

@mickym sagte in Frage zu MQTT, SonOff-Adapter und mqqt über Shell:

Du kannst aber über Deine Logikmaschine Blockly, NodeRed, etc. über trigger aus einer mqtt instanz natürlich die andere Instanz steuern. Das ist aber kein Austausch, sondern ist ja nur im Bedarfsfall nötig.

Jetzt muss ich nur noch wissen, unter welchem Topic Venus OS bspw. die aktuelle PV Leistung oder anderen Werte erwartet und ich kann bei jeder Änderung des entsprechenden Werts der OpenWB den Wert im Venus OS anpassen.

1000 DANK!!!!
Ich dachte wirklich ich dreh mich im Kreis. Danke.

[dan11hh]

@mickym Ach so, eine Sache noch. Ich bin nicht sehr gücklich mit meiner aktuellen Lösung um ein keepalive an den MQTT Broker des Venus OS zu schicken. Aktuell macht das rc.local beim Systemstart. Wie kann ich im ioBroker MQTT Client diesen Befehl ausführen:

while :; do mosquitto_pub -h 192.168.179.35 -m '' -t 'R/XXXb/keepalive'; sleep 5; done

Ich habe schon ein Javaskript ausprobiert:
sendTo('mqtt.3', 'sendMessage2Client', {topic:"R/XXXb/keepalive", message:" "});

Aber irgendwie funktioniert das auch nicht.

Hast Du eine Idee?

[mickym]

Wenn das ein topic ist das Du alle 5s beschrieben musst, dann musst Du doch nur alle 5s den Datenpunkt R/XXXb/keepalive beschreiben. Einfach mit blockly oder Node-red oder JS. Also du publishst automatisch in dem du den Datenpunkt neu beschreibst und das machst du mit deiner Logikmaschine. Mit Node-Red kannst natürlich auch direkt ohne Adapter publishen.

Beschriebe einfach den Datenpunkt alle 5s.

Und im Adapter natürlich noch angehakt haben, nur Änderungen publizieren. Am besten alle Haken weg machen.

Wie gesagt ich nutze diese send to Adapter nie:
adapter.sendTo('mqtt.0', 'sendMessage2Client', {topic: '/your/topic/here', message: 'your message'});

nur wenn, dann nimm mal bei dem topic etc ' (einfache) und keine " (doppelten).

Du kannst doch testen, indem Du in den Objekten erst mal den Wert manuell setzt. Und das machst Du dann via skript.

Es werden auf jedenfall Nachrichten gesendet, das einzige ist, dass nur ein Leerzeichen zu setzen im Admin falsch angezeigt werden.
Es wird nur (null) angezeigt, aber er sendet ein Leerzeichen

Wird nur (null) angezeigt in den Objekten:

Im Log siehst du aber das was gesendet wird:

Und es kommt auch das Leerzeichen an:

Was für eine Logikmaschine nutzt Du denn im allgemeinen? Javascript, Blockly, NodeRed?

[dan11hh]

@mickym
Meist nutze ich Blockly. Das komische ist, einfach einen Wert setzen reicht nicht. Probier ich das im ioBroker klapp es nicht, egal ob direkt oder über ein Skript. Publishe ich im MQTT Explorer klappt es. Ich habe keine Ahnung warum. Sonst funktionieren MQTT ganz gut bei mir.

[mickym]

@dan11hh Na dann musst du das in den Griff bekommen. Werte unbestätigt bzw. Mit steuere in den Datenpunkt des gewünschten Topics schreiben und mit Log oder mqtt-Explorer prüfen, dass Nachricht gesendet wurde. Ggf mosquitto log anschauen.

[dan11hh]

@mickym
Leider bekomme ich keinen Fehler ausgegeben. Offenbar läut alles auf Seiten des ioBrokers ok. Nur, dass Venus OS immer noch nicht published. Als Workaround baue ich mir das glaube ich jetzt einfach in die Startroutine des Dockers. Doof. Eigentlich mag ich das nicht. Was macht MQTT Explorer denn anders? Eine Konsole lässt sich da ja nicht anzeigen...