MQTT Server oder/und Client oder externen MQTT Server

[Joachim H.]

@mickym so ich hab mich bei dem Sauwetter mal länger beschäftigt. in ESPeasy ist MQTT etwas gefrickel aber wenn man es mal geschnallt hat dann gehts schon.
Hab die Datenpunkte (nennt man die so?) mit dem Mqtt Explorer angelegt. So habe ich auch schön gesehen was da gesendet wird und wie es ankommt und der iobroker hat dann den Datenpunkt einfach angelegt...praktisch irgendwie.
Die Anleitung hat da sehr gut geholfen...

[mickym]

@joachim-h Wenn Du den mqtt Adapter so eingestellt hast, wie ich, dann werden die Datenpunkte, die Du in der mqtt-Instanz des Clients im iobroker anlegst auch im mosquitto angelegt - das kannst ja mit Deinem Mqtt Explorer mal prüfen und dann kann man auf diesen verzichten.

Du kannst dann generell auf die Datenpunkte direkt in iobroker mittels Deiner präferierten Logikmaschine zugreifen oder falls Deine Logikmaschine (wie Node Red) auch direkt einen mqtt-Broker ansprechen kann auf zweierlei Art und Weise.

[Joachim H.]

@mickym Mal sicherheitshalber: Ich habe auf dem Raspberry wo iobroker drauf ist nur den Mosquitto server installiert. nicht den Client. Allerdings hab ich den Client aus dem Adapter vom iobroker broker/client installiert. Das ist schon ok oder?
Node Red nimmt aber schon den Mosquitto her, Port und Ip ist ja identisch zu vorher..oder wo kann man das einstellen?

Node Red habe ich auch asl adapter vom iobroker, erschien mir einfach. Das ist ok oder soll ich den auch auf den Raspberry (ohne den Umweg über den Adapter) installieren?

Ausserdem hab ich mich zufrüh gefreut, er legt mir nicht jeden Datenpunkt mit dem Mqtt explorer an, also muss ich mich mal mit Node Red mehr vertraut machen..

[mickym]

@joachim-h

1. Ja es ist OK nur den mosquitto Server zu installieren, die Clients brauchst Du nicht, dafür hast Du den Adapter.
2. Klar mit dem MQTT iobroker client/server adapter kannst Du, wenn Du den mqtt Adapter als Client konfiguriert hast (siehe mein Screenshot) direkt modifizieren. Der Adapter dient also als mqtt Client.
3. Node Red als Adapter ist sogar wichtig, sonst kannst Du aus NodeRed gar nicht auf die Datenpunkte Deines iobrokers zugreifen.
4. Wie gesagt wenn Du unter der mqtt-Instanz Deines mqtt-Adapters (also in den Objekten unter mqtt.0) selbst einen Datenpunkt anlegst, dann wird der auch zu Deinem mosquitto Broker/Server gepublisht.
   So kannst Du direkt aus dem iobroker an Deine Geräte Kommandos schicken.

Wie gesagt iobroker ist flexibel welche Logikmaschine Du verwenden willst. Wenn Du blockly oder Javascript bevorzugst, kannst Du die Datenpunkte unter Deinem mqtt.0. instanz modifizieren.
Ich bevorzuge Node Red - da hast Du die iobroker-out Nodes um auch direkt die Datenpunkte im iobroker zu modifizieren.
Ansonsten hast Du die mqtt Nodes in Node Red - dann musst Du die Kommunikationsparameter zum mosquitto Server eintragen.

Ich zeige Dir mal 2 Screenshots:

im iobroker-out Node gibst Du den Datenpunkt in der iobroker Notation im Topic an:

Bei den mqtt - out Nodes

konfigurierst Du Dir den iobroker den kontaktieren willst und gibst auch noch das Topic an:

Falls Du im Node Red noch keinen mqtt Broker definiert hast, wirst Du automatisch auf den folgenden Dialog geleitet:

[mickym]

@joachim-h sagte in MQTT Server oder/und Client oder externen MQTT Server:

Node Red nimmt aber schon den Mosquitto her, Port und Ip ist ja identisch zu vorher..oder wo kann man das einstellen?

Nun es kann nur ein mqtt / Server / Broker auf dem gleichen Port auf der gleichen Maschine laufen. Falls Du also nichts anderes laufen hast, kann nur mosquitto auf Port 1883 hören.

Im Übrigen gibst Du sowohl bei mqtt-Client Adapter, als auch bei Node Red einen Namen angeben, um jeden mqtt Client zu identifizieren.

Auf Deiner Maschine findest Du im Verzeichnis /var/log/mosquitto die aktuelle mosquitto.log Datei - da siehst Du genau welche Geräte sich mit welcher Kennung und IP mit Deinem mosquitto Broker verbinden.

Aber nochmal Du brauchst Node Red nicht, um Datenpunkte im mosquitto anzulegen!

Das machst Du einfach mit den Datenpunkten im iobroker. Ausserdem wundert mich, warum es mit Deinem mqtt Exploerer nicht gegangen ist. Sollte ebenfalls funktionieren.

[Joachim H.]

@mickym also Node Red habe ich gerade noch konfiguriert, läuft soweit.
Ich hab den iobroker neu gestartet (eigentlich musste ich den Raspberry neu starten) und plötzlich waren die Datenpunkte da. Egal, ich werd mich jetzt in Node Red einarbeiten, das hab ich bei Domoticz eher stiefmütterlich behandelt...
Danke für deine Hilfe, ist echt hilfreich ;-)vor allem die Screenshots

[mickym]

@joachim-h
Dann empfehle ich in der NodeRed Adapter Konfiguration als erstes den Haken rauszumachen - dass alles in Strings umgewandelt wird. Das erspart Dir später eine Menge Konvertiererei.

[Joachim H.]

@mickym Hab ich gleich gemacht...weil ich das Problem hatte das node red immer exit with 1 im Log angezeigt hat.
Ohne haken hats ne Sekunde länger gedauert und er hat die Verbindung mit dem Server verloren.
Da werd ich mich aber morgen auf die Suche machen.

[mickym]

@joachim-h Den install Error kann ich nichts zu sagen. Die Warnung, dass die Projektfunktion nicht aktiviert ist, kannst erst mal ignorieren, das kannst Du später noch einrichten, wenn Du mit Projekten arbeitest. Die Funktion hat auch noch einen Bug - aber inzwischen weiß ich wie man das behebt - aber das ist unwichtig.

Nur der Install Error sollte ein einmaliges Ereignis sein.

[Joachim H.]

@mickym so läuft alles wie es soll, mittlerweile klappt es auch recht gut mit Node red...für mehr brauch ich mehr Zeit, muss ja neben her auch noch arbeiten (gut das ich im HO bin)

Ich habe noch eine kurze Frage, ich habe soeben rausgefuden dass ich einen 2. Mqtt Broker in meinem Netzwerk habe, nämlich in meinem raspi mit openWB drauf. kann ich einen zweiten Adapter installieren der dann auf den anderen Server lauscht? Stören sich die beiden oder klappt sowas..Nur den Broker der OpenWB verwenden, weis nicht ob das gut ist, dann würde ich den broker auf dem iobroker raspi eben wieder deinstallieren...

[mickym]

@joachim-h Solange Du die Adapter als Client betreibst kannst Du einfach eine neue Instanz des Adapters aufmachen und Dich mit dem anderen mqtt Broker verbinden. Das macht keine Probleme. Du kannst nur keine 2 Broker auf der gleichen Maschine mit dem gleichen Port laufen lassen. Also Du brauchst keinen 2. Adapter sondern eine 2. Instanz des bestehenden Adapters - die heißt dann mqtt.1 - Ich habe auch 2 Instanzen laufen, aber aus anderen Gründen.

[Joachim H.]

@mickym super danke so hab ichs gemacht und openWB ist sichtbar und wenn ich will, auch verarbeitbar...schaut alles gut aus, danke für deinen Support bisher..

[hg6806]

@mickym
Moin,

wir haben hier auch gerade eine wilde MQTT Diskussion. Besonders die letzten Posts.

Und zwar folgendes.

Bei mir lief die ganze Zeit MQTT als Server auf Port 1883 und hatte von einigen ESPs Daten über MQTT empfangen.. Hier auch immer der gleiche Port eingestellt.

Jetzt brauche ich für ein 868MHz CUL Stick und dessen Datenübertragung mosquitto.
Hier kollidiert das aber auf Port 1883.

Wie stelle ich nun was ein? Ich habe gelesen, dass bei MQTT nur Port 1883 und 8883 geht.
Was ist mit 1884 und 1885?

Müssen Client und Broker immer den gleich Port haben? Mit knapp 10 ESPs habe ich ja auch 10 verschiedene Clients, die alle auf dem gleiche Port senden, wieso hatte dann mosquitto kollidiert, obwohl es auch nur client ist?

Wäre klasse einige Antworten zu bekommen!

[mickym]

@hg6806 Warum kollidiert das mit Deinem CUL Stick. Der kann doch auch auf 1883 alle Daten an Deinen MQTT-Broker übertragen.

Client und Broker müssen immer den gleichen Port haben, sonst können sie ja nicht miteinander kommunizieren.

Die Clients identifizieren sich durch die Client -Id und in dem Sie auf ein anderes Topic publishen.
Also was ist verkehrt daran, dass Dein CUL Stick ebenfalls über 1883 mit mosquitto kommuniziert - das stört doch Deine ESP's nicht.

Ich verstehe Eure wilde Port Jongliererei eigentlich nicht. Dein mosquitto ist immer ein Broker und kann max. mit einem anderen mosquitto als Bridge fungieren. Wenn Du einen weiteren listener einträgst dann hört er halt auf 2 Ports. Mir erschließt sich der Sinn nicht. Lass doch einfach Deinen CUL ebenfalls mit 1883 zu Deinem mosquitto kommunizieren???

[hg6806]

@mickym Danke für die Info.

Also komplett alles auf 1883?
Hatte ich, aber da gab's Probleme
Hier hatte das jemand geschrieben.

Ich mache hier seit Tagen mit dem MQTT Kram rum.

[Homoran]

@mickym sagte in MQTT Server oder/und Client oder externen MQTT Server:

Also was ist verkehrt daran, dass Dein CUL Stick ebenfalls über 1883 mit mosquitto kommuniziert

ist der CUL dafür da oder kommuniziert er mit dem CUL-Adapter wegen Max! und FS20?

[hg6806]

@homoran
Nein, hat nichts mit dem CUL Adapter zu tun.
Auf dem Pi läuft wmbusmeters.

[mickym]

@hg6806 Also das Ganze hat alles nichts mit Ports etc zu tun.

Du musst Dir mal vergegenwärtigen, was ihr da macht - um evtl. Fehler einzugrenzen - gehst Du erst mal systemmatisch vor.

Du hattest vorher alles wunderbar am Laufen - mach die listen=1884 wieder raus aus Deiner mosquitto conf und lass Deinen Broker einfach auf 1883 wie gehabt in Ruhe seine Arbeit machen.

Das was in dem Thread beschrieben ist, ist dass der CUL bei einer Nachricht auf der zum Beispiel shell ausführt.

shell=/usr/bin/mosquitto_pub -h 192.168.178.18 -p 1883 -t wmbusmeters/21200936/Gesamt -m "$METER_TOTAL_M3"

Deshalb hast Du auch die mosquitto clients installiert, damit der CUL über die shell was in MQTT publizieren kann.

Dann schau Dir einfach mal die Syntax des Befehls an: https://www.systutorials.com/docs/linux/man/1-mosquitto_pub/

Wenn Du also auf der Kommandozeile eingibst:

mosquitto_pub -h 192.168.178.18 -p 1883 -t wmbusmeters/21200936/Gesamt -m "$METER_TOTAL_M3"

und Dein mosquitto auf 192.168.178.18 läuft, dann publishst Du in Deinem mqtt Broker unter dem Topic: wmbusmeters/21200936/Gesamt, den Inhalt der Umgebungsvariable $METER_TOTAL_M3.

Du könntest auf der Kommandozeile auch mal probieren, mosquitto_pub -h 192.168.178.18 -p 1883 -t hg6806/Nachricht -m "Hallo ich bin hg6806"

Wenn das geht ist doch alles in Ordnung. Wird aber nicht gehen, weil Du ja User und Passwort mitgeben musst, da Dein mosquitto Broker gesichert ist.

deshalb steht ja in dem Befehl: [[-u username] [-P password]]

Also müsstest Du auf der Kommandozeile Deinen usernamen und passwort (also mqtt username und Passwort mitgeben)

 mosquitto_pub -h 192.168.178.18 -p 1883 -t hg6806/Nachricht -m "Hallo ich bin hg6806" -u <MQTT_User> -P <MQTT_Passwort>

Gib also in Deinem Shell Befehl diese beiden mit - bzw. versuche erstmal ob Du auf Kommandozeile was publishen kannst.

Also in Deinem Shell Befehl ergänzt Du userID und Passwort

shell=/usr/bin/mosquitto_pub -h 192.168.178.18 -p 1883 -t wmbusmeters/21200936/Gesamt -m "$METER_TOTAL_M3 -u username -P password"

Damit Du auch sicher sein kannst, dass nur der mosquitto auf den 1883 hört gibst Du ein: sudo netstat -l -p | grep 1883

Dann sollte eine Liste rauskommen, die nur mosquitto enthält - im mosquitto log sollten auch keine Fehler sein.

sudo netstat -l -p | grep 1883
tcp        0      0 0.0.0.0:1883            0.0.0.0:*               LISTEN      646/mosquitto
tcp6       0      0 [::]:1883               [::]:*                  LISTEN      646/mosquitto

Da darf auf keinen Fall irgendwas mit io.xxx stehen - sonst kollidiert das mit einem iobroker Adapter - wie gesagt üerprüfe generell Dein mosquitto log.

[hg6806]

@mickym

Danke für die ausführliche Erklärung.
Lag ich anfangs doch gar nicht so falsch.
Und die Aussagen, dass mosquitto und MQTT in der Grundeinstellung nicht zusammen laufen können falsch.

Fehler war wohl das fehlende Publishen - dachte es würde vom Broker automatisch gemacht werden, wenn er was bekommt und 2. bei Passwort muss das "-P" groß geschrieben werden

Das Publishen hat auf jeden Fall funktioniert und auch das Übermitteln des Probe-Textes.

Auf jeden Fall habe ich wohl ein Problem mit dem io.xxx:

pi@raspberrypi:~ $ sudo netstat -l -p | grep 1883
tcp        0      0 0.0.0.0:1883            0.0.0.0:*               LISTEN      1271/io.mqtt.0

[mickym]

@hg6806 Na es scheint, dass Du wohl einen mqtt-Adapter als Broker und mosquitto zusammen auf 1883 laufen lassen möchtest und das geht nicht. Wenn das jetzt mit dem publizieren des Probetextes funktioniert, dann weißt Du wenigstens dass Dein mosquitto Client funktioniert - aber Du weißt noch nicht, ob Du direkt in den mqtt des Broker schreibst, worauf ich tippe.
Ich würde jedenfalls den mqtt-Adapter nicht als Broker laufen lassen, wenn Du mosquitto weiterhin benutzen willst.