MQTT nur bestimmte Geräte abonnieren
-
Hallo zusammen,
ich versuche im MQTT Adapter die BLE Geräte zu erfassen.
Dafür nutze ich mehrere ESP32 mit unterschiedlicher Software, da ich für mich noch keine Lösung gefunden habe.Allerdings habe ich das Problem, das der Scanner mehrere tausend Geräte innerhalb von 2-3 Tagen erfasst und der Adapter für jeden dieser dann Datenpunkte anlegt.
Zum einen zwingt das den Iobroker auf dem NUC in die knie, zum anderen will ich diese Daten auch gar nicht speichern.Mein Ziel wäre 3 eigene Geräte zu speichern und die Aktualisierungen dazu zu erhalten.
Nun zu meiner Frage:
Kann ich dem Adapter sagen, das ich nur bestimmte daten erfassen möchte?Ich bin mit MQTT nicht so fit, daher versuche ich hier noch informationen bereit zu stellen:
So sieht es aktuell, kurz nach dem Start aus:
Json export des Datenpunktes
{ "mqtt.0.espresense.devices.mifit:c7e3c409ee00.wohnzimmer": { "common": { "name": "espresense/devices/mifit:c7e3c409ee00/wohnzimmer", "write": true, "read": true, "role": "variable", "desc": "mqtt server variable", "type": "string" }, "native": { "topic": "espresense/devices/mifit:c7e3c409ee00/wohnzimmer" }, "type": "state", "from": "system.adapter.mqtt.0", "user": "system.user.admin", "ts": 1641415217155, "_id": "mqtt.0.espresense.devices.mifit:c7e3c409ee00.wohnzimmer", "acl": { "object": 1638, "state": 1638, "owner": "system.user.admin", "ownerGroup": "system.group.administrator" } } }Wert des Datenpunktes:
{"id":"mifit:c7e3c409ee00","idType":15,"rssi@1m":-59,"rssi":-44,"mac":"c7e3c409ee00","raw":0.37,"distance":0.37,"speed":0}Ich habe 3 von diesen "mifit:macadresse" Geräten und nur die möchte ich gerne in der Auflistung angezeigt bekommen.
Nur aus eigenem Interesse, wäre der Adapter "Sonoff" nicht die bessere Wahl?
Kenne mich mit dem Adapter nicht aus, da ich selbst keine Tasmota oder ESP Geräte in Verwendung habe.
Doch hört sich irgendwie schlüssiger an.Zu MQTT allgemein, für mich sieht es so aus, als ob euer MQTT-Server nicht abgesichert ist.
Aus diesem Grund empfängt er alles was so über den Äther fließt.
Den Server wenigstens mit Benutzer:Passwort absichern, und nur die Geräte,
welche den Zugang kennen und nutzen, werden angezeigt.
Kannst du bitte, zu deiner Konfiguration wie du das Samsung Gerät an ioBroker integriert hast, detaillierter beschreiben.
Hast du schon versucht es mit Wildcards zu lösen?
Gruß, Karsten
-
Nur aus eigenem Interesse, wäre der Adapter "Sonoff" nicht die bessere Wahl?
Kenne mich mit dem Adapter nicht aus, da ich selbst keine Tasmota oder ESP Geräte in Verwendung habe.
Doch hört sich irgendwie schlüssiger an.Zu MQTT allgemein, für mich sieht es so aus, als ob euer MQTT-Server nicht abgesichert ist.
Aus diesem Grund empfängt er alles was so über den Äther fließt.
Den Server wenigstens mit Benutzer:Passwort absichern, und nur die Geräte,
welche den Zugang kennen und nutzen, werden angezeigt.
Kannst du bitte, zu deiner Konfiguration wie du das Samsung Gerät an ioBroker integriert hast, detaillierter beschreiben.
Hast du schon versucht es mit Wildcards zu lösen?
Gruß, Karsten
@hydrotec sagte in MQTT nur bestimmte Geräte abonnieren:
Nur aus eigenem Interesse, wäre der Adapter "Sonoff" nicht die bessere Wahl?
Kenne mich mit dem Adapter nicht aus, da ich selbst keine Tasmota oder ESP Geräte in Verwendung habe.
Doch hört sich irgendwie schlüssiger an.Leider nein.
Sonoff macht nur einen Teil der MQTT Kommunikation, was er nicht kennt wird nicht angezeigt, glaube ich.
Auf jeden fall funktioniert nicht alles mit dem Adapter.Zu MQTT allgemein, für mich sieht es so aus, als ob euer MQTT-Server nicht abgesichert ist.
Aus diesem Grund empfängt er alles was so über den Äther fließt.
Den Server wenigstens mit Benutzer:Passwort absichern, und nur die Geräte,
welche den Zugang kennen und nutzen, werden angezeigt.Da irrst du dich. Der Server ist Passwort gesichert und auch nur im internen Netz erreichbar.
Ich wohne in unmittelbarer nähe einer Einkaufsstraße, da hat so ein Scanner am Tag mal locker 3.000 - 5.000 Geräte gescannt. Wenn du mal eine Woche nicht aufräumst hast du ganz schnell 20.000 - 50.000 Geräte in der Liste und es kommen weitere hinzu. Jetzt multipliziere das mal mit 4 Scannern, die fasst alles ebenfalls Scannen.
Danach läuft ioBroker auch nicht mehr flüssig. -
@hydrotec sagte in MQTT nur bestimmte Geräte abonnieren:
Nur aus eigenem Interesse, wäre der Adapter "Sonoff" nicht die bessere Wahl?
Kenne mich mit dem Adapter nicht aus, da ich selbst keine Tasmota oder ESP Geräte in Verwendung habe.
Doch hört sich irgendwie schlüssiger an.Leider nein.
Sonoff macht nur einen Teil der MQTT Kommunikation, was er nicht kennt wird nicht angezeigt, glaube ich.
Auf jeden fall funktioniert nicht alles mit dem Adapter.Zu MQTT allgemein, für mich sieht es so aus, als ob euer MQTT-Server nicht abgesichert ist.
Aus diesem Grund empfängt er alles was so über den Äther fließt.
Den Server wenigstens mit Benutzer:Passwort absichern, und nur die Geräte,
welche den Zugang kennen und nutzen, werden angezeigt.Da irrst du dich. Der Server ist Passwort gesichert und auch nur im internen Netz erreichbar.
Ich wohne in unmittelbarer nähe einer Einkaufsstraße, da hat so ein Scanner am Tag mal locker 3.000 - 5.000 Geräte gescannt. Wenn du mal eine Woche nicht aufräumst hast du ganz schnell 20.000 - 50.000 Geräte in der Liste und es kommen weitere hinzu. Jetzt multipliziere das mal mit 4 Scannern, die fasst alles ebenfalls Scannen.
Danach läuft ioBroker auch nicht mehr flüssig.@muchul sagte in MQTT nur bestimmte Geräte abonnieren:
Da irrst du dich. Der Server ist Passwort gesichert und auch nur im internen Netz erreichbar.
Ich wohne in unmittelbarer nähe einer Einkaufsstraße, da hat so ein Scanner am Tag mal locker 3.000 - 5.000 Geräte gescannt. Wenn du mal eine Woche nicht aufräumst hast du ganz schnell 20.000 - 50.000 Geräte in der Liste und es kommen weitere hinzu. Jetzt multipliziere das mal mit 4 Scannern, die fasst alles ebenfalls Scannen.
Danach läuft ioBroker auch nicht mehr flüssig.Das bedeutet das dein Problem nicht im MQTT Server liegt. Dein Problem ist der Scanner. Diesem musst du beibringen das er nur dann Payloads an den MQTT Server published wenn das gescannte Gerät bestimmten Regeln folgt.
Erklär doch mal wie die Information fliesst und welche Software an welcher Stelle benutzt wird:
A.
-
Hi, @asgothian.
Das funktioniert schon so wie in deiner Zeichnung.Ich habe bisher zwei verschiedene Software getestet.
https://docs.openmqttgateway.com/
Ist in Ordnung und kann auch White Listen nutzen, das Problem war, das die Listen nicht reset fest waren.
Dafür müsste IoBroker feststellen, ob das Gerät neu gestartet wurde und die Liste jedes Mal erneut an den Scanner senden.
Das habe ich nicht hinbekommen, der Entwickler meint das muss von dem MQTT Brocker gemacht werden und möchte die Einstellungen nicht Resetfest machen.Aktuell teste ich https://espresense.com.
Hier gibt es gar keine Möglichkeit White Listen zu hinterlegen, aber ein wenig Unterstützung hier im Forum, was die Auswertung angeht. Siehe hierich habe das Problem erst mal für mich, nicht elegant, aber ohne das IoBroker gebremst wird gelöst, in dem ich Mosquitto installiert habe und über den Clienten nur noch meine drei Mi Bänder abonniert habe.
Irgendwann wird Mosquitto natürlich auch voll laufen, der merkt sich ja auch alles mögliche, aber da werde ich schon noch eine Lösung finden. Notfalls wird die VM gelöscht und ein Klon aktiviert. :-)Mangels Programmierfähigkeiten und englisch Kenntnissen muss ich halt warten, bis irgendjemand eine Lösung für meine Probleme Programmiert hat, weil er das selbe Problem hatte.
Ich träume derweilen noch von einem Wohnungsgrundriss ala, https://github.com/ESPresense/ad-espresense-ips, in dem ich diverse Geräte live verfolgen kann.
Ich denke aber das ist nur eine Frage der Zeit, es entwickelt sich ja alles weiter. -
@hydrotec sagte in MQTT nur bestimmte Geräte abonnieren:
Nur aus eigenem Interesse, wäre der Adapter "Sonoff" nicht die bessere Wahl?
Kenne mich mit dem Adapter nicht aus, da ich selbst keine Tasmota oder ESP Geräte in Verwendung habe.
Doch hört sich irgendwie schlüssiger an.Leider nein.
Sonoff macht nur einen Teil der MQTT Kommunikation, was er nicht kennt wird nicht angezeigt, glaube ich.
Auf jeden fall funktioniert nicht alles mit dem Adapter.Zu MQTT allgemein, für mich sieht es so aus, als ob euer MQTT-Server nicht abgesichert ist.
Aus diesem Grund empfängt er alles was so über den Äther fließt.
Den Server wenigstens mit Benutzer:Passwort absichern, und nur die Geräte,
welche den Zugang kennen und nutzen, werden angezeigt.Da irrst du dich. Der Server ist Passwort gesichert und auch nur im internen Netz erreichbar.
Ich wohne in unmittelbarer nähe einer Einkaufsstraße, da hat so ein Scanner am Tag mal locker 3.000 - 5.000 Geräte gescannt. Wenn du mal eine Woche nicht aufräumst hast du ganz schnell 20.000 - 50.000 Geräte in der Liste und es kommen weitere hinzu. Jetzt multipliziere das mal mit 4 Scannern, die fasst alles ebenfalls Scannen.
Danach läuft ioBroker auch nicht mehr flüssig.@muchul sagte in MQTT nur bestimmte Geräte abonnieren:
Da irrst du dich. Der Server ist Passwort gesichert und auch nur im internen Netz erreichbar.
Da irre ich mich doch gerne ;-)
@muchul sagte in MQTT nur bestimmte Geräte abonnieren:
Ist in Ordnung und kann auch White Listen nutzen, das Problem war, das die Listen nicht reset fest waren.
Dafür müsste IoBroker feststellen, ob das Gerät neu gestartet wurde und die Liste jedes Mal erneut an den Scanner senden.Warum regelst du das nicht über ein Startscript direkt auf der Maschine, auf welcher die Scannersoftware läuft?
So das der Scanner erst startet wenn die Whitelist kopiert wurde. Dazu braucht es kein ioBroker. -
@muchul sagte in MQTT nur bestimmte Geräte abonnieren:
Da irrst du dich. Der Server ist Passwort gesichert und auch nur im internen Netz erreichbar.
Da irre ich mich doch gerne ;-)
@muchul sagte in MQTT nur bestimmte Geräte abonnieren:
Ist in Ordnung und kann auch White Listen nutzen, das Problem war, das die Listen nicht reset fest waren.
Dafür müsste IoBroker feststellen, ob das Gerät neu gestartet wurde und die Liste jedes Mal erneut an den Scanner senden.Warum regelst du das nicht über ein Startscript direkt auf der Maschine, auf welcher die Scannersoftware läuft?
So das der Scanner erst startet wenn die Whitelist kopiert wurde. Dazu braucht es kein ioBroker.@hydrotec
Weil beide OMG Openmqttgateway und ESPresence keine Script Möglichkeiten anbieten.
Würde bedeuten das ich OMG nutzen müsste und dann über MQTT die White Liste einspielen lasse, sobald sich der Scanner meldet.
in der Zwischenzeit könnte es aber sein, das er schon 20 weitere Geräte über MQTT gemeldet hat.
Jedenfalls ist das mein Verständnis dazu.
Die Liste müsste mit RETAIN flag, sobald der Scanner gezuckt hat gesendet werden. Ob man da von der Brokerseite her schnell genug ist weiß ich nicht.Scanner Bootet -> Meldung an MQTT -> Script stellt fest der lebt ja wieder -> Script sendet die Liste.
Ich glaube nicht, das das immer funktioniert, bevor de Scanner neue MAC Adressen geschickt hat. -
@hydrotec
Weil beide OMG Openmqttgateway und ESPresence keine Script Möglichkeiten anbieten.
Würde bedeuten das ich OMG nutzen müsste und dann über MQTT die White Liste einspielen lasse, sobald sich der Scanner meldet.
in der Zwischenzeit könnte es aber sein, das er schon 20 weitere Geräte über MQTT gemeldet hat.
Jedenfalls ist das mein Verständnis dazu.
Die Liste müsste mit RETAIN flag, sobald der Scanner gezuckt hat gesendet werden. Ob man da von der Brokerseite her schnell genug ist weiß ich nicht.Scanner Bootet -> Meldung an MQTT -> Script stellt fest der lebt ja wieder -> Script sendet die Liste.
Ich glaube nicht, das das immer funktioniert, bevor de Scanner neue MAC Adressen geschickt hat.Die Scannersoftware startet bestimmt automatisch als Service, sobald du deinen Container neu startest.
Ich meinte, den Service nicht automatisch starten lassen, sondern über ein Script, welches bei einem Neustart ausgeführt wird, erst die Whitelist anlegen, bzw. in das benötigte Verzeichnis kopieren, und dann erst im Anschluß den Scanner starten.
In der Art (nicht verwenden, ist aus dem Kopf getippt)#! /bin/sh cp /tmp/whitelist/whitelist.txt /opt/openmqttgateway/whitelist.txt && wait $! sudo systemctl start openmqttgateway.service -
Die Scannersoftware startet bestimmt automatisch als Service, sobald du deinen Container neu startest.
Ich meinte, den Service nicht automatisch starten lassen, sondern über ein Script, welches bei einem Neustart ausgeführt wird, erst die Whitelist anlegen, bzw. in das benötigte Verzeichnis kopieren, und dann erst im Anschluß den Scanner starten.
In der Art (nicht verwenden, ist aus dem Kopf getippt)#! /bin/sh cp /tmp/whitelist/whitelist.txt /opt/openmqttgateway/whitelist.txt && wait $! sudo systemctl start openmqttgateway.service@hydrotec
Der Scanner ist ein ESP32 der ständig läuft und nichts anderes macht als BLE Geräte zu scannen.
Oder meinst du den Mosquitto ?
Der läuft auch rund um die Uhr in einer VM.
Das Problem entsteht nicht durch einen Neustart des Mosquitto, sondern durch den Neustart bzw. Stromlos werden des ESP32. Ich werde den Broker nicht stoppen nur weil eines von 10 Geräten ausgefallen ist, falls ich den Ausfall überhaupt mitbekomme.
Frau Zieht Stecker und stellt fest das es der falsche war und steckt ihn wieder rein.
Wann soll ich da reagieren?
Auf dem ESP32 keine Möglichkeit. -
@hydrotec
Der Scanner ist ein ESP32 der ständig läuft und nichts anderes macht als BLE Geräte zu scannen.
Oder meinst du den Mosquitto ?
Der läuft auch rund um die Uhr in einer VM.
Das Problem entsteht nicht durch einen Neustart des Mosquitto, sondern durch den Neustart bzw. Stromlos werden des ESP32. Ich werde den Broker nicht stoppen nur weil eines von 10 Geräten ausgefallen ist, falls ich den Ausfall überhaupt mitbekomme.
Frau Zieht Stecker und stellt fest das es der falsche war und steckt ihn wieder rein.
Wann soll ich da reagieren?
Auf dem ESP32 keine Möglichkeit.Achso, ich bin davon ausgegangen das du einen BLE-Stick am Raspi hängen hast, und dort die Software läuft.
Bei einem ESP ist das wieder was anderes, da kann ich dir leider nicht weiterhelfen.
Sorry für das Missverständnis. -
Achso, ich bin davon ausgegangen das du einen BLE-Stick am Raspi hängen hast, und dort die Software läuft.
Bei einem ESP ist das wieder was anderes, da kann ich dir leider nicht weiterhelfen.
Sorry für das Missverständnis.Moin!
Doch, die MQTT Instanz hat ein eigenes Secret und sollte somit hinreichend abgesichert sein.... (...)Ich bin jetzt etwas weiter gekommen. Nach dem ich nochmal auf der Seite gelesen habe, dass es aktuell bei Android und einem anderem namhaften Hersteller Probleme mit dem Fingerprinting gibt und ich eine Coroana-App nutzte (exp20 beacons!) ist das noch ein wenig auf der strecke geblieben und es gibt außer über die bekannten beacon-sim apps keine andere mir bekannte Möglichkeit des trackings. Andere Möglichkeiten (Armbänder, Schlüsselanhänger) sind da besser.
Das Gute ist aber daran, dass ich jetzt alle 5 ESPs mit der SW 2.1.0 betreibe und dort das filtering wesentlich ausgeprägter ist (siehe screenshot) somit bekomme ich nur noch die Daten die ich empfangen möchte, und nicht die, die ich ausschließe.
Das läuft schonmal homogen. Über die Logik und Visualisierung muss ich mir demnächst mal gedanken machen. Hier wäre wahrscheinlich nen eigener Adapter sinnvoll ;-)
Über Alexa lassen sich die TILE glaube ich zusätzlich noch bemerkbar machen (piepen), da versuche ich mich demnächst mal weiter.
344
Online32.7k
Benutzer82.4k
Themen1.3m
Beiträge