Leistungsprobleme NAS / Probleme mit MQTT Shelly Adapter
-
@haus-automatisierung sagte in Probleme mit Shelly Adapter in Kombination mit MQTT:
Gibt Leute die deutlich mehr Geräte in einer Instanz betreiben. Sehe da kein Problem. Bitte die Leute nicht verrückt machen.
Ich habe angefangen meinen neueren Shelly Geräte, z.B, die "Shelly Pro 3" nicht mehr auf Tasmota zu flashen sondern mit deren Firmware + MQTT zu betreiben. Eigentlich sind die auch total "Datensparsam" was Meldungen angeht und melden nur wenn sich etwas ändert, bei Tasmota kommt da ein vielfaches an Daten und das Regelmäßig. Die Verbindungen müssen natürlich trotzdem stehen, wie auch immer das "Keep alive" bei MQTT aussieht. Das ist ja auch das einzige was an der Verbindung zeitkritisch wäre.
Aber wie du schon schreibst eher unwahrscheinlich (außer er hat ein NAS was sehr schwach auf der Brust ist bzw. der Container hätte nur sehr wenig Ressourcen). Wobei dann gleichzeitige andere Vorgänge wie Daten kopieren oder anderes was die Netzwerkschnittstelle hoch auslasten zu Problemen führen könnte. Mein PC hatte sich neulich nur mit 100Mbit verbunden und dann ging - bei einem gleichzeitigen Download - fast gar nichts mehr.
@n3ucr0n hat dein NAS brav seine 1GBit/s Verbindung? Wie sehen da allgemein die LAN Verbindungen aus? Was macht die Auslastung des WLANs? Wenn da etwas großes gleichzeitig passiert kann treibt das z.B. den Ping in die Höhe / höhere Latenzen und das kann dann schon der Grund sein. Selbst meine AVM1200 kommt mit über 30 Shellys gleichzeitig klar - aber nicht wenn er nach hinten dann nur 100 oder 10Mbit hat, die Datenrate würde zwar reichen aber die Latenz erhöht sich dann auch (bei vielen gleichzeitigen Verbindungen)
-
Hallo alle zusammen,
danke für die Rückmeldungen.
Bitte entschuldigt, dass ich mich erst jetzt melde. Ich dachte ich habe die E-Mail Benachrichtigung zu meinem Beitrag aktiviert - leider falsch gedacht
Den Verdacht, dass es "zu viele Geräte auf einmal" sind hatte ich auch - aber ich bin auch nur leihe.
Tatsächlich scheint es aber mit der "Auslastung" des Systems zusammen zu hängen.
Ich nutze aktuell eine DS220+ mit 10GB Speicher.Bisher war aber der Zusammenhang eher so, dass die Probleme mit dem Shelly Adapter das System an den Rand des Zusammenbruchs geführt haben und nicht anders rum. Sobald der Shelly Adapter ausgeschaltet wird, beruhigt sich das System auch recht schnell wieder.
Bezüglich der Verbindungsgeschwindigkeit werde ich nochmal überprüfen
Danke an alle, die sich Gedanken machen!
-
@n3ucr0n sagte in Probleme mit Shelly Adapter in Kombination mit MQTT:
Bezüglich der Verbindungsgeschwindigkeit werde ich nochmal überprüfen
Aus meiner Erfahrung als IT-Consultant: Langsame Netzwerkverbindungen (also nur 10MBit oder so) und langsame Datenträger verursachen gerne höhere CPU-Lasten.
Warum? Weil die Prozesse dann warten müssen, also die haben Daten angefordert oder abgeschickt und warten dann auf die Bestätigung. Und während dieses Moment des Wartens kann der Prozess oft gerade nichts anderes machen. Er kann erst weitermachen wenn das "ok" gekommen ist. Das ist dann oft schon auf Betriebssystemebene, aber auch das Programm.Kann also ein Grund sein, muss aber nicht. CPU selbst kann auch das Problem sein. Oder ein Mischung aus allem.
-
@n3ucr0n Ich vermute einfach auch mal, dass Deine Synology hier der eigentliche Flaschenhals sein wird. In maximaler Ausbaustufe laut Synology mit 6GB Speicher und zusammen mit dem nicht gerade schnellen Prozessor wird da einfach nicht genügend Leistung vorhanden sein, um iobroker da zufriedenstellend laufen zu lassen. Die Synology-Software selbst braucht ja auch schon einen guten Anteil vom Speicher und CPU.
Gruss, Jürgen
-
@n3ucr0n sagte in Probleme mit Shelly Adapter in Kombination mit MQTT:
DS220+
und Celeron 2 Kern Prozessor ist auch nicht die Welt. Und in der Tat wird die Synology sich da einen guten Teil selbst abknapsen. Da hat @Wildbill absolut recht
-
@haus-automatisierung ich hänge mich mal hier dran: Wann wird der Shelly-Adapter den noch recht neuen Plus Uni unterstützen? Bisher nur unbekannte ID...
-
Was im README.md zu diesem Shelly angegeben ist hast du gesehen?
-
@mcm57 dass er bisher nicht unterstützt wird weiss ich, die diversen workarounds mit kennung ändern oder native mqtt auch. ich habe eine direkte frage an den entwickler gestellt, da mir die unterstützung im shelly-adapter ein projekt in naher zukunft deutlich erleichtern würde...
-
Und der Entwickler hat bereits eine Version angegeben in der der Shelly unterstützt wird. Deswegen auch die Frage ob du den aktuellen Inhalt des README vor dem Stellen der Frage gelesen hast.
-
@haus-automatisierung P.S. Falls du einen zum Austüfteln/Testen brauchst schicke ich dir gern einen Plus Uni
-
@rallyecom Hab heute angefangen den zu integrieren. Das kostet nur viel Zeit, weil ich die 100 Möglichkeiten der verschiedenen Sensoren usw. erstmal durchtesten muss
-
Danke an alle für eure Einschätzungen. Ich vermute wirklich, dass es an der Auslastung liegt.
Nach dem letzten Update von Paperless, welches ebenfalls als docker läuft, hält der Shelly Adapter nicht mal mehr über Nacht bis er aussteigt.
Die Auslastung der Synology ist dauerhaft hoch und selbst meine 10GB ram sind fast dauerhaft ausgelastet.Jetzt ist es natürlich nicht ausgeschlossen das ich an irgendeiner stelle etwas falsch konfiguriert habe.
So wie es jetzt ist kann es jedenfalls auch nicht bleiben, da mein SmartHome weitestgehend unnütz ist ohne den Shelly Adapter.
Würde ein Upgrade des NAS eventuell das Problem beheben?
Ich habe mich mal umgeschaut welche „besseren“ Synology Modelle für mich preislich aktuell erschwinglich wären.Glaubt ihr ein NAS Upgrade würde helfen?
Wenn ja, welches Modell würdet ihr mir empfehlen!
Ich habe diese Frage auch in der Facebook Gruppe gestellt aber leider keine konkreten (oder für mich verständlichen - der Lösung dienlichen) Antworten erhalten.Ich würde folgende Modelle ins Auge fassen:
DS224+ bzw DS423+ (beide mit einem Intel Celeron J4125 4-Core Prozessor und laut Datenblatt mit maximal 6 GB RAM ausrüstbar) oder den DS723+ bzw DS923+ (beide mit einem AMD Ryzen R1600 2-Core Prozessor und laut Datenblatt mit maximal 32 GB RAM ausrüstbar).Aufgrund des Rams und der höheren Einzelkernleistung würde ich zu den 723 bzw 923 Modellen tendieren.
Wäre dies eine sinnvolle Investition um die Probleme mit meinem System bzw. dem Shelly Adapter loszuwerden?
Danke für eure Geduld und Unterstützung
-
ich hänge mich hier mal mit dran.
Ich habe auf Empfehlung von @BananaJoe einen Lidar Füllstandssensor bei Senvolon gekauft und via MQTT in den ioBroker eingebunden (MQTT Broker installiert, läuft parallel zu dem MQTT Broker der Shellies, die auf einen anderen Port laufen)
Seitdem habe immer wieder Probleme mit meinem WLAN daheim, dass es super langsam ist oder gar nicht reagiert (war vorher nicht).
Ich habe das gefühl dass es an dem MQTT liegt. In dem Sensor kann man das MQTT Sendeintervall einsellen. Stelle ich auf 5s wirds gefühlt schlechter.
Hat jemand eine Idee was ich noch machen könnte?
-
@n3ucr0n sagte in Probleme mit Shelly Adapter in Kombination mit MQTT:
Würde ein Upgrade des NAS eventuell das Problem beheben?
[...]
Glaubt ihr ein NAS Upgrade würde helfen?
[...]
Wäre dies eine sinnvolle Investition um die Probleme mit meinem System bzw. dem Shelly Adapter loszuwerden?Ich glaube eher nein. Ist aber nur meine ganz persönliche Ansicht. Ein NAS hat ja primär eigentlich andere Aufgaben als das Hosten eines Docker-Systems und dessen Container-Verwaltung. Das sollte man ggf. einem separaten System anvertrauen. Das kann z.B. ein kleiner IntelNUC o.ä. sein. Ich persönlich würde dann auch eher nicht zu einem Celeron tendieren (hattest Du ja auch schon so geschrieben).
Es gibt gebraucht auch gute und günstige andere MiniPC's. Es muss also kein NUC sein. Bei mir läuft z.B. ein Lenovo 920q Tiny mit einem Intel 6-Kern-Prozessor, 32GB und WD-Red SSD. Auf so ein System kannst Du dann Docker oder auch Proxmox nach belieben als Basis draufpacken.
-
@samson71 Okai guter Hinweis.
Bedeutet mit sowas hier:
Sollte ich mehr als ausreichende Power haben oder?
Und wäre es dann zu empfehlen auf dem Windows Rechner ebenfalls docker zu installieren um den Jmzug von Paperless und dem ioBroker möglichst problemlos zu machen?
Kann ich die Docker Container exportieren und einfach wieder importieren, auch wenn es einmal von der Synology kommt und auf ein Windows System umziehen würde?
-
Da darf mein Senf natürlich nicht fehlen
Klar kann man mehr Leistung ranschaffen mit dem Kauf eines NUC oder DeskPC.
Ich hab, wie Du, eine Synology.
Die DS218+ mit 10GB.
Und die läuft seit fast 5 Jahren schnörkelos.
Es kommt ja immer mehr dazu, als das was deinstalliert wird.
Mein Container braucht ca. 5GB mit 63 installierten Adaptern.
Bei mir stockt nix und Performanceprobleme habe ich auch nicht.
CPU Last ( mit Deconz als 2.Container) ca. 40-50%.
Ich gehe davon aus, dass da irgendwas nicht richtig bei Dir konfiguriert ist/wurde.
Meine Befürchtung ist, dass wenn Du ein neues System kaufst, Du ja die gleichen Einstellungen tätigen wirst und vermutlich wieder vor dem gleichen Problem stehst.Edit: was für ne Leitung hast Du? DSL, Glasfaser, welche Geschwindigkeit? welcher Router?
(Sorry, wenn die Info hier schon irgendwo steht, hab ich es überlesen). -
haha ich freue mich über jeden produktiven Senf
Und Deine Befürchtung teile ich - nur wie gehe ich als das Thema an? Wo suche ich zuerst?
Vermutlich würde ich meine Suche bei der Synology anfangen aber auch da weiß ich nicht welche Informationen zur Fehlerlokalisierung helfen könnten.
Die Fragen zum Thema Leistung:
Leider Nur 250er Leitung der Telekom - mehr liegt hier nicht.
Von da in eine Fritzbox welche direkt in einen Unifi POE Switch weiterleitet. Der POE Switch verteilt dann das Netzwerk im Haus (Diverse Access Points für WLAN, einige wenige Dosen, etc.). Das NAS ist via Kabel direkt an den Switch angeschlossen.Was kann ich sonst noch für Informationen geben um das Thema in den Griff zu bekommen?
Danke für Eure ganzen Hilfen!
Edit: Ich habe mal den Titel meines Beitrages angepasst, da das Thema MQTT des Shelly Adapters ja scheinbar nur ein Symptom ist und nicht das eigentliche Problem.
Edit Edit: Ich habe mal den Paperless Container runter gefahren. Ohne aktiven Paperless Container habe ich eine Auslastung von 36% CPU und 73% RAM. Beim Start des Paperless Containers geht die Auslastung des CPU temporär auf 99% hoch (spätestens hier wäre der Shelly Adapter wieder ausgestiegen) und pendelt sich dann bei einer Auslastung von 75% des CPU und 80% des RAM ein. Da Paperless anfängt zu arbeiten (weil z.B. noch Dokumente eingelesen werden, weil ich Dokumente suche etc. Also einfach normales Arbeiten mit Paperless) geht die Auslastung schenll auf 90%-99% CPU und 90%-95% RAM hoch.
Sollte der ioBroker dann noch etwas an "last" brauchen, bin ich wieder bei den 100% Auslastung und der Shelly Adapter würde wieder aussteigen.
