Performance Probleme durch Shelly Adapter?
-
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
Aber die CPU Auslastung des NAS war ja oft bei 100%...
Habe jetzt den ganzen Thread mal aus Interesse durchgelesen.
QNAP kenne ich nicht, arbeite aber auch mit virtualisiertem ioBroker und 2 virtuellen Homematic-Zentralen auf Synology.
Wenn ich so lese, was Du alles auf Deienm QNAP laufen hast, staune ich und bin bei der ersten Frage:
Wieviele Virtualsisierungen/Docker Container werden laut der Spezifikation Deines NAS unterstützt?
(Mein DS923+ unterstützt max. 4 virtuelle Maschinen! Hier läuft alles flüssig.)8GB Speicher wurden für ausreichend erklärt.
Das bezweifle ich mal bei der Vielfalt an Aufgaben der Kiste. Falls möglich, würde ich hier schon mal aufrüsten.Meine Speicherauslastung liegt zwar mal auch bei 64% wenn noch die 4. Virtualisierung läuft (Test-Homematic), aber mein System hat 32 GB RAM !
Die MQTT-Installation(en) sind sehr fragwürdig.
Da bin ich bei den anderen Antworten und hier wird noch einigen im Argen liegen in der Konfiguration. Normalerweise ist ein MQTT-Server (neben dem Shelly-Adapter) ausreichend.@schtallone sagte in Performance Probleme durch Shelly Adapter?:
Aber die CPU Auslastung des NAS war ja oft bei 100%...
Und genau dafür muß die Ursache gefunden werden, denn das ist strikt zu vermeiden. In Spitzenzeiten liegt mein NAS mal knapp unter 50%.
-
@diamand2k22
Guten morgen,ich werde dies so machen. Will ja eh heute morgen alles an Adaptern stoppen und die Performance beobachten.
-
@66er said in Performance Probleme durch Shelly Adapter?:
Wenn ich so lese, was Du alles auf Deienm QNAP laufen hast, staune ich und bin bei der ersten Frage:
Wieviele Virtualsisierungen/Docker Container werden laut der Spezifikation Deines NAS unterstützt?
(Mein DS923+ unterstützt max. 4 virtuelle Maschinen! Hier läuft alles flüssig.)Ich habe in der Dokumentation kein max. an Container herausfinden können:
https://www.qnap.com/de-de/how-to/tutorial/article/wie-wird-container-station-3-verwendetBis vor ein paar Tagen lief es ja auch soweit gut. Klar, wenn ich mal intensive Dinge auf dem NAS gemacht habe (oder das NAS selber), z.B. Dateisystem/Raid wird automatisch geprüft nach einem unvorhergesehenen Abschalten, oder ich schiebe große Datenmengen hin oder her... dann merkte man das im iob.
Aber eben nicht permanent.Und da waren diese unsauberen Dinge wie die beiden MQTT Adapter ebenfalls nicht so am laufen.
8GB Speicher wurden für ausreichend erklärt.
Das bezweifle ich mal bei der Vielfalt an Aufgaben der Kiste. Falls möglich, würde ich hier schon mal aufrüsten.Leider ist bei 8gb schluss bei meinem NAS
Meine Speicherauslastung liegt zwar mal auch bei 64% wenn noch die 4. Virtualisierung läuft (Test-Homematic), aber mein System hat 32 GB RAM !
Die MQTT-Installation(en) sind sehr fragwürdig.
Da bin ich bei den anderen Antworten und hier wird noch einigen im Argen liegen in der Konfiguration. Normalerweise ist ein MQTT-Server (neben dem Shelly-Adapter) ausreichend.Ja da haben wir jetzt schon viel drüber geschimft, natürlich zu RECHT.
Zur Historie: Ich wollte glaube ich mal versuchen, die Abhängigkeit von meiner Wallbox (openWB), welche einen eigenen MQTT-Broker inne hat erzeugen. Hintergrund ist, dass keine statische IP der Wallbox möglich ist, und wenn diese dann sich doch mal ändert, funktionierte die MQTT Sache nicht mehr, da ein andere Broker-IP nachzupflegen war. Dies war mir nicht recht.
Daher hatte ich den 2. MQTT-Adapter mal installiert und einen Mosqiutto Container eingerichtet. Zunächst habe ich einzelen Geräte (ein Shelly, einen ESP32 Wasserzähler,...) über den neunen Mosquitto Broker ans laufen gebracht. Aber die Wallbox fehlte noch da dies nicht so einfach (für mich) war. Dabei ist es dann bis zu unserer Diskussion hier geblieben.Dies als kurze Erläuterung, warum DInge so sind/waren, wie sie sind.
Aber: Die letzten beiden Tage liefen beide MQTT_Adapter nicht, und trotzdem hatte ich diese PRobleme mit dem Shelly adapter...
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
Aber die CPU Auslastung des NAS war ja oft bei 100%...
Und genau dafür muß die Ursache gefunden werden, denn das ist strikt zu vermeiden. In Spitzenzeiten liegt mein NAS mal knapp unter 50%.
AUf gehts in die Analyse mit nach und nach eingeschalteten Adaptern sowie der Neuaufsetzung des Shelly-Adapters (zuerst)
-
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
Ich habe in der Dokumentation kein max. an Container herausfinden können:
Wie ist die genaue Bezeichnung Deines QNAP?
-
@66er das ist eine schöne Zusammenfassung und zeigt mir eine Quelle für Missverständnisse auf:
@66er sagte in Performance Probleme durch Shelly Adapter?:
8GB Speicher wurden für ausreichend erklärt.
das galt nur für ioBroker, da der Container 8GB RAM besass!
Die darüber hinausgehenden Einschränkungen, die du nennst, glaubte ich deutlich gemacht zu haben.@66er sagte in Performance Probleme durch Shelly Adapter?:
Meine Speicherauslastung liegt zwar mal auch bei 64% wenn noch die 4. Virtualisierung läuft (Test-Homematic), aber mein System hat 32 GB RAM !
ist das wirklich benutzter RAM, oder nur "verteilter Speicherplatz". (vgl. free vs. available)
-
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
ist nen QNAP TS251D mit 8gb RAM.
-
@diamand2k22 sagte in Performance Probleme durch Shelly Adapter?:
dann stoppe mal den iobroker mit iob stop und danach iob fix und dann wieder starten mit iob start,
Moin,
da es sich um ein Docker Container handelt, geht das so wohl nicht, das muss man anders machen
pkill -u iobrokerUnd Starten geht dann auch nur durch Neustart des Containers.
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
Aber die CPU Auslastung des NAS war ja oft bei 100%...
Ich vermute, dass das passiert, wenn Dir der Speicher ausgeht, dann muss das NAS Applikationen stoppen oder in den
Swapauslagern, oder wieder vom Swap zurückholen. Aber auch dazu braucht es Logs, aus dem Zeitbereich, wann es passiert.@66er sagte in Performance Probleme durch Shelly Adapter?:
Wieviele Virtualsisierungen/Docker Container werden laut der Spezifikation Deines NAS unterstützt?
(Mein DS923+ unterstützt max. 4 virtuelle Maschinen! Hier läuft alles flüssig.)Virtuelle Maschinen ≠ Docker Container, ich hoffe der TE hat nicht auch noch VMs am laufen und uns das noch nicht mitgeteilt.
Auf meiner DS716PlusII läuft keine VM, aber dafür 17 Container. Ich habe nur dann Probleme, wenn die Bilderverwaltung
immichGesichtserkennung oder ein neuer Index erstellt wird, dann brauchen dieimmichContainer 80-90 % der Ressourcen der DS.@66er sagte in Performance Probleme durch Shelly Adapter?:
8GB Speicher wurden für ausreichend erklärt.
Das bezweifle ich mal bei der Vielfalt an Aufgaben der Kiste. Falls möglich, würde ich hier schon mal aufrüsten.Meine DS716PlusII hat auch nur 8 GB die 17 Container laufen, das passt schon, wie oben schon geschrieben komme ich nur an die Grenzen, wenn
immichviel zu tun hat.@schtallone sagte in Performance Probleme durch Shelly Adapter?:
ICh habe den device watcher als (einen) Kandiaten im Sinn
Wieso, woran machst Du das fest, in zwei
ioBrokerInstallationen, läuft der Adapter ohne Auffälligkeiten bei mir?Ich würde diesen Download Container stoppen, wie @DJMarc75 schon angemerkt hat, gibt es nicht ein Download Manager, direkt von QNAP?
@Schtallone
ich würde versuchen die wichtigen Sachen zu sichern und die QNAP von Grund auf neu aufsetzen.Und Du hast noch immer nicht gesagt, was noch auf der Möhre läuft, Video Station, Musik Station?
VG
Bernd -
@homoran sagte in Performance Probleme durch Shelly Adapter?:
ist das wirklich benutzter RAM
Ja, laut Monitoring.
Ich bemesse meine virtuellen Maschinen eher zu großzügig.@homoran sagte in Performance Probleme durch Shelly Adapter?:
@66er
@schtallone sagte in Performance Probleme durch Shelly Adapter?:ist nen QNAP TS251D mit 8gb RAM.
Danke, überlesen.
@homoran sagte in Performance Probleme durch Shelly Adapter?:
das galt nur für ioBroker, da der Container 8GB RAM besass!
und das QNAP selbst hat auch nur 8GB!
-
@dp20eic sagte in Performance Probleme durch Shelly Adapter?:
wenn Dir der Speicher ausgeht, dann muss das NAS Applikationen stoppen oder in den Swap auslagern, oder wieder vom Swap zurückholen.
...und das treibt die load average in die Höhe, auch wenn es nicht unbedingt die CPU Last erhöht.
-
@66er sagte in Performance Probleme durch Shelly Adapter?:
und das QNAP selbst hat auch nur 8GB!
und deswegen die Frage nach einer möglichen Überprovisionierung.
Ich arbeite nicht mit Containern, aber bei Proxmox VMs darf die Summe des verteilten RAMs nicht dem vollständigen RAM entsprechen, da auch Proxmox selbst noch RAM (und Plattenplatz) benötigt. -
@dp20eic said in Performance Probleme durch Shelly Adapter?:
@diamand2k22 sagte in Performance Probleme durch Shelly Adapter?:
dann stoppe mal den iobroker mit iob stop und danach iob fix und dann wieder starten mit iob start,
Moin,
da es sich um ein Docker Container handelt, geht das so wohl nicht, das muss man anders machen
pkill -u iobrokerUnd Starten geht dann auch nur durch Neustart des Containers.
Neustart läuft gerade, es laufen dann nur noch die Adpater Admin, Backup und ein Alias-Manager (welcher als solcher nicht beendet werden kann aus dem iob). Fix wurde auch gemacht vor dem NEustart.
Ich lasse das jetzt mal 10-15 Minuten in Ruhe und poste dann die Ergebnisse aus
top@schtallone sagte in Performance Probleme durch Shelly Adapter?:
Aber die CPU Auslastung des NAS war ja oft bei 100%...
Ich vermute, dass das passiert, wenn Dir der Speicher ausgeht, dann muss das NAS Applikationen stoppen oder in den
Swapauslagern, oder wieder vom Swap zurückholen. Aber auch dazu braucht es Logs, aus dem Zeitbereich, wann es passiert.ja, das vermute ich auch. Und dabei habe ich gesehen, dass der Device-Watcher hier einen großen anteil dran haben könnte. Rein subjektiv betrachtet.
@66er sagte in Performance Probleme durch Shelly Adapter?:
Wieviele Virtualsisierungen/Docker Container werden laut der Spezifikation Deines NAS unterstützt?
(Mein DS923+ unterstützt max. 4 virtuelle Maschinen! Hier läuft alles flüssig.)Virtuelle Maschinen ≠ Docker Container, ich hoffe der TE hat nicht auch noch VMs am laufen und uns das noch nicht mitgeteilt.
Nein, KEINE VMs am laufen, nur die Container
Auf meiner DS716PlusII läuft keine VM, aber dafür 17 Container. Ich habe nur dann Probleme, wenn die Bilderverwaltung
immichGesichtserkennung oder ein neuer Index erstellt wird, dann brauchen dieimmichContainer 80-90 % der Ressourcen der DS.@66er sagte in Performance Probleme durch Shelly Adapter?:
8GB Speicher wurden für ausreichend erklärt.
Das bezweifle ich mal bei der Vielfalt an Aufgaben der Kiste. Falls möglich, würde ich hier schon mal aufrüsten.Meine DS716PlusII hat auch nur 8 GB die 17 Container laufen, das passt schon, wie oben schon geschrieben komme ich nur an die Grenzen, wenn
immichviel zu tun hat.dito...
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
ICh habe den device watcher als (einen) Kandiaten im Sinn
Wieso, woran machst Du das fest, in zwei
ioBrokerInstallationen, läuft der Adapter ohne Auffälligkeiten bei mir?wie gesagt, rein subjektiv betrachtet. Aber wenn der Adapter schon fast 500mB RAM verwendet und ich, nachdem ich den Adapter beende eine SPÜRBARE Verbesserung der Performance registriere....
Ich würde diesen Download Container stoppen, wie @DJMarc75 schon angemerkt hat, gibt es nicht ein Download Manager, direkt von QNAP?
kann ich auch mal machen, aber mir scheint der Container eher unauffällig...
@Schtallone
ich würde versuchen die wichtigen Sachen zu sichern und die QNAP von Grund auf neu aufsetzen.davon sehe ich aktuell noch ab, eber stelle ich die SmartHome Sachen (zumindest den iob und nodered) auf einen Pi um
Und Du hast noch immer nicht gesagt, was noch auf der Möhre läuft, Video Station, Musik Station?
Es läuft alles das, was ich hier schon gezeigt habe, keine VMs, keine Videostation (mehr), keine anderen versteckten/geheimen Ding.
VG
Bernd -
so, ca. 10 Minuten mit folgenden Instanzen
root@iobroker:/opt/iobroker# iobroker list instances + system.adapter.admin.0 : admin : iobroker - enabled, port: 8081, bind: 0.0.0.0, run as: admin system.adapter.alias-manager.0 : alias-manager : iobroker - disabled + system.adapter.backitup.0 : backitup : iobroker - enabled system.adapter.cloud.0 : cloud : iobroker - disabled system.adapter.device-watcher.0 : device-watcher : iobroker - disabled system.adapter.devices.0 : devices : iobroker - disabled system.adapter.dwd.0 : dwd : iobroker - disabled system.adapter.energiefluss.0 : energiefluss : iobroker - disabled system.adapter.feiertage.0 : feiertage : iobroker - disabled system.adapter.ical.0 : ical : iobroker - disabled system.adapter.jarvis.0 : jarvis : iobroker - disabled system.adapter.javascript.0 : javascript : iobroker - disabled system.adapter.meross.0 : meross : iobroker - disabled system.adapter.modbus.0 : modbus : iobroker - disabled system.adapter.mqtt.0 : mqtt : iobroker - disabled, port: 1883, bind: 0.0.0.0 system.adapter.netatmo.0 : netatmo : iobroker - disabled system.adapter.node-red.0 : node-red : iobroker - disabled, port: 1880, bind: 0.0.0.0 system.adapter.pushover.0 : pushover : iobroker - disabled system.adapter.pvforecast.0 : pvforecast : iobroker - disabled system.adapter.schoolfree.0 : schoolfree : iobroker - disabled system.adapter.shelly.0 : shelly : iobroker - disabled, port: 1882, bind: 0.0.0.0 system.adapter.shuttercontrol.0 : shuttercontrol : iobroker - disabled system.adapter.snmp.0 : snmp : iobroker - disabled system.adapter.sonos.0 : sonos : iobroker - disabled system.adapter.sourceanalytix.0 : sourceanalytix : iobroker - disabled system.adapter.telegram.0 : telegram : iobroker - disabled, port: 8443, bind: 0.0.0.0 system.adapter.vw-connect.0 : vw-connect : iobroker - disabled system.adapter.web.0 : web : iobroker - disabled, port: 8082, bind: 0.0.0.0, run as: adminErgebnis top:
top - 10:12:51 up 21:04, 0 users, load average: 3,87, 3,95, 3,80 Tasks: 10 total, 1 running, 9 sleeping, 0 stopped, 0 zombie %Cpu(s): 23,1 us, 19,2 sy, 2,5 ni, 55,1 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st MiB Mem : 7792,2 total, 1759,6 free, 3429,6 used, 2603,0 buff/cache MiB Swap: 23447,2 total, 22874,7 free, 572,6 used. 3568,2 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 168 iobroker 20 0 10,9g 233452 40800 S 0,3 2,9 0:23.76 iobroker.js-con 1 root 20 0 7372 3496 3160 S 0,0 0,0 0:00.07 bash 30 root 20 0 7504 3840 3400 S 0,0 0,0 0:00.04 bash 60 root 20 0 7240 3300 3072 S 0,0 0,0 0:00.00 iob 61 root 20 0 10860 4148 3624 S 0,0 0,1 0:00.00 sudo 62 iobroker 20 0 921168 67132 38704 S 0,0 0,8 0:01.33 node 115 root 20 0 7504 3784 3340 S 0,0 0,0 0:00.04 bash 121 root 20 0 10308 3652 3180 R 0,0 0,0 0:00.80 top 189 iobroker 20 0 988992 134368 46064 S 0,0 1,7 0:06.35 io.admin.0 212 iobroker 20 0 10,7g 89612 45996 S 0,0 1,1 0:03.49 io.backitup.0root@iobroker:/opt/iobroker# ps auxww USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.0 7372 3496 ? Ss 09:40 0:00 bash /opt/scripts/iobroker_startup.sh root 30 0.0 0.0 7504 3840 pts/0 Ss 09:40 0:00 bash root 60 0.0 0.0 7240 3300 pts/0 S+ 09:40 0:00 /bin/bash /usr/bin/iob logs --watch root 61 0.0 0.0 10860 4148 pts/0 S+ 09:40 0:00 sudo -H -u iobroker node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js logs --watch iobroker 62 0.0 0.8 921168 67132 pts/0 Sl+ 09:40 0:01 node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js logs --watch root 115 0.0 0.0 7504 3784 pts/1 Ss 09:40 0:00 bash root 121 0.0 0.0 10308 3652 pts/1 S+ 09:40 0:00 top iobroker 168 1.2 3.0 11413912 239468 ? Sl 09:41 0:24 iobroker.js-controller iobroker 189 0.3 1.6 988992 134820 ? Sl 09:41 0:06 io.admin.0 iobroker 212 0.1 1.1 11175364 89552 ? Sl 09:41 0:03 io.backitup.0 root 1779 0.1 0.0 7504 4020 pts/2 Ss 10:13 0:00 bash root 1809 0.0 0.0 10100 3496 pts/2 R+ 10:14 0:00 ps auxww -
@schtallone da kann doch etwas nicht stimmen
- bei 2 Adapter einen Ram Verbrauch von 3429,6 und nen load von fast 4
- dazu kommt, dass auch SWAP genutzt wurde
- warum ist der swap überhaupt so großzügig eingestellt
- wenn die Kiste nur 8GB Ram Gesamt hat, macht es auch keinen Sinn, dem einzelnen Container alles zur Verfügung zu stellen
-
@crunchip
danke
dann brauch ich das nicht zu tippen
-
ich glaube immernoch an diesen dubiosen JDownloader2-Container - laut google ist das ein reines Buggy, will das aber nicht nachstellen
-
@homoran naja, ist alles irgendwie mehr als fragwürdig
ich hab allerdings absolut NULL Ahnung von solchen NAS Gerätschaften
-
@crunchip sagte in Performance Probleme durch Shelly Adapter?:
wenn die Kiste nur 8GB Ram Gesamt hat, macht es auch keinen Sinn, dem einzelnen Container alles zur Verfügung zu stellen
Da habe ich auch noch keine Antwort bekommen, ob das bei Containern überhaupt zulässig ist
-
@crunchip
Hallo,bitte einmal kurz "SWAP" erläutern... DANKE
-
Hier nach deistallation des Shelly adapters (auch objekte gelöscht und die daten des shelly-beta-adapters 6.4.1 (oder so) aus dem iob entfernt und
iob fixtop - 10:50:49 up 21:41, 0 users, load average: 4,60, 4,59, 4,60 Tasks: 6 total, 1 running, 5 sleeping, 0 stopped, 0 zombie %Cpu(s): 6,2 us, 9,1 sy, 1,9 ni, 79,3 id, 3,5 wa, 0,0 hi, 0,0 si, 0,0 st MiB Mem : 7792,2 total, 1619,2 free, 3440,1 used, 2732,9 buff/cache MiB Swap: 23447,2 total, 22874,7 free, 572,6 used. 3570,2 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 142 iobroker 20 0 10,9g 237628 41744 S 0,3 3,0 0:15.56 iobroker.js-con 1 root 20 0 7372 3512 3172 S 0,0 0,0 0:00.07 bash 163 iobroker 20 0 992132 138080 46892 S 0,0 1,7 0:04.65 io.admin.0 198 iobroker 20 0 10,7g 90508 46904 S 0,0 1,1 0:02.81 io.backitup.0 836 root 20 0 7504 3992 3472 S 0,0 0,1 0:00.03 bash 843 root 20 0 10308 3724 3248 R 0,0 0,0 0:00.05 top -
@schtallone sagte in Performance Probleme durch Shelly Adapter?:
bitte einmal kurz "SWAP" erläutern... DANKE
swap ist der Notfallüberlauf für ein nicht ausreichendes RAM.
dann wird überschüssiges auf die Festplatte ausgelagert und immer langsam hin und her kopiert, anstelle im schnellen RAM verarbeitet zu werden
