Performance Probleme durch Shelly Adapter?

[66er]

@Schtallone :

Also wissen, dass man seit 2 Wochen eine defekte Platte hat und dann hier die User beschäftigen ...

--> ohne Worte

[A Former User]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

CPU: 25.8% usr 14.8% sys 0.1% nic 58.9% idle 0.1% io 0.0% irq 0.1% sirq

Moin,

was ich wirklich nicht verstehe, sind die Werte für nic und nur 0,1 % für Idle.
Erklärung für die Werte:
CPU-Zeile

Abkürzung	Bedeutung
us	user - Zeit, die von ungeniceten Benutzerprozessen verwendet wird
sy	system - Zeit, die von Kernelprozessen verwendet wird
ni	nice - Zeit, die von ge"nice"ten Userprozessen verwendet wird
id	idle - Zeit, die das System im Leerlauf verbringt
wa	IO-wait - Zeit, die auf Datenverarbeitung gewartet wird (gibt Hinweise auf Engpässe bei der Datenträgergeschwindigkeit)
hi	Zeit, die auf das Bearbeiten von Hardware Interrupts verwendet wird
si	Zeit, die auf das Bearbeiten von Software Interrupts verwendet wird
st	stolen - Zeit, die von der laufenden Virtuellen Maschine vom Hypervisor für andere Aufgaben gestohlen wird (z.B. für andere VM)

Bei Dir ist ni=~60 % <- also sind dort einige Prozesse ge-niced, sprich eine andere Priorität als 0 am Laufen, nice geht von -20 höchste Priorität über 0 = Standard bis +19 niedrigste Priorität.
Auf der anderen Seite, Dein System hat kein idle, nur 0.1 %, ist also nie im Leerlauf???

Schau mal wie Du bei Dir top so aufrufen kannst, das auch ni angezeigt wird, wie bei mir

top - 19:09:57 up 41 days, 10:37,  1 user,  load average: 1.73, 1.75, 3.68 [IO: 0.68, 0.88, 2.80 CPU: 1.05, 0.88, 0.88]
Tasks: 813 total,   1 running, 812 sleeping,   0 stopped,   0 zombie
%Cpu(s):  3.6 us,  3.9 sy,  0.0 ni, 92.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
GiB Mem :    7.718 total,    0.997 free,    3.171 used,    3.550 buff/cache
GiB Swap:    6.633 total,    3.947 free,    2.686 used.    4.180 avail Mem 
                    ||
                    \/
  PID USER      PR  NI    VIRT    RES  %CPU  %MEM     TIME+ S COMMAND                                                                                          
12828 root      20   0   57.3m   2.5m 3.846 0.032 776:16.38 S synostgd-space                                                                                   
18292 dp20eic   20   0   34.1m   2.7m 3.846 0.035   0:15.33 R top                                                                                              
17518 root      20   0  835.6m   8.4m 2.564 0.106 658:38.72 S /usr/syno/bin/scemd                                                                              
20309 104       20   0   62.4m   8.5m 2.564 0.107 761:48.40 S /usr/sbin/mosquitto -c /mqtt/config/mosquitto.conf                                               
 2903 1000      20   0 3366.4m  72.7m 1.282 0.920  60:59.37 S emqx -Bd -spp true -A 4 -IOt 4 -SDio 8 -e 262144 -zdbbl 8192 -Q 1048576 -P 2097152 -- -root /op+ 
 2955 1000      20   0 3360.9m  68.4m 1.282 0.866  58:10.59 S emqx -Bd -spp true -A 4 -IOt 4 -SDio 8 -e 262144 -zdbbl 8192 -Q 1048576 -P 2097152 -- -root /op+ 
   18 root      20   0    0.0m   0.0m 0.641 0.000  27:02.42 S [ksoftirqd/2]  

VG
Bernd

[Schtallone]

@66er

Wie viel Pro muss man hier sein, damit man nicht ins Messer läuft? Um diese Fehler zu finden bzw. im Dialog herauszuarbeiten, dafür dachte ich wäre ein solches Forum geeignet. Es tut mir leid dass ich nicht so ein Spezialist bin, wie Ihr hier.

@66er : Ich bitte um entschuldigung, falls ich hier Zeit anderer verschwendet habe.

[66er]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

@homoran
Ich werde mir eine neue Festplatte besorgen. Ist nen RAID 0 Verbund. Ich tausche 1 Platte aus

Ach ja, fast vergessen:

Viel Glück.

https://www.storage-insider.de/was-ist-raid-0-a-820811/

[Schtallone]

@66er oh, ne sorry, dann Raid 1, also 2 gleiche Platten gespiegelt. (es wird nicht besser mit mir, oder?)

[66er]

@schtallone

Ich bin raus.

[A Former User]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

Ich werde mir eine neue Festplatte besorgen. Ist nen RAID 0 Verbund. Ich tausche 1 Platte aus

Moin,

Raid 0 ist eine ganz schlechte Idee, denn es werde immer abwechseld Blöcke auf die eine, dann auf die andere Platte geschrieben, geht eine gänzlich den Bach runter, hast Du 100 % Datenverlust.

Wenn man nur zwei Platten hat, lieber zwei größere Platten im Raid 1, da werde die Daten gespiegelt, dann kann eine Platte total ausfallen, macht nichts der Spiegel ist noch vorhanden.
Wenn man Geschwindigkeit und Sicherheit haben möchte, dann Raid 10. ich werde hier aber jetzt keine Lehrstunde in Raid geben, ist das falsch Forum.

VG
Bernd

[Schtallone]

@dp20eic
https://forum.iobroker.net/post/1045475

[Frederik Buss]

@schtallone Ich habe größtenteils still mitgelesen, weil mich das Thema auch interessiert, möchte aber hierzu was sagen: Sieh es mal so: Es haben doch einige sich ordentlich bemüht, Dir zu helfen, aber einige Vorgehensweisen wurden nicht umgesetzt, oder erst nach Nachfrage. Am Ende kommt nach über 200 Beiträgen raus, dass Du weisst, dass eine Platte hin ist, schreibst das aber eben nicht gleich rein ("Ich weiss, dass eine Platte ein Thema hat, aber ist das wirklich mein Problem mit der Performance?") - Du weisst was ich meine. Das der Eine oder Andere, zwischenzeitlich am Verzweifeln, jetzt bestenfalls mit den Augen rollt, ist schon nachvollziehbar und hat nichts mit Pro zu tun...

[Glasfaser]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

@66er

Wie viel Pro muss man hier sein, damit man nicht ins Messer läuft? Um diese Fehler zu finden bzw. im Dialog herauszuarbeiten, dafür dachte ich wäre ein solches Forum geeignet. Es tut mir leid dass ich nicht so ein Spezialist bin, wie Ihr hier.

@66er : Ich bitte um entschuldigung, falls ich hier Zeit anderer verschwendet habe.

Sorry .. ich habe mich schon lange ausgeklinkt, aus diesem Thread .

Wir sitzen bei dir nicht Zuhause , kennen dein System / Aufbau nicht ,
daher müssen wir schon alles dazu fragen ,
da kann man bei den geballten Fragen hier schonmal mal was vergessen / den Durchblick verlieren

Also , daher alles gut

[Homoran]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

Wie viel Pro muss man hier sein, damit man nicht ins Messer läuft

überhaupt nicht!
ich bin beileibe kein Pro.
Ich versuche nur systematisch das Problem einzukreisen.
und dazu benötige ich -zumal ich weder Docker, noch Container und erst Recht keine QNAP kenne- Informationen von dir!
ich habe das mal hier
https://forum.iobroker.net/topic/51555/hinweise-für-gute-forenbeiträge/1
zusammengeschrieben wie so etwas ablaufen sollte.

Dazu gehört es ganz vorne vor direkt zu Beginn alle Fakten auf den Tisch zu legen.
Als nächstes sollte sehr zeitnah alles beantwortet werden wonach Helfende Fragen, um strukturiert die einzelnen Möglichkeiten abzuarbeiten und nicht dauernd zwischen diversen Themen hin und herzuspringen, was zu einem Chaos führen wird.

Aber am besten liest du dir den Link mal konzentriert durch.

EDIT:
@Glasfaser
tippe ich hier am Handy tatsächlich schon 7+ Minuten ?

[Glasfaser]

@homoran sagte in Performance Probleme durch Shelly Adapter?:

EDIT:
@Glasfaser
tippe ich hier am Handy tatsächlich schon 7+ Minuten ?

[Schtallone]

@homoran said in Performance Probleme durch Shelly Adapter?:

Dazu gehört es ganz vorne vor direkt zu Beginn alle Fakten auf den Tisch zu legen.
Als nächstes sollte sehr zeitnah alles beantwortet werden wonach Helfende Fragen, um strukturiert die einzelnen Möglichkeiten abzuarbeiten und nicht dauernd zwischen diversen Themen hin und herzuspringen, was zu einem Chaos führen wird.

Aber am besten liest du dir den Link mal konzentriert durch.

Oh ja, das hätte sicherlich einiges an Durcheinander gespart.....Jetzt ist es zu spät und ichj hoffe ich kann weiterhin auf die Hilfe hoffen.

[A Former User]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

https://forum.iobroker.net/post/1045475

Moin,

ja und, ich schreibe langsam, und versuche auch immer etwas Wissen in meine Texte zu bringen, dann kann es schon mal passieren, dass sich Posts überholen, wenn Du erst überlegt hättest und dann gepostet hättest, dann hätte man schon 4 Posts weniger

VG
Bernd

[Wildbill]

@schtallone Wenn Du die defekte Platte gegen eine neue getauscht hast, dann gib dem Ganzen bitte auch Zeit! Es werden dann alle Daten von der intakten Platte erst einmal auf die neue leere Platte gespiegelt. Das dauert und lastet Dein QNAP bestimmt auch wieder gut aus. Da dann gleich zu erwarten, das System und iobroker rennt wieder ist eine falsche Erwartung. Sowas kann, je nach Größe ein Weilchen dauern, auch Stunden oder gar Tage, wobei ich Letzteres bei RAID1 nicht erwarten würde. Es schadet auch nix, für diesen Zeitraum alles auf dem Gerät zu beenden. Alles, was mit Docker, VM, LXC zu tun hat, alle Dienste, alle Verbindungen von Rechnern zu trennen und das Ding erst einmal machen zu lassen.

HIER steht, wie es gemacht werden sollte.

Gruss, Jürgen

[Schtallone]

@wildbill Hallo,
ja danke für den Hinweis. Habe das schon mal vor Jahren gemacht, hat glaube ich 2 Tage gedauert? War aber auch ein langsameres NAS. DANKE

[Schtallone]

@dp20eic
so ich habe es geschafft, auch den NI Wert anzeigen zu lassen. Dazu musste ich eine mod. Version von top (nennt sich htop) auf dem NAS installieren.

[~] # htop

  1  [||||||#########################***********************               70.3%]   Tasks: 147, 559 thr; 2 running
  2  [|##############################************************              73.0%]   Load average: 1.97 2.24 2.26
  Mem[||||||||||||||#######################***********               1.34G/7.61G]   Uptime: 1 day, 06:46:06
  Swp[|                                                              2.27M/22.9G]

  PID USER      PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
 3441 admin      20   0 1326M 19396  9824 S 35.0  0.2  2h12:29 /sbin/hal_daemon -f
10860 admin      20   0  138M 17320 15580 R 28.5  0.2  0:00.47 manaRequest.cgi
 3521 admin      20   0 1326M 19396  9824 S 26.5  0.2 25:10.38 /sbin/hal_daemon -f
 3010 admin      20   0  2520  2288   964 S  7.1  0.0  0:09.03 /share/CACHEDEV1_DATA/.qpkg/IOTop/iotop
 3011 admin      20   0  2524  2288   964 S  5.8  0.0  0:09.86 /share/CACHEDEV1_DATA/.qpkg/IOTop/iotop
24282 admin      20   0  1876  1684   964 S  4.5  0.0  0:55.24 iotop
 8086 admin      20   0  2204  1840   356 R  2.6  0.0  0:01.35 htop
 3485 admin      20   0 1326M 19396  9824 S  2.6  0.2 33:27.30 /sbin/hal_daemon -f
 3501 admin      20   0 1326M 19396  9824 S  1.9  0.2  9:59.30 /sbin/hal_daemon -f
 3500 admin      20   0 1326M 19396  9824 S  1.9  0.2  9:55.69 /sbin/hal_daemon -f
 2117 admin      18  -2 2191M 20980  7800 S  1.3  0.3  0:12.31 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
 3490 admin      20   0 1326M 19396  9824 S  0.6  0.2 11:26.21 /sbin/hal_daemon -f
 3494 admin      20   0 1326M 19396  9824 S  0.6  0.2  1:00.04 /sbin/hal_daemon -f
 3496 admin      20   0 1326M 19396  9824 S  0.6  0.2  3:42.68 /sbin/hal_daemon -f
 2350 admin      18  -2 2191M 20980  7800 S  0.6  0.3  0:00.25 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
29203 admin      20   0 20692  4440  3000 S  0.6  0.1  1:16.65 /bin/sh /sbin/qdesk_soldier
 3499 admin      20   0 1326M 19396  9824 S  0.0  0.2  9:55.88 /sbin/hal_daemon -f
 3484 admin      20   0 1326M 19396  9824 S  0.0  0.2  6:47.56 /sbin/hal_daemon -f
10394 admin      20   0  222M 15704  6584 S  0.0  0.2  2:24.91 /mnt/ext/opt/Python/bin/python2 /sbin/wsd.py
 8493 admin      20   0  219M 18392  3256 S  0.0  0.2  1:40.32 python /usr/local/network/nmd/nmd.pyc
 4487 admin      20   0  311M  1156   384 S  0.0  0.0  0:39.50 /sbin/lvmetad
22971 admin      20   0 18360  2276  2108 S  0.0  0.0  1:12.35 /sbin/gen_bandwidth -r
23792 admin      20   0  152M  4868  3756 S  0.0  0.1  0:01.76 qNoticeEngined: Write notice is enabled...
 3480 admin      20   0 1326M 19396  9824 S  0.0  0.2  5:46.24 /sbin/hal_daemon -f
22665 admin      20   0 84952  2348  2072 S  0.0  0.0  2:38.81 /sbin/rfsd -i -f /etc/rfsd.conf
22664 admin      20   0 84952  2348  2072 S  0.0  0.0  2:38.81 /sbin/rfsd -i -f /etc/rfsd.conf
 3476 admin      20   0 1326M 19396  9824 S  0.0  0.2  1:59.95 /sbin/hal_daemon -f
 3486 admin      20   0 1326M 19396  9824 S  0.0  0.2  1:54.84 /sbin/hal_daemon -f
19651 admin      20   0 16180  2456  2220 S  0.0  0.0  0:02.12 top
 8545 admin      20   0  222M 20404  5784 S  0.0  0.3  2:30.69 python /usr/local/network/nmd/nmd.pyc
21946 guest      20   0 30660  3224  2564 S  0.0  0.0  2:53.21 avahi-daemon: running [QNAP-TS251D.local]
11426 admin      20   0 74752  7956  6944 S  0.0  0.1  0:40.08 /sbin/vdd_control -d
 8495 admin      20   0  219M 18392  3256 S  0.0  0.2  1:27.91 python /usr/local/network/nmd/nmd.pyc
 3487 admin      20   0 1326M 19396  9824 S  0.0  0.2  2:57.89 /sbin/hal_daemon -f
28830 admin      20   0 14812  4596  3148 S  0.0  0.1  0:00.80 /share/CACHEDEV1_DATA/.qpkg/IOTop/gottyIO -p 18986 -w /share/CACHEDEV1_DATA/.qpkg/IOTop/iotop
 2372 admin      18  -2 2191M 20980  7800 S  0.0  0.3  0:00.66 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
30634 admin      20   0 88172  9760  8592 S  0.0  0.1  0:00.20 sshd: admin@pts/2
 2365 admin      18  -2 2191M 20980  7800 S  0.0  0.3  0:00.20 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
10454 admin      20   0  222M 15704  6584 S  0.0  0.2  1:19.57 /mnt/ext/opt/Python/bin/python2 /sbin/wsd.py
 7597 admin      20   0 41708  3752  2456 S  0.0  0.0  1:32.50 /mnt/ext/opt/netmgr/util/redis/redis-server *:0
 9830 admin      20   0  441M 40184  9108 S  0.0  0.5  2:37.13 /mnt/ext/opt/Python/bin/python /mnt/ext/opt/netmgr/api service ip_monitor start
16150 admin      20   0  176M  8036  5684 S  0.0  0.1  0:03.79 /usr/local/apache/bin/apache -k start -c PidFile /var/lock/apache.pid -f /etc/config/apache/apache.conf
26141 admin      20   0  857M 51668  4504 S  0.0  0.6  0:13.25 /usr/local/mariadb/bin/mysqld --defaults-file=/etc/qcoolie-mariadb.cnf --basedir=/usr/local/mariadb --data
 3497 admin      20   0 1326M 19396  9824 S  0.0  0.2  2:38.69 /sbin/hal_daemon -f
10470 admin      20   0  222M 15704  6584 S  0.0  0.2  1:03.52 /mnt/ext/opt/Python/bin/python2 /sbin/wsd.py
18490 admin      20   0 90188  5640  3848 S  0.0  0.1  0:44.02 /usr/local/sbin/_thttpd_ -p 58080 -nor -nos -u admin -d /home/httpd -c **.* -h 127.0.0.1 -i /var/lock/._th
22811 admin      20   0  196M 17292 14908 S  0.0  0.2  0:21.93 /sbin/bcclient
 2367 admin      18  -2 2191M 20980  7800 S  0.0  0.3  0:00.22 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
 2356 admin      18  -2 2191M 20980  7800 S  0.0  0.3  0:00.11 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
 2317 admin      18  -2 2191M 20980  7800 S  0.0  0.3  0:00.22 /usr/local/apache/bin/apache_proxy -k start -f /etc/apache-sys-proxy.conf
 8554 admin      20   0  163M  2760  2544 S  0.0  0.0  0:16.68 /usr/local/bin/rates_monitor_start
11416 admin      20   0  4408  1488  1392 S  0.0  0.0  0:02.04 /sbin/iscsid --config=/etc/config/iscsi/sbin/iscsid.conf --initiatorname=/etc/iscsi/initiatorname.iscsi
 3493 admin      20   0 1326M 19396  9824 S  0.0  0.2  1:23.23 /sbin/hal_daemon -f
20813 admin      20   0  162M  4872  3644 S  0.0  0.1  0:56.51 /usr/local/bin/hda_qmonitor -pid:24141 -reg:/mnt/HDA_ROOT -client:hda_qmonitor -filter:0x6763 -b -m
23781 admin      20   0  227M  5648  4576 S  0.0  0.1  0:02.25 /sbin/qShield
22812 admin      20   0  196M 17292 14908 S  0.0  0.2  0:21.80 /sbin/bcclient
 3488 admin      20   0 1326M 19396  9824 S  0.0  0.2  0:30.67 /sbin/hal_daemon -f
22075 admin      20   0  104M 12144  6384 S  0.0  0.2  1:04.63 /usr/local/bin/snmpd -c /etc/config/snmpd.conf -p 161
 3483 admin      20   0 1326M 19396  9824 S  0.0  0.2  2:09.00 /sbin/hal_daemon -f
F1Help  F2Setup F3SearchF4FilterF5Tree  F6SortByF7Nice -F8Nice +F9Kill  F10Quit

[A Former User]

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

@dp20eic
so ich habe es geschafft, auch den NI Wert anzeigen z

Moin,

was ist hal_deamon der nutzt 35 % und läuft x mal, auch manaRequest.cgi verbrät da viel CPU Zeit, das ist aber QNAP spezifisch, das müsste das Health Center, oder wie das bei QNAP heißt sein, für ein Paar bunte Bilder, ganz schön viel.

Also Du solltest noch mal schauen was im syslog steht, das durch rsyslog geschrieben wird.
Dann würde ich erst einmal die Baustelle mit der defekten Platte, was genau sagt den S.M.A.R.T genau zur Platte, beheben und dann schauen ob der ´load` auf einem akzeptablen Niveau ist.

VG
Bernd

[Schtallone]

@dp20eic said in Performance Probleme durch Shelly Adapter?:

@schtallone sagte in Performance Probleme durch Shelly Adapter?:

@dp20eic

so ich habe es geschafft, auch den NI Wert anzeigen z

Moin,

was ist hal_deamon der nutzt 35 % und läuft x mal, auch manaRequest.cgi verbrät da viel CPU Zeit, das ist aber QNAP spezifisch, das müsste das Health Center, oder wie das bei QNAP heißt sein, für ein Paar bunte Bilder, ganz schön viel.

ich habe das zu hal_deamon gefunden, kann aber nicht wirklich etwas damit anfangen, weil...--> keine Ahnung.
https://linux.die.net/man/8/hald
https://github.com/guedou/TS-453Be/blob/master/doc/reversing.md

Also Du solltest noch mal schauen was im syslog steht, das durch rsyslog geschrieben wird.

SInd das auch Befehle unter LINUX? Beide gehen auf der QNAP nicht bzw. müssten dann erst noch installiert werden. MElde ich mich morgen dann zu.

Dann würde ich erst einmal die Baustelle mit der defekten Platte, was genau sagt den S.M.A.R.T genau zur Platte, beheben und dann schauen ob der ´load` auf einem akzeptablen Niveau ist.

Das sagt S.M.A.R.T

Ich werde, nachdem die neue Festplatte drin ist und alles synchronisiert ist, wieder die loads genauer beoabachten und hier berichten.

VG
Bernd

[Frederik Buss]

@schtallone Hast Du die Installation von dem GitHub Link befolgt, die Du angegeben hast? Ehrlich gesagt sieht mir das nach "Bastellösung" aus, die ich mich nicht trauen würde für einen SmartHome Server produktiv einzusetzen. Wenn man wirklich tief in Linux zu Hause ist (bin ich nicht), dann vielleicht...
Der HAL Deamon jedenfalls ist anscheinend auf der Orginaldistribution allgemein für die Verbindung der Peripherie zuständig. Im Github wird dann ein Teil davon für die Lüftersteuerung separat in einen anderen Prozess ausgelagert. Und da hörts auch bei mir auf. Der HAL Daemon läuft ja offensichtlich noch - soll das so sein? Kollidieren hier HAL-Deamon und das neu erstellte HAL-Event? Im Orginalsystem ist das wohl dasselbe, aber auch im veränderten? Unabhängig wie das mit der neuen Platte ausgeht, würde ich wirklich drüber nachdenken, das Produktivsystem grundsätzlich anders aufzusetzen, sprich separate Hardware (Ich glaube das wurde auch schon einige Male hier angemerkt...?). Dann würden auch die "komischen" Prozesse wie der JDownloader (Gibts den wirklich noch? Wofür nutzt mal den heutzutage?) keinen Schaden mehr anrichten.