ioBroker hängt Sekunden, keine Daten auf Admin
-
Jetzt hatte ich wieder das Problem dass für ein paar Sekunden gar nichts ging.
Konnte noch schnell einen Screenshot machen vontop:
Heißt das, dass ein Skript ein Problem verursacht?
Soll ich ein paar Skripe deaktivieren oder wie soll ich am Besten vorgehen?Ein paar Minuten später läuft alles wieder soweit normaler:
top - 16:46:21 up 1 day, 3:44, 2 users, load average: 1,23, 1,75, 1,58 Tasks: 208 total, 3 running, 205 sleeping, 0 stopped, 0 zombie %CPU(s): 26,5 us, 9,1 sy, 0,0 ni, 63,6 id, 0,2 wa, 0,0 hi, 0,6 si, 0,0 st MiB Spch: 7811,3 total, 652,2 free, 4625,8 used, 2533,3 buff/cache MiB Swap: 100,0 total, 100,0 free, 0,0 used. 3062,5 avail Spch PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 703 iobroker 20 0 5822236 787896 45280 R 29,4 9,9 504:18.82 iobroker.js-con 467160 iobroker 20 0 1500968 692728 44248 R 24,1 8,7 163:35.52 io.javascript.0 1104 iobroker 20 0 788364 125156 37476 S 5,6 1,6 66:21.66 io.influxdb.0 468 pi 20 0 8152 4784 2868 S 5,0 0,1 10:33.35 wetterstation.s 552 influxdb 20 0 1214900 175696 58600 S 5,0 2,2 13:06.26 influxd 1033 iobroker 20 0 776676 112224 37376 S 4,0 1,4 59:42.30 io.history.0 1461 iobroker 20 0 722504 139548 37868 S 3,3 1,7 8:39.42 io.simple-api.0 484617 iobroker 20 0 5200928 163760 45772 S 2,3 2,0 15:53.48 io.tuya.0 1145 iobroker 20 0 1075628 217904 40372 S 1,3 2,7 5:10.94 node-red 1706 iobroker 20 0 682804 74960 37220 S 1,3 0,9 1:32.78 io.vis-inventwo 1213 iobroker 20 0 687572 86152 37328 S 1,0 1,1 6:43.72 io.ping.0 1514 iobroker 20 0 790740 119808 43260 S 1,0 1,5 8:37.55 io.statistics.0 1523 iobroker 20 0 5143712 84288 40000 S 0,7 1,1 1:39.12 io.switchbot-hu 1689 iobroker 20 0 696044 94996 37468 S 0,7 1,2 4:32.46 io.wled.0 826455 iobroker 20 0 5159964 99796 41900 S 0,7 1,2 1:05.30 io.ecovacs-deeb 968213 root 20 0 0 0 0 I 0,7 0,0 0:00.27 kworker/3:2-events_freezable 15 root 20 0 0 0 0 I 0,3 0,0 2:28.84 rcu_preempt 25 root 20 0 0 0 0 S 0,3 0,0 0:07.49 ksoftirqd/2 99 root -51 0 0 0 0 S 0,3 0,0 3:21.12 irq/38-mmc0 103 root 20 0 0 0 0 S 0,3 0,0 0:13.97 jbd2/sda2-8 702 grafana 20 0 1613096 145692 100608 S 0,3 1,8 3:44.93 grafana 1130 iobroker 20 0 963504 99072 38476 S 0,3 1,2 4:01.82 io.alexa2.1 1486 iobroker 20 0 797584 127864 37412 S 0,3 1,6 16:44.21 io.sourceanalyt 1534 iobroker 20 0 1020232 176832 38656 S 0,3 2,2 3:38.46 io.tankerkoenig 1661 iobroker 20 0 1096512 247264 38744 S 0,3 3,1 11:17.94 io.web.0 1742 iobroker 20 0 2796844 97052 38044 S 0,3 1,2 5:56.90 io.homekit-cont 904593 pi 20 0 16060 4884 3636 S 0,3 0,1 0:09.70 sshd 904605 pi 20 0 10380 3628 2876 R 0,3 0,0 0:36.75 top 966982 root 20 0 0 0 0 I 0,3 0,0 0:00.10 kworker/0:0-events 1 root 20 0 164920 10420 7664 S 0,0 0,1 0:03.17 systemd 2 root 20 0 0 0 0 S 0,0 0,0 0:00.16 kthreadd 3 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 rcu_gp 4 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 rcu_par_gp 5 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 slub_flushwq 6 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 netns 8 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kworker/0:0H-events_highpri 10 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 mm_percpu_wq 11 root 20 0 0 0 0 I 0,0 0,0 0:00.00 rcu_tasks_kthread 12 root 20 0 0 0 0 I 0,0 0,0 0:00.00 rcu_tasks_rude_kthread 13 root 20 0 0 0 0 I 0,0 0,0 0:00.00 rcu_tasks_trace_kthread 14 root 20 0 0 0 0 S 0,0 0,0 0:21.71 ksoftirqd/0 16 root rt 0 0 0 0 S 0,0 0,0 0:00.22 migration/0 17 root 20 0 0 0 0 S 0,0 0,0 0:00.00 cpuhp/0 18 root 20 0 0 0 0 S 0,0 0,0 0:00.00 cpuhp/1 19 root rt 0 0 0 0 S 0,0 0,0 0:00.21 migration/1 20 root 20 0 0 0 0 S 0,0 0,0 0:07.73 ksoftirqd/1 22 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kworker/1:0H-kblockd 23 root 20 0 0 0 0 S 0,0 0,0 0:00.00 cpuhp/2 24 root rt 0 0 0 0 S 0,0 0,0 0:00.21 migration/2 27 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kworker/2:0H-kblockd 28 root 20 0 0 0 0 S 0,0 0,0 0:00.00 cpuhp/3 29 root rt 0 0 0 0 S 0,0 0,0 0:00.23 migration/3 30 root 20 0 0 0 0 S 0,0 0,0 0:07.68 ksoftirqd/3 32 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kworker/3:0H-events_highpri 33 root 20 0 0 0 0 S 0,0 0,0 0:00.01 kdevtmpfs 34 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 inet_frag_wq 36 root 20 0 0 0 0 S 0,0 0,0 0:00.00 kauditd 38 root 20 0 0 0 0 S 0,0 0,0 0:00.14 khungtaskd 40 root 20 0 0 0 0 S 0,0 0,0 0:00.00 oom_reaper 41 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 writeback 42 root 20 0 0 0 0 S 0,0 0,0 0:08.38 kcompactd0 43 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kintegrityd 44 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kblockd 45 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 blkcg_punt_bio 46 root -51 0 0 0 0 S 0,0 0,0 0:00.00 watchdogd 49 root 0 -20 0 0 0 I 0,0 0,0 0:02.29 kworker/3:1H-kblockd 50 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 rpciod 51 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 xprtiod 55 root 20 0 0 0 0 S 0,0 0,0 0:00.40 kswapd0 56 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 nfsiod 57 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kthrotld 65 root 20 0 0 0 0 S 0,0 0,0 0:00.05 hwrng 66 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 iscsi_conn_clea 67 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 nvme-wq 68 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 nvme-reset-wq 69 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 nvme-delete-wq 71 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 DWC Notificatio 72 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 uas 73 root 1 -19 0 0 0 S 0,0 0,0 0:00.02 vchiq-slot/0 74 root 1 -19 0 0 0 S 0,0 0,0 0:00.00 vchiq-recy/0 75 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 vchiq-sync/0 76 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 zswap-shrink 77 root 0 -20 0 0 0 I 0,0 0,0 0:00.04 kworker/u9:0-hci0 98 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 sdhci 100 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_0 101 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 scsi_tmf_0 -
@domi920 sagte in ioBroker hängt Sekunden, keine Daten auf Admin:
Soll ich ein paar Skripe deaktivieren oder wie soll ich am Besten vorgehen?
Die Antwort hat Dir @Wildbill hier geliefert
https://forum.iobroker.net/topic/71243/iobroker-hängt-sekunden-keine-daten-auf-admin/55
-
@domi920 sagte in ioBroker hängt Sekunden, keine Daten auf Admin:
Heißt das, dass ein Skript ein Problem verursacht?
sehr gut möglich!
@domi920 sagte in ioBroker hängt Sekunden, keine Daten auf Admin:
wie soll ich am Besten vorgehen?
Vielleicht kannst du es eingrenzen und abschätzen welches Skript (oder Instanz) zu dueser Zeit gestartet ist
Die load average der letzten Minute liegt wieder über 3, die von 5 Minuten >2 und die von 10 Minuten noch bei 1.5
Wenn sich da irgendwas hochschaukelt kann der Start auch schon etwas länger her sein (2-5 Minuten) -
@homoran ich werde jetzt mal genauer sehen wann die CPU Last so hoch ist.
Irgendwas muss die Last verursachen...Ich schreibe hier weiter wenn ich was gefunden habe...
PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL 703 iobroker 20 0 5811432 813332 45344 R 95,4 10,2 598:41.37 iobroker.js-con 467160 iobroker 20 0 1503820 695632 44248 R 59,7 8,7 232:15.80 io.javascript.0 484617 iobroker 20 0 5283660 280340 45772 R 53,5 3,5 35:28.99 io.tuya.0 1033 iobroker 20 0 772704 137492 37376 R 15,5 1,7 73:58.17 io.history.0 1104 iobroker 20 0 791372 129784 37476 R 11,2 1,6 78:54.10 io.influxdb.0Komisch ist allerdings dass auch dass teilweise tuya, zigbee, history oder so auch dabei sind....
wenn es an einen Skript liegt dann wäre es logisch wenn nur ein Adapter hochgehen würde von der Last... -
@domi920 möglich ist auch dass du in das pi4-usb3 Problem rennst.
Es gibt da hochfrequente Störungen zwischen CPU und USB3
Das führt zu Problemen im I_O.
Da bei dir eine USB-Platte dranhängt kann dann da möglicherweise der Traffic drunter leiden, was auch die Load hochtreibt. -
Ich hatte zu meinen Raspberry Zeiten auch Probleme mit der externen SSD.
Das System ist regelmäßig abgestürzt als sie Platte am USB 3 hing. Auch mit aktiven USB Hub.Am USB 2 lief dann alles wunderbar.
Und wirklich langsamer ist das System davon auch nicht geworden. -
@homoran Ja der hängt tatsächlich am USB 3.0 Port. Aber das tut es schon seit über nen halben Jahr ohne Probleme.
Ich werde mir das auf jeden Fall merken und auch testen wenn ich weiter nichts finde. -
@david-g Wenn sich weiter nichts findet werde ich das tatsächlich auch noch probieren
-
Habe jetzt aktuell mal den Tuya Adapter auf Debug gestellt. Weil dieser Adapter geht meist parallel von der Auslastung hoch.
Mal sehen wenn der Fehler wieder auftritt. Dazu lasse ich einen Eintrag im Log erstellen & mir eine Telegram Nachricht mit den Auslastungen schicken. -
Ich vermute eher wie schon von andern erwähnt , das ein Script Amok läuft .
Einzeln die Scripte abschalten und warten bringt nicht´s ..
Vorschlag:
Erstmal den Javascript Adapter ausklammern , also diesen dann ausschalten und erstmal so lassen.
Dann alle Adapter ausschalten bis auf den Admin , dann dein System neu rebooten .
Danach wenn alles hochgefahren ist , nach und nach ( nicht alle hintereinander ) auch beobachten wie sich dein System verhält bei jedem Adapter einschalten .Wenn alles läuft wie es sein sollte , kann man mit dem Javascript Adapter ( Scripte ) weiter machen .
-
@glasfaser das komische ist, dass die hohe Auslastung nur immer wieder mal auftritt, manchmal jede halbe Stunde, manchmal aber auch fehlt Stundenlang gar nichts.
Wenn es immer so wäre wenn was bestimmtes passiert (Skript(e) wird wegen irgendwas abgearbeitet) dann wäre es relativ einfach zum herausfinden.Ich kann schon alle Adapter ausschalten & einen reboot machen und langsam alle Adapter hinzuschalten, aber das wird wahrscheinlich nichts bringen weil es ja keine permanente Störung ist. Weißt was ich meine?
Seit mehr als 7 Stunden läuft alles wieder normal, also mit ca. 20 - 30 % CPU Auslastung.
Weil der Tuya Adapter meist auch so hohe Auslastung hat, werde ich vermehrt mal einen Blick drauf werfen was im Protokoll steht. Nur bei Log Stufe Info konnte ich nichts rauslesen.
Meine Vermutung wäre eben dass der Tuya Adapter irgendwas macht & darauf meine Skripte was machen. Aber ist nur eine Vermutung die auch völlig falsch sein kann.Danke für eure ganzen Tipps & Ratschläge!
Was mir noch eingefallen ist, wenn es an einen einzelnen Skript liegt könnte auch vll die Fehlermeldung kommen:
javascript.0 (624868) Script script.js.Erdgeschoss.Küche.Ansteuerung_Lampen_alle is calling setState more than 1000 times per minute! Stopping Script now! Please check your script! -
Nun sind einige Tage vergangen & ich habe einen großen Übeltäter gefunden:
Tuya Adapter.
Meine Beobachtung war folgende, dass die Cloud Abfrage Probleme machte.
Diese habe ich deaktiviert, außerdem habe ich den Haken gesetzt bei:Sollen die App Cloud-Daten (Device-ID,
Session und andere Meta-Daten)
erneuert werden?Als Ergebnis habe ich nun nur noch selten (maximal wenige male im Tag) eine Auslastung von ca. 30% bei den Tuya Adapter und das auch nur für wenige Sekunden.
Gefühlt bin ich schon einen Schritt weiter, dennoch gibt es wenige male im Tag eine Host CPU Auslastung von mehr als 100%.
Dabei ist aber der Javascript Adapter nicht höher als 20 - 30%.
Ich gehe also davon aus, dass es nicht an meinen Skripten liegt.Jetzt aber brauche ich bitte nochmal eure Hilfe:
Ich lasse mir eine Telegram Nachricht senden, wenn die CPU Last vom Host größer als 70% ist.
Es wäre noch interessant welcher Adapter für einige Sekunden so eine hohe Last hat.
Wäre es möglich mit Hilfe eines Skriptes folgende Struktur zu überwachen:system.adapter.x.x.cpuWenn einer dieser CPU Werte größer als z. B. 30 % ist, sollte dieser Adapter mit seiner CPU Last in einer Telegram Nachricht versendet werden. bzw. die Werte natürlich.
So könnte ich herausfinden welcher Adapter so viel CPU benötigt.
Wie kann man dazu ein Skript schreiben? -
Update:
Mittlerweile gab es ein Update vom Tuya Adapter. Das Problem tritt aktuell nicht mehr auf. Ob dies mit dem Update im Zusammenhang steht oder nicht weiß ich nicht.Die CPU Last ist mittlerweile in Ordnung und nicht öfters über 100%.
Außer es starten Adapter die z. B. Die Tankpreise alle 4 Stunden oder so abrufen.Danke für eure großartige Hilfe!
Gruß Dominik
