NEWS
[gelöst] Hohe Schreibaktivitäten am iobroker
-
@m-schalk du hast viele Meldungen zum Thema
Messages concerning ext4 filesystem in dmesg:
Ich kann dir leider nicht sagen, was die Meldungen als Ursache haben.Dein history Ordner ist 7 GB groß und auch das var/log vom Betriebssystem ist mit 4gb sehr groß.
Deaktiviere Mal den history adapter und schau wie sich das System verhält. Prüfe auch deine Datenpunkte was du in welchem Intervall loggst.
Wo liegt die influx Datenbank? Auf dem gleichen system?
@feuersturm said in Hohe Schreibaktivitäten am iobroker:
@m-schalk du hast viele Meldungen zum Thema
Messages concerning ext4 filesystem in dmesg:
Ich kann dir leider nicht sagen, was die Meldungen als Ursache haben.Dein history Ordner ist 7 GB groß und auch das var/log vom Betriebssystem ist mit 4gb sehr groß.
Deaktiviere Mal den history adapter und schau wie sich das System verhält. Prüfe auch deine Datenpunkte was du in welchem Intervall loggst.
Wo liegt die influx Datenbank? Auf dem gleichen system?
Die Influx liegt wo anders, den History Adapter räume ich mal auf, allederings hat es bisher keinen Einfluß auf die Schreibtätigkeit.
Sonst noch Ideen?
-
@feuersturm said in Hohe Schreibaktivitäten am iobroker:
@m-schalk du hast viele Meldungen zum Thema
Messages concerning ext4 filesystem in dmesg:
Ich kann dir leider nicht sagen, was die Meldungen als Ursache haben.Dein history Ordner ist 7 GB groß und auch das var/log vom Betriebssystem ist mit 4gb sehr groß.
Deaktiviere Mal den history adapter und schau wie sich das System verhält. Prüfe auch deine Datenpunkte was du in welchem Intervall loggst.
Wo liegt die influx Datenbank? Auf dem gleichen system?
Die Influx liegt wo anders, den History Adapter räume ich mal auf, allederings hat es bisher keinen Einfluß auf die Schreibtätigkeit.
Sonst noch Ideen?
@m-schalk sagte in Hohe Schreibaktivitäten am iobroker:
Sonst noch Ideen?
Wie auch, hast ja das Ergebnis von
topnoch immer nicht gezeigt. -
@m-schalk sagte in Hohe Schreibaktivitäten am iobroker:
Sonst noch Ideen?
Wie auch, hast ja das Ergebnis von
topnoch immer nicht gezeigt.@meister-mopper said in Hohe Schreibaktivitäten am iobroker:
@m-schalk sagte in Hohe Schreibaktivitäten am iobroker:
Sonst noch Ideen?
Wie auch, hast ja das Ergebnis von
topnoch immer nicht gezeigt.Hallo Meister-mopper, anbei der TOP Auszug.
top - 08:05:43 up 13:06, 1 user, load average: 7.72, 4.88, 3.53 Tasks: 60 total, 1 running, 59 sleeping, 0 stopped, 0 zombie %Cpu(s): 30.9 us, 12.8 sy, 0.0 ni, 50.3 id, 4.7 wa, 0.0 hi, 1.3 si, 0.0 st MiB Mem : 8192.0 total, 3783.4 free, 3773.8 used, 634.9 buff/cache MiB Swap: 7760.0 total, 7227.8 free, 532.2 used. 4418.2 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1226 iobroker 20 0 21.4g 220468 46848 S 15.9 2.6 133:56.97 io.web.0 808 iobroker 20 0 21.1g 159384 50048 S 10.6 1.9 157:09.64 io.shelly.0 426 iobroker 20 0 21.6g 474444 50816 D 8.6 5.7 205:08.63 iobroker.js-con 235 redis 20 0 939884 187004 9344 S 6.3 2.2 68:53.92 redis-server 77999 iobroker 20 0 21.1g 143324 50432 S 5.3 1.7 7:09.31 io.shelly.1 535 iobroker 20 0 21.3g 414704 50048 S 3.0 4.9 38:42.61 io.javascript.0 500 iobroker 20 0 21.1g 141500 45312 S 2.7 1.7 28:42.33 io.influxdb.0 474 iobroker 20 0 21.0g 95884 44672 S 2.3 1.1 24:34.54 io.history.0 844 iobroker 20 0 21.3g 147084 51456 S 1.0 1.8 1:09.11 io.tuya.0 696 iobroker 20 0 21.0g 92612 44800 S 0.7 1.1 1:46.87 io.mqtt.0 232 grafana 20 0 1621988 75456 23680 S 0.3 0.9 1:12.34 grafana 614 iobroker 20 0 21.0g 96740 49792 S 0.3 1.2 3:11.49 io.device-watch 860 iobroker 20 0 21.0g 107276 45440 S 0.3 1.3 3:08.22 io.yahka.0 936 iobroker 20 0 21.0g 81820 44928 S 0.3 1.0 2:57.40 io.energiefluss 958 iobroker 20 0 21.0g 77588 44800 S 0.3 0.9 2:02.99 io.energiefluss 1011 iobroker 20 0 21.1g 100212 46080 S 0.3 1.2 0:24.12 io.iot.0 1031 iobroker 20 0 21.1g 122148 51200 S 0.3 1.5 4:12.21 io.linkeddevice 1096 iobroker 20 0 21.2g 89032 46592 S 0.3 1.1 0:49.04 io.slideshow.0 1136 iobroker 20 0 21.0g 91580 43904 S 0.3 1.1 12:17.99 io.sourceanalyt 99840 mario 20 0 8940 5248 3200 R 0.3 0.1 0:00.03 top 1 root 20 0 21500 12160 9088 S 0.0 0.1 0:00.68 systemd 49 root 19 -1 83788 25192 23920 S 0.0 0.3 0:12.12 systemd-journal 99 systemd+ 20 0 18852 7296 7040 S 0.0 0.1 0:00.12 systemd-network 132 _rpc 20 0 7968 3712 3456 S 0.0 0.0 0:00.05 rpcbind 136 systemd+ 20 0 21456 11520 9984 S 0.0 0.1 0:00.30 systemd-resolve 229 root 20 0 3808 2176 2048 S 0.0 0.0 0:00.10 cron 230 message+ 20 0 9532 4864 4480 S 0.0 0.1 0:00.06 dbus-daemon 233 root 20 0 29416 5504 5248 S 0.0 0.1 0:00.24 networkd-dispat 240 root 20 0 17880 8064 7552 S 0.0 0.1 0:00.15 systemd-logind 244 root 20 0 2732 1536 1536 S 0.0 0.0 0:00.00 agetty 245 root 20 0 6956 4412 3840 S 0.0 0.1 0:00.11 login 254 root 20 0 2732 1664 1664 S 0.0 0.0 0:00.00 agetty 267 syslog 20 0 222508 4736 3840 S 0.0 0.1 0:02.54 rsyslogd 412 root 20 0 42856 4500 4224 S 0.0 0.1 0:00.16 master 414 postfix 20 0 43344 7424 6912 S 0.0 0.1 0:00.03 qmgr 458 iobroker 20 0 21.4g 243488 51456 S 0.0 2.9 5:42.57 io.admin.0 565 iobroker 20 0 21.0g 84344 50176 S 0.0 1.0 0:19.61 io.alarm.0 -
@meister-mopper said in Hohe Schreibaktivitäten am iobroker:
@m-schalk sagte in Hohe Schreibaktivitäten am iobroker:
Sonst noch Ideen?
Wie auch, hast ja das Ergebnis von
topnoch immer nicht gezeigt.Hallo Meister-mopper, anbei der TOP Auszug.
top - 08:05:43 up 13:06, 1 user, load average: 7.72, 4.88, 3.53 Tasks: 60 total, 1 running, 59 sleeping, 0 stopped, 0 zombie %Cpu(s): 30.9 us, 12.8 sy, 0.0 ni, 50.3 id, 4.7 wa, 0.0 hi, 1.3 si, 0.0 st MiB Mem : 8192.0 total, 3783.4 free, 3773.8 used, 634.9 buff/cache MiB Swap: 7760.0 total, 7227.8 free, 532.2 used. 4418.2 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1226 iobroker 20 0 21.4g 220468 46848 S 15.9 2.6 133:56.97 io.web.0 808 iobroker 20 0 21.1g 159384 50048 S 10.6 1.9 157:09.64 io.shelly.0 426 iobroker 20 0 21.6g 474444 50816 D 8.6 5.7 205:08.63 iobroker.js-con 235 redis 20 0 939884 187004 9344 S 6.3 2.2 68:53.92 redis-server 77999 iobroker 20 0 21.1g 143324 50432 S 5.3 1.7 7:09.31 io.shelly.1 535 iobroker 20 0 21.3g 414704 50048 S 3.0 4.9 38:42.61 io.javascript.0 500 iobroker 20 0 21.1g 141500 45312 S 2.7 1.7 28:42.33 io.influxdb.0 474 iobroker 20 0 21.0g 95884 44672 S 2.3 1.1 24:34.54 io.history.0 844 iobroker 20 0 21.3g 147084 51456 S 1.0 1.8 1:09.11 io.tuya.0 696 iobroker 20 0 21.0g 92612 44800 S 0.7 1.1 1:46.87 io.mqtt.0 232 grafana 20 0 1621988 75456 23680 S 0.3 0.9 1:12.34 grafana 614 iobroker 20 0 21.0g 96740 49792 S 0.3 1.2 3:11.49 io.device-watch 860 iobroker 20 0 21.0g 107276 45440 S 0.3 1.3 3:08.22 io.yahka.0 936 iobroker 20 0 21.0g 81820 44928 S 0.3 1.0 2:57.40 io.energiefluss 958 iobroker 20 0 21.0g 77588 44800 S 0.3 0.9 2:02.99 io.energiefluss 1011 iobroker 20 0 21.1g 100212 46080 S 0.3 1.2 0:24.12 io.iot.0 1031 iobroker 20 0 21.1g 122148 51200 S 0.3 1.5 4:12.21 io.linkeddevice 1096 iobroker 20 0 21.2g 89032 46592 S 0.3 1.1 0:49.04 io.slideshow.0 1136 iobroker 20 0 21.0g 91580 43904 S 0.3 1.1 12:17.99 io.sourceanalyt 99840 mario 20 0 8940 5248 3200 R 0.3 0.1 0:00.03 top 1 root 20 0 21500 12160 9088 S 0.0 0.1 0:00.68 systemd 49 root 19 -1 83788 25192 23920 S 0.0 0.3 0:12.12 systemd-journal 99 systemd+ 20 0 18852 7296 7040 S 0.0 0.1 0:00.12 systemd-network 132 _rpc 20 0 7968 3712 3456 S 0.0 0.0 0:00.05 rpcbind 136 systemd+ 20 0 21456 11520 9984 S 0.0 0.1 0:00.30 systemd-resolve 229 root 20 0 3808 2176 2048 S 0.0 0.0 0:00.10 cron 230 message+ 20 0 9532 4864 4480 S 0.0 0.1 0:00.06 dbus-daemon 233 root 20 0 29416 5504 5248 S 0.0 0.1 0:00.24 networkd-dispat 240 root 20 0 17880 8064 7552 S 0.0 0.1 0:00.15 systemd-logind 244 root 20 0 2732 1536 1536 S 0.0 0.0 0:00.00 agetty 245 root 20 0 6956 4412 3840 S 0.0 0.1 0:00.11 login 254 root 20 0 2732 1664 1664 S 0.0 0.0 0:00.00 agetty 267 syslog 20 0 222508 4736 3840 S 0.0 0.1 0:02.54 rsyslogd 412 root 20 0 42856 4500 4224 S 0.0 0.1 0:00.16 master 414 postfix 20 0 43344 7424 6912 S 0.0 0.1 0:00.03 qmgr 458 iobroker 20 0 21.4g 243488 51456 S 0.0 2.9 5:42.57 io.admin.0 565 iobroker 20 0 21.0g 84344 50176 S 0.0 1.0 0:19.61 io.alarm.0@m-schalk
Keine Ahnung, was da los ist.
CPU ist gemäß den dargestellten Prozessen nicht großartig belastet, allerdings zeigt der load etwas anderes.
Proxmox und HA
-
@m-schalk
Keine Ahnung, was da los ist.
CPU ist gemäß den dargestellten Prozessen nicht großartig belastet, allerdings zeigt der load etwas anderes.
@meister-mopper es gibt ein linux tool namens "iotop" - da funktioniert aber in der Regel nicht in LXC-Containern.... aus der Hypervisor shell aber schon - da sieht man dann auch die Prozesse der Container
https://www.thomas-krenn.com/de/wiki/Linux_I/O_Performance_Messungen_mit_iotop
root@pve:~# iotop -o -b -n 1 Total DISK READ: 0.00 B/s | Total DISK WRITE: 34.93 K/s Current DISK READ: 0.00 B/s | Current DISK WRITE: 104.80 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO COMMAND 3903119 be/4 root 0.00 B/s 17.47 K/s ?unavailable? dockerd -H fd:// --containerd=/run/containerd/containerd.sock 3904116 be/4 root 0.00 B/s 17.47 K/s ?unavailable? node index.js -
@meister-mopper es gibt ein linux tool namens "iotop" - da funktioniert aber in der Regel nicht in LXC-Containern.... aus der Hypervisor shell aber schon - da sieht man dann auch die Prozesse der Container
https://www.thomas-krenn.com/de/wiki/Linux_I/O_Performance_Messungen_mit_iotop
root@pve:~# iotop -o -b -n 1 Total DISK READ: 0.00 B/s | Total DISK WRITE: 34.93 K/s Current DISK READ: 0.00 B/s | Current DISK WRITE: 104.80 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO COMMAND 3903119 be/4 root 0.00 B/s 17.47 K/s ?unavailable? dockerd -H fd:// --containerd=/run/containerd/containerd.sock 3904116 be/4 root 0.00 B/s 17.47 K/s ?unavailable? node index.js@martinp said in Hohe Schreibaktivitäten am iobroker:
@meister-mopper es gibt ein linux tool namens "iotop" - da funktioniert aber in der Regel nicht in LXC-Containern.... aus der Hypervisor shell aber schon - da sieht man dann auch die Prozesse der Container
https://www.thomas-krenn.com/de/wiki/Linux_I/O_Performance_Messungen_mit_iotop
root@pve:~# iotop -o -b -n 1 Total DISK READ: 0.00 B/s | Total DISK WRITE: 34.93 K/s Current DISK READ: 0.00 B/s | Current DISK WRITE: 104.80 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO COMMAND 3903119 be/4 root 0.00 B/s 17.47 K/s ?unavailable? dockerd -H fd:// --containerd=/run/containerd/containerd.sock 3904116 be/4 root 0.00 B/s 17.47 K/s ?unavailable? node index.jsHallo zusammen
hier mal die Auswertung, liegt am iobroker.js-controller dauerhaft über 3 M/s
Was tun?
Total DISK READ: 0.00 B/s | Total DISK WRITE: 5.98 M/s Current DISK READ: 5.42 K/s | Current DISK WRITE: 6.12 M/s TID PRIO USER DISK READ DISK WRITE> COMMAND 2717 be/4 1000 0.00 B/s 5.89 M/s iobroker.js-controller 8449 be/4 100108 0.00 B/s 24.37 K/s bin/mongod --dbpath /usr/lib/unifi/data/db --port 27117~id --wiredTigerEngineConfigString=cache_size=256M [ftdc] 2183 be/3 root 0.00 B/s 18.96 K/s [jbd2/dm-19-8] 4719 be/4 100000 0.00 B/s 10.83 K/s systemd-journald 9089 be/4 100999 0.00 B/s 8.12 K/s influxd 1104 be/4 root 0.00 B/s 5.42 K/s pmxcfs 1111 be/4 root 0.00 B/s 5.42 K/s pmxcfs 1953 be/4 root 0.00 B/s 5.42 K/s pmxcfs 1747 be/4 100998 0.00 B/s 2.71 K/s pihole-FTL -f 5284 be/4 100000 0.00 B/s 2.71 K/s nmbd --foreground --no-process-group -
@martinp said in Hohe Schreibaktivitäten am iobroker:
@meister-mopper es gibt ein linux tool namens "iotop" - da funktioniert aber in der Regel nicht in LXC-Containern.... aus der Hypervisor shell aber schon - da sieht man dann auch die Prozesse der Container
https://www.thomas-krenn.com/de/wiki/Linux_I/O_Performance_Messungen_mit_iotop
root@pve:~# iotop -o -b -n 1 Total DISK READ: 0.00 B/s | Total DISK WRITE: 34.93 K/s Current DISK READ: 0.00 B/s | Current DISK WRITE: 104.80 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO COMMAND 3903119 be/4 root 0.00 B/s 17.47 K/s ?unavailable? dockerd -H fd:// --containerd=/run/containerd/containerd.sock 3904116 be/4 root 0.00 B/s 17.47 K/s ?unavailable? node index.jsHallo zusammen
hier mal die Auswertung, liegt am iobroker.js-controller dauerhaft über 3 M/s
Was tun?
Total DISK READ: 0.00 B/s | Total DISK WRITE: 5.98 M/s Current DISK READ: 5.42 K/s | Current DISK WRITE: 6.12 M/s TID PRIO USER DISK READ DISK WRITE> COMMAND 2717 be/4 1000 0.00 B/s 5.89 M/s iobroker.js-controller 8449 be/4 100108 0.00 B/s 24.37 K/s bin/mongod --dbpath /usr/lib/unifi/data/db --port 27117~id --wiredTigerEngineConfigString=cache_size=256M [ftdc] 2183 be/3 root 0.00 B/s 18.96 K/s [jbd2/dm-19-8] 4719 be/4 100000 0.00 B/s 10.83 K/s systemd-journald 9089 be/4 100999 0.00 B/s 8.12 K/s influxd 1104 be/4 root 0.00 B/s 5.42 K/s pmxcfs 1111 be/4 root 0.00 B/s 5.42 K/s pmxcfs 1953 be/4 root 0.00 B/s 5.42 K/s pmxcfs 1747 be/4 100998 0.00 B/s 2.71 K/s pihole-FTL -f 5284 be/4 100000 0.00 B/s 2.71 K/s nmbd --foreground --no-process-group@m-schalk schalte doch einmal sukzessive deine Instanzen alle ab. Z.b im ersten Schritt die ersten 50% und schaue ob sich etwas ändert. Den Javascript Adapter würde ich zuerst abschalten.
Was steht denn so im ioBroker log? Läuft eine Instanz im debug oder gar silly log level?
-
@m-schalk schalte doch einmal sukzessive deine Instanzen alle ab. Z.b im ersten Schritt die ersten 50% und schaue ob sich etwas ändert. Den Javascript Adapter würde ich zuerst abschalten.
Was steht denn so im ioBroker log? Läuft eine Instanz im debug oder gar silly log level?
@feuersturm @meister-mopper @martinp
Danke für die Hilfestellung, ich habe den "Fehler" gefunden. In der Shelly Instanz hatte ich das "HTTP-Antworten speichern (zum Debuggen)" aktiviert, weil ich probleme hatte Shelly über ipsec zu abzufragen. Man sollte solchen Sachen nicht kurz vor Neujahr aktivieren. :-)
-
@feuersturm @meister-mopper @martinp
Danke für die Hilfestellung, ich habe den "Fehler" gefunden. In der Shelly Instanz hatte ich das "HTTP-Antworten speichern (zum Debuggen)" aktiviert, weil ich probleme hatte Shelly über ipsec zu abzufragen. Man sollte solchen Sachen nicht kurz vor Neujahr aktivieren. :-)
-
@feuersturm @meister-mopper @martinp
Danke für die Hilfestellung, ich habe den "Fehler" gefunden. In der Shelly Instanz hatte ich das "HTTP-Antworten speichern (zum Debuggen)" aktiviert, weil ich probleme hatte Shelly über ipsec zu abzufragen. Man sollte solchen Sachen nicht kurz vor Neujahr aktivieren. :-)
@m-schalk Danke für die Rückmeldung. Bitte setze noch ein "[gelöst]" in den Titel von deinem ersten Beitrag, dann sieht man, das das Thema abgeschlossen ist.
338
Online32.7k
Benutzer82.4k
Themen1.3m
Beiträge