ioBroker regelmässig load >40 und bleibt hängen

marlan99

Mein ioBroker auf dem Raspi 4 mit 4GB Ram und SSD Platte über USB3 angeschlossen hängt sich regelmässig auf und kann nur noch mit einem Power cycle wiederbelebt werden.

Alles auf dem aktuellsten Stand:
NodeJS 18.20.2
NPM 10.5.0
js-controller 5.0.19

Ich war jetzt 2 Wochen im Urlaub, daher hat keine Änderung stattgefunden. Seit 5 Tagen nun das Problem.
Das Backup funktioniert ebenfalls nicht mehr zuverlässig.
Es scheint beim sichern der objects abzubrechen. Die states scheint er korrekt auslesen zu können.

Kann es eine Art korrupter Objektbaum sein?
Wie könnte ich das testen?

Im GUI lässt sich die Seite „Objekte“ nicht mehr öffnen.

Habe auch schon die DB im redis komplett gelöscht und neu angelegt, was leider nicht half.

Bin ein PowerUser und habe aktuell ca 185’000 objekte und ca 170’000 states.

Thomas Braun

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Bin ein PowerUser und habe aktuell ca 185’000 objekte und ca 170’000 states.

Könnte gut sein, dass dann 4GB RAM zu wenig ist.
Die Umgebung schaut wie aus?

iob diag

in der Langfassung anschauen.

marlan99

@thomas-braun danke für die schnelle Rückmeldung.
anbei der output. Mit dessen interpretation bin ich allerdings überfordert.

Ich nutze den iobroker seit 2.5 Jahren und in dieser Ausprägung seit 1 Jahr. Bisher keine Probleme mit CPU und RAM gehabt.

Heute habe ich diverse Adapterinstanzen gestoppt um zu sehen ob es hilft, was aber auch nichts genützt hat:


Linux iobroker 6.1.0-rpi7-rpi-v8 #1 SMP PREEMPT Debian 1:6.1.63-1+rpt1 (2023-11-24) aarch64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sun Apr 14 12:06:58 2024 from 192.168.1.163
pi@iobroker:~ $ iob diag
*** iob diag is starting up, please wait ***

*** ioBroker Diagnosis ***

Please stretch the window of your terminal programm (puTTY) as wide as possible or switch to full screen

The following checks may give hints to potential malconfigurations or errors, please post them in our forum:

https://forum.iobroker.net

Just copy and paste the Summary Page, including the ``` characters at start and end.
It helps us to help you!

Press any key to continue

======== Start marking the full check here =========

Skript v.2023-10-10

*** BASE SYSTEM ***
 Static hostname: iobroker
       Icon name: computer
Operating System: Debian GNU/Linux 12 (bookworm)
          Kernel: Linux 6.1.0-rpi7-rpi-v8
    Architecture: arm64

Model           : Raspberry Pi 4 Model B Rev 1.2
Docker          : false
Virtualization  : none
Kernel          : aarch64
Userland        : arm64

Systemuptime and Load:
 12:54:06 up  2:31,  4 users,  load average: 0.56, 0.27, 0.48
CPU threads: 4


*** RASPBERRY THROTTLING ***
Current issues:
No throttling issues detected.

Previously detected issues:
No throttling issues detected.

*** Time and Time Zones ***
               Local time: Sun 2024-04-14 12:54:06 CEST
           Universal time: Sun 2024-04-14 10:54:06 UTC
                 RTC time: n/a
                Time zone: Europe/Zurich (CEST, +0200)
System clock synchronized: yes
              NTP service: active
          RTC in local TZ: no

*** User and Groups ***
pi
/home/pi
pi adm dialout cdrom sudo audio video plugdev games users input render netdev lpadmin gpio i2c spi iobroker

*** X-Server-Setup ***
X-Server:       false
Desktop:        
Terminal:       tty
Boot Target:    graphical.target

*** MEMORY ***
               total        used        free      shared  buff/cache   available
Mem:            4.0G        2.8G        540M         13M        693M        1.1G
Swap:           104M        104M        417K
Total:          4.1G        2.9G        541M

         3792 M total memory
         2703 M used memory
         1260 M active memory
         1850 M inactive memory
          515 M free memory
           17 M buffer memory
          644 M swap cache
           99 M total swap
           99 M used swap
            0 M free swap

Raspberry only:
oom events: 0
lifetime oom required: 0 Mbytes
total time in oom handler: 0 ms
max time spent in oom handler: 0 ms

*** FAILED SERVICES ***

  UNIT LOAD ACTIVE SUB DESCRIPTION
0 loaded units listed.

*** FILESYSTEM ***
Filesystem     Type      Size  Used Avail Use% Mounted on
udev           devtmpfs  1.6G     0  1.6G   0% /dev
tmpfs          tmpfs     380M  1.3M  378M   1% /run
/dev/sda2      ext4      440G   16G  402G   4% /
tmpfs          tmpfs     1.9G  148K  1.9G   1% /dev/shm
tmpfs          tmpfs     5.0M   20K  5.0M   1% /run/lock
/dev/sda1      vfat      510M   74M  437M  15% /boot/firmware
tmpfs          tmpfs     380M   36K  380M   1% /run/user/1000

Messages concerning ext4 filesystem in dmesg:
[Sun Apr 14 10:23:04 2024] Kernel command line: coherent_pool=1M 8250.nr_uarts=1 snd_bcm2835.enable_headphones=0 snd_bcm2835.enable_headphones=1 snd_bcm2835.enable_hdmi=1 snd_bcm2835.enable_hdmi=0  smsc95xx.macaddr=DC:A6:32:FB:35:5A vc_mem.mem_base=0x3eb00000 vc_mem.mem_size=0x3ff00000  console=ttyAMA0,115200 console=tty1 root=PARTUUID=59089e34-02 rootfstype=ext4 fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles usb-storage.quirks=1234:5678:u
[Sun Apr 14 10:23:09 2024] EXT4-fs (sda2): mounted filesystem with ordered data mode. Quota mode: none.
[Sun Apr 14 10:23:11 2024] EXT4-fs (sda2): re-mounted. Quota mode: none.

Show mounted filesystems \(real ones only\):
TARGET               SOURCE    FSTYPE      OPTIONS
/                    /dev/sda2 ext4        rw,noatime
|-/run/owfs          OWFS      fuse.OWFS   rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other
|-/run/user/1000/doc portal    fuse.portal rw,nosuid,nodev,relatime,user_id=1000,group_id=1000
`-/boot/firmware     /dev/sda1 vfat        rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=ascii,shortname=mixed,errors=remount-ro

Files in neuralgic directories:

/var:
7.4G    /var/
5.9G    /var/lib
5.0G    /var/lib/influxdb
1.7G    /var/lib/influxdb/engine/data/3e637b8f50963090/autogen
1.7G    /var/lib/influxdb/engine/data/3e637b8f50963090

Archived and active journals take up 712.1M in the file system.

/opt/iobroker/backups:
1.6G    /opt/iobroker/backups/

/opt/iobroker/iobroker-data:
23M     /opt/iobroker/iobroker-data/
15M     /opt/iobroker/iobroker-data/files
13M     /opt/iobroker/iobroker-data/files/admin.admin/custom/static/js
13M     /opt/iobroker/iobroker-data/files/admin.admin/custom/static
13M     /opt/iobroker/iobroker-data/files/admin.admin/custom

The five largest files in iobroker-data are:
6.3M    /opt/iobroker/iobroker-data/files/admin.admin/custom/static/js/vendors-node_modules_iobroker_adapter-react-v5_assets_devices_parseNames_js-node_modules_iobr-99c23e.847b8ad9.chunk.js.map
4.5M    /opt/iobroker/iobroker-data/objects.jsonl
2.8M    /opt/iobroker/iobroker-data/files/admin.admin/custom/static/js/vendors-node_modules_iobroker_adapter-react-v5_assets_devices_parseNames_js-node_modules_iobr-99c23e.847b8ad9.chunk.js
1.6M    /opt/iobroker/iobroker-data/files/admin.admin/custom/static/js/vendors-node_modules_mui_material_Accordion_index_js-node_modules_mui_material_AccordionDetai-57e02d.0886b730.chunk.js.map
652K    /opt/iobroker/iobroker-data/files/admin.admin/custom/static/js/vendors-node_modules_mui_material_index_js.40e01f69.chunk.js.map

USB-Devices by-id:
USB-Sticks -  Avoid direct links to /dev/* in your adapter setups, please always prefer the links 'by-id':

/dev/serial/by-id/usb-Prolific_Technology_Inc._USB-Serial_Controller-if00-port0

*** NodeJS-Installation ***

/usr/bin/nodejs         v18.20.2
/usr/bin/node           v18.20.2
/usr/bin/npm            10.5.0
/usr/bin/npx            10.5.0
/usr/bin/corepack       0.25.2


nodejs:
  Installed: 18.20.2-1nodesource1
  Candidate: 18.20.2-1nodesource1
  Version table:
 *** 18.20.2-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
        100 /var/lib/dpkg/status
     18.20.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.20.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.19.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.19.0+dfsg-6~deb12u1 500
        500 http://deb.debian.org/debian-security bookworm-security/main arm64 Packages
     18.19.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.18.2-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.18.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.18.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.17.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.17.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.16.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.16.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.15.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.14.2-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.14.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.14.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.13.0+dfsg1-1 500
        500 http://deb.debian.org/debian bookworm/main arm64 Packages
     18.13.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.12.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.11.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.10.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.9.1-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.9.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.8.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.7.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.6.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.5.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.4.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.3.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.2.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.1.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages
     18.0.0-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x nodistro/main arm64 Packages

Temp directories causing npm8 problem: 0
No problems detected

Errors in npm tree:
npm ERR! code ELSPROBLEMS
npm ERR! missing: homebridge-ewelink@^12.2.0, required by iobroker.ham@5.3.1
npm ERR! missing: homebridge-landroid@^0.12.3, required by iobroker.ham@5.3.1
npm ERR! missing: homebridge-tuya@^3.1.0, required by iobroker.ham@5.3.1
npm ERR! missing: homebridge-yeelighter@^2.7.0, required by iobroker.ham@5.3.1

npm ERR! A complete log of this run can be found in: /home/pi/.npm/_logs/2024-04-14T10_54_16_564Z-debug-0.log

*** ioBroker-Installation ***

ioBroker Status
iobroker is running on this host.

At least one iobroker host is running.

Objects type: redis
States  type: redis

Core adapters versions
js-controller:  5.0.19
admin:          6.13.16
javascript:     7.8.0

Adapters from github:   0

Adapter State
+ system.adapter.admin.0                  : admin                 : iobroker                                 -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
+ system.adapter.apcups.0                 : apcups                : iobroker                                 -  enabled
  system.adapter.awtrix-light.0           : awtrix-light          : iobroker                                 - disabled
  system.adapter.awtrix-light.1           : awtrix-light          : iobroker                                 - disabled
+ system.adapter.backitup.0               : backitup              : iobroker                                 -  enabled
  system.adapter.bwt.0                    : bwt                   : iobroker                                 - disabled
+ system.adapter.chromecast.0             : chromecast            : iobroker                                 -  enabled
  system.adapter.discovery.0              : discovery             : iobroker                                 - disabled
  system.adapter.feiertage.0              : feiertage             : iobroker                                 -  enabled
  system.adapter.fronius.0                : fronius               : iobroker                                 - disabled
  system.adapter.fronius.1                : fronius               : iobroker                                 - disabled
  system.adapter.ham.0                    : ham                   : iobroker                                 - disabled
+ system.adapter.harmony.0                : harmony               : iobroker                                 -  enabled
  system.adapter.homeconnect.0            : homeconnect           : iobroker                                 - disabled
+ system.adapter.influxdb.0               : influxdb              : iobroker                                 -  enabled, port: 8086
+ system.adapter.javascript.0             : javascript            : iobroker                                 -  enabled
+ system.adapter.knx.0                    : knx                   : iobroker                                 -  enabled, bind: 192.168.1.80
+ system.adapter.lametric.0               : lametric              : iobroker                                 -  enabled
+ system.adapter.logparser.0              : logparser             : iobroker                                 -  enabled
+ system.adapter.mbus.0                   : mbus                  : iobroker                                 -  enabled, port: 3493
  system.adapter.mielecloudservice.0      : mielecloudservice     : iobroker                                 - disabled
+ system.adapter.mihome-vacuum.0          : mihome-vacuum         : iobroker                                 - disabled, port: 54321
  system.adapter.netatmo.0                : netatmo               : iobroker                                 - disabled
+ system.adapter.onkyo.0                  : onkyo                 : iobroker                                 -  enabled
+ system.adapter.owfs.0                   : owfs                  : iobroker                                 -  enabled, port: 4304
+ system.adapter.ping.0                   : ping                  : iobroker                                 -  enabled
  system.adapter.proxy.0                  : proxy                 : iobroker                                 -  enabled
+ system.adapter.pushover.0               : pushover              : iobroker                                 -  enabled
+ system.adapter.rpi2.0                   : rpi2                  : iobroker                                 -  enabled
  system.adapter.simple-api.0             : simple-api            : iobroker                                 - disabled, port: 8087, bind: 0.0.0.0, run as: simpleapi
+ system.adapter.sonoff.0                 : sonoff                : iobroker                                 -  enabled, port: 1883, bind: 0.0.0.0
+ system.adapter.tahoma.0                 : tahoma                : iobroker                                 -  enabled
  system.adapter.tesla-motors.0           : tesla-motors          : iobroker                                 - disabled
  system.adapter.tesla-motors.1           : tesla-motors          : iobroker                                 - disabled
  system.adapter.vis-materialdesign.0     : vis-materialdesign    : iobroker                                 -  enabled
  system.adapter.vis.0                    : vis                   : iobroker                                 -  enabled
+ system.adapter.web.0                    : web                   : iobroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin
+ system.adapter.wled.0                   : wled                  : iobroker                                 -  enabled
  system.adapter.worx.0                   : worx                  : iobroker                                 - disabled

+ instance is alive

Enabled adapters with bindings
+ system.adapter.admin.0                  : admin                 : iobroker                                 -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
+ system.adapter.influxdb.0               : influxdb              : iobroker                                 -  enabled, port: 8086
+ system.adapter.mbus.0                   : mbus                  : iobroker                                 -  enabled, port: 3493
+ system.adapter.owfs.0                   : owfs                  : iobroker                                 -  enabled, port: 4304
+ system.adapter.sonoff.0                 : sonoff                : iobroker                                 -  enabled, port: 1883, bind: 0.0.0.0
+ system.adapter.web.0                    : web                   : iobroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin

ioBroker-Repositories
Stable (default): http://download.iobroker.net/sources-dist.json
Beta (latest) : http://download.iobroker.net/sources-dist-latest.json

Active repo(s): Stable (default)

Installed ioBroker-Instances
Used repository: Stable (default)
Adapter    "admin"        : 6.13.16  , installed 6.13.16
Adapter    "apcups"       : 2.0.0    , installed 2.0.0
Adapter    "awtrix-light" : 0.16.0   , installed 0.16.0
Adapter    "backitup"     : 2.10.11  , installed 2.10.11
Adapter    "bwt"          : 0.0.5    , installed 0.0.5
Adapter    "chromecast"   : 3.2.0    , installed 3.2.0
Adapter    "discovery"    : 4.4.0    , installed 4.4.0
Adapter    "feiertage"    : 1.1.4    , installed 1.1.4
Adapter    "fronius"      : 2.0.2    , installed 2.0.2
Adapter    "ham"          : 5.3.1    , installed 5.3.1
Adapter    "harmony"      : 1.3.0    , installed 1.3.0
Adapter    "homeconnect"  : 1.3.0    , installed 1.3.0
Adapter    "influxdb"     : 4.0.2    , installed 4.0.2
Adapter    "javascript"   : 7.8.0    , installed 7.8.0
Controller "js-controller": 5.0.19   , installed 5.0.19
Adapter    "knx"          : 2.0.24   , installed 2.0.24
Adapter    "lametric"     : 3.1.3    , installed 3.1.3
Adapter    "logparser"    : 2.2.2    , installed 2.2.2
Adapter    "mbus"         : 2.6.1    , installed 2.6.1
Adapter    "mielecloudservice": 6.5.4, installed 6.5.4
Adapter    "netatmo"      : 3.1.0    , installed 3.1.0
Adapter    "onkyo"        : 2.1.2    , installed 2.1.2
Adapter    "owfs"         : 0.7.0    , installed 0.7.0
Adapter    "ping"         : 1.6.2    , installed 1.6.2
Adapter    "proxy"        : 1.3.2    , installed 1.3.2
Adapter    "pushover"     : 3.0.6    , installed 3.0.6
Adapter    "rpi2"         : 1.3.2    , installed 1.3.2
Adapter    "simple-api"   : 2.7.2    , installed 2.7.2
Adapter    "socketio"     : 6.6.1    , installed 6.6.1
Adapter    "sonoff"       : 3.0.3    , installed 3.0.3
Adapter    "tahoma"       : 0.10.3   , installed 0.10.3
Adapter    "tesla-motors" : 1.3.2    , installed 1.4.2
Adapter    "vis"          : 1.5.4    , installed 1.5.4
Adapter    "vis-materialdesign": 0.5.9, installed 0.5.9
Adapter    "web"          : 6.2.5    , installed 6.2.3  [Updatable]
Adapter    "wled"         : 0.7.2    , installed 0.7.2
Adapter    "worx"         : 2.3.4    , installed 2.3.4
Adapter    "ws"           : 2.5.11   , installed 2.5.11

Objects and States
Please stand by - This may take a while
Objects:        183323
States:         174304

*** OS-Repositories and Updates ***
Hit:1 http://deb.debian.org/debian bookworm InRelease
Hit:2 http://deb.debian.org/debian-security bookworm-security InRelease
Hit:3 http://deb.debian.org/debian bookworm-updates InRelease
Hit:4 https://repos.influxdata.com/debian stable InRelease
Hit:5 http://archive.raspberrypi.com/debian bookworm InRelease
Hit:6 https://apt.grafana.com stable InRelease
Hit:7 https://deb.nodesource.com/node_18.x nodistro InRelease
Reading package lists...
Pending Updates: 3

*** Listening Ports ***
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       User       Inode      PID/Program name    
tcp        0      0 127.0.0.1:3551          0.0.0.0:*               LISTEN      0          18513      1327/apcupsd        
tcp        0      0 0.0.0.0:1883            0.0.0.0:*               LISTEN      1001       22804      2238/io.sonoff.0    
tcp        0      0 0.0.0.0:2121            0.0.0.0:*               LISTEN      114        14628      770/owhttpd         
tcp        0      0 0.0.0.0:2120            0.0.0.0:*               LISTEN      114        15982      621/owftpd          
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      0          14701      835/sshd: /usr/sbin 
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      112        16225      804/redis-server 12 
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      0          14671      801/cupsd           
tcp6       0      0 ::1:631                 :::*                    LISTEN      0          14670      801/cupsd           
tcp6       0      0 ::1:6379                :::*                    LISTEN      112        16226      804/redis-server 12 
tcp6       0      0 :::8086                 :::*                    LISTEN      999        18654      1312/influxd        
tcp6       0      0 :::8082                 :::*                    LISTEN      1001       63820      7204/io.web.0       
tcp6       0      0 :::8081                 :::*                    LISTEN      1001       21958      2008/io.admin.0     
tcp6       0      0 :::4304                 :::*                    LISTEN      0          14496      1/init              
tcp6       0      0 :::22                   :::*                    LISTEN      0          14712      835/sshd: /usr/sbin 
tcp6       0      0 :::61991                :::*                    LISTEN      1001       22247      2568/io.harmony.0   
tcp6       0      0 :::3000                 :::*                    LISTEN      113        17155      1504/grafana        
udp        0      0 0.0.0.0:61991           0.0.0.0:*                           1001       22248      2568/io.harmony.0   
udp        0      0 0.0.0.0:631             0.0.0.0:*                           0          16767      1304/cups-browsed   
udp        0      0 0.0.0.0:5353            0.0.0.0:*                           1001       21182      2346/io.wled.0      
udp        0      0 0.0.0.0:5353            0.0.0.0:*                           1001       22641      2181/io.chromecast. 
udp        0      0 0.0.0.0:5353            0.0.0.0:*                           104        15986      610/avahi-daemon: r 
udp        0      0 192.168.1.80:55156      0.0.0.0:*                           1001       91913      2453/io.knx.0       
udp        0      0 192.168.1.80:34690      0.0.0.0:*                           1001       73837      2453/io.knx.0       
udp        0      0 192.168.1.80:37071      0.0.0.0:*                           1001       24589      2453/io.knx.0       
udp        0      0 0.0.0.0:41381           0.0.0.0:*                           104        15988      610/avahi-daemon: r 
udp6       0      0 fe80::e0a3:e6a4:b87:546 :::*                                0          18439      750/NetworkManager  
udp6       0      0 :::42002                :::*                                104        15989      610/avahi-daemon: r 
udp6       0      0 :::5353                 :::*                                104        15987      610/avahi-daemon: r 

*** Log File - Last 25 Lines ***

2024-04-14 12:20:00.729  - info: host.iobroker instance system.adapter.tesla-motors.1 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2024-04-14 12:20:45.943  - error: backitup.0 (7940) [iobroker/clean] Backup files not deleted from /opt/iobroker/backups because some errors.
2024-04-14 12:22:34.163  - info: web.0 (7204) ==> Connected system.user.admin from ::ffff:192.168.1.192
2024-04-14 12:22:39.815  - info: web.0 (7204) <== Disconnect system.user.admin from ::ffff:192.168.1.192 vis.0
2024-04-14 12:25:38.894  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 
2024-04-14 12:25:45.819  - info: admin.0 (2008) ==> Connected system.user.admin from ::ffff:192.168.1.201
2024-04-14 12:26:16.248  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 
2024-04-14 12:27:12.905  - info: admin.0 (2008) ==> Connected system.user.admin from ::ffff:192.168.1.201
2024-04-14 12:27:12.923  - info: admin.0 (2008) ==> Connected system.user.admin from ::ffff:192.168.1.201
2024-04-14 12:27:12.927  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 admin
2024-04-14 12:27:15.305  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 admin
2024-04-14 12:27:47.335  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 admin
2024-04-14 12:27:51.382  - info: admin.0 (2008) ==> Connected system.user.admin from ::ffff:192.168.1.201
2024-04-14 12:28:22.817  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 admin
2024-04-14 12:29:31.504  - info: javascript.0 (2022) script.js.Signal_Geräte_Status_(Ansage_Chromecast__Pushover).Signal_VZug_Waschmaschine: Waschküche: Die Waschmaschine ist jetzt fertig.
2024-04-14 12:36:25.504  - info: javascript.0 (2022) script.js.Signal_Geräte_Status_(Ansage_Chromecast__Pushover).Signal_VZug_Waschmaschine: Waschküche: Die Waschmaschine wurde gestartet
2024-04-14 12:37:16.452  - info: admin.0 (2008) ==> Connected system.user.admin from ::ffff:192.168.1.201
2024-04-14 12:46:46.986  - info: admin.0 (2008) <== Disconnect system.user.admin from ::ffff:192.168.1.201 admin
2024-04-14 12:47:48.229  - info: knx.0 (2453)  STATE_NOT_CONNECTED : Try to connect / reconnect :  STATE_CONNECTION_STATE_RESPONSE(6) to STATE_NOT_CONNECTED(0).
2024-04-14 12:47:48.232  - info: knx.0 (2453)  STATE_NOT_CONNECTED : Stop connection :  STATE_NOT_CONNECTED(0) to STATE_NOT_CONNECTED(0).
2024-04-14 12:47:48.235  - info: knx.0 (2453)  STATE_NOT_CONNECTED : Stop connection :  STATE_DISCONNECT_REQUEST(15) to STATE_NOT_CONNECTED(0).
2024-04-14 12:47:48.238  - info: knx.0 (2453)  STATE_NOT_CONNECTED : Stop connection :  STATE_DISCONNECT_RESPONSE(16) to STATE_NOT_CONNECTED(0).
2024-04-14 12:47:50.229  - info: knx.0 (2453) Using UDP with local IP: 192.168.1.80
2024-04-14 12:47:50.232  - info: knx.0 (2453) Connected  - local UDP Server listening on 192.168.1.80:55156
2024-04-14 12:49:26.268  - info: javascript.0 (2022) script.js.Rollladen.Beschattung_Wintergarten: Rollladen: Im Wintergarten wird der Sonnenstoren runtergefahren.

============ Mark until here for C&P =============

iob diag has finished.

Press any key for a summary
Copy text starting here:

======================= SUMMARY =======================
                        v.2023-10-10


 Static hostname: iobroker
       Icon name: computer
Operating System: Debian GNU/Linux 12 (bookworm)
          Kernel: Linux 6.1.0-rpi7-rpi-v8
    Architecture: arm64

Installation:           native
Kernel:                 aarch64
Userland:               arm64
Timezone:               Europe/Zurich (CEST, +0200)
User-ID:                1000
X-Server:               false
Boot Target:            graphical.target

Pending OS-Updates:     3
Pending iob updates:    1

Nodejs-Installation:    /usr/bin/nodejs         v18.20.2
                        /usr/bin/node           v18.20.2
                        /usr/bin/npm            10.5.0
                        /usr/bin/npx            10.5.0
                        /usr/bin/corepack       0.25.2

Recommended versions are nodejs 18.20.2 and npm 10.5.0
Your nodejs installation is correct

MEMORY: 
               total        used        free      shared  buff/cache   available
Mem:            4.0G        2.9G        582M         13M        644M        1.1G
Swap:           104M        104M        217K
Total:          4.1G        3.0G        582M

Active iob-Instances:   22
Active repo(s): Stable (default)

ioBroker Core:          js-controller           5.0.19
                        admin                   6.13.16

ioBroker Status:        iobroker is running on this host.

At least one iobroker host is running.

Objects type: redis
States  type: redis

Status admin and web instance:
+ system.adapter.admin.0                  : admin                 : iobroker                                 -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
+ system.adapter.web.0                    : web                   : iobroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin

Objects:                183323
States:                 174304

Size of iob-Database:

4.5M    /opt/iobroker/iobroker-data/objects.jsonl
60K     /opt/iobroker/iobroker-data/states.jsonl



=================== END OF SUMMARY ====================

=== Mark text until here for copying ===
pi@iobroker:~ $

Thomas Braun

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Boot Target: graphical.target

sudo systemctl set-default multi-user.target
sudo apt update
iob update
iob upgrade
iob stop
sudo apt full-upgrade
sudo reboot

Errors in npm tree:
npm ERR! code ELSPROBLEMS
npm ERR! missing: homebridge-ewelink@^12.2.0, required by iobroker.ham@5.3.1
npm ERR! missing: homebridge-landroid@^0.12.3, required by iobroker.ham@5.3.1
npm ERR! missing: homebridge-tuya@^3.1.0, required by iobroker.ham@5.3.1
npm ERR! missing: homebridge-yeelighter@^2.7.0, required by iobroker.ham@5.3.1

Leg die nochmal an oder (besser) verwende die entsprechenden ioBroker-Adapter.

Homoran

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

kann nur noch mit einem Power cycle wiederbelebt werden.

was ggf. dein Dateisystem zerstört!

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

load average: 0.56, 0.27, 0.48

da sehe ich nichts von 40.

Dann müsstest du mal systematisch nach der Ursache forschen.

Tritt das Phänomen zu bestimmten Zeiten auf?
- startet da ein Amokskript?
- ein scheduled Adapter?
....

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Im GUI lässt sich die Seite „Objekte“ nicht mehr öffnen.

dann hast du zu viele Knoten offen

marlan99

@homoran said in ioBroker regelmässig load >40 und bleibt hängen:

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

kann nur noch mit einem Power cycle wiederbelebt werden.

was ggf. dein Dateisystem zerstört!

Zum Glück die bisherigen gefühlt 50 Mal noch nicht. Der 51. wird es dann sein

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

load average: 0.56, 0.27, 0.48

da sehe ich nichts von 40.

Das ist korrekt, denn hier läuft das system gerade. Wenn es dann die 40 hat geht ein paar Sekunden später nix mehr. Die 40 (oder mehr) sehe ich im output von „top“ , nachdem er sich aufgehöngt hat.

Dann müsstest du mal systematisch nach der Ursache forschen.

Tritt das Phänomen zu bestimmten Zeiten auf?

startet da ein Amokskript?

ein scheduled Adapter?

....

Es war immer zu unterschiedlichen Zeiten. Seit gestern nun auch bei jedem täglichen Backupversuch. Wenn ich es manuell starte, dann bricht er beim backup der objects ab.
Nachdem ausführen der Befehle, die ich hier von Thomas Braun erhalten habe ist zumindest schon mal das Backup zweimal ohne Fehler durchgelaufen.

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Im GUI lässt sich die Seite „Objekte“ nicht mehr öffnen.

dann hast du zu viele Knoten offen
Kann man die über ein cli kommando schliessen? Über das GUI komme ich aktuell gar nicht mehr dran um allfällige offenen Knoten zu schliessen.
Da ich ein kleiner Monk bin, mache ich immer alle Knoten zu, bevor ich die Seite Objekte verlasse.

marlan99

Jetzt habe ich noch folgende Meldungen im Protokoll.
Ich werde weiterhin das Gefühl nicht los, dass etwas mit den Objekten oder redis nicht hinhaut.


iobroker
2024-04-14 14:11:22.866	error	Caught by controller[2]: at TCP.<anonymous> (node:net:350:12)
host.iobroker
2024-04-14 14:11:22.865	error	Caught by controller[2]: at Socket.emit (node:domain:489:12)
host.iobroker
2024-04-14 14:11:22.865	error	Caught by controller[2]: at Socket.emit (node:events:517:28)
host.iobroker
2024-04-14 14:11:22.864	error	Caught by controller[2]: at Object.onceWrapper (node:events:632:26)
host.iobroker
2024-04-14 14:11:22.864	error	Caught by controller[2]: at Socket.<anonymous> (/opt/iobroker/node_modules/ioredis/built/redis/event_handler.js:151:20)
host.iobroker
2024-04-14 14:11:22.863	error	Caught by controller[2]: at close (/opt/iobroker/node_modules/ioredis/built/redis/event_handler.js:184:25)
host.iobroker
2024-04-14 14:11:22.863	error	Caught by controller[2]: Error: DB closed
host.iobroker
2024-04-14 14:11:22.863	error	Caught by controller[1]: at processTicksAndRejections (node:internal/process/task_queues:95:5)
host.iobroker
2024-04-14 14:11:22.862	error	Caught by controller[1]: at StateRedisClient.setState (/opt/iobroker/node_modules/@iobroker/db-states-redis/src/lib/states/statesInRedisClient.ts:813:35)
host.iobroker
2024-04-14 14:11:22.862	error	Caught by controller[1]: at Redis.set (/opt/iobroker/node_modules/ioredis/built/commander.js:122:25)
host.iobroker
2024-04-14 14:11:22.861	error	Caught by controller[1]: at Redis.sendCommand (/opt/iobroker/node_modules/ioredis/built/redis/index.js:679:33)
host.iobroker
2024-04-14 14:11:22.861	error	Caught by controller[1]: at Socket.Writable.write (node:internal/streams/writable:337:10)
host.iobroker
2024-04-14 14:11:22.860	error	Caught by controller[1]: at _write (node:internal/streams/writable:333:10)
host.iobroker
2024-04-14 14:11:22.860	error	Caught by controller[1]: at writeOrBuffer (node:internal/streams/writable:392:12)
host.iobroker
2024-04-14 14:11:22.859	error	Caught by controller[1]: at Socket._write (node:net:974:8)
host.iobroker
2024-04-14 14:11:22.859	error	Caught by controller[1]: at Socket._writeGeneric (node:net:962:11)
host.iobroker
2024-04-14 14:11:22.859	error	Caught by controller[1]: at writeGeneric (node:internal/stream_base_commons:151:3)
host.iobroker
2024-04-14 14:11:22.858	error	Caught by controller[1]: at afterWriteDispatched (node:internal/stream_base_commons:160:15)
host.iobroker
2024-04-14 14:11:22.858	error	Caught by controller[1]: [ioredis] Unhandled error event: Error: write EPIPE
host.iobroker
2024-04-14 14:11:22.856	error	Caught by controller[0]: [pidusage] We couldn't find uptime from /proc/uptime, using os.uptime() value

javascript.0
2024-04-14 14:11:22.674	error	Error: DB closed at close (/opt/iobroker/node_modules/ioredis/built/redis/event_handler.js:184:25) at Socket.<anonymous> (/opt/iobroker/node_modules/ioredis/built/redis/event_handler.js:151:20) at Object.onceWrapper (node:events:632:26) at Socket.emit (node:events:517:28) at Socket.emit (node:domain:489:12) at TCP.<anonymous> (node:net:350:12)

javascript.0
2024-04-14 14:11:22.674	error	Error: DB closed

Thomas Braun

@marlan99

https://wiki.ubuntuusers.de/Magic_SysRQ/

Homoran

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Die 40 (oder mehr) sehe ich im output von „top“ , nachdem er sich aufgehöngt hat.

der wäre interessant!

Natürlich geht bei load >4 (fast) nichts mehr, bei 40 gar nichts.

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Seit gestern nun auch bei jedem täglichen Backupversuch. Wenn ich es manuell starte, dann bricht er beim backup der objects ab.

auch "normal".
Backitup benötigt viel RAM beim erstellen der gepackten Daten. Bei deinen Mengen natürlich auch sehr viel davon.

Was ein weiterer Hinweis auf zu wenig RAM für diese Anzahl Objekte ist.

marlan99

Problem ist behoben und ich bin ja soooo doooooof und der Beweis dafür, dass man den Aussagen bei Problembeschreibungen einfach nicht immer vertrauen kann.

Kurzfassung:
Die Datenpunkte sind um das 10-fache angewachsen. Dies führte dazu, dass sämtliche Tasks die auf die Objektstruktur zugreifen wollen die CPU und das Memory überdurchschnittlich beanspruchen. In meinem Fall CPU load > 40 und somit zum Stillstand des Systems ohne Aussicht auf Erholung.

Langfassung:
Meine Analysen habe ich immer mit dem Browser auf dem iPad gemacht. Hier konnte ich das Problem insofern eingrenzen, dass das Problem bei den Datenpunkten liegen muss. Aber leider eben keinen Zugriff darauf.
Durch das Backup (wenn es dann mal funktionierte) konnte ich sehen, dass ich ca 200'000 Datenpunkte habe und gemäss meinen Erinnerungen etwa stimmen müsste.......
Heute dann mal auf einem Rechner die Analyse weitergemacht und hoppla, jetzt gelange ich doch über das GUI in die Objektliste.
Hier dann den Adapterübeltäter gefunden, welcher ca 180'000 Datenpunkte zuviel angelegt hatte.
Nach der Bereinigung verblieben dann noch 25'000 DP.
Jetzt rennt mein System wieder wie gewohnt und gefüht sogar noch etwas schneller als vorher. Aber wie eingangs erwähnt. Ich traue meinen Aussagen auch hier nicht mehr......

Als Überblick meines ioBroker Systems:

Raspi4B mit 4GB Ram mit SSD disk via USB3
37 Adapter installiert mit insgesamt 40 Instanzen
javascript Adapter mit 140 aktiven Scripts
Influx DB
Grafana server

Durchscnittliche CPU Last 0.4 / durchschnittlich verbrauchtes Memory 70%-75%

Ich bedanke mich an die tollen Supporter hier.
DANKE

Thomas Braun

@marlan99 sagte in ioBroker regelmässig load >40 und bleibt hängen:

Hier dann den Adapterübeltäter gefunden, welcher ca 180'000 Datenpunkte zuviel angelegt hatte.

Und wer war es?

Homoran

@thomas-braun lass mich raten: BLE

Thomas Braun

@homoran sagte in ioBroker regelmässig load >40 und bleibt hängen:

lass mich raten: BLE

Falsch geraten, der ist nämlich nicht installiert.

marlan99

@thomas-braun oh, stimmt.

es war der Tesla Adapter V1.4.2, der für irgendwelche history lifetime Daten diese Datenpunkte zu viel erstellt hatte.
Ich habe heute im github gesehen dass der Entwickler am 10.04. eine neue beta Version (v1.4.4) bereitgestellt hat, wobei gemäss release notes dies beheben soll. Mein Problem begann am 09.04.

Da der Adaptr aber auch die Möglichkeit bietet bestimmte Pfade komplett zu ignorieren, habe ich vorerst diesen Weg gewählt. Die neue Beta ist bei mir noch nicht installiert.

Thomas Braun

@marlan99

Stable ist da 1.3.2.
Bei Beta-Versionen muss man davon ausgehen das da 'Dinge' drin sind. Dafür sind es ja Beta-Versionen.

Die neue Beta ist bei mir noch nicht installiert.

Das solltest du dann als Beta-Tester aber tun, nutzt ja nix, wenn du eine Version 1.4.2 betatestest.

marlan99

@thomas-braun da gebe ich dir natürlich recht.
Habe es auch mitgetestet und lief seit 6 Monaten Fehlerfrei.

Ich vermute auch, dass Teslaseitig etwas geändert hat, dass es am 09.04. dann diesen Effekt hervorbrachte.

NEWS

ioBroker regelmässig load >40 und bleibt hängen

Support us

903
Online

31.6k
Users

79.6k
Topics

1.3m
Posts

NEWS

ioBroker regelmässig load >40 und bleibt hängen

Support us

903Online

31.6kUsers

79.6kTopics

1.3mPosts

903
Online

31.6k
Users

79.6k
Topics

1.3m
Posts