[gelöst] ioB 120% Auslastung und no connection to database

Thomas Braun

Bitte das Fenster des Terminals mal größer machen. Da fehlt rechts Text.

sudo systemctl stop redis-server
sudo systemctl disable redis-server

Thomas Braun

@kueppert

apt policy redis*

Da ist vermutlich das Paket redis-server installiert.

Kueppert

@apollon77 sagte in ioBroker mit 120% Auslastung und no connection to database:

iob list instances

thorsten@ioBroker2:~$ iob list instances
  system.adapter.admin.0                  : admin                 : ioBroker2                                -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
  system.adapter.alarm.0                  : alarm                 : ioBroker2                                -  enabled
  system.adapter.alexa2.0                 : alexa2                : ioBroker2                                -  enabled
  system.adapter.alias-manager.0          : alias-manager         : ioBroker2                                -  enabled
  system.adapter.backitup.0               : backitup              : ioBroker2                                -  enabled
  system.adapter.daswetter.0              : daswetter             : ioBroker2                                -  enabled
  system.adapter.denon.0                  : denon                 : ioBroker2                                -  enabled
  system.adapter.discovery.0              : discovery             : ioBroker2                                -  enabled
  system.adapter.echarts.0                : echarts               : ioBroker2                                -  enabled
  system.adapter.email.0                  : email                 : ioBroker2                                -  enabled
  system.adapter.flot.0                   : flot                  : ioBroker2                                -  enabled
  system.adapter.fully-tablet-control.0   : fully-tablet-control  : ioBroker2                                -  enabled
  system.adapter.harmony.0                : harmony               : ioBroker2                                -  enabled
  system.adapter.history.0                : history               : ioBroker2                                -  enabled
  system.adapter.hm-rega.0                : hm-rega               : ioBroker2                                -  enabled
  system.adapter.hm-rpc.0                 : hm-rpc                : ioBroker2                                -  enabled, port: 0
  system.adapter.hm-rpc.1                 : hm-rpc                : ioBroker2                                -  enabled, port: 0
  system.adapter.hue.0                    : hue                   : ioBroker2                                -  enabled, port: 80
  system.adapter.ical.0                   : ical                  : ioBroker2                                -  enabled
  system.adapter.ical.1                   : ical                  : ioBroker2                                -  enabled
  system.adapter.icons-mfd-png.0          : icons-mfd-png         : ioBroker2                                -  enabled
  system.adapter.icons-ultimate-png.0     : icons-ultimate-png    : ioBroker2                                -  enabled
  system.adapter.influxdb.0               : influxdb              : ioBroker2                                -  enabled, port: 8086
  system.adapter.info.0                   : info                  : ioBroker2                                -  enabled
  system.adapter.iot.0                    : iot                   : ioBroker2                                -  enabled
  system.adapter.iqontrol.0               : iqontrol              : ioBroker2                                -  enabled
  system.adapter.javascript.0             : javascript            : ioBroker2                                -  enabled
  system.adapter.logparser.0              : logparser             : ioBroker2                                -  enabled
  system.adapter.nut.0                    : nut                   : ioBroker2                                -  enabled
  system.adapter.pi-hole.0                : pi-hole               : ioBroker2                                -  enabled
  system.adapter.ping.0                   : ping                  : ioBroker2                                - disabled
  system.adapter.pollenflug.0             : pollenflug            : ioBroker2                                -  enabled
  system.adapter.proxmox.0                : proxmox               : ioBroker2                                -  enabled, port: 8006
  system.adapter.scenes.0                 : scenes                : ioBroker2                                -  enabled
  system.adapter.shelly.0                 : shelly                : ioBroker2                                -  enabled, port: 1882, bind: 0.0.0.0
  system.adapter.simple-api.0             : simple-api            : ioBroker2                                -  enabled, port: 8087, bind: 0.0.0.0, run as: admin
  system.adapter.smartcontrol.0           : smartcontrol          : ioBroker2                                -  enabled
  system.adapter.snmp.0                   : snmp                  : ioBroker2                                -  enabled
  system.adapter.socketio.0               : socketio              : ioBroker2                                -  enabled, port: 8084, bind: 192.168.10.13, run as: admin
  system.adapter.sonoff.0                 : sonoff                : ioBroker2                                -  enabled, port: 1883, bind: 0.0.0.0
  system.adapter.synology.0               : synology              : ioBroker2                                -  enabled, port: 5001
  system.adapter.tankerkoenig.0           : tankerkoenig          : ioBroker2                                -  enabled
  system.adapter.telegram.0               : telegram              : ioBroker2                                -  enabled, port: 8443, bind: 0.0.0.0
  system.adapter.text2command.0           : text2command          : ioBroker2                                -  enabled
  system.adapter.tr-064.0                 : tr-064                : ioBroker2                                -  enabled
  system.adapter.trashschedule.0          : trashschedule         : ioBroker2                                -  enabled
  system.adapter.unifi.0                  : unifi                 : ioBroker2                                -  enabled
  system.adapter.vis-bars.0               : vis-bars              : ioBroker2                                -  enabled
  system.adapter.vis-canvas-gauges.0      : vis-canvas-gauges     : ioBroker2                                -  enabled
  system.adapter.vis-colorpicker.0        : vis-colorpicker       : ioBroker2                                -  enabled
  system.adapter.vis-fancyswitch.0        : vis-fancyswitch       : ioBroker2                                -  enabled
  system.adapter.vis-history.0            : vis-history           : ioBroker2                                -  enabled
  system.adapter.vis-hqwidgets.0          : vis-hqwidgets         : ioBroker2                                -  enabled
  system.adapter.vis-jqui-mfd.0           : vis-jqui-mfd          : ioBroker2                                -  enabled
  system.adapter.vis-justgage.0           : vis-justgage          : ioBroker2                                -  enabled
  system.adapter.vis-materialdesign.0     : vis-materialdesign    : ioBroker2                                -  enabled
  system.adapter.vis-players.0            : vis-players           : ioBroker2                                -  enabled
  system.adapter.vis-timeandweather.0     : vis-timeandweather    : ioBroker2                                -  enabled
  system.adapter.vis-weather.0            : vis-weather           : ioBroker2                                -  enabled
  system.adapter.vis.0                    : vis                   : ioBroker2                                -  enabled
  system.adapter.web-speedy.0             : web-speedy            : ioBroker2                                -  enabled
  system.adapter.web.0                    : web                   : ioBroker2                                -  enabled, port: 8082, bind: 192.168.10.13, run as: admin
  system.adapter.whatsapp-cmb.0           : whatsapp-cmb          : ioBroker2                                -  enabled
  system.adapter.wled.0                   : wled                  : ioBroker2                                -  enabled
  system.adapter.yeelight-2.0             : yeelight-2            : ioBroker2                                -  enabled
  system.adapter.zigbee.0                 : zigbee                : ioBroker2                                -  enabled, port: /dev/serial/by-id/usb-Silicon_Labs_CP2102N_USB_to_UART_Bridge_Controller_9271b043fa93eb11969ca85b3d98b6d1-if00-port0

+ instance is alive

Kueppert

@thomas-braun

thorsten@ioBroker2:~$ systemctl status redis-server
● redis-server.service - Advanced key-value store
   Loaded: loaded (/lib/systemd/system/redis-server.service; enabled; vendor preset: enabled)
   Active: active (running) since Fri 2022-04-22 12:31:07 CEST; 30min ago
     Docs: http://redis.io/documentation,
           man:redis-server(1)
  Process: 383 ExecStart=/usr/bin/redis-server /etc/redis/redis.conf (code=exited, status=0/SUCCESS)
 Main PID: 422 (redis-server)
    Tasks: 4 (limit: 4915)
   Memory: 15.3M
   CGroup: /system.slice/redis-server.service
           └─422 /usr/bin/redis-server 127.0.0.1:6379
thorsten@ioBroker2:~$

services deaktiviert:

thorsten@ioBroker2:~$ sudo systemctl stop redis-server
[sudo] Passwort für thorsten:
thorsten@ioBroker2:~$ sudo systemctl disable redis-server
Synchronizing state of redis-server.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install disable redis-server
Removed /etc/systemd/system/redis.service.
Removed /etc/systemd/system/multi-user.target.wants/redis-server.service.
thorsten@ioBroker2:~$

thorsten@ioBroker2:~$ apt policy redis*
redis-redisearch-doc:
  Installiert:           (keine)
  Installationskandidat: 1:1.2.1-4
  Versionstabelle:
     1:1.2.1-4 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
redis-redisearch:
  Installiert:           (keine)
  Installationskandidat: 1:1.2.1-4
  Versionstabelle:
     1:1.2.1-4 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
redis:
  Installiert:           (keine)
  Installationskandidat: 5:5.0.14-1+deb10u2
  Versionstabelle:
     5:5.0.14-1+deb10u2 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
        500 http://security.debian.org/debian-security buster/updates/main amd64 Packages
redis-sentinel:
  Installiert:           (keine)
  Installationskandidat: 5:5.0.14-1+deb10u2
  Versionstabelle:
     5:5.0.14-1+deb10u2 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
        500 http://security.debian.org/debian-security buster/updates/main amd64 Packages
redis-tools:
  Installiert:           5:5.0.14-1+deb10u2
  Installationskandidat: 5:5.0.14-1+deb10u2
  Versionstabelle:
 *** 5:5.0.14-1+deb10u2 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
        500 http://security.debian.org/debian-security buster/updates/main amd64 Packages
        100 /var/lib/dpkg/status
redis-server:
  Installiert:           5:5.0.14-1+deb10u2
  Installationskandidat: 5:5.0.14-1+deb10u2
  Versionstabelle:
 *** 5:5.0.14-1+deb10u2 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
        500 http://security.debian.org/debian-security buster/updates/main amd64 Packages
        100 /var/lib/dpkg/status
thorsten@ioBroker2:~$

apollon77

Ok, aaaalso aus Erfahrung der Vergangenheit kann so ein "120% Themen" nur passieren wenn irgendein adapter amok läuft und es war meistens nie der Controller.

Der Strukturierte Ansatz wäre daher jetzt Alle Adapter zu deaktivieren ausser Admin und iobroker zu starten. Dann zu schauen wie es dem System geht. Wenn alles ok dann einen adapter nach dem Anderen Aktivieren um zu schauen wann es losgeht ... ggf den dann wieder zu beenden und so weiter. Bis der Übeltäter gefunden ist.

Die aandere Variante ist das System mit den Adaptern zu starten die es eigentlich nicht sein können ... so sparst Du dir ein paar schleifen :-)

Die die immer Kandidaten sind sind javascript und alles wo viele Geräte dran hängen.

Ne Alternative ist ins Log zu schauen von dem wo er jetzt zuletzt lief obdu da offensichtlich irgendwas siehst was amok läuft.

Thomas Braun

@kueppert sagte in ioBroker mit 120% Auslastung und no connection to database:

Siehste, redis-tools und redis-server sind installiert.
Wenn das nicht genutzt wird: Raus damit!

Kueppert

@apollon77 alles klar, dann mach ich das mal so...soll ich vorher, ohne den iob zu starten, ggf den js-controller updaten?

Was mich auch wundert, ist, dass obwohl top keine Auslastung anzeigt, die Auslastung der VM im Proxmox bei 30% liegt? Und die Abfragen in der VM dauern, was iob betrifft, echt lang. So kenne ich das (bisher) garnicht aus der Vergangenheit :face_with_rolling_eyes:

Kueppert

@thomas-braun
der will nicht :

thorsten@ioBroker2:~$ sudo apt remove redis
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
Paket »redis« ist nicht installiert, wird also auch nicht entfernt.
Die folgenden Pakete wurden automatisch installiert und werden nicht mehr benötigt:
  linux-image-4.19.0-16-amd64 linux-image-4.19.0-17-amd64 linux-image-4.19.0-18-amd64
Verwenden Sie »sudo apt autoremove«, um sie zu entfernen.
0 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
thorsten@ioBroker2:~$

apollon77

@kueppert Also da du von dem Problem was die 4.0.22 fixt nicht betroffen bist würde ich damit erstmal warten.

Generell würde ich Dir raten mal die SSD/HDD zu prüfen, ggf im Proxmox bzw auf "Host" ebene ... eine variante ist das da was am failen ist ... die Basis 30% CPI und auch die ja scheinbar lange Ladezeit der 50+30MB würden meine Vermutungen in so eine Richtung schubsen

Thomas Braun

@kueppert
Du musst die Pakete genau benennen:

sudo apt remove redis-tools redis-server

apollon77

@kueppert Musst ja auch redis-server removen :-)

EDIT: Was Thomas sagt :-)

Kueppert

@thomas-braun
erledigt...

thorsten@ioBroker2:~$ sudo apt remove redis-tools redis-server
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
Die folgenden Pakete wurden automatisch installiert und werden nicht mehr benötigt:
  libhiredis0.14 libjemalloc2 liblua5.1-0 linux-image-4.19.0-16-amd64 linux-image-4.19.0-17-amd64
  linux-image-4.19.0-18-amd64 lua-bitop lua-cjson
Verwenden Sie »sudo apt autoremove«, um sie zu entfernen.
Die folgenden Pakete werden ENTFERNT:
  redis-server redis-tools
0 aktualisiert, 0 neu installiert, 2 zu entfernen und 0 nicht aktualisiert.
Nach dieser Operation werden 2.607 kB Plattenplatz freigegeben.
Möchten Sie fortfahren? [J/n] j
(Lese Datenbank ... 69740 Dateien und Verzeichnisse sind derzeit installiert.)
Entfernen von redis-server (5:5.0.14-1+deb10u2) ...
Entfernen von redis-tools (5:5.0.14-1+deb10u2) ...
Trigger für man-db (2.8.5-2) werden verarbeitet ...
thorsten@ioBroker2:~$

@apollon77
dann schau ich mal was die SMART-Werte meiner NEUEN M.2-SSD sagen...externe SSD hab ich erst ersetzt, ist dem Hitzetod erlegen im Serverschrank...danach dann iob starten mit Admin, rest deaktiviert...ich melde mich mit weiteren Erkenntnissen.

DANKE EUCH ganz herzlich für eure Unterstützung :hearts:

apollon77

@kueppert Bin gespannt ...

M2.SSD welcher Hersteller? :-) Hab bei SSDs auch schon krasse geschwindigkeitsunterschiede erlebt ... bin daher nur noch bei Samsung

Kueppert

@apollon77 Transcend...dachte das reicht aus das Teil...SMART sieht für mich bis auf die CRC-Fehler erst mal top aus

root@proxmox:~# smartctl --scan
/dev/sda -d scsi # /dev/sda, SCSI device
root@proxmox:~# smartctl -a /dev/sda
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.13.19-4-pve] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Silicon Motion based SSDs
Device Model:     TS256GMSA230S
Serial Number:    G986570236
LU WWN Device Id: 5 7c3548 1dc0963fc
Firmware Version: R0427GN1
User Capacity:    256,060,514,304 bytes [256 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      M.2
TRIM Command:     Available, deterministic, zeroed
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Fri Apr 22 13:15:27 2022 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0002) Does not save SMART data before
                                        entering power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  30) minutes.
Conveyance self-test routine
recommended polling time:        (   2) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x0000   100   100   000    Old_age   Offline      -       0
  5 Reallocated_Sector_Ct   0x0000   100   100   000    Old_age   Offline      -       0
  9 Power_On_Hours          0x0000   100   100   000    Old_age   Offline      -       410
 12 Power_Cycle_Count       0x0000   100   100   000    Old_age   Offline      -       13
148 Total_SLC_Erase_Ct      0x0000   100   100   000    Old_age   Offline      -       140
149 Max_SLC_Erase_Ct        0x0000   100   100   000    Old_age   Offline      -       12
150 Min_SLC_Erase_Ct        0x0000   100   100   000    Old_age   Offline      -       3
151 Average_SLC_Erase_Ct    0x0000   100   100   000    Old_age   Offline      -       9
159 DRAM_1_Bit_Error_Count  0x0000   100   100   000    Old_age   Offline      -       0
160 Uncorrectable_Error_Cnt 0x0000   100   100   000    Old_age   Offline      -       0
161 Valid_Spare_Block_Cnt   0x0000   100   100   000    Old_age   Offline      -       33
163 Initial_Bad_Block_Count 0x0000   100   100   000    Old_age   Offline      -       24
164 Total_Erase_Count       0x0000   100   100   000    Old_age   Offline      -       13059
165 Max_Erase_Count         0x0000   100   100   000    Old_age   Offline      -       50
166 Min_Erase_Count         0x0000   100   100   000    Old_age   Offline      -       2
167 Average_Erase_Count     0x0000   100   100   000    Old_age   Offline      -       28
168 Max_Erase_Count_of_Spec 0x0000   100   100   000    Old_age   Offline      -       1000
169 Remaining_Lifetime_Perc 0x0000   100   100   000    Old_age   Offline      -       98
177 Wear_Leveling_Count     0x0000   100   100   050    Old_age   Offline      -       0
181 Program_Fail_Cnt_Total  0x0000   100   100   000    Old_age   Offline      -       0
182 Erase_Fail_Count_Total  0x0000   100   100   000    Old_age   Offline      -       0
192 Power-Off_Retract_Count 0x0000   100   100   000    Old_age   Offline      -       1
194 Temperature_Celsius     0x0000   100   100   000    Old_age   Offline      -       41
195 Hardware_ECC_Recovered  0x0000   100   100   000    Old_age   Offline      -       0
196 Reallocated_Event_Count 0x0000   100   100   016    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0000   100   100   050    Old_age   Offline      -       0
232 Available_Reservd_Space 0x0000   100   100   000    Old_age   Offline      -       100
241 Host_Writes_32MiB       0x0000   100   100   000    Old_age   Offline      -       32766
242 Host_Reads_32MiB        0x0000   100   100   000    Old_age   Offline      -       104072
245 TLC_Writes_32MiB        0x0000   100   100   000    Old_age   Offline      -       235062

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Completed [00% left] (0-65535)
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

apollon77

@kueppert sagte in ioBroker mit 120% Auslastung und no connection to database:

TS256GMSA230S

wie sieht das top denn aus wenn nichts läuft? irgendwo müssen die 30% CPU ja herkommen

Kueppert

@apollon77 iobroker stop alarm.0 führt zu 85% Auslastung und dauert >60 Sekunden hahahaha

TOP sieht absolut unauffällig aus:

wenn ich nen Adapter beende:

geht danach aber direkt wieder runter auf 5% nach paar Sekunden...der Prozess dauert trotzdem über 1 Minute (Adapter-Stop)
ah, jetzt ist node wieder über 100%...Adapter ist gestoppt, node wieder auf <1%

apollon77

@kueppert Na dann lass alarm.0 mal aus und schau den Rest an ... denn muss man dann gesondert prüfen, ggf mit debug log oder so

Kueppert

@apollon77 der Stop aller Adapter, die ich jetzt durch habe, dauert so lang...

thorsten@ioBroker2:~$ iobroker stop alarm.0
The adapter "alarm.0" was stopped.
thorsten@ioBroker2:~$ ^C
thorsten@ioBroker2:~$ iobroker stop proxmox.0
The adapter "proxmox.0" was stopped.
thorsten@ioBroker2:~$ iobroker stop influxdb.0
The adapter "influxdb.0" was stopped.
thorsten@ioBroker2:~$ iobroker stop unifi.0
The adapter "unifi.0" was stopped.

apollon77

@kueppert Aahhh das meinst du ... das Stoppen von alarm dauert ... ok blöd.

Ja ... weil iobroker nicht läuft muss er jedes mal die DB öffnen und alles hochfahren und dann ists wieder aus ... sorry :-(

Aber dann ist irgendwas mit dem storage ... der liest doch nur 80MB :-)

EDIT: Das ganze würde bei mir aber immer mehr darauf kommen das es kein Adapter ist sondern irgendwas mit deinem Storage

Kueppert

@apollon77 okay...danke für den Hinweis. Ich geh mal auf die Suche nach ner SAMSUNG!! M.2 SSD ;)

Community Forum

NEWS

[gelöst] ioB 120% Auslastung und no connection to database

Support us

736

32.5k

81.6k

1.3m