iobroker kaum benutzbar - redis 100%

[caravandriver]

@thomas-braun Habe ich gemacht... redis.

Da läuft nichts. Ich habe auf allen meinen linux kisten die gleiche fstab und die gleichen Shares eingebunden.

Umbenannt ists nun.

Aktuell ist die auslastung vom redis ok die meiste Zeit.

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

journal habe ich bereinigt

Moin,

aufräumen ist ja schön und gut, aber was schreibt denn da so rein, vielleicht hast Du ja ein Problem im Grundsystem, das sich dann im Redis verhalten widerspiegelt.

Auch das mit den Mounts ist ja schön und gut, aber wenn einmal ein Zugriff auf eines der Mounts stockt, aus welchen Gründen auch immer, dann klemmen andere Prozesse auch und die Kiste ist nur damit am Tun.

Das dritte, die Bilder vom htop sind auf einem Handy nicht hilfreich, nutze top und poste als Text in Code Tags </>.

Du hast es jetzt zwar umbenannt, Du fährst aber immer noch Beta, oder?

VG
Bernd

[caravandriver]

@dp20eic

naja, die Mounts gehen alle aufs NAS. Das ist immer da. Auch sind im log keine SMB fehler oder sonst was in die Richtung.

Zurück auf stable geht so? Dann habe ich das gemacht.
iobroker stop && iobroker update && iobroker upgrade self && iobroker upgrade && iobroker start

So mal am Rande offtopic:
Warum steht eigentlich hier im Forum ständig "Forbidden" bei der Antwort. Teilweise kommt auch Error 505 (ausgelastet). Ein Refresh hilft dann meistens...

Aber egal...

top - 10:26:27 up 1 day, 18:57,  3 users,  load average: 2.55, 2.79, 3.37
Tasks: 105 total,   1 running, 104 sleeping,   0 stopped,   0 zombie
%Cpu(s): 54.0 us,  8.2 sy,  0.0 ni, 29.5 id,  7.4 wa,  0.0 hi,  0.8 si,  0.0 st
MiB Mem :  12000.0 total,   4094.2 free,   5391.0 used,   2514.7 buff/cache
MiB Swap:   7168.0 total,   6956.6 free,    211.4 used.   6609.0 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
    249 redis     20   0 1426156 818172   5072 S   3.0   6.7 170:34.10 redis-server
3640735 iobroker  20   0 1406616 585188  44568 S   2.3   4.8   2:09.80 io.javascript.0
3640888 iobroker  20   0  711480 134936  39144 S   1.3   1.1   0:14.52 io.sonoff.0
3640918 iobroker  20   0  709640 108020  44384 S   1.0   0.9   0:07.76 io.mqtt.0
3641253 iobroker  20   0  764084  92732  40200 S   1.0   0.8   0:10.01 io.info.0
3652508 iobroker  20   0    6360   4920   3116 S   1.0   0.0   0:02.56 htop
     79 systemd+  20   0   16180   3944   3088 S   0.3   0.0   0:15.44 systemd-network
3640612 iobroker  20   0   10.9g 116424  47104 S   0.3   0.9   0:06.68 iobroker.js-con
3640765 iobroker  20   0  683484  77692  39012 S   0.3   0.6   0:02.29 io.ping.0
3640821 iobroker  20   0   10.7g  99184  40552 S   0.3   0.8   0:09.57 io.synology.0
3640903 iobroker  20   0  695772  91152  39200 S   0.3   0.7   0:04.18 io.shelly.0
3641007 iobroker  20   0  962716  95088  40352 S   0.3   0.8   0:08.35 io.alexa2.0
3641440 iobroker  20   0  686624  75092  39168 S   0.3   0.6   0:01.85 io.harmony.0
3642900 iobroker  20   0  681876  74320  38912 S   0.3   0.6   0:01.08 io.text2command
3643154 iobroker  20   0  999260 132660  39500 S   0.3   1.1   0:05.75 io.web.0
3658715 root      20   0    7176   3444   2808 R   0.3   0.0   0:00.01 top
      1 root      20   0  167084   8532   5676 S   0.0   0.1   0:01.79 systemd
     56 root      20   0   89464  15620  14408 S   0.0   0.1   0:00.76 systemd-journal
     71 root      20   0    5228    160      4 S   0.0   0.0   0:00.00 blkmapd
     93 root      20   0    3056    172      0 S   0.0   0.0   0:00.00 rpc.idmapd
    215 _rpc      20   0    7900   3260   2812 S   0.0   0.0   0:00.12 rpcbind
    223 root      20   0  220796   3404   2952 S   0.0   0.0   0:00.11 rsyslogd
    224 root      20   0   13992   5096   4276 S   0.0   0.0   0:00.19 systemd-logind
    250 root      20   0  106188  14492   7492 S   0.0   0.1   0:00.08 unattended-upgr
    253 root      20   0    5136    532      0 S   0.0   0.0   0:00.00 rpc.mountd
    309 mysql     20   0 2653508 168588  10308 S   0.0   1.4   0:44.49 mariadbd
   4632 root      20   0    2504   1664   1552 S   0.0   0.0   0:00.00 agetty
   4633 root      20   0    2504   1696   1584 S   0.0   0.0   0:00.00 agetty
   4634 root      20   0    2504   1704   1592 S   0.0   0.0   0:00.00 agetty
   4759 root      20   0    6592   4420   3260 S   0.0   0.0   0:03.95 apache2
   5038 root      20   0   40048   3840   3252 S   0.0   0.0   0:00.34 master
   5040 postfix   20   0   40352   4768   4108 S   0.0   0.0   0:00.06 qmgr
   5075 fhem      20   0   38100  22124   3760 S   0.0   0.2   0:01.18 perl
 852706 root      20   0  286592  13532  10868 S   0.0   0.1   0:00.38 packagekitd
 852942 root      20   0  234316   6928   5680 S   0.0   0.1   0:00.01 polkitd
2772237 www-data  20   0 1932392   4052   2520 S   0.0   0.0   0:00.00 apache2
2772238 www-data  20   0 1997928   4048   2516 S   0.0   0.0   0:00.00 apache2
3490400 root      20   0   14512   7196   5976 S   0.0   0.1   0:00.04 sshd
3490728 iobroker  20   0   15184   7548   6376 S   0.0   0.1   0:00.02 systemd
3490729 iobroker  20   0  168660   2724      0 S   0.0   0.0   0:00.00 (sd-pam)
3491220 iobroker  20   0   14724   5636   4396 S   0.0   0.0   0:07.71 sshd
3491229 iobroker  20   0    5216   4452   2812 S   0.0   0.0   0:00.23 bash
3550232 root      20   0   14512   7216   5984 S   0.0   0.1   0:00.03 sshd
3550504 heckmic   20   0   15188   7772   6572 S   0.0   0.1   0:00.01 systemd
3550505 heckmic   20   0  168660   2760      0 S   0.0   0.0   0:00.00 (sd-pam)
3550698 heckmic   20   0   14728   5404   4164 S   0.0   0.0   0:00.35 sshd
3550699 heckmic   20   0    2480    516    444 S   0.0   0.0   0:00.00 sh
3550779 heckmic   20   0    5348   4664   2956 S   0.0   0.0   0:00.02 bash
3551364 root      20   0    7016   3104   2520 S   0.0   0.0   0:00.00 su
3551391 root      20   0    4244   3480   2884 S   0.0   0.0   0:00.01 bash
3553253 root      20   0    3744   2200   1948 S   0.0   0.0   0:00.00 cron
3557796 postfix   20   0   40304   5932   5284 S   0.0   0.0   0:00.00 pickup
3640612 iobroker  20   0   10.9g 117180  47104 S   0.0   1.0   0:06.67 iobroker.js-con
3640630 iobroker  20   0 1578284 750728  45764 S   0.0   6.1   1:25.27 io.admin.0
3640657 iobroker  20   0  698456  90460  40820 S   0.0   0.7   0:05.05 io.sql.0
3640674 iobroker  20   0  683532  75372  39100 S   0.0   0.6   0:01.14 io.whatsapp-cmb

[caravandriver]

Und redis ist wieder dabei...

top - 15:05:44 up  4:18,  1 user,  load average: 2.93, 2.94, 2.79
Tasks:  94 total,   2 running,  92 sleeping,   0 stopped,   0 zombie
%Cpu(s): 43.9 us, 12.3 sy,  0.0 ni, 43.9 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :  12000.0 total,   4081.3 free,   5597.1 used,   2321.6 buff/cache
MiB Swap:   7168.0 total,   7167.8 free,      0.2 used.   6402.9 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
    197 redis     20   0 1426156 969148   7108 R 107.7   7.9  54:07.23 redis-server
    454 iobroker  20   0 1447856 617244  45496 S   7.7   5.0   5:16.45 io.admin.0
 364786 iobroker  20   0  681452  73428  38688 S   7.7   0.6   0:00.86 node
 365587 iobroker  20   0    7176   3308   2680 R   7.7   0.0   0:00.01 top
      1 root      20   0  165704   9560   7100 S   0.0   0.1   0:00.31 systemd
     49 root      20   0   72964  15456  14508 S   0.0   0.1   0:00.12 systemd-journal
     64 root      20   0    5228    160      4 S   0.0   0.0   0:00.00 blkmapd
     70 systemd+  20   0   16048   6568   5700 S   0.0   0.1   0:01.51 systemd-network
     80 root      20   0    3056    176      0 S   0.0   0.0   0:00.00 rpc.idmapd
    112 _rpc      20   0    7900   3944   3496 S   0.0   0.0   0:00.01 rpcbind
    113 systemd+  20   0   24108  11424   7496 S   0.0   0.1   0:00.06 systemd-resolve
    127 message+  20   0    8260   3800   3336 S   0.0   0.0   0:00.03 dbus-daemon
    128 root      20   0  220796   3504   3076 S   0.0   0.0   0:00.01 rsyslogd
    129 root      20   0   13988   6628   5808 S   0.0   0.1   0:00.04 systemd-logind
    198 root      20   0  106188  20468  12068 S   0.0   0.2   0:00.08 unattended-upgr
    201 root      20   0    5136    536      0 S   0.0   0.0   0:00.00 rpc.mountd
    257 mysql     20   0 2630916 122328  14548 S   0.0   1.0   0:05.24 mariadbd
    388 iobroker  20   0   11.0g 150560  46264 S   0.0   1.2   0:48.35 iobroker.js-con
    473 iobroker  20   0  688604  80512  38448 S   0.0   0.7   0:03.83 io.scheduler.0
    520 iobroker  20   0  972128 109480  45196 S   0.0   0.9   0:11.96 io.telegram.0
    543 iobroker  20   0  685020  79832  38844 S   0.0   0.6   0:04.01 io.whatsapp-cmb
    574 iobroker  20   0  706052 103808  40656 S   0.0   0.8   0:17.97 io.sql.0
    601 iobroker  20   0 1409696 564580  44644 S   0.0   4.6   8:37.99 io.javascript.0
    627 iobroker  20   0  683996  76044  38916 S   0.0   0.6   0:03.96 io.scenes.0
    658 iobroker  20   0  703964 101764  39084 S   0.0   0.8   0:30.52 io.shelly.0
    685 iobroker  20   0  689628  83328  38744 S   0.0   0.7   0:20.68 io.ping.0
    718 iobroker  20   0   10.7g 105916  41436 S   0.0   0.9   6:21.47 io.unifi.0
    747 iobroker  20   0  710416  86652  42748 S   0.0   0.7   0:04.80 io.mihome-vacuu
    778 iobroker  20   0  687068  80288  38840 S   0.0   0.7   0:05.09 io.wolf.0
    805 iobroker  20   0  686720  79544  38812 S   0.0   0.6   0:04.64 io.fhem.3
    836 iobroker  20   0  935004 139660  41052 S   0.0   1.1   1:04.45 io.zigbee.0
    855 iobroker  20   0   10.8g  91504  46712 S   0.0   0.7   0:04.64 io.mielecloudse
    882 iobroker  20   0  696420  91636  39104 S   0.0   0.7   0:07.34 io.tr-064.0
    917 iobroker  20   0   10.7g 106732  40608 S   0.0   0.9   1:37.35 io.synology.0
    999 iobroker  20   0  760212 155748  39112 S   0.0   1.3   3:42.50 io.sonoff.0
   1055 iobroker  20   0  970652 102728  40268 S   0.0   0.8   0:18.40 io.alexa2.0
   1083 iobroker  20   0  684764  78400  39012 S   0.0   0.6   0:05.23 io.mihome.0
   1113 iobroker  20   0  684160  76472  39144 S   0.0   0.6   0:04.50 io.fhem.1
   1175 iobroker  20   0  967396 108104  47072 S   0.0   0.9   0:07.69 io.ham.0
   1272 iobroker  20   0  694716  88500  39040 S   0.0   0.7   1:05.25 io.net-tools.0
   1329 iobroker  20   0  689648  78704  39196 S   0.0   0.6   0:03.95 io.terminal.0
   1429 iobroker  20   0  689008  81284  39020 S   0.0   0.7   0:07.08 io.simple-api.0
   1487 iobroker  20   0  687600  82044  40160 S   0.0   0.7   0:06.73 io.sainlogic.0
   1555 iobroker  20   0  685424  75932  38832 S   0.0   0.6   0:03.93 io.ws.0
   1590 iobroker  20   0  693488  88404  39020 S   0.0   0.7   0:26.29 io.go-e.0
   1614 iobroker  20   0  698332  98240  39380 S   0.0   0.8   0:08.48 io.fritzdect.0
   1644 iobroker  20   0  958132  93404  39900 S   0.0   0.8   0:15.33 io.bring.0
   1677 iobroker  20   0   10.9g 121436  46916 S   0.0   1.0   0:15.01 io.iot.0
   1706 iobroker  20   0   10.7g  96840  46276 S   0.0   0.8   0:04.41 io.backitup.0
   1776 iobroker  20   0  948336  88324  45548 S   0.0   0.7   0:05.83 io.pvforecast.0
   1817 iobroker  20   0   10.9g 106016  47116 S   0.0   0.9   0:29.55 io.tesla-motors
   1850 iobroker  20   0  680432  73092  38916 S   0.0   0.6   0:03.98 io.enigma2.1
   1920 iobroker  20   0  680964  73712  39040 S   0.0   0.6   0:04.01 io.enigma2.0
   1947 iobroker  20   0  700432  97476  39572 S   0.0   0.8   0:20.26 io.upnp.0
   2003 iobroker  20   0  949784  82036  40068 S   0.0   0.7   0:05.61 io.nina.0
   2106 iobroker  20   0  682900  75904  39064 S   0.0   0.6   0:03.85 io.text2command

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Und redis ist wieder dabei...

Moin,

na dann gib doch mal zum Besten, wie Du Dein redis Server installiert hast und wie er konfiguriert ist! Was wird ins rdeis Log File geschrieben, wenn die Last ansteigt?

VG
Bernd

[Ro75]

@caravandriver also ich nutze Redis auch und hatte noch nie Probleme, ganz im Gegenteil. Dank Redis läuft alles "flotter" und benötigt unterm Strich deutlich weniger Ressourcen.

Wenn es bei dir anders ist (konnte man ja sehen), dann würde ich zuerst die Frage an dich stellen:

• Was hast du an der redis config denn geändert?

Ro75.

[caravandriver]

@ro75 Ich habe da gar nichts geändert. Ich habe eine große iobroker installation. Klar, ohne redis wird es schlimmer sein, nur ist es eben mit nicht gut.

[caravandriver]

@dp20eic

Installiert
iobroker stop
sudo apt install redis-server
iobroker setup custom

wie finde ich raus, was in redis geschrieben wird?

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Ich habe da gar nichts geändert. Ich habe eine große iobroker installation.

Moin,

das kann ja dann schon mal ein Hinweis sein, denn Redis funktioniert nur so gut wie es auch eingerichtet ist, vielleicht ist ja die Standardkonfiguration nicht für Deine Installation geeignet, also zeig mal das Konfigurationsfile.

Logs sollten unter /var/log zu finden sein.

VG
Bernd

[caravandriver]

@dp20eic

tail -f /var/log/redis/ --> ist leer

[caravandriver]

@dp20eic

Hier die Konfig

redis.conf

[Thomas Braun]

@caravandriver
Ist auch das Paket redis installiert?

apt policy redis*

liefert?

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

@dp20eic

tail -f /var/log/redis/ --> ist leer

Moin,

Dir ist bewusst, dass das nur der Ordner ist, auf den Du ein tail machst?

# ls -la /var/log/redis/*
Dann tail auf das Logfile, das zur Problemzeit passt
# tail -f /var/log/redis/logfile.xyz

VG
Bernd

[caravandriver]

@thomas-braun

 apt policy redis*
redis-server:
  Installed: 5:6.0.16-1+deb11u2
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
 *** 5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
        100 /var/lib/dpkg/status
redis-redisearch-doc:
  Installed: (none)
  Candidate: 1:1.2.2-4
  Version table:
     1:1.2.2-4 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
redis-sentinel:
  Installed: (none)
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
     5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
redis-tools:
  Installed: 5:6.0.16-1+deb11u2
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
 *** 5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
        100 /var/lib/dpkg/status
redis-redisearch:
  Installed: (none)
  Candidate: 1:1.2.2-4
  Version table:
     1:1.2.2-4 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
redis:
  Installed: 5:6.0.16-1+deb11u2
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
 *** 5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
        100 /var/lib/dpkg/status

[caravandriver]

@dp20eic sagte in iobroker kaum benutzbar - redis 100%:

ls -la /var/log/redis/*

ja ist mir bewusst. Ich tabbe an der stelle und es ist nichts drin...

[caravandriver]

@dp20eic

ls -la /var/log/redis/*
ls: cannot access '/var/log/redis/*': Permission denied

sudo  ls -la /var/log/redis/*
ls: cannot access '/var/log/redis/*': No such file or directory

mit einem sudo chmod -R 777 /var/log/redis/
komme ich nun dran...

iobroker@SmarthomeVM:~$ tail -f /var/log/redis/redis-server.log
197:M 05 Sep 2023 09:36:07.012 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:36:07.022 * Background saving started by pid 1919271
1919271:C 05 Sep 2023 09:36:16.429 * DB saved on disk
1919271:C 05 Sep 2023 09:36:16.440 * RDB: 24 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:36:16.462 * Background saving terminated with success
197:M 05 Sep 2023 09:37:17.080 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:37:17.089 * Background saving started by pid 1920931
1920931:C 05 Sep 2023 09:37:26.622 * DB saved on disk
1920931:C 05 Sep 2023 09:37:26.633 * RDB: 18 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:37:26.737 * Background saving terminated with success
197:M 05 Sep 2023 09:38:27.057 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:38:27.066 * Background saving started by pid 1922567
1922567:C 05 Sep 2023 09:38:36.614 * DB saved on disk
1922567:C 05 Sep 2023 09:38:36.625 * RDB: 18 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:38:36.650 * Background saving terminated with success
197:M 05 Sep 2023 09:39:37.073 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:39:37.082 * Background saving started by pid 1924186
1924186:C 05 Sep 2023 09:39:47.195 * DB saved on disk
1924186:C 05 Sep 2023 09:39:47.207 * RDB: 22 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:39:47.241 * Background saving terminated with success
197:M 05 Sep 2023 09:40:48.076 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:40:48.085 * Background saving started by pid 1925897

10000 Änderungen in 60 sek??? Das ist viel, oder? Wo sehe ich was das macht?

[Homoran]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

17.080 * 10000 changes in 60 seconds. Saving...

ist nicht dein Ernst?
und du wunderst dich dass es klemmt?

[OliverIO]

@caravandriver
In der Instanz Sicht des iobrokers kann man sehen wieviele Events pro Eintrag vorkommen.
Das ist ein Hinweis auf dir Anzahl der gelesenen und geschriebenen datenpunkte.

[caravandriver]

@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"...

[Thomas Braun]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

sudo chmod -R 777 /var/log/redis/

Am Rande: 777 rekursiv über ein Verzeichnis kippen ist immer die allerallerschlechteste Herangehensweise.
Ich vermute, da fehlt die Mitgliedschaft in einer Gruppe 'redis' oder ähnliches.