iobroker kaum benutzbar - redis 100%

[caravandriver]

@dp20eic

Installiert
iobroker stop
sudo apt install redis-server
iobroker setup custom

wie finde ich raus, was in redis geschrieben wird?

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Ich habe da gar nichts geändert. Ich habe eine große iobroker installation.

Moin,

das kann ja dann schon mal ein Hinweis sein, denn Redis funktioniert nur so gut wie es auch eingerichtet ist, vielleicht ist ja die Standardkonfiguration nicht für Deine Installation geeignet, also zeig mal das Konfigurationsfile.

Logs sollten unter /var/log zu finden sein.

VG
Bernd

[caravandriver]

@dp20eic

tail -f /var/log/redis/ --> ist leer

[caravandriver]

@dp20eic

Hier die Konfig

redis.conf

[Thomas Braun]

@caravandriver
Ist auch das Paket redis installiert?

apt policy redis*

liefert?

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

@dp20eic

tail -f /var/log/redis/ --> ist leer

Moin,

Dir ist bewusst, dass das nur der Ordner ist, auf den Du ein tail machst?

# ls -la /var/log/redis/*
Dann tail auf das Logfile, das zur Problemzeit passt
# tail -f /var/log/redis/logfile.xyz

VG
Bernd

[caravandriver]

@thomas-braun

 apt policy redis*
redis-server:
  Installed: 5:6.0.16-1+deb11u2
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
 *** 5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
        100 /var/lib/dpkg/status
redis-redisearch-doc:
  Installed: (none)
  Candidate: 1:1.2.2-4
  Version table:
     1:1.2.2-4 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
redis-sentinel:
  Installed: (none)
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
     5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
redis-tools:
  Installed: 5:6.0.16-1+deb11u2
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
 *** 5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
        100 /var/lib/dpkg/status
redis-redisearch:
  Installed: (none)
  Candidate: 1:1.2.2-4
  Version table:
     1:1.2.2-4 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
redis:
  Installed: 5:6.0.16-1+deb11u2
  Candidate: 5:6.0.16-1+deb11u2
  Version table:
 *** 5:6.0.16-1+deb11u2 500
        500 http://ftp.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org bullseye-security/main amd64 Packages
        100 /var/lib/dpkg/status

[caravandriver]

@dp20eic sagte in iobroker kaum benutzbar - redis 100%:

ls -la /var/log/redis/*

ja ist mir bewusst. Ich tabbe an der stelle und es ist nichts drin...

[caravandriver]

@dp20eic

ls -la /var/log/redis/*
ls: cannot access '/var/log/redis/*': Permission denied

sudo  ls -la /var/log/redis/*
ls: cannot access '/var/log/redis/*': No such file or directory

mit einem sudo chmod -R 777 /var/log/redis/
komme ich nun dran...

iobroker@SmarthomeVM:~$ tail -f /var/log/redis/redis-server.log
197:M 05 Sep 2023 09:36:07.012 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:36:07.022 * Background saving started by pid 1919271
1919271:C 05 Sep 2023 09:36:16.429 * DB saved on disk
1919271:C 05 Sep 2023 09:36:16.440 * RDB: 24 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:36:16.462 * Background saving terminated with success
197:M 05 Sep 2023 09:37:17.080 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:37:17.089 * Background saving started by pid 1920931
1920931:C 05 Sep 2023 09:37:26.622 * DB saved on disk
1920931:C 05 Sep 2023 09:37:26.633 * RDB: 18 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:37:26.737 * Background saving terminated with success
197:M 05 Sep 2023 09:38:27.057 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:38:27.066 * Background saving started by pid 1922567
1922567:C 05 Sep 2023 09:38:36.614 * DB saved on disk
1922567:C 05 Sep 2023 09:38:36.625 * RDB: 18 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:38:36.650 * Background saving terminated with success
197:M 05 Sep 2023 09:39:37.073 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:39:37.082 * Background saving started by pid 1924186
1924186:C 05 Sep 2023 09:39:47.195 * DB saved on disk
1924186:C 05 Sep 2023 09:39:47.207 * RDB: 22 MB of memory used by copy-on-write
197:M 05 Sep 2023 09:39:47.241 * Background saving terminated with success
197:M 05 Sep 2023 09:40:48.076 * 10000 changes in 60 seconds. Saving...
197:M 05 Sep 2023 09:40:48.085 * Background saving started by pid 1925897

10000 Änderungen in 60 sek??? Das ist viel, oder? Wo sehe ich was das macht?

[Homoran]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

17.080 * 10000 changes in 60 seconds. Saving...

ist nicht dein Ernst?
und du wunderst dich dass es klemmt?

[OliverIO]

@caravandriver
In der Instanz Sicht des iobrokers kann man sehen wieviele Events pro Eintrag vorkommen.
Das ist ein Hinweis auf dir Anzahl der gelesenen und geschriebenen datenpunkte.

[caravandriver]

@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"...

[Thomas Braun]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

sudo chmod -R 777 /var/log/redis/

Am Rande: 777 rekursiv über ein Verzeichnis kippen ist immer die allerallerschlechteste Herangehensweise.
Ich vermute, da fehlt die Mitgliedschaft in einer Gruppe 'redis' oder ähnliches.

[caravandriver]

@oliverio

hier?

Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..

Aber: Auch wenn ich javascript anhalte wird es nicht besser.

[Homoran]

@caravandriver hast du alle hunderte Instanzen aud Logstufe debug?

[caravandriver]

@homoran Nein, alle sind auf "Error"

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"...

Moin,

doch hast Du, aus Deiner Konfiguration

################################ SNAPSHOTTING  ################################
#
# Save the DB on disk:
#
#   save <seconds> <changes>
#
#   Will save the DB if both the given number of seconds and the given
#   number of write operations against the DB occurred.
#
#   In the example below the behavior will be to save:
#   after 900 sec (15 min) if at least 1 key changed
#   after 300 sec (5 min) if at least 10 keys changed
#   after 60 sec if at least 10000 keys changed
#
#   Note: you can disable saving completely by commenting out all "save" lines.
#
#   It is also possible to remove all the previously configured save
#   points by adding a save directive with a single empty string argument
#   like in the following example:
#
#   save ""

save 900 1
save 300 10
save 60 10000

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

redis-server:
Installed: 5:6.0.16-1+deb11u2
Candidate: 5:6.0.16-1+deb11u2

Auf meinem Office PC sehe ich das aktuell Version 7.0 aktuell ist, keine Ahnung, ob es da auch eine aktuellere Version für Bullseye gibt.

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

mit einem sudo chmod -R 777 /var/log/redis/

Keine Gute Idee, was sagt denn

# ls -la /var/log

VG
Bernd

[caravandriver]

@dp20eic

Bewusst habe ich da nichts geändert.
Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte?

[OliverIO]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..
Aber: Auch wenn ich javascript anhalte wird es nicht besser.

du kannst auch noch auf sonoff und vedirect schauen, die sind auch noch recht hoch.
die frage ist auch immer wie fein granular du tatsächlich die werte aufzeichnen willst. ich weiß leider nicht genau welche zeitscheibe diese werte da anzeigen, aber ich schätze es ist der durchschnitt in einer minute oder weniger.
hast du noch history angeschaltet?

bei javascript, kannst du natürlich die skripte der reihe nach abschalten und schauen wo es die größten Auswirkungen hat. extra logging einbauen würde ich nur mit bedacht, da das uU extreme Auswirkungen auf die Performance hat.
primär würde ich aber nach den skripten schauen, die sich mit sonoff und vedirect beschäftigen.

die Anzahl bei admin ist auch relativ hoch, aber das dürfte eigentlich nur die interne berichterstattung der adapter sein (datenpunkte system.*).

im Zweifel könnte es auch sein, das du für dein Szenario dann auch am Ende der Performance angelangt bist und einen stärkeren Prozessor brauchst. Ein SAP für ein Großunternehmen lässt sich auch nicht auf einem Consumer-PC betreiben.
oder du skalierst redis und stellst mehrere rechner für die redis-db bereit. https://redis.io/docs/management/scaling/.

[caravandriver]

@oliverio

Der ve.direkt ließt glaube ich sogar jede Sekunde, aber das kann man nirgendwo einstellen. 1x / Minute würde mir ja reichen...

SQL History ist für keinen ve.direct Wert an.

Javascript einzeln durchtesten ist eine Wochenaufgabe... Sind so 200 Scripte.