iobroker kaum benutzbar - redis 100%
-
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
@dp20eic
tail -f /var/log/redis/ --> ist leer
Moin,
Dir ist bewusst, dass das nur der Ordner ist, auf den Du ein
tailmachst?# ls -la /var/log/redis/* Dann tail auf das Logfile, das zur Problemzeit passt # tail -f /var/log/redis/logfile.xyzVG
Bernd -
apt policy redis* redis-server: Installed: 5:6.0.16-1+deb11u2 Candidate: 5:6.0.16-1+deb11u2 Version table: *** 5:6.0.16-1+deb11u2 500 500 http://ftp.debian.org/debian bullseye/main amd64 Packages 500 http://security.debian.org bullseye-security/main amd64 Packages 100 /var/lib/dpkg/status redis-redisearch-doc: Installed: (none) Candidate: 1:1.2.2-4 Version table: 1:1.2.2-4 500 500 http://ftp.debian.org/debian bullseye/main amd64 Packages redis-sentinel: Installed: (none) Candidate: 5:6.0.16-1+deb11u2 Version table: 5:6.0.16-1+deb11u2 500 500 http://ftp.debian.org/debian bullseye/main amd64 Packages 500 http://security.debian.org bullseye-security/main amd64 Packages redis-tools: Installed: 5:6.0.16-1+deb11u2 Candidate: 5:6.0.16-1+deb11u2 Version table: *** 5:6.0.16-1+deb11u2 500 500 http://ftp.debian.org/debian bullseye/main amd64 Packages 500 http://security.debian.org bullseye-security/main amd64 Packages 100 /var/lib/dpkg/status redis-redisearch: Installed: (none) Candidate: 1:1.2.2-4 Version table: 1:1.2.2-4 500 500 http://ftp.debian.org/debian bullseye/main amd64 Packages redis: Installed: 5:6.0.16-1+deb11u2 Candidate: 5:6.0.16-1+deb11u2 Version table: *** 5:6.0.16-1+deb11u2 500 500 http://ftp.debian.org/debian bullseye/main amd64 Packages 500 http://security.debian.org bullseye-security/main amd64 Packages 100 /var/lib/dpkg/status -
@dp20eic sagte in iobroker kaum benutzbar - redis 100%:
ls -la /var/log/redis/*
ja ist mir bewusst. Ich tabbe an der stelle und es ist nichts drin...
-
@dp20eic
ls -la /var/log/redis/* ls: cannot access '/var/log/redis/*': Permission deniedsudo ls -la /var/log/redis/* ls: cannot access '/var/log/redis/*': No such file or directorymit einem sudo chmod -R 777 /var/log/redis/
komme ich nun dran...iobroker@SmarthomeVM:~$ tail -f /var/log/redis/redis-server.log 197:M 05 Sep 2023 09:36:07.012 * 10000 changes in 60 seconds. Saving... 197:M 05 Sep 2023 09:36:07.022 * Background saving started by pid 1919271 1919271:C 05 Sep 2023 09:36:16.429 * DB saved on disk 1919271:C 05 Sep 2023 09:36:16.440 * RDB: 24 MB of memory used by copy-on-write 197:M 05 Sep 2023 09:36:16.462 * Background saving terminated with success 197:M 05 Sep 2023 09:37:17.080 * 10000 changes in 60 seconds. Saving... 197:M 05 Sep 2023 09:37:17.089 * Background saving started by pid 1920931 1920931:C 05 Sep 2023 09:37:26.622 * DB saved on disk 1920931:C 05 Sep 2023 09:37:26.633 * RDB: 18 MB of memory used by copy-on-write 197:M 05 Sep 2023 09:37:26.737 * Background saving terminated with success 197:M 05 Sep 2023 09:38:27.057 * 10000 changes in 60 seconds. Saving... 197:M 05 Sep 2023 09:38:27.066 * Background saving started by pid 1922567 1922567:C 05 Sep 2023 09:38:36.614 * DB saved on disk 1922567:C 05 Sep 2023 09:38:36.625 * RDB: 18 MB of memory used by copy-on-write 197:M 05 Sep 2023 09:38:36.650 * Background saving terminated with success 197:M 05 Sep 2023 09:39:37.073 * 10000 changes in 60 seconds. Saving... 197:M 05 Sep 2023 09:39:37.082 * Background saving started by pid 1924186 1924186:C 05 Sep 2023 09:39:47.195 * DB saved on disk 1924186:C 05 Sep 2023 09:39:47.207 * RDB: 22 MB of memory used by copy-on-write 197:M 05 Sep 2023 09:39:47.241 * Background saving terminated with success 197:M 05 Sep 2023 09:40:48.076 * 10000 changes in 60 seconds. Saving... 197:M 05 Sep 2023 09:40:48.085 * Background saving started by pid 192589710000 Änderungen in 60 sek??? Das ist viel, oder? Wo sehe ich was das macht?
-
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
17.080 * 10000 changes in 60 seconds. Saving...
ist nicht dein Ernst?
und du wunderst dich dass es klemmt? -
@caravandriver
In der Instanz Sicht des iobrokers kann man sehen wieviele Events pro Eintrag vorkommen.
Das ist ein Hinweis auf dir Anzahl der gelesenen und geschriebenen datenpunkte. -
@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"... -
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
sudo chmod -R 777 /var/log/redis/
Am Rande: 777 rekursiv über ein Verzeichnis kippen ist immer die allerallerschlechteste Herangehensweise.
Ich vermute, da fehlt die Mitgliedschaft in einer Gruppe 'redis' oder ähnliches. -
hier?
Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..
Aber: Auch wenn ich javascript anhalte wird es nicht besser.
-
@caravandriver hast du alle hunderte Instanzen aud Logstufe debug?
-
@homoran Nein, alle sind auf "Error"
-
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"...Moin,
doch hast Du, aus Deiner Konfiguration
################################ SNAPSHOTTING ################################ # # Save the DB on disk: # # save <seconds> <changes> # # Will save the DB if both the given number of seconds and the given # number of write operations against the DB occurred. # # In the example below the behavior will be to save: # after 900 sec (15 min) if at least 1 key changed # after 300 sec (5 min) if at least 10 keys changed # after 60 sec if at least 10000 keys changed # # Note: you can disable saving completely by commenting out all "save" lines. # # It is also possible to remove all the previously configured save # points by adding a save directive with a single empty string argument # like in the following example: # # save "" save 900 1 save 300 10 save 60 10000@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
redis-server:
Installed: 5:6.0.16-1+deb11u2
Candidate: 5:6.0.16-1+deb11u2Auf meinem Office PC sehe ich das aktuell Version 7.0 aktuell ist, keine Ahnung, ob es da auch eine aktuellere Version für
Bullseyegibt.@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
mit einem sudo chmod -R 777 /var/log/redis/
Keine Gute Idee, was sagt denn
# ls -la /var/logVG
Bernd -
@dp20eic
Bewusst habe ich da nichts geändert.
Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte? -
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..
Aber: Auch wenn ich javascript anhalte wird es nicht besser.du kannst auch noch auf sonoff und vedirect schauen, die sind auch noch recht hoch.
die frage ist auch immer wie fein granular du tatsächlich die werte aufzeichnen willst. ich weiß leider nicht genau welche zeitscheibe diese werte da anzeigen, aber ich schätze es ist der durchschnitt in einer minute oder weniger.
hast du noch history angeschaltet?bei javascript, kannst du natürlich die skripte der reihe nach abschalten und schauen wo es die größten Auswirkungen hat. extra logging einbauen würde ich nur mit bedacht, da das uU extreme Auswirkungen auf die Performance hat.
primär würde ich aber nach den skripten schauen, die sich mit sonoff und vedirect beschäftigen.die Anzahl bei admin ist auch relativ hoch, aber das dürfte eigentlich nur die interne berichterstattung der adapter sein (datenpunkte system.*).
im Zweifel könnte es auch sein, das du für dein Szenario dann auch am Ende der Performance angelangt bist und einen stärkeren Prozessor brauchst. Ein SAP für ein Großunternehmen lässt sich auch nicht auf einem Consumer-PC betreiben.
oder du skalierst redis und stellst mehrere rechner für die redis-db bereit. https://redis.io/docs/management/scaling/. -
Der ve.direkt ließt glaube ich sogar jede Sekunde, aber das kann man nirgendwo einstellen. 1x / Minute würde mir ja reichen...
SQL History ist für keinen ve.direct Wert an.
Javascript einzeln durchtesten ist eine Wochenaufgabe... Sind so 200 Scripte.
-
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte?
Moin,
ich nutze kein Redis, ich kenne das nur von der Arbeit und da haben das auch Kollegen betreut. Da mich das Thema aber jetzt interessiert, werde ich mir schon mal das Grundwissen anlesen, sobald dann meine neuen Rechner da sind, werde ich mir ein
HA Redisaufbauen.
So lange musst Du wohl selbst Zeit investieren und lesen oder Fernsehen (YT).Redis
https://redis.io/docs/getting-started/
https://redis.io/docs/management/persistence/Interessante Daten zum laufenden Radis
# systemctl status redis.service Nach der PID Nummer suchen ``Main PID: 5409 (redis-server)`` # cat /proc/PID/limitsVG
BerndP.S.: Ich hatte es ja oben schon mal angedeutet, einfach eine Konfiguration, von anderen, zu übernehmen, ist nicht klug, das kann funktionieren, muss es aber nicht, jede Installation / Konfiguration ist unterschiedlich und muss somit auch individuell angepasst werden.
-
@dp20eic
Ich bin davon ausgegangen, das du eine Ahnung hast, welchen Parameter zu übernehmen sinn machen würde.
Daher meine Frage.Ich habe mal diese Änderung vorgenommen:
save 900 1
#save 300 10
#save 60 10000Das ist wie gesagt, das erste Mal, das ich die Datei anpacke.
-
@caravandriver schau mal hier. Da gibt's auch einiges und configs Link Text
Ro75.
-
Ich habe den iobroker Proxmox-Container auf SSD gelegt.
Dieser war noch auf der alten HDD.Dazu meine anpassung der redis.conf
save 900 1
#save 300 10
#save 60 10000Bisher kein Performanceproblem mehr. Der CPU-Load ist drastisch gefallen (vorher > 3), jetzt 0,5 - 0,8.
-
@caravandriver sagte in iobroker kaum benutzbar - redis 100%:
save 900 1
Na das klingt gut. Allerdings mit diesen Werten wird dein System wohl permanent auf die SSD speichern, sprich mehrere hundert MB in sehr kurzen Intervallen.
Kannst das ja prüfen in
/var/lib/redis
Ich würde den Wert nach oben anpassen.
Ro75.
EDIT: Ich habe bei mir stehen:
save 43200 50000Damit speichert er entweder aller 12 Stunden oder wenn mindestens 50000 Änderungen erfolgt sind.
