iobroker kaum benutzbar - redis 100%

[Homoran]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

17.080 * 10000 changes in 60 seconds. Saving...

ist nicht dein Ernst?
und du wunderst dich dass es klemmt?

[OliverIO]

@caravandriver
In der Instanz Sicht des iobrokers kann man sehen wieviele Events pro Eintrag vorkommen.
Das ist ein Hinweis auf dir Anzahl der gelesenen und geschriebenen datenpunkte.

[caravandriver]

@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"...

[Thomas Braun]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

sudo chmod -R 777 /var/log/redis/

Am Rande: 777 rekursiv über ein Verzeichnis kippen ist immer die allerallerschlechteste Herangehensweise.
Ich vermute, da fehlt die Mitgliedschaft in einer Gruppe 'redis' oder ähnliches.

[caravandriver]

@oliverio

hier?

Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..

Aber: Auch wenn ich javascript anhalte wird es nicht besser.

[Homoran]

@caravandriver hast du alle hunderte Instanzen aud Logstufe debug?

[caravandriver]

@homoran Nein, alle sind auf "Error"

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

@homoran
Nein, ich wunder mich nicht, aber warum ist das so? Ich habe nichts irgendwo eingestellt das sagt "mach das so"...

Moin,

doch hast Du, aus Deiner Konfiguration

################################ SNAPSHOTTING  ################################
#
# Save the DB on disk:
#
#   save <seconds> <changes>
#
#   Will save the DB if both the given number of seconds and the given
#   number of write operations against the DB occurred.
#
#   In the example below the behavior will be to save:
#   after 900 sec (15 min) if at least 1 key changed
#   after 300 sec (5 min) if at least 10 keys changed
#   after 60 sec if at least 10000 keys changed
#
#   Note: you can disable saving completely by commenting out all "save" lines.
#
#   It is also possible to remove all the previously configured save
#   points by adding a save directive with a single empty string argument
#   like in the following example:
#
#   save ""

save 900 1
save 300 10
save 60 10000

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

redis-server:
Installed: 5:6.0.16-1+deb11u2
Candidate: 5:6.0.16-1+deb11u2

Auf meinem Office PC sehe ich das aktuell Version 7.0 aktuell ist, keine Ahnung, ob es da auch eine aktuellere Version für Bullseye gibt.

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

mit einem sudo chmod -R 777 /var/log/redis/

Keine Gute Idee, was sagt denn

# ls -la /var/log

VG
Bernd

[caravandriver]

@dp20eic

Bewusst habe ich da nichts geändert.
Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte?

[OliverIO]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..
Aber: Auch wenn ich javascript anhalte wird es nicht besser.

du kannst auch noch auf sonoff und vedirect schauen, die sind auch noch recht hoch.
die frage ist auch immer wie fein granular du tatsächlich die werte aufzeichnen willst. ich weiß leider nicht genau welche zeitscheibe diese werte da anzeigen, aber ich schätze es ist der durchschnitt in einer minute oder weniger.
hast du noch history angeschaltet?

bei javascript, kannst du natürlich die skripte der reihe nach abschalten und schauen wo es die größten Auswirkungen hat. extra logging einbauen würde ich nur mit bedacht, da das uU extreme Auswirkungen auf die Performance hat.
primär würde ich aber nach den skripten schauen, die sich mit sonoff und vedirect beschäftigen.

die Anzahl bei admin ist auch relativ hoch, aber das dürfte eigentlich nur die interne berichterstattung der adapter sein (datenpunkte system.*).

im Zweifel könnte es auch sein, das du für dein Szenario dann auch am Ende der Performance angelangt bist und einen stärkeren Prozessor brauchst. Ein SAP für ein Großunternehmen lässt sich auch nicht auf einem Consumer-PC betreiben.
oder du skalierst redis und stellst mehrere rechner für die redis-db bereit. https://redis.io/docs/management/scaling/.

[caravandriver]

@oliverio

Der ve.direkt ließt glaube ich sogar jede Sekunde, aber das kann man nirgendwo einstellen. 1x / Minute würde mir ja reichen...

SQL History ist für keinen ve.direct Wert an.

Javascript einzeln durchtesten ist eine Wochenaufgabe... Sind so 200 Scripte.

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte?

Moin,

ich nutze kein Redis, ich kenne das nur von der Arbeit und da haben das auch Kollegen betreut. Da mich das Thema aber jetzt interessiert, werde ich mir schon mal das Grundwissen anlesen, sobald dann meine neuen Rechner da sind, werde ich mir ein HA Redis aufbauen.
So lange musst Du wohl selbst Zeit investieren und lesen oder Fernsehen (YT).

Redis
https://redis.io/docs/getting-started/
https://redis.io/docs/management/persistence/

Interessante Daten zum laufenden Radis

# systemctl status redis.service
Nach der PID Nummer suchen ``Main PID: 5409 (redis-server)``
# cat /proc/PID/limits

VG
Bernd

P.S.: Ich hatte es ja oben schon mal angedeutet, einfach eine Konfiguration, von anderen, zu übernehmen, ist nicht klug, das kann funktionieren, muss es aber nicht, jede Installation / Konfiguration ist unterschiedlich und muss somit auch individuell angepasst werden.

[caravandriver]

@dp20eic
Ich bin davon ausgegangen, das du eine Ahnung hast, welchen Parameter zu übernehmen sinn machen würde.
Daher meine Frage.

Ich habe mal diese Änderung vorgenommen:

save 900 1
#save 300 10
#save 60 10000

Das ist wie gesagt, das erste Mal, das ich die Datei anpacke.

[Ro75]

@caravandriver schau mal hier. Da gibt's auch einiges und configs Link Text

Ro75.

[caravandriver]

@ro75

Ich habe den iobroker Proxmox-Container auf SSD gelegt.
Dieser war noch auf der alten HDD.

Dazu meine anpassung der redis.conf

save 900 1
#save 300 10
#save 60 10000

Bisher kein Performanceproblem mehr. Der CPU-Load ist drastisch gefallen (vorher > 3), jetzt 0,5 - 0,8.

[Ro75]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

save 900 1

Na das klingt gut. Allerdings mit diesen Werten wird dein System wohl permanent auf die SSD speichern, sprich mehrere hundert MB in sehr kurzen Intervallen.

Kannst das ja prüfen in

/var/lib/redis

Ich würde den Wert nach oben anpassen.

Ro75.

EDIT: Ich habe bei mir stehen:

save 43200 50000

Damit speichert er entweder aller 12 Stunden oder wenn mindestens 50000 Änderungen erfolgt sind.

[OliverIO]

@ro75
wenn der rechner allerdings abstürzt, ist das dann auch der maximale Verlust der daten, da sie noch nicht geschrieben worden sind

[Homoran]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Der CPU-Load ist drastisch gefallen (vorher > 3), jetzt 0,5 - 0,8.

dann hatte die Platte wahrscheinlich einen Schuss und/oder der Datentransfer.
Load average enthält auch die I/O Zeiten.

Wenn dann die States und Objects nicht schnell genug geschrieben werden können, klemmt's natürlich in der redis.

[Ro75]

@oliverio das ist korrekt. Die Daten der History sind da und wären nicht betroffen. Alle anderen Daten wären wieder innerhalb kurzer Zeit aktuell - stört also auch nicht.

Nur Änderungen an der VIS wären tragisch. Von daher mache ich zur Sicherheit nach Änderungen in der VIS ein:

redis-cli bgsave

Das muss jeder für sich selbst entscheiden. Ich habe für mich das erreicht was ich wollte:

1. Hohe Performance
2. Geringer Verbrauch von Ressourcen
3. Geringe Belastung der SSD.

Ro75.

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

@dp20eic
Ich bin davon ausgegangen, das du eine Ahnung hast, welchen Parameter zu übernehmen sinn machen würde.

Moin,

Ahnung habe ich schon, ich bin davon ausgegangen, dass Du lesen kannst
Wie schon gesagt, all das ist von Deinen Präferenzen abhängig.

Noch ein paar Hinweise

• HDD hast Du ja schon aus dem Spiel genommen
• Redis ist eine inMemory Datenbank, also stark abhängig davon wie viel Speicher man zugeteilt hat -> maxmemory
• Wie ist die Anforderung an die Persistance
  • siehe @Ro75 https://forum.iobroker.net/topic/67997/iobroker-kaum-benutzbar-redis-100/67?_=1694012868449
• Es gibt Kernel Parameter, die im Standard nicht optimal für Redis sind
  • daher würde ich Redis nicht da betreiben, wo auch alles andere läuft
• Ich würde immer ein HA Cluster aufbauen und Persistenz abschalten, durch das Cluster ist die Datensicherheit gegeben

VG
Bernd