iobroker kaum benutzbar - redis 100%

[caravandriver]

@dp20eic

Bewusst habe ich da nichts geändert.
Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte?

[OliverIO]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Ja, ich habe einige Javascripte. Die machen am meisten. Aber: Wie finde ich raus, welches da am meisten input macht? ggf ist ja eines kaputt..
Aber: Auch wenn ich javascript anhalte wird es nicht besser.

du kannst auch noch auf sonoff und vedirect schauen, die sind auch noch recht hoch.
die frage ist auch immer wie fein granular du tatsächlich die werte aufzeichnen willst. ich weiß leider nicht genau welche zeitscheibe diese werte da anzeigen, aber ich schätze es ist der durchschnitt in einer minute oder weniger.
hast du noch history angeschaltet?

bei javascript, kannst du natürlich die skripte der reihe nach abschalten und schauen wo es die größten Auswirkungen hat. extra logging einbauen würde ich nur mit bedacht, da das uU extreme Auswirkungen auf die Performance hat.
primär würde ich aber nach den skripten schauen, die sich mit sonoff und vedirect beschäftigen.

die Anzahl bei admin ist auch relativ hoch, aber das dürfte eigentlich nur die interne berichterstattung der adapter sein (datenpunkte system.*).

im Zweifel könnte es auch sein, das du für dein Szenario dann auch am Ende der Performance angelangt bist und einen stärkeren Prozessor brauchst. Ein SAP für ein Großunternehmen lässt sich auch nicht auf einem Consumer-PC betreiben.
oder du skalierst redis und stellst mehrere rechner für die redis-db bereit. https://redis.io/docs/management/scaling/.

[caravandriver]

@oliverio

Der ve.direkt ließt glaube ich sogar jede Sekunde, aber das kann man nirgendwo einstellen. 1x / Minute würde mir ja reichen...

SQL History ist für keinen ve.direct Wert an.

Javascript einzeln durchtesten ist eine Wochenaufgabe... Sind so 200 Scripte.

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Kannst du mir einfach deine Konfig geben bzw. die relevanten Zeilen sagen, die ich ändern sollte?

Moin,

ich nutze kein Redis, ich kenne das nur von der Arbeit und da haben das auch Kollegen betreut. Da mich das Thema aber jetzt interessiert, werde ich mir schon mal das Grundwissen anlesen, sobald dann meine neuen Rechner da sind, werde ich mir ein HA Redis aufbauen.
So lange musst Du wohl selbst Zeit investieren und lesen oder Fernsehen (YT).

Redis
https://redis.io/docs/getting-started/
https://redis.io/docs/management/persistence/

Interessante Daten zum laufenden Radis

# systemctl status redis.service
Nach der PID Nummer suchen ``Main PID: 5409 (redis-server)``
# cat /proc/PID/limits

VG
Bernd

P.S.: Ich hatte es ja oben schon mal angedeutet, einfach eine Konfiguration, von anderen, zu übernehmen, ist nicht klug, das kann funktionieren, muss es aber nicht, jede Installation / Konfiguration ist unterschiedlich und muss somit auch individuell angepasst werden.

[caravandriver]

@dp20eic
Ich bin davon ausgegangen, das du eine Ahnung hast, welchen Parameter zu übernehmen sinn machen würde.
Daher meine Frage.

Ich habe mal diese Änderung vorgenommen:

save 900 1
#save 300 10
#save 60 10000

Das ist wie gesagt, das erste Mal, das ich die Datei anpacke.

[Ro75]

@caravandriver schau mal hier. Da gibt's auch einiges und configs Link Text

Ro75.

[caravandriver]

@ro75

Ich habe den iobroker Proxmox-Container auf SSD gelegt.
Dieser war noch auf der alten HDD.

Dazu meine anpassung der redis.conf

save 900 1
#save 300 10
#save 60 10000

Bisher kein Performanceproblem mehr. Der CPU-Load ist drastisch gefallen (vorher > 3), jetzt 0,5 - 0,8.

[Ro75]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

save 900 1

Na das klingt gut. Allerdings mit diesen Werten wird dein System wohl permanent auf die SSD speichern, sprich mehrere hundert MB in sehr kurzen Intervallen.

Kannst das ja prüfen in

/var/lib/redis

Ich würde den Wert nach oben anpassen.

Ro75.

EDIT: Ich habe bei mir stehen:

save 43200 50000

Damit speichert er entweder aller 12 Stunden oder wenn mindestens 50000 Änderungen erfolgt sind.

[OliverIO]

@ro75
wenn der rechner allerdings abstürzt, ist das dann auch der maximale Verlust der daten, da sie noch nicht geschrieben worden sind

[Homoran]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

Der CPU-Load ist drastisch gefallen (vorher > 3), jetzt 0,5 - 0,8.

dann hatte die Platte wahrscheinlich einen Schuss und/oder der Datentransfer.
Load average enthält auch die I/O Zeiten.

Wenn dann die States und Objects nicht schnell genug geschrieben werden können, klemmt's natürlich in der redis.

[Ro75]

@oliverio das ist korrekt. Die Daten der History sind da und wären nicht betroffen. Alle anderen Daten wären wieder innerhalb kurzer Zeit aktuell - stört also auch nicht.

Nur Änderungen an der VIS wären tragisch. Von daher mache ich zur Sicherheit nach Änderungen in der VIS ein:

redis-cli bgsave

Das muss jeder für sich selbst entscheiden. Ich habe für mich das erreicht was ich wollte:

1. Hohe Performance
2. Geringer Verbrauch von Ressourcen
3. Geringe Belastung der SSD.

Ro75.

[A Former User]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

@dp20eic
Ich bin davon ausgegangen, das du eine Ahnung hast, welchen Parameter zu übernehmen sinn machen würde.

Moin,

Ahnung habe ich schon, ich bin davon ausgegangen, dass Du lesen kannst
Wie schon gesagt, all das ist von Deinen Präferenzen abhängig.

Noch ein paar Hinweise

• HDD hast Du ja schon aus dem Spiel genommen
• Redis ist eine inMemory Datenbank, also stark abhängig davon wie viel Speicher man zugeteilt hat -> maxmemory
• Wie ist die Anforderung an die Persistance
  • siehe @Ro75 https://forum.iobroker.net/topic/67997/iobroker-kaum-benutzbar-redis-100/67?_=1694012868449
• Es gibt Kernel Parameter, die im Standard nicht optimal für Redis sind
  • daher würde ich Redis nicht da betreiben, wo auch alles andere läuft
• Ich würde immer ein HA Cluster aufbauen und Persistenz abschalten, durch das Cluster ist die Datensicherheit gegeben

VG
Bernd

[arteck]

@dp20eic sagte in iobroker kaum benutzbar - redis 100%:

Ich würde immer ein HA Cluster aufbauen und Persistenz abschalten, durch das Cluster ist die Datensicherheit gegeben

ja wobei es nicht immer eine klassische HA sein muss
schon mal was von Sentinel gehört ?

[A Former User]

@arteck sagte in iobroker kaum benutzbar - redis 100%:

schon mal was von Sentinel gehört ?

Moin,

ja, habe vorhin erst etwas darüber gelesen, besser überflogen, war dann aber schon wieder aus dem Sinn

VG
Bernd

[Homoran]

@arteck sagte in iobroker kaum benutzbar - redis 100%:

schon mal was von Sentinel gehört ?

ja

hab's früher sehr gern gespielt!

:duckundwech:

[caravandriver]

@ro75 save 900 1 bedeutet doch, alle 15 Min weg schreiben Das halte ich für ok und einen Kompromiss aus IO und möglichem Verlust.

[Homoran]

@caravandriver sagte in iobroker kaum benutzbar - redis 100%:

alle 15 Min weg schreiben

oder bei 1 Änderung

[caravandriver]

@homoran Habe das so gelesen, das alle 900 Sek UND mindestens 1 Änderung.

at least --> mindestens

Ergebnis ist also auf jeden Fall alle 15 min ein Save. Nicht vorher und nicht später. Eine Änderung passiert locker in der Zeit.

[Homoran]

@caravandriver ist das dein Ernst?

Text sowieso immer als Text in code-tags posten!
https://forum.iobroker.net/topic/51555/hinweise-für-gute-forenbeiträge/1

Aber damit hast du jetzt wirklich den Spitzenplatz in Nicht-Lesbarkeit eingenommen!

[caravandriver]

@homoran Ich habe keine Ahnung was du meinst. Bei mir ist der Screenshot hervorragend lesbar (PC). Keine Ahnung was du da am Handy rumfummelst... Ggf noch mit tapatalk und irgend einer Kompression. Screenshot dient auch nur der Belehrung der Lesefaulen - Du kannst ja sicherlich auch die redis.conf öffnen und das da nachlesen. Die relevante info "at least" steht ja da als Text.