Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[Homoran]

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

Ich dachte aus dem Raspberry 4 4GB wird mittels USB NVME eine Rakete.

USB3??

Da gibt es je nach Kombination Probleme.
USB3 stört dann hochfrequent die CPU

[Ro75]

@emblitz wie hier schon geschrieben wurde. Die Bremse ist der USB-Port, egal ob USB3 oder USB2 und egal ob SSD oder NVMe. Den ULTIMATIVEN Turbo bringt die Umstellung auf REDIS. Mein Editor der VIS öffnet sich in ca. 1,5 Sekunden und bei der Runtime? Eine VIEW früher (SD-Karte ohne Redis) gleich 8 Sekunden. Mit SSD und REDIS gleich 1,5 Sekunden.

Manchmal bringt eine Änderung nicht unbedingt das Ergebnis was man sich erhofft (an anderer Stelle schon, nur nicht da wo gehofft). Manchmal muss man mehrere Dinge ändern um mehrere (auch die gewünschten) Verbesserungen zu bekommen.

Ro75.

[emblitz]

@homoran

Hallo homoran,

ja die SSDs habe ich am USB 3 Port.
Wäre jetzt nicht auf die Idee gekomen sie am USB 2 Port laufen zu lassen.
Soll ich das machen, obwohl der Gewschindikeitsunterschied zwischen USB 2 und USB 3 nativ groß ist?

LG
emblitz

[Ro75]

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

USB 3 Port

Achtung. Manche Adapter funktionieren nicht korrekt mit USB3. Nutze besser USB2. Ich hatte bei mir (wenn er unter USB3 bootete) keinen Unterschied festgestellt.

Ro75.

[Homoran]

@emblitz ich wollte nur darauf hinweisen, dass es beim Pi4 ein Problem mit der Datenrate beim USB3 wegen dieser HF-Interferenzen gibt.
Natürlich ist der USB2 langsamer.

[emblitz]

@ro75

Alles klar, an Redis oder Influx DB hatte ich auch schon gedacht.
Redis hält wohl alle Daten im Ram statt Influx oder der History.

Ist der Wechsel von der History auf Redis aufwendig, wenn ich die historischen Daten und die Visualisierungen behalten möchte?

LG emblitz

[Homoran]

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

Redis hält wohl alle Daten im Ram statt Influx oder der History.

nein Redis ist nur für die interne Datenbank (states/objects)

[emblitz]

@homoran

Ich hatte schon mal leider erfolglos versucht Redis zum Laufen zu bekommen und dann das Projekt Redis für gescheitert erklärt.
Hast du einen Link für die Installation und Einbindung von Redis in eine bestehende ioBroker-System auf dem RPI 4?

Wenn Redis nur für die States der Objekte im Ram hält, bringt Redis vermutl. keine Geschwindikeitsvorteil bei den Flots da diese Daten im Speicher sind?

LG emblitz

[Homoran]

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

bringt Redis vermutl. keine Geschwindikeitsvorteil bei den Flots da diese Daten im Speicher sind?

richtig!

Redis war gaaaanz früher bei den SBC empfohlen worden um die Schreibvorgänge bei den states und objects zu verringern.
Sollte heute eigentlich nicht mehr so gravierend sein.

[Ro75]

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

vermutl. keine Geschwindikeitsvorteil bei den Flots

ja, nur im Gesamtpaket merkt man etwas, subjektiv auch bei den Flots.

Ro75.

[emblitz]

Hallo,

aufgrund der o. g. Hinweise, dass es bei Nutzung des USB 3.0 Port zu Adapter- oder CPU-Problemen kommen kann, ist mir eingefallen, dass ich mit dem Zigbee-Stick und in Kombination mit USB SDD am USB 3.0 Port seeeeehr lange Schalt- und Dimmzeiten der Beleuchtung hatte! Zum Teil konnte ich die Beleuchtung gar nicht schalten.
Bei der SD-Karte waren vor Nutzung der USB SSD keine Zigbee-Probleme vorhanden.

Ich habe nun die SSD an den USB 2.0 Port angeschlossen und die Zigbee-Probleme sind weg !!!

Ich habe meinen Benchmark-Praxistest mit der schnellsten interne NMVE mit ext. USB-Gehäuse an dem USB 2.0 Port wiederholt und bin überrascht, dass die Zeiten genauso schnell wie am USB 3.0 Port sind !!!
Damit hätte ich nicht gerechnet.
Redis ist noch nicht installiert.

Hier meine Testergebnisse - zuerst USB 3.0 weiter unten 2.0:

Mit ist aufgefallen, dass ich dem System nach einem Neustart ca. 30 Minuten Zeit geben muss, vermutl. damit sich alles "einpegelt" und die Zeiten bei mehreren Testläufen konstant sind.

Der Wechsel zwischen den einzelnen Visualisierungstabs ging schon immer ausreichend schnell und die Vis-Widgets / Datenpunkte wurden schnelll geladen,
Da die Ladezeiten (ca. 25 Sekunden) der Flot-Grafen in der Vis immer noch "nerven", suche ich weiterhin eine Möglichkeit das Laden von Datenbankdaten zu beschleunigen. Wäre hier eine andere Datenbank die Lösung und wie implementiere ich sie in eine bestehende ioBroker-Installation mit sehr vielen Datenpunkten und historischen Daten und Flot-Grafen?

LG emblitz

[Ro75]

@emblitz versuche REDIS, was anderes kann ich dir nicht sagen und anraten.

Ro75.

[Homoran]

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

Ich habe nun die SSD an den USB 2.0 Port angeschlossen und die Zigbee-Probleme sind weg !!!

:+1: passt!

@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

Da die Ladezeiten (ca. 25 Sekunden) der Flot-Grafen in der Vis immer noch "nerven", suche ich weiterhin eine Möglichkeit das Laden von Datenbankdaten zu beschleunigen

da solltest du vielleicht an der Datenbasis und an den Darstellungsparametern spielen.
1 ganzes Jahr sekündlich aufgezeichtete Daten zu visualisieren bekomnst du sowieso nicht so hoch aufgelöst dargestellt.

[Ro75]

@homoran sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

1 ganzes Jahr sekündlich aufgezeichtete Daten zu visualisieren bekomnst du sowieso nicht so hoch aufgelöst dargestellt.

nicht nur das. Ich bin der Meinung, dass dann irgendwann (nach einigen Monaten) der PI in die Knie gehen wird.

Ro75.

[emblitz]

@ro75

ja klar, mache testet ich auf jeden Fall Redis.
Vielen Dank für den Tipp.
Ich wollte nur kurz eine Rückmeldung geben, das die Perfomance an USB 2.0 genauso ist, wie an 3.0.
Eventl. hat der 3.0 in Verbindung mit Redis mehr Vorteile.

An welchen Port hängt deine SSD?
Hast du Probleme mit Adaptern o. ä. wenn die SSD am UBS 3.0 hängt?

LG emblitz

[Ro75]

@emblitz Lass die SSD an USB2.

Ro75.

[emblitz]

@ro75

Ich habe wieder neue Erkentnisse gewonnen, mit denen ich niemals gerechnet hätte.
Perfekt, ein großes Dankeschön an alle Helfer!!!

Ich probiere als nächstes Redis und werde meine Testreihe weiterführen und berichten.

LG emblitz

[Homoran]

@ro75 sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:

dass dann irgendwann (nach einigen Monaten) der PI in die Knie gehen wird.

sicher?

ich arbeite seit Jahren mit Pi und SD Karte.
war erst nur ein Test wie lange die hält, mittlerweile ist die History DB > 50GB.
Die Daten kommen teilweise im 6-Sekundentakt.

Aber bei den Daten, habe ich jetzt zusätzliche Datenpunkte angelegt, in die ur 1x am Tag ein Wert geschrieben wird, weil das auslesen, aggregieren und rendern von solchen charts eben lange dauert.

PS ich habe seit Jahren kein redis mehr, auch wenn ich früher ein glühender Verfechter davon war.

[Ro75]

@homoran jeder von uns hat da so sein Erfahrungen gemacht. Ich mit REDIS nur positive.

1. Objekte werden deutlich schneller im Objektbaum geöffnet - kein "hängen" mehr.
2. deutlich geringere CPU-Last bei einem ioBroker Process (ohne Redis zwischen 50% und 70%, mit REDIS 1% bis 3%). Komme jetzt nicht auf den Namen von dem Process (ich denke js-controller)
3. RAM-Verbrauch blieb konstant, hat sich nicht geändert.
4. Weniger IO-Aktivität auf dem Datenträger (etwas Abhängig von der Konfiguration - wie meistens)
5. 500% bis 700% mehr Performance für die VIS (Editor und Runtime).

Das sind die Punkte, die mich bei REDIS begeistern.

Ro75.

[Homoran]

@ro75 Da bin ich mal gespannt was @emblitz berichtet.
Diese enorme Steigerung der vis Darstellung kann nach meinem Verständnis nicht bei historisierten Daten passieren.
nur bei States, die durch Redis noch im RAM hängen.