Statistik in influxdb 5.2.0
-
Bei meiner kleinen Datenbank, welche einige Werte für drei Monate speichert, kein Problem. Bei der großen Datenbank baut sich die Statistik nicht auf. Ich habe den RAM von 4 auf 8, von 8 auf 16 GB erhöht. Bei 16 sind dann noch 4,5 GB im Cache. Trotzdem reicht es nicht, da der Request-Timeout zuerst greift.
-
-
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann. Am Ende sind weiterhin 4,5 GB im Cache, sodass 12GB RAM wohl reichen würden .
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann.
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.
-
-
-
Ich habe von der influxdb eigentlich keine Ahnung.
Kenne mich hauptsächlich mit relationalen Datenbanken aus.Das Problem liegt wahrscheinlich an sehr großen Datenbanken und wo die Berechnung der Anzahl der Datensätze in einem gewissen Zeitraum tatsächlich abläuft.
Im schlimmsten Fall müssen alle Datensätze gelelesen werden (am schlimmsten wenn sie zum iobroker geladen werden).
Bei relationalen Datenbanken nennt sich das Full table scans, was man bei großen Datenbanken vermeiden sollte.
Als Gegenmaßnahme legt man entsprechende indizies auf die Felder, nachdem man suchen möchte, an. Aber auch hier müssen die entsprechenden Indices in den RAM passen, ansonsten muss auch dieser geladen werden.Wie influxdb seine Tabellen organisiert, weiß ich nicht, aber eventuell wären das Ansatzpunkte das dahingehend zu optimieren.
Allerdings muss man sagen, dass ein ioBroker Adapter nur begrenzt ein Datenbank Management Tool sein kann.
-
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann.
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Dafür gibt es jetzt die zweite Datenbank, welche nur noch drei Monate speichert. Da ziehen alle solche Werte demnächst hin um.
Der NUC 12 bekommt öfter mal Schnappatmung, dann muss ich den wieder reinigen.
Allerdings soll der Wert nur jede Minute kommen. Da muss ich mal schauen, wo die Menge an Werte herkommt. Somit hat sich die Statistik für mich schon gelohnt.
Gruß
Peterfido
-
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Dafür gibt es jetzt die zweite Datenbank, welche nur noch drei Monate speichert. Da ziehen alle solche Werte demnächst hin um.
Der NUC 12 bekommt öfter mal Schnappatmung, dann muss ich den wieder reinigen.
Allerdings soll der Wert nur jede Minute kommen. Da muss ich mal schauen, wo die Menge an Werte herkommt. Somit hat sich die Statistik für mich schon gelohnt.
Am Beispiel der Temperatur, je nachdem wie fein der Temperatursenso änderungen auflöst muss man meiner Meinung nach keine Änderungen kleiner wie 0.1 aufzeichnen. Das kann man direkt am datenpunkt einstellen.
Ggfs kann man nach einer gewissen Zeit auch die Daten aggregieren, bei der man immer nur auf die stündliche Durchschnittstemperatur aggregiert. Genauer ist glaube ich nach 3 Monaten auch nicht mehr interessant.
-
-
Nach einem Neustart vom ioBroker und auch gleich der Influx VM geht es wohl. Allerdings fehlt mir da eine Auswahlmöglichkeit, welche Datenpunkte werden sollen.
Edit: doch nicht. Beim nächsten Anlauf gibt es wieder nichta aufzuräumen und das Log wird mit influx-Fehlern geflutet.
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren AnmeldenSupport us
371
Online33.1k
Benutzer84.2k
Themen1.4m
Beiträge