Statistik in influxdb 5.2.0
-
Hallo
Nein, das erste Bild hab ich beim Fehler nachstellen gemacht.
Diese folgenden sind der Normal-Betreib.
Der erste Ausreißer war ob das Problem noch vorhanden ist. Der zweite lange Ausreißer ob es vielleicht doch nach 2 Stunden wieder normal wird.
Wenn man den Container mit STOP beendet und wieder startet läuft alles ohne Probleme weiter ... ausser man steht im ioBroker immer noch am Statistik-Reiter ... dann geht es von vorne los.
DANKE.
@MondieuX @bluefox bei mir ganz dasselbe mit RAM Auslastung im Container
Habs mit der Version 5.2.3 probiert, dasselbe Problem.
Und auch in der History Instanz:
Dort finden sich unter Statistik gar keine Daten, obwohl im Reiter Datenbrowser alle vorhanden sind.
Man kann nicht alle Probleme lösen, aber wenigstens verursachen.
LenovoThinkCentre M900 Tiny | i5-T6500 | 16 GB | 256 SSD
iobroker auf Proxmox VM
Node.js: v24.22.1 - NPM: 11.19.1 - js-controller: 7.2.5 - admin: v8.2.0
FritzBox-7530TX hinter Glasfasermodem, WiFi mit Unifi -
@MondieuX @bluefox bei mir ganz dasselbe mit RAM Auslastung im Container
Habs mit der Version 5.2.3 probiert, dasselbe Problem.
Und auch in der History Instanz:
Dort finden sich unter Statistik gar keine Daten, obwohl im Reiter Datenbrowser alle vorhanden sind.
Wie soll ich das untersuchen? Logs? Bei mir geht es:
-
@MondieuX @bluefox bei mir ganz dasselbe mit RAM Auslastung im Container
Habs mit der Version 5.2.3 probiert, dasselbe Problem.
Und auch in der History Instanz:
Dort finden sich unter Statistik gar keine Daten, obwohl im Reiter Datenbrowser alle vorhanden sind.
Wie soll ich das untersuchen? Logs? Bei mir geht es:
-
-
@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.
-
@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.Dann gibt es RAM Problem: @snopy_16
Na ja... Ich kann nicht zaubern. Und man braucht mehr RAM
-
@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.Dann gibt es RAM Problem: @snopy_16
Na ja... Ich kann nicht zaubern. Und man braucht mehr RAM
-
Bei meiner kleinen Datenbank, welche einige Werte für drei Monate speichert, kein Problem. Bei der großen Datenbank baut sich die Statistik nicht auf. Ich habe den RAM von 4 auf 8, von 8 auf 16 GB erhöht. Bei 16 sind dann noch 4,5 GB im Cache. Trotzdem reicht es nicht, da der Request-Timeout zuerst greift.
-
-
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann. Am Ende sind weiterhin 4,5 GB im Cache, sodass 12GB RAM wohl reichen würden .
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann.
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.
-
-
-
Ich habe von der influxdb eigentlich keine Ahnung.
Kenne mich hauptsächlich mit relationalen Datenbanken aus.Das Problem liegt wahrscheinlich an sehr großen Datenbanken und wo die Berechnung der Anzahl der Datensätze in einem gewissen Zeitraum tatsächlich abläuft.
Im schlimmsten Fall müssen alle Datensätze gelelesen werden (am schlimmsten wenn sie zum iobroker geladen werden).
Bei relationalen Datenbanken nennt sich das Full table scans, was man bei großen Datenbanken vermeiden sollte.
Als Gegenmaßnahme legt man entsprechende indizies auf die Felder, nachdem man suchen möchte, an. Aber auch hier müssen die entsprechenden Indices in den RAM passen, ansonsten muss auch dieser geladen werden.Wie influxdb seine Tabellen organisiert, weiß ich nicht, aber eventuell wären das Ansatzpunkte das dahingehend zu optimieren.
Allerdings muss man sagen, dass ein ioBroker Adapter nur begrenzt ein Datenbank Management Tool sein kann.
-
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann.
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Dafür gibt es jetzt die zweite Datenbank, welche nur noch drei Monate speichert. Da ziehen alle solche Werte demnächst hin um.
Der NUC 12 bekommt öfter mal Schnappatmung, dann muss ich den wieder reinigen.
Allerdings soll der Wert nur jede Minute kommen. Da muss ich mal schauen, wo die Menge an Werte herkommt. Somit hat sich die Statistik für mich schon gelohnt.
Gruß
Peterfido
-
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Dafür gibt es jetzt die zweite Datenbank, welche nur noch drei Monate speichert. Da ziehen alle solche Werte demnächst hin um.
Der NUC 12 bekommt öfter mal Schnappatmung, dann muss ich den wieder reinigen.
Allerdings soll der Wert nur jede Minute kommen. Da muss ich mal schauen, wo die Menge an Werte herkommt. Somit hat sich die Statistik für mich schon gelohnt.
Am Beispiel der Temperatur, je nachdem wie fein der Temperatursenso änderungen auflöst muss man meiner Meinung nach keine Änderungen kleiner wie 0.1 aufzeichnen. Das kann man direkt am datenpunkt einstellen.
Ggfs kann man nach einer gewissen Zeit auch die Daten aggregieren, bei der man immer nur auf die stündliche Durchschnittstemperatur aggregiert. Genauer ist glaube ich nach 3 Monaten auch nicht mehr interessant.
-
-
Nach einem Neustart vom ioBroker und auch gleich der Influx VM geht es wohl. Allerdings fehlt mir da eine Auswahlmöglichkeit, welche Datenpunkte werden sollen.
Edit: doch nicht. Beim nächsten Anlauf gibt es wieder nichta aufzuräumen und das Log wird mit influx-Fehlern geflutet.
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren AnmeldenSupport us
369
Online33.1k
Benutzer84.2k
Themen1.4m
Beiträge