Statistik in influxdb 5.2.0
-
Hallo
Wollte kein eigenes Thema aufmachen.
Wenn nicht BITTE schreiben wohin. DANKE.Der neue Adapter ist SUPER !!! Gratulation und DANKE.
Endlich eine einfache Möglichkeit Datenfehler oder kleine Lücken zu füllenFür micht gehören die beiden Reiter "Datenbrowser und Statistik" als eigener Eintrag nach LINKS ins Menü (So wie zb. Zigbee2Mqtt).
Was ich mir wünschen würde...
Ich komme immer wieder auf neue Möglichkeiten wie ich schon lange vorhandene Datenreihen berechnen und in Grafana darstellen kann.
Wenn ich jetzt eine kleines Blockly schreibe das mehrere Datenpunkte laufend zu einem wert berechnet, hab ich erst ab diesem Augenblick den neuen Wert.
Jetzt wäre schön wenn es auch den CSV-Export und Import (den es in Influx-GUI schon mal gab) geben würde.
Dann könnte man zB. historische Daten in Excel berechnen und diese wieder in die Influx Importieren.Als letzter Punkt hab ich noch ein Problem.
Konnte bis jetzt nur "Datenbrowser"Reiter testen.
Wenn ich auf Statistik klicke läuft mein Influxdb-Container innerhalb von Sekunden voll und ist nicht mehr erreichbar.
Adapterversion ist v5.2.3
Nach einiger Zeit kommt im Adpter
- connect EHOSTUNREACH 192.168.???.???:8086 (errno: -113)
- Die Datenbank enthält noch keine Datenpunkte.
Hab schon 3 Stunden gewartet ... Was mache ich falsch ???
DANKE für Info und Hilfe-
~MondieuX~
-
Hallo
Wollte kein eigenes Thema aufmachen.
Wenn nicht BITTE schreiben wohin. DANKE.Der neue Adapter ist SUPER !!! Gratulation und DANKE.
Endlich eine einfache Möglichkeit Datenfehler oder kleine Lücken zu füllenFür micht gehören die beiden Reiter "Datenbrowser und Statistik" als eigener Eintrag nach LINKS ins Menü (So wie zb. Zigbee2Mqtt).
Was ich mir wünschen würde...
Ich komme immer wieder auf neue Möglichkeiten wie ich schon lange vorhandene Datenreihen berechnen und in Grafana darstellen kann.
Wenn ich jetzt eine kleines Blockly schreibe das mehrere Datenpunkte laufend zu einem wert berechnet, hab ich erst ab diesem Augenblick den neuen Wert.
Jetzt wäre schön wenn es auch den CSV-Export und Import (den es in Influx-GUI schon mal gab) geben würde.
Dann könnte man zB. historische Daten in Excel berechnen und diese wieder in die Influx Importieren.Als letzter Punkt hab ich noch ein Problem.
Konnte bis jetzt nur "Datenbrowser"Reiter testen.
Wenn ich auf Statistik klicke läuft mein Influxdb-Container innerhalb von Sekunden voll und ist nicht mehr erreichbar.
Adapterversion ist v5.2.3Nach einiger Zeit kommt im Adpter
- connect EHOSTUNREACH 192.168.???.???:8086 (errno: -113)
- Die Datenbank enthält noch keine Datenpunkte.
Hab schon 3 Stunden gewartet ... Was mache ich falsch ???
DANKE für Info und Hilfe-
-
Hallo
Nein, das erste Bild hab ich beim Fehler nachstellen gemacht.
Diese folgenden sind der Normal-Betreib.
Der erste Ausreißer war ob das Problem noch vorhanden ist. Der zweite lange Ausreißer ob es vielleicht doch nach 2 Stunden wieder normal wird.
Wenn man den Container mit STOP beendet und wieder startet läuft alles ohne Probleme weiter ... ausser man steht im ioBroker immer noch am Statistik-Reiter ... dann geht es von vorne los.
DANKE.
-
Hallo
Nein, das erste Bild hab ich beim Fehler nachstellen gemacht.
Diese folgenden sind der Normal-Betreib.
Der erste Ausreißer war ob das Problem noch vorhanden ist. Der zweite lange Ausreißer ob es vielleicht doch nach 2 Stunden wieder normal wird.
Wenn man den Container mit STOP beendet und wieder startet läuft alles ohne Probleme weiter ... ausser man steht im ioBroker immer noch am Statistik-Reiter ... dann geht es von vorne los.
DANKE.
@MondieuX @bluefox bei mir ganz dasselbe mit RAM Auslastung im Container
Habs mit der Version 5.2.3 probiert, dasselbe Problem.
Und auch in der History Instanz:
Dort finden sich unter Statistik gar keine Daten, obwohl im Reiter Datenbrowser alle vorhanden sind.
Man kann nicht alle Probleme lösen, aber wenigstens verursachen.
LenovoThinkCentre M900 Tiny | i5-T6500 | 16 GB | 256 SSD
iobroker auf Proxmox VM
Node.js: v24.22.1 - NPM: 11.19.1 - js-controller: 7.2.5 - admin: v8.2.0
FritzBox-7530TX hinter Glasfasermodem, WiFi mit Unifi -
@MondieuX @bluefox bei mir ganz dasselbe mit RAM Auslastung im Container
Habs mit der Version 5.2.3 probiert, dasselbe Problem.
Und auch in der History Instanz:
Dort finden sich unter Statistik gar keine Daten, obwohl im Reiter Datenbrowser alle vorhanden sind.
Wie soll ich das untersuchen? Logs? Bei mir geht es:
-
@MondieuX @bluefox bei mir ganz dasselbe mit RAM Auslastung im Container
Habs mit der Version 5.2.3 probiert, dasselbe Problem.
Und auch in der History Instanz:
Dort finden sich unter Statistik gar keine Daten, obwohl im Reiter Datenbrowser alle vorhanden sind.
Wie soll ich das untersuchen? Logs? Bei mir geht es:
-
-
@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.
-
@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.Dann gibt es RAM Problem: @snopy_16
Na ja... Ich kann nicht zaubern. Und man braucht mehr RAM
-
@Bluefox
Bei meiner kleinen Datenbank mit 40000 Werten sehe ich keine Probleme.
Mit der grossen Datenbank mit 150 Mio. Werten gibt es bei mir auch Probleme mit dem RAM (4BG)
Wenn ich die Statistikseite mehrfach kurz nacheinander anzeigen lasse, ist der RAM voll und
es kommen keine Daten mehr auf der Statistikseite.
Dann muss ich ein paar Minuten warten bis der RAM sich wieder beruhigt hat.
Ich habe dem LXC-Container jetzt 8GB RAM gegeben und damit läuft es jetzt.
Statistik wird angezeigt und aufräumen klappt auch.Dann gibt es RAM Problem: @snopy_16
Na ja... Ich kann nicht zaubern. Und man braucht mehr RAM
-
Bei meiner kleinen Datenbank, welche einige Werte für drei Monate speichert, kein Problem. Bei der großen Datenbank baut sich die Statistik nicht auf. Ich habe den RAM von 4 auf 8, von 8 auf 16 GB erhöht. Bei 16 sind dann noch 4,5 GB im Cache. Trotzdem reicht es nicht, da der Request-Timeout zuerst greift.
-
-
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann. Am Ende sind weiterhin 4,5 GB im Cache, sodass 12GB RAM wohl reichen würden .
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann.
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.
-
-
-
Ich habe von der influxdb eigentlich keine Ahnung.
Kenne mich hauptsächlich mit relationalen Datenbanken aus.Das Problem liegt wahrscheinlich an sehr großen Datenbanken und wo die Berechnung der Anzahl der Datensätze in einem gewissen Zeitraum tatsächlich abläuft.
Im schlimmsten Fall müssen alle Datensätze gelelesen werden (am schlimmsten wenn sie zum iobroker geladen werden).
Bei relationalen Datenbanken nennt sich das Full table scans, was man bei großen Datenbanken vermeiden sollte.
Als Gegenmaßnahme legt man entsprechende indizies auf die Felder, nachdem man suchen möchte, an. Aber auch hier müssen die entsprechenden Indices in den RAM passen, ansonsten muss auch dieser geladen werden.Wie influxdb seine Tabellen organisiert, weiß ich nicht, aber eventuell wären das Ansatzpunkte das dahingehend zu optimieren.
Allerdings muss man sagen, dass ein ioBroker Adapter nur begrenzt ein Datenbank Management Tool sein kann.
-
Mit 16 GB RAM und Request-Timeout auf 60000 geht es dann.
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Dafür gibt es jetzt die zweite Datenbank, welche nur noch drei Monate speichert. Da ziehen alle solche Werte demnächst hin um.
Der NUC 12 bekommt öfter mal Schnappatmung, dann muss ich den wieder reinigen.
Allerdings soll der Wert nur jede Minute kommen. Da muss ich mal schauen, wo die Menge an Werte herkommt. Somit hat sich die Statistik für mich schon gelohnt.
Gruß
Peterfido
-
Es ist ja wirklich jedem selbst überlassen, was er so ein seine DB schreibt.
Aber 60 Mio. Werte für eine CPU-Temperatur wären mir der Speicherverbrauch und die Verarbeitungszeit nicht wert.Dafür gibt es jetzt die zweite Datenbank, welche nur noch drei Monate speichert. Da ziehen alle solche Werte demnächst hin um.
Der NUC 12 bekommt öfter mal Schnappatmung, dann muss ich den wieder reinigen.
Allerdings soll der Wert nur jede Minute kommen. Da muss ich mal schauen, wo die Menge an Werte herkommt. Somit hat sich die Statistik für mich schon gelohnt.
Am Beispiel der Temperatur, je nachdem wie fein der Temperatursenso änderungen auflöst muss man meiner Meinung nach keine Änderungen kleiner wie 0.1 aufzeichnen. Das kann man direkt am datenpunkt einstellen.
Ggfs kann man nach einer gewissen Zeit auch die Daten aggregieren, bei der man immer nur auf die stündliche Durchschnittstemperatur aggregiert. Genauer ist glaube ich nach 3 Monaten auch nicht mehr interessant.
-
-
Nach einem Neustart vom ioBroker und auch gleich der Influx VM geht es wohl. Allerdings fehlt mir da eine Auswahlmöglichkeit, welche Datenpunkte aufgräumt werden sollen.
Edit: doch nicht. Beim nächsten Anlauf gibt es wieder nichts aufzuräumen und das Log wird mit influx-Fehlern geflutet.
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren AnmeldenSupport us
545
Online33.1k
Benutzer84.2k
Themen1.4m
Beiträge