SQL.0 loggt Daten viel zu oft
-
@apollon77 Vielen Dank für die neue Version. Ich habe sie jetzt mal für den EnergyMeter parallel zu SQL.0 mitlaufen lassen. Insgesamt sieht es sehr gut aus. Ab und an werden noch Werte 2x hintereinander geloggt, aber deutlich seltener als mit dem bisherigen Bug.
Einstellunen:
- aktiviert
- Entprellzeit: 0
- Blockzet: 30000 (das ist ne super neue Option!)
- nur Änderugnen aufzeichnen
- trotzdem gleiche Werte: 0
- minimale Differenz: 150
- Vorhaltezeit: 1 Jahr
- Sätze im RAM: 960
Der Rest ist leer.
So würde mir das auch für den SQL-Adapter gefallen.
Einzige Verbesserungsmöglichkeit: beim energyMeter kommen durchaus zurecht 0-Werte vor (surplus und regard in getrennten Feldern), daber wäre es schlnm, man könnte die Option "Zero- oder Nullwerte ignorieren (==0)" in zwei Optionen aufteilen, so dass nur die null unterdrückt werden.
Viele Grüße und danke für Deine Arbeit!
Sneak-8 -
@sneak-l8 Hi,
Wenn nochwas zuviel geloggt wird dann schalte ür den Datenpunkt mal das erweiterte Debug log ein und stelle Lofglevel auf Debug und dann zeig Logauschnitt (1-2 Werte jeweils vor und nach dem "zuviel" und sag was genau zuviel ist. Dann schaue ich gern.
Für SQL und InfluxDB ist das gleiche auch in Arbeit ... ist nur etwas größer und testen frisst da die Zeit.
Einzige Verbesserungsmöglichkeit: beim energyMeter kommen durchaus zurecht 0-Werte vor (surplus und regard in getrennten Feldern), daber wäre es schlnm, man könnte die Option "Zero- oder Nullwerte ignorieren (==0)" in zwei Optionen aufteilen, so dass nur die null unterdrückt werden.
Verstehe ich nicht. Du hast jetzt DREI Optionen:
- Zero- oder Nullwerte ignorieren (==0) ignoriert genau nur die 0 (oder null)
- werte kleiner X ignorieren
- Werte größer X ignorieren
Also die erste ist doch genau das was Du brauchst oder was verstehe ich falsch?
-
@apollon77 Danke für Deine Antwort. Ich habe mal mitgeloggt:
2022-04-28 09:02:09.129 - debug: history.0 (32205) Min-Delta not reached sma-em.0.1901706890.psurplus, last-value=3008.9, new-value=3131.2000000000003, ts=1651129329116 2022-04-28 09:02:10.119 - debug: history.0 (32205) Min-Delta not reached sma-em.0.1901706890.psurplus, last-value=3008.9, new-value=3111.6000000000004, ts=1651129330110 2022-04-28 09:02:11.127 - debug: history.0 (32205) Min-Delta not reached sma-em.0.1901706890.psurplus, last-value=3008.9, new-value=3114.3, ts=1651129331117 2022-04-28 09:02:12.118 - debug: history.0 (32205) Min-Delta not reached sma-em.0.1901706890.psurplus, last-value=3008.9, new-value=3128.3, ts=1651129332107 2022-04-28 09:02:13.137 - debug: history.0 (32205) Min-Delta not reached sma-em.0.1901706890.psurplus, last-value=3008.9, new-value=3147.9, ts=1651129333117 2022-04-28 09:02:14.119 - debug: history.0 (32205) Min-Delta reached sma-em.0.1901706890.psurplus, last-value=3008.9, new-value=3172.2000000000003, ts=1651129334110 2022-04-28 09:02:14.120 - debug: history.0 (32205) Skipped value logged sma-em.0.1901706890.psurplus, value=3147.9, ts=1651129333117 2022-04-28 09:02:14.122 - debug: history.0 (32205) Value logged sma-em.0.1901706890.psurplus, value=3172.2000000000003, ts=1651129334110 2022-04-28 09:02:15.125 - debug: history.0 (32205) value ignored blockTime sma-em.0.1901706890.psurplus, value=3147.8, ts=1651129335115, lastState.ts=1651129334110, blockTime=30000Die Werte dazu sind:
2022-04-28T06:59:37.155Z 3008.9 true 2022-04-28T07:02:13.117Z 3147.9 true 2022-04-28T07:02:14.110Z 31.722.000.000.000.000 true 2022-04-28T07:05:17.067Z 3316.3 trueWegen den Drei Optionen: ich will nur die "null" unterdrücken. Alle "echten" Zahlen, ach 0, sollen geloggt werden. Das geht - so wie ich die drei Werte verstehe - nicht. Oder hab ich vielleicht was missverstanden?
-
@sneak-l8 Also in deinem Log sieht man das ein "skipped Wert" geloggt wird. Wenn das der wert ist den Du nicht willst dann kannst du das jetzt doch ausschalten ... liess doch mal oben ... ist dieses "zusätzliche Werte zur grafischen Darstellungsoptimierung" ... kannste jetzt ausschalten.
Zu Null vs 0 ... aahhhhhjjaaaaa ... also nur die Null solls nicht sein? ... puuhhhh
Am Ende kann man bei getHistory, wo man Daten abfragt, sagen das null ignoriert werden sollen ... Hilft Dir das? -
@apollon77 Ah, ok, wenn der zusätzliche Wert bewusst gelogtgt wird, um die Darstellung zu optimieren (das war mir nicht klar), dann hat alles seine Ordnung.
Meinst Du mit "am Ende" die Option: "Schreibe NULL-Werte an Start-/Stop-Grenzen"? Kommen die NULL-Werte daher? Dann kann ich die Option natürlich auch deaktivieren.
-
@sneak-l8 sagte in SQL.0 loggt Daten viel zu oft:
@apollon77 Ah, ok, wenn der zusätzliche Wert bewusst gelogtgt wird, um die Darstellung zu optimieren (das war mir nicht klar), dann hat alles seine Ordnung.
naja wenn Du History 2.0 gerade testet lies dochmal meinen monolog am Anfang des Threads ... da ist das alles beschrieben
-
@apollon77 Ich hab's jetrzt nochmal gelesen (hatte ich davor auch schon). Bin mir nicht sicher, ob ich das mit dem "Wert erinnern" ganz verstehe: Es gibt Gründe, ein paar ausgelassene Werte zu schreiben, damit die Darstellung besser ist (ich vermute, um die Linie vom alten zum neuen Wert zeitlich erst dann ansteigen zulassen, wenn die Änderung auch stattfand).
Auch wenn ich mir die Texte durchlese. Ic hseeh derzeit keine Möglichkeit, nur auf die Null-Werte zu verzichten, aber "0" schreiben zulassen.
Am Ende kann man bei getHistory, wo man Daten abfragt, sagen das null ignoriert werden sollen ... Hilft Dir das?
Das meint, wenn ich programmseitig die Werte aus der History lese oder? Mir wäre es lieber, die Null-Werte würden gar nicht erst in die History geschrieben. Daher der Wunsch die Option nicht für Null- und 0-Werte sondern nur für Null-Werte anzubieten. Die 0-Werte kann ich ja auch durch > 0,0001 und < -0,00001 etc. ausfiltern, wenn ich möchte.
-
@sneak-l8 also ja deine Deutung warum zur Darstellungsoptionen mehr werte geschrieben werden ist korrekt. Die Null Werte sind aber was anderes. Da gibts die Einstellung extra ob null werte beim start/Ende des Adapters geschrieben werden. Schau mal in die instanz Einstellungen.
Die sind dafür da das man sehen kann das gar nichts geloggt wurde. Am Ende auch wieder für die grafische Darstellung weil das sonst ne laaaange Linie zwischen zuletzt geloggtem wert vorm stop und dem ersten nach dem Start ist - was ja auch falsch ist weil sonstwas und Wirklichkeit dazwischen passiert sein kann.
Durch die null werte kann man dann aber sehen das was war und grafische Darstellung geht da meist auf 0 runter.
Ich denke morgen wenn alles klappt gibts auch sql in ner 20.0 Alpha.
-
@sneak-l8 Ich befasse mich auch gerade mit den Werten, welche in die Influxdb geschrieben werden.
Mein TV, welcher am Shelly-Plug-S hängt schreibt alle 15 Sekunden einen Wert in. die DB
Mein iMac, ebenfalls an einem Shelly, schreibt die Werte sogar jede Sekunde in die DBDie Einstellungen im Adapter sind folgende:
Ich habe was gelesen, das man die Daten mit einem retention code nach einer bestimmten Zeit löschen kann. Allerdings frage ich mich wie man die Protokollierung dann über einen längeren Zeitraum (mindestens 1Jahr) durchführt. Außerdem ist bei mir ja alles in einer DB.
Wenn ich das richtig verstanden habe, könnte ich die Datenmenge begrenzen, indem ich bei Delta z.B. den Wert 15 eintrage.Obwohl ich eben bei dem Shelly vom iMac mal den Delta Wert 15 und auch mal 150 eingetragen habe, loggt er weiter im sekündlichen Abstand.
Als letztes würde mich noch interessieren mit welchem Befehl ich die Größe meiner Datenbank abfragen kann?
-
@damrak2022 jetzt mischst du aber einige Fragen rein die nicht zu sql gehören.
Was das „zu viel loggen“ angeht ist influxdb ggf vom gleichen Bug betroffen wie sql und History auch und wird demnächst gefixt. Kannst ja mal versuchen ob ein History 2.0.0 vom github (siehe Alpha thread) dabei gleichen settings das gleiche log verhalten zeigt. Würde erwarten nicht.
Für die influxdb fragen am besten neuen thread auf machen oder was passendes suchen
-
@apollon77 Danke für die Erläuterung zu "null". Hab gerade mal geschaut. Hab keine großen "null"-Werte mehr in der History gefunden. Vielleicht war das auch in einer älteren Version mal ein Problem. Das ist der Punkt für mich erledigt. Die null-Werte bei Start und Stop des Adapters finde ich sinnvoll.
-
So, dann für die "mutigen" ;))
--> https://forum.iobroker.net/topic/54662/test-adapter-sql-2-0-0
-
@apollon77
Super, Danke.
Eine Frage, weil sich ja nun doch einiges grundsätzlich verändert hat und ich gerne alle betroffenen Datenpunkte prüfen würde:
Gibt es eine einfache Möglichkeit, alle Datenpunkte zu ermitteln, für die ein Logging in die Datenbank mittels SQL Adapter aktiviert ist? -
@alexi sagte in SQL.0 loggt Daten viel zu oft:
Gibt es eine einfache Möglichkeit, alle Datenpunkte zu ermitteln, für die ein Logging in die Datenbank mittels SQL Adapter aktiviert ist?
rechts oben die Objekte filtern auf SQL
pulldown "Einstellungen" -
@homoran
Danke. Sorry, wenn ich mich dumm anstelle und doof frage:
Kann man die gefilterten Objekte auch ganz ausblenden? Denn sonst muss ich immer noch alle Knoten aufklappen, da ich die Nicht-SQL Objekte immer noch sehe, wenn auch gedimmt. -
@alexi der Vollständigkeit halber zur Antwort von Homoran: im Admin unter Objekte letzte Spalte rechts oben wählen. Dann warten bis er gefiltert und neu geladen hat. Kann ein bissl dauern.
Oder den Adapter starten und im log schreibt er zu jedem Objekt eine Zeile. ;-)) das erste ist bissl einfacher zu sehen.
Aber weitere sql 2.0 fragen bitte in sql 2.0 thread
-
@alexi sagte in SQL.0 loggt Daten viel zu oft:
Kann man die gefilterten Objekte auch ganz ausblenden
warten!
das dauert leider etwas -
@apollon77 sagte in SQL.0 loggt Daten viel zu oft:
Aber weitere sql 2.0 fragen bitte in sql 2.0 thread
ich habe keine 2.0 Frage gesehen.
