Grafana Tages/Monatsverbräuche Performance u. Darstellung?

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Das kriegen wir auch noch hin. Zeig mal einen Screenshot von den unveränderten / unaggregierten Daten im InfluxDB Data Explorer.

Sowas?

Ich dachte, die Daten hätten den Zeitstempel 23:59 Uhr (local Time)?

Ist das hier der Verbrauch vom 02.12 oder 01.12.?

[Marc Berg]

@dieter_p

Okay, wenn ich mir das ansehe, dann wird der Verbrauch des Vortages offensichtlich irgendwann am Folgetag ermittelt. Vor diesem Hintergrund müsste dann "timeSrc: "_start" wieder raus. Und ein "group" ans Ende. Dann sollte es passen.

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

 union(tables: [tagesverbrauch, live])
  |>group()

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Das kriegen wir auch noch hin. Zeig mal einen Screenshot von den unveränderten / unaggregierten Daten im InfluxDB Data Explorer.

Sowas?

Ich dachte, die Daten hätten den Zeitstempel 23:59 Uhr (local Time)?

Ist das hier der Verbrauch vom 02.12 oder 01.12.?

ah, stimmt. Die Tagesverbräuche werden um 23:59h berechnet und in die DB geschrieben. Der Zeitstempel wird aber übernommen vom letzten Zählerstand. Wenn die Heizung in Nachtabsenkung geht kann der letzte Zählerstand in der DB (Eintrag nur bei Änderung) schon ein paar Stunden alt sein.
Könnte man ändern, aber solange es alles an einem Tag ist....

die 11,55 sind vom 2.12.

Was mich bei den Raw Data "wundert". Ich habe 1.12-24.12. im explorer selektiert. Der erste Wert in der Tabelle ist 11,55.
Hier fehlt aber 11,24L für den 1.12.
Hakt das irgendwo zwischen UTC und lokaler Zeit?

Edit: Selektiere ich im Data Explorer vom 30.11.-24.11. erscheint als erster Wert der Tagesverbrauch vom 1.12. mit 11,24L

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p

Okay, wenn ich mir das ansehe, dann wird der Verbrauch des Vortages offensichtlich irgendwann am Folgetag ermittelt. Vor diesem Hintergrund müsste dann "timeSrc: "_start" wieder raus. Und ein "group" ans Ende. Dann sollte es passen.

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

 union(tables: [tagesverbrauch, live])
  |>group()

Leider gar keine Ausgabe "Configured x field not found"
Hab auch keine Idee was gemeint ist. Ist x field der tagesverbrauch von tables: [tagesverbrauch, live]?

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Leider gar keine Ausgabe "Configured x field not found"

Dann hast du wahrscheinlich die neue Query in ein Grafana Panel reinkopiert, in dem vorher ein Override oder eine andere Option definiert war, die noch den alten Spaltennamen enthält.

Also entweder in Grafana diese Stelle suchen oder ein neues Panel anlegen.

[Dieter_P]

Dann hast du wahrscheinlich die neue Query in ein Grafana Panel reinkopiert, in dem vorher ein Override oder eine andere Option definiert war, die noch den alten Spaltennamen enthält.

Danke!
Ja, hab in einem Panel getest und ein Neues zeigt dies:

Es besteht noch ein Fehler. 11.2L ist vom 01.12 und die X-Achse entsprechend verschoben. Der "letzte" Tagesverbrauch vom 24.12. (5,64L) wird dann nicht gezeigt.

[Marc Berg]

@dieter_p

Du hattest weiter oben aus "-1s" --> "-1d" gemacht, das hatte ich nicht gemerkt und übernommen, ist jetzt wieder korrigiert. Und mit einem zusätzlichen "truncate" wird es jetzt auch zum Start sauber an der Tagesgrenze ausgerichtet:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start:date.truncate(t:v.timeRangeStart, unit:1d), stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 
 
live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])
 
 union(tables: [tagesverbrauch, live])
  |>group()

[Dieter_P]

@marc-berg
Sorry, seh das Problem bei mir einfach nicht. Etliche mal im neuen Panel probiert und Zeitachse passt bei mir nicht und der "union" fehlt. In Grafana die Zeit steht auf "This month".

[Marc Berg]

@dieter_p

Zeig bitte mal die Daten vom 24.12. und von heute im Data Explorer ohne aggregate. Wenn man die Quelldaten nicht hat, ist es schwer zu testen.

[Dieter_P]

@marc-berg

Tagesverbrauch:

Zählerstände (Auszug):

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Tagesverbrauch:

Nochmal zum Verständnis, wahrscheinlich habe ich das noch nicht geschnallt: die 5.64 Liter vom 24.12. 09:38 UTC, ist das die Summenberechnung von gestern für den 23.12. oder die Berechnung von heute für den 24.12., wobei um 09:38 (UTC) der letzte Verbrauch vorlag?

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Tagesverbrauch:

Nochmal zum Verständnis, wahrscheinlich habe ich das noch nicht geschnallt: die 5.64 Liter vom 24.12. 09:38 UTC, ist das die Summenberechnung von gestern für den 23.12. oder die Berechnung von heute für den 24.12., wobei um 09:38 (UTC) der letzte Verbrauch vorlag?

Nein. Die Verwirrung bringt da der Zeitstempel rein (die Uhrzeit ist gerade ziemlich sinnfrei)
die 5.64 Liter Tagesverbrauch ist die Summe für den 24.12.

-> Man findet in der DB immer genau einen Wert des Tagesverbrauchs mit gleichem Zeitstempel des gleichen Tages (Uhrzeit ist nicht zu beachten). Dies allerdings erst um 23:59h aber mit einem früheren Zeitpunkt vom gleichen Tag.

2023-12-24Txxxx -> liefert den Tagesverbrauch vom 2023-12-24

P.S.: Könnte den Zeitstempel auch einfach mal fix auf 23:59:59 setzen, das macht sicher etwas mehr Sinn. Würde aber nichts an unserer derzeitigen Logik ändern, oder?

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Könnte den Zeitstempel auch einfach mal fix auf 23:59:59 setzen, das macht sicher etwas mehr Sinn. Würde aber nichts an unserer derzeitigen Logik ändern, oder?

Nein, das macht dann keinen Unterschied.

Setz mal die beiden Queries einzeln in den InfluxDB Explorer und zeig das Ergebnis:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

from(bucket: "iobroker")
  |> range(start:date.truncate(t:v.timeRangeStart, unit:1d), stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

[Dieter_P]

Setz mal die beiden Queries einzeln in den InfluxDB Explorer und zeig das Ergebnis:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

from(bucket: "iobroker")
  |> range(start:date.truncate(t:v.timeRangeStart, unit:1d), stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

k.A. ob das einen Unterschied macht. Im Data Explorer habe ich keine Auswahloption für "this month" wie in Grafana und setze feste Zeitpunkte per Custom time range.

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

|> aggregateWindow(every: 1d, fn: last, createEmpty: false)

bei der zweiten Abfrage:

|> difference(nonNegative: true, columns: ["_value"])
|> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

Und bei der ersten bitte mal die letzten Datensätze zeigen. Muss jetzt aber erstmal durch die Lande reisen ...

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

|> aggregateWindow(every: 1d, fn: last, createEmpty: false)

bei der zweiten Abfrage:

|> difference(nonNegative: true, columns: ["_value"])
|> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

Danke, das schaut gut aus:

Und bei der ersten bitte mal die letzten Datensätze zeigen. Muss jetzt aber erstmal durch die Lande reisen ...

Danke Dir und schöne Feiertage!

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Für nun zu:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start:date.truncate(t:v.timeRangeStart, unit:1d), stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> difference(nonNegative: true, columns: ["_value"])
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

 union(tables: [tagesverbrauch, live])
  |>group()

[Marc Berg]

@dieter_p
Logisch, wenn man sich mal die Zeit nimmt, genau hinzuschauen (natürlich muss "timeSrc: "_start" rein.

FLUX

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start:date.truncate(t:v.timeRangeStart, unit:1d), stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc: "_start") 
 
live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> difference(nonNegative: true, columns: ["_value"])
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

 union(tables: [tagesverbrauch, live])
  |> map(fn: (r) => ({ _time: r._time, Ölverbrauch: r._value }))

Die letzte Zeile habe ich auch noch angepasst, damit erreicht man ein group(), Umbenennung und Optimierung in einer Zeile ("Ölverbrauch" kannst du natürlich ändern).

---

Wenn du in der grafana.ini noch diese Punkte hier austauschst, dann bekommst du das Datum auch im unserem "normalen" Format.

grafana.ini

[date_formats]
# For information on what formatting patterns that are supported https://momentjs.com/docs/#/displaying/

# Default system date format used in time range picker and other places where full time is displayed
full_date = DD.MM.YYYY HH:mm:ss

# Used by graph and other places where we only show small intervals
interval_second = HH:mm:ss
interval_minute = HH:mm
interval_hour = DD.MM. HH:mm
interval_day = DD.MM.
interval_month = MM.YYYY
interval_year = YYYY

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

import "timezone"

Wow, vielen herzlichen Dank!

Sieht gut für mich gut aus Jetzt bin ich mal gespannt wieviel ich davon ganz grob mir selbst erklärt bekomme und freu mich auf reine Testcharts um damit zu basteln. Für Deine Mühe und Einsatz ganz herzlichen Dank!

[Dieter_P]

@marc-berg

kleines Feedback zu meinen geschilderten Performance/Ladezeiten Problemchen.

Mit den "neuen" Panels mit optimierter Abfrage schien das ja erledigt.

Hatte aber immer etwas Zweifel, da ich zwar nur einen Beelink BT3pro (Quad Core Intel Atom Z8350, 4GB und SSD) verwende, aber außer IOB da nichts großartig drauf läuft und er mir sonst auch weniger total überlastet erscheint da ich ihn oft mit minimaler CPU Taktung vorfinde.

Lange Rede kurzer Sinn, nun wieder durch einen Wireguard-Tunnel mit reduzierter MTU wegen einem DS-Light Anschluß kommt es aber wieder zu den Ladeanzeigen, die recht lange brauchen oder sich auch gänzlich aufhängen. Als Du mir geholfen hast und ich keine dieser Effekte hatte, saß ich lokal im Netz.
Also nur indirekt ein Influx oder Grafanathema ....