Neuer Blogbeitrag: Monatsrückblick - Dezember 2025 🎄

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Was du damit erreichen willst, habe ich aber leider nicht verstanden. Eine zweite Abfrage ergibt aus meiner Sicht nur Sinn, wenn es um die gleichen Zeitbereiche geht.

Danke, was ich möchte: Die Datenbankeinträge "Tagesverbrauch" stehen für jeden Tag "erst" um 23:59h zur Verfügung. Wenn ich jetzt aber die Graphen aufrufe möchte ich möglichst auch den aktuellen temporären Wert für den heutigen Tag sehen. Die Abfrage kann ich mir nicht über den measurement Tagesverbrauch holen, sondern muß ich wirklich "just in time" für den heutigen Tag berechnen lassen über die Zählerstände (nur für den heutigen Tag).

Alles mit der Intention eine möglichst performance-optimierte Ansicht zu bekommen.

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Dort eine Verschiebung in der Zeitachse um 1Tag drin. Ich schreibe den Tagesverbrauch defintiv vor 24h in die Datenbank somit ist der Zeitstempel auch vom gleichen Tag, aber die Aggregation verschiebt das.
Wie ist das anpassbar?

Du solltest jeweils vor deine Query

import "timezone"
option location = timezone.location(name: "Europe/Berlin")

reinschreiben. (Ich nehme an, dass du mit "23:59h" lokale Zeit meinst?)

Danke. Ja, ist 23:59h über ein Blockly in IOB.

Leider ändert sich in der Darstellung in Grafana nichts mit:

import "timezone"
option location = timezone.location(name: "Europe/Berlin")
from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)
  |> yield(name: "sum")

-> Start: 02. Dezember und alles um einen Tag versetzt.

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

jep, du musst die Zeile hier noch erweitern:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc="_start")

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Die Abfrage kann ich mir nicht über den measurement Tagesverbrauch holen, sondern muß ich wirklich "just in time" für den heutigen Tag berechnen lassen über die Zählerstände (nur für den heutigen Tag).

Achso, ja das geht, mit einem "union". Hier fügst du zwei Abfragen "vertikal" zusammen. Ungetestet:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrLive")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

 union(tables: [tagesverbrauch, live])

[Dieter_P]

jep, du musst die Zeile hier noch erweitern:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc="_start")

gemacht und nun möchte der Bargraph "Bar garph requires a string or time field".

Brauch ich etwas in Flux (killt mir das nicht dann die dynamische Anpassung "This month" aus Grafana oder ist etwas rechts in den Optionen des Panels für die X-Achse zu konfigurieren?

Danke

[Marc Berg]

@dieter_p

Das ist seltsam, zeig nochmal die ganze Query.

[Dieter_P]

Achso, ja das geht, mit einem "union". Hier fügst du zwei Abfragen "vertikal" zusammen. Ungetestet:

Danke.

Seh ich das richtig, dass im Moment der ergänzte "union" teil bei mir noch nichts zurück liefert?

Query:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")
tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])
  |> yield(name: "last")
 
 union(tables: [tagesverbrauch, live])

Query Inspector:

{
  "request": {
    "url": "api/ds/query?ds_type=influxdb&requestId=Q119",
    "method": "POST",
    "data": {
      "queries": [
        {
          "datasource": {
            "type": "influxdb",
            "uid": "fe97a43e-a484-468d-ba5f-dff87870a54a"
          },
          "query": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n  |> range(start: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n  |> difference(nonNegative: true, columns: [\"_value\"])\r\n  |> yield(name: \"last\")\r\n \r\n union(tables: [tagesverbrauch, live])",
          "refId": "A",
          "datasourceId": 1,
          "intervalMs": 3600000,
          "maxDataPoints": 848
        }
      ],
      "from": "1701385200000",
      "to": "1704063599999"
    },
    "hideFromInspector": false
  },
  "response": {
    "results": {
      "A": {
        "status": 200,
        "frames": [
          {
            "schema": {
              "name": "OelVerbrTag",
              "refId": "A",
              "meta": {
                "typeVersion": [
                  0,
                  0
                ],
                "executedQueryString": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n  |> range(start: 2023-11-30T23:00:00Z, stop: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n  |> range(start: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n  |> difference(nonNegative: true, columns: [\"_value\"])\r\n  |> yield(name: \"last\")\r\n \r\n union(tables: [tagesverbrauch, live])"
              },
              "fields": [
                {
                  "name": "Time",
                  "type": "time",
                  "typeInfo": {
                    "frame": "time.Time",
                    "nullable": true
                  }
                },
                {
                  "name": "value",
                  "type": "number",
                  "typeInfo": {
                    "frame": "float64",
                    "nullable": true
                  },
                  "labels": {}
                }
              ]
            },
            "data": {
              "values": [
                [
                  1701471600000,
                  1701558000000,
                  1701644400000,
                  1701730800000,
                  1701817200000,
                  1701903600000,
                  1701990000000,
                  1702076400000,
                  1702162800000,
                  1702249200000,
                  1702335600000,
                  1702422000000,
                  1702508400000,
                  1702594800000,
                  1702681200000,
                  1702767600000,
                  1702854000000,
                  1702940400000,
                  1703026800000,
                  1703113200000,
                  1703199600000,
                  1703286000000,
                  1703372400000
                ],
                [
                  11.24,
                  11.55,
                  11.55,
                  10.42,
                  8.27,
                  8.29,
                  9.52,
                  8.1,
                  7.29,
                  6.5,
                  5.79,
                  5.87,
                  5.42,
                  6.28,
                  6.19,
                  6.12,
                  6.59,
                  6.64,
                  5.46,
                  6.26,
                  5.19,
                  6.07,
                  6.08
                ]
              ]
            }
          }
        ],
        "refId": "A"
      }
    }
  }
}

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Seh ich das richtig, dass im Moment der ergänzte "union" teil bei mir noch nichts zurück liefert?

Die Zeile muss weg

|> yield(name: "last")

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p

Das ist seltsam, zeig nochmal die ganze Query.

Gleiches auch hier mit dem "union":

Query:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")
tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false, createEmpty: false, timeSrc="_start")

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])
  |> yield(name: "last")
 
 union(tables: [tagesverbrauch, live])

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Seh ich das richtig, dass im Moment der ergänzte "union" teil bei mir noch nichts zurück liefert?

Die Zeile muss weg

|> yield(name: "last")

ok, gleiche Ausgabe:

{
  "request": {
    "url": "api/ds/query?ds_type=influxdb&requestId=Q124",
    "method": "POST",
    "data": {
      "queries": [
        {
          "datasource": {
            "type": "influxdb",
            "uid": "fe97a43e-a484-468d-ba5f-dff87870a54a"
          },
          "query": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n  |> range(start: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n  |> difference(nonNegative: true, columns: [\"_value\"])\r\n \r\n union(tables: [tagesverbrauch, live])",
          "refId": "A",
          "datasourceId": 1,
          "intervalMs": 3600000,
          "maxDataPoints": 848
        }
      ],
      "from": "1701385200000",
      "to": "1704063599999"
    },
    "hideFromInspector": false
  },
  "response": {
    "results": {
      "A": {
        "status": 200,
        "frames": [
          {
            "schema": {
              "name": "OelVerbrTag",
              "refId": "A",
              "meta": {
                "typeVersion": [
                  0,
                  0
                ],
                "executedQueryString": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n  |> range(start: 2023-11-30T23:00:00Z, stop: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n  |> range(start: date.truncate(t:-1s, unit:1d))\r\n  |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n  |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n  |> difference(nonNegative: true, columns: [\"_value\"])\r\n \r\n union(tables: [tagesverbrauch, live])"
              },
              "fields": [
                {
                  "name": "Time",
                  "type": "time",
                  "typeInfo": {
                    "frame": "time.Time",
                    "nullable": true
                  }
                },
                {
                  "name": "value",
                  "type": "number",
                  "typeInfo": {
                    "frame": "float64",
                    "nullable": true
                  },
                  "labels": {}
                }
              ]
            },
            "data": {
              "values": [
                [
                  1701471600000,
                  1701558000000,
                  1701644400000,
                  1701730800000,
                  1701817200000,
                  1701903600000,
                  1701990000000,
                  1702076400000,
                  1702162800000,
                  1702249200000,
                  1702335600000,
                  1702422000000,
                  1702508400000,
                  1702594800000,
                  1702681200000,
                  1702767600000,
                  1702854000000,
                  1702940400000,
                  1703026800000,
                  1703113200000,
                  1703199600000,
                  1703286000000,
                  1703372400000
                ],
                [
                  11.24,
                  11.55,
                  11.55,
                  10.42,
                  8.27,
                  8.29,
                  9.52,
                  8.1,
                  7.29,
                  6.5,
                  5.79,
                  5.87,
                  5.42,
                  6.28,
                  6.19,
                  6.12,
                  6.59,
                  6.64,
                  5.46,
                  6.26,
                  5.19,
                  6.07,
                  6.08
                ]
              ]
            }
          }
        ],
        "refId": "A"
      }
    }
  }
}

[Marc Berg]

@dieter_p

Schwierig, so ohne Quelldaten. Was liefert

from(bucket: "iobroker")

  |> range(start: date.truncate(t:-1s, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

Edit: und sehe ich das richtig? In "0_userdata.0.Heizöl.Zaehlerstandverbrauch" stehen keine Verbräuche, sondern Stände?

[Dieter_P]

Edit: und sehe ich das richtig? In "0_userdata.0.Heizöl.Zaehlerstandverbrauch" stehen keine Verbräuche, sondern Stände?

Ja, richtig. In der Version die bei mir zuviel Performance kostet, hatte ich die Zählerstände so abgefragt:

from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d , fn: last, timeSrc: "_start")
  |> difference(nonNegative: true, columns: ["_value"])
  |> yield(name: "last")

Das möchten wir ja übers "union" nur für den aktuellen Tag ergänzen, richtig?

[Dieter_P]

@marc-berg

aaah, Fortschritt :)

mit:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")
tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

somit bleibt noch das Thema warum er den Tagesverbrauch auf der Zeitachse verschiebt. Wird jetzt ja besonders deutlich da es 2 Werte für den 24.12. gibt und nur der grüne ist richtig. Alle gelben sind um einen Tag verschoben.

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

somit bleibt noch das Thema warum er den Tagesverbrauch auf der Zeitachse verschiebt. Wird jetzt ja besonders deutlich da es 2 Werte für den 24.12. gibt und nur der grüne ist richtig. Alle gelben sind um einen Tag verschoben.

Das kriegen wir auch noch hin. Zeig mal einen Screenshot von den unveränderten / unaggregierten Daten im InfluxDB Data Explorer.

[Marc Berg]

@dieter_p

Ach, jetzt hab ich's. Ich habe dir eine falsche Syntax gegeben

falsch:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc="_start")

richtig:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc: "_start")

[Dieter_P]

Das kriegen wir auch noch hin. Zeig mal einen Screenshot von den unveränderten / unaggregierten Daten im InfluxDB Data Explorer.

Sowas?

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p

Ach, jetzt hab ich's. Ich habe dir eine falsche Syntax gegeben

falsch:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc="_start")

richtig:

|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc: "_start")

Danke, es wird besser:

mit:

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")
tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc: "_start") 

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false, timeSrc:"_start")
  |> difference(nonNegative: true, columns: ["_value"])
 
 union(tables: [tagesverbrauch, live])

[Marc Berg]

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Das kriegen wir auch noch hin. Zeig mal einen Screenshot von den unveränderten / unaggregierten Daten im InfluxDB Data Explorer.

Sowas?

Ich dachte, die Daten hätten den Zeitstempel 23:59 Uhr (local Time)?

Ist das hier der Verbrauch vom 02.12 oder 01.12.?

[Marc Berg]

@dieter_p

Okay, wenn ich mir das ansehe, dann wird der Verbrauch des Vortages offensichtlich irgendwann am Folgetag ermittelt. Vor diesem Hintergrund müsste dann "timeSrc: "_start" wieder raus. Und ein "group" ans Ende. Dann sollte es passen.

import "timezone"
import "date"
option location = timezone.location(name: "Europe/Berlin")

tagesverbrauch=from(bucket: "iobroker")
  |> range(start: v.timeRangeStart, stop: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) 

live=from(bucket: "iobroker")
  |> range(start: date.truncate(t:-1d, unit:1d))
  |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch")
  |> filter(fn: (r) => r["_field"] == "value")
  |> aggregateWindow(every: 1d, fn: last, createEmpty: false)
  |> difference(nonNegative: true, columns: ["_value"])

 union(tables: [tagesverbrauch, live])
  |>group()

[Dieter_P]

@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:

Das kriegen wir auch noch hin. Zeig mal einen Screenshot von den unveränderten / unaggregierten Daten im InfluxDB Data Explorer.

Sowas?

Ich dachte, die Daten hätten den Zeitstempel 23:59 Uhr (local Time)?

Ist das hier der Verbrauch vom 02.12 oder 01.12.?

ah, stimmt. Die Tagesverbräuche werden um 23:59h berechnet und in die DB geschrieben. Der Zeitstempel wird aber übernommen vom letzten Zählerstand. Wenn die Heizung in Nachtabsenkung geht kann der letzte Zählerstand in der DB (Eintrag nur bei Änderung) schon ein paar Stunden alt sein.
Könnte man ändern, aber solange es alles an einem Tag ist....

die 11,55 sind vom 2.12.

Was mich bei den Raw Data "wundert". Ich habe 1.12-24.12. im explorer selektiert. Der erste Wert in der Tabelle ist 11,55.
Hier fehlt aber 11,24L für den 1.12.
Hakt das irgendwo zwischen UTC und lokaler Zeit?

Edit: Selektiere ich im Data Explorer vom 30.11.-24.11. erscheint als erster Wert der Tagesverbrauch vom 1.12. mit 11,24L