Problem Admin- oder Influx-Adapter ?

[Segway]

Hallo,
habe jetzt zum wiederholtem Mal festgestellt, dass wenn ich unterm Admin unter Objekte auf einen Datenpunkt gehe und dort unter Influx und dann Verlaufsdaten anzeigen möchte, dann ist Standardmässig 30 Mins eingestellt aber wenn ein Wert sich öfterändert kommt die Eieruhr und nichts geht mehr

es kommen sogar auf einmal lauter Fehler im Log:

influxdb.0
	2024-01-01 12:33:21.351	error	getHistory: Error: 3 Error happened while processing 3 queries
influxdb.0
	2024-01-01 12:33:21.351	warn	Error in query "from(bucket: "iobroker") |> range(start: 2024-01-01T11:33:03.089Z) |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_2F4527.ENERGY_Factor") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> group() |> sort(columns: ["_time"], desc: false) |> limit(n: 1)": Error: connect ECONNREFUSED 192.168.40.99:8086
influxdb.0
	2024-01-01 12:33:21.350	error	getHistory: Error: 3 Error happened while processing 3 queries
influxdb.0
	2024-01-01 12:33:21.350	warn	Error in query "from(bucket: "iobroker") |> range(start: 2024-01-01T11:33:03.100Z) |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_2F4527.ENERGY_Current") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> group() |> sort(columns: ["_time"], desc: false) |> limit(n: 1)": Error: connect ECONNREFUSED 192.168.40.99:8086
influxdb.0
	2024-01-01 12:33:21.347	warn	Error in query "from(bucket: "iobroker") |> range(start: 2023-12-31T11:00:00.000Z, stop: 2024-01-01T11:33:03.088Z) |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_2F4527.ENERGY_Factor") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> sort(columns:["_time"], desc: false)": Error: connect ECONNREFUSED 192.168.40.99:8086
influxdb.0
	2024-01-01 12:33:21.346	warn	Error in query "from(bucket: "iobroker") |> range(start: 2023-12-31T11:00:00.000Z, stop: 2024-01-01T11:33:03.099Z) |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_2F4527.ENERGY_Current") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> sort(columns:["_time"], desc: false)": Error: connect ECONNREFUSED 192.168.40.99:8086
influxdb.0
	2024-01-01 12:33:21.344	error	Error during ping: Error: read ECONNRESET. Attempting reconnect.
influxdb.0
	2024-01-01 12:33:21.342	warn	Error in query "from(bucket: "iobroker") |> range(start: 2021-12-31T11:00:00.000Z, stop: 2023-12-31T10:59:59.999Z) |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_2F4527.ENERGY_Factor") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> group() |> sort(columns: ["_time"], desc: true) |> limit(n: 1)": Error: socket hang up
influxdb.0
	2024-01-01 12:33:21.339	warn	Error in query "from(bucket: "iobroker") |> range(start: 2021-12-31T11:00:00.000Z, stop: 2023-12-31T10:59:59.999Z) |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_2F4527.ENERGY_Current") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> group() |> sort(columns: ["_time"], desc: true) |> limit(n: 1)": Error: socket hang up

Manchmal hängt der Adapter sich auf und wird gelb und der Proxmoxcontainer hat 100% Auslastung und 100% Raum-verbrauch.
Nach Neustart des Containers ist wieder alles gut.

Nehme ich Werte die nicht so viele Datenpunkte haben geht es einwandfrei

Wo liegt das Problem ?
(Falls noch Infos benötigt werden bitte melden)

Ergänzung:

[DJMarc75]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Wo liegt das Problem ?

Zeig mal die Benutzerdefinierten Einstellungen vom DP bitte.

[Segway]

@djmarc75 sagte in Problem Admin- oder Influx-Adapter ?:

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Wo liegt das Problem ?

Zeig mal die Benutzerdefinierten Einstellungen vom DP bitte.

Meinst du die ?

{
  "_id": "sonoff.0.DVES_2F4527.ENERGY_Power",
  "common": {
    "type": "number",
    "role": "value.power.consumption",
    "read": true,
    "write": false,
    "unit": "W",
    "name": "DVES_2F4527 ENERGY  Power",
    "custom": {
      "influxdb.0": {
        "enabled": true,
        "changesOnly": true,
        "debounce": "",
        "retention": "63072000",
        "changesRelogInterval": 0,
        "changesMinDelta": "",
        "storageType": "",
        "aliasId": "",
        "maxLength": 10,
        "debounceTime": 0,
        "blockTime": 0,
        "ignoreBelowNumber": "",
        "disableSkippedValueLogging": false,
        "enableDebugLogs": false
      },
      "sourceanalytix.0": {
        "enabled": true,
        "selectedUnit": "Detect automatically",
        "deviceResetLogicEnabled": true,
        "threshold": 1,
        "start_day": 0,
        "start_week": 0,
        "start_month": 0,
        "start_quarter": 0,
        "start_year": 0,
        "costs": true,
        "consumption": true,
        "selectedPrice": "ElectricityDay"
      }
    }
  },
  "native": {},
  "type": "state",
  "acl": {
    "object": 1636,
    "state": 1636,
    "owner": "system.user.admin",
    "ownerGroup": "system.group.administrator"
  },
  "from": "system.adapter.admin.0",
  "user": "system.user.admin",
  "ts": 1704104138604
}

[DJMarc75]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Meinst du die ?

Nein, die:

[Segway]

@djmarc75 sagte in Problem Admin- oder Influx-Adapter ?:

Nein, die:

[JLeg]

@segway

Error: connect ECONNREFUSED 192.168.40.99:8086

das heisst auf jeden Fall, dass der Adapter die Influxdb nicht erreicht, da zu diesem Zeitpunkt niemand auf dem Influx-Port antwortet. Schau‘ am besten mal im Log der Influxdb - ich tippe auf Speichermangel…

[Homoran]

@segway

nutze influxdb nicht, aber so sollte das nicht aussehen.
Wenn deaktiviert soll da eine 0 stehen, und die Überschrift höher

[Segway]

@homoran sagte in Problem Admin- oder Influx-Adapter ?:

nutze influxdb nicht, aber so sollte das nicht aussehen.
Wenn deaktiviert soll da eine 0 stehen, und die Überschrift höher

Also das sieht bei jedem Datenpunkt so aus bei mir.
Habe das mal auf 0 geändert für den Datenpunkt und gespeichert aber der Effekt ist derselbe. VM Lief voll und nichts geht mehr. Da kann ich auch so viel Speicher geben wie ich will ist immer desgleichen und das ist nur für eine halbe Stunde !!!!
Irgendwas stimmt da nicht.

[crunchip]

@segway ich hab das so

bei mir ist allerdings in der Basiseinstellung history hinterlegt

[Segway]

@crunchip sagte in Problem Admin- oder Influx-Adapter ?:

@segway ich hab das so

Sieht bei mir ähnlich aus:

bei mir ist allerdings in der Basiseinstellung history hinterlegt

bei natürlich influxdb.0 da ich kein Historie Adapter habe

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

und das ist nur für eine halbe Stunde !!!!

So ist es leider nicht. Der Adapter macht im Hintergrund Abfragen über den gesamten Datenbestand (für das selektierte Measurement). Ich vermute, dass du dort so viel Daten drin hast, dass die InfluxDB die Segel streicht.

Hier kannst du mal schauen, wie viele Datensätze jeweils drin sind, ist natürlich dann fraglich, ob die DB das schafft:

from(bucket: "iobroker")
|> range(start: -10y)
|> filter(fn: (r) => r["_field"] == "value")
|> count()
|> group()
|> keep(columns: ["_measurement", "_value"])
|> sort(columns: ["_value"], desc: true)
|> rename(columns: {_value: "Anzahl"})

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

@segway sagte in Problem Admin- oder Influx-Adapter ?:

und das ist nur für eine halbe Stunde !!!!

So ist es leider nicht. Der Adapter macht im Hintergrund Abfragen über den gesamten Datenbestand (für das selektierte Measurement). Ich vermute, dass du dort so viel Daten drin hast, dass die InfluxDB die Segel streicht.

Hier kannst du mal schauen, wie viele Datensätze jeweils drin sind, ist natürlich dann fraglich, ob die DB das schafft:

Mhhh, natürlich habe ich sehr viele Daten drin, dafür soll die DB ja auch sein.
Warum fragt er den gesamten Datenbestand ab wenn ich nur einen Datenpunkt ausgewählt habe ? Das macht eher keine Sinn oder ?

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

from(bucket: "iobroker")
|> range(start: -10y)
|> filter(fn: (r) => r["_field"] == "value")
|> count()
|> group()
|> keep(columns: ["_measurement", "_value"])
|> sort(columns: ["_value"], desc: true)
|> rename(columns: {_value: "Anzahl"})

Der Vollständigkeit halber hier das Ergebnis - aber bitte jetzt keine Diskussion darüber. Auf der Arbeit haben wir deutlich mehr an Daten:

Der Befehl wurde anstandslos in 96s abgearbeitet

[Segway]

siehe oben ergänzende Infos

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Warum fragt er den gesamten Datenbestand ab wenn ich nur einen Datenpunkt ausgewählt habe ? Das macht eher keine Sinn oder ?

Nein, ich hatte ja geschrieben, dass "nur das selektierte Measurement" / Datenpunkt abgefragt wird, dieses aber ab 1999. Das reicht aber offensichtlich bei deinen Datenmengen schon aus.

Unbhängig davon sind die Abfragen im Hintergrund wohl optimierungsbedürftig. Habe das gerade mal getestet. Wenn man auf Verlaufsdaten klickt, werden im Hintergrund acht Abfragen mit unterschiedlichen Zeiträumen abgefeuert.

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Der Vollständigkeit halber hier das Ergebnis - aber bitte jetzt keine Diskussion darüber.

Kannst du mal auf

schalten? Gibt es da noch mehr als 12 Mio Datensätze?

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

Unbhängig davon sind die Abfragen im Hintergrund wohl optimierungsbedürftig. Habe das gerade mal getestet. Wenn man auf Verlaufsdaten klickt, werden im Hintergrund acht Abfragen mit unterschiedlichen Zeiträumen abgefeuert.

Das ist ja schonmal was. Aber erklärt das mein beschriebenes verhalten ?

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

Kannst du mal auf
schalten? Gibt es da noch mehr als 12 Mio Datensätze?

Sind wohl ähnlich:

Hier sieht man noch die Influx VM, wie sie ihre Arbeit verrichtet für die 3 Abfragen von mir:

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Das ist ja schonmal was. Aber erklärt das mein beschriebenes verhalten ?

Ich finde das schon ziemlich plausibel. Die acht Queries werden ja praktisch zeitgleich abgesetzt. D.h. acht mal wird da parallel über (teilweise) 12 Mio Datensätze gerauscht. Da darf CPU und RAM aus meiner Sicht schon mal an Grenzen geraten.

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Das ist ja schonmal was. Aber erklärt das mein beschriebenes verhalten ?

Ich finde das schon ziemlich plausibel. Die acht Queries werden ja praktisch zeitgleich abgesetzt. D.h. acht mal wird da parallel über (teilweise) 12 Mio Datensätze gerauscht. Da darf CPU und RAM aus meiner Sicht schon mal an Grenzen geraten.

Also ein Bug ? Soll ich ein Issue aufmachen ?

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Also ein Bug ? Soll ich ein Issue aufmachen ?

Als Bug würde ich es nicht unbedingt bezeichnen. Hier treffen nicht optimierte Abfragen auf, ähm..., nicht optimierte Daten.

Aber da ich die Queries sowieso gerade parat habe, kann ich das auch machen.