NEWS
InfluxdB Größe? Aufspüren und Ausmisten?
-
Hi
hab bei mir auf einem recht kleinen System mit wenigen Instanzen und wenigen Objekten eine influxdB (v2) laufen.Da ich in dem Netzwerk kein NAS besitze sicher ich des Nachts auf Google Drive, aber mußte nun festellen, dass dies je Backup ca. 2,8GB braucht.
Ist das mit v2 so groß geworden oder ist da bei mir möglicherweise "Mist" in der dB?
Könnt ihr etwas empfehlen um eine Recherche zu betreiben nach Messstellen und deren Speicher-Verbrauch um dann ggf. ganze Zeitreihen zu löschen?
Besten Dank
@dieter_p selbiges wurde vor kurzem erst gefragt
https://forum.iobroker.net/post/1008873 -
@dieter_p selbiges wurde vor kurzem erst gefragt
https://forum.iobroker.net/post/1008873danke. bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:
from(bucket: "iobroker") |> range(start: -2y) |> filter(fn: (r) => r["_field"] == "value") |> count() |> group() |> keep(columns: ["_measurement", "_value"]) |> sort(columns: ["_value"], desc: true) |> rename(columns: {_value: "Anzahl"}) -
danke. bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:
from(bucket: "iobroker") |> range(start: -2y) |> filter(fn: (r) => r["_field"] == "value") |> count() |> group() |> keep(columns: ["_measurement", "_value"]) |> sort(columns: ["_value"], desc: true) |> rename(columns: {_value: "Anzahl"})@dieter_p kann ich dir nicht weiterhelfen, nutze keine influxdb2
-
danke. bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:
from(bucket: "iobroker") |> range(start: -2y) |> filter(fn: (r) => r["_field"] == "value") |> count() |> group() |> keep(columns: ["_measurement", "_value"]) |> sort(columns: ["_value"], desc: true) |> rename(columns: {_value: "Anzahl"})@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:
Moin,
nicht sagen, zeigen.
So kann man Dir nicht helfen!
VG
Bernd -
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:
Moin,
nicht sagen, zeigen.
So kann man Dir nicht helfen!
VG
Bernd -
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dp20eic
Thx!

Moin,
also bei mir klappt das ohne weiteres genau so, mein Bucket heißt nur etwas anders ;)

Auch unter Grafana, klappt die Abfrage von @Marc-Berg-0

Hast Du irgendwie Felder oder so umbenannt?
Zeigmal
from(bucket: "ioBroker") |> range(start: v.timeRangeStart, stop:v.timeRangeStop) |> keys() |> keep(columns: ["_value"]) |> group() |> distinct()VG
Bernd -
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dp20eic
Thx!

Moin,
also bei mir klappt das ohne weiteres genau so, mein Bucket heißt nur etwas anders ;)

Auch unter Grafana, klappt die Abfrage von @Marc-Berg-0

Hast Du irgendwie Felder oder so umbenannt?
Zeigmal
from(bucket: "ioBroker") |> range(start: v.timeRangeStart, stop:v.timeRangeStop) |> keys() |> keep(columns: ["_value"]) |> group() |> distinct()VG
Bernd@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
Hast Du irgendwie Felder oder so umbenannt?
Nein, so hab ich mich versucht immer am "Standard" zu bewegen.
Zeigmal
from(bucket: "ioBroker") |> range(start: v.timeRangeStart, stop:v.timeRangeStop) |> keys() |> keep(columns: ["_value"]) |> group() |> distinct()Da bekomme ich ein Ergebnis:

Thx!
-
@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
Hast Du irgendwie Felder oder so umbenannt?
Nein, so hab ich mich versucht immer am "Standard" zu bewegen.
Zeigmal
from(bucket: "ioBroker") |> range(start: v.timeRangeStart, stop:v.timeRangeStop) |> keys() |> keep(columns: ["_value"]) |> group() |> distinct()Da bekomme ich ein Ergebnis:

Thx!
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
Hast Du irgendwie Felder oder so umbenannt?
Nein, so hab ich mich versucht immer am "Standard" zu bewegen.
Zeigmal
from(bucket: "ioBroker") |> range(start: v.timeRangeStart, stop:v.timeRangeStop) |> keys() |> keep(columns: ["_value"]) |> group() |> distinct()Da bekomme ich ein Ergebnis:

Thx!
Moin,
kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw
from(bucket: "iobroker") |> range(start: -2y) |> filter(fn: (r) => r["_field"] == "value") //|> count() //|> group() //|> keep(columns: ["_measurement", "_value"]) //|> sort(columns: ["_value"], desc: true) //|> rename(columns: {_value: "Anzahl"})VG
Bernd -
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
Hast Du irgendwie Felder oder so umbenannt?
Nein, so hab ich mich versucht immer am "Standard" zu bewegen.
Zeigmal
from(bucket: "ioBroker") |> range(start: v.timeRangeStart, stop:v.timeRangeStop) |> keys() |> keep(columns: ["_value"]) |> group() |> distinct()Da bekomme ich ein Ergebnis:

Thx!
Moin,
kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw
from(bucket: "iobroker") |> range(start: -2y) |> filter(fn: (r) => r["_field"] == "value") //|> count() //|> group() //|> keep(columns: ["_measurement", "_value"]) //|> sort(columns: ["_value"], desc: true) //|> rename(columns: {_value: "Anzahl"})VG
Bernd@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw
Moin,
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:


-
@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw
Moin,
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:


@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:
Moin,
löst zwar nicht das Problem, aber nimm mal den Schalter
Raw-Dataraus.Zeig mal eine Abfrage, die auch wirklich Werte zurückliefert, geh mal über den Selektor

Und klick dich da mal durch, ist für mich nicht nachvollziehbar 🤔
VG
BerndP.S.: Was mir nicht klar ist, wo das
arch, build_date, bucket, ...in deiner Auflistung herkommt, gibt es bei mir nicht 🤔
-
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:
Moin,
löst zwar nicht das Problem, aber nimm mal den Schalter
Raw-Dataraus.Zeig mal eine Abfrage, die auch wirklich Werte zurückliefert, geh mal über den Selektor

Und klick dich da mal durch, ist für mich nicht nachvollziehbar 🤔
VG
BerndP.S.: Was mir nicht klar ist, wo das
arch, build_date, bucket, ...in deiner Auflistung herkommt, gibt es bei mir nicht 🤔
@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
P.S.: Was mir nicht klar ist, wo das arch, build_date, bucket, ... in deiner Auflistung herkommt, gibt es bei mir nicht
yep, wollte ich auch gerade schreiben. Das kommt wahrscheinlich von einem Scraper, der metrics-Daten wegschreibt oder mal weggeschrieben hat. Das würde auch die Größe erklären.
-
@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:
kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw
Moin,
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:


@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Hab ich da im Filter ein Tippfehler?
Moin,
Tippfehler, sollten ja keine da sein, denn Du kopierst ja nur eine Abfrage, die bei mir oder anderen funktioniert.
VG
Bernd -
@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
P.S.: Was mir nicht klar ist, wo das arch, build_date, bucket, ... in deiner Auflistung herkommt, gibt es bei mir nicht
yep, wollte ich auch gerade schreiben. Das kommt wahrscheinlich von einem Scraper, der metrics-Daten wegschreibt oder mal weggeschrieben hat. Das würde auch die Größe erklären.
@marc-berg @dp20eic
bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

-
@marc-berg @dp20eic
bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@marc-berg @dp20eic
bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

Moin,
jup, das sieht alles nach Metriken aus
VG
BerndP.S.: Gib mal im Suchfeld einen Namen von Deinen Datenpunkten ein, kommt da irgend was?

-
@marc-berg @dp20eic
bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.
dann bist hier auf der falschen DB oder in der falschen Organisation
-
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.
dann bist hier auf der falschen DB oder in der falschen Organisation
@marc-berg sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.
dann bist hier auf der falschen DB oder in der falschen Organisation
Moin,
ist auch schon wieder so lange her, aber bei der Ersteinrichtung, wird mal etwas von Metriken gefragt und vielleicht hat der TE da auch das
ioBroker Bucketangegeben.
Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt 🤔VG
Bernd -
@marc-berg sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.
dann bist hier auf der falschen DB oder in der falschen Organisation
Moin,
ist auch schon wieder so lange her, aber bei der Ersteinrichtung, wird mal etwas von Metriken gefragt und vielleicht hat der TE da auch das
ioBroker Bucketangegeben.
Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt 🤔VG
Bernd@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt
ja, alles etwas undurchsichtig.
@Dieter_P : zeigt doch mal bitte die Konfig deines Influx-Adapters
-
@marc-berg sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.
dann bist hier auf der falschen DB oder in der falschen Organisation
Moin,
ist auch schon wieder so lange her, aber bei der Ersteinrichtung, wird mal etwas von Metriken gefragt und vielleicht hat der TE da auch das
ioBroker Bucketangegeben.
Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt 🤔VG
Bernd@dp20eic @Marc-Berg
Sorry, da ich zwei Systeme (ioBroker) parallel im Zugriff hab, ist mir nicht immer sofort klar was, wie wo. Auf dem "kleinen" System hier sind derzeit gar keine Messtellen zum loggen für influxdB konfiguriert. Das läuft auf dem history Adapter und wollte ich bei Gelegenheit anpassen.
Habe nun eine Messtelle zum loggen konfiguriert und finde diese auch unter Measurements. Aber aus dieser Erkenntnis umso größer meine Frage, warum die influxdB "ohne Inhalt" so groß wird.
Metriken sagt mir wenig.
Da ich ja aktuell nichts logge in die dB, liegt mir der Gedanke nah influxdB noch einmal zu löschen und neu zu installieren, obwohl die Ursache schon interresant wäre um den vielleicht gleichen Fehler nicht nochmal zu machen.

-
@dp20eic @Marc-Berg
Sorry, da ich zwei Systeme (ioBroker) parallel im Zugriff hab, ist mir nicht immer sofort klar was, wie wo. Auf dem "kleinen" System hier sind derzeit gar keine Messtellen zum loggen für influxdB konfiguriert. Das läuft auf dem history Adapter und wollte ich bei Gelegenheit anpassen.
Habe nun eine Messtelle zum loggen konfiguriert und finde diese auch unter Measurements. Aber aus dieser Erkenntnis umso größer meine Frage, warum die influxdB "ohne Inhalt" so groß wird.
Metriken sagt mir wenig.
Da ich ja aktuell nichts logge in die dB, liegt mir der Gedanke nah influxdB noch einmal zu löschen und neu zu installieren, obwohl die Ursache schon interresant wäre um den vielleicht gleichen Fehler nicht nochmal zu machen.

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Da ich ja aktuell nichts logge in die dB
Uff ... Das erklärt einiges.
Schau mal, ob ein Scraper aktiviert ist

-
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Da ich ja aktuell nichts logge in die dB
Uff ... Das erklärt einiges.
Schau mal, ob ein Scraper aktiviert ist

@marc-berg said in InfluxdB Größe? Aufspüren und Ausmisten?:
@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:
Da ich ja aktuell nichts logge in die dB
Uff ... Das erklärt einiges.
Schau mal, ob ein Scraper aktiviert ist

