InfluxdB Größe? Aufspüren und Ausmisten?

[Dieter_P]

Hi
hab bei mir auf einem recht kleinen System mit wenigen Instanzen und wenigen Objekten eine influxdB (v2) laufen.

Da ich in dem Netzwerk kein NAS besitze sicher ich des Nachts auf Google Drive, aber mußte nun festellen, dass dies je Backup ca. 2,8GB braucht.

Ist das mit v2 so groß geworden oder ist da bei mir möglicherweise "Mist" in der dB?

Könnt ihr etwas empfehlen um eine Recherche zu betreiben nach Messstellen und deren Speicher-Verbrauch um dann ggf. ganze Zeitreihen zu löschen?

Besten Dank

[crunchip]

@dieter_p selbiges wurde vor kurzem erst gefragt
https://forum.iobroker.net/post/1008873

[Dieter_P]

@crunchip

danke. bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:

from(bucket: "iobroker")
  |> range(start: -2y)
  |> filter(fn: (r) => r["_field"] == "value")
  |> count()
  |> group()
  |> keep(columns: ["_measurement", "_value"])
  |> sort(columns: ["_value"], desc: true)
  |> rename(columns: {_value: "Anzahl"})

[crunchip]

@dieter_p kann ich dir nicht weiterhelfen, nutze keine influxdb2

[A Former User]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:

Moin,

nicht sagen, zeigen.

So kann man Dir nicht helfen!

VG
Bernd

[Dieter_P]

@dp20eic
Thx!

[A Former User]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@dp20eic
Thx!

Moin,

also bei mir klappt das ohne weiteres genau so, mein Bucket heißt nur etwas anders

Auch unter Grafana, klappt die Abfrage von @Marc-Berg-0

Hast Du irgendwie Felder oder so umbenannt?

Zeigmal

from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop:v.timeRangeStop)
  |> keys()
  |> keep(columns: ["_value"])
  |> group()
  |> distinct()

VG
Bernd

[Dieter_P]

@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:

Hast Du irgendwie Felder oder so umbenannt?

Nein, so hab ich mich versucht immer am "Standard" zu bewegen.

Zeigmal

from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop:v.timeRangeStop)
  |> keys()
  |> keep(columns: ["_value"])
  |> group()
  |> distinct()

Da bekomme ich ein Ergebnis:

Thx!

[A Former User]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:

Hast Du irgendwie Felder oder so umbenannt?

Nein, so hab ich mich versucht immer am "Standard" zu bewegen.

Zeigmal

from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop:v.timeRangeStop)
  |> keys()
  |> keep(columns: ["_value"])
  |> group()
  |> distinct()

Da bekomme ich ein Ergebnis:

Thx!

Moin,

kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw

from(bucket: "iobroker")
  |> range(start: -2y)
  |> filter(fn: (r) => r["_field"] == "value")
  //|> count()
  //|> group()
  //|> keep(columns: ["_measurement", "_value"])
  //|> sort(columns: ["_value"], desc: true)
  //|> rename(columns: {_value: "Anzahl"})

VG
Bernd

[Dieter_P]

@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:

kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw

Moin,
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:

[A Former User]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:

Moin,

löst zwar nicht das Problem, aber nimm mal den Schalter Raw-Data raus.

Zeig mal eine Abfrage, die auch wirklich Werte zurückliefert, geh mal über den Selektor

Und klick dich da mal durch, ist für mich nicht nachvollziehbar

VG
Bernd

P.S.: Was mir nicht klar ist, wo das arch, build_date, bucket, ... in deiner Auflistung herkommt, gibt es bei mir nicht

[Marc Berg]

@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

P.S.: Was mir nicht klar ist, wo das arch, build_date, bucket, ... in deiner Auflistung herkommt, gibt es bei mir nicht

yep, wollte ich auch gerade schreiben. Das kommt wahrscheinlich von einem Scraper, der metrics-Daten wegschreibt oder mal weggeschrieben hat. Das würde auch die Größe erklären.

[A Former User]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Hab ich da im Filter ein Tippfehler?

Moin,

Tippfehler, sollten ja keine da sein, denn Du kopierst ja nur eine Abfrage, die bei mir oder anderen funktioniert.

VG
Bernd

[Dieter_P]

@marc-berg @dp20eic

bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

[A Former User]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@marc-berg @dp20eic

bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

Moin,

jup, das sieht alles nach Metriken aus

VG
Bernd

P.S.: Gib mal im Suchfeld einen Namen von Deinen Datenpunkten ein, kommt da irgend was?

[Marc Berg]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

dann bist hier auf der falschen DB oder in der falschen Organisation

[A Former User]

@marc-berg sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

dann bist hier auf der falschen DB oder in der falschen Organisation

Moin,

ist auch schon wieder so lange her, aber bei der Ersteinrichtung, wird mal etwas von Metriken gefragt und vielleicht hat der TE da auch das ioBroker Bucket angegeben.
Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt

VG
Bernd

[Marc Berg]

@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt

ja, alles etwas undurchsichtig.

@Dieter_P : zeigt doch mal bitte die Konfig deines Influx-Adapters

[Dieter_P]

@dp20eic @Marc-Berg

Sorry, da ich zwei Systeme (ioBroker) parallel im Zugriff hab, ist mir nicht immer sofort klar was, wie wo. Auf dem "kleinen" System hier sind derzeit gar keine Messtellen zum loggen für influxdB konfiguriert. Das läuft auf dem history Adapter und wollte ich bei Gelegenheit anpassen.

Habe nun eine Messtelle zum loggen konfiguriert und finde diese auch unter Measurements. Aber aus dieser Erkenntnis umso größer meine Frage, warum die influxdB "ohne Inhalt" so groß wird.

Metriken sagt mir wenig.

Da ich ja aktuell nichts logge in die dB, liegt mir der Gedanke nah influxdB noch einmal zu löschen und neu zu installieren, obwohl die Ursache schon interresant wäre um den vielleicht gleichen Fehler nicht nochmal zu machen.

[Marc Berg]

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Da ich ja aktuell nichts logge in die dB

Uff ... Das erklärt einiges.

Schau mal, ob ein Scraper aktiviert ist