InfluxdB Größe? Aufspüren und Ausmisten?

Dieter_P

Hi
hab bei mir auf einem recht kleinen System mit wenigen Instanzen und wenigen Objekten eine influxdB (v2) laufen.

Da ich in dem Netzwerk kein NAS besitze sicher ich des Nachts auf Google Drive, aber mußte nun festellen, dass dies je Backup ca. 2,8GB braucht.

Ist das mit v2 so groß geworden oder ist da bei mir möglicherweise "Mist" in der dB?

Könnt ihr etwas empfehlen um eine Recherche zu betreiben nach Messstellen und deren Speicher-Verbrauch um dann ggf. ganze Zeitreihen zu löschen?

Besten Dank

crunchip

@dieter_p selbiges wurde vor kurzem erst gefragt
https://forum.iobroker.net/post/1008873

Dieter_P

@crunchip

danke. bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:

from(bucket: "iobroker")
  |> range(start: -2y)
  |> filter(fn: (r) => r["_field"] == "value")
  |> count()
  |> group()
  |> keep(columns: ["_measurement", "_value"])
  |> sort(columns: ["_value"], desc: true)
  |> rename(columns: {_value: "Anzahl"})

crunchip

@dieter_p kann ich dir nicht weiterhelfen, nutze keine influxdb2

? Offline

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

bekomme die query leider im data explorer nicht ausgeführt bzw. ohne ergebnis obwohl bucket "iobroker" passt:

Moin,

nicht sagen, zeigen.

So kann man Dir nicht helfen!

VG
Bernd

Dieter_P

@dp20eic
Thx!

? Offline

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@dp20eic
Thx!

Moin,

also bei mir klappt das ohne weiteres genau so, mein Bucket heißt nur etwas anders ;)

Auch unter Grafana, klappt die Abfrage von @Marc-Berg-0

Hast Du irgendwie Felder oder so umbenannt?

Zeigmal

from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop:v.timeRangeStop)
  |> keys()
  |> keep(columns: ["_value"])
  |> group()
  |> distinct()

VG
Bernd

Dieter_P

@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:

Hast Du irgendwie Felder oder so umbenannt?

Nein, so hab ich mich versucht immer am "Standard" zu bewegen.

Zeigmal

from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop:v.timeRangeStop)
  |> keys()
  |> keep(columns: ["_value"])
  |> group()
  |> distinct()

Da bekomme ich ein Ergebnis:

Thx!

? Offline

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:

Hast Du irgendwie Felder oder so umbenannt?

Nein, so hab ich mich versucht immer am "Standard" zu bewegen.
Zeigmal
from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop:v.timeRangeStop)
  |> keys()
  |> keep(columns: ["_value"])
  |> group()
  |> distinct()
Da bekomme ich ein Ergebnis:

Thx!

Moin,

kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw

from(bucket: "iobroker")
  |> range(start: -2y)
  |> filter(fn: (r) => r["_field"] == "value")
  //|> count()
  //|> group()
  //|> keep(columns: ["_measurement", "_value"])
  //|> sort(columns: ["_value"], desc: true)
  //|> rename(columns: {_value: "Anzahl"})

VG
Bernd

Dieter_P

@dp20eic said in InfluxdB Größe? Aufspüren und Ausmisten?:

kannst Du mal die Abfrage Zeile für Zeile versuchen, also wie unten Beginnen und dann "//" bei der nächsten Zeile wegnehmen usw

Moin,
im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:

? Offline

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

im ersten Versuch schon ohne Ergebnisse. Hab ich da im Filter ein Tippfehler? Probiere rum aber leider ohne Erfolg:

Moin,

löst zwar nicht das Problem, aber nimm mal den Schalter Raw-Data raus.

Zeig mal eine Abfrage, die auch wirklich Werte zurückliefert, geh mal über den Selektor

Und klick dich da mal durch, ist für mich nicht nachvollziehbar 🤔

VG
Bernd

P.S.: Was mir nicht klar ist, wo das arch, build_date, bucket, ... in deiner Auflistung herkommt, gibt es bei mir nicht 🤔

Marc Berg

@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

P.S.: Was mir nicht klar ist, wo das arch, build_date, bucket, ... in deiner Auflistung herkommt, gibt es bei mir nicht

yep, wollte ich auch gerade schreiben. Das kommt wahrscheinlich von einem Scraper, der metrics-Daten wegschreibt oder mal weggeschrieben hat. Das würde auch die Größe erklären.

? Offline

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Hab ich da im Filter ein Tippfehler?

Moin,

Tippfehler, sollten ja keine da sein, denn Du kopierst ja nur eine Abfrage, die bei mir oder anderen funktioniert.

VG
Bernd

Dieter_P

@marc-berg @dp20eic

bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

? Offline

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@marc-berg @dp20eic

bin da nicht oft unterwegs, aber unter "_measurements" sollten doch die konfigurierten DPs/Messtellen zu finden sein. Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

Moin,

jup, das sieht alles nach Metriken aus

VG
Bernd

P.S.: Gib mal im Suchfeld einen Namen von Deinen Datenpunkten ein, kommt da irgend was?

Marc Berg

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

dann bist hier auf der falschen DB oder in der falschen Organisation

? Offline

@marc-berg sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Bei mir sehe ich da viel aber keine der IOBroker Objekte die fürs InfluxdB loggen konfiguriert sind.

dann bist hier auf der falschen DB oder in der falschen Organisation

Moin,

ist auch schon wieder so lange her, aber bei der Ersteinrichtung, wird mal etwas von Metriken gefragt und vielleicht hat der TE da auch das ioBroker Bucket angegeben.
Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt 🤔

VG
Bernd

Marc Berg

@dp20eic sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Ich kann mir nicht vorstellen, dass der Otto Normaluser sich mehrere Organisationen anlegt

ja, alles etwas undurchsichtig.

@Dieter_P : zeigt doch mal bitte die Konfig deines Influx-Adapters

Dieter_P

@dp20eic @Marc-Berg

Sorry, da ich zwei Systeme (ioBroker) parallel im Zugriff hab, ist mir nicht immer sofort klar was, wie wo. Auf dem "kleinen" System hier sind derzeit gar keine Messtellen zum loggen für influxdB konfiguriert. Das läuft auf dem history Adapter und wollte ich bei Gelegenheit anpassen.

Habe nun eine Messtelle zum loggen konfiguriert und finde diese auch unter Measurements. Aber aus dieser Erkenntnis umso größer meine Frage, warum die influxdB "ohne Inhalt" so groß wird.

Metriken sagt mir wenig.

Da ich ja aktuell nichts logge in die dB, liegt mir der Gedanke nah influxdB noch einmal zu löschen und neu zu installieren, obwohl die Ursache schon interresant wäre um den vielleicht gleichen Fehler nicht nochmal zu machen.

Marc Berg

@dieter_p sagte in InfluxdB Größe? Aufspüren und Ausmisten?:

Da ich ja aktuell nichts logge in die dB

Uff ... Das erklärt einiges.

Schau mal, ob ein Scraper aktiviert ist

Community Forum

NEWS

InfluxdB Größe? Aufspüren und Ausmisten?

Support us

526

32.7k

82.5k

1.3m