NEWS
Influxdb datengrösse
-
@marc-berg vorher 15.8GB und jetzt 15GB
-
@arteck said in Influxdb datengrösse:
from(bucket: "iobroker") |> range(start: -10y) |> filter(fn: (r) => r["_field"] == "value") |> count() |> group() |> keep(columns: ["_measurement", "_value"]) |> sort(columns: ["_value"], desc: true) |> rename(columns: {_value: "Anzahl"})damit bekommst du eine Auflistung und wieviele records drin sind
es kommt sowas:
dh rd 3.5Mio einträge... das ist viel - ist das nur ein Datenpunkt?
wie kann ich das öschen, macht die retention nicht genau das?das backup ist auch viel kleiner (ca 3gb wobei sonst der speicherverbrauch bei ca 15gb ist)
Moin,
dass man die Aufbewahrungsfrist schon vor drei Wochen geändert hat, wäre auch gleich eine gute Information gewesen ;)
@cainam sagte in Influxdb datengrösse:
dh rd 3.5Mio einträge... das ist viel - ist das nur ein Datenpunkt?
Nein sind nicht wirklich viel
wie kann ich das öschen, macht die retention nicht genau das?
Ja, aber auch, nur wenn diese außerhalb der Retention Time liegen.
das backup ist auch viel kleiner (ca 3gb wobei sonst der speicherverbrauch bei ca 15gb ist)
Backups, werden komprimiert und da werden Kompressionsraten von 1:3 - 1:7 erreicht, je nachdem welches Kompressionsverfahren eingesetzt wird.
@cainam sagte in Influxdb datengrösse:
es kommt sowas:
Das sind nicht nur Daten von einem Datenpunkt, anhand des Namens unter
_measurementsiehst Du ja von welchem die meisten Daten kommen ist von einem ShellyVG
Bernd -
@marc-berg vorher 15.8GB und jetzt 15GB
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB> -
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB>die daten wurden eigentlich über die letzten 3Jahren ziemlich linear geloggt... klar ist das eine oder andere gerät dazu gekommen... aber sicher nicht in diesem umfang
wie kann ich schauen ob von einem meassurement wirklich alle daten >1Jahr gelöscht wurden? und wie könnte ich das sonst manuel machen
-
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB>@marc-berg said in Influxdb datengrösse:
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB>root@Daten:~# du -h 8.0K ./.ssh 4.0K ./.influxdbv2/engine/data 4.0K ./.influxdbv2/engine/replicationq 12K ./.influxdbv2/engine 184K ./.influxdbv2 4.0K ./.gnupg/private-keys-v1.d 8.0K ./.gnupg 4.0K ./.local/share/nano 8.0K ./.local/share 12K ./.local 4.0K ./.cache/snowflake 8.0K ./.cache 312K . -
@marc-berg said in Influxdb datengrösse:
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB>root@Daten:~# du -h 8.0K ./.ssh 4.0K ./.influxdbv2/engine/data 4.0K ./.influxdbv2/engine/replicationq 12K ./.influxdbv2/engine 184K ./.influxdbv2 4.0K ./.gnupg/private-keys-v1.d 8.0K ./.gnupg 4.0K ./.local/share/nano 8.0K ./.local/share 12K ./.local 4.0K ./.cache/snowflake 8.0K ./.cache 312K . -
Nach dieser Ausgabe ist die InfluxDB nur wenige Kilobyte groß. Da passt was nicht, falscher Pfad?
@marc-berg
hmm. ich bin direkt auf dem debian wo influxdb installiert ist....df ueogt da auch mehr an:
Filesystem 1K-blocks Used Available Use% Mounted on /dev/loop0 15375304 13335164 1237324 92% / none 492 4 488 1% /dev udev 3952404 0 3952404 0% /dev/tty tmpfs 3987136 0 3987136 0% /dev/shm tmpfs 1594856 60 1594796 1% /run tmpfs 5120 0 5120 0% /run/lock root@Daten:~# -
@marc-berg
hmm. ich bin direkt auf dem debian wo influxdb installiert ist....df ueogt da auch mehr an:
Filesystem 1K-blocks Used Available Use% Mounted on /dev/loop0 15375304 13335164 1237324 92% / none 492 4 488 1% /dev udev 3952404 0 3952404 0% /dev/tty tmpfs 3987136 0 3987136 0% /dev/shm tmpfs 1594856 60 1594796 1% /run tmpfs 5120 0 5120 0% /run/lock root@Daten:~# -
@marc-berg said in Influxdb datengrösse:
zeig mal das Ergebnis von:
cat /etc/influxdb2/config.tomlroot@Daten:~# cat /etc/influxdb2/config.toml cat: /etc/influxdb2/config.toml: No such file or directory root@Daten:~# -
@marc-berg said in Influxdb datengrösse:
zeig mal das Ergebnis von:
cat /etc/influxdb2/config.tomlroot@Daten:~# cat /etc/influxdb2/config.toml cat: /etc/influxdb2/config.toml: No such file or directory root@Daten:~#@cainam sagte in Influxdb datengrösse:
root@Daten:~# cat /etc/influxdb2/config.toml cat: /etc/influxdb2/config.toml: No such file or directory root@Daten:~#Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.
-
@cainam sagte in Influxdb datengrösse:
root@Daten:~# cat /etc/influxdb2/config.toml cat: /etc/influxdb2/config.toml: No such file or directory root@Daten:~#Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.
@marc-berg said in Influxdb datengrösse:
Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.
sorry... wie finde ich das?
-
@marc-berg said in Influxdb datengrösse:
Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.
sorry... wie finde ich das?
habe dies gefunden:
root@Daten:/etc/influxdb# cat /var/lib/influxdb/.influxdbv2/config.toml bolt-path = "/var/lib/influxdb/.influxdbv2/influxd.bolt" engine-path = "/var/lib/influxdb/.influxdbv2/engine" http-bind-address = ":8086" pprof-disabled = true storage-series-id-set-cache-size = 100 tls-cert = "/etc/ssl/influxdb.pem" root@Daten:/etc/influxdb# -
habe dies gefunden:
root@Daten:/etc/influxdb# cat /var/lib/influxdb/.influxdbv2/config.toml bolt-path = "/var/lib/influxdb/.influxdbv2/influxd.bolt" engine-path = "/var/lib/influxdb/.influxdbv2/engine" http-bind-address = ":8086" pprof-disabled = true storage-series-id-set-cache-size = 100 tls-cert = "/etc/ssl/influxdb.pem" root@Daten:/etc/influxdb# -
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engine -
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engine@cainam sagte in Influxdb datengrösse:
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engineOkay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.
Edit: Übrigens dürfte sich die Größenänderung auch im Backup widerspiegeln. (Wenn du eins hast ... :-)
-
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engine@cainam sagte in Influxdb datengrösse:
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
Moin,
So dann fangen wir mal von vorne an :)
Auf welcher Hardware läuft das ganze?
Wenn das kleine Tool noch nicht installiert ist, dann installier dir malncdu.Da du als
roothantierst, gehe ich davon aus, dass es irgendetwas mit Docker ist, da ist das dann etwas schwerer mit dem Installieren des Tools, wenn es eine normale Linux Installation ist, dann ist das easy und Du kannst es so aufrufenroot# ncdu / oder # sudo ncdu /Du bekommst dann eine Übersicht der Füllmenge, der Verzeichnisse ab dem
root Verzeichnis, dann kann man mit den Cursortasten ein Verzeichnis anwählen und mit Enter eine Ebene tiefer gehen.VG
Bernd -
@cainam sagte in Influxdb datengrösse:
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
Moin,
So dann fangen wir mal von vorne an :)
Auf welcher Hardware läuft das ganze?
Wenn das kleine Tool noch nicht installiert ist, dann installier dir malncdu.Da du als
roothantierst, gehe ich davon aus, dass es irgendetwas mit Docker ist, da ist das dann etwas schwerer mit dem Installieren des Tools, wenn es eine normale Linux Installation ist, dann ist das easy und Du kannst es so aufrufenroot# ncdu / oder # sudo ncdu /Du bekommst dann eine Übersicht der Füllmenge, der Verzeichnisse ab dem
root Verzeichnis, dann kann man mit den Cursortasten ein Verzeichnis anwählen und mit Enter eine Ebene tiefer gehen.VG
Bernd -
@cainam sagte in Influxdb datengrösse:
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engineOkay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.
Edit: Übrigens dürfte sich die Größenänderung auch im Backup widerspiegeln. (Wenn du eins hast ... :-)
@marc-berg said in Influxdb datengrösse:
Okay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.
wie kommst du auf das? ich habe 16GB für die maschine und das ist fast voll... ausser influxdb läuft da nix drauf
backup ist bei ca 1.9 gb ... vorher vielleicht 2.1gb
-
@cainam sagte in Influxdb datengrösse:
nein, habe über proxmox debian cts am laufen
Moin,
was ist
cts?
Es gibt LinuX Container = LXC oder Virtual Mashine = VMGut, dann installier mal und richte Dir auch gleich ein User ein, damit Du nicht als
rootim System herum schlawienerst.
Ein User undsudoreichen aus, um ein Linuxsystem zu benutzen und zu warten/pflegen.VG
BerndP.S.: So installiert man Programme, da Du ja schon als
roothantierst, aber im LXC oder VM nicht in Proxmox# apt install ncdu -
@cainam sagte in Influxdb datengrösse:
nein, habe über proxmox debian cts am laufen
Moin,
was ist
cts?
Es gibt LinuX Container = LXC oder Virtual Mashine = VMGut, dann installier mal und richte Dir auch gleich ein User ein, damit Du nicht als
rootim System herum schlawienerst.
Ein User undsudoreichen aus, um ein Linuxsystem zu benutzen und zu warten/pflegen.VG
BerndP.S.: So installiert man Programme, da Du ja schon als
roothantierst, aber im LXC oder VM nicht in Proxmox# apt install ncdu@dp20eic said in Influxdb datengrösse:
.
genau LXC ;-)
wieso ist das so wichtig nicht als root? ich bin ja alleine der zugriff hat und ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?
apt install ncdu
habe ich installiert... resp so eingegeben... da ist nicht viel passiert... und nun?
Support us
846
Online32.5k
Benutzer81.8k
Themen1.3m
Beiträge