Influxdb datengrösse

cainam

die daten wurden eigentlich über die letzten 3Jahren ziemlich linear geloggt... klar ist das eine oder andere gerät dazu gekommen... aber sicher nicht in diesem umfang

wie kann ich schauen ob von einem meassurement wirklich alle daten >1Jahr gelöscht wurden? und wie könnte ich das sonst manuel machen

cainam

@marc-berg said in Influxdb datengrösse:

@cainam sagte in Influxdb datengrösse:

vorher 15.8GB und jetzt 15GB

Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.

Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?

Edit:

zeig mal
du -h <Pfad zur InfluxDB>

root@Daten:~# du -h
8.0K    ./.ssh
4.0K    ./.influxdbv2/engine/data
4.0K    ./.influxdbv2/engine/replicationq
12K     ./.influxdbv2/engine
184K    ./.influxdbv2
4.0K    ./.gnupg/private-keys-v1.d
8.0K    ./.gnupg
4.0K    ./.local/share/nano
8.0K    ./.local/share
12K     ./.local
4.0K    ./.cache/snowflake
8.0K    ./.cache
312K    .

Marc Berg

@cainam

Nach dieser Ausgabe ist die InfluxDB nur wenige Kilobyte groß. Da passt was nicht, falscher Pfad?

cainam

@marc-berg
hmm. ich bin direkt auf dem debian wo influxdb installiert ist....

df ueogt da auch mehr an:

Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/loop0      15375304 13335164   1237324  92% /
none                 492        4       488   1% /dev
udev             3952404        0   3952404   0% /dev/tty
tmpfs            3987136        0   3987136   0% /dev/shm
tmpfs            1594856       60   1594796   1% /run
tmpfs               5120        0      5120   0% /run/lock
root@Daten:~#

Marc Berg

@cainam

zeig mal das Ergebnis von:

cat /etc/influxdb2/config.toml

cainam

@marc-berg said in Influxdb datengrösse:

@cainam

zeig mal das Ergebnis von:
cat /etc/influxdb2/config.toml

root@Daten:~# cat /etc/influxdb2/config.toml
cat: /etc/influxdb2/config.toml: No such file or directory
root@Daten:~#

Marc Berg

@cainam sagte in Influxdb datengrösse:

root@Daten:~# cat /etc/influxdb2/config.toml
cat: /etc/influxdb2/config.toml: No such file or directory
root@Daten:~#

Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.

cainam

@marc-berg said in Influxdb datengrösse:

Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.

sorry... wie finde ich das?

cainam

habe dies gefunden:

root@Daten:/etc/influxdb# cat /var/lib/influxdb/.influxdbv2/config.toml
bolt-path = "/var/lib/influxdb/.influxdbv2/influxd.bolt"
engine-path = "/var/lib/influxdb/.influxdbv2/engine"
http-bind-address = ":8086"
pprof-disabled = true
storage-series-id-set-cache-size = 100
tls-cert = "/etc/ssl/influxdb.pem"
root@Daten:/etc/influxdb#

Marc Berg

@cainam

du -h /var/lib/influxdb/.influxdbv2/engine

cainam

@marc-berg

da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k

....

4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197
620K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen
624K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319
35M     /var/lib/influxdb/.influxdbv2/engine/wal
4.0K    /var/lib/influxdb/.influxdbv2/engine/replicationq
589M    /var/lib/influxdb/.influxdbv2/engine

Marc Berg

@cainam sagte in Influxdb datengrösse:

@marc-berg

da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k

....

4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489
4.0K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197
620K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen
624K    /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319
35M     /var/lib/influxdb/.influxdbv2/engine/wal
4.0K    /var/lib/influxdb/.influxdbv2/engine/replicationq
589M    /var/lib/influxdb/.influxdbv2/engine

Okay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.

Edit: Übrigens dürfte sich die Größenänderung auch im Backup widerspiegeln. (Wenn du eins hast ... :-)

? Offline

@cainam sagte in Influxdb datengrösse:

da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k

Moin,

So dann fangen wir mal von vorne an :)

Auf welcher Hardware läuft das ganze?
Wenn das kleine Tool noch nicht installiert ist, dann installier dir mal ncdu.

Da du als root hantierst, gehe ich davon aus, dass es irgendetwas mit Docker ist, da ist das dann etwas schwerer mit dem Installieren des Tools, wenn es eine normale Linux Installation ist, dann ist das easy und Du kannst es so aufrufen

root# ncdu /

oder

# sudo ncdu /

Du bekommst dann eine Übersicht der Füllmenge, der Verzeichnisse ab dem root Verzeichnis, dann kann man mit den Cursortasten ein Verzeichnis anwählen und mit Enter eine Ebene tiefer gehen.

VG
Bernd

cainam

nein, habe über proxmox debian cts am laufen

cainam

@marc-berg said in Influxdb datengrösse:

Okay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.

wie kommst du auf das? ich habe 16GB für die maschine und das ist fast voll... ausser influxdb läuft da nix drauf

backup ist bei ca 1.9 gb ... vorher vielleicht 2.1gb

? Offline

@cainam sagte in Influxdb datengrösse:

nein, habe über proxmox debian cts am laufen

Moin,

was ist cts?
Es gibt LinuX Container = LXC oder Virtual Mashine = VM

Gut, dann installier mal und richte Dir auch gleich ein User ein, damit Du nicht als root im System herum schlawienerst.
Ein User und sudo reichen aus, um ein Linuxsystem zu benutzen und zu warten/pflegen.

VG
Bernd

P.S.: So installiert man Programme, da Du ja schon als root hantierst, aber im LXC oder VM nicht in Proxmox

# apt install ncdu

cainam

@dp20eic said in Influxdb datengrösse:

.

genau LXC ;-)

wieso ist das so wichtig nicht als root? ich bin ja alleine der zugriff hat und ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?

apt install ncdu
habe ich installiert... resp so eingegeben... da ist nicht viel passiert... und nun?

? Offline

@cainam sagte in Influxdb datengrösse:

wie kommst du auf das? ich habe 16GB für die maschine und das ist fast voll... ausser influxdb läuft da nix drauf

Moin,

Dein Speicher wird von was anderem gefressen, ich gehe von riesigen Log Files, Journal Files aus, oder der apt Cache ist aufgebläht.

Also ncdu installieren und schauen, wo die Kracher liegen, dann gezielt aufräumen

VG
Bernd

cainam

du hast glaube ich recht... logs

9.2 GiB [##########] /log
2.1 GiB [## ] /lib
508.8 MiB [ ] /cache
1.4 MiB [ ] /spool
1.1 MiB [ ] /backups
24.0 KiB [ ] /mail
e 4.0 KiB [ ] /tmp
e 4.0 KiB [ ] /opt
e 4.0 KiB [ ] /local
@ 0.0 B [ ] lock
@ 0.0 B [ ] run

wie lösche ich alle die ich nicht brauch?

kann ich hier die obersten drei logs einfach löschen?
/..
3.4 GiB [##########] daemon.log
3.4 GiB [######### ] syslog
1.4 GiB [#### ] /journal
654.1 MiB [# ] auth.log
186.5 MiB [ ] daemon.log.1
27.9 MiB [ ] syslog.1
22.8 MiB [ ] messages
22.8 MiB [ ] user.log
11.3 MiB [ ] daemon.log.3.gz
11.0 MiB [ ] daemon.log.2.gz
10.1 MiB [ ] daemon.log.4.gz
1.7 MiB [ ] syslog.4.gz
1.7 MiB [ ] syslog.5.gz
1.6 MiB [ ] syslog.6.gz
1.5 MiB [ ] syslog.7.gz
1.5 MiB [ ] syslog.3.gz
1.3 MiB [ ] syslog.2.gz

? Offline

@cainam sagte in Influxdb datengrösse:

wieso ist das so wichtig nicht als root? ich bin ja alleine der zugriff hat und ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?

Moin,

das ist eine Diskussion, die wir gern mal beim Bier austragen können :)
Root ist einfach nicht nötig und ein falscher Befehl und alles ist hin, als User kanst Du ersteinmal nichts kaputt machen und wenn man mal ein Befehl als root braucht, dann nimmt man sudo, punk aus.

@cainam sagte in Influxdb datengrösse:

apt install ncdu

Nicht sagen, zeigen, Text in Code Tags </> hier zeigen, so sieht das bei mir aus, ist aber schon installiert, bei mir.

dp20eic@iobroker:~$ sudo apt install ncdu
[sudo] password for dp20eic: 
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
ncdu is already the newest version (1.15.1-1).
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

VG
Bernd

Community Forum

NEWS

Influxdb datengrösse

Support us

659

32.5k

81.8k

1.3m