HD voll kein Zugriff mehr

Mariatschi0815

Hallo Community,

mein pi4 reagiert nicht mehr, ich konnte das Problem schon ausmachen. Ich nutze InfluxDB und hier ist das Problem, dass ich meine HD bzw. korrekterweise meine SD überfüllt habe. Da ich aber über den Browser nicht auf Influx zugreifen kann, bin ich gerade etwas ratlos wie ich weiter vorgehen muss.

Ich hoffe ihr seht mir nach, dass es kein "reines" iob-Problem ist und könnt mir weiterhelfen.

Gruß Martin

Thomas Braun

@mariatschi0815

Per Terminal auf die Kiste und mit

sudo ncdu /

schauen wo die dicken Kinder wohnen.

Mariatschi0815

@thomas-braun wie befürchtet

/var/lib/influxdb/engine/data

? Offline

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Ich hoffe ihr seht mir nach, dass es kein "reines" iob-Problem ist und könnt mir weiterhelfen.

Moin,

bist Du Dir da ganz sicher, eigentlich ist influxDB recht sparsam mit dem Speicher, es sei denn Du schreibst da schon seit einigen Jahren Daten rein!
Wie groß ist denn die SD-Karte?

@Thomas-Braun hat Dir ja schon geschrieben, solltest Du das Programm nicht haben, dann hilft auch

sudo du -mx / | sort -nk1,1

Wie ist Deine SD-Karte Partitioniert, ist da noch etwas frei?

VG
Bernd

Thomas Braun

@mariatschi0815

df -h

Mariatschi0815

@dp20eic @dp20eic ich habe keine besonders große sd drin:

mmcblk0     179:0    0    29G  0 disk
├─mmcblk0p1 179:1    0   256M  0 part /boot
└─mmcblk0p2 179:2    0  28,7G  0 part /

Schreibe aber auch noch nicht so lange Daten. Maximal seit einem halben Jahr (glaub ich).

Und

sudo ncdu /

Gibt folgendes aus:

--- /var/lib ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
   21,4 GiB [##########] /influxdb
  129,4 MiB [          ] /apt
   24,0 MiB [          ] /dpkg
  456,0 KiB [          ] /systemd
   48,0 KiB [          ] /ucf
   40,0 KiB [          ] /polkit-1
   28,0 KiB [          ] /pam
   16,0 KiB [          ] /dhcpcd
   12,0 KiB [          ] /raspberrypi
   12,0 KiB [          ] /nfs
   12,0 KiB [          ] /mosquitto
    8,0 KiB [          ] /vim
    8,0 KiB [          ] /sudo
    8,0 KiB [          ] /bluetooth
    8,0 KiB [          ] /alsa
    8,0 KiB [          ] /logrotate
    4,0 KiB [          ] /dbus
e   4,0 KiB [          ] /usb_modeswitch
    4,0 KiB [          ] /python
e   4,0 KiB [          ] /private
e   4,0 KiB [          ] /misc
    4,0 KiB [          ] /man-db
e   4,0 KiB [          ] /git
e   4,0 KiB [          ] /dhcp
e   4,0 KiB [          ] /NetworkManager

Mariatschi0815

@thomas-braun das war mein erster Schritt.

Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root        29G     29G     0  100% /
devtmpfs        1,7G       0  1,7G    0% /dev
tmpfs           1,9G       0  1,9G    0% /dev/shm
tmpfs           759M     84M  676M   12% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
/dev/mmcblk0p1  255M     31M  225M   13% /boot
/dev/sda1       120G     74M  120G    1% /mnt/usb0

Thomas Braun

@mariatschi0815

29GB ist halt auch nicht sooooooo üppig.
Mit der Größe der influxdb kann ich dir aber nicht helfen, keinen Plan von der Datenbank und wie man die auf Diät setzt.

Mariatschi0815

@thomas-braun ich hatte auch nicht mehr auf dem Schirm wie klein die sd da drin ist. Das werde ich bei Gelegenheit ändern, jetzt müsste ich aber erstmal Speicher frei machen, um überhaupt was machen zu können.

Edit: Aber danke schon mal.

crunchip

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Ich nutze InfluxDB

https://github.com/CymaticLabs/InfluxDBStudio
kannst du dir auf deinen Rechner runterladen, damit kannst du dich mit der Datenbank connecten und gezielt Daten löschen

solltest du allerdings Influxdb2 nutzen, dann geht das damit nicht

Mariatschi0815

@crunchip Dann geht das damit nicht.

crunchip

@mariatschi0815 https://forum.iobroker.net/topic/54036/influxdb-2-0-measurement-löschen

? Offline

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Gibt folgendes aus:

Moin,

hast Du mehrere buckets in der influxDB?
Heute Abend komme ich nicht mehr dazu eine Lösung zu suchen, und Morgen erst nach dem Mittag, ansonsten geht das nur über die CLI Link hat Dir @crunchip gerade geschickt.

VG
Bernd

Mariatschi0815

@dp20eic Ich hab mich jetzt eine Weile nicht damit beschäftigen können, wenn ich mich recht erinnere hatte ich nur einen iobroker bucket indem ich dann die Daten von meinen Steckern gesammelt habe. Es ist auch, bis jetzt, noch nicht so dringlich. Wenn du mir da weiterhelfen kannst wäre super. Ich versuche mich gerade durch den thread zu finden, auf den bin ich tatsächlich auch schon gestoßen. Jedoch war ich da etwas ratlos.

Edit: Problem wird sein, dass ich auch Influx nicht öffnen kann und (wenn ich das richtig verstanden habe) somit nicht an den Token komme.

? Offline

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Edit: Problem wird sein, dass ich auch Influx nicht öffnen kann und (wenn ich das richtig verstanden habe) somit nicht an den Token komme.

Moin,

so wie sagt man immer so schön Ein Backup haben ist besser, als ein Backup zu brauchen

Erster und einfachster Weg, ist eine neue größere SD-Karte zu besorgen und dann neu installieren und ein hoffentlich vorhandenes Backup einspielen, dabei sollten auch keine alten Daten verloren gehen, außer die, die jetzt die letzten Tage schon nicht mehr geschrieben werden konnten.

Ansonsten, was sagt, da sollte es eine Auflistung geben und auch die Token anzeigen

influx auth list

Dann würde ich ein größeres Medium anschließen, so Du noch USB-Ports freihast. Anschließend würde ich ein Backup der influxDB machen

influx backup -t `dein-token` /pfad/zum/grossen/speicher

Anschließend könntest Du influxDB deinstallieren, ein sauberes Backup erstellen und auf einer größeren SD-Karte neu installieren, dann ein Restore des ioBrokers und ein Restore der Datenbank aus dem zuvor erstellten Backup.

Wenn das für Dich nicht infrage kommt und Du auf Daten verzichten kannst, dann so wie es im von @crunchip verlinktem Forumsbeitrag steht, wobei Du die Namen Deiner measurement kennen solltest, Beschreibung der einzelnen Parameter im Aufruf stehen auch im verlinkten Post.

influx delete --token "deinToken" --bucket "deinBucket" --start 1970-01-01T00:00:00Z --stop $(date +"%Y-%m-%dT%H:%M:%SZ") --predicate '_measurement="ID-Datenpunkt"'

Nehmen wir mal an, Du hast zwei Jahre an Daten, also 2021-08-01 bis 2023-08-09 und Du möchtest nur 2023 behalten, dann

influx delete --token "deinToken" --bucket "deinBucket" --start 1970-01-01T00:00:00Z --stop 2022-12-31T23:59:59Z --predicate '_measurement="ID-Datenpunkt"'

Damit löschst Du alles von 2021-08-01 bis 2022-12-31.

Wenn Du nochmals, ausführst, dann kannst Du mit den Pfeiltasten im Tree die Verzeichnisse wechseln, Du kannst mal noch tiefer ins influxdb Verzeichnis gehen

sudo ncdu /

Bei mir

ncdu 2.2.2 ~ Use the arrow keys to navigate, press ? for help
--- /var/lib/private/influxdb/engine/data ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
                                                 /..
    1.2 GiB [##################################] /e028530aba782d69
  ...

diese Zahlen am Ende zeigen Dir die Buckets, die installiert sind, das kannst Du vergleichen mit

dp20eic@influxdb-2 ~ % influx bucket ls  
ID                      Name            Retention       Shard group duration    Organization ID         Schema Type
e028530aba782d69        proxmox-server  infinite        168h0m0s                dccfb65d68b12105        implicit
...

Wenn da mehr auftaucht, dann erst einmal die Buckets löschen, die man nicht braucht.
Delete a bucket by name

influx bucket delete --name example-bucket

Delete a bucket by ID

influx bucket delete --id 06c86c40a9f36000

Wenn Du unsicher bist, dann lieber vorher nachfragen

VG
Bernd

P.S.: ich glaube immer noch nicht, dass die paar Daten aus dem ioBroker 21 GB schreiben. Ich sicher mein Proxmox Server seit ~ 1 Jahr und komme nur auf 1.2 GB.
P.P.S.: Dann kannst Du auch mal schauen, sollte Dein(e) Bucket(s) auf unendlich stehen, ob man da nicht 1 Jahr einstellt, dann sind die Daten auch weg, nach dem Ausführen, braucht es etwas Zeit, denn das läuft zyklisch ab und löscht kleine Happen, habe ich aber auch schon mal exerziert und funktioniert.
Update the retention period of a bucket

influx bucket update \
  --id 06c86c40a9f36000 \
  --retention 90d

P.P.P.S.: Dank an @crunchip, habe ich korrigiert
P.P.P.P.S.: Wer Rechtschreibfehler / Grammatikfehler findet, darf sie behalten und auch jederzeit wieder verwenden, sind CC-lizenzierte

crunchip · Damit löschst Du alles von 2021-08-01 bis 2022-12-31.

@dp20eic sagte in HD voll kein Zugriff mehr:

infflux

schreibfehler

mcm1957

Nur ein Zwischenruf

Wärs nichtvauch möglich die SD auf eine grössere SD zu clonen und die Partition zu extenden?

Aber bitte nicht fragen wie. Kenn linux da zu wenig.

Ro75

@mcm57 Es sollte ja ein PI4 sein. Über raspi-config sollte es doch möglich sein.

Advanced Options / Expand Filesystem

Ro75.

? Offline

@mcm57 sagte in HD voll kein Zugriff mehr:

Wärs nichtvauch möglich die SD auf eine grössere SD zu clonen und die Partition zu extenden?

Moin,

ja, ginge auch, ich bin nur kein Freund des Clonens, daher habe ich das auch nicht erwähnt, da schleppt man immer sooooooviel schund mit, dann lieber, gleich richtig machen, als anschließend anfangen und aufräumen, vermute, dass das hinterher mehr Zeit kostet als gleich neu und mit Backups wieder herstellen.

VG
Bernd

Mariatschi0815

Erstmal vielen Dank für die zahlreichen Antworten. Ich habe mir schon eine größere SD geordert und warte jetzt auf Lieferung. Die wird also definitiv ausgewechselt. Kurz bevor ich Influx installiert habe, bin ich erst auf den Pi4 umgezogen und habe alles einmal frisch aufgesetzt. Clonen kam mir auch schon in den Sinn.

Aber offensichtlich würde ich damit nur die Symptome bekämpfen und nicht die Ursachen. Wenn das System den Zugriff wieder zulässt, müsste ich ja mal Ursachenforschung betreiben warum mein Influx so viel Speicher frisst. Da @dp20eic mir ja den Hinweis gegeben hat, dass es offensichtlich unnormal ist.

Backups habe ich tatsächlich auf einem Stick, das dürften aber nur die vom iob sein. Ich sag mal so, wenn die Influx-Daten verloren gingen wäre das zwar ärgerlich, aber kein Weltuntergang.

Wie schon gesagt, wäre es interessant was hier so viel Ressourcen verbraucht.

NEWS

HD voll kein Zugriff mehr

HD voll kein Zugriff mehr

Support us

111

32.4k

81.3k

1.3m