HD voll kein Zugriff mehr

Mariatschi0815

@dp20eic @dp20eic ich habe keine besonders große sd drin:

mmcblk0     179:0    0    29G  0 disk
├─mmcblk0p1 179:1    0   256M  0 part /boot
└─mmcblk0p2 179:2    0  28,7G  0 part /

Schreibe aber auch noch nicht so lange Daten. Maximal seit einem halben Jahr (glaub ich).

Und

sudo ncdu /

Gibt folgendes aus:

--- /var/lib ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
   21,4 GiB [##########] /influxdb
  129,4 MiB [          ] /apt
   24,0 MiB [          ] /dpkg
  456,0 KiB [          ] /systemd
   48,0 KiB [          ] /ucf
   40,0 KiB [          ] /polkit-1
   28,0 KiB [          ] /pam
   16,0 KiB [          ] /dhcpcd
   12,0 KiB [          ] /raspberrypi
   12,0 KiB [          ] /nfs
   12,0 KiB [          ] /mosquitto
    8,0 KiB [          ] /vim
    8,0 KiB [          ] /sudo
    8,0 KiB [          ] /bluetooth
    8,0 KiB [          ] /alsa
    8,0 KiB [          ] /logrotate
    4,0 KiB [          ] /dbus
e   4,0 KiB [          ] /usb_modeswitch
    4,0 KiB [          ] /python
e   4,0 KiB [          ] /private
e   4,0 KiB [          ] /misc
    4,0 KiB [          ] /man-db
e   4,0 KiB [          ] /git
e   4,0 KiB [          ] /dhcp
e   4,0 KiB [          ] /NetworkManager

Mariatschi0815

@thomas-braun das war mein erster Schritt. :D

Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root        29G     29G     0  100% /
devtmpfs        1,7G       0  1,7G    0% /dev
tmpfs           1,9G       0  1,9G    0% /dev/shm
tmpfs           759M     84M  676M   12% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
/dev/mmcblk0p1  255M     31M  225M   13% /boot
/dev/sda1       120G     74M  120G    1% /mnt/usb0

Thomas Braun

@mariatschi0815

29GB ist halt auch nicht sooooooo üppig.
Mit der Größe der influxdb kann ich dir aber nicht helfen, keinen Plan von der Datenbank und wie man die auf Diät setzt.

Mariatschi0815

@thomas-braun ich hatte auch nicht mehr auf dem Schirm wie klein die sd da drin ist. Das werde ich bei Gelegenheit ändern, jetzt müsste ich aber erstmal Speicher frei machen, um überhaupt was machen zu können. :cry:

Edit: Aber danke schon mal.

crunchip

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Ich nutze InfluxDB

https://github.com/CymaticLabs/InfluxDBStudio
kannst du dir auf deinen Rechner runterladen, damit kannst du dich mit der Datenbank connecten und gezielt Daten löschen

solltest du allerdings Influxdb2 nutzen, dann geht das damit nicht

Mariatschi0815

@crunchip Dann geht das damit nicht.

crunchip

@mariatschi0815 https://forum.iobroker.net/topic/54036/influxdb-2-0-measurement-löschen

? Offline

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Gibt folgendes aus:

Moin,

hast Du mehrere buckets in der influxDB?
Heute Abend komme ich nicht mehr dazu eine Lösung zu suchen, und Morgen erst nach dem Mittag, ansonsten geht das nur über die CLI Link hat Dir @crunchip gerade geschickt.

VG
Bernd

Mariatschi0815

@dp20eic Ich hab mich jetzt eine Weile nicht damit beschäftigen können, wenn ich mich recht erinnere hatte ich nur einen iobroker bucket indem ich dann die Daten von meinen Steckern gesammelt habe. Es ist auch, bis jetzt, noch nicht so dringlich. Wenn du mir da weiterhelfen kannst wäre super. Ich versuche mich gerade durch den thread zu finden, auf den bin ich tatsächlich auch schon gestoßen. Jedoch war ich da etwas ratlos.

Edit: Problem wird sein, dass ich auch Influx nicht öffnen kann und (wenn ich das richtig verstanden habe) somit nicht an den Token komme.

? Offline

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

Edit: Problem wird sein, dass ich auch Influx nicht öffnen kann und (wenn ich das richtig verstanden habe) somit nicht an den Token komme.

Moin,

so wie sagt man immer so schön Ein Backup haben ist besser, als ein Backup zu brauchen ;)

Erster und einfachster Weg, ist eine neue größere SD-Karte zu besorgen und dann neu installieren und ein hoffentlich vorhandenes Backup einspielen, dabei sollten auch keine alten Daten verloren gehen, außer die, die jetzt die letzten Tage schon nicht mehr geschrieben werden konnten.

Ansonsten, was sagt, da sollte es eine Auflistung geben und auch die Token anzeigen

influx auth list

Dann würde ich ein größeres Medium anschließen, so Du noch USB-Ports freihast. Anschließend würde ich ein Backup der influxDB machen

influx backup -t `dein-token` /pfad/zum/grossen/speicher

Anschließend könntest Du influxDB deinstallieren, ein sauberes Backup erstellen und auf einer größeren SD-Karte neu installieren, dann ein Restore des ioBrokers und ein Restore der Datenbank aus dem zuvor erstellten Backup.

Wenn das für Dich nicht infrage kommt und Du auf Daten verzichten kannst, dann so wie es im von @crunchip verlinktem Forumsbeitrag steht, wobei Du die Namen Deiner measurement kennen solltest, Beschreibung der einzelnen Parameter im Aufruf stehen auch im verlinkten Post.

influx delete --token "deinToken" --bucket "deinBucket" --start 1970-01-01T00:00:00Z --stop $(date +"%Y-%m-%dT%H:%M:%SZ") --predicate '_measurement="ID-Datenpunkt"'

Nehmen wir mal an, Du hast zwei Jahre an Daten, also 2021-08-01 bis 2023-08-09 und Du möchtest nur 2023 behalten, dann

influx delete --token "deinToken" --bucket "deinBucket" --start 1970-01-01T00:00:00Z --stop 2022-12-31T23:59:59Z --predicate '_measurement="ID-Datenpunkt"'

Damit löschst Du alles von 2021-08-01 bis 2022-12-31.

Wenn Du nochmals, ausführst, dann kannst Du mit den Pfeiltasten im Tree die Verzeichnisse wechseln, Du kannst mal noch tiefer ins influxdb Verzeichnis gehen

sudo ncdu /

Bei mir

ncdu 2.2.2 ~ Use the arrow keys to navigate, press ? for help
--- /var/lib/private/influxdb/engine/data ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
                                                 /..
    1.2 GiB [##################################] /e028530aba782d69
  ...

diese Zahlen am Ende zeigen Dir die Buckets, die installiert sind, das kannst Du vergleichen mit

dp20eic@influxdb-2 ~ % influx bucket ls  
ID                      Name            Retention       Shard group duration    Organization ID         Schema Type
e028530aba782d69        proxmox-server  infinite        168h0m0s                dccfb65d68b12105        implicit
...

Wenn da mehr auftaucht, dann erst einmal die Buckets löschen, die man nicht braucht.
Delete a bucket by name

influx bucket delete --name example-bucket

Delete a bucket by ID

influx bucket delete --id 06c86c40a9f36000

Wenn Du unsicher bist, dann lieber vorher nachfragen :)

VG
Bernd

P.S.: ich glaube immer noch nicht, dass die paar Daten aus dem ioBroker 21 GB schreiben. Ich sicher mein Proxmox Server seit ~ 1 Jahr und komme nur auf 1.2 GB.
P.P.S.: Dann kannst Du auch mal schauen, sollte Dein(e) Bucket(s) auf unendlich stehen, ob man da nicht 1 Jahr einstellt, dann sind die Daten auch weg, nach dem Ausführen, braucht es etwas Zeit, denn das läuft zyklisch ab und löscht kleine Happen, habe ich aber auch schon mal exerziert und funktioniert.
Update the retention period of a bucket

influx bucket update \
  --id 06c86c40a9f36000 \
  --retention 90d

P.P.P.S.: Dank an @crunchip, habe ich korrigiert :)
P.P.P.P.S.: Wer Rechtschreibfehler / Grammatikfehler findet, darf sie behalten und auch jederzeit wieder verwenden, sind CC-lizenzierte :) :)

crunchip · Damit löschst Du alles von 2021-08-01 bis 2022-12-31.

@dp20eic sagte in HD voll kein Zugriff mehr:

infflux

schreibfehler

mcm1957

Nur ein Zwischenruf

Wärs nichtvauch möglich die SD auf eine grössere SD zu clonen und die Partition zu extenden?

Aber bitte nicht fragen wie. Kenn linux da zu wenig.

Ro75

@mcm57 Es sollte ja ein PI4 sein. Über raspi-config sollte es doch möglich sein.

Advanced Options / Expand Filesystem

Ro75.

? Offline

@mcm57 sagte in HD voll kein Zugriff mehr:

Wärs nichtvauch möglich die SD auf eine grössere SD zu clonen und die Partition zu extenden?

Moin,

ja, ginge auch, ich bin nur kein Freund des Clonens, daher habe ich das auch nicht erwähnt, da schleppt man immer sooooooviel schund mit, dann lieber, gleich richtig machen, als anschließend anfangen und aufräumen, vermute, dass das hinterher mehr Zeit kostet als gleich neu und mit Backups wieder herstellen.

VG
Bernd

Mariatschi0815

Erstmal vielen Dank für die zahlreichen Antworten. Ich habe mir schon eine größere SD geordert und warte jetzt auf Lieferung. Die wird also definitiv ausgewechselt. Kurz bevor ich Influx installiert habe, bin ich erst auf den Pi4 umgezogen und habe alles einmal frisch aufgesetzt. Clonen kam mir auch schon in den Sinn.

Aber offensichtlich würde ich damit nur die Symptome bekämpfen und nicht die Ursachen. Wenn das System den Zugriff wieder zulässt, müsste ich ja mal Ursachenforschung betreiben warum mein Influx so viel Speicher frisst. Da @dp20eic mir ja den Hinweis gegeben hat, dass es offensichtlich unnormal ist.

Backups habe ich tatsächlich auf einem Stick, das dürften aber nur die vom iob sein. Ich sag mal so, wenn die Influx-Daten verloren gingen wäre das zwar ärgerlich, aber kein Weltuntergang.

Wie schon gesagt, wäre es interessant was hier so viel Ressourcen verbraucht.

crunchip

@mariatschi0815 sagte in HD voll kein Zugriff mehr:

wäre es interessant was hier so viel Ressourcen verbraucht

dann seh doch nach welche Datenpunkte und vor allem wie!(nur Änderungen/alle Aktualisierungen) du in die Influx schreibst

schreibst du auch unabhängig von iobroker Daten in die Influx?

Mariatschi0815

@crunchip Nein, ich schreibe nur Daten aus dem iob.

crunchip

@mariatschi0815 dann geh mal in den tab Objekte, rechts oben auf Einstellungen und wählst deine Influx aus, dann werden dir alle Datenpunkte gelistet

mcm1957

@dp20eic
Ja
Dachte auch eher dran auf dem weg den ist stand zum leben zu erwecken,ein sauberes Backup zu machen und alles auf einem neien System zu installieren bzw das Backup einzuspielen.

Vozugsweise gleichvauf ner ssd. Die kleinen kosten ja dadt nix mehr.

Mariatschi0815

So, was lange wehrt.

Also ich hab mich dazu entschlossen den Pi neu aufzusetzen. Jetzt hakt es aber schon. Ich habe ein 64bit System aufgesetzt und bisher nur den iobroker und mosquitto installiert.

Wenn ich jetzt einen service restart von mosquitto durchführe kommt folgende Meldung:

Job for mosquitto.service failed because the control process exited with error code.
See "systemctl status mosquitto.service" and "journalctl -xe" for details.

systemctl gibt folgendes aus:

● mosquitto.service - Mosquitto MQTT Broker
     Loaded: loaded (/lib/systemd/system/mosquitto.service; enabled; vendor pre>
     Active: failed (Result: exit-code) since Wed 2023-08-30 15:26:28 CEST; 3mi>
       Docs: man:mosquitto.conf(5)
             man:mosquitto(8)
    Process: 13710 ExecStartPre=/bin/mkdir -m 740 -p /var/log/mosquitto (code=e>
    Process: 13711 ExecStartPre=/bin/chown mosquitto /var/log/mosquitto (code=e>
    Process: 13712 ExecStartPre=/bin/mkdir -m 740 -p /run/mosquitto (code=exite>
    Process: 13713 ExecStartPre=/bin/chown mosquitto /run/mosquitto (code=exite>
    Process: 13714 ExecStart=/usr/sbin/mosquitto -c /etc/mosquitto/mosquitto.co>
   Main PID: 13714 (code=exited, status=3)
        CPU: 32ms

Aug 30 15:26:28 Pi4-ioBroker systemd[1]: mosquitto.service: Scheduled restart j>
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: Stopped Mosquitto MQTT Broker.
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: mosquitto.service: Start request repea>
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: mosquitto.service: Failed with result >
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: Failed to start Mosquitto MQTT Broker.

und journalctl das:

Aug 30 15:26:28 Pi4-ioBroker systemd[1]: Stopped Mosquitto MQTT Broker.
░░ Subject: A stop job for unit mosquitto.service has finished
░░ Defined-By: systemd
░░ Support: https://www.debian.org/support
░░
░░ A stop job for unit mosquitto.service has finished.
░░
░░ The job identifier is 5224 and the job result is done.
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: mosquitto.service: Start request repea>
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: mosquitto.service: Failed with result >
░░ Subject: Unit failed
░░ Defined-By: systemd
░░ Support: https://www.debian.org/support
░░
░░ The unit mosquitto.service has entered the 'failed' state with result 'exit->
Aug 30 15:26:28 Pi4-ioBroker systemd[1]: Failed to start Mosquitto MQTT Broker.
░░ Subject: A start job for unit mosquitto.service has failed
░░ Defined-By: systemd
░░ Support: https://www.debian.org/support
░░
░░ A start job for unit mosquitto.service has finished with a failure.
░░
░░ The job identifier is 5224 and the job result is failed.

Was ich schon herausfinden konnte ist, dass wohl der Port 1883 bereits belegt sein könnte. Allerdings wüsste ich nicht wovon und ich bin noch nicht fit genug, um zu prüfen was den Port alles nutzt.

Ich habe noch keinen Restore durchgeführt, der iobroker ist also noch blank.

Und diese mosquitto version:

mosquitto version 2.0.11

mosquitto is an MQTT v5.0/v3.1.1/v3.1 broker.

Könnt ihr mir helfen?

Gruß Martin

Community Forum

NEWS

HD voll kein Zugriff mehr

Support us

888

32.4k

81.5k

1.3m