(gelöst) influxdb mir unbekannte Probleme

[woupi]

Systemdata	Bitte Ausfüllen
Hardwaresystem:	NUC
Arbeitsspeicher:	8GB
Festplattenart:	SSD
Betriebssystem:	Proxmox VM
Node-Version:	10.x.x
Nodejs-Version:	14.21.2
NPM-Version:	6.14.17
Installationsart:	Manuell
Image genutzt:	Nein

Hallo,

ich habe seit gestern Abend plötzlich Probleme mit influxdb und hoffe, dass mir hier einer Helfen kann.

Ich habe Proxmox auf einem NUC installiert und darauf eine VM mit Ubuntu und iobrocker, einem lxc mit ubuntu und influx sowie grafana.

Seit fast einem Jahr lief alles stabil.

Gestern gab es dann plötzlich in grafana immer mal wieder Aussetzer der Daten.
Ich habe dann den lxc (influxdb/grafana) neu gestartet und dann lief es auch wieder.
Heute morgen dann nichts mehr, auch der Neustart bringt nichts, influx ist nicht mehr über die website aufrufbar.

Was mir noch aufgefallen ist, ist das in Proxmox auf der Übersichtseite des lxc angezeigt wird, dass die Bootdisk Größe zu 46.40 GiB von 48.91 GiB belegt ist.
Eingestellt sind allerdings 100G.

Kann es sein, dass deswegen influx nicht mehr startet?

Hier noch die installierte Version von influx:

apt policy influxdb
influxdb:
  Installed: (none)
  Candidate: 1.8.10-1
  Version table:
     1.8.10-1 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
     1.6.7~rc0-1ubuntu0.22.04.1 500
        500 http://archive.ubuntu.com/ubuntu jammy-updates/universe amd64 Packages
        500 http://archive.ubuntu.com/ubuntu jammy-security/universe amd64 Packages
     1.6.7~rc0-1 500
        500 http://archive.ubuntu.com/ubuntu jammy/universe amd64 Packages

Bin ziemlich ratlos.
VG
sascha

[Einstein67]

@woupi Also das sagt eigentlich:

influxdb:
  Installed: (none)

dass keine Influxdb installiert ist!

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Also das sagt eigentlich:

influxdb:
  Installed: (none)

dass keine Influxdb installiert ist!

Das hätte ich auch so gelesen, aber von jetzt auf gleich weg?

[Einstein67]

@woupi Du hast vermutlich Influxdb2 installiert. Probier nochmal mit "influxdb2"

[woupi]

@einstein67

oh, ja stimmt. Danke, werde ich gleich versuchen, imo macht proxmox ein backup von der iobroker VM,, ist gerade bei 36%, dauert also leider etwas.
sorry

[woupi]

@woupi

apt policy influxdb2
influxdb2:
  Installed: 2.6.1-1
  Candidate: 2.6.1-1
  Version table:
 *** 2.6.1-1 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
        100 /var/lib/dpkg/status
     2.6.0-1 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
     2.5.1-1 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
     2.4.0-1 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
     2.3.0-1 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
     2.2.0 500
        500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages

das sieht besser aus

systemctl status influxdb
x influxdb.service - InfluxDB is an open-source, distributed, time series database
     Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Sun 2023-02-19 06:30:53 UTC; 7min ago
       Docs: https://docs.influxdata.com/influxdb/
    Process: 335 ExecStart=/usr/lib/influxdb/scripts/influxd-systemd-start.sh (code=exited, status=1/FAILURE)
        CPU: 2ms

Das leider nicht

[Einstein67]

@woupi Hab im Proxmox Forum gelesen dass du Probleme mit dem Speicherplatz hast. Darum die Frage: Die HDD/SDD ist nicht voll?

[woupi]

@einstein67

Ehrlich gesagt, weiß ich es nicht, könnte aber sein.
Mir sagt das leider nicht wirklich was:

lvs
  LV                                            VG  Attr       LSize    Pool Ori                                                                               gin         Data%  Meta%  Move Log Cpy%Sync Convert
  data                                          pve twi-aotz-- <148.36g                                                                                                    91.08  4.54
  root                                          pve -wi-ao----   58.00g                                                                                        
  snap_vm-1200-disk-0_Grafana_93_Update         pve Vri---tz-k  100.00g data vm-                                                                               1200-disk-0
  snap_vm-1200-disk-0_alles_lauft               pve Vri---tz-k   50.00g data vm-                                                                               1200-disk-0
  snap_vm-1200-disk-0_daten_werden_uebermittelt pve Vri---tz-k   50.00g data vm-                                                                               1200-disk-0
  snap_vm-2038-disk-0_peer                      pve Vri---tz-k  100.00g data vm-                                                                               2038-disk-0
  swap                                          pve -wi-ao----    7.00g                                                                                        
  vm-10372-disk-0                               pve Vwi-a-tz--    4.00g data                                                                                               72.00
  vm-10372-disk-1                               pve Vwi-aotz--    4.00g data                                                                                               83.02
  vm-1134-disk-0                                pve Vwi-aotz--    8.00g data                                                                                               29.37
  vm-1200-disk-0                                pve Vwi-a-tz--  100.00g data                                                                                               49.72
  vm-2038-disk-0                                pve Vwi-aotz--  100.00g data                                                                                               45.99
  vm-2038-state-pee

Das sagt glaube ich mehr aus

lvm> lvs
  LV                                            VG  Attr       LSize    Pool Origin         Data%  Meta%  Move Log Cpy%Sync Convert
  data                                          pve twi-aotz-- <148.36g                     91.08  4.54
  root                                          pve -wi-ao----   58.00g
  snap_vm-1200-disk-0_Grafana_93_Update         pve Vri---tz-k  100.00g data vm-1200-disk-0
  snap_vm-1200-disk-0_alles_lauft               pve Vri---tz-k   50.00g data vm-1200-disk-0
  snap_vm-1200-disk-0_daten_werden_uebermittelt pve Vri---tz-k   50.00g data vm-1200-disk-0
  snap_vm-2038-disk-0_peer                      pve Vri---tz-k  100.00g data vm-2038-disk-0
  swap                                          pve -wi-ao----    7.00g
  vm-10372-disk-0                               pve Vwi-a-tz--    4.00g data                72.00
  vm-10372-disk-1                               pve Vwi-aotz--    4.00g data                83.02
  vm-1134-disk-0                                pve Vwi-aotz--    8.00g data                29.37
  vm-1200-disk-0                                pve Vwi-a-tz--  100.00g data                49.72
  vm-2038-disk-0                                pve Vwi-aotz--  100.00g data                45.99
  vm-2038-state-peer                            pve Vwi-a-tz--  <12.49g data                48.16

[woupi]

Ich kann da leider aber nicht wirklich was mit anfangen, ich weiß nicht genau was, was bedeutet.

[Einstein67]

@woupi Diese lvm (Blockebene) Befehle sagen mir auch nichts. Mach einfach ein "df -h" in der Console des Containers.

ernst@graflux:~$ df -h
Dateisystem                       Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/pve-vm--1017--disk--0  2,0G    1,3G  555M   70% /
none                               492K    4,0K  488K    1% /dev
udev                               7,8G       0  7,8G    0% /dev/ttyUSB0
tmpfs                              7,8G       0  7,8G    0% /dev/shm
tmpfs                              3,2G    104K  3,2G    1% /run
tmpfs                              5,0M       0  5,0M    0% /run/lock

[woupi]

@einstein67

ich habe jetzt, aus reiner Verzweiflung ein backup von vor 2 Wochen eingespielt.
Klar die Datensätze sind dann weg, ist aber nicht tragisch, da ich gerade nur um spielen bin.

Jetzt geht es wieder.

Trotzdem möchte ich natürlich wissen, woran es gelegen hat, den das kommt ja wieder. Darum hier das Ergebnis von "df -h":

df -h
Filesystem                         Size  Used Avail Use% Mounted on
/dev/mapper/pve-vm--1200--disk--1   49G   44G  3.3G  93% /
none                               492K  4.0K  488K   1% /dev
tmpfs                              7.7G     0  7.7G   0% /dev/shm
tmpfs                              3.1G   96K  3.1G   1% /run
tmpfs                              5.0M     0  5.0M   0% /run/lock

Danach würde ich sagen, ist die Platte zu 93% voll. Allerdings werden mir da auch nur 49G angezeigt, in Proxmox habe ich aber 100G zugewiesen.
Die 100G werden mir in der Übersicht vom lxc in Proxmox aber auch nicht angezeigt, zumindest nicht, wenn sie läuft. Wenn ich sie runterfahre, stehen die 100G da.

Ich habe keine Ahnung, leider

[Einstein67]

@woupi Mit 3.3G frei sollte InfluxDB eigentlich schon noch starten.

Edit:

Hast du möglicherweise das Tool "ncdu" installiert. Damit könntest du herausfinden was die Platte so vollgeschrieben hat. Und etwas Platz schaffen. Mein Influx-Grafana Container ist nur 2GB groß (mit Daten der letzten 5 Jahre) und ist zu 70% voll.

[woupi]

@einstein67

zwischen dem backup von vor 2 Wochen und gestern ist ein unterschied von 5GB.
vor 2 Wochen 43GB
gestern 48 GB

Ich habe gestern und auch vorgestern viele Datenpunkte in influxdb aktiviert und daraus dann mit grafana dashboords erstellt.

Sonst habe ich nichts gemacht und an influxdb, schon gar nicht.

Ich bin ratlos.

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Mit 3.3G frei sollte InfluxDB eigentlich schon noch starten.

Ach so ja, das ist ja mit dem Backup, vor dem Backup wird da viel weniger gewesen sein

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Mit 3.3G frei sollte InfluxDB eigentlich schon noch starten.

Edit:

Mein Influx-Grafana Container ist nur 2GB groß (mit Daten der letzten 5 Jahre) und ist zu 70% voll.

Oh, echt. Dann läuft bei mir ja mit Sicherheit was richtig falsch.

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

Hast du möglicherweise das Tool "ncdu" installiert.

nein noch nicht, werde ich gleich machen

[Einstein67]

@woupi Dann wird das vermutlich wieder passieren ...

Installiere dir mal ncdu und schau welche Daten die Platte vollschreiben. Ich tippe auf Log-Files und nicht auf die DB.

apt install ncdu

ncdu /

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Dann wird das vermutlich wieder passieren ...

Installiere dir mal ncdu und schau welche Daten die Platte vollschreiben. Ich tippe auf Log-Files und nicht auf die DB.

apt install ncdu

ncdu /

schon passiert, hier das Ergebnis:

308.0 KiB [##########] /GrafanaTranslator                                                    
   16.0 KiB [          ] /.local
    4.0 KiB [          ] /.cache
    4.0 KiB [          ]  .bash_history
    4.0 KiB [          ]  .bashrc
    4.0 KiB [          ]  .profile

sehe ich das richtig, die Platte müsste nahezu leer sein?

[Einstein67]

@woupi du bist im falschen Ordner! Entweder vorher "cd .." oder

ncdu /

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi du bist im falschen Ordner! Entweder vorher "cd .." oder

ncdu /

Ok, sorry, kenn mich nicht aus, jetzt habe ich es aber glaube ich:

 40.9 GiB [##########] /data                                                                 
   13.7 MiB [          ] /wal
e   4.0 KiB [          ] /replicationq

Danach doch ganz schön groß.
Wenn ich das mit deiner vergleiche, mache ich ganz offensichtlich was falsch.