[Gelöst] Proxmox LXC Container startet nicht mehr

[Nordischerjung]

Moin,

seid heute nacht hab ich ein Problem mit meinem LXC Container. Dort läuft iOBroker drauf, Das ganze läuft auf Proxmox auf einem NUC.
Ohne mein zutun ist dieser LXC in Stopp und lässt sich auch nicht mehr starten.

Habe bereits folgendes ausgeführt:

apt-get update && apt-get upgrade
pveupdate
pveupgrade

pveversion -v ergibt

proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-3 (running version: 6.3-3/eee5f901)
pve-kernel-5.4: 6.3-3
pve-kernel-helper: 6.3-3
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.34-1-pve: 5.4.34-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.0-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.0.7
libproxmox-backup-qemu0: 1.0.2-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-3
libpve-guest-common-perl: 3.1-4
libpve-http-server-perl: 3.1-1
libpve-storage-perl: 6.3-6
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.8-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-5
pve-cluster: 6.2-1
pve-container: 3.3-3
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.2-1
pve-ha-manager: 3.1-1
pve-i18n: 2.2-2
pve-qemu-kvm: 5.1.0-8
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-5
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.5-pve1

dann habe ich lxc-start -lDEBUG -o YOURLOGFILE.log -F -n 100

lxc-start 100 20210217073820.109 INFO     confile - confile.c:set_config_idmaps:1985 - Read uid map: type u nsid 0 hostid 100000 range 65536
lxc-start 100 20210217073820.109 INFO     confile - confile.c:set_config_idmaps:1985 - Read uid map: type g nsid 0 hostid 100000 range 65536
lxc-start 100 20210217073820.110 INFO     lsm - lsm/lsm.c:lsm_init:40 - Initialized LSM security driver AppArmor
lxc-start 100 20210217073820.110 INFO     conf - conf.c:run_script_argv:331 - Executing script "/usr/share/lxc/hooks/lxc-pve-prestart-hook" for container "100", config section "lxc"
lxc-start 100 20210217073823.388 DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-prestart-hook 100 lxc pre-start produced output: mount: /var/lib/lxc/.pve-staged-mounts/rootfs: can't read superblock on /dev/mapper/pve-vm--100--disk--0.

lxc-start 100 20210217073823.388 DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-prestart-hook 100 lxc pre-start produced output: command 'mount /dev/dm-6 /var/lib/lxc/.pve-staged-mounts/rootfs' failed: exit code 32

lxc-start 100 20210217073823.406 ERROR    conf - conf.c:run_buffer:314 - Script exited with status 32
lxc-start 100 20210217073823.407 ERROR    start - start.c:lxc_init:798 - Failed to run lxc.hook.pre-start for container "100"
lxc-start 100 20210217073823.408 ERROR    start - start.c:__lxc_start:1945 - Failed to initialize container "100"
lxc-start 100 20210217073823.408 INFO     conf - conf.c:run_script_argv:331 - Executing script "/usr/share/lxc/hooks/lxc-pve-poststop-hook" for container "100", config section "lxc"
lxc-start 100 20210217073824.518 DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-poststop-hook 100 lxc post-stop produced output: umount: /var/lib/lxc/100/rootfs: not mounted

lxc-start 100 20210217073824.518 DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-poststop-hook 100 lxc post-stop produced output: command 'umount --recursive -- /var/lib/lxc/100/rootfs' failed: exit code 1

lxc-start 100 20210217073824.536 ERROR    conf - conf.c:run_buffer:314 - Script exited with status 1
lxc-start 100 20210217073824.536 ERROR    start - start.c:lxc_end:958 - Failed to run lxc.hook.post-stop for container "100"
lxc-start 100 20210217073824.536 ERROR    lxc_start - tools/lxc_start.c:main:308 - The container failed to start
lxc-start 100 20210217073824.536 ERROR    lxc_start - tools/lxc_start.c:main:314 - Additional information can be obtained by setting the --logfile and --logpriority options

was kann ider Fehler sein?

[Thomas Braun]

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

can't read superblock

Hört sich nach defektem Dateisystem an.

[Chaot]

@nordischerjung Ich bin jetzt nicht der Linuxexperte, aber so wie ich das sehe kann der irgendein Dateisystem nicht mounten.
Ist der Container auf einer externen Platte?

Wenn ja, solltest du das ändern. Das funktioniert bei mir auch nicht wenn ich eine externe Platte habe und den Container im Autostart. Dann bricht der mit Fehler ab und lässt sich auch später nicht mehr manuell starten.

Ansonsten einfach den Container wegschmeißen und aus dem Backup einen neuen Container wiederherstellen. Dauert normalerweise max. 5 Minuten.

[Nordischerjung]

@thomas-braun

reicht das dann wenn ich den LXC neu mache und ein Snapshot wiederherstelle?

[Nordischerjung]

@chaot sagte in Proxmox LXC Container startet nicht mehr:

@nordischerjung Ich bin jetzt nicht der Linuxexperte, aber so wie ich das sehe kann der irgendein Dateisystem nicht mounten.
Ist der Container auf einer externen Platte?

Ne ist er nicht.
ich habe aber in irgend einem dieser 1000 Proxmox Foren auch iwas mit mount Problemen gelesen. Ich suche noch mal. Da war iwas mit neu mounten oder so

Wenn ja, solltest du das ändern. Das funktioniert bei mir auch nicht wenn ich eine externe Platte habe und den Container im Autostart. Dann bricht der mit Fehler ab und lässt sich auch später nicht mehr manuell starten.

Ansonsten einfach den Container wegschmeißen und aus dem Backup einen neuen Container wiederherstellen. Dauert normalerweise max. 5 Minuten.

[Thomas Braun]

@nordischerjung
Ich hab keine Ahnung von Container-Gedöns.
Der Superblock ist aber je nach Dateisystem essentiell:
https://de.wikipedia.org/wiki/Superblock
Wenn der also plötzlich (ohne das man an den Partitionen was geändert hat) nicht mehr gelesen werden kann, dann ist da oft irgendwas an der Hardware defekt.

[JLeg]

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

@thomas-braun

reicht das dann wenn ich den LXC neu mache und ein Snapshot wiederherstelle?

das Ding - es ist ein "logical volume" - wird vermutlich nicht "einfach so" kaputt gegangen sein, sondern ein Problem mit dem Datenträger unten drunter haben. Kannst ja mal prüfen:

• mit "lvdisplay" sollte dir "/dev/mapper/pve-vm--100--disk--0" ausgegeben werden (ggf. auch /dev/pve/dev/mapper/pve-vm--100--disk--0)
• mit "fsck /dev/pve/dev/mapper/pve-vm--100--disk--0" kannst du mal versuchen, das LV reparieren zu lassen

[Nordischerjung]

@jleg sagte in Proxmox LXC Container startet nicht mehr:

fsck /dev/pve/dev/mapper/pve-vm--100--disk--0

 --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV UUID                zA9YGr-V9sk-xvcm-oT0k-X3Fv-9vUh-3FgTVw
  LV Write Access        read/write
  LV Creation host, time proxmox, 2020-06-11 18:50:09 +0200
  LV Status              available
  # open                 2
  LV Size                7.00 GiB
  Current LE             1792
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
   
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV UUID                kf3W8T-Rqu3-ZIg4-GH8i-4l2n-xaSD-jHs5I0
  LV Write Access        read/write
  LV Creation host, time proxmox, 2020-06-11 18:50:09 +0200
  LV Status              available
  # open                 1
  LV Size                58.00 GiB
  Current LE             14848
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1
   
  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV UUID                VZUsWP-XSy6-UyiO-cND7-7vto-ncGE-T6CtKf
  LV Write Access        read/write
  LV Creation host, time proxmox, 2020-06-11 18:50:10 +0200
  LV Pool metadata       data_tmeta
  LV Pool data           data_tdata
  LV Status              available
  # open                 2
  LV Size                <148.36 GiB
  Allocated pool data    100.00%
  Allocated metadata     4.97%
  Current LE             37979
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:4
   
  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                pve
  LV UUID                OnCR21-sRz4-2dl9-x6GC-zFP2-OYhg-QS17iQ
  LV Write Access        read/write
  LV Creation host, time pve, 2020-06-12 08:37:13 +0200
  LV Pool name           data
  LV Status              available
  # open                 0
  LV Size                60.00 GiB
  Mapped size            95.68%
  Current LE             15360
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:6
   
  --- Logical volume ---
  LV Path                /dev/pve/snap_vm-100-disk-0_Snapshot_iOBroker
  LV Name                snap_vm-100-disk-0_Snapshot_iOBroker
  VG Name                pve
  LV UUID                fuUAis-4p8a-yAv7-Uxur-e59k-MOFe-WyUDSz
  LV Write Access        read only
  LV Creation host, time pve, 2020-07-02 08:02:06 +0200
  LV Pool name           data
  LV Thin origin name    vm-100-disk-0
  LV Status              NOT available
  LV Size                60.00 GiB
  Current LE             15360
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
   
  --- Logical volume ---
  LV Path                /dev/pve/snap_vm-100-disk-0_SnapshotFeb2021
  LV Name                snap_vm-100-disk-0_SnapshotFeb2021
  VG Name                pve
  LV UUID                tf5tBm-e1zV-rsMA-fk4d-jtTO-VkPS-K3oXcN
  LV Write Access        read only
  LV Creation host, time pve, 2021-02-01 16:05:10 +0100
  LV Pool name           data
  LV Thin origin name    vm-100-disk-0
  LV Status              NOT available
  LV Size                60.00 GiB
  Current LE             15360
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto

das ist meine Ausgabe von lvdisplav also muss ich es mit fsck /dev/pve/vm-100-disk-0 versuchen?

[Nordischerjung]

@jleg

Vielen dank,
ich hab das einfach ausgeführt, er hatte ziemlich viel zu reparieren. Und nun startet der LXC wieder. iOBroker ist auch wieder da!

[Thomas Braun]

@nordischerjung
Da würde ich aber in Kürze einen Hardwaretausch in Betracht ziehen.

[JLeg]

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

@jleg

Vielen dank,
ich hab das einfach ausgeführt, er hatte ziemlich viel zu reparieren. Und nun startet der LXC wieder. iOBroker ist auch wieder da!

Ok, wenn du Glück hast, war's wirklich "nur" das Filesystem - aber deine lvdisplay-Ausgabe listet da auch noch 2 Snapshot-Leichen - da würde ich auch mal schauen, wo die herkommen (und am besten löschen)...

[Nordischerjung]

@thomas-braun @JLeg
na toll, so alt ist das noch garnicht. Kann man eigentlich ein Image von der Platte machen, damit man nicht alles neu aufsetzen mus?

[Homoran]

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

Kann man eigentlich ein Image von der Platte machen

kann man, aber bei einer defekten Platte spiegelst du die Fehler dann mit

[Nordischerjung]

@homoran

na gut, dann muss ich mir mal eine gute Platte für den NUC suchen ? Jemand eine Empfehlung?

[JLeg]

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

@thomas-braun @JLeg
na toll, so alt ist das noch garnicht. Kann man eigentlich ein Image von der Platte machen, damit man nicht alles neu aufsetzen mus?

äh - das ist doch ein LXC-Container? Da gibt's in der Proxmox-GUI so einen Knopf "Backup". Der schreibt dir das komplette LV-Image (zumindest den jetzt wieder lesbaren Rest ) in ein Archiv. Das wiederum kannst du dir per "Restore" jederzeit in beliebig viele Kopien verwandeln... (ok, für's Backup per Proxmox muss vorher ein "Speichervolume" konfiguriert werden, das kann aber alles vom NAS, lokalem Verzeichnis bis hin zur USB-Platte sein)...

[Homoran]

@jleg sagte in Proxmox LXC Container startet nicht mehr:

das ist doch ein LXC-Container?

nee, wie ich ihn verstanden habe ist die gesamte Platte mit dem PVE gecrasht.

[JLeg]

@jleg sagte in Proxmox LXC Container startet nicht mehr:

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

@thomas-braun @JLeg
na toll, so alt ist das noch garnicht. Kann man eigentlich ein Image von der Platte machen, damit man nicht alles neu aufsetzen mus?

äh - das ist doch ein LXC-Container? Da gibt's in der Proxmox-GUI so einen Knopf "Backup". Der schreibt dir das komplette LV-Image (zumindest den jetzt wieder lesbaren Rest ) in ein Archiv. Das wiederum kannst du dir per "Restore" jederzeit in beliebig viele Kopien verwandeln... (ok, für's Backup per Proxmox muss vorher ein "Speichervolume" konfiguriert werden, das kann aber alles vom NAS, lokalem Verzeichnis bis hin zur USB-Platte sein)...

(achso, du meinst hier wohl "Systemplatte" - ich würde aber trotzdem den Container backuppen, kannst du jederzeit auch bei einem frisch installierten Proxmox 1:1 restoren)

[Nordischerjung]

@homoran

ne es ist nur der LXC kaputt der Rest funktionierte

[Nordischerjung]

@jleg
Reicht da ein Snapshot? Wo wird der gespeichert?

[JLeg]

@nordischerjung sagte in Proxmox LXC Container startet nicht mehr:

@jleg
Reicht da ein Snapshot? Wo wird der gespeichert?

nein, ein Snapshot ist kein Backup! Und gespeichert wird der gar nicht, sondern "angelegt", und setzt auf dem ursprünglichen Laufwerk auf - also noch fragiler!