Proxmox-Frage: Wie regelt Ihr das Backup vom Host?

[Mic]

Hi,

ich habe Proxmox auf Zotac CI327 am Laufen mit mehreren Containern und VMs, die alle schön regelmäßig gesichert werden. Aber wie regelt man das Backup vom Hauptsystem am besten?
Wie macht Ihr das? Hier gibt es ja schon mal Infos: https://forum.proxmox.com/threads/best-practice-for-proxmox-self-backup.38382/

Grüße

[crunchip]

@Mic da klinke ich mich mal dezent mit ein, da ich mir die selbe Frage schon des öfteren gestellt habe, auch wenn es zwar immer heisst, das im Zweifelsfall, ja schnell neu aufgesetzt ist, aber trotzdem ne Menge Zeit und Arbeit drin steckt, bis alles wieder eingerichtet ist.

[Dr. Bakterius]

Da wäre ich auch an einer Lösung interessiert. Klar, man könnte die SSD ausbauen und ein Image erstellen, oder ein Backuptool von USB-Stick booten. Ob das mit 'rsnapshot' unter laufendem Betrieb funktioniert? Eine erprobte Lösung aus der Praxis wäre durchaus interessant...

[Chaot]

Ich habe beim letzten Proxmox Host ungefähr 1/2 Stunde gebraucht den einzurichten (ohne VMs und CTs)
Das ist nach meiner Schätzung sicher auch die Zeit die ich brauchen würde um ein Backup wiederherzustellen.
Zumal ich mir kein Szenario vorstellen kann bei dem ein Backup sinnvoll wäre:

HDD Crash = Neue Hardware - besser Neuinstallation
MB Crash = neue Hardware - besser Neuinstallation
fehlgeschlagenes Update - auch hier besser Neuinstallation weil ja eventuell Fehler in der alten Install den Fehlschlag verursacht haben.

Andererseits ist ja in deinem Link eine Empfehlung zu einem Script vorhanden das scheinbar die Aufgaben lösen kann:
https://github.com/DerDanilo/proxmox-stuff/
(Der Danilo scheint auch noch deutschsprachig zu sein)

[BBTown]

@Chaot ich bin 100% deiner Meinung, dass eine Neuinstallation innerhalb von 20-30min erledigt ist.
inkl. aller Shares, User, Gruppen, Updates usw.

Ich habe mir eine txt-Datei erstellt mit der ich per copy`n paste meine Befehle und entsprechende Reboots der Reihe nach abarbeite und so habe ich ein Proxmox ruck-zuck wieder aufgesetzt.

Zudem habe ich ein uralt 64GB USB Stick auf dem ich immer das entsprechende Proxmox-Bootimage für meine NUCs griffbereit habe.

[Mic]

Vielen Dank für Eure Antworten.

Euer Argument, das die Installation/Einrichtung eines neuen Hosts nur 30 Minuten dauert, überzeugt sehr (selbst wenn es 1 Stunde dauert ist das nicht tragisch).

Welche Infos vom Host würdet ihr denn notieren / Screenshots erstellen? Vermutlich die Baumansicht der VMs/CTs, und deren Werte (RAM, HD, CPU-Kerne, etc.). Sonst noch Infos vom System die hilfreich wären beim schnellen Neu-Aufsetzen?

@Chaot sagte:

Andererseits ist ja in deinem Link eine Empfehlung zu einem Script vorhanden das scheinbar die Aufgaben lösen kann:
https://github.com/DerDanilo/proxmox-stuff/
(Der Danilo scheint auch noch deutschsprachig zu sein)

Ja, das fand ich auch sehr interessant. Allerdings schreckt mich das hier leicht ab:

** B E T A ! ** I just wrote this script quick and dirty. Not tested yet!

[Chaot]

@BBTown
Wäre es für dich eine Option diese Textdatei hier zur Verfügung zu stellen.
Ich denke mal das dann auch viele Andere zu einer Neuinstallation greifen werden.
Für mich wäre das vor ein paar Monaten eine wirkliche Hilfe gewesen wenn ich sowas irgendwo vorgefunden hätte.

Leider habe ich mir aber auch keine entsprechende Ablaufdatei erstellt und müsste mir die bei der nächsten Installation auch weider neu erarbeiten.

[BBTown]

@Chaot @Mic
da muss man natürlich eine wenig mitdenken.
Wenn man also weder Gruppen noch User oder CIFS anlegen will, dann sind diese Bereiche nicht relevant
Bei den Laufwerks-Mounts auf mein NAS, habe ich dort natürlich die entsprechenden Verzeichnisse, also sind diese ggf. namentlich anzupassen.

Ich habe meine Aufzeichnung in den Spoiler abgelegt. Wer weitere Ergänzungen hat, immer her damit

Spoiler

// Proxmox Einstellungen
nano /etc/apt/sources.list.d/pve-enterprise.list
// folgenden Eintrag mit "#" auskommentieren"
# deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise

// neue Datei erstellen:
nano /etc/apt/sources.list.d/pve-no-subscription.list
// folgenden Eintrag hinzufügen
// für Proxmox v.6.x basierend auf v.10.x (buster)
deb http://download.proxmox.com/debian/pve buster pve-no-subscription
#// für Proxmox v.5.x basierend auf Debian v.9.x (strecth)
deb http://download.proxmox.com/debian/pve stretch pve-no-subscription

// anschließend Updates holen
apt update && apt upgrade -y
// oder
sudo apt-get update && sudo apt-get upgrade -y
// und dann
reboot

// Erweiterungen installieren
apt install sudo
apt install curl -y
apt-get install lm-sensors -y

// Hardwareunterstützung VTD / amdIOMMUiommu
nano /etc/default/grub
// in der Zeile GRUB_CMDLINE_LINUX_DAFAULT="quiet" folgendes hinzufügen: "intel_iommu=on" 
// das sollte dann so aussehen
GRUB_CMDLINE_LINUX_DAFAULT="quiet intel_iommu=on"
// danach
sudo update-grub

// anschließend folgende Datei erstellen
nano -w /etc/modules
// nachfolgende Zeilen einfügen
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
// anschließend
reboot
// folgende Befehle zum testen der neuen Einstellungen
dmesg | grep -e DMAR -e IOMMU
lsmod | grep vfio


// Optional - sofern gewünscht User-Gruppen hinzufügen
pveum groupadd user -comment "Anwender"
pveum groupadd system -comment "Netzwerk, systemrelevant"
pveum groupadd media -comment "Entertainment und Multimedia"
pveum groupadd cam -comment "Video Kameras"
pveum groupadd IoT -comment "Hausautomation"
pveum groupadd admin -comment "System Administrators"
pveum aclmod / -group admin -role Administrator

// ptional - sofern gewünscht User hnzufügen -Proxmox VE stores user attributes in /etc/pve/user.cfg
pveum useradd Backup@pve -group system -firstname "Backup" -comment "Systemuser für Datensicherungen" # -password
pveum useradd Entertain@pve -group media -firstname "Entertain" -comment "Zugriff auf Multimedia" # -password
pveum useradd Video@pve -group cam -firstname "Video" -comment "Zugriff auf die IPCams" # -password
pveum useradd ioBroker@pve -group IoT -firstname "ioBroker" - comment "user für ioBroker" # -password
pveum useradd YourUser@pve -group admin -firstname "YourUser" -comment "Superuser" # -password

// Beispiel um einem User sudo Rechte geben
usermod -aG sudo <username>

// Beispeil um einem User ein Zugangspasswort geben
/usr/bin/pvesh set /access/password --userid <username> --password <yourpassword>

// Optional - CIFS-Storage hinzufügen - hier am Beispiel eines QNAP-NAS mit der IP 192.168.178.10. Auf dem NAS wurde ein User mit namen "NUC" und entsprechende Verzeichnisse als Ziele eingerichtet
pvesm add cifs "Backup" --server 192.168.178.10 --share "Backup" --username "NUC" --password <yourpassword>
pvesm add cifs "Container" --server 192.168.178.10 --share Container --username "NUC" --password <yourpassword>
pvesm add cifs "IPCam" --server 192.168.178.10 --share IPCam --username "NUC" --password <yourpassword>
pvesm add cifs "container-Images" --server 192.168.178.10 --share "container-Images" --username "NUC" --password <yourpassword>
pvesm add cifs "iso-Images" --server 192.168.178.10 --share "iso-Images" --username "NUC" --password <yourpassword>


// Optional - seriellen Port für eine VM einrichten
qm set 107 -serial /dev/ttyS0
// hier wäre "107" die ID der VM für die der serielle Port zugewiesen werden soll
// ttyS0 bedeutet, das COM1 zugewiesen wurde
// ganz ausführlich und vollständig findet sich die Anleitung hier:"https://pve.proxmox.com/wiki/Serial_Terminal


// empfohlene zusätzliche Installationen in jeder VM/LXC
apt install sudo
apt install curl -y # Installation über https
apt install ncdu -y  # ähnlich wie "treesize"
apt install cifs-utils -y  # SMB NEtzwerklaufwerke mounten
apt install nfs-common -y  # NFS Laufwerke musik@szendeleit
apt install net-tools
apt insatt nmap
apt install neofetch -y # Systeminformationen Aufruf: neofetch

// Optional - ftp Server auf eine LXC einrichten
sudo apt-get install vsftpd -y
sudo nano /etc/vsftpd.conf
// Edit these lines, first disable anonymous FTP access for security purposes
anonymous_enable=NO
local_enable=YES
write_enable=YES
force_dot_files=YES
// zudemden User "root" zulassen indem dieser mit "#" auskommentiert wird
sudo nano /etc/ftpusers
#root
sudo service vsftpd restart


// Optional - ssh Zugriff in LXC Container zulassen
# inside container, open /etc/ssh/sshd_config and change PermitRootLogin to yes.
nano /etc/ssh/sshd_config
# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

[Scrounger]

@BBTown

Hab mir jetzt auch ein Proxomox System auf einem NUC eingerichtet.
Allerdings habe ich aktuell noch folgendes nicht Verstanden zum Thema Backups.

Ich mache einen Snapshot meiner LXCs.
Aber wie kann ich diese zurück spielen wenn Proxomox mal crahst, d.h. die LXCs nicht mehr existieren sollten?
Oder muss man hier ein 'Stop' Backup von den LXCs machen?

Und könntest du mir noch erklären was diese Einstllungen bewirken - ohne diese sind die hardwareseitigen Virtualisierung Unterstützung nicht aktiv?

#Hardwareunterstützung VTD / amdIOMMUiommu
nano /etc/default/grub
# in der Zeile GRUB_CMDLINE_LINUX_DAFAULT="quiet" folgendes hinzufügen: "intel_iommu=on" 
# das sollte dann so aussehen
GRUB_CMDLINE_LINUX_DAFAULT="quiet intel_iommu=on"
sudo update-grub

#anschließend folgende Datei erstellen
nano -w /etc/modules
#nachfolgende Zeilen einfügen
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

[opossum]

Hallo,
ich habe eine Frage zur Einrichtung der VM für iobroker. Mein NUC hat einen Intel i7 mit 4 Kernen und 32 GB RAM (er hatte erst 16, aber wegen Promox habe ich das gerade aufgerüstet).
Wie ist die optimalste Aufteilung für die iobroker VM, ich hatte im ersten Schritt 4 CPU und 16GB RAM zur Verfügung gestellt, wie groß sollte ich das Laufwerk wählen (meine SSD hat insgesamt 250Gb), ich erstelle täglich ein minimal-Backup und auch täglich ein Backup der MariaDB. Leider habe ich da noch keine Erfahrungen.
Ich habe dann die VM des iobroker geclont und daraus die Testumgebung gemacht. Die hat dann natürlich die gleichen Parameter wie die Prod. Allerdings wird die Testumgebung nur bei Bedarf hochgefahren.

@BBTown Vielen Dank für die Liste, die hilft sehr. Ich würde Dir, wenn ich das fertig habe, noch die Einträge für die Installation der MariaDB hier reinstellen. Das ist ja auch optional, nicht jeder hat die im Einsatz.

[opossum]

Hallo, @Scrounger
@Scrounger sagte in Proxmox-Frage: Wie regelt Ihr das Backup vom Host?:

@BBTown

Und könntest du mir noch erklären was diese Einstllungen bewirken - ohne diese sind die hardwareseitigen Virtualisierung Unterstützung nicht aktiv?
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

ich habe hier ein Video auf YT, das erklärt das schrittweise. Nach diesem Video habe ich das erste Mal Proxmox aufgesetzt.

Spoiler

https://www.youtube.com/watch?v=DHpkD5N6HC0

[liv-in-sky]

ich habe mir ein doppelboot erstellt - damit kann ich mit clonezilla backupen - konnte ich schon gut gebrauchen für eine root-festplatten-vergößerung (clonezilla liegt auf ssd - nur zu restore ist usb stick nötig)

da ich einen beelink habe und das uefi und grub irgendwie nicht zusammengepaßt hat, habe ich refind als bootmanager installiert - darin wird dann abgefragt, ob ich mit clonezilla oder debian starten will - ich habe nicht das proxmox-system installiert sondern debian und anschliessend proxmox mit apt-get.

gesichert wird dann auf eine usb-platte (proxmox host und lxc's, vm's)

der restore auf eine neue ssd dauerte 15 minuten - dann lief ddas system mit größerer ssd wieder

[crunchip]

@Scrounger deine disk.0.raw jedes einzelnen LXC findest du unter local oder local-lvm, je nachdem wo du es installiert hast. Liegt dies auf local-lvm kannst du auch snapshots deines LCX oder VM machen.
Um einen LXC mittels backup zurück zu spielen, musst du zuvor den LXC stoppen. wichtig ist noch dabei, darauf zu achten ob der LCX (nicht/privilegiert) läuft, dies muss beim backup wieder ausgewählt werden. Um eine VM/LXC zu ändern (backup) musst du unter Optionen ---Geschützt auf Nein stellen.
Einen Snapshot kannst du jederzeit im laufenden Betrieb anstoßen. Solltest du ein Backup zurück spielen, werden die hinterlegten Snapshots mit gelöscht, da diese sich nur auf die aktuell laufende Version beziehen.
Wenn du einen LXC oder VM löscht, kannst du die entsprechende Raw auswählen und wieder installieren, dabei hast dann die Möglichkeit, deine Id-Nummer und Bezeichnung zu ändern, falls gewünscht

[crunchip]

@opossum Für eine IoBroker VM/LXC sollten eigentlich 15 Gb Diskgrösse, 5GB Ram reichen.
Ein Regelmäßiges Backup, legst du in ein anderes Verzeichnis, noch besser auf eine andere Platte.

[opossum]

Hallo @crunchip ,

danke für die Werte, mache ein wenig mehr, da auch die MariaDB auf dem Rechner läuft.

@BBTown
hier die Schritte für das Anlegen und Einrichten der MariaDB auf dem iobroker-Rechner

Spoiler

#Installation MariaDB - optional
sudo apt-get install mariadb-server mariadb-client

Binding für localhost deaktivieren (für die DB)

sudo nano /etc/mysql/mariadb.conf.d/50-server.cnf
(Eintrag bind adress 127.0.0.1 mit einer # versehen)
Damit kann man sich auch von ausserhalb mit der DB verbinden

dann mit der DB verbinden

sudo mysql -u root -p

wenn es geklappt hat, mit

show databases;

prüfen, ob die DB angezeigt werden

GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'Passwort festlegen'; # Wert in Hochkomma ist das PW von root in der DB, anpassen
GRANT USAGE ON . TO 'root'@'%' WITH GRANT OPTION;

CREATE DATABASE iobroker;

CREATE USER 'iobroker'@'%' IDENTIFIED BY 'Passwort festlegen';# Wert in Hochkomma ist das PW von iobroker in der DB, anpassen
GRANT ALL PRIVILEGES ON iobroker.* TO 'iobroker'@'%';
FLUSH PRIVILEGES;
exit

Neustart der Datenbank

sudo service mysql restart

Rücksicherung des MySQL-Backups

Sicherungsdatei auf den iobroker kopieren

Verzeichnis backup unter /media anlegen, dazu mit cd /media in das Verzeichnis wechseln

sudo mkdir backup

Verzeichnis Rechte setzen, dann darf auch debian über WinSCP Dateien kopieren

sudo chmod 777 backup

Sicherungsdatei von mysql entpacken, es wird eine Datei Name.sql entpackt

diese Datei auf den iobroker-Rechner ins Verzeichnis /media/backup hochkopieren

dann in der Konsole auf dieses Verzeichnis wechseln

dann Rücksichern mit:

sudo mysql iobroker < Name.sql

Hoffe, ich habe das einigermaßen gut aufgeschrieben

[crunchip]

@opossum auf dem Rechner oder meinst du mit in IoBroker?
ich habe für alles einzelne LXC´s angelegt, hat den Vorteil, bei Crash ist nur eine Sache betroffen.

[BBTown]

@opossum meine VM ist sogar noch etwas genügsamer eingerichtet als von @crunchip beschrieben.
Mein ioBroker VM hat folgendes zugeordnet bekommen:

• 10GB DIsk
• 4 GB RAM
• CPU 1 Socket, 2 Cores

Ich habe auch aus genau den Videos von unicks.eu das meiste für mich herausgeholt

Meine Backups liegen auf einem NAS Laufwerk, daher benötige ich keinen Disk-Platz.
RAM und DIsk sind ca. zu 50% ausgenutzt, daher sollte ich reichlich Reserven haben.

@Scrounger deine Fragen wurden ebenfalls - denke ich - von @crunchip beantwortet.
Wichtig ist zu verinnerlichen, dass ein Snapshot kein Backup ist und daher zusammen mit dem Container verschwinden.
Ich selbst arbeite bisher gar nicht mit Snapshots sondern Klone bei Bedarf auf meinen zweiten NUC eine VM oder einen Container. Das hat aber durchaus damit zu tun, dass ich mir Vor-/Nachteile von Snapshots gegenüber meiner Vorgehensweise gar nicht angelesen habe

Meine Sicherung basiert (neben der nächtlichen Backups auf ein NAS) auch auch der "Replizierung", allerdings benötigts Du dafür ein zweites Proxmox System.

Wie @opossum (mit Verweis auf das Video von unicks.eu) bereits sagte, geht es um das Durchreichen der Hardware, sofern vom NUC bzw. dem Intel-Chipsatz unterstützt.

[BBTown]

@opossum sagte in Proxmox-Frage: Wie regelt Ihr das Backup vom Host?:

hier die Schritte für das Anlegen und Einrichten der MariaDB auf dem iobroker-Rechner

ich nutze derzeit InluxDB zusammen mit Grafana und habe dafür einen eigene Container aufgesetzt.

[opossum]

Hall @crunchip
@crunchip sagte in Proxmox-Frage: Wie regelt Ihr das Backup vom Host?:

@opossum auf dem Rechner oder meinst du mit in IoBroker?
ich habe für alles einzelne LXC´s angelegt, hat den Vorteil, bei Crash ist nur eine Sache betroffen.

Meine DB läuft auf der gleichen Maschine wie der iobroker

[crunchip]

@BBTown auch das habe ich bei mir alles separiert, Prometheus, Influx, Grafana, jeweils einen LXC.

@Scrounger einen Snapshot nutze ich z.b. wenn ich einen bzw mehrere Adapter update´s mache, falls was schief gehen sollte, spiele ich sofort den snapshot zurück. Dafür ist er ja auch gedacht. Wenn dennoch ein Problem auftaucht, was längerfristig zurück liegt, spiele ich ein backup ein. Die aktuellen snapshots sind dann weg, was auch nicht tragisch ist, da sie ja nur für einen Moment benötigt werden.