Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[Negalein]

Hallo

Ich habe drei Mini PCs die alle, bis auf die HDD-Größe (Mini 1 hat ein Terabyte und die anderen zwei haben 500 Gigabyte)identisch sind.
Auf allen drei läuft Proxmox. Auf 2 und 3 ist Proxmox aktuell und auf 1 muss ich es noch updaten.
2 & 3 sind bisher noch ohne VM oder CT.
Nun möchte ich die VMs und CTs auf 2 & 3 verteilen, damit ich dann 1 gefahrenlos abdaten kann.

Wie richte ich nun am einfachsten einen Cluster (oder wie das heißt) ein, damit ich die VMs und CTs hin und her schieben kann?
Und später im Falle eines Defektes von 1, 2 oder 3 übernimmt.

Oder gäbe es eine einfachere Lösung?

Danke

[arteck]

es geht alles über die oberfläche inzwischen.. aber das zu Erklären...
schau dir paar videos an.. ist glaube ich einfacher

[wendy2702]

@negalein was soll eigentlich das „oder HA“ in der Überschrift bedeuten?

Dein Eingangs Beitrag bezieht sich doch auf Proxmox Cluster oder ist mit HA nicht Homeassistant gemeint?

[arteck]

@wendy2702 sagte in Proxmox Cluster oder HA:

mit HA nicht Homeassistant gemeint?

nein .. high availability. soll es heissen in verbindung mit Proxmox

[wendy2702]

Ah… ok.

Danke

[BananaJoe]

@Negalein Cluster und HA sind 2 verschiedenen Dinge!

Einen Cluster kannst du Problemlos zwischen den 3 Proxmox-Hosts bauen.
Und dann könntest du eine Replikation zwischen den dreien einrichten, dann liegt eine regelmäßig aktualisierte Kopie auf den jeweils anderen beiden Hosts. Dazu musst du aber dein Dateisystem auf ZFS haben. Wenn deine Hosts nur eine Festplatte haben, musst du das zwingend schon beim Installieren ausgewählt haben! Ansonsten einmal neu installieren.

Das ermöglicht dir, beim Einspielen von Updates die VMs und Container schnell zwischen den Hosts zu verschieben (weil dann nur das Delta kopiert werden muss). Bei VM geht das sogar ohne Unterbrechung, sprich die werden nicht heruntergefahren sondern springen live vom einem Host zum anderen - da wird auch der RAM-Inhalt übertragen, synchronisiert und dann Prozessortakt genau zwischen den Hosts umgeschaltet. Da geht meist nur ein Ping verloren, wenn überhaupt. Und das auch nur weil die die MAC-Adresstabelle der Switche ändern muss, die MAC der VM ist ja dann über einen anderen Netzwerkport als vorher erreichbar.

Container werden heruntergefahren und auf dem anderen Hosts dann wieder gestartet.

Nun zu HA: HA soll ja erkennen wenn ein Host ausfällt und startet diesen dann auf einem anderen wieder neu. Aber du machst ja nur Replikation, sprich da werden nur alle 5, 15, 30 Minuten oder was auch immer du einstellst die Daten abgeglichen.
Hast du einen Ausfall, hast du dann auch den Datenverlust dieses zeitlichen Deltas. Ob das schlimm ist musst du entscheiden. Proxmox macht das und dreht die Replikationsrichtung auch sofort gnadenlos um.
Für HA brauchst du 3 Proxmoxhosts oder 2 Hosts und ein Zeugensystem. Bedenke das immer(!) mindestens 2 von den 3 laufen müssen. Läuft nur noch eines, so wird dieses alle VMs und Container die HA haben sofort stoppen da es alleine keine Mehrheitsentscheidungen treffen kann! Loop im Netzwerk? Alles geht aus. 2 Systeme gerade heruntergefahren, am patchen oder sonst was? Alles geht aus. Switch startet neu? Oder der Router an dem das System direkt hängt? Alles geht aus.

HA ist cooler mit einem zentralen Datenspeicher. Oder mit einem CEPH-Cluster, dabei replizieren dann mindestens 3 Proxmox-Hosts in Echtzeit die VM und Containerdaten untereinander. Für diesen Datenverkehr sollten die Proxmox-Hosts aber zwingend separate Netzwerkkarten vorhanden sein die dann nur dafür sind. Und es müssen separate Datenträger/Festplatten im Proxmoxhost sein, mit der Festplatte auf der auch der Host selbst installiert wurde bekommst duz das nicht hin.

Auch ohne HA kannst du im Notfall (Host ist ganz ausgefallen), die VMs auf den anderen Hosts wieder starten. Da muss nur die Konfigurationsdatei der VM in einen anderen Ordner geschoben werden (die liegt immer in einem Ordner mit dem Namen des Hosts auf dem diese gerade läuft), dann taucht die in der GUI auf und kann gestartet werden. Aber dann halt von Hand und nicht automatisch.

[Negalein]

@arteck
@bananajoe

Danke, YT hab ich schon abgegrast und auf das Problem mit ZFS gestossen.
Ich hab alle 3 auf LVM-thin. Alle 3 komplett neu aufsetzen möcht ich eigentlich ungern machen.

Gäb es noch eine andere Lösung?
Oder wäre das einfachste, auf 2 & 3 die selben Backupdaten einzurichten, um bei Ausfall von 1 die VMs und CTs auf 2 & 3 wiederherstellen zu können?

[BananaJoe]

@Negalein ich hatte das Problem auch am Anfang (ohne ZFS installiert), du kannst ja verschieben/migrieren, er kopiert dann nur in dem Moment alles und die VM /CT muss dann ausgeschaltet sein meine ich

Wenn ich du wäre, würde ich mit ZFS neu aufsetzen.
Ich hatte mir seinerzeit eine Anleitung geschrieben:
https://znil.net/index.php?title=Proxmox:_Installation_2_Node_Cluster_mit_Replikation_und_Live-Migration
die ist noch für 8.x, aber die Installation hat sich jetzt nicht grundlegend geändert.

Ich hatte die VMs Hosts damals auch nacheinander neu aufgesetzt (und vorher die VMs migriert).

Edit: Vertipper im Sinn

[arteck]

es gibt verschiedene Lösung .. und jede ist für sich gut

@BananaJoe sagte in Proxmox Cluster oder HA:

Ich hatte die VMs damals auch nacheinander neu aufgesetzt (und vorher migriert).

braucht man nicht neu aufsetzten die kannst du auch auf ein anderes Storage kopieren...

HA .. ist ein Thema für sich .hatten wir hier auch schon paar mal..

ich sag nur glusterfs, ceph oder NAS freigabe.. alles geht .. man muss halt nur wissen was man will.. und das ist in einem Anfangsstadium wo du gerade bist @negalein nicht so einfach.. ergo .. lesen lesen lesen..

ich hab bei mir ein ceph cluster mit 5 nodes und 7 osd's

dann kommt noch wie und wo läuft das redis oder doch noch jsonl als Datenquelle ??
multihost oder nicht und und und..

[Labersack]

@Negalein sagte in Proxmox Cluster oder HA:

@arteck
@bananajoe

Danke, YT hab ich schon abgegrast und auf das Problem mit ZFS gestossen.
Ich hab alle 3 auf LVM-thin. Alle 3 komplett neu aufsetzen möcht ich eigentlich ungern machen.

Gäb es noch eine andere Lösung?
Oder wäre das einfachste, auf 2 & 3 die selben Backupdaten einzurichten, um bei Ausfall von 1 die VMs und CTs auf 2 & 3 wiederherstellen zu können?

Für deinen Fall kannst du durchaus ein Cluster einrichten, mit dem du dann einzelne VM/LXC per GUI verschieben (=migrieren) kannst. ZFS oder Ceph ist für Cluster an sich nicht notwending, sondern nur das automatische Synchronhalten.
Also suche dir einen Node aus, richte dort über die GUI ein Cluster ein. Gehe dann zu den beiden anderen Nodes, und trete diesem Cluster bei. Danach kannst du alle VM/LXC hin- und herschieben wie du möchtest, auch unter ext4 (was du bei Default-Installation als Filesystem bekommen hast).
Wenn dann ein Node "leer" ist, mache alle Updates und schiebe danach die VM/LXC wieder zurück. Klappt manuell einwandfrei, nur eben ohne HA-Automatik.

[arteck]

lesen https://forum.iobroker.net/topic/71617/iobroker-auf-einem-ha-cluster-auf-nucs/11?_=1771392177047

hier ist noch der redis sentinel thread
https://forum.iobroker.net/topic/26327/redis-in-iobroker-überblick?page=1

[ticaki]

Ich hab die günstige HA Version mit Zeuge am laufen und bin damit vollkommen zufrieden - die Hauptnode hängt sich wegen weiß der Geier was einmal im Monat auf und das kann gut 2 Tage dauern bis ich es merke (Entwicklungsumgebung wird nicht gespiegelt)

Ceph macht für "normales" Smarthome keinen Sinn - hm "macht keinen Sinn" ist jedoch in Anbetracht der vielen Spielerein hier in meinem Smarthome ein sehr sehr schwaches Gegenargument.

[Labersack]

@ticaki sagte in Proxmox Cluster oder HA:

hm "macht keinen Sinn" ist jedoch in Anbetracht der vielen Spielerein hier in meinem Smarthome ein sehr sehr schwaches Gegenargument.

...ich habe KEINERLEI Ahnung, wie du das meinst...
</IronieOff>

[ticaki]

@Labersack sagte in Proxmox Cluster oder HA:

@ticaki sagte in Proxmox Cluster oder HA:

hm "macht keinen Sinn" ist jedoch in Anbetracht der vielen Spielerein hier in meinem Smarthome ein sehr sehr schwaches Gegenargument.

...ich habe KEINERLEI Ahnung, wie du das meinst...

Da hab ich wohl Mist geschrieben. :) Ist ein Hobby und ich hab z.B. ne 10GB Glasfaserverbindung (Keller (Server) -> Büro Switch) im Haus die max mit 2,5 ausgelastet wird in 0,01% der Zeit. Macht auch keinen Sinn.
EDIT: Vorallem weil für POE noch ein cat 7 Kabel daneben liegt.

[Shadowhunter23]

@BananaJoe sagte in Proxmox Cluster oder HA:

Dazu musst du aber dein Dateisystem auf ZFS haben.

Dazu kann ich aus meiner Erfahrung sagen dass die Festplatten die mit ZFS laufen das auch abkönnen müssen. Ich hatte in meiner HA Umgebung zuerst sehr billige SSDs verbaut die dann sehr schnell abgebaut haben.

[BananaJoe]

@Shadowhunter23 sagte in Proxmox Cluster oder HA:

zuerst sehr billige SSDs verbaut die dann sehr schnell abgebaut haben

Woran hast du das festgestellt?

[BananaJoe]

@arteck sagte in Proxmox Cluster oder HA:

braucht man nicht neu aufsetzten die kannst du auch auf ein anderes Storage kopieren...

hatte ich auch, ich hab im Text am Ende VM und Host durcheinander gebracht, habe es nachträglich korrigiert

[Shadowhunter23]

@BananaJoe sagte in Proxmox Cluster oder HA:

Woran hast du das festgestellt?

Verzögerung bei der Replikation. Ich bin mir nicht mehr sicher welches Diagramm es angezeigt hat aber man könnte es sehen. Es waren 256GB SSDs von KingSpec.