Weihnachtsangebot 2025! 🎄

[apollon77]

@darkiop usv bin ich auf den Apc Modellen mit usb Anschluss. Da dann nut dran. Die Usb gehen direkt auf drei meiner proxmox nodes und da will ich später noch ne fancy Steuerung machen weil das mit glusterfs so ein Thema ist (wieder was besonderes dann). Bei nem replika 3 system ist es ja so das dir eine ausfallen darf und noch alles geht. Wenn aber ggf die zweite Maschine (an zweiter usv als Beispiel) auch knapp wird wegen Batterie dann musst du idealerweise ja bevor die runterfährt alles sauber runterfahren. Also dann auch an der dritten usv die an sich noch gehen würde oder gar nicht betroffen ist.

Idee ist also hier zu Monitoren und falls es kritisch wird mittels proxmox Adapter dann alle vms und lxc zu beenden bevor das glusterfs read only geht und wenn wieder zurück ist wieder hochzufahren. Aber das ist noch ne Idee auf nem Zettel. ;-)

[darkiop]

@apollon77 sagte in iobroker hochverfügbar:

Welche Glusterfs Version hast Du jetzt drauf? Bei proxmox dabei ist ne recht alte. Aktuell ist 9.x ... ich bin auf 8.x ...

┬─[root@pve-test-node-1:/tmp]─[15:46:47]
╰─># glusterfs --version
glusterfs 5.5

Mit Proxmox 6.4 kommt die 5.5 mit :D Also da lohtn wohl ein Upgrade auf 8/9 :)

Danke für die vielen Infos. Habe bis inkl. gsatus schon in meine Doku übernommen - ggf. Teste ich das heut Abend noch. Muss jetzt allerdings erstmal los.

@apollon77 sagte in iobroker hochverfügbar:

Dann viel Spass beim experimentieren und wäre cool am Ende eine Anleitung zu haben :-))

Selbstverständlich, ich schreibe Schritt für Schritt mit - da kommt die automatisch bei raus. Ggf. muss man doch noch etwas Hintergrundwissen verlinken / formulieren. Grundsätzlich sollte sich das dann auch auf ein 3-NUC ++ Setup adaptieren lassen.

[darkiop]

Hallo zusammen, passend zum Thema gibts es hier eine Dokumentation eines kompletten HA Setups: https://forum.iobroker.net/topic/47478/dokumentation-einer-proxmox-iobroker-redis-ha-umgebung

[SuFra]

Hi

Ich weiß der Thread ist schon alt, jedoch befasse ich mich gerade auch mit dem Thema.
Gibt es mitlerweile was neues oder einen neuen Thread den ich übesehen habe?

[apollon77]

@sufra Ich denke es gibt so 2-3 Threads zum Thema, aber noch keine vollständige Lösung.
Mit Objekten und States im Redis und einem Redis-Multihost setup mit Sentinel im Hintergrund bist Du schonmal unabhängig vom Filesystem.

Ich glaube die meisten nutzen aktuell dann eher Proxmox als Cluster mit 2+Quorum oder 3 Nodes mit Shared Filesystem und damit werden beim ausfall eines nodes die VMs bzw container automatisch umverteilt.

Die HA Pläne sind immer noch auf Todo listen, aber bisher gabs immer wichtigere Baustellen.

[SuFra]

Ich habe mir nun 3 NUCs zugelegt.
Proxmox ist installiert.
Cluster ist erstellt.

Nun komme ich bei GlusterFS nicht weiter.
Kann ich hier Fragen dazu stellen oder soll ich einen neuen Thread aufmachen?
Ich habe auch das tolle Tutial von Thorsten und würde mich dann dort auch einbringen wollen.

[bahnuhr]

@sufra
Auf der iob Seite gibt es eine super Doku.
Mit der kann nichts schief gehen.

Bist du nach dieser vorgegangen ?
Wenn nein, warum nicht ?
Wenn ja, an welchem Punkt hakt es da ?

[SuFra]

Zur GlusterFS installation habe ich in der IOBroker Doku nichts gefunden...
Zu IOBroker an sich habe ich auch keine Fragen, habe einen Server schon seit Jahren in Betrieb.

[crunchip]

@sufra sagte in iobroker hochverfügbar:

Zur GlusterFS installation habe ich in der IOBroker Doku nichts gefunden...

gibt es auch nichts, das sprengt den Rahmen, da es mit iobroker nichts zu tun hat

solch Fragen sind dann besser im Proxmox Forum zu stellen

[SuFra]

Okay ich Frag einfach mal ;)

Meine SSD ist wie folgt partioniert:

root@pve-node1:~# lsblk
NAME         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
nvme0n1      259:0    0 465.8G  0 disk 
├─nvme0n1p1  259:1    0  1007K  0 part 
├─nvme0n1p2  259:2    0     1G  0 part /boot/efi
└─nvme0n1p3  259:3    0 464.8G  0 part 
  ├─pve-swap 253:0    0     8G  0 lvm  [SWAP]
  └─pve-root 253:1    0    20G  0 lvm  /

Kann man und wenn ja wie in der Partition nvme0n1p3 GlusterFS installieren?

[arteck]

@sufra sagte in iobroker hochverfügbar:

Nun komme ich bei GlusterFS nicht weiter.

nimm cephfs..

ich war lange auf glusterfs... wie Apollon auch.. bin aber gewechselt.. da Proxmox hier eine direkte unterstüzung bietet
und du keine Nachteile dadurch hast

[darkiop]

@sufra sagte in iobroker hochverfügbar:

Kann man und wenn ja wie in der Partition nvme0n1p3 GlusterFS installieren?

Ja, müsste auch aus meiner Doku zu lesen sein. Musst mal schauen, die Befehle halt entsprechend abwandeln.

@arteck sagte in iobroker hochverfügbar:

nimm cephfs..
ich war lange auf glusterfs... wie Apollon auch.. bin aber gewechselt.. da Proxmox hier eine direkte unterstüzung bietet
und du keine Nachteile dadurch hast

Bin zwischenzeitlich sogar wieder zurück auf einen Node ;)

[SuFra]

gelöscht

[SuFra]

@darkiop Hi
Darf ich dein Projekt, "Proxmox-ioBroker-Redis-HA Doku: https://forum.iobroker.net/topic/47478/dokumentation-einer-proxmox-iobroker-redis-ha-umgebung" weiter führen?

Ich habe mitlerweile GlusterFS auf meinen Nodes installiert und bin mit meinem Server aufs Cluster umgezogen.

Deine Anleitung war mir eine große Hilfe, vielen Dank dafür.

Einiges muss jedoch bei einer Installation in einem realen System anders gemacht werden.
Ich würde das gerne in deiner Anleitung ändern bzw ergänzen.

Wenn du nichts dagegen hast würde ich die Abschnitte für die erstellung der virtuellen Nodes entfernen.

[darkiop]

@sufra

Hi Sufra, grad gesehen das du auch eine PM gesendet hattest ;) Das geht gerne mal unter. Sorry :D

Ja klar, darfst gerne ergänzen/ändern. Die Anleitung ist damals erst auf einer virtuellen Umgebung (3x/2x Proxmox in einer VM und später dann 2x NUCs + 1x RPI) entstanden. Daher die Vermischung. Zur Korrektur bin ich dann nicht mehr gekommen. Wenn für dich OK, kannst du das nach deiner Arbeit auch gerne als PR einstellen.

Bin zurück auf einen Node, da ich 1. etwas das Grundrauschen an Stromverbrauch senken wollte (auch wenn da ein Großteil locker durch durch die PV gedeckt ist) und 2. weil ich etwas komplexität rausnehmen wollte. Bin aktuell viel unterwegs und gefühlt läuft das Single-Node System stabiler (wie gesagt, nur ein Gefühl, belegen kann ich es nicht :)).

[apollon77]

@sufra Einige User sind einfach auf CEPH gegangen was per Proxmox seehr schön in der UI zu erstellen ist ... bversuch doch das erstmal

[SuFra]

@darkiop Alles klar, werde mich dann mal an die Anleitung machen.

Vom Stromverbrauch liegen meine 3 NUCs unter dem Einzelserver, obwohl dieser schon sehr sparsam (Notebook CPU, nur SSDs) aufgebaut war.

Von wegen Stabilität bin ich mal gespannt, der alte Server steht ja noch hier. Kann immer noch zurück ;)

[SuFra]

@apollon77 sagte in iobroker hochverfügbar:

@sufra Einige User sind einfach auf CEPH gegangen was per Proxmox seehr schön in der UI zu erstellen ist ... bversuch doch das erstmal

Da habe ich wohl mit meinen Beiträgen einen falschen Eindruck hinterlassen.

Am Wochenende alles komplett auf den 3 NUCs installiert.
Läuft seit 24h.

Ich wollte einfach nur wissen ob ich die Anleitung von darkiop ändern/ergänzen darf.
Sie hat mir sehr geholfen und ich würde gerne was zurück geben :)

[darkiop]

@sufra sagte in iobroker hochverfügbar:

Von wegen Stabilität bin ich mal gespannt, der alte Server steht ja noch hier. Kann immer noch zurück

Ich hatte immer wieder mal Probleme mit den LXCs die auf dem GlusterFS liefen (und das ist ja über einen Workaround in Proxmox eingebunden). Manchmal lief es Wochenlang stabil, dann während Upgrades in den LXCS und auch auf dem Host war immer wieder mal ein reboot nötig bis alles wieder stabil lief. Was genau war kann ich dir aber leider nicht mehr sagen, hatte das nicht dokumentiert. Ziemlich sicher bin ich mir, das die PBS Backups deutlich langsamer liefen als jetzt auf dem Single-Node, wenn sie auf den GlusterFS lagen. Aber ohne Messungen ist das auch eher mein subjektives empfinden ;) Kannst gerne Berichten und die Doku erweitern. Muss auch dazu sagen, das mein 3. GlusterFS Node auf einem RPI4+SSD lief - und nicht auf einem 3. Nuc.

[SuFra]

@darkiop Nach 2 Monaten möchte ich mal einen Zwischenstand mitteilen.
Bis auf ein paar Problemen an denen ich selber Schuld war läuft der Cluster sehr gut.
Meine bisherigen Probleme:
Ich hatte meine Switche auf auto Update stehen.
Dabei sind dann beide Clusternetzwerke gleichzeitig offline gegangen.
Danach war GlusterFS nur noch readonly.
Lies sich mit einem neu starten der Nodes aber schnell beheben.

Ein anderes mal hatte ich Änderungen an den VLANs gemacht und dabei die Clusternetzwerke strubbelig gemacht.

Man muss also schon aufpassen was man macht, ist sicherlich nichts für Netzwerkneulinge ;)

Gruß Frank