iobroker hochverfügbar

[crunchip]

@sufra sagte in iobroker hochverfügbar:

Zur GlusterFS installation habe ich in der IOBroker Doku nichts gefunden...

gibt es auch nichts, das sprengt den Rahmen, da es mit iobroker nichts zu tun hat

solch Fragen sind dann besser im Proxmox Forum zu stellen

[SuFra]

Okay ich Frag einfach mal

Meine SSD ist wie folgt partioniert:

root@pve-node1:~# lsblk
NAME         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
nvme0n1      259:0    0 465.8G  0 disk 
├─nvme0n1p1  259:1    0  1007K  0 part 
├─nvme0n1p2  259:2    0     1G  0 part /boot/efi
└─nvme0n1p3  259:3    0 464.8G  0 part 
  ├─pve-swap 253:0    0     8G  0 lvm  [SWAP]
  └─pve-root 253:1    0    20G  0 lvm  /

Kann man und wenn ja wie in der Partition nvme0n1p3 GlusterFS installieren?

[arteck]

@sufra sagte in iobroker hochverfügbar:

Nun komme ich bei GlusterFS nicht weiter.

nimm cephfs..

ich war lange auf glusterfs... wie Apollon auch.. bin aber gewechselt.. da Proxmox hier eine direkte unterstüzung bietet
und du keine Nachteile dadurch hast

[darkiop]

@sufra sagte in iobroker hochverfügbar:

Kann man und wenn ja wie in der Partition nvme0n1p3 GlusterFS installieren?

Ja, müsste auch aus meiner Doku zu lesen sein. Musst mal schauen, die Befehle halt entsprechend abwandeln.

@arteck sagte in iobroker hochverfügbar:

nimm cephfs..
ich war lange auf glusterfs... wie Apollon auch.. bin aber gewechselt.. da Proxmox hier eine direkte unterstüzung bietet
und du keine Nachteile dadurch hast

Bin zwischenzeitlich sogar wieder zurück auf einen Node

[SuFra]

gelöscht

[SuFra]

@darkiop Hi
Darf ich dein Projekt, "Proxmox-ioBroker-Redis-HA Doku: https://forum.iobroker.net/topic/47478/dokumentation-einer-proxmox-iobroker-redis-ha-umgebung" weiter führen?

Ich habe mitlerweile GlusterFS auf meinen Nodes installiert und bin mit meinem Server aufs Cluster umgezogen.

Deine Anleitung war mir eine große Hilfe, vielen Dank dafür.

Einiges muss jedoch bei einer Installation in einem realen System anders gemacht werden.
Ich würde das gerne in deiner Anleitung ändern bzw ergänzen.

Wenn du nichts dagegen hast würde ich die Abschnitte für die erstellung der virtuellen Nodes entfernen.

[darkiop]

@sufra

Hi Sufra, grad gesehen das du auch eine PM gesendet hattest Das geht gerne mal unter. Sorry

Ja klar, darfst gerne ergänzen/ändern. Die Anleitung ist damals erst auf einer virtuellen Umgebung (3x/2x Proxmox in einer VM und später dann 2x NUCs + 1x RPI) entstanden. Daher die Vermischung. Zur Korrektur bin ich dann nicht mehr gekommen. Wenn für dich OK, kannst du das nach deiner Arbeit auch gerne als PR einstellen.

Bin zurück auf einen Node, da ich 1. etwas das Grundrauschen an Stromverbrauch senken wollte (auch wenn da ein Großteil locker durch durch die PV gedeckt ist) und 2. weil ich etwas komplexität rausnehmen wollte. Bin aktuell viel unterwegs und gefühlt läuft das Single-Node System stabiler (wie gesagt, nur ein Gefühl, belegen kann ich es nicht :)).

[apollon77]

@sufra Einige User sind einfach auf CEPH gegangen was per Proxmox seehr schön in der UI zu erstellen ist ... bversuch doch das erstmal

[SuFra]

@darkiop Alles klar, werde mich dann mal an die Anleitung machen.

Vom Stromverbrauch liegen meine 3 NUCs unter dem Einzelserver, obwohl dieser schon sehr sparsam (Notebook CPU, nur SSDs) aufgebaut war.

Von wegen Stabilität bin ich mal gespannt, der alte Server steht ja noch hier. Kann immer noch zurück

[SuFra]

@apollon77 sagte in iobroker hochverfügbar:

@sufra Einige User sind einfach auf CEPH gegangen was per Proxmox seehr schön in der UI zu erstellen ist ... bversuch doch das erstmal

Da habe ich wohl mit meinen Beiträgen einen falschen Eindruck hinterlassen.

Am Wochenende alles komplett auf den 3 NUCs installiert.
Läuft seit 24h.

Ich wollte einfach nur wissen ob ich die Anleitung von darkiop ändern/ergänzen darf.
Sie hat mir sehr geholfen und ich würde gerne was zurück geben

[darkiop]

@sufra sagte in iobroker hochverfügbar:

Von wegen Stabilität bin ich mal gespannt, der alte Server steht ja noch hier. Kann immer noch zurück

Ich hatte immer wieder mal Probleme mit den LXCs die auf dem GlusterFS liefen (und das ist ja über einen Workaround in Proxmox eingebunden). Manchmal lief es Wochenlang stabil, dann während Upgrades in den LXCS und auch auf dem Host war immer wieder mal ein reboot nötig bis alles wieder stabil lief. Was genau war kann ich dir aber leider nicht mehr sagen, hatte das nicht dokumentiert. Ziemlich sicher bin ich mir, das die PBS Backups deutlich langsamer liefen als jetzt auf dem Single-Node, wenn sie auf den GlusterFS lagen. Aber ohne Messungen ist das auch eher mein subjektives empfinden Kannst gerne Berichten und die Doku erweitern. Muss auch dazu sagen, das mein 3. GlusterFS Node auf einem RPI4+SSD lief - und nicht auf einem 3. Nuc.

[SuFra]

@darkiop Nach 2 Monaten möchte ich mal einen Zwischenstand mitteilen.
Bis auf ein paar Problemen an denen ich selber Schuld war läuft der Cluster sehr gut.
Meine bisherigen Probleme:
Ich hatte meine Switche auf auto Update stehen.
Dabei sind dann beide Clusternetzwerke gleichzeitig offline gegangen.
Danach war GlusterFS nur noch readonly.
Lies sich mit einem neu starten der Nodes aber schnell beheben.

Ein anderes mal hatte ich Änderungen an den VLANs gemacht und dabei die Clusternetzwerke strubbelig gemacht.

Man muss also schon aufpassen was man macht, ist sicherlich nichts für Netzwerkneulinge

Gruß Frank

[SuFra]

Und wieder sind einige Monate ins Land gegangen....

Im September gab es die erste wirkliche Feuertaufe.
Während der Nacht ist der NUC auf dem ioBrocker lief ausgefallen.
ioBrocker wurde automatisch auf dem anderen 'großen' NUC gestartet und lief sofort weiter.
Erst Tage später fiel mir auf das ein NUC nicht mehr lief!

Bin sehr zufrieden wie gut der HA-Cluster funktioniert.

PS: wenn jetzt die dunkle Jahreszeit beginnt werde ich mich an die Doku begeben

[darkiop]

@sufra

Guten Morgen @SuFra,

danke für dein Update. Bin schon sehr gespannt auf deine angepasste Doku.

Die von dir beschrieben "Probleme" mit GlusterFS und auch dem Netzwerk hatte ich auch.
Und zusätzlich konnte ich auch den Hardware Watchdog meiner Intel Nucs nicht wirklich zum laufen bekommen.
Hast du nur VMs im Einsatz - oder auch LXCs? Für letztere Bedarf es ja einen kleinen Workaround im Zusammenspiel mit GlusterFS.

Ich bin aktuell immer noch auf dem Single-Node Setup. Aber mal schauen, der Winter ist lange - vielleicht kommt da auch mal wieder ein pve cluster zum Einsatz

Passend dazu, hatte ich die Tage mal angeschaut: https://www.youtube.com/watch?v=dAjw_4EpQdk

[SuFra]

@darkiop das wird noch was dauern mit der Doku

Die "Probleme" waren ja hauptsächlich selbst gemacht.
Sehe jetzt nicht GlusterFS, sondern eher mein "nicht Wissen" als Auslöser.
Trotz meiner Redundanz des Clusternetzwerkes... Wenn man beide Switche auf Autoupdate stehen hat ist die Verbindung komplett weg.
Man muss also schon jede Komponente betrachten.

Hardware Watchdog läuft bei mir auch noch nicht. Mit Proxmox 7 hat sich auf meinen i5 NUCs teilweise der HA Manager verabschiedet.
Muss ich noch prüfen ob das mit dem neuen Kernel unter Proxmox 8 immer noch der Fall ist.
LXCs, VMs.... wie in meiner Signatur zu sehen:
LXC's: ioBroker, 3x Redis, PiHole, Grafana, Heimdall, MariaDB, InfulxDB, TasmoAdmin, NTP Server, Zabbix
VM's: PBS, trueNAS (Plex)

Die 3 Redis sind zZ nicht online, habe festgestellt das die Verfügbarkeit der Daten bei ioBroker über File bzw jetzt jsonl ausreicht.
Lasse mich aber gerne eines besseren belehren

Nettes Video, mein Redundantes Netzwerk reicht mir.
Ich habe 3 NUCs mit 2,5Gbit dual LAN.
Auf der ersten NIC läuft Link0 des Clusternetzes, auf der 2 NIC Link1 und vmbr0 mit allen VLANs.
Link0 läuft über einen 1GBit Switch, da gehen ja kaum Daten rüber.
Link1 und vmbr0 über einen 2,5GBit Switch.

[SuFra]

Ich werde mich von GlusterFS verabschieden.
Seltsamer weise bei einigen Node Wartungen (Updates, Neustarts...) "read only" FS bekommen.
Aus den Logs konnte ich nicht wirklich erkennen wo das Problem liegt.
Wenn so etwas im normalen Betrieb, zb durch einen Hardware defekt passiert läuft trotz HA nix mehr.

Ausserdem fehlt mir bei GlusterFS die Einbindung im Proxmox GUI.
Ich werde wohl in den nächsten Wochen auf Ceph umsteigen.
Ist ja zum Glück dank Backups der Container und VMs recht schnell gemacht

[darkiop]

@sufra sagte in iobroker hochverfügbar:

Seltsamer weise bei einigen Node Wartungen (Updates, Neustarts...) "read only" FS bekommen.

Solches war ja unter anderem auch bei mir Auslöser wieso ich mein Setup wieder vereinfacht hatte

Aktuell bin ich komplett ohne HA unterwegs ... der zweite Promox Node steht als Backupgerät bereit und zum Testen. Für Ceph müsste ich noch nen dritten besorgen. Hatte aber auch schon überlegt den zweiten Nuc als bare metal PBS zu nutzen

[SuFra]

@darkiop deshalb werde ich auf Ceph umsteigen.
Auf HA kann und möchte ich nicht verzichten.
Dafür läuft zuviel über ioBroker und es sollte bei einem Hardwareausfall automatisch weiter funktionieren.

Man darf ja auch nie den WAF vergessen

[apollon77]

Eric war mal auf Ceph umgestiegen auf Nucs und ist davon auch wieder weg weil die manchmal "Nachdenkpausen" und Delays hatten ... am Ende ist halt RAM und ggf CPU für Ceph wohl auf den Nucs nicht genug gegeben ...

Also ich hatte bisher bei GlusterFS nur RO FS wenn ich mehrere Nodes gleichzeitig aktualisiert oder rebootet hatte .. also bei 3 Hosts müssen halt 2 "immer" da sein ... Sobald es nur einer ist dann blöd

[SuFra]

@apollon77 hört sich auch wieder nicht so toll an...
Also RAM habe ich mind. 32 GB pro Node.
Bei 2 Nodes 64 GB.
Ob das jetzt ausreichend für CEPH ist wird mir wahrscheinlich niemand endgültig sagen können.

Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.