NEWS
iobroker hochverfügbar
-
Ich werde mich von GlusterFS verabschieden.
Seltsamer weise bei einigen Node Wartungen (Updates, Neustarts...) "read only" FS bekommen.
Aus den Logs konnte ich nicht wirklich erkennen wo das Problem liegt.
Wenn so etwas im normalen Betrieb, zb durch einen Hardware defekt passiert läuft trotz HA nix mehr.Ausserdem fehlt mir bei GlusterFS die Einbindung im Proxmox GUI.
Ich werde wohl in den nächsten Wochen auf Ceph umsteigen.
Ist ja zum Glück dank Backups der Container und VMs recht schnell gemacht ;) -
Ich werde mich von GlusterFS verabschieden.
Seltsamer weise bei einigen Node Wartungen (Updates, Neustarts...) "read only" FS bekommen.
Aus den Logs konnte ich nicht wirklich erkennen wo das Problem liegt.
Wenn so etwas im normalen Betrieb, zb durch einen Hardware defekt passiert läuft trotz HA nix mehr.Ausserdem fehlt mir bei GlusterFS die Einbindung im Proxmox GUI.
Ich werde wohl in den nächsten Wochen auf Ceph umsteigen.
Ist ja zum Glück dank Backups der Container und VMs recht schnell gemacht ;)@sufra sagte in iobroker hochverfügbar:
Seltsamer weise bei einigen Node Wartungen (Updates, Neustarts...) "read only" FS bekommen.
Solches war ja unter anderem auch bei mir Auslöser wieso ich mein Setup wieder vereinfacht hatte :)
Aktuell bin ich komplett ohne HA unterwegs ... der zweite Promox Node steht als Backupgerät bereit und zum Testen. Für Ceph müsste ich noch nen dritten besorgen. Hatte aber auch schon überlegt den zweiten Nuc als bare metal PBS zu nutzen :D
-
@sufra sagte in iobroker hochverfügbar:
Seltsamer weise bei einigen Node Wartungen (Updates, Neustarts...) "read only" FS bekommen.
Solches war ja unter anderem auch bei mir Auslöser wieso ich mein Setup wieder vereinfacht hatte :)
Aktuell bin ich komplett ohne HA unterwegs ... der zweite Promox Node steht als Backupgerät bereit und zum Testen. Für Ceph müsste ich noch nen dritten besorgen. Hatte aber auch schon überlegt den zweiten Nuc als bare metal PBS zu nutzen :D
-
Eric war mal auf Ceph umgestiegen auf Nucs und ist davon auch wieder weg weil die manchmal "Nachdenkpausen" und Delays hatten ... am Ende ist halt RAM und ggf CPU für Ceph wohl auf den Nucs nicht genug gegeben ...
Also ich hatte bisher bei GlusterFS nur RO FS wenn ich mehrere Nodes gleichzeitig aktualisiert oder rebootet hatte .. also bei 3 Hosts müssen halt 2 "immer" da sein ... Sobald es nur einer ist dann blöd
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
Eric war mal auf Ceph umgestiegen auf Nucs und ist davon auch wieder weg weil die manchmal "Nachdenkpausen" und Delays hatten ... am Ende ist halt RAM und ggf CPU für Ceph wohl auf den Nucs nicht genug gegeben ...
Also ich hatte bisher bei GlusterFS nur RO FS wenn ich mehrere Nodes gleichzeitig aktualisiert oder rebootet hatte .. also bei 3 Hosts müssen halt 2 "immer" da sein ... Sobald es nur einer ist dann blöd
@apollon77 hört sich auch wieder nicht so toll an...
Also RAM habe ich mind. 32 GB pro Node.
Bei 2 Nodes 64 GB.
Ob das jetzt ausreichend für CEPH ist wird mir wahrscheinlich niemand endgültig sagen können.Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
HA-Cluster 1x NUC11TNHI50L00, 2x NUC11TNHI30L00, 1x BSi3, 1x BSi5
LXC's: ioBroker, (3x Redis), PiHole, Grafana, Heimdall, MariaDB, InfulxDB, TasmoAdmin, NTP Server, Zabbix, Frigate, nextCloud, PeaNUT
VM's: PBS, trueNAS (Plex) -
@darkiop deshalb werde ich auf Ceph umsteigen.
Auf HA kann und möchte ich nicht verzichten.
Dafür läuft zuviel über ioBroker und es sollte bei einem Hardwareausfall automatisch weiter funktionieren.Man darf ja auch nie den WAF vergessen ;)
@sufra sagte in iobroker hochverfügbar:
@darkiop deshalb werde ich auf Ceph umsteigen.
Auf HA kann und möchte ich nicht verzichten.
Dafür läuft zuviel über ioBroker und es sollte bei einem Hardwareausfall automatisch weiter funktionieren.Man darf ja auch nie den WAF vergessen ;)
Stimmt, aber irgendwie ist die Kiste auch noch nie ausgefallen ;) bisschen Risiko muss sein 😂 restore der Backups dauert max 30min.
-
Eric war mal auf Ceph umgestiegen auf Nucs und ist davon auch wieder weg weil die manchmal "Nachdenkpausen" und Delays hatten ... am Ende ist halt RAM und ggf CPU für Ceph wohl auf den Nucs nicht genug gegeben ...
Also ich hatte bisher bei GlusterFS nur RO FS wenn ich mehrere Nodes gleichzeitig aktualisiert oder rebootet hatte .. also bei 3 Hosts müssen halt 2 "immer" da sein ... Sobald es nur einer ist dann blöd
Denke bei mir war auch der RPI als QDevice oftmals die Ursache für Schluckaufs ;)
-
@apollon77 hört sich auch wieder nicht so toll an...
Also RAM habe ich mind. 32 GB pro Node.
Bei 2 Nodes 64 GB.
Ob das jetzt ausreichend für CEPH ist wird mir wahrscheinlich niemand endgültig sagen können.Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
@sufra sagte in iobroker hochverfügbar:
Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
Ich hatte über gstatus (Output als json) die Infos in den ioBroker geholt. Oder auch über CheckMk.
-
@sufra sagte in iobroker hochverfügbar:
Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
Ich hatte über gstatus (Output als json) die Infos in den ioBroker geholt. Oder auch über CheckMk.
@darkiop @apollon77 Heute war Umzug!
Schnell ein NFS Storage der NAS ins Cluster eingebunden, alle Container und Maschienen gestoppt und Backups gezogen.
Auf allen NUCs Proxmox neu installiert und Ceph angelegt.
Vom NFS die Backups eingespielt und 3 Stunden später läuft alles wieder :)Mal schauen wie sich jetzt der Cluster die nächsten Tage so macht.
-
Eric war mal auf Ceph umgestiegen auf Nucs und ist davon auch wieder weg weil die manchmal "Nachdenkpausen" und Delays hatten ... am Ende ist halt RAM und ggf CPU für Ceph wohl auf den Nucs nicht genug gegeben ...
Also ich hatte bisher bei GlusterFS nur RO FS wenn ich mehrere Nodes gleichzeitig aktualisiert oder rebootet hatte .. also bei 3 Hosts müssen halt 2 "immer" da sein ... Sobald es nur einer ist dann blöd
@apollon77 ahh ok .. alle meine Nodes haben 32 Gb.. hab keine Probleme damit..
-
@apollon77 hört sich auch wieder nicht so toll an...
Also RAM habe ich mind. 32 GB pro Node.
Bei 2 Nodes 64 GB.
Ob das jetzt ausreichend für CEPH ist wird mir wahrscheinlich niemand endgültig sagen können.Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
-
@sufra sagte in iobroker hochverfügbar:
Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
Ok, dafür nutze ich gstatus als CLI skript und hab zabbix als überwachung generell laufen :-)
@apollon77 Ja, das wäre auch eine Möglichkeit.
Zabbix ist schon mächtig. Man braucht jedoch auch ein wenig Zeit sich da einzuarbeiten.Jetzt nach 4 Stunden kann ich sagen das alles gut aussieht.
Der Load average liegt bei allen Nodes unter 0,1.Ich habe testweise einen Node nach dem anderen Rebootet.
HA hat funktioniert, Ceph war auch nach unter einer Minute wieder Okay.
Redis Sentinel hatte keine Probleme beim Umschalten.Bin erst einmal zufrieden :)
-
@sufra sagte in iobroker hochverfügbar:
Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
Ok, dafür nutze ich gstatus als CLI skript und hab zabbix als überwachung generell laufen :-)
@apollon77 sagte in iobroker hochverfügbar:
@sufra sagte in iobroker hochverfügbar:
Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
Ok, dafür nutze ich gstatus als CLI skript
gstatus und dann die werte per simple-api/rest-api an den ioBroker? Ich hatte damals das json aus gstatus in objekt geschrieben und via js auseinander genommen.
und hab zabbix als überwachung generell laufen :-)
Kein CheckMK mehr? ;)
Proxmox-ioBroker-Redis-HA Doku: https://forum.iobroker.net/topic/47478/dokumentation-einer-proxmox-iobroker-redis-ha-umgebung
-
@apollon77 sagte in iobroker hochverfügbar:
@sufra sagte in iobroker hochverfügbar:
Was mich an Gluster halt stört das es keine Anzeige über den Status in Proxmox gibt.
Ok, dafür nutze ich gstatus als CLI skript
gstatus und dann die werte per simple-api/rest-api an den ioBroker? Ich hatte damals das json aus gstatus in objekt geschrieben und via js auseinander genommen.
und hab zabbix als überwachung generell laufen :-)
Kein CheckMK mehr? ;)
-
@apollon77 said in iobroker hochverfügbar:
Was noch auf meiner Ideenliste steht ist ein "HA-Adapter" der an der Stelle die Konfiguration annimmt welche Adapterinstanz verschoben werden kann und wer nicht (weil zB lokaler Serieller Port genutzt wird oder so). Und dann monitoren Instanzen dieses HA Adapters die Hosts und wenn einer ausfällt schieben die dann Instanzen durch die Gegend um wirklich so viel Funktionalität wie geht zu erhalten.
Hallo apollon77,
Wie weit "fortgeschritten" ist dein HA Adapter bzw die Ansätze dazu?
Ich bin sehr an dem Thema interessiert.Eine andere Frage noch zu dem Thema:
Wenn ich eine Multihostumgebung mit Redis(Sentinel) aufbaue... Wo sind die "Adaptersettings" gespeichert? Einen richtigen "Master" gibts ja dann nicht oder?- Kann ich den Admin auf beiden Hosts installieren und alles bedienen?
- Wenn mir ein Host abschmiert, kann ich dann noch die Adapter "verschieben" (vom abgeschmierten host auf den der lauft)
mfg
MikeioBroker Multihostsystem in Docker-Container auf Raspi's mit Redis-Sentinel als States und Objects DB
Aktuell am Aufbau einer Lovelace VisuDeye SUN-12K + 10 kWp Module + 2 x 10 kWh MeritSun PowerWall
-
@apollon77 said in iobroker hochverfügbar:
Was noch auf meiner Ideenliste steht ist ein "HA-Adapter" der an der Stelle die Konfiguration annimmt welche Adapterinstanz verschoben werden kann und wer nicht (weil zB lokaler Serieller Port genutzt wird oder so). Und dann monitoren Instanzen dieses HA Adapters die Hosts und wenn einer ausfällt schieben die dann Instanzen durch die Gegend um wirklich so viel Funktionalität wie geht zu erhalten.
Hallo apollon77,
Wie weit "fortgeschritten" ist dein HA Adapter bzw die Ansätze dazu?
Ich bin sehr an dem Thema interessiert.Eine andere Frage noch zu dem Thema:
Wenn ich eine Multihostumgebung mit Redis(Sentinel) aufbaue... Wo sind die "Adaptersettings" gespeichert? Einen richtigen "Master" gibts ja dann nicht oder?- Kann ich den Admin auf beiden Hosts installieren und alles bedienen?
- Wenn mir ein Host abschmiert, kann ich dann noch die Adapter "verschieben" (vom abgeschmierten host auf den der lauft)
mfg
Mike@m1k3f15h Aktuell ist keine Arbeit an einem HA Adapter gestartet. Sorry, aber Prios sind aktuell andere.
Wenn Du einen Redis Sentinel Ansatz hast idt quasi "Der Redis" dein Master ... und ja du kannst (auch jetzt) Admin auf mehreren Hosts installieren und dann von allen gleichermassen verwalten
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@m1k3f15h Aktuell ist keine Arbeit an einem HA Adapter gestartet. Sorry, aber Prios sind aktuell andere.
Wenn Du einen Redis Sentinel Ansatz hast idt quasi "Der Redis" dein Master ... und ja du kannst (auch jetzt) Admin auf mehreren Hosts installieren und dann von allen gleichermassen verwalten
@apollon77 Danke für die schnelle Antwort :)
Ja da werde ich mich mal spielen mit 2 Testinstanzen :)
Mir hat auf jeden Fall dein Ansatz sehr gut gefallen, dass die Adapter "automatisch" umgezogen werden und auch, dass Hardwarebezogene Adapter auf einem Host "festgepinnt" werden können :) einfach megageil der Ansatz :)Ist nur die Frage, wo die Settings der Adapter gespeichert sind.. denn von einem Host der Offline ist, kann ich keine Config mehr kopieren.. Weisst du was ich meine? :)
Mike
ioBroker Multihostsystem in Docker-Container auf Raspi's mit Redis-Sentinel als States und Objects DB
Aktuell am Aufbau einer Lovelace VisuDeye SUN-12K + 10 kWp Module + 2 x 10 kWh MeritSun PowerWall
-
@apollon77 Danke für die schnelle Antwort :)
Ja da werde ich mich mal spielen mit 2 Testinstanzen :)
Mir hat auf jeden Fall dein Ansatz sehr gut gefallen, dass die Adapter "automatisch" umgezogen werden und auch, dass Hardwarebezogene Adapter auf einem Host "festgepinnt" werden können :) einfach megageil der Ansatz :)Ist nur die Frage, wo die Settings der Adapter gespeichert sind.. denn von einem Host der Offline ist, kann ich keine Config mehr kopieren.. Weisst du was ich meine? :)
Mike
@m1k3f15h sagte in iobroker hochverfügbar:
Ist nur die Frage, wo die Settings der Adapter gespeichert sind.. denn von einem Host der Offline ist, kann ich keine Config mehr kopieren.. Weisst du was ich meine?
Naja in einer idealen Adapterwelt ist alles in den Objekten und damit im Redis. Das ist ja der Sinn dahinter alles im Redis zu haben. Adapter sollten nur solche Daten im Filesystem ablegen die temporär sind oder im zweifelsfall einfach "neu generiert" werden. Sonst gäbe es ja heute schon mit Multihost Probleme ... bzw Adapter wo man eh "lokal gebunden ist" wegen zb einem USB stick bei denen ists dann auch egal
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@m1k3f15h sagte in iobroker hochverfügbar:
Ist nur die Frage, wo die Settings der Adapter gespeichert sind.. denn von einem Host der Offline ist, kann ich keine Config mehr kopieren.. Weisst du was ich meine?
Naja in einer idealen Adapterwelt ist alles in den Objekten und damit im Redis. Das ist ja der Sinn dahinter alles im Redis zu haben. Adapter sollten nur solche Daten im Filesystem ablegen die temporär sind oder im zweifelsfall einfach "neu generiert" werden. Sonst gäbe es ja heute schon mit Multihost Probleme ... bzw Adapter wo man eh "lokal gebunden ist" wegen zb einem USB stick bei denen ists dann auch egal
@apollon77
So hab ich das noch nie gesehen :) das ist ein guter Ansatz :)mike
Support us
667
Online32.5k
Benutzer81.8k
Themen1.3m
Beiträge