Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung

darkiop

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Absolut - der läuft hier auch innerhalb einer VM in Proxmox und arbeitet zuverlässig

Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@crunchip Waaaass????? Really? Wäre mir neu

Das Teste ich die Tage - hab auf meiner Test-Umgebung bereits ein Setup mit Proxmox 7 laufen.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

In einem Echt.Setup sollte man in jedem Fall den Watchdog korrekt von Software auf Hardware umstellen und damit hat man dann echtes fencing.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@jleg Nucs haben den iTCO_wdt Watchdog dabei ... geht super.EInfach in einem Konfigfile eine Zeile EIntragen, Rebooten, fertig

Das hab ich ja auf der TODO, wenn es zum aktivieren auch nur das hier braucht, dann ists ja auch nicht wirklich dramatisch :)

/etc/default/pve-ha-manage

# Intel Watchdog
WATCHDOG_MODULE=iTCO_wdt

@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

erstmal eine Klasse Idee eine solche Anleitung zu erstellen. Sieht bisher wirklich gut aus.
Ich selbst setzte auch schon länger einen Proxmox Server als HV ein um meine Systeme zu betrieben.
Aktuell aber noch als Single Node da mir ein zweiter Server doch zu viel Strom zieht.

Gerne, viel gelernt dabei :) Ja, das mit dem Strom ist so ne Sache. Bei mir hat sich auch mit den vielen Überwachungen und Automatismen im Haus ein kleiner Tick zum Strom sparen entwickelt, aber ich denke die zusätzlichen ~50W Last fürs Cluster nehme ich in Kauf - wird verbucht unter "Aufwände fürs Hobby" :D

@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich stimme @JLeg zu, dass GlusterFS extrem langsam ist.
Was spricht gegen ZFS?
Ich selbst habe 3 HDDs in einem RAIDZ (RAID-5) mit einer SSD als Cache und habe absolut keine Probleme was die Geschwindigkeit angeht.
Außerdem sind die Daten innerhalb des ZFS Speichers komprimiert, was den vorhanden Platz besser nutzen lässt.
Generell fände ich es sinnvoll die Festplatten in einem RAID zu betreiben (Falls die NUCs das können, hab mich noch nicht so sehr damit befasst)

Für so ein Setup wirds in dem NUC aber schnell eng :) Ein Raid stellt die Verfügbarkeit sicher - auf die habe ich aber auch mit dem HA-Setup eingezahlt. Und wenn wirklich mal ne SSD in nem NUC abraucht ist der auch schnell mit einer neuen SSD wieder aufgesetzt. Denke das muss man abwägen.

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Snapshot vom LXC geht doch auch

Nur für VMs, wenn der Storage auf dem GlusterFS liegt. Such mal im Dokument nach "Workaround", da ist es beschrieben.

darkiop

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

…die HA-Doku hattest du ja im Pdf verlinkt

Und den Link zum Repo direkt. Aber ich habs im Eingangs-Post jetzt auch vermerkt :)

crunchip

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Nur für VMs, wenn der Storage auf dem GlusterFS liegt

Hab ich nicht, bei mir liegen die im LVM

darkiop

@crunchip genau, das thema 'snapshots' betrifft nur LXCs, wenn sie auf einem GlusterFS liegen (Workaround über ein Directory)

apollon77

@crunchip Ist ja ok, wenn man aber ein HA System als Cluster haben will - und darum geht es hier ja - dann geht das nur mit einem Shared FS

crunchip

@darkiop das wird erst Thema, wenn ich mir ein NAS oder ähnliches zulege.
Wobei ich Snapshots sowieso nie nutze.
Mein jetziges Setup reicht mir. Hab 3 Zotac, die haben jeweils 2Lan. Hab 2USV.
Kann von einem zum anderen migrieren, Node fährt im Ernstfall runter(was hoffentlich nicht eintreffen wird) Den PBS hab ich in einer VM laufen, dieser hat 2Platten im Raid.
Ansonsten hab ich mich mit dem Thema auch noch nicht weiter befasst, wie geschrieben, muss mir mal deine Anleitung bei Gelegenheit angucken.

JLeg

@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

bei HP heisst‘s iLO

Der allgemeine Begirff ist KVM over IP (Keyboard,Video,Mouse).

Der allgemeine Begriff ist BMC (Base Management Controller) - der kann "KVM" beinhalten, muss aber nicht. Hier entscheidend ist, dass ein BMC "Reset" und "Power on/off" ermöglicht...

darkiop

@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

https://www.virten.net/2018/05/7th-gen-nuc-remote-management-with-kvm-using-vpro-amt/7 mit dabei zu sein

Und bei den 8er wohl nicht mehr, habs zumindest nichts gefunden - weder im Bios noch per Google. Muss später nochmal genauer schauen.

apollon77

@darkiop @JLeg Der Watchdoch oim Dokument genannt klappt bei mir bei nuc6..10

JLeg

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Naja, die andere Alternative ist Ceph was etwas arg oversized für ein privat Setup ist. Und ansonsten sind die

...deshalb woltle ich "Ceph" auch nicht als Alternative nennen - das ist tatsächlich eine ziemliche Kanone, auch wenn iobroker für einige zumindest mehr als ein Spatz sein dürfte ;-)
Andererseits finde ich Ceph sehr spannend - kann man "in schnell" hinbekommen (mit entsprechendem "Materialeinsatz" natürlich), und in "fast unkaputtbar"...
Aber gerade wenn die Anwendung eh' wenig I/O-lastig ist, bieten sich - generell - durchaus auch "shared-nothing"-Konzepte an. In meinem beruflichen Umfeld stellen diese inzwischen die grosse Mehrheit. HA wird durch passende Loadbalancer erreicht, die Daten liegen in gespiegelten DBs, und ein "bischen Filesystem" läuft über Syncing.
Ob das für iobroker eine gangbare Lösung wäre, ist natürlich eine andere Frage.

ioBroker Anwendungen (und viel heutzutage) eher nicht I/O Lastig oder ?! Also ich nutze GlusterFS schon seit 2 Jahren jetzt und bisher in dem Anwendungsbereich keine größeren Probeme.

apollon77

@jleg Generell: Ack! "Shared Nothing" is schwierig - mindestens der Redis sollte Persistenz haben. Es gab auch mal einen Forum Thread zu nem Raspi DRBD Setup mit Stonith und allem ... aber das kriegt kein normalo user aufgebaut.

Aber jetzt immer mal bei allem hier noch das Umfeld bedenken und daher ist auch bei mir "nur" GlusterFS im Einsatz, wobei ich darauf inzwischen einiges betreibe und an sich keine Probleme habe (as said alles nicht wirklich I/O Lastig)!

Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen

darkiop

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop @JLeg Der Watchdoch oim Dokument genannt klappt bei mir bei nuc6..10

Hab mich falsch ausgedrückt - der geht, das hatte ich im Log nach dem aktivieren auch schon überprüft.

Ich meinte mit dem Post oben die Remote Managementfunktionen (siehe Link).

Gruß

darkiop

Zum Thema Hardware: Bin im Proxmox Forum über die hier gestolpert:

Für jemanden der noch keine Hardware hat und neu beschafft (und bereit ist ein paaar mehr € auszugeben) eine Interessante Option - vor allem durch die beiden LAN Ports.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen

Das klingt alles sehr spannend - sag Bescheid falls du ein Tester brauchst :)

darkiop

Zur Doku: Hab noch 2, leider essentielle, Punkte für eine Inbetriebnahme meines HA-Clusters zu lösen:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern
Integration HomeMatic Funk-Modul (aktuell auch USB, ggf. Umstieg auf HB-RF-ETH)

:D

Wildbill

@darkiop Für USB und sonstige Geräte, die direkt an einem der Nodes angeschlossen sind, wird Dir im Ernstfall nichts anderes übrig bleiben, als selbst umzustecken. Oder Du hältst so etwas wie Zigbee-Stick & Co doppelt vor, je einen pro Node. Dann müssen die aber absolut identisch eingerichtet sein, damit es klappen könnte.
Von Hardware-Umschaltern, die bei Bedarf automatisch den Ausgang wechseln habe ich zumindest noch nicht gehört, lasse mich hier aber gerne belehren.
Gruß, Jürgen

crunchip

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern

https://forum.iobroker.net/post/597731

apollon77

Also USB hatte ich bisher immer in die Nucs gesteckt und dort auf proxmox ebene "usbip" installiert und das wird dann direkt in der VM (hab das mit LXC noch nicht versucht) quasi gemounted. Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.

Damit ist im ersten Schritt mal der "Host wo USB drin ist" weg gekapselt von der VM/LXC - weil sobald du in Proxmox USB klassisch weitergibst geht die online-Migration der VM/LXC nicht mehr!

Der Nachteil der lösung war dann imme rdas wen ich bei den Nucs updates gemacht habe ich danach auch noch VMs auf anderen Nucs im Cluster durchstarten musste damit die USB Geräte wieder da waren.

Inzwischen hab ich mir drei kleine ZeroPi geholt die nur USB bereitstellen. Die Starte ich dann nur "alle jubel Jahre" mal durch und damit ist das erledigt.

Ich glaube andere haben mit ser2net gute Erfahrungen gemacht

darkiop

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern

https://forum.iobroker.net/post/597731

Ui, der ging an mir vorbei - hab (noch) keine Zigbee Geräte, bzw. die Hue's über die Hue Bridge eingebunden.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich glaube andere haben mit ser2net gute Erfahrungen gemacht

Ja, davon ist in dem Thread von @crunchip die Rede.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.

Das muss ich mir mal anschauen, mein anliegen wäre die USB-Smartmeter vom Nuc abzudocken. Bei den HomeMatic Komponenten nutze ich wohl die Gelegenheit und schau mir mal Alex Reinersts HB-RF-ETH an.

crunchip

@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt

darkiop

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt

Ja, die schau ich mir die Tage mal an.

Kurzes Update zur Doku. Hab heute meine 2 NUCs + Proxmox 7 und GlusterFS aufgesetzt. Morgen kommt dann noch ein Raspi für Quorum dazu. Bisher keine Probleme. Bei Debian Bullseye kommt GlusterFS 9.2 mit - das manuelle hinzufügen einer aktuellen Version ist somit hinfällig. Das Dokument selbst aktualisiere ich dann die Tage.

Community Forum

NEWS

Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung

Support us

375

32.4k

81.5k

1.3m