Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung

JLeg

@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

bei HP heisst‘s iLO

Der allgemeine Begirff ist KVM over IP (Keyboard,Video,Mouse).

Der allgemeine Begriff ist BMC (Base Management Controller) - der kann "KVM" beinhalten, muss aber nicht. Hier entscheidend ist, dass ein BMC "Reset" und "Power on/off" ermöglicht...

darkiop

@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

https://www.virten.net/2018/05/7th-gen-nuc-remote-management-with-kvm-using-vpro-amt/7 mit dabei zu sein

Und bei den 8er wohl nicht mehr, habs zumindest nichts gefunden - weder im Bios noch per Google. Muss später nochmal genauer schauen.

apollon77

@darkiop @JLeg Der Watchdoch oim Dokument genannt klappt bei mir bei nuc6..10

JLeg

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Naja, die andere Alternative ist Ceph was etwas arg oversized für ein privat Setup ist. Und ansonsten sind die

...deshalb woltle ich "Ceph" auch nicht als Alternative nennen - das ist tatsächlich eine ziemliche Kanone, auch wenn iobroker für einige zumindest mehr als ein Spatz sein dürfte ;-)
Andererseits finde ich Ceph sehr spannend - kann man "in schnell" hinbekommen (mit entsprechendem "Materialeinsatz" natürlich), und in "fast unkaputtbar"...
Aber gerade wenn die Anwendung eh' wenig I/O-lastig ist, bieten sich - generell - durchaus auch "shared-nothing"-Konzepte an. In meinem beruflichen Umfeld stellen diese inzwischen die grosse Mehrheit. HA wird durch passende Loadbalancer erreicht, die Daten liegen in gespiegelten DBs, und ein "bischen Filesystem" läuft über Syncing.
Ob das für iobroker eine gangbare Lösung wäre, ist natürlich eine andere Frage.

ioBroker Anwendungen (und viel heutzutage) eher nicht I/O Lastig oder ?! Also ich nutze GlusterFS schon seit 2 Jahren jetzt und bisher in dem Anwendungsbereich keine größeren Probeme.

apollon77

@jleg Generell: Ack! "Shared Nothing" is schwierig - mindestens der Redis sollte Persistenz haben. Es gab auch mal einen Forum Thread zu nem Raspi DRBD Setup mit Stonith und allem ... aber das kriegt kein normalo user aufgebaut.

Aber jetzt immer mal bei allem hier noch das Umfeld bedenken und daher ist auch bei mir "nur" GlusterFS im Einsatz, wobei ich darauf inzwischen einiges betreibe und an sich keine Probleme habe (as said alles nicht wirklich I/O Lastig)!

Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen

darkiop

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop @JLeg Der Watchdoch oim Dokument genannt klappt bei mir bei nuc6..10

Hab mich falsch ausgedrückt - der geht, das hatte ich im Log nach dem aktivieren auch schon überprüft.

Ich meinte mit dem Post oben die Remote Managementfunktionen (siehe Link).

Gruß

darkiop

Zum Thema Hardware: Bin im Proxmox Forum über die hier gestolpert:

Für jemanden der noch keine Hardware hat und neu beschafft (und bereit ist ein paaar mehr € auszugeben) eine Interessante Option - vor allem durch die beiden LAN Ports.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen

Das klingt alles sehr spannend - sag Bescheid falls du ein Tester brauchst :)

darkiop

Zur Doku: Hab noch 2, leider essentielle, Punkte für eine Inbetriebnahme meines HA-Clusters zu lösen:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern
Integration HomeMatic Funk-Modul (aktuell auch USB, ggf. Umstieg auf HB-RF-ETH)

:D

Wildbill

@darkiop Für USB und sonstige Geräte, die direkt an einem der Nodes angeschlossen sind, wird Dir im Ernstfall nichts anderes übrig bleiben, als selbst umzustecken. Oder Du hältst so etwas wie Zigbee-Stick & Co doppelt vor, je einen pro Node. Dann müssen die aber absolut identisch eingerichtet sein, damit es klappen könnte.
Von Hardware-Umschaltern, die bei Bedarf automatisch den Ausgang wechseln habe ich zumindest noch nicht gehört, lasse mich hier aber gerne belehren.
Gruß, Jürgen

crunchip

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern

https://forum.iobroker.net/post/597731

apollon77

Also USB hatte ich bisher immer in die Nucs gesteckt und dort auf proxmox ebene "usbip" installiert und das wird dann direkt in der VM (hab das mit LXC noch nicht versucht) quasi gemounted. Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.

Damit ist im ersten Schritt mal der "Host wo USB drin ist" weg gekapselt von der VM/LXC - weil sobald du in Proxmox USB klassisch weitergibst geht die online-Migration der VM/LXC nicht mehr!

Der Nachteil der lösung war dann imme rdas wen ich bei den Nucs updates gemacht habe ich danach auch noch VMs auf anderen Nucs im Cluster durchstarten musste damit die USB Geräte wieder da waren.

Inzwischen hab ich mir drei kleine ZeroPi geholt die nur USB bereitstellen. Die Starte ich dann nur "alle jubel Jahre" mal durch und damit ist das erledigt.

Ich glaube andere haben mit ser2net gute Erfahrungen gemacht

darkiop

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern

https://forum.iobroker.net/post/597731

Ui, der ging an mir vorbei - hab (noch) keine Zigbee Geräte, bzw. die Hue's über die Hue Bridge eingebunden.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich glaube andere haben mit ser2net gute Erfahrungen gemacht

Ja, davon ist in dem Thread von @crunchip die Rede.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.

Das muss ich mir mal anschauen, mein anliegen wäre die USB-Smartmeter vom Nuc abzudocken. Bei den HomeMatic Komponenten nutze ich wohl die Gelegenheit und schau mir mal Alex Reinersts HB-RF-ETH an.

crunchip

@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt

darkiop

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt

Ja, die schau ich mir die Tage mal an.

Kurzes Update zur Doku. Hab heute meine 2 NUCs + Proxmox 7 und GlusterFS aufgesetzt. Morgen kommt dann noch ein Raspi für Quorum dazu. Bisher keine Probleme. Bei Debian Bullseye kommt GlusterFS 9.2 mit - das manuelle hinzufügen einer aktuellen Version ist somit hinfällig. Das Dokument selbst aktualisiere ich dann die Tage.

apollon77

@darkiop bedenkt aber das Debian üblicherweise dann keine Updates liefert außer fixes. Das glusterfs repo zu nehmen hat also schon den Vorteil das ihr Updates bekommt imm9.x und später auch auf 10.x gehen könnt.

Und wenn 9.2 dabei ist bitte daran denken den einen Service zu deaktivieren.

darkiop

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop bedenkt aber das Debian üblicherweise dann keine Updates liefert außer fixes. Das glusterfs repo zu nehmen hat also schon den Vorteil das ihr Updates bekommt imm9.x und später auch auf 10.x gehen könnt.

Ja, das hatte ich auf dem Schirm - aber da wir in der ursprünglichen Doku mit v8 Unterwegs waren dachte ich mir, für die nächste Zeit ist da die mitgelieferte v9 Ok. Wechseln ist ja, mit dem bereits beschriebenen immer noch möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Und wenn 9.2 dabei ist bitte daran denken den einen Service zu deaktivieren.

Du meinst den glusterfssharedstorage? Der ist nicht vorhanden.

darkiop

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@crunchip Waaaass????? Really? Wäre mir neu

Ich hab heute den PBS v2 in einer VM neu aufgesetzt, in der fstab den NFS Share hinzugefügt und dann die datastore.cfg manuell erstellt. Danach ganz normal den PBS bei den Storages hinzufügen. Restore eines alten Backups war erfolgreich. Läuft also noch :)

/etc/fstab

192.168.1.30:/volume1/pbs /mnt/odin-pbs nfs rw 0 0

/etc/proxmox-backup/datastore.cfg

datastore: odin-pbs
        path /mnt/odin-pbs

crunchip

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich hab heute den PBS v2

Ich hatte mich ja korrigiert, siehe https://forum.iobroker.net/post/672836

darkiop

@crunchip Alles gut - wollte es nur Testen.

Aktuell kämpfe ich mit Backups auf ganz normale NFS Share ... kann mir nicht erklären wieso die gerade mit 'Permission denied' beim Backup abbrechen.

Den NFS Share als Storage nutzen klappt ohne Probleme, sobald man aber ein normales Backup startet ziggt er rum. Sogar bei einem extra eingerichteten Share zum Testen ...

Aber die Backups laufen jetzt erstmal über den PBS, von daher alles gut. Allerdings hatte ich in der Vergangheit meine Backups der Backups gerne über die normalen dumps gemacht - das ist übersichtlicher und einfacher zuhandhaben (Kopie auf USB HDD und gut ist ...).

darkiop

Guten Morgen,

für die Interessierten, Lesestoff für den Sonntagmorgen, Version 1.10 ist fertig:

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20210912_ioBroker_auf_Proxmox_HA_v1.10.pdf

Änderungen:

Raspberry Pi als qdevice
GlusterFS Arbiter
Hardware-Watchdog
einige Befehls-Beschreibungen ergänzt

Mittlerweile setze ich das Setup mit 2 Intel NUCs + einem Raspberry Pi ein. Tests für das Sicherstellen von HA dauern noch an. Aber die grundlegende Funktion ist gegeben :)

Grüße und einen schönen Sonntag,
Thorsten

Community Forum

NEWS

Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung

Support us

511

32.4k

81.5k

1.3m