UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[JLeg]

@darkiop …die HA-Doku hattest du ja im Pdf verlinkt ;-)
Fencing heisst letztlich ja nur, dass der als „vermutlich defekt“ erkannte Node vom Cluster-Quorum explizit „abgeschossen“ wird. Denn ohne weitere Massnahmen wird ein ausbleibender Heartbeat u.U. schon durch einen simplen Netzwackler detektiert.
Zum einen werden daher bei „wichtigeren“ Clustern die Heartbeat-Links oft redundant und separat angelegt, zum anderen aber vor allem „Stonith“ eingerichtet, das ist der Mechanismus, um das faule Ei definitiv aus dem Cluster zu nehmen (Fencing).
Das lässt sich oft ohne grösseren Aufwand konfigurieren, wenn die Nodes IPMI (bei HP heisst‘s iLO) mitbringen. Kenne mich mit NUCs nicht aus, könnte aber sein, dass die was vergleichbares haben. Oder man nimmt einen Sonoff-Switch o.ä. um die Versorgungsspannung wegzuschalten…

[crunchip]

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Absolut - der läuft hier auch innerhalb einer VM in Proxmox und arbeitet zuverlässig

Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.

[OliverIO]

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

bei HP heisst‘s iLO

Der allgemeine Begirff ist KVM over IP (Keyboard,Video,Mouse).
Bei Intel AMT (Active Management Technology)
Scheint bei Nucs ab Gen7 dabei zu sein.
https://www.virten.net/2018/05/7th-gen-nuc-remote-management-with-kvm-using-vpro-amt/7 mit dabei zu sein

[apollon77]

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

GlusterFS ist meiner Erfahrung nach leider schnarchlahm - könnte vielleicht ein Problem sein

Naja, die andere Alternative ist Ceph was etwas arg oversized für ein privat Setup ist. Und ansonsten sind die ioBroker Anwendungen (und viel heutzutage) eher nicht I/O Lastig oder ?! Also ich nutze GlusterFS schon seit 2 Jahren jetzt und bisher in dem Anwendungsbereich keine größeren Probeme.

„keine Snapshots“ macht das Backup leider etwas unschön, imo
richtig komfortabel und schnell ist der Proxmox Backup Server - läuft auch problemlos parallel zu einem der Proxen

Snapshots sind nur bei LXC "nicht da". Bei VMs tun Sie auch mit GlusterFS.
Aber ja ich mache Backup per PBS - auch teilweise direkt in den Containern als Host Backup die relevanten Verzeichnisse und so. Ich sichere daher die "ganzen" Container nur bei größeren Änderungen, sonst nur relevante Files und Verzeichnisse drin.

ohne Fencing ist das Ganze m.E. schon mit ein paar Risiken behaftet, was HA betrifft; da braucht u.U. nur mal ein unpassendes Stück Netzwerk ausfallen, und der Cluster fährt Container hoch, die bloss offline sind, aber noch munter laufen und ins shared storage schreiben…

aja das Beispiel-Setup im Dokument ist virtualisiert, von dhaer ist Fencing eher bullshit.

In einem Echt.Setup sollte man in jedem Fall den Watchdog korrekt von Software auf Hardware umstellen und damit hat man dann echtes fencing.

[apollon77]

@crunchip Waaaass????? Really? Wäre mir neu

[apollon77]

@jleg Nucs haben den iTCO_wdt Watchdog dabei ... geht super.EInfach in einem Konfigfile eine Zeile EIntragen, Rebooten, fertig

[DerT]

@darkiop
Hey,

erstmal eine Klasse Idee eine solche Anleitung zu erstellen. Sieht bisher wirklich gut aus.

Ich selbst setzte auch schon länger einen Proxmox Server als HV ein um meine Systeme zu betrieben.
Aktuell aber noch als Single Node da mir ein zweiter Server doch zu viel Strom zieht.

Ich stimme @JLeg zu, dass GlusterFS extrem langsam ist.
Was spricht gegen ZFS?
Ich selbst habe 3 HDDs in einem RAIDZ (RAID-5) mit einer SSD als Cache und habe absolut keine Probleme was die Geschwindigkeit angeht.
Außerdem sind die Daten innerhalb des ZFS Speichers komprimiert, was den vorhanden Platz besser nutzen lässt.

Generell fände ich es sinnvoll die Festplatten in einem RAID zu betreiben (Falls die NUCs das können, hab mich noch nicht so sehr damit befasst)

Gruß
T

[apollon77]

@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Was spricht gegen ZFS?

Das es kein Shared Filesystem ist was Verteilt auf die Nodes im Cluster läuft und HA ermöglicht?

Ein Node mit einem Raud macht vllt den Storage ausfallsicher aber nicht den Rest. Node aus ... alles aus

[crunchip]

@apollon77 vllt hab ich es auch falsch interpretiert und es geht nur nicht wegen dem Buster/ Bullseye. Bin da gerade gar nicht auf dem Laufenden ob PBS 2.0 schon läuft.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Snapshots sind nur bei LXC "nicht da"

Snapshot vom LXC geht doch auch

[darkiop]

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Absolut - der läuft hier auch innerhalb einer VM in Proxmox und arbeitet zuverlässig

Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@crunchip Waaaass????? Really? Wäre mir neu

Das Teste ich die Tage - hab auf meiner Test-Umgebung bereits ein Setup mit Proxmox 7 laufen.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

In einem Echt.Setup sollte man in jedem Fall den Watchdog korrekt von Software auf Hardware umstellen und damit hat man dann echtes fencing.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@jleg Nucs haben den iTCO_wdt Watchdog dabei ... geht super.EInfach in einem Konfigfile eine Zeile EIntragen, Rebooten, fertig

Das hab ich ja auf der TODO, wenn es zum aktivieren auch nur das hier braucht, dann ists ja auch nicht wirklich dramatisch :)

/etc/default/pve-ha-manage

# Intel Watchdog
WATCHDOG_MODULE=iTCO_wdt

@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

erstmal eine Klasse Idee eine solche Anleitung zu erstellen. Sieht bisher wirklich gut aus.
Ich selbst setzte auch schon länger einen Proxmox Server als HV ein um meine Systeme zu betrieben.
Aktuell aber noch als Single Node da mir ein zweiter Server doch zu viel Strom zieht.

Gerne, viel gelernt dabei :) Ja, das mit dem Strom ist so ne Sache. Bei mir hat sich auch mit den vielen Überwachungen und Automatismen im Haus ein kleiner Tick zum Strom sparen entwickelt, aber ich denke die zusätzlichen ~50W Last fürs Cluster nehme ich in Kauf - wird verbucht unter "Aufwände fürs Hobby" :D

@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich stimme @JLeg zu, dass GlusterFS extrem langsam ist.
Was spricht gegen ZFS?
Ich selbst habe 3 HDDs in einem RAIDZ (RAID-5) mit einer SSD als Cache und habe absolut keine Probleme was die Geschwindigkeit angeht.
Außerdem sind die Daten innerhalb des ZFS Speichers komprimiert, was den vorhanden Platz besser nutzen lässt.
Generell fände ich es sinnvoll die Festplatten in einem RAID zu betreiben (Falls die NUCs das können, hab mich noch nicht so sehr damit befasst)

Für so ein Setup wirds in dem NUC aber schnell eng :) Ein Raid stellt die Verfügbarkeit sicher - auf die habe ich aber auch mit dem HA-Setup eingezahlt. Und wenn wirklich mal ne SSD in nem NUC abraucht ist der auch schnell mit einer neuen SSD wieder aufgesetzt. Denke das muss man abwägen.

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Snapshot vom LXC geht doch auch

Nur für VMs, wenn der Storage auf dem GlusterFS liegt. Such mal im Dokument nach "Workaround", da ist es beschrieben.

[darkiop]

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

…die HA-Doku hattest du ja im Pdf verlinkt

Und den Link zum Repo direkt. Aber ich habs im Eingangs-Post jetzt auch vermerkt :)

[crunchip]

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Nur für VMs, wenn der Storage auf dem GlusterFS liegt

Hab ich nicht, bei mir liegen die im LVM

[darkiop]

@crunchip genau, das thema 'snapshots' betrifft nur LXCs, wenn sie auf einem GlusterFS liegen (Workaround über ein Directory)

[apollon77]

@crunchip Ist ja ok, wenn man aber ein HA System als Cluster haben will - und darum geht es hier ja - dann geht das nur mit einem Shared FS

[crunchip]

@darkiop das wird erst Thema, wenn ich mir ein NAS oder ähnliches zulege.
Wobei ich Snapshots sowieso nie nutze.
Mein jetziges Setup reicht mir. Hab 3 Zotac, die haben jeweils 2Lan. Hab 2USV.
Kann von einem zum anderen migrieren, Node fährt im Ernstfall runter(was hoffentlich nicht eintreffen wird) Den PBS hab ich in einer VM laufen, dieser hat 2Platten im Raid.
Ansonsten hab ich mich mit dem Thema auch noch nicht weiter befasst, wie geschrieben, muss mir mal deine Anleitung bei Gelegenheit angucken.

[JLeg]

@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

bei HP heisst‘s iLO

Der allgemeine Begirff ist KVM over IP (Keyboard,Video,Mouse).

Der allgemeine Begriff ist BMC (Base Management Controller) - der kann "KVM" beinhalten, muss aber nicht. Hier entscheidend ist, dass ein BMC "Reset" und "Power on/off" ermöglicht...

[darkiop]

@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

https://www.virten.net/2018/05/7th-gen-nuc-remote-management-with-kvm-using-vpro-amt/7 mit dabei zu sein

Und bei den 8er wohl nicht mehr, habs zumindest nichts gefunden - weder im Bios noch per Google. Muss später nochmal genauer schauen.

[apollon77]

@darkiop @JLeg Der Watchdoch oim Dokument genannt klappt bei mir bei nuc6..10

[JLeg]

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Naja, die andere Alternative ist Ceph was etwas arg oversized für ein privat Setup ist. Und ansonsten sind die

...deshalb woltle ich "Ceph" auch nicht als Alternative nennen - das ist tatsächlich eine ziemliche Kanone, auch wenn iobroker für einige zumindest mehr als ein Spatz sein dürfte ;-)
Andererseits finde ich Ceph sehr spannend - kann man "in schnell" hinbekommen (mit entsprechendem "Materialeinsatz" natürlich), und in "fast unkaputtbar"...
Aber gerade wenn die Anwendung eh' wenig I/O-lastig ist, bieten sich - generell - durchaus auch "shared-nothing"-Konzepte an. In meinem beruflichen Umfeld stellen diese inzwischen die grosse Mehrheit. HA wird durch passende Loadbalancer erreicht, die Daten liegen in gespiegelten DBs, und ein "bischen Filesystem" läuft über Syncing.
Ob das für iobroker eine gangbare Lösung wäre, ist natürlich eine andere Frage.

ioBroker Anwendungen (und viel heutzutage) eher nicht I/O Lastig oder ?! Also ich nutze GlusterFS schon seit 2 Jahren jetzt und bisher in dem Anwendungsbereich keine größeren Probeme.

[apollon77]

@jleg Generell: Ack! "Shared Nothing" is schwierig - mindestens der Redis sollte Persistenz haben. Es gab auch mal einen Forum Thread zu nem Raspi DRBD Setup mit Stonith und allem ... aber das kriegt kein normalo user aufgebaut.

Aber jetzt immer mal bei allem hier noch das Umfeld bedenken und daher ist auch bei mir "nur" GlusterFS im Einsatz, wobei ich darauf inzwischen einiges betreibe und an sich keine Probleme habe (as said alles nicht wirklich I/O Lastig)!

Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen