Proxmox auf NVMe M.2 oder auf SSD installieren?

[A Former User]

@meister-mopper sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

ZFS ist bekannt für den Speicherhunger.

Moin,

ich kann die von Dir gezeigten Informationen nicht einordnen, aber ja ZFS fühlt sich wohler, wenn Speicher da ist, gerade wenn man Kompression, Deduplizierung und was weiß ich, noch nutzen kann.
Ich muss gestehen, dass ich mir ZFS nur rudimentär angeeignet habe, und alle Spezialitäten nicht kenne. Mir war es vor 2 Jahren halt recht simpel vorgekommen, das habe ich aber auch von LVM auf den Rechnern davor gesagt, man muss einfach schauen, was man will.

• LVM ist gut, denn da kann man recht einfach die Volumes vergrößer/verkleinern
• ZFS ist halt ein modernes ausgereiftes Filesystem, mit vielen Features
• btrfs schlägt halt in die Kerbe von ZFS, nutze ich auf allen PCs, Laptops. War als ich Proxmox anfing zu nutzen halt noch in der Beta Phase, daher wollte ich es da nicht nutzen.
• ...

Wenn ich irgendwann meine zwei Kisten, Backed by Kickstarter, bekomme, dann kann ich da sowas von aus dem Vollen schöpfen, dass ich mir da vielleicht auch Ceph antue

VG
Bernd

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Moin,

simpel sind die nicht

Es ist schon etwas kompliziert und es hängt immer davon ab, was Du erreichen willst.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Hat es, wenn die Partitionen auf einer Platte sind wirklich Vorteile oder eben Nachteile?

Ja

Ne, im Ernst, Vorteile, ganz allgemein, nicht nur für Proxmox

• trenne User-Daten vom Betriebssystem
  • User-Daten, das kann ein Home-Verzeichnis sein, bei Linux /home/user_name
  • für Proxmox könnte das, ct_data, vm_data sein
• Partitionieren kann auch die Sicherheit erhöhen, weil dann vielleicht zwar das Log - File System /var/log voll läuft, aber der Rest arbeitet weiter.
• ...
  Nachteil,
• bei kleinen Platten passt irgendwann die Größe nicht, dann ist mal die eine Partition zu klein, dann die andere.
• Partitionen bedeuten nicht automatisch bessere Sicherheit, denn es ist immer noch, nur eine Platte, wenn kaputt, dann kaputt. Grob gesagt.
• ...

Neutral

• Es macht keinen Unterschied, in den Zugriffen / Schreibgeschwindigkeiten, ob Du Partitionierst oder die Platte ganz lässt.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn ich das System zerschieße muss ich es neu aufsetzen und Backups einspielen.

Ja, VMs/LXC Container kann man immer aus den vorhandenen Backups wieder herstellen
Proxmox, kann man auch sichern, per Backup, dann könnte man das auch wieder herstellen, da ist die Frage eher, was geht schneller, neu Aufsetzen oder Restore.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich sehe bei 2 Partitionen auf einer Platte nur den Nachteil, dass ich ggf Speicher verschenke, da Partition A ggf noch welchen frei hat den Partition B brauchen kann. Auch wenn man nie so voll laufen sollte...

Daher ja meine Anmerkung oben, wenn nur eine Platte vorhanden, dann ~ 25 % davon für das OS / Proxmox, den Rest in eine zweite Partition für den Rest an LXC/VM, somit stimmt dann auch wieder, dass die User Daten vom Betriebssystem getrennt sind.

VG
Bernd

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Habe nur gefragt, warum es empfohlen wird.

Moin,

habe schon lange kein Proxmox installiert, wenn da etwas empfohlen wird, dann steht meist auch eine Begründung dabei. Eins sollte man nicht vergessen, Proxmox ist ein Profisystem, das in Rechenzentren eingesetzt wird, dass wir das nutzen können, ist eine Zugabe der Proxmox Server Solutions GmbH, das wir das im Heimbetrieb nutzen ist eher die Ausnahme als die Regel.
Im Rechenzentrumsbetrieb, Partitioniert man wegen DSGVO, Verschlüsselung von Laufwerken, Mandanten und so'm kleinkram
Man will da ganz klar trennen, die haben aber auch kein Problem, denn da wird zwar auch hart kalkuliert, aber nicht so wie das im Heimbetrieb gemacht wird, so billig wie möglich, aber soll alles haben, viel Speicher, Platten en mas und am Ende steht ein Rechner da, mit 8 GB Memory und einer 256 GB Harddisk.

Also, lassen wir die Kirche mal im Dorf und einigen uns darauf

• wenn nur eine Platte max die drei wichtigen Partitionen
  • efi boot ~300 MB
  • OS / Proxmox ~ 25 % der Platte
  • Rest für die VMs/LXCs

Das sollte für den Start reichen, extern NAS oder USB-Platte für die wichtigen Backups, nicht vergessen.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Da hab ich (aus meiner Sicht) keine Antwort zu gefunden.

Ich will ja versuchen alles zu erklären, nur manchmal mache ich halt auch noch Sachen die Spaß machen

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn man etwas empfiehlt, sollte man es ja kurz begründen können. Ggf auch nur im Hinblick zu den Fragen vom Fragesteller.
Und wenn die Antwort nur ist, dass es übersichtlicher ist. Muss ja nichtmal hoch kompliziert sein, wenn es das nicht ist.

Wer hat denn da was empfohlen?
Ich habe da nur Fragen gesehen und ich habe da nur meine Meinung zu kundgetan.
Es gibt auch nicht immer nur eine Antwort, die alle glücklich macht, dann muss man wohl oder übel die Antwort für sich selbst finden

VG
Bernd

[Markus 7]

Passt thematisch nicht ganz hier rein - aber vielleicht weiß ja doch einer auf die Schnelle, ob ich das Problem beheben kann:

Ich bekomme die Meldung, dass Snapshots meiner Container nicht möglich sind:

So wie ich es hier gelesen habe, gehen Schnappschüsse unter LVS nicht.
Also doch auf LVM-thin oder ZFS umschwenken? Wobei ich ja durch die Backupfunktionalität auf meiner NAS ja schon abgesichert bin. Nur zum "mal schnell testen und dann wieder zurück" ist ein Schnappschuss meiner Ansicht nach besser geeignet, als ein komplettes Backup eines CT.

[A Former User]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

als ein komplettes Backup eines CT.

Moin,

da bist Du schon auf dem richtigen Weg, Snapshots setzten da ein geeignetes Dateisystem voraus, ich glaube, das geht mit btrfs und ZFS
LVM kennt keine Snapshots.

VG
Bernd

P.S.: Aus der Proxmox Doku

Storage Features
LVM thin is a block storage, but fully supports snapshots and clones efficiently. New volumes are automatically initialized with zero.
It must be mentioned that LVM thin pools cannot be shared across multiple nodes, so you can only use them as local storage.

[DJMarc75]

@markus-7

https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_storage

vielleicht hilfts ja

[Markus 7]

@djmarc75

Danke, die Aufstellung hatte ich schon in meinem Post oben verlinkt - aber doppelt genäht hält besser

[DJMarc75]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

hatte ich schon in meinem Post oben verlinkt

wo genau ?

ok, versteckter Link... bitte in Zukunft externe Links nicht verstecken !

https://forum.iobroker.net/topic/51555/hinweise-für-gute-forenbeiträge

[David G.]

Würdet ihr bei einem simplen Setup eher auf Zfs oder LVM thing gehen?
Hab mich auf der Arbeit schon sehr an Snapshots gewöhnt ^^.

Den RAM bei zfs kann man ja vernachlässigen, der kostet ja nicht viel. Was die mehr CPU auslastung wirklich ausmacht, weiß ich nicht. Da habe ich nichts aussagekräftiges gefunden. Falls ich irgendwann mal Kameras anbinde wird ja auch schon was mehr geschrieben.

Beim LVM thing muss ich nur aufpassen, dass ich nicht mehr Speicher vergebe ich ich habe, ist mir mal am qnap passiert

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Würdet ihr bei einem simplen Setup eher auf Zfs oder LVM thing gehen?

Moin,

nur der Korrektheit, der Schreibweisen

• ZFS
• LVM-Thin
• LVM
• btrfs

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Den RAM bei zfs kann man ja vernachlässigen,

Nein, ZFS braucht Memory, um die vielen tollen Features nutzen zu können, um ZFS sinnvoll zu nutzen, sollte man schon >= 8 GB Memory haben, bei 1 TB Harddisk.
Es gibt tuning Knöpfe, aber das ist hier dann doch das falsche Forum und man sollte entweder im Proxmox Forum oder bei OpenZFS nachschauen.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Was die mehr CPU auslastung wirklich ausmacht, weiß ich nicht. Da habe ich nichts aussagekräftiges gefunden

Filesysteme sind schon so geschrieben, dass sie die CPU nicht belasten, was natürlich auch immer etwas von der eingesetzten Hardware abhängt, Speichercontroller, intelligente Platten/SSDs, usw.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Da habe ich nichts aussagekräftiges gefunden

Also ich bekomme da gleich mehrere Treffer, ohne genauer zu suchen

• https://forum.proxmox.com/threads/proxmox-ve-zfs-benchmark-with-nvme.80744/
• https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2020-09-hyper-converged-with-nvme.76516/

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Falls ich irgendwann mal Kameras anbinde

Das erschließt sich für mich auch nicht, oder beziehst Du das auf den Speicher (Memory), Deines MiniPCs/NUCs. Dann ja, je mehr Du da installierst, umso mehr Memory brauchst Du und der lässt sich bekanntlich nicht so einfach erweitern, wenn die Kiste das nicht unterstützt, ist aber hier im Forum schon öfter thematisiert worden.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Beim LVM thing muss ich nur aufpassen, dass ich nicht mehr Speicher vergebe ich ich habe, ist mir mal am qnap passiert

Den verstehe ich nicht, ZFS und LVM sind die Logical Volume Manager, die den Speicherpool (Harddisks) verwalten, beiden ist es möglich mehr Speicher den LVs zu geben, als da ist, das ist so lange kein Problem, wie Du die LVs nicht vollschreibst.
Ob eine Überbelegung sinnvoll ist, keine Ahnung, rein von meinem Bauchgefühl, würde ich das nicht tun.

ZFS und LVM lohnen sich, meiner Meinung nach, eher in Umgebungen, in denen mehrere Harddisks im System vorhanden sind und/oder die Möglichkeit genutzt wird, um LVs/Pools zu verkleinern/vergrößern und/oder zusätzliche Platten in LV/Pools aufzunehmen.
Wie Du ja, schon selbst gesagt hast NAS QNAP, sicher mit mehreren Platten.

Wenn ich heute, ein MiniPC/NUC mit nur einer SSD hätte, dann würde ich da Proxmox die gesamte Platte geben und dann über Verzeichnisse den Platz für LXC-Container und VM trennen.

Das muss jeder für sich entscheiden, die Lösung, die man gewählt hat, ist dann festgeschrieben und genauso richtig, wie die, die ein anderer einsetzt. Man muss sich dann da einarbeiten und die Feinheiten lernen.

VG
Bernd

P.S.: Immer bedenken, dass Proxmox ein Profisystem ist und somit Profitools nutzt, die für professionelle Umgebungen gedacht sind, das, was wir da im Heimbereich einsetzten, ist ganz unten an der Fahnenstange, und nutzt das System nur teilweise oder gar nicht aus.

[David G.]

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Nein, ZFS braucht Memory, um die vielen tollen Features nutzen zu können, um ZFS sinnvoll zu nutzen, sollte man schon >= 8 GB Memory haben, bei 1 TB Harddisk.

So habe ich es nicht gemeint. Eher zu vernachlässigen, da man sich diesen günstig im System einbauen kann.

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Filesysteme sind schon so geschrieben, dass sie die CPU nicht belasten

Okay, habe mich versucht über alles was zu informieren. Habe öfters gelesen, dass ZFS auch CPU benötigt zwecks Komprimierung und deduplizierung.

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Falls ich irgendwann mal Kameras anbinde

Das erschließt sich für mich auch nicht

War drauf bezogen, dass dann ja recht viel auf die Platten geschrieben wird und theoretisch, mehr CPU für Komprimierung etc (falls es die denn wirklich braucht) benötigt wird.

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

ZFS und LVM lohnen sich, meiner Meinung nach, eher in Umgebungen, in denen mehrere Harddisks im System vorhanden sind

Hab mein Setup was überarbeitet. Mittlerweile bin ich bei 3 Platten. 2x m2 (System und VMs) und eine HDD für Daten (truenas).

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn ich heute, ein MiniPC/NUC mit nur einer SSD hätte, dann würde ich da Proxmox die gesamte Platte geben und dann über Verzeichnisse den Platz für LXC-Container und VM trennen.

Dachte eher die 25% 75%.

ZFS und LVM-Tin hat mich wegen den Snapshots sehr an gelacht. Das genieße ich auf der Arbeit sehr bei VMware.

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Okay, habe mich versucht über alles was zu informieren. Habe öfters gelesen, dass ZFS auch CPU benötigt zwecks Komprimierung und deduplizierung.

Moin

jo, das ist sehr löblich, ja und auch das alles, was in einem PC so vor sich geht, braucht natürlich CPU
Nur wir bewegen uns hier im Heimbereich, nicht im Serverbetrieb für eine Firma, wo x GB, oder x TB an Daten geschrieben und gelesen werden.

Ich habe aktuell einen alten 4 x AMD Phenom(tm) II X4 955 Processor mit 32 GB Memory und wirklich alte und nicht schnelle SSDs, ich lasse aktuell 8 LXC Container laufen und 4 Container nutze ich gerade zum Austesten von Diensten, die ich gern bei mir zu Hause habe, anstatt in der Cloud, dabei ist mir noch nicht aufgefallen das da etwas klemmt.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

War drauf bezogen, dass dann ja recht viel auf die Platten geschrieben wird und theoretisch, mehr CPU für Komprimierung etc (falls es die denn wirklich braucht) benötigt wird.

Das hängt doch davon ab, mit welcher Software Du arbeitest, und weniger vom Filesystem, hat jetzt aber auch weniger was mit diesem Thema zu tun.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Hab mein Setup was überarbeitet. Mittlerweile bin ich bei 3 Platten. 2x m2 (System und VMs) und eine HDD für Daten (truenas).

Ok, jedes System, muss/sollte man sich getrennt anschauen, es gibt nicht die alle glücklich machende Methode, so wie Du es Dir eingerichtet hast, pass für dich und Du kommst damit zurecht, das ist das wichtige.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Dachte eher die 25% 75%.

Kann man mal sehen, auch ich ändere meine Meinung
Nein, es kommt immer darauf an, was sich der Betreiber zutraut. Beides ist ein gangbarer Weg.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

ZFS und LVM-Tin hat mich wegen den Snapshots sehr an gelacht. Das genieße ich auf der Arbeit sehr bei VMware.

Ja, das sind Funktionen, die einem das Leben, schon leichter machen können, wenn man sie nutzt und anwendet. Da fällt dann noch ein dritter Kandidat drunter btrfs kann auch Snapshots, nutze ich bei meinem Laptop und Office PC nur ein.

VG
Bernd

[Markus 7]

Bezüglich der RAM-Auslastung im Betriebe der NVME im Modus LVM-Thin vs. ZFS habe ich mal die Werte verglichen. Dazu meine paar Container jeweils auf der entsprechend eingerichteten NVME aktiv bzw. ausgeschaltet (alle Container liefen im Leerlauf).

So schaut das Ergebnis aus:

Bin doch etwas beeindruckt, wie viel Speicher ZFS bei ausgeschalteten Container in Anspruch nimmt.

Zuerst war mein Plan, einfach auf 32 GB RAM aufrüsten. Soweit ich es hier aber verstanden habe, nehmen die Schreib/Lesezyklen bei ZFS auch um einiges zu, was einfachen Comsumer-SSD auf die Dauer nicht bekommt. Kann aber absolut nicht abschätzen, ob bei meiner simplen Hausautomation dann eine Lebensdauer der NVME von 10 anstelle 15 Jahren zu erwarten wäre oder die Platte nach 3 Jahren abraucht

Was ich leider noch immer nicht wirklich gefunden habe ist ein einfacher Vergleich der Möglichkeiten von LVM-thin und ZFS.

[A Former User]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Bin doch etwas beeindruckt, wie viel Speicher ZFS bei ausgeschalteten Container in Anspruch nimmt.

Moin,

ich glaube, Du verwechselst da etwas, das Betriebssystem nimmt sich den/allen freien Speicher, um Caches für Schreib-, Leseaktionen zu haben, kommt jetzt ein neuer Container/VM oder es werden andere/neue Programme gestartet, dann gibt das Betriebssystem den Speicher wieder ab.

Hier mal ein Wiki Beitrag, https://wiki.debianforum.de/Linux_Speichermanagement

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

uerst war mein Plan, einfach auf 32 GB RAM aufrüsten. Soweit ich es hier aber verstanden habe, nehmen die Schreib/Lesezyklen bei ZFS auch um einiges zu, was einfachen Comsumer-SSD auf die Dauer nicht bekommt. Kann aber absolut nicht abschätzen, ob bei meiner simplen Hausautomation dann eine Lebensdauer der NVME von 10 anstelle 15 Jahren zu erwarten wäre oder die Platte nach 3 Jahren abraucht

Wirklich, mach daraus keine Raketenwissenschaft, benutze es, das was Du, ich hier zu Hause anstellen, ist wirklich nicht der Rede wert, das verkraften die Dinger allemal.

ZFS ist eine Technologie, die man nicht einfach einsetzt, sondern man muss sich damit auseinandersetzen, verstehen wie sie funktioniert, nicht alles wird über die Proxmox WEB-Gui erledigt, viele Einstellungen und auch das Tuning von ZFS sind auf der Kommandozeile zu erledigen.
Das führt hier aber wirklich zu weit, der durch Proxmox voreingestellte Standard sollte sowohl im Heimbereich als auch für KMUs einsetzbar sein, erst wenn Du im Rechenzentrum bist, kommen andere Technologien und auch andere Einstellungen zum Tragen.

VG
Bernd