Proxmox auf NVMe M.2 oder auf SSD installieren?

[Rene55]

@dp20eic Hallo Bernd, danke für die ausführliche Erklärung. Ich hab für Influx und Grafana jeweils 2048 kB vorgesehen - daher scheine ich ja gut aufgestellt zu sein. Meine Büchse ist nur so'n kleiner Fujitsu, sollte halt sparsam sein. Muss mal in den Spez schauen, ob der auch 16 GB kann - mehr bestimmt nicht.

[A Former User]

@rene55 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Grafana jeweils 2048 kB

Moin,

wie gesagt, Grafana braucht gar nicht so viel, die abfragen, die Du für die Panels schreibst, werden ja auf der influxBD belastet, das Anzeigen der Panels und Dashboards scheint mir auch nicht so Speicherhungrig zu sein, es kommen aber immer neue interessante Sachen dazu, somit kann es dann schon mal sein, das eine Visualisierung, z. B. 3D, Canvas Animationen, mehr Speicher braucht.
Die normalen Time series dagegen brauchen da nicht wirklich viel Ressourcen.
Besser ist es, dem Betriebssystem Speicher zum Atmen zu lassen, das OS verwendet das dann schon sinnvoll, für Cache, zum Schreiben/Lesen der Daten, oder wenn mal ein Prozess etwas mehr braucht, so steht Speicher zur Verfügung und das System muss nicht anfangen zu Swappen.

Wichtig ist, dass Du die Ressourcen im Auge behältst, in Proxmox gibt es die Möglichkeit, Metriken an eine influxDB zu senden, und für Grafana gibt es da ein Dashboard, das Dir diese Daten aufbereitet.

Bei Fragen dazu, gern in einem anderen Thread.

VG
Bernd

[Markus 7]

Danke für eure Einschätzungen bezüglich der Plattenverteilung. Mein Lenovo M910q hat 16 GB RAM, das sollte für die ersten Spielereien mal reichen.

Ich habe jetzt Proxmox auf der SSD und versuche gerade verzweifelt, die NVME mit unterschiedlichen Partitionen in Proxmox einzubinden. Das gelingt mir nur nicht, ich kann sie nur "als Ganzes" als LVM, Verzeichnis oder ZFS einbinden. Wenn ich sie vorher per Hand partitioniert und gemountet habe, lässt sie sich nicht mehr in Proxmox verwenden, obwohl ich dort dann alle Partitionen sehe

Ich dachte, ich könne mit einzelnen Partitionen arbeiten, aber anscheinend geht das nur mit ganzen Datenträgern (ohne Partitionen)

[David G.]

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Mir ist nur irgendwie wichtig, dass das OS Debian mit Proxmox und die Container auf unterschiedlichen Datenträger liegen.

Moin,
Dein Grundgedanke ist schon mal völlig richtig.

Weil übersichtlicher ist, oder weil es wirklich Sinn macht?

Bekomme vermutlich bald einen Nuc, wo aber vermutlich dann nur eine m2 SSD rein passt.

[A Former User]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich habe jetzt Proxmox auf der SSD und versuche gerade verzweifelt, die NVME mit unterschiedlichen Partitionen in Proxmox einzubinden.

Moin,

also was denkst Du, erreichst Du mit nur einer SSD/M.2.

Die SSD für Proxmox ist ja schon mal gut, auf dies Platte kannst Du dann auch die Verzeichnisse legen für lokale Backups, Templates, ISO Images.

Wobei

• Backup, für lokale Backups, der VMs/LXC Container
• ISO Images, für die VMs
• Container Template, für die LXC Container
  • 

Dann hast Du noch die M.2, diese z. B.


Um die gesamte Platte dem ZFS Pool zuzuweisen.

Hier habe ich die gleiche Platte in 5 Einzelpartitionen aufgeteilt

Und wenn ich dann auch wieder ZFS Pools erstelle, kann ich jedem Pool eine Partition zuweisen

Du bekommst dadurch aber keine Ausfallsicherheit und machst Dir evtl. nur das Leben schwerer, denn Du kannst dann nicht mehr reagieren, wenn Dir der Speicher in einem Pool ausgeht, dann müsstest Du eine neue Platte einbauen und dem Pool die neue Platte/Partition zusätzlich zuweisen. Das geht hier aber weit über das hinaus, was ich bereit bin hier im Forum zu erklären.

Im privaten Bereich kannst Du ruhig alles auf eine SSD/M.2 machen, wenn Du wie geschehen Betriebssystem und VM/LXC Container trennst sollte das schon passen.

LVM erkläre ich hier auch nicht, Du darfst nur die Partition erstellen, nicht formatieren, das kannst Du mittels

cfdisk /dev/nvme

ich habe fünf alte SSD je 2 zu einem Raid 1, so das ich ein mal ein Pool habe für LXC Container ct_data und einmal ein zweites Raid 1 für VMs vm_data beides ist als ZFS eingerichtet, da es wie auch btrfs Software Raid kann und mir das Verwalten so erleichtert.

Also was denkst Du zu erreichen mit Partitionieren der NVME?

VG
Bernd

P.S.: so sieht es dann aus, wenn ich aus meinem Tempalte ein neuen LXC Container anlege, ich kann mir aussuchen auf welchen Pool ich ihn legen möchte

[crunchip]

@dp20eic sollte man nicht bei zfs auch den verfügbaren Ram mit in Betracht ziehen?

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Weil übersichtlicher ist, oder weil es wirklich Sinn macht?
Bekomme vermutlich bald einen Nuc, wo aber vermutlich dann nur eine m2 SSD rein passt.

Moin,

habe gerade @Markus-7 geantwortet. Es ist immer eine Frage, was will man erreichen.

In produktieven Umgebungen, hast Du ja meist größere Installationen, mit zig Platten oder NAS im 100 TB Bereichen oder iSCSI oder, oder, da kann man sich auch den Luxus Ceph-Cluster usw. erlauben um Speicher ausfallsicher zu machen.
Im Heimbereich, kann man meiner Meinung nach das Betriebssystem von den Daten trennen, wenn man dann noch einen externen Speicher, z. B. USB-Platte oder NAS hat, auf dem die Backups landen, dann sollte das ausreichen.
Wenn Du nur eine SSD, mit 1-2 TB, verbaut bekommst, dann solltest Du einfach bei der Ersteinrichtung, dem Betriebssystem so um die 25 % Platz geben, also 256 - 512 GB, das sollte allemal ausreichen für Proxmox und den Template/ISO Images, und dem einen oder anderen Backup, das man mal schnell macht, um mal kurz etwas zu spielen.
Die restlichen 75 % sollten dann für die VMs und LXC Container reichen, also zwei(drei) Partitionen

1. efi boot Partition ~300 MB
2. / <- root Partition für das OS ~ 250 - 500 MB
   3 ct_vm_data <- für die VM/LXC ~ 750 - 1500 MB

VG
Bernd

[A Former User]

@crunchip sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

sollte man nicht bei zfs auch den verfügbaren Ram mit in Betracht ziehen?

Moin,

ja, das sollte man.
Meist sind die Installation aber klein genug, sodass das nicht so ins Gewicht fällt. Muss mal suchen, da gab es mal bei Proxmox, eine Auflistung zu. Definitiv, sollte man kein ZFS nutzen, wenn man nur >= 4 GB Memory hat, dann passt das nicht zueinander, dann lohnt sich aber auch kein Proxmox
8 GB Memory sollte da das Minimum sein.

Hab mal wieder ohne zu denken einfach das gemacht, was ich tue, ZFS muss nicht sein, mir hat es gefallen, da ich 5 SSD eingebaut habe und so ein Raid 1 bauen kann, ohne darüber zu viel nachdenken zu müssen

Also es ist alles möglich, man kann auch mit btrfs oder LVM glücklich werden. Schmeiße mal den Test von eben weg und mache das ganze mal mit ext4 formatierten Partitionen, sollte glaube ich auch gehen.

Melde mich dazu gleich noch mal.

VG
Bernd

[Markus 7]

@dp20eic said in Proxmox auf NVMe M.2 oder auf SSD installieren?:
[...]

Also was denkst Du zu erreichen mit Partitionieren der NVME?
[...]

Hallo Bernd,

lieben Dank für deine ausführliche Antwort, so langsam komme ich in die Thematik rein. Ich lese viel über Proxmox und Linux allgemein, schaue Tutorials an etc., aber manchmal stehe ich dann doch wie der Ochs vorm Berg und freue mich über die Hilfe hier im Forum

Mein Gedankengang für die unterschiedlichen NVME-Partitionen war einfach, dass es "irgendwie" übersichtlicher wäre.
Jetzt habe ich den Gedanken an die Übersichtlichkeit im Grunde verworfen, da ich mit meinen bescheidenen 2 SSDs /NVMEs und vielleicht später mit 5 produktiven Container auch so noch die Übersicht behalten werden - hoffe ich zumindest

Ich habe jetzt zum Test die NVME als LVM eingebunden und alle Container darin erstellt:

Ich schaue mir auf jeden Fall aber auch noch die ZFS-Geschichte an.

Bezüglich Systemperformance: Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird, mein bisheriges ioBroker-System als Docker-Lösung auf meiner NAS braucht im Schnitt auch nicht mehr wie 5 GB

[Meister Mopper]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird

ZFS ist bekannt für den Speicherhunger.

[David G.]

@dp20eic

Danke für die sehr ausführlichen Antworten.
Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Hat es, wenn die Partitionen auf einer Platte sind wirklich Vorteile oder eben Nachteile?

Wenn ich das System zerschieße muss ich es neu aufsetzen und Backups einspielen. Da nehme ich ja nicht die Daten der alten Installation von den VMs von der anderen Partition (oder von einer physisch anderen Platte) .
Man stellt doch immer aus Backups wieder her?
Wenn die SSD abschmiert sind mir die Partitionen auch egal.

Ich sehe bei 2 Partitionen auf einer Platte nur den Nachteil, dass ich ggf Speicher verschenke, da Partition A ggf noch welchen frei hat den Partition B brauchen kann. Auch wenn man nie so voll laufen sollte...

[Meister Mopper]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Sieht mir eher nach einem Forschungsprojekt aus. Danach kannst du ja hier, wenn du möchtest, alle erleuchten.

[David G.]

@meister-mopper

Habe nur gefragt, warum es empfohlen wird.
Da hab ich (aus meiner Sicht) keine Antwort zu gefunden.

Wie man welchen Speicherlool aufbaut habe ich gelesen, auch dass es im großen Firmen riesige Aufbauten gibt.

Wenn man etwas empfiehlt, sollte man es ja kurz begründen können. Ggf auch nur im Hinblick zu den Fragen vom Fragesteller.
Und wenn die Antwort nur ist, dass es übersichtlicher ist. Muss ja nichtmal hoch kompliziert sein, wenn es das nicht ist.

[Markus 7]

@meister-mopper said in Proxmox auf NVMe M.2 oder auf SSD installieren?:

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird

ZFS ist bekannt für den Speicherhunger. [...]

Okeeey - überzeugt - dann werde ich einfach mal bei LVM bleiben

[A Former User]

@meister-mopper sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

ZFS ist bekannt für den Speicherhunger.

Moin,

ich kann die von Dir gezeigten Informationen nicht einordnen, aber ja ZFS fühlt sich wohler, wenn Speicher da ist, gerade wenn man Kompression, Deduplizierung und was weiß ich, noch nutzen kann.
Ich muss gestehen, dass ich mir ZFS nur rudimentär angeeignet habe, und alle Spezialitäten nicht kenne. Mir war es vor 2 Jahren halt recht simpel vorgekommen, das habe ich aber auch von LVM auf den Rechnern davor gesagt, man muss einfach schauen, was man will.

• LVM ist gut, denn da kann man recht einfach die Volumes vergrößer/verkleinern
• ZFS ist halt ein modernes ausgereiftes Filesystem, mit vielen Features
• btrfs schlägt halt in die Kerbe von ZFS, nutze ich auf allen PCs, Laptops. War als ich Proxmox anfing zu nutzen halt noch in der Beta Phase, daher wollte ich es da nicht nutzen.
• ...

Wenn ich irgendwann meine zwei Kisten, Backed by Kickstarter, bekomme, dann kann ich da sowas von aus dem Vollen schöpfen, dass ich mir da vielleicht auch Ceph antue

VG
Bernd

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Moin,

simpel sind die nicht

Es ist schon etwas kompliziert und es hängt immer davon ab, was Du erreichen willst.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Hat es, wenn die Partitionen auf einer Platte sind wirklich Vorteile oder eben Nachteile?

Ja

Ne, im Ernst, Vorteile, ganz allgemein, nicht nur für Proxmox

• trenne User-Daten vom Betriebssystem
  • User-Daten, das kann ein Home-Verzeichnis sein, bei Linux /home/user_name
  • für Proxmox könnte das, ct_data, vm_data sein
• Partitionieren kann auch die Sicherheit erhöhen, weil dann vielleicht zwar das Log - File System /var/log voll läuft, aber der Rest arbeitet weiter.
• ...
  Nachteil,
• bei kleinen Platten passt irgendwann die Größe nicht, dann ist mal die eine Partition zu klein, dann die andere.
• Partitionen bedeuten nicht automatisch bessere Sicherheit, denn es ist immer noch, nur eine Platte, wenn kaputt, dann kaputt. Grob gesagt.
• ...

Neutral

• Es macht keinen Unterschied, in den Zugriffen / Schreibgeschwindigkeiten, ob Du Partitionierst oder die Platte ganz lässt.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn ich das System zerschieße muss ich es neu aufsetzen und Backups einspielen.

Ja, VMs/LXC Container kann man immer aus den vorhandenen Backups wieder herstellen
Proxmox, kann man auch sichern, per Backup, dann könnte man das auch wieder herstellen, da ist die Frage eher, was geht schneller, neu Aufsetzen oder Restore.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich sehe bei 2 Partitionen auf einer Platte nur den Nachteil, dass ich ggf Speicher verschenke, da Partition A ggf noch welchen frei hat den Partition B brauchen kann. Auch wenn man nie so voll laufen sollte...

Daher ja meine Anmerkung oben, wenn nur eine Platte vorhanden, dann ~ 25 % davon für das OS / Proxmox, den Rest in eine zweite Partition für den Rest an LXC/VM, somit stimmt dann auch wieder, dass die User Daten vom Betriebssystem getrennt sind.

VG
Bernd

[A Former User]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Habe nur gefragt, warum es empfohlen wird.

Moin,

habe schon lange kein Proxmox installiert, wenn da etwas empfohlen wird, dann steht meist auch eine Begründung dabei. Eins sollte man nicht vergessen, Proxmox ist ein Profisystem, das in Rechenzentren eingesetzt wird, dass wir das nutzen können, ist eine Zugabe der Proxmox Server Solutions GmbH, das wir das im Heimbetrieb nutzen ist eher die Ausnahme als die Regel.
Im Rechenzentrumsbetrieb, Partitioniert man wegen DSGVO, Verschlüsselung von Laufwerken, Mandanten und so'm kleinkram
Man will da ganz klar trennen, die haben aber auch kein Problem, denn da wird zwar auch hart kalkuliert, aber nicht so wie das im Heimbetrieb gemacht wird, so billig wie möglich, aber soll alles haben, viel Speicher, Platten en mas und am Ende steht ein Rechner da, mit 8 GB Memory und einer 256 GB Harddisk.

Also, lassen wir die Kirche mal im Dorf und einigen uns darauf

• wenn nur eine Platte max die drei wichtigen Partitionen
  • efi boot ~300 MB
  • OS / Proxmox ~ 25 % der Platte
  • Rest für die VMs/LXCs

Das sollte für den Start reichen, extern NAS oder USB-Platte für die wichtigen Backups, nicht vergessen.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Da hab ich (aus meiner Sicht) keine Antwort zu gefunden.

Ich will ja versuchen alles zu erklären, nur manchmal mache ich halt auch noch Sachen die Spaß machen

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn man etwas empfiehlt, sollte man es ja kurz begründen können. Ggf auch nur im Hinblick zu den Fragen vom Fragesteller.
Und wenn die Antwort nur ist, dass es übersichtlicher ist. Muss ja nichtmal hoch kompliziert sein, wenn es das nicht ist.

Wer hat denn da was empfohlen?
Ich habe da nur Fragen gesehen und ich habe da nur meine Meinung zu kundgetan.
Es gibt auch nicht immer nur eine Antwort, die alle glücklich macht, dann muss man wohl oder übel die Antwort für sich selbst finden

VG
Bernd

[Markus 7]

Passt thematisch nicht ganz hier rein - aber vielleicht weiß ja doch einer auf die Schnelle, ob ich das Problem beheben kann:

Ich bekomme die Meldung, dass Snapshots meiner Container nicht möglich sind:

So wie ich es hier gelesen habe, gehen Schnappschüsse unter LVS nicht.
Also doch auf LVM-thin oder ZFS umschwenken? Wobei ich ja durch die Backupfunktionalität auf meiner NAS ja schon abgesichert bin. Nur zum "mal schnell testen und dann wieder zurück" ist ein Schnappschuss meiner Ansicht nach besser geeignet, als ein komplettes Backup eines CT.

[A Former User]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

als ein komplettes Backup eines CT.

Moin,

da bist Du schon auf dem richtigen Weg, Snapshots setzten da ein geeignetes Dateisystem voraus, ich glaube, das geht mit btrfs und ZFS
LVM kennt keine Snapshots.

VG
Bernd

P.S.: Aus der Proxmox Doku

Storage Features
LVM thin is a block storage, but fully supports snapshots and clones efficiently. New volumes are automatically initialized with zero.
It must be mentioned that LVM thin pools cannot be shared across multiple nodes, so you can only use them as local storage.

[DJMarc75]

@markus-7

https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_storage

vielleicht hilfts ja