Proxmox auf NVMe M.2 oder auf SSD installieren?
-
Nachdem mein Lenovo M910q gekommen ist, habe ich folgende Optionen, Proxmox und die Container mit ioBroker, InfluxDB, Grafana etc. zu installieren:
Verbaute SSDs:
- NVMe: Crucial P3 NVMe SSD 1 TB
- SSD: Geonix gold edition 256 GB
Ich will mit dem System die typischen Heim-Spielereien wie Stromverbräuche, Lichtschalter, Temperaturen etc. abgreifen - also im Grunde ja nix Spektakuläres. Was ratet ihr mir zur Aufteilung des OS, der Container und der Daten auf die zwei SSDs? Die Genonix (ja, habe ich auch noch nie von gehört) kann und werde ich vermutlich noch gegen eine Markenplatte mit 1 TB austauschen. Langzeitarchive sollen dann mal auf die NAS ausgelagert werden. Wobei - wer braucht schon die tagesaktuellen Stromverbräuche von vor 3 Jahren
Mir ist nur irgendwie wichtig, dass das OS Debian mit Proxmox und die Container auf unterschiedlichen Datenträger liegen. Wie das mit den Daten nachher ist weiß ich selber auch noch nicht. Momentan läuft ja alles noch in einem Docker-Kuddelmuddel auf meiner NAS.
Viele Grüße
Markus -
@markus-7 deine Maschinen natürlich auf die schnellere Platte.
Bei Proxmox selbst spielt die Geschwindigkeit keine große Rolle
Für ein paar kleinere Spielerein, wie du es beschreibst, brauchst du allerdings keine 2 Platten a 1TB
-
@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Mir ist nur irgendwie wichtig, dass das OS Debian mit Proxmox und die Container auf unterschiedlichen Datenträger liegen.
Moin,
Dein Grundgedanke ist schon mal völlig richtig.
Also ich würde mir, auf eine M.2 (NVMe) ~ 256-512 GB das reine Proxmox installieren, evtl. mit den Dateisystemen für
, dies sind die Verzeichnisse, auf die Du die ISO Imagesfür die VMs legst oder die Container Templates ablegst, Backup, VM -Disk, CT-Volumes braucht man da nicht, das ist dann besser auf der zweiten M.2 besser aufgehoben.Für einige LXC Container ist das Medium, auf dem sie installiert sind, nicht so wichtig, da es oft so ist, dass das meiste nach dem Start im Speicher läuft und daher auch die Größe der M.2 oder SSD zweitrangig ist, aber 1 TB sollte für die meisten Fälle reichen, auch wenn Du viele kleine LXC Container anlegst, oder Dir Test Container zum Testen und Spielen anlegst, die sind ja dann nicht immer gestartet.
Wie aus dem Absatz zuvor schon herauszuhören ist, ist Dein Vorhaben eher vom Hauptspeicher abhängig, da solltest Du über kurz oder lang nachdenken, auf das Maximum aufzurüsten,
ioBroker,influxDBundGrafanadanken es Dir, wenn sie ausreichend Speicher zur Verfügung haben.VG
Bernd -
@dp20eic Wie groß sollte denn der Speicher bei influxDB2 und Grafana sein? Ich hab derzeit nur 8GB RAM.
-
@rene55 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
@dp20eic Wie groß sollte denn der Speicher bei influxDB2 und Grafana sein? Ich hab derzeit nur 8GB RAM.
Moin,
laut Radio Eriwan, das hängt ein bisschen davon ab, was Du machst.
Wenn man schaut, was/wie auf einem Rechner läuft, dann findet man folgende Komponenten:
- Proxmox/Betriebssystem
- VMs brauchen bekanntlich etwas mehr,
- da sie ja das Betriebssystem und
- die Applikationen beinhalten
- LXC Container nutzen schon Ressourcen von Proxmox
- damit steigt für jeden LXC Container, auch der Verbrauch im Proxmox etwas
Vorausgesetzt Du nutzt LXC Container
ioBroker~4 GB, das reicht bei mir für- ca. 25 Instanzen, ich nutze nicht viel Skripte, nur einige wenige Blockly Skripte
influxDB~ 2 GB, aber ich habe drei davon am Laufen, da ich noch etwas damit herumspiele.Grafana, die braucht nicht wirklich viel, die ist nur ca. 0,5 GB groß, habe ca. 25 Dashboards, mit ca. 40 Panels.
Das macht
4 + 2 + 0,5 = 6,5 GB, somit blieben dann ~ 1,5 GB für Proxmox zum Arbeiten.
So war ich eine ganze Zeit auch unterwegs, dann kamen aber noch andere Spielereien, DMS - paperless-ngx, Loki, Nextcloud, CCTV usw. dazu, somit habe ich die alte Kiste auf 32 GB aufgerüstet.
Die zwei neuen Kisten werden aber jeweils schon 64 GB haben.VG
Bernd -
@dp20eic Hallo Bernd, danke für die ausführliche Erklärung. Ich hab für Influx und Grafana jeweils 2048 kB vorgesehen - daher scheine ich ja gut aufgestellt zu sein. Meine Büchse ist nur so'n kleiner Fujitsu, sollte halt sparsam sein. Muss mal in den Spez schauen, ob der auch 16 GB kann - mehr bestimmt nicht.
-
@rene55 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Grafana jeweils 2048 kB
Moin,
wie gesagt,
Grafanabraucht gar nicht so viel, die abfragen, die Du für die Panels schreibst, werden ja auf derinfluxBDbelastet, das Anzeigen der Panels und Dashboards scheint mir auch nicht so Speicherhungrig zu sein, es kommen aber immer neue interessante Sachen dazu, somit kann es dann schon mal sein, das eine Visualisierung, z. B. 3D, Canvas Animationen, mehr Speicher braucht.
Die normalenTime seriesdagegen brauchen da nicht wirklich viel Ressourcen.
Besser ist es, dem Betriebssystem Speicher zum Atmen zu lassen, das OS verwendet das dann schon sinnvoll, für Cache, zum Schreiben/Lesen der Daten, oder wenn mal ein Prozess etwas mehr braucht, so steht Speicher zur Verfügung und das System muss nicht anfangen zu Swappen.Wichtig ist, dass Du die Ressourcen im Auge behältst, in Proxmox gibt es die Möglichkeit, Metriken an eine
influxDBzu senden, und fürGrafanagibt es da ein Dashboard, das Dir diese Daten aufbereitet.
Bei Fragen dazu, gern in einem anderen Thread.
VG
Bernd -
Danke für eure Einschätzungen bezüglich der Plattenverteilung. Mein Lenovo M910q hat 16 GB RAM, das sollte für die ersten Spielereien mal reichen.
Ich habe jetzt Proxmox auf der SSD und versuche gerade verzweifelt, die NVME mit unterschiedlichen Partitionen in Proxmox einzubinden. Das gelingt mir nur nicht, ich kann sie nur "als Ganzes" als LVM, Verzeichnis oder ZFS einbinden. Wenn ich sie vorher per Hand partitioniert und gemountet habe, lässt sie sich nicht mehr in Proxmox verwenden, obwohl ich dort dann alle Partitionen sehe
Ich dachte, ich könne mit einzelnen Partitionen arbeiten, aber anscheinend geht das nur mit ganzen Datenträgern (ohne Partitionen)
-
@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Mir ist nur irgendwie wichtig, dass das OS Debian mit Proxmox und die Container auf unterschiedlichen Datenträger liegen.
Moin,
Dein Grundgedanke ist schon mal völlig richtig.Weil übersichtlicher ist, oder weil es wirklich Sinn macht?
Bekomme vermutlich bald einen Nuc, wo aber vermutlich dann nur eine m2 SSD rein passt.
-
@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Ich habe jetzt Proxmox auf der SSD und versuche gerade verzweifelt, die NVME mit unterschiedlichen Partitionen in Proxmox einzubinden.
Moin,
also was denkst Du, erreichst Du mit nur einer SSD/M.2.
Die SSD für Proxmox ist ja schon mal gut, auf dies Platte kannst Du dann auch die Verzeichnisse legen für lokale Backups, Templates, ISO Images.
Wobei- Backup, für lokale Backups, der VMs/LXC Container
- ISO Images, für die VMs
- Container Template, für die LXC Container
Dann hast Du noch die M.2, diese z. B.
Um die gesamte Platte dem ZFS Pool zuzuweisen.Hier habe ich die gleiche Platte in 5 Einzelpartitionen aufgeteilt
Und wenn ich dann auch wieder ZFS Pools erstelle, kann ich jedem Pool eine Partition zuweisen
Du bekommst dadurch aber keine Ausfallsicherheit und machst Dir evtl. nur das Leben schwerer, denn Du kannst dann nicht mehr reagieren, wenn Dir der Speicher in einem Pool ausgeht, dann müsstest Du eine neue Platte einbauen und dem Pool die neue Platte/Partition zusätzlich zuweisen. Das geht hier aber weit über das hinaus, was ich bereit bin hier im Forum zu erklären.
Im privaten Bereich kannst Du ruhig alles auf eine SSD/M.2 machen, wenn Du wie geschehen Betriebssystem und VM/LXC Container trennst sollte das schon passen.
LVM erkläre ich hier auch nicht, Du darfst nur die Partition erstellen, nicht formatieren, das kannst Du mittels
cfdisk /dev/nvmeich habe fünf alte SSD je 2 zu einem Raid 1, so das ich ein mal ein Pool habe für LXC Container ct_data und einmal ein zweites Raid 1 für VMs vm_data beides ist als ZFS eingerichtet, da es wie auch btrfs Software Raid kann und mir das Verwalten so erleichtert.
Also was denkst Du zu erreichen mit Partitionieren der NVME?
VG
BerndP.S.: so sieht es dann aus, wenn ich aus meinem Tempalte ein neuen LXC Container anlege, ich kann mir aussuchen auf welchen Pool ich ihn legen möchte
-
@dp20eic sollte man nicht bei zfs auch den verfügbaren Ram mit in Betracht ziehen?
-
@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Weil übersichtlicher ist, oder weil es wirklich Sinn macht?
Bekomme vermutlich bald einen Nuc, wo aber vermutlich dann nur eine m2 SSD rein passt.Moin,
habe gerade @Markus-7 geantwortet. Es ist immer eine Frage, was will man erreichen.
In produktieven Umgebungen, hast Du ja meist größere Installationen, mit zig Platten oder NAS im 100 TB Bereichen oder iSCSI oder, oder, da kann man sich auch den Luxus Ceph-Cluster usw. erlauben um Speicher ausfallsicher zu machen.
Im Heimbereich, kann man meiner Meinung nach das Betriebssystem von den Daten trennen, wenn man dann noch einen externen Speicher, z. B. USB-Platte oder NAS hat, auf dem die Backups landen, dann sollte das ausreichen.
Wenn Du nur eine SSD, mit 1-2 TB, verbaut bekommst, dann solltest Du einfach bei der Ersteinrichtung, dem Betriebssystem so um die 25 % Platz geben, also 256 - 512 GB, das sollte allemal ausreichen für Proxmox und den Template/ISO Images, und dem einen oder anderen Backup, das man mal schnell macht, um mal kurz etwas zu spielen.
Die restlichen 75 % sollten dann für die VMs und LXC Container reichen, also zwei(drei) Partitionen- efi boot Partition ~300 MB
- / <-
root Partitionfür das OS ~ 250 - 500 MB
3 ct_vm_data <- für die VM/LXC ~ 750 - 1500 MB
VG
Bernd -
@crunchip sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
sollte man nicht bei zfs auch den verfügbaren Ram mit in Betracht ziehen?
Moin,
ja, das sollte man.
Meist sind die Installation aber klein genug, sodass das nicht so ins Gewicht fällt. Muss mal suchen, da gab es mal bei Proxmox, eine Auflistung zu. Definitiv, sollte man kein ZFS nutzen, wenn man nur >= 4 GB Memory hat, dann passt das nicht zueinander, dann lohnt sich aber auch kein Proxmox
8 GB Memory sollte da das Minimum sein.Hab mal wieder ohne zu denken einfach das gemacht, was ich tue, ZFS muss nicht sein, mir hat es gefallen, da ich 5 SSD eingebaut habe und so ein Raid 1 bauen kann, ohne darüber zu viel nachdenken zu müssen
Also es ist alles möglich, man kann auch mit
btrfsoder LVM glücklich werden. Schmeiße mal den Test von eben weg und mache das ganze mal mitext4formatierten Partitionen, sollte glaube ich auch gehen.Melde mich dazu gleich noch mal.
VG
Bernd -
@dp20eic said in Proxmox auf NVMe M.2 oder auf SSD installieren?:
[...]Also was denkst Du zu erreichen mit Partitionieren der NVME?
[...]Hallo Bernd,
lieben Dank für deine ausführliche Antwort, so langsam komme ich in die Thematik rein. Ich lese viel über Proxmox und Linux allgemein, schaue Tutorials an etc., aber manchmal stehe ich dann doch wie der Ochs vorm Berg und freue mich über die Hilfe hier im Forum
Mein Gedankengang für die unterschiedlichen NVME-Partitionen war einfach, dass es "irgendwie" übersichtlicher wäre.
Jetzt habe ich den Gedanken an die Übersichtlichkeit im Grunde verworfen, da ich mit meinen bescheidenen 2 SSDs /NVMEs und vielleicht später mit 5 produktiven Container auch so noch die Übersicht behalten werden - hoffe ich zumindest
Ich habe jetzt zum Test die NVME als LVM eingebunden und alle Container darin erstellt:
Ich schaue mir auf jeden Fall aber auch noch die ZFS-Geschichte an.
Bezüglich Systemperformance: Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird, mein bisheriges ioBroker-System als Docker-Lösung auf meiner NAS braucht im Schnitt auch nicht mehr wie 5 GB
-
@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird
ZFS ist bekannt für den Speicherhunger.
-
@dp20eic
Danke für die sehr ausführlichen Antworten.
Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.Hat es, wenn die Partitionen auf einer Platte sind wirklich Vorteile oder eben Nachteile?
Wenn ich das System zerschieße muss ich es neu aufsetzen und Backups einspielen. Da nehme ich ja nicht die Daten der alten Installation von den VMs von der anderen Partition (oder von einer physisch anderen Platte) .
Man stellt doch immer aus Backups wieder her?
Wenn die SSD abschmiert sind mir die Partitionen auch egal.Ich sehe bei 2 Partitionen auf einer Platte nur den Nachteil, dass ich ggf Speicher verschenke, da Partition A ggf noch welchen frei hat den Partition B brauchen kann. Auch wenn man nie so voll laufen sollte...
-
@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.
Sieht mir eher nach einem Forschungsprojekt aus. Danach kannst du ja hier, wenn du möchtest, alle erleuchten.
-
Habe nur gefragt, warum es empfohlen wird.
Da hab ich (aus meiner Sicht) keine Antwort zu gefunden.Wie man welchen Speicherlool aufbaut habe ich gelesen, auch dass es im großen Firmen riesige Aufbauten gibt.
Wenn man etwas empfiehlt, sollte man es ja kurz begründen können. Ggf auch nur im Hinblick zu den Fragen vom Fragesteller.
Und wenn die Antwort nur ist, dass es übersichtlicher ist. Muss ja nichtmal hoch kompliziert sein, wenn es das nicht ist. -
@meister-mopper said in Proxmox auf NVMe M.2 oder auf SSD installieren?:
@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird
ZFS ist bekannt für den Speicherhunger. [...]
Okeeey - überzeugt - dann werde ich einfach mal bei LVM bleiben
-
@meister-mopper sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:
ZFS ist bekannt für den Speicherhunger.
Moin,
ich kann die von Dir gezeigten Informationen nicht einordnen, aber ja
ZFSfühlt sich wohler, wenn Speicher da ist, gerade wenn man Kompression, Deduplizierung und was weiß ich, noch nutzen kann.
Ich muss gestehen, dass ich mirZFSnur rudimentär angeeignet habe, und alle Spezialitäten nicht kenne. Mir war es vor 2 Jahren halt recht simpel vorgekommen, das habe ich aber auch von LVM auf den Rechnern davor gesagt, man muss einfach schauen, was man will.- LVM ist gut, denn da kann man recht einfach die Volumes vergrößer/verkleinern
- ZFS ist halt ein modernes ausgereiftes Filesystem, mit vielen Features
btrfsschlägt halt in die Kerbe vonZFS, nutze ich auf allen PCs, Laptops. War als ich Proxmox anfing zu nutzen halt noch in der Beta Phase, daher wollte ich es da nicht nutzen.- ...
Wenn ich irgendwann meine zwei Kisten, Backed by Kickstarter, bekomme, dann kann ich da sowas von aus dem Vollen schöpfen, dass ich mir da vielleicht auch
CephantueVG
Bernd
