UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[crunchip]

@dp20eic sollte man nicht bei zfs auch den verfügbaren Ram mit in Betracht ziehen?

[Ein ehemaliger Benutzer]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Weil übersichtlicher ist, oder weil es wirklich Sinn macht?
Bekomme vermutlich bald einen Nuc, wo aber vermutlich dann nur eine m2 SSD rein passt.

Moin,

habe gerade @Markus-7 geantwortet. Es ist immer eine Frage, was will man erreichen.

In produktieven Umgebungen, hast Du ja meist größere Installationen, mit zig Platten oder NAS im 100 TB Bereichen oder iSCSI oder, oder, da kann man sich auch den Luxus Ceph-Cluster usw. erlauben um Speicher ausfallsicher zu machen.
Im Heimbereich, kann man meiner Meinung nach das Betriebssystem von den Daten trennen, wenn man dann noch einen externen Speicher, z. B. USB-Platte oder NAS hat, auf dem die Backups landen, dann sollte das ausreichen.
Wenn Du nur eine SSD, mit 1-2 TB, verbaut bekommst, dann solltest Du einfach bei der Ersteinrichtung, dem Betriebssystem so um die 25 % Platz geben, also 256 - 512 GB, das sollte allemal ausreichen für Proxmox und den Template/ISO Images, und dem einen oder anderen Backup, das man mal schnell macht, um mal kurz etwas zu spielen.
Die restlichen 75 % sollten dann für die VMs und LXC Container reichen, also zwei(drei) Partitionen

1. efi boot Partition ~300 MB
2. / <- root Partition für das OS ~ 250 - 500 MB
   3 ct_vm_data <- für die VM/LXC ~ 750 - 1500 MB

VG
Bernd

[Ein ehemaliger Benutzer]

@crunchip sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

sollte man nicht bei zfs auch den verfügbaren Ram mit in Betracht ziehen?

Moin,

ja, das sollte man.
Meist sind die Installation aber klein genug, sodass das nicht so ins Gewicht fällt. Muss mal suchen, da gab es mal bei Proxmox, eine Auflistung zu. Definitiv, sollte man kein ZFS nutzen, wenn man nur >= 4 GB Memory hat, dann passt das nicht zueinander, dann lohnt sich aber auch kein Proxmox :)
8 GB Memory sollte da das Minimum sein.

Hab mal wieder ohne zu denken einfach das gemacht, was ich tue, ZFS muss nicht sein, mir hat es gefallen, da ich 5 SSD eingebaut habe und so ein Raid 1 bauen kann, ohne darüber zu viel nachdenken zu müssen :)

Also es ist alles möglich, man kann auch mit btrfs oder LVM glücklich werden. Schmeiße mal den Test von eben weg und mache das ganze mal mit ext4 formatierten Partitionen, sollte glaube ich auch gehen.

Melde mich dazu gleich noch mal.

VG
Bernd

[Markus 7]

@dp20eic said in Proxmox auf NVMe M.2 oder auf SSD installieren?:
[...]

Also was denkst Du zu erreichen mit Partitionieren der NVME?
[...]

Hallo Bernd,

lieben Dank für deine ausführliche Antwort, so langsam komme ich in die Thematik rein. Ich lese viel über Proxmox und Linux allgemein, schaue Tutorials an etc., aber manchmal stehe ich dann doch wie der Ochs vorm Berg und freue mich über die Hilfe hier im Forum :-)

Mein Gedankengang für die unterschiedlichen NVME-Partitionen war einfach, dass es "irgendwie" übersichtlicher wäre.
Jetzt habe ich den Gedanken an die Übersichtlichkeit im Grunde verworfen, da ich mit meinen bescheidenen 2 SSDs /NVMEs und vielleicht später mit 5 produktiven Container auch so noch die Übersicht behalten werden - hoffe ich zumindest :grimacing:

Ich habe jetzt zum Test die NVME als LVM eingebunden und alle Container darin erstellt:

Ich schaue mir auf jeden Fall aber auch noch die ZFS-Geschichte an.

Bezüglich Systemperformance: Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird, mein bisheriges ioBroker-System als Docker-Lösung auf meiner NAS braucht im Schnitt auch nicht mehr wie 5 GB

[Meister Mopper]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird

ZFS ist bekannt für den Speicherhunger.

[David G.]

@dp20eic

Danke für die sehr ausführlichen Antworten.
Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Hat es, wenn die Partitionen auf einer Platte sind wirklich Vorteile oder eben Nachteile?

Wenn ich das System zerschieße muss ich es neu aufsetzen und Backups einspielen. Da nehme ich ja nicht die Daten der alten Installation von den VMs von der anderen Partition (oder von einer physisch anderen Platte) .
Man stellt doch immer aus Backups wieder her?
Wenn die SSD abschmiert sind mir die Partitionen auch egal.

Ich sehe bei 2 Partitionen auf einer Platte nur den Nachteil, dass ich ggf Speicher verschenke, da Partition A ggf noch welchen frei hat den Partition B brauchen kann. Auch wenn man nie so voll laufen sollte...

[Meister Mopper]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Sieht mir eher nach einem Forschungsprojekt aus. Danach kannst du ja hier, wenn du möchtest, alle erleuchten.

[David G.]

@meister-mopper

Habe nur gefragt, warum es empfohlen wird.
Da hab ich (aus meiner Sicht) keine Antwort zu gefunden.

Wie man welchen Speicherlool aufbaut habe ich gelesen, auch dass es im großen Firmen riesige Aufbauten gibt.

Wenn man etwas empfiehlt, sollte man es ja kurz begründen können. Ggf auch nur im Hinblick zu den Fragen vom Fragesteller.
Und wenn die Antwort nur ist, dass es übersichtlicher ist. Muss ja nichtmal hoch kompliziert sein, wenn es das nicht ist.

[Markus 7]

@meister-mopper said in Proxmox auf NVMe M.2 oder auf SSD installieren?:

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich schätze dass mir das System mit 16 GB RAM noch ein Weilchen reichen wird

ZFS ist bekannt für den Speicherhunger. [...]

Okeeey - überzeugt - dann werde ich einfach mal bei LVM bleiben :innocent:

[Ein ehemaliger Benutzer]

@meister-mopper sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

ZFS ist bekannt für den Speicherhunger.

Moin,

ich kann die von Dir gezeigten Informationen nicht einordnen, aber ja ZFS fühlt sich wohler, wenn Speicher da ist, gerade wenn man Kompression, Deduplizierung und was weiß ich, noch nutzen kann.
Ich muss gestehen, dass ich mir ZFS nur rudimentär angeeignet habe, und alle Spezialitäten nicht kenne. Mir war es vor 2 Jahren halt recht simpel vorgekommen, das habe ich aber auch von LVM auf den Rechnern davor gesagt, man muss einfach schauen, was man will.

• LVM ist gut, denn da kann man recht einfach die Volumes vergrößer/verkleinern
• ZFS ist halt ein modernes ausgereiftes Filesystem, mit vielen Features
• btrfs schlägt halt in die Kerbe von ZFS, nutze ich auf allen PCs, Laptops. War als ich Proxmox anfing zu nutzen halt noch in der Beta Phase, daher wollte ich es da nicht nutzen.
• ...

Wenn ich irgendwann meine zwei Kisten, Backed by Kickstarter, bekomme, dann kann ich da sowas von aus dem Vollen schöpfen, dass ich mir da vielleicht auch Ceph antue :)

VG
Bernd

[Ein ehemaliger Benutzer]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Jedoch sind für mich die "Simplen" Fragen nicht beantwortet.

Moin,

simpel sind die nicht ;)

Es ist schon etwas kompliziert und es hängt immer davon ab, was Du erreichen willst.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Hat es, wenn die Partitionen auf einer Platte sind wirklich Vorteile oder eben Nachteile?

Ja ;)

Ne, im Ernst, Vorteile, ganz allgemein, nicht nur für Proxmox

• trenne User-Daten vom Betriebssystem
  • User-Daten, das kann ein Home-Verzeichnis sein, bei Linux /home/user_name
  • für Proxmox könnte das, ct_data, vm_data sein
• Partitionieren kann auch die Sicherheit erhöhen, weil dann vielleicht zwar das Log - File System /var/log voll läuft, aber der Rest arbeitet weiter.
• ...
  Nachteil,
• bei kleinen Platten passt irgendwann die Größe nicht, dann ist mal die eine Partition zu klein, dann die andere.
• Partitionen bedeuten nicht automatisch bessere Sicherheit, denn es ist immer noch, nur eine Platte, wenn kaputt, dann kaputt. Grob gesagt.
• ...

Neutral

• Es macht keinen Unterschied, in den Zugriffen / Schreibgeschwindigkeiten, ob Du Partitionierst oder die Platte ganz lässt.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn ich das System zerschieße muss ich es neu aufsetzen und Backups einspielen.

Ja, VMs/LXC Container kann man immer aus den vorhandenen Backups wieder herstellen
Proxmox, kann man auch sichern, per Backup, dann könnte man das auch wieder herstellen, da ist die Frage eher, was geht schneller, neu Aufsetzen oder Restore.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Ich sehe bei 2 Partitionen auf einer Platte nur den Nachteil, dass ich ggf Speicher verschenke, da Partition A ggf noch welchen frei hat den Partition B brauchen kann. Auch wenn man nie so voll laufen sollte...

Daher ja meine Anmerkung oben, wenn nur eine Platte vorhanden, dann ~ 25 % davon für das OS / Proxmox, den Rest in eine zweite Partition für den Rest an LXC/VM, somit stimmt dann auch wieder, dass die User Daten vom Betriebssystem getrennt sind.

VG
Bernd

[Ein ehemaliger Benutzer]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Habe nur gefragt, warum es empfohlen wird.

Moin,

habe schon lange kein Proxmox installiert, wenn da etwas empfohlen wird, dann steht meist auch eine Begründung dabei. Eins sollte man nicht vergessen, Proxmox ist ein Profisystem, das in Rechenzentren eingesetzt wird, dass wir das nutzen können, ist eine Zugabe der Proxmox Server Solutions GmbH, das wir das im Heimbetrieb nutzen ist eher die Ausnahme als die Regel.
Im Rechenzentrumsbetrieb, Partitioniert man wegen DSGVO, Verschlüsselung von Laufwerken, Mandanten und so'm kleinkram :)
Man will da ganz klar trennen, die haben aber auch kein Problem, denn da wird zwar auch hart kalkuliert, aber nicht so wie das im Heimbetrieb gemacht wird, so billig wie möglich, aber soll alles haben, viel Speicher, Platten en mas und am Ende steht ein Rechner da, mit 8 GB Memory und einer 256 GB Harddisk.

Also, lassen wir die Kirche mal im Dorf und einigen uns darauf

• wenn nur eine Platte max die drei wichtigen Partitionen
  • efi boot ~300 MB
  • OS / Proxmox ~ 25 % der Platte
  • Rest für die VMs/LXCs

Das sollte für den Start reichen, extern NAS oder USB-Platte für die wichtigen Backups, nicht vergessen.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Da hab ich (aus meiner Sicht) keine Antwort zu gefunden.

Ich will ja versuchen alles zu erklären, nur manchmal mache ich halt auch noch Sachen die Spaß machen :)

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn man etwas empfiehlt, sollte man es ja kurz begründen können. Ggf auch nur im Hinblick zu den Fragen vom Fragesteller.
Und wenn die Antwort nur ist, dass es übersichtlicher ist. Muss ja nichtmal hoch kompliziert sein, wenn es das nicht ist.

Wer hat denn da was empfohlen?
Ich habe da nur Fragen gesehen und ich habe da nur meine Meinung zu kundgetan.
Es gibt auch nicht immer nur eine Antwort, die alle glücklich macht, dann muss man wohl oder übel die Antwort für sich selbst finden :)

VG
Bernd

[Markus 7]

Passt thematisch nicht ganz hier rein - aber vielleicht weiß ja doch einer auf die Schnelle, ob ich das Problem beheben kann:

Ich bekomme die Meldung, dass Snapshots meiner Container nicht möglich sind:

So wie ich es hier gelesen habe, gehen Schnappschüsse unter LVS nicht.
Also doch auf LVM-thin oder ZFS umschwenken? Wobei ich ja durch die Backupfunktionalität auf meiner NAS ja schon abgesichert bin. Nur zum "mal schnell testen und dann wieder zurück" ist ein Schnappschuss meiner Ansicht nach besser geeignet, als ein komplettes Backup eines CT.

[Ein ehemaliger Benutzer]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

als ein komplettes Backup eines CT.

Moin,

da bist Du schon auf dem richtigen Weg, Snapshots setzten da ein geeignetes Dateisystem voraus, ich glaube, das geht mit btrfs und ZFS
LVM kennt keine Snapshots.

VG
Bernd

P.S.: Aus der Proxmox Doku

Storage Features
LVM thin is a block storage, but fully supports snapshots and clones efficiently. New volumes are automatically initialized with zero.
It must be mentioned that LVM thin pools cannot be shared across multiple nodes, so you can only use them as local storage.

[DJMarc75]

@markus-7

https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_storage

vielleicht hilfts ja ;)

[Markus 7]

@djmarc75

Danke, die Aufstellung hatte ich schon in meinem Post oben verlinkt - aber doppelt genäht hält besser :grin:

[DJMarc75]

@markus-7 sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

hatte ich schon in meinem Post oben verlinkt

wo genau ?
:)

ok, versteckter Link... bitte in Zukunft externe Links nicht verstecken !

https://forum.iobroker.net/topic/51555/hinweise-für-gute-forenbeiträge

[David G.]

Würdet ihr bei einem simplen Setup eher auf Zfs oder LVM thing gehen?
Hab mich auf der Arbeit schon sehr an Snapshots gewöhnt ^^.

Den RAM bei zfs kann man ja vernachlässigen, der kostet ja nicht viel. Was die mehr CPU auslastung wirklich ausmacht, weiß ich nicht. Da habe ich nichts aussagekräftiges gefunden. Falls ich irgendwann mal Kameras anbinde wird ja auch schon was mehr geschrieben.

Beim LVM thing muss ich nur aufpassen, dass ich nicht mehr Speicher vergebe ich ich habe, ist mir mal am qnap passiert 🤣

[Ein ehemaliger Benutzer]

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Würdet ihr bei einem simplen Setup eher auf Zfs oder LVM thing gehen?

Moin,

nur der Korrektheit, der Schreibweisen :)

• ZFS
• LVM-Thin
• LVM
• btrfs

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Den RAM bei zfs kann man ja vernachlässigen,

Nein, ZFS braucht Memory, um die vielen tollen Features nutzen zu können, um ZFS sinnvoll zu nutzen, sollte man schon >= 8 GB Memory haben, bei 1 TB Harddisk.
Es gibt tuning Knöpfe, aber das ist hier dann doch das falsche Forum und man sollte entweder im Proxmox Forum oder bei OpenZFS nachschauen.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Was die mehr CPU auslastung wirklich ausmacht, weiß ich nicht. Da habe ich nichts aussagekräftiges gefunden

Filesysteme sind schon so geschrieben, dass sie die CPU nicht belasten, was natürlich auch immer etwas von der eingesetzten Hardware abhängt, Speichercontroller, intelligente Platten/SSDs, usw.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Da habe ich nichts aussagekräftiges gefunden

Also ich bekomme da gleich mehrere Treffer, ohne genauer zu suchen

• https://forum.proxmox.com/threads/proxmox-ve-zfs-benchmark-with-nvme.80744/
• https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2020-09-hyper-converged-with-nvme.76516/

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Falls ich irgendwann mal Kameras anbinde

Das erschließt sich für mich auch nicht, oder beziehst Du das auf den Speicher (Memory), Deines MiniPCs/NUCs. Dann ja, je mehr Du da installierst, umso mehr Memory brauchst Du und der lässt sich bekanntlich nicht so einfach erweitern, wenn die Kiste das nicht unterstützt, ist aber hier im Forum schon öfter thematisiert worden.

@david-g sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Beim LVM thing muss ich nur aufpassen, dass ich nicht mehr Speicher vergebe ich ich habe, ist mir mal am qnap passiert

Den verstehe ich nicht, ZFS und LVM sind die Logical Volume Manager, die den Speicherpool (Harddisks) verwalten, beiden ist es möglich mehr Speicher den LVs zu geben, als da ist, das ist so lange kein Problem, wie Du die LVs nicht vollschreibst.
Ob eine Überbelegung sinnvoll ist, keine Ahnung, rein von meinem Bauchgefühl, würde ich das nicht tun.

ZFS und LVM lohnen sich, meiner Meinung nach, eher in Umgebungen, in denen mehrere Harddisks im System vorhanden sind und/oder die Möglichkeit genutzt wird, um LVs/Pools zu verkleinern/vergrößern und/oder zusätzliche Platten in LV/Pools aufzunehmen.
Wie Du ja, schon selbst gesagt hast NAS QNAP, sicher mit mehreren Platten.

Wenn ich heute, ein MiniPC/NUC mit nur einer SSD hätte, dann würde ich da Proxmox die gesamte Platte geben und dann über Verzeichnisse den Platz für LXC-Container und VM trennen.

Das muss jeder für sich entscheiden, die Lösung, die man gewählt hat, ist dann festgeschrieben und genauso richtig, wie die, die ein anderer einsetzt. Man muss sich dann da einarbeiten und die Feinheiten lernen.

VG
Bernd

P.S.: Immer bedenken, dass Proxmox ein Profisystem ist und somit Profitools nutzt, die für professionelle Umgebungen gedacht sind, das, was wir da im Heimbereich einsetzten, ist ganz unten an der Fahnenstange, und nutzt das System nur teilweise oder gar nicht aus.

[David G.]

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Nein, ZFS braucht Memory, um die vielen tollen Features nutzen zu können, um ZFS sinnvoll zu nutzen, sollte man schon >= 8 GB Memory haben, bei 1 TB Harddisk.

So habe ich es nicht gemeint. Eher zu vernachlässigen, da man sich diesen günstig im System einbauen kann.

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Filesysteme sind schon so geschrieben, dass sie die CPU nicht belasten

Okay, habe mich versucht über alles was zu informieren. Habe öfters gelesen, dass ZFS auch CPU benötigt zwecks Komprimierung und deduplizierung.

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Falls ich irgendwann mal Kameras anbinde

Das erschließt sich für mich auch nicht

War drauf bezogen, dass dann ja recht viel auf die Platten geschrieben wird und theoretisch, mehr CPU für Komprimierung etc (falls es die denn wirklich braucht) benötigt wird.

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

ZFS und LVM lohnen sich, meiner Meinung nach, eher in Umgebungen, in denen mehrere Harddisks im System vorhanden sind

Hab mein Setup was überarbeitet. Mittlerweile bin ich bei 3 Platten. 2x m2 (System und VMs) und eine HDD für Daten (truenas).

@dp20eic sagte in Proxmox auf NVMe M.2 oder auf SSD installieren?:

Wenn ich heute, ein MiniPC/NUC mit nur einer SSD hätte, dann würde ich da Proxmox die gesamte Platte geben und dann über Verzeichnisse den Platz für LXC-Container und VM trennen.

Dachte eher die 25% 75%.

ZFS und LVM-Tin hat mich wegen den Snapshots sehr an gelacht. Das genieße ich auf der Arbeit sehr bei VMware.