suche tipp - usb3 externes case -raid

BananaJoe

@liv-in-sky Ich habe das weniger als Lösung sondern mehr als Beispiel welche Geschwindigkeiten an USB 3.2 und Proxmox möglich sind.
Sollte also gehen.

Über LAN: Naja, kommt schon mal auf deine LAN-Geschwindigkeit an. Hast du 1 Gigabit/s geht da schon rechnerisch nicht mehr als 125MByte/s, Werte um die 100MByte/s sind durchaus realistisch zu erreichen, in der Regel begrenzen da die physikalischen Festplatten.

Und es kommt ganz stark darauf an, was du kopierst. Wenn ich da meinen Software-Installationsordner mit über 700.000 Dateien kopiere, dann geht das eher mit 20 bis 30MByte/s ... ab und zu eine große .iso mit 5GB, da geht es dann hoch an die 100, danach wieder runter.
Kopierst du nur wenige, große Dateien geht das in der Regel schneller.

An meinen Virtualisierungshosts mit VMware ESXi und Proxmox setze ich - privat - keine gespiegelten Festplatten ein.
Die haben immer eine NVMe (die Proxmox SSDs) als Bootmedium und für die Bootfestplatten meiner VMs. Große Daten, also wo dann z.B. meine Seafile und Nextcloud-VMs Ihre Daten ablegen, habe ich dann auf den 10TB-Festplatten (auch ungespiegelt).

Die VMs sichere ich täglich auf ein weiteres Windows System, ebenfalls mit NVMe für Laufwerk C: (da speichert auch die Videoüberwachung drauf) und 2 x 10TB für Backups (Stufe 1). Wenn das Backup fertig ist, startet es quasi noch einmal uns sichert alles auf mein QNAP-NAS das inzwischen 24x7 durchläuft, früher habe ich das nur für das Backup hochgefahren und danach wieder herunter. Mein ARM Modell kann nicht in den Sleep-Modus gehen sondern nur hoch oder runter.

Also habe ich meine VMs im Original (und Betrieb), dann eine Kopie auf System 1 und noch mal eine Kopie auf System 2 welches dann sogar ein RAID als Ausfallsicherheit hat.
In Wahrheit gibt es die Daten sogar noch mal - die Daten auf den Seafile und Nextcloud kommen ja irgendwo her, das sind die Backupziele von Laptops, Handys und Tablets.

Zusätzlich liege einige Daten auch noch mal auf Dropbox (2TB) und OneDrive (1TB) für die ich eine eigene VM laufen haben die die Daten nach lokal synchronisiert und dann als VM gesichert wird.
Die DropBox und OneDrive Daten liegen dann noch auf meinem PC und auf meinem Notebook.

Ich betreibe also einen ziemlichen Aufwand um immer mehrere Kopien meiner Daten zu haben - automatisiert!
Ich habe nämlich schon mal durch eine defekte Festplatte (alles auf die neue kopiert, alte gelöscht und überschrieben und da ist die neue verreckt) beinahe meine seit mehr als 30 Jahren gesammelten Daten verloren.
Ich hatte zufällig 3 Monate vorher Amazon Glacier getestet (1GB = 0,00405 USD/Monat https://aws.amazon.com/de/s3/glacier/pricing/) und da alles hochgeladen gehabt - was mir erst 2 Monate später dann wieder eingefallen ist. Nur deshalb habe ich alles noch.

Ich arbeite in der IT, da ist immer alles redundant, ob nun Netzteile und Festplatten, zusätzliche ganze Systeme. Das ist mir privat natürlich zu teuer, zu laut und frisst zu viel Energie. Meine Lösung um Daten auf einer 10TB Festplatte zu sichern ist deshalb immer eine 2. 10TB Festplatte gewesen (mal angefangen bei 250GB Festplatten).

Egal was von meinen immer mindestens 3 Kopien ausfällt kann es zwar ärgerlich werden, habe ich hätte es noch irgendwo. Da das meiste auch immer einmal als VM gesichert ist, kann ich die auch schnell wiederherstellen, Hauptsache da läuft VMware oder Proxmox drauf.
Notfalls könnte ich meine wichtige ioBroker-VM auch auf meinem PC oder Notebook laufen lassen. Bei iobroker nutze ich aber auch zusätzlich noch den BackItUp-Adapter - alle 3h. Ich hatte mal Mist gebaut in der VIS und da war die Arbeit eines ganzes Sonntags weg.

Ich bin da aber auch vielleicht kein Maßstab, ich mache auch viel um es zu verstehen und zu lernen.

Der mir wichtigste Rat den ich dir geben kann ist: Du brauchst Backups! Am besten nach dem 3 - 2 - 1 Prinzip, und es muss immer alles automatisch passieren!

3-2-1: 3 Kopien der Daten auf 2 verschiedenen Medien, davon 1 an einem anderen Ort.

Edit 1: Typos und Amazon Glacier Link
Edit 2: C: durch C: ersetzt

liv-in-sky

@bananajoe

sorry dauerte etwas - danke für deine ausführungen

habe jetzt die t5 evo - hier der unterschied

read- mit T5

Run status group 0 (all jobs):
   READ: bw=442MiB/s (464MB/s), 442MiB/s-442MiB/s (464MB/s-464MB/s), io=10.0GiB (10.7GB), run=23147-23147msec

write mit T5

WRITE: bw=442MiB/s (464MB/s), 442MiB/s-442MiB/s (464MB/s-464MB/s), io=10.0GiB (10.7GB), run=23146-23146msec

read - evo 970 m2 (system)

READ: bw=539MiB/s (565MB/s), 539MiB/s-539MiB/s (565MB/s-565MB/s), io=10.0GiB (10.7GB), run=19004-19004msec

write - evo 970 m2 (system)

WRITE: bw=495MiB/s (519MB/s), 495MiB/s-495MiB/s (519MB/s-519MB/s), io=10.0GiB (10.7GB), run=20696-20696msec

read hdd

READ: bw=121MiB/s (127MB/s), 121MiB/s-121MiB/s (127MB/s-127MB/s), io=7269MiB (7622MB), run=60022-60022msec

write hhd

WRITE: bw=119MiB/s (124MB/s), 119MiB/s-119MiB/s (124MB/s-124MB/s), io=7119MiB (7465MB), run=60015-60015msec

bin beeindruckt - zwischen der evo 970 für das system (m2) und der T5 am USB3.2 port ist fast kein unterschied - habe mir noch eine m2 evo 990 bestellt - mal sehen, ob das system dann schneller wird

das netzwerk wird dadurch nicht schneller (natürlich 1Gb/s) - mal nebenbei - kennst du eine möglichkeit den nuc auf 10Gb/s zu bringen - man kann da ja nix einbauen - würde ein exterener usb netzwerkadapter mit 10Gb/s was bringen ?

PS: keine sorge - für backup ist gesorgt :-) (u.a. 3 backitup instanzen)

BananaJoe

@liv-in-sky sagte in suche tipp - usb3 externes case -raid:

würde ein exterener usb netzwerkadapter mit 10Gb/s was bringen ?

Also einen 10G USB-Adapter habe ich auf anhieb nicht gefunden, aber einen 2.5GB:
https://www.amazon.de/Ethernet-Adapter-Netzwerk-Gigabit-Internetadapter/dp/B09GBFZ9DZ

und ja, der scheint das zu können:

Wäre jetzt noch zu testen wie das unter Proxmox ist. Und der Switch etc müsste auch dazu passen

liv-in-sky

@bananajoe ja, den switch muss man besorgen - das größere problem wird wohl linux - aber es steht im text: ab Linux Kernel 5.15 sollte wohl funktionieren und in der ersten rezensionen wir dproxmox erwähnt

switch gibt es ja

muss mal drüber nachdenken :-)

BananaJoe

@liv-in-sky ohne alle Beiträge durchzublättern ... wofür bräuchtest du schnelleres Netzwerk im Moment genau?

MartinP

@liv-in-sky sagte in suche tipp - usb3 externes case -raid:

kennst du eine möglichkeit den nuc auf 10Gb/s zu bringen - man kann da ja nix einbauen

Hmm, bei meinem Gigabyte NUC Ähnlichem Gerät gibt es einen M.2 Anschluss mit einer "E" Kodierung für Wlan

https://www.gigabyte.com/de/Mini-PcBarebone/GB-BACE-3000-rev-10#ov

Intel® IEEE 802.11 ac, Dual Band Wi-Fi & Bluetooth 4.0 NGFF M.2 card

Da könnte man z.B. so etwas einbauen:

https://www.ebay.de/itm/395676526515

liv-in-sky

@bananajoe

transfer zwischen pc und server - große files, backup aber

richtig brauchen ? wollte mein system mal wieder auf neusten stand bringen - wenn ich schon i9 server habe, sollte der rest auch mal schneller werden)