Fragen zu Proxmox

[Homoran]

Hallo zusammen.

ich betreibe schon seit längerer Zeit ioBroker in einer VM mit Proxmox.
Das läuft eigentlich auch ganz gut.

Mir ist jetzt zum zweiten Mal ioBroker nachts abgeschmiert - seltsamerweise direkt zweimal kurz hintereinander.
Zuerst beim Backup, danach hat es sich wieder erholt und dann irgendwann final.

Damals und Jetzt kommt der Fehler ENOSPC

Damals habe ich mir mit Hilfe des von @Thomas-Braun verwendeten Befehls ncdu festgestellt, dass in meinen History-Daten große Verzeichnisse von iobroker.info.0.neewsfeed.json in der Größe von 5.5MiB existierten.
Die hatte ich dann (fast) alle gelöscht. Warum die geloggt wurden weiß ich nicht. Ich hatte das nicht aktiviert - aber jdamals deaktiviert.

Ich habe die VM mit Standardeinstellungen und damit mit 32GB erstellt.
EDIT: habe doch nur 24GB konfiguriert

Mein History Verzeichnis nimmt davon alleine schon 13.2GiB weg (wo der Rest bis 32 bleibt ist allerdings fraglich - /opt/iobroker hat insgesamt knapp 15GB)

Auch wenn ich nicht weiß warum alles weg ist habe ich gesehen, dass es in der PVE unter Hardware - Laufwerke die Option zum vergrößern gibt.

Die Fragen:

• ist das gefahrlos zu benutzen?
• auf dem Proxmox läuft (nur) eine zweite VM mit meinem Unifi Controller
  • kann man Unifi irgendwie sichern und notfalls neu installieren und restoren?

Danke schon mal

[Kueppert]

@Homoran moin,
zu deiner 1. Frage kann ich leider nichts beitragen, zu deiner 2. aber. Ich hab selbst schon Proxmox komplett neu aufgesetzt und VMs wieder hergestellt. Da Videos hier immer toll sind - finde ich - hier das Video, nach dem ich Backups erstelle:
https://www.youtube.com/watch?v=F9UCQYrkxVY&feature=youtu.be

Noch ein Tip wegen HDD vergrößern (aus eigener Erfahrung, selbst falsch gemacht): dort gibst du an, um WIEVIEL du die HDD vergrößern willst, NICHT AUF WELCHE GRÖßE!! Ich hab gedacht, ich tipp mal 32 GB ein und die ist dann 32 GB groß die Partition...verkakkt. Rückgängig machst das nicht mehr (so einfach) - oder nur echt ätzend über Kommandozeile o.ä. (das hab ich dann mal gelassen und ne größere SSD eingebaut ^^)

VG Thorsten

[Homoran]

@Kueppert
Danke für die schnelle Antwort

@Kueppert sagte in Fragen zu Proxmox:

Da Videos hier immer toll sind - finde ich - hier das Video

Ich hasse Videos
Sorry, geht nicht gegen dich!!!

@Kueppert sagte in Fragen zu Proxmox:

VMs wieder hergestellt.

ich habe es nie geschafft eine VM komplett zu sichern, bin dazu nicht fit genug.
Hatte es über NFS aufs NAS versucht. Anschließend müllte es mir das LOG von der Syno alle paar Sekunden voll, dass sich Proxmox mit der Syno verbindet

Deswegen wäre es mir prinzipiell egal.
Neues (aktuelles) Proxmox mit größerer SSD und größerer VM habe ich bereits für ioB auf einem anderen NUC eingerichtet.
das aktuelle Backup da einzuspielen wäre ok.

Mir macht die zweit VM mit meinem Unifi Controller sorgen.
Da würde es mir auch reichen nur die Konfiguration zu sichern um sie in einer Neuinstallation wieder herzustellen

[Segway]

@Homoran sagte in Fragen zu Proxmox:

Die Fragen:

• ist das gefahrlos zu benutzen?
• auf dem Proxmox läuft (nur) eine zweite VM mit meinem Unifi Controller
  • kann man Unifi irgendwie sichern und notfalls neu installieren und restoren?

Danke schon mal

Hi,
also ich hatte auch ein ähnliches Problem. Ich musste die Größe meiner VM ändern (vergrößern). Leider lag der freigegebene Speicherplatz, wie üblich, nicht an der richtigen Stelle.
Anhand dieser ANleitung hat es einwandfrei funktioniert !
Die paar Fragen zwischendurch, die nicht protokolliert sind, kann man logisch selbst beantworten.

Ebenso habe ich auch bereits vom Unifi Controller ein backup gemacht und das auf eine neue VM mit sauberer Unifi Installation wieder zurückspielen können. Ich meine aber ich musste die gleiche IP verwenden ... weiss ich aber nicht mehr so genau

[Homoran]

@Segway
Danke!
Das klingt ja schon mal brauchbar, sehe ich mir an.

@Segway sagte in Fragen zu Proxmox:

vom Unifi Controller ein backup gemacht

Wie?
Ist das SETTINGS - Maintenance - Backup?
und dann kommt so was raus 5.10.17-20200804-1329.unf

@Segway sagte in Fragen zu Proxmox:

Ich meine aber ich musste die gleiche IP verwenden

wäre ja nicht falsch - dann brauche ich die nirgendwo zu änder (z.B. Adapter o.ä.)

[Segway]

@Homoran sagte in Fragen zu Proxmox:

Wie?
Ist das SETTINGS - Maintenance - Backup?
und dann kommt so was raus 5.10.17-20200804-1329.unf

Genauso

[opossum]

Hallo, @Homoran ,

mal ne Frage nebenbei, wäre die Nutzung von MySQL in einer separaten VM vielleicht eine Option? Läuft bei mir klaglos. Aber: wenn Du schon vieles in History geloggt hast, müßte man schauen, ob man die Historydaten irgendwie nach MySQL bekommen könnte. Ich habe in meiner Datenbank in der Tabelle ts_number 23,8 Mio. Datensätze. Sichere die VMs mit dem normalen Backup von Proxmox. Habe zusätzlich noch eine 1TB SSD in 4 primäre Partitionen aufgeteilt und je eine Partition den VMs als zusätzliche HDD zugeteilt, diese Partition auf /media/backup gemounted und lasse dort das Backup der Datenbank täglich speichern. Auch die Backups von Proxmox laufen auf eine dieser separaten Partitionen. Dort lasse ich täglich um 04.00 Uhr sichern, für jede VM habe ich 7 Dateien eingestellt. Hatte da bisher keine Probleme. Drei mal auf Holz klopf ...

[Homoran]

@opossum sagte in Fragen zu Proxmox:

wäre die Nutzung von MySQL in einer separaten VM vielleicht eine Option?

Natürlich!
hatte ich auch ganz lange parallel laufen - zum testen

War eigentlich mal als Härtetest für die angeblich immer so schnell zerstörten SD-Karten gedacht und hat sich irgendwann mit hier hin verschleppt.
Vielleicht würde ich aber eher influx nehmen um mich auch in Grafana einzuarbeiten.

Aber die Zeit....
und das läuft ja

[opossum]

Hallo, @Homoran ,

ja, kann ich auch ein Lied von singen. Manchmal finde ich kein Ende und wundere mich, wenn es schon wieder hell wird. Aber als Rentner (seit dem 01.01.2020) ist das schon mal vertretbar . An Influx traue ich mich nicht ran.
Gibt es eigentlich Funktionen, um die HistoryDB zu komprimieren und aufzuräumen?

[Kueppert]

Vielleicht ein kleiner off-topic-Hinweis:
Mir ist heute morgen um 4 uhr (weg zum Klo, wunderte mich, warum es so dunkel bleibt) der Proxmox-Server unter Volllast abgeschmiert. Alle VMs natürlich auch. Hab bissl im Proxmox-Forum gelesen (da ich eine externe SSD am NUC habe, wo alles drauf lag) dass sowas auch wegen Fehlern auf der SSD passieren KÖNNTE.
Habe kurzum alle VMs auf meinen NAS umgezogen/ausgelagert (Synology, gemeinsamer Ordner). Der Network-Traffic ist fast nicht da, trotz MySQL-VM und ioBroker-VM nun auf NAS. Und sicherer ist es so auch.
VG Thorsten

[Dutchman]

@Kueppert

bei Proxmox passiert das wen man zuviel RAM (also mehr als man hat) oder Festplattenspeicher (auch mehr als man hat) reserviert ist fuer die VM und dan die Ressource nicht da sind (kernel will schreiben, geht nicht .... > crash)

Beispiel :

• system hat 8 gig ram
• VM 1 4
• VM 2 2
• VM 3 2

Sind 8.... klinkt ok .... aber jetzt brauche alle VM ihre komplette Reservierung, ergo alle gesamt ist 8 gig belegt und nix mehr übrig fuer den host > crash

Das mit der Festplatte kan ich nachvollziehen bezueglich Latenz, ich schiebe nur backups übers lan meine VM und deren disks sind local auf ner SSD (macht sonst auch keinen sinn, ich setze performance disks ein mit 3000+ write/s und das geht ueber gig Netzwerk nicht)

[coyote]

@Dutchman danke für diese Info. Ich hatte schon öfter mal einen kompletten Ausfall und auch immer auf dem selben NUC. Das könnte die Lösung des Problems sein, dass werde ich mir mal anschauen.

[Dutchman]

@coyote sagte in Fragen zu Proxmox:

@Dutchman danke für diese Info. Ich hatte schon öfter mal einen kompletten Ausfall und auch immer auf dem selben NUC. Das könnte die Lösung des Problems sein, dass werde ich mir mal anschauen.

Immer gerne, spreche da aus Erfahrung ich hatte das mit RAM gemacht (mehr zugewiesen als ich hardware mäßig habe).
Das geht dan solange gut bis echt alle Maschinen den Ram wirklich benutzen und dan haste nur noch "KernelPanic" und BamBum aus...

Bin gespannt ob dies auch die Ursache bei dir ist !

[Kueppert]

hm, das wars bei mir nicht, hab nur 7 von 12 GB zugewiesen

[Dutchman]

@Kueppert sagte in Fragen zu Proxmox:

hm, das wars bei mir nicht, hab nur 7 von 12 GB zugewiesen

sowohl RAM als Festplatten nicht Zuviel zugewiesen ?

[Kueppert]

editiert
@Dutchman und nur 56 GB HDD zugewiesen auf 4 VMs, ioBroker hatte 32 GB davon. Ist ne 240 GB SSD drin. Dem LVM -THIN hatte ich 160 GB zugewiesen.
LVM-THIN hab ich gelöscht, sieht jetzt so aus:

PS: SSD ist via USB dran, ist ne Externe

[coyote]

@Dutchman das kann ich jetzt so direkt nicht sagen, aber werde drauf achten. Es könnte schon sein, dass genau das manchmal die Ursache war, wenn ich noch andere VMs erstellt habe zum Testen und alles in allem nachher zu viel war

[Dutchman]

@Kueppert sagte in Fragen zu Proxmox:

PS: SSD ist via USB dran, ist ne Externe

hmm mir fallend dazu noch 2 Sachen ein :

• die summe deine snapshots und backups überschreitet deine gesamt Kapazität
• Die USB Verbindung (latency) ist irgendwann nicht ausreichend, Daten kommen nicht an bzw können nicht geschrieben werde und das ergibt nen kernel Panik

@coyote sagte in Fragen zu Proxmox:

Es könnte schon sein, dass genau das manchmal die Ursache war, wenn ich noch andere VMs erstellt habe zum Testen und alles in allem nachher zu viel war

Genau so ging es bei mir auch, genug Festplatten Speicher und dan kam Dev1, dan Dev 2 usw .... Festplatte war genug da aber die 8 gig RAM hatte ich nicht beachtet

Greetz,

Dutch

[Kueppert]

@Dutchman sagte in Fragen zu Proxmox:

Die USB Verbindung (latency) ist irgendwann nicht ausreichend, Daten kommen nicht an bzw können nicht geschrieben werde und das ergibt nen kernel Panik

Das könnte durchaus sein. Backups mache ich nur auf mein NAS, da ist noch ein klein wenig Speicher frei
Dann hoffe ich, dass das GB-Netz für meine ioBroker-Instanz ausreicht. Der interne Slot für ne M2 ist leider defekt (hat mir 2 SSD schon gebraten, 1 alte - ok, eine neu gekauft, auch schrott nach dem Einbau und Hochfahren. Hatte die vorher am PC getestet ob die funktioniert. Beide danach nicht mehr lesbar)

[Dutchman]

@Kueppert sagte in Fragen zu Proxmox:

@Dutchman sagte in Fragen zu Proxmox:

Die USB Verbindung (latency) ist irgendwann nicht ausreichend, Daten kommen nicht an bzw können nicht geschrieben werde und das ergibt nen kernel Panik

Das könnte durchaus sein. Backups mache ich nur auf mein NAS, da ist noch ein klein wenig Speicher frei
Dann hoffe ich, dass das GB-Netz für meine ioBroker-Instanz ausreicht. Der interne Slot für ne M2 ist leider defekt (hat mir 2 SSD schon gebraten, 1 alte - ok, eine neu gekauft, auch schrott nach dem Einbau und Hochfahren. Hatte die vorher am PC getestet ob die funktioniert. Beide danach nicht mehr lesbar)

oh crap ... den gerade M2 ist super mit dem hohen Durchsatz (wen man auch ne m2 platte dran hängt die es kan).
Hat man ne Sata 2 platte mit regulären converter nach m2 ohne eigenen NVEM ist es egal und ist der Durchsatz auch max Sata 600 da ist dein Netzwerk schneller

Aber .... verwechsle Durchsatz bitte nicht mit Latenz, man kan ein 10gB Netzwerk haben aber wen die Latenz z.b. 3000 ms ist wird das auch nix