partieller Datenverlust InfluxDB?
-
@dp20eic said in partieller Datenverlust InfluxDB?:
Dass Du mit angestaubten Softwareständen unterwegs bist, haben @Thomas-Braun und ich ja schon gesagt.
Ja gut, würde ich prinzipiell versuchen, auch wenn ich es bisher noch nicht gemacht habe und großen Respekt davor habe...
Wie hoch ist das Risiko eines Updates von buster und node? Sollte ich die Updates erst machen, bevor wir hier fortsetzen?@dp20eic said in partieller Datenverlust InfluxDB?:
Jetzt mal schauen, ob Du noch Logs aus dem Zeitraum hast, ein denen die Daten verloren gegangen sind!
Es sieht so aus, dass ich kein persistentes Journal eingerichtet habe.
-- Logs begin at Sun 2023-10-22 11:21:25 CEST, end at Sun 2023-10-22 17:56:17 CEST. --Selbst, wenn es so wäre, liegen die Datenlücken teilweise sehr weit in der Vergangenheit. Die letzte Datenlücke endet am Fr., den 13.10.23.
@dp20eic said in partieller Datenverlust InfluxDB?:
P.S.: Ein weiterer Punkt, warum Daten fehlen können, ist ein erhöhter Load, wenn die Kiste nur noch mit Fehlermeldung schreiben zu tun hat, z. B.
Hierbei bitte bedenken, dass bereits vorhandene Daten verloren gegangen sind. Das habe ich beim Vergleich zwischen den Daten von vorgestern und heute eigentlich bewiesen. Ich glaube nicht, dass es ein Problem des Schreibens in die Datenbank ist. Vielmehr gehen Daten verloren, ich vermute beim Reboot.
Danke für eure Hilfe in der Sache! Ich weiß das sehr zu schätzen.
-
@iojoker sagte in partieller Datenverlust InfluxDB?:
Wie hoch ist das Risiko eines Updates von buster und node? Sollte ich die Updates erst machen, bevor wir hier fortsetzen?
Je länger du das schleifen lässt desto komplizierter wird das.
Ich würde hier aber gleich ein komplette Neuinstallation von Debian12 'Bookworm' vorsehen, diesmal als 64bit-Version 'Lite'. -
@iojoker sagte in partieller Datenverlust InfluxDB?:
Danke für eure Hilfe in der Sache! Ich weiß das sehr zu schätzen.
Moin,
@iojoker sagte in partieller Datenverlust InfluxDB?:
Wie hoch ist das Risiko eines Updates von buster und node?
@Thomas-Braun hat da ja schon einen guten Einwand gegeben, ich möchte das nur noch insoweit ergänzen, je höher der Linux Skill ist, umso leichter fällt es Dir, Updates über mehrere Releases zu machen. Somit kann ich das von @Thomas-Braun gesagte, nur unterstützen, sauberes Backup dann neu aufsetzen.
@iojoker sagte in partieller Datenverlust InfluxDB?:
Vielmehr gehen Daten verloren, ich vermute beim Reboot.
Wenn die Datenlücken, mit den in Deiner Erinnerung befindlichen Reboots zusammenpassen, dann ist die Frage, warum gab es die Reboots, vielleicht weil Deine Kiste mit sich selbst beschäftigt war?
Ein Reboot sollte ja in wenigen Minuten durch sein und nicht Tage dauern
VG
Bernd -
@dp20eic said in partieller Datenverlust InfluxDB?:
je höher der Linux Skill ist, umso leichter fällt es Dir
Ich befürchte, hier liegt eines der größten Probleme. Mein Skill-Level würde ich selbst nicht so hoch einschätzen. Erschwerend kommt hinzu, dass ich bereits beim Einrichten des raspi (wahrscheinlich?) eine Fehlentscheidung getroffen habe, die mir jetzt auf die Füße fällt. Ich habe das Betriebssystem auf eine 1TB große SSD aufgespielt und nicht auf eine SD-Karte. Es ist mir momentan überhaupt nicht möglich, ein komplettes Systembackup zu erstellen, weil ich keine freie SSD mit dieser Reserve habe. So habe ich es zumindest verstanden. Das ist ein anderes Thema, um das ich mich noch kümmern wollte. Jedenfalls muss ich das Risiko im Blick behalten, weil der raspi mittlerweile wichtige Aufgaben im Haushalt übernimmt.
@dp20eic said in partieller Datenverlust InfluxDB?:
Wenn die Datenlücken, mit den in Deiner Erinnerung befindlichen Reboots zusammenpassen, dann ist die Frage, warum gab es die Reboots
Nein, die Datenlücken passen zeitlich überhaupt nicht mit den Reboots zusammen. Den Grund für die Reboots habe ich in dem vielen Text im ersten Post geschildert.
-
@iojoker sagte in partieller Datenverlust InfluxDB?:
ein komplettes Systembackup zu erstellen
Kannst du eh nichts mit anfangen, weil eine 64bit-Installation komplett von Null an vorgenommen werden muss.
-
@iojoker sagte in partieller Datenverlust InfluxDB?:
Betriebssystem auf eine 1TB große SSD
Moin,
meine Schwäche sind die RasPIs, ich kann da nicht immer mit Gewissheit sagen, ob sich die so verhalten, wie die großen Brüder der PC.
Aber wenn es möglich ist, dann würde ich der SSD eine neue Partition verpassen, dann darauf das neue System installieren undgrubvon der ersten Installation so anpassen, dass es von der neuen startet.
Wenn alles gut ist, dann kann man die alte Partition löschen und den Speicher, der neuen Installation zuschieben.@iojoker sagte in partieller Datenverlust InfluxDB?:
Nein, die Datenlücken passen zeitlich überhaupt nicht mit den Reboots zusammen.
Na, dann habe ich ja vielleicht mit meiner Annahme doch recht, dass Du die Daten verlierst, verloren hast, weil die Kiste mit sich selbst beschäftigt ist, aber ohne aussagekräftige Logs, sind es halt nur Annahmen, Vermutungen.
VG
Bernd -
@dp20eic sagte in partieller Datenverlust InfluxDB?:
Aber wenn es möglich ist,
Nein, nicht so. Raspberry nutzen keinen grub.
Da wird in dercat /boot/cmdline.txtdas Dateisystem gemountet (und noch anderes Zeug getrieben, das ich aber auch nicht auf dem Schirm habe). -
@thomas-braun sagte in partieller Datenverlust InfluxDB?:
Da wird in der cat /boot/cmdline.txt das Dateisystem gemountet (und noch anderes Zeug getrieben, das ich aber auch nicht auf dem Schirm habe).
Moin,
ja, jetzt wo Du das erwähnst, da war was, genau.
Dann muss ich mal weiter meine Fantasie bemühen, aber da ich keine passende Hardware habe, kann ich da nichts probieren, sorry.VG
BerndP.S.: Sollte doch gehen, wenn ich mir die Dokumentation -> https://www.raspberrypi.com/documentation/computers/config_txt.html anschaue
[all] tryboot_a_b=1 boot_partition=2 [tryboot] boot_partition=3 -
@dp20eic said in partieller Datenverlust InfluxDB?:
Na, dann habe ich ja vielleicht mit meiner Annahme doch recht, dass Du die Daten verlierst, verloren hast, weil die Kiste mit sich selbst beschäftigt ist, aber ohne aussagekräftige Logs, sind es halt nur Annahmen, Vermutungen.
Also als ersten Schritt habe ich das journal jetzt auf persistant gestellt (hoffentlich erfolgreich). Zweitens habe ich den geplanten Reboot deaktiviert. Ich lasse das System jetzt mal eine Zeit durchlaufen und kontrolliere regelmäßig die Datenbank auf neue Lücken. Ich kann mir nicht vorstellen, dass ich Daten verliere, weil die Kiste mit sich selbst beschäftigt ist.
Dann werde ich versuchen, tiefer in die Influx-Community einzutauchen. Ich habe immernoch die Hoffnung, dass die Daten garnicht verloren sind, sondern möglicherweise nur nicht gefunden werden.
Mittelfristig werde ich das Gesamtkonzept auf den Prüfstand stellen. Ich würde schon gern eine Lösung haben, wo ich vom kompletten System ein Backup machen kann. Ich hoffe, dass ich die jetzige Partition teilen und die große Datenbank auf eine andere Partition verschieben kann. Die Systempartition sollte dann klein genug sein, dass ein Backup möglich sein sollte. Partitionieren habe ich jedoch bisher nur in der Windows-Welt gemacht und auch noch nicht oft.
Ich melde mich, wenn es neue Erkenntnisse gibt.
Vielen Dank bis hierhin!
-
@iojoker sagte in partieller Datenverlust InfluxDB?:
Vielleicht kann mir ja jemand bei der Beantwortung meiner Fragen helfen.
Ähnliche Probleme kannst du auf github in den InfluxDB Issues einige finden. Die Ursache scheint hier im begrenzten adressierbaren Speicherbereich auf 32bit Systemen zu liegen.
InfluxDB führt regelmäßig "compaction" Jobs durch, in diesen Jobs werden die Datenbankfiles optimiert und neu geschrieben. Wenn es dann zu einem Speicherproblem kommt, gehen Daten verloren. Sehr gut passt dazu, dass meist ganze Wochen fehlen. Diese Fehler findet man dann aber in den Logs (wenn man welche hat).
Bin mir ziemlich sicher, dass sich dein Problem mit einem 64bit OS in Luft auflöst.
Edit: habe gerade gesehen, dass du auch "naturfreund" angefragt hast, da er ähnliche Probleme hatte. Auch er hat(te) übrigens ein 32bit System.
-
doppelt, gelöscht
-
@marc-berg said in partieller Datenverlust InfluxDB?:
Die Ursache scheint hier im begrenzten adressierbaren Speicherbereich auf 32bit Systemen zu liegen.
Puh, das ist ja ein ganz schöner Hammer. 2,8GB groß ist die Datenbank auf der SSD. Also sind die Daten wirklich unwiederbringlich verloren.
Ich werde schnellstmöglich das BS neu aufsetzen. Zunächst kaufe ich mir einen zweiten kleinen raspi, auf den ich Pi-hole auslagern werde. Wireguard wollte ich schon länger auf die Fritzbox bringen. Dann kann ich mich voll und ganz auf den ioBroker / InfluxDB / Grafana auf dem Hauptsystem kümmern. Mir geht schon ein Bisschen die Düse.
Trotzdem Danke für die wichtige Info!
-
@iojoker sagte in partieller Datenverlust InfluxDB?:
Also sind die Daten wirklich unwiederbringlich verloren.
Wenn du noch ein paar ältere Backups rumliegen hättest, könnte man da sicher etwas wiederholen.
Wenn...
-
@marc-berg said in partieller Datenverlust InfluxDB?:
Wenn du noch ein paar ältere Backups rumliegen hättest, könnte man da sicher etwas wiederholen.
Nein, leider nicht. Der Datenverlust ist zwar ärgerlich, jedoch kein Weltuntergang. Die wichtigsten Werte für die Photovoltaikanlage habe ich zum Monatsübergang auch immer in eine Excel-Datei gesichert. Mund abwischen und weitermachen. Wichtiger ist, dass der ioBroker zuverlässig läuft. Ich muss jetzt zusehen, dass ich die Neuinstallation gut vorbereite, damit ich das alles hinbekomme. Ist jetzt schließlich auch schon wieder eine Weile her, dass ich das gemacht habe.
-
So, ich habe jetzt am Wochenende einiges an Zeit damit verbracht, den Raspi mit dem neuesten Raspberry Pi OS light in 64bit aufzusetzen und es hat weitestgehend gut funktioniert. Ich bin mit den Adaptern jetzt wieder auf dem gleichen Stand wie vorher und werde gespannt beobachten, ob es weiterhin zu dieser Art von Datenverlust kommt. Ich hoffe, der Aufwand hat sich gelohnt.
