UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[IOJoker]

@dp20eic said in partieller Datenverlust InfluxDB?:

Na, dann habe ich ja vielleicht mit meiner Annahme doch recht, dass Du die Daten verlierst, verloren hast, weil die Kiste mit sich selbst beschäftigt ist, aber ohne aussagekräftige Logs, sind es halt nur Annahmen, Vermutungen.

Also als ersten Schritt habe ich das journal jetzt auf persistant gestellt (hoffentlich erfolgreich). Zweitens habe ich den geplanten Reboot deaktiviert. Ich lasse das System jetzt mal eine Zeit durchlaufen und kontrolliere regelmäßig die Datenbank auf neue Lücken. Ich kann mir nicht vorstellen, dass ich Daten verliere, weil die Kiste mit sich selbst beschäftigt ist.

Dann werde ich versuchen, tiefer in die Influx-Community einzutauchen. Ich habe immernoch die Hoffnung, dass die Daten garnicht verloren sind, sondern möglicherweise nur nicht gefunden werden.

Mittelfristig werde ich das Gesamtkonzept auf den Prüfstand stellen. Ich würde schon gern eine Lösung haben, wo ich vom kompletten System ein Backup machen kann. Ich hoffe, dass ich die jetzige Partition teilen und die große Datenbank auf eine andere Partition verschieben kann. Die Systempartition sollte dann klein genug sein, dass ein Backup möglich sein sollte. Partitionieren habe ich jedoch bisher nur in der Windows-Welt gemacht und auch noch nicht oft.

Ich melde mich, wenn es neue Erkenntnisse gibt.

Vielen Dank bis hierhin! :handshake:

[Marc Berg]

@iojoker sagte in partieller Datenverlust InfluxDB?:

Vielleicht kann mir ja jemand bei der Beantwortung meiner Fragen helfen.

Ähnliche Probleme kannst du auf github in den InfluxDB Issues einige finden. Die Ursache scheint hier im begrenzten adressierbaren Speicherbereich auf 32bit Systemen zu liegen.

InfluxDB führt regelmäßig "compaction" Jobs durch, in diesen Jobs werden die Datenbankfiles optimiert und neu geschrieben. Wenn es dann zu einem Speicherproblem kommt, gehen Daten verloren. Sehr gut passt dazu, dass meist ganze Wochen fehlen. Diese Fehler findet man dann aber in den Logs (wenn man welche hat).

Bin mir ziemlich sicher, dass sich dein Problem mit einem 64bit OS in Luft auflöst.

Edit: habe gerade gesehen, dass du auch "naturfreund" angefragt hast, da er ähnliche Probleme hatte. Auch er hat(te) übrigens ein 32bit System.

[Marc Berg]

doppelt, gelöscht

[IOJoker]

@marc-berg said in partieller Datenverlust InfluxDB?:

Die Ursache scheint hier im begrenzten adressierbaren Speicherbereich auf 32bit Systemen zu liegen.

Puh, das ist ja ein ganz schöner Hammer. 2,8GB groß ist die Datenbank auf der SSD. Also sind die Daten wirklich unwiederbringlich verloren. :disappointed_relieved:
Ich werde schnellstmöglich das BS neu aufsetzen. Zunächst kaufe ich mir einen zweiten kleinen raspi, auf den ich Pi-hole auslagern werde. Wireguard wollte ich schon länger auf die Fritzbox bringen. Dann kann ich mich voll und ganz auf den ioBroker / InfluxDB / Grafana auf dem Hauptsystem kümmern. Mir geht schon ein Bisschen die Düse. :fearful:

Trotzdem Danke für die wichtige Info!

[Marc Berg]

@iojoker sagte in partieller Datenverlust InfluxDB?:

Also sind die Daten wirklich unwiederbringlich verloren.

Wenn du noch ein paar ältere Backups rumliegen hättest, könnte man da sicher etwas wiederholen.

Wenn...

[IOJoker]

@marc-berg said in partieller Datenverlust InfluxDB?:

Wenn du noch ein paar ältere Backups rumliegen hättest, könnte man da sicher etwas wiederholen.

Nein, leider nicht. Der Datenverlust ist zwar ärgerlich, jedoch kein Weltuntergang. Die wichtigsten Werte für die Photovoltaikanlage habe ich zum Monatsübergang auch immer in eine Excel-Datei gesichert. Mund abwischen und weitermachen. Wichtiger ist, dass der ioBroker zuverlässig läuft. Ich muss jetzt zusehen, dass ich die Neuinstallation gut vorbereite, damit ich das alles hinbekomme. Ist jetzt schließlich auch schon wieder eine Weile her, dass ich das gemacht habe.

[IOJoker]

So, ich habe jetzt am Wochenende einiges an Zeit damit verbracht, den Raspi mit dem neuesten Raspberry Pi OS light in 64bit aufzusetzen und es hat weitestgehend gut funktioniert. Ich bin mit den Adaptern jetzt wieder auf dem gleichen Stand wie vorher und werde gespannt beobachten, ob es weiterhin zu dieser Art von Datenverlust kommt. Ich hoffe, der Aufwand hat sich gelohnt. :pray:

[Hans_M]

@IOJoker

Hallo, habe das selbe Problem.
Hat das Upgrade auf 64-bit das Problem gelöst?

[Thomas Braun]

@hans_m

Ganz unabhängig vom konkreten 'Problem' fährt man 2025 ohnehin besser auf einem reinen 64Bit-System.
Also in Kürze man neuinstallieren.

[IOJoker]

@hans_m said in partieller Datenverlust InfluxDB?:

@IOJoker

Hallo, habe das selbe Problem.
Hat das Upgrade auf 64-bit das Problem gelöst?

Das hier konkret besprochene Problem mit Datenverlust von bereits gespeicherten Daten habe ich seit der Neuinstallation nicht mehr beobachtet.

Allerdings habe ich jetzt das Problem, dass einige Datenpunkte nach einiger Zeit plötzlich nicht mehr in die Datenbank geschrieben werden. Beim Neustart des influxdb Adapters läuft es einige Zeit, dann fehlen plötzlich die Daten einiger Datenpunkte (nicht alle). Müsste ich mich auch mal mit beschäftigen...

[Ro75]

@iojoker Hi, Fehler im Log? SSD oder SD-Card? Freier Speicher, RAM?

ein

iob diag

wäre toll.

Ro75.

[IOJoker]

@ro75 Ich habe mir das heute mal genauer angesehen. Die Quelle der zu speichernden Datenpunkte sind Lesewerte aus meiner Wohnraumbelüftung. Hier habe ich Lesefehler in meinem Javascript Code nicht ordentlich abgefangen, so dass die Datenpunkte mit Schrottwerten (NaN) gefüllt werden konnten.
Es sieht so aus, dass das Schreiben in die Datenbank für die betroffenen Datenpunkt dann vollständig beendet wird. Ich habe den verarbeitenden Code nun geändert und werde beobachten.