Neues YouTube-Video: Visualisierung im Devices-Adapter

[wrod]

Noch zwei Fragen eines (relativen) Anfängers:

Derzeit logge ich einige (!) Datenpunkte mittels influxdb. Da ich einige über 1 Jahr vorhalten will, befürchte ich, dass die Datenmengen irgendwann meinen Raspi sprengen.
Daher ein paar Fragen:

1. Gibt es Erfahrungen, ob die unterschiedlichen Apps (history, influxdb, statistics ...) sich in den generierten Datenmengen deutlich unterscheiden (vielleicht wegen unterschiedlicher Datenbankanwendungen)?

2. Gibt es eine Möglichkeit, mittels eines Scripts alte Datensätze eines Datenpunkts zu aggregieren, also sagen wir

   • jeweils nach Abschluss 1 Monats die Daten des vergangenen Monats zu einem zusammenzufassen (Mittelwert), der dann entweder die anderen ersetzt,
   • das ganze nach Ablauf eines Jahres wiederum mit jenen tut?

Dank im Voraus

[Homoran]

@wrod sagte in Datenerfassung und Haltung: 2 Fragen:

dass die Datenmengen irgendwann meinen Raspi sprengen.

es gibt auch ganz große SD Karten ;-)

[wrod]

@homoran Danke. Ja, ich habe eine recht große darin. Ich habe aber öfters "langsame Verbindungen" und muss mehrfach neu starten, so dass ich mich frage, wie viel die einzelnen Adapter-DBs jeweils aktiv im Speicher halten, und ob sparsame Datenhaltung nicht ratsam wäre.

[Homoran]

@wrod so - jetzt bin ich am PC und kann nachsehen.
Ich habe zwar inzwischen eine Proxmox-VM, diese aber mit 16GB (inzwischen 32) auch viel zu klein dimensioniert.
Ich logge tatsächlich noch mit history und zwar >400 States, viele davon im kurzen Sekundentakt.
History schreibt die Daten im Klartext in ein JSON-file und wird damit wohl am speicherhungrigsten sein

Meine aktuellen täglichen log-Ordner sind etwa 40MB groß, was etwa 15 GB im Jahr wären ;-)
Da ich nicht weiß ob und wie man komprimieren könnte (wobei das für mich auch keinen Sinn ergibt, wenn man Werte im Jahresvergleich ansehen möchte) werde ich auf eine größere VM umziehen.
(im Moment ziehe ich jedes Monatsende den ältesten Monat auf den PC und könnte ihn dann auf der größeren VM wieder zurückspielen)

Mit einer externen SSD am USB des Pi zur Datensicherung habe ich noch nie gearbeitet, wäre aber auch noch eine Option.

@wrod sagte in Datenerfassung und Haltung: 2 Fragen:

Ich habe aber öfters "langsame Verbindungen" und muss mehrfach neu starten

das timeout könnte man einstellen, sollte aber eher nicht zum Stillstand führen, wenn nicht weitere Faktoren dazu kommen.
Außerdem geht es dabei um die interne DB, die die aktuellen states speichert.