NEWS
Datenbank Strategie : influx DB + SQL DB
-
Aktuell verwende ich auf meiner Raspberry 4 Installation nur Influxdb, wird ja überall empfohlen und funktioniert auch performant und zuverlässig
Problem : ich kann mit Influx nicht besonders gut umgehen, insbesondere wenn ich mal fehlerhaft berechnete Daten wieder löschen/ korrigieren möchte.
Für meine bevorstehende Migration / Neuanfang auf Mini PC & Proxmox hatte ich mir folgendes überlegt :
-
für aktuelle Daten ( Stromverbrauch, Temperatur Verläufe , PV Einspeisung etc. ), die man detailliert aktuell sehen will, nehme ich weiterhin influx dB, Daten werden max 1 Woche aufbewahrt, dann kann influxdb sie wieder löschen. Solche Daten werden nur irgendwo mal angezeigt auf Tablet etc.
-
für längerfristige Statistiken fallen ja bei weitem nicht so viele Daten an : Strom Tages / Monats / Jahres Verbrauch, Max / Min temperature in den Räumen etc.
Solche selbst berechneten Daten würde ich in eine SQL Datenbank schreiben, da relative wenig Daten, Fehler leichter zu korrigieren.
Also Daten die permanent anfallen und in influx geschrieben werden, werden analysiert, summiert etc. und dann als einzelne relativ wenige Statistik-Werte in die SQL Datenbank übernommen.
Macht das Sinn oder laufe ich dann in Probleme an die ich noch nicht gedacht habe ?
Über die Wahl der SQL Datenbank muss ich auch noch nachdenken 🤔
-
-
Aktuell verwende ich auf meiner Raspberry 4 Installation nur Influxdb, wird ja überall empfohlen und funktioniert auch performant und zuverlässig
Problem : ich kann mit Influx nicht besonders gut umgehen, insbesondere wenn ich mal fehlerhaft berechnete Daten wieder löschen/ korrigieren möchte.
Für meine bevorstehende Migration / Neuanfang auf Mini PC & Proxmox hatte ich mir folgendes überlegt :
-
für aktuelle Daten ( Stromverbrauch, Temperatur Verläufe , PV Einspeisung etc. ), die man detailliert aktuell sehen will, nehme ich weiterhin influx dB, Daten werden max 1 Woche aufbewahrt, dann kann influxdb sie wieder löschen. Solche Daten werden nur irgendwo mal angezeigt auf Tablet etc.
-
für längerfristige Statistiken fallen ja bei weitem nicht so viele Daten an : Strom Tages / Monats / Jahres Verbrauch, Max / Min temperature in den Räumen etc.
Solche selbst berechneten Daten würde ich in eine SQL Datenbank schreiben, da relative wenig Daten, Fehler leichter zu korrigieren.
Also Daten die permanent anfallen und in influx geschrieben werden, werden analysiert, summiert etc. und dann als einzelne relativ wenige Statistik-Werte in die SQL Datenbank übernommen.
Macht das Sinn oder laufe ich dann in Probleme an die ich noch nicht gedacht habe ?
Über die Wahl der SQL Datenbank muss ich auch noch nachdenken 🤔
Warum willst du Daten separat abspeichern?
Eigentliche Strategie ist:- du zeichnest die Daten deiner Datenpunkt in passender granularität. Im Zweifel jede einzelne Änderung.
- Mittels Datenbank Abfrage (ob influx oder sql) holst du dir dann die Daten entsprechend gruppiert nach jeglicher Gruppierung (Tag,Monat/Jahr)
- Wenn du bspw die Monatswerte nur für das aktuelle Jahr oder die letzten x Monate haben, kann man das entsprechend zeitlich einschränken.
Datenbanken sind auf solche Abfragen spezialisiert und können das auch sehr Ressourcenschonend. Da gibt es eigentlich keine Notwendigkeit diese Daten dann nochmal extra zu konservieren.
-
-
Aktuell verwende ich auf meiner Raspberry 4 Installation nur Influxdb, wird ja überall empfohlen und funktioniert auch performant und zuverlässig
Problem : ich kann mit Influx nicht besonders gut umgehen, insbesondere wenn ich mal fehlerhaft berechnete Daten wieder löschen/ korrigieren möchte.
Für meine bevorstehende Migration / Neuanfang auf Mini PC & Proxmox hatte ich mir folgendes überlegt :
-
für aktuelle Daten ( Stromverbrauch, Temperatur Verläufe , PV Einspeisung etc. ), die man detailliert aktuell sehen will, nehme ich weiterhin influx dB, Daten werden max 1 Woche aufbewahrt, dann kann influxdb sie wieder löschen. Solche Daten werden nur irgendwo mal angezeigt auf Tablet etc.
-
für längerfristige Statistiken fallen ja bei weitem nicht so viele Daten an : Strom Tages / Monats / Jahres Verbrauch, Max / Min temperature in den Räumen etc.
Solche selbst berechneten Daten würde ich in eine SQL Datenbank schreiben, da relative wenig Daten, Fehler leichter zu korrigieren.
Also Daten die permanent anfallen und in influx geschrieben werden, werden analysiert, summiert etc. und dann als einzelne relativ wenige Statistik-Werte in die SQL Datenbank übernommen.
Macht das Sinn oder laufe ich dann in Probleme an die ich noch nicht gedacht habe ?
Über die Wahl der SQL Datenbank muss ich auch noch nachdenken 🤔
Wahl der SQL Datenbank muss ich auch noch nachdenken
Hi Uwe,
ich verwende als jahrzehntelanger SQL-Fan die MariaSQL für alle Datenaufzeichnungen. Die statistisch interessanten Tageswerte speichere ich mit einer Stored Proc als Datenverdichtung mit nachfolgendem Löschen der Detaildaten. [EDIT] Das kann man natürlich bei den Datenpunkten auch zeitlich einschränken.
Gruß, Fuzzy
-
-
Warum willst du Daten separat abspeichern?
Eigentliche Strategie ist:- du zeichnest die Daten deiner Datenpunkt in passender granularität. Im Zweifel jede einzelne Änderung.
- Mittels Datenbank Abfrage (ob influx oder sql) holst du dir dann die Daten entsprechend gruppiert nach jeglicher Gruppierung (Tag,Monat/Jahr)
- Wenn du bspw die Monatswerte nur für das aktuelle Jahr oder die letzten x Monate haben, kann man das entsprechend zeitlich einschränken.
Datenbanken sind auf solche Abfragen spezialisiert und können das auch sehr Ressourcenschonend. Da gibt es eigentlich keine Notwendigkeit diese Daten dann nochmal extra zu konservieren.
Ich habe heute auch schon für influx dB verschiedene Instanzen die die Daten unterschiedlich lange speichern. Das kürzeste Intervall sind 7 Tage, da kann ich mir Stromverbrauch, solarertrag etc beliebig genau anschauen. Nach 1 Woche interessieren diese Werte nicht mehr In der Genauigkeit.
Dann gibt es weitere Influx Instanzen, die nach 2 Jahren bzw 10,Jahren Daten löschen. Dort kommen selbst erstellte Statistik Daten rein : Tages Verbräuche etc oder noch mehr verdichtet. Die Datenmenge ist aber sehr überschaubar
Das funktioniert technisch sehr gut.
Aber diese selbst berechneten Daten sind manchmal falsch und aus Influx bekomme ich die nicht raus bzw. korrigiert. Aus einer SQL Datenbank aber schon.
Und das ist mein eigentliches Problem : ich kann die Daten nicht korrigieren bei Fehler
-
Wahl der SQL Datenbank muss ich auch noch nachdenken
Hi Uwe,
ich verwende als jahrzehntelanger SQL-Fan die MariaSQL für alle Datenaufzeichnungen. Die statistisch interessanten Tageswerte speichere ich mit einer Stored Proc als Datenverdichtung mit nachfolgendem Löschen der Detaildaten. [EDIT] Das kann man natürlich bei den Datenpunkten auch zeitlich einschränken.
Gruß, Fuzzy
Danke für den Link, das schaue ich mir mal an.
Bin zwar nicht der ausgewiesene Datenbank Experte, aber meine SQL Kenntnisse reichen für meine Bedürfnisse ( Daten korrigieren, ggf. löschen ) völlig aus.
Statistik werte werde ich wohl weiterhin mit Blockly erledigen, die laufen ja schon und erstellen entsprechende Datenpunkte.
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden