Influxdb Fragen
-
Hallo Leute,
Habe als ersten Versuch mein Smarthome Netz aufzubauen den ioBroker, Influxdb 2 und Grafana auf meinem NAS auf Docker aufgesetzt. Hat auch alles geklappt und funktioniert soweit.
Aber das NAS läuft permanent, weill vorallem influxdb permanent Daten schreibt. Was auch IO ist, aber da das NAS bei mir im Raum steht nervt mich das die Platten permanent laufen. Also habe ich mir ein Pi4B besorgt und will jetz alles auf dem PI aufsetzen. Da ich jetz noch möglichkeiten habe dieSpeicherkartengröße zu ändern, hab ich mich gefragt ob eine 64gb SD Karte wohl reicht.
Ich will erstmal reichnlich Daten in influxdb speichern. Also nicht begrenzt auf ein paar Jahre sondern schon länger speichern. Will alles mögliche an Temperatur usw. Strom Verbrauch, irgendwann wasser usw speichern um mir das auch Jahre später über Grafana schön ansehen zu können.Zu dem Thema wieviel Speicherplatz man zu meinem Vorhaben einplanen sollte hab ich nicht wirklich viel gefunden.
Habt Ihr da vieleicht Erfahrungsberichte? Wieviel Speicher habt Ihr bisher belegt?Noch könnte ich eine größere SD Karte nehmen. Oder wäre ein anderes Speichermedium sinnvoller?
-
@random-0 für so ein Vorhaben würde ich dir erstens nen pi4 mit 8GB Ram empfehlen und zweitens nicht auf ne Speicherkarte zu setzen, sondern einer SSD.
Wie groß bzw wie schnell deine Datenbank wächst, hängt davon ab welche bzw wieviele Daten du da reinschreibst.
Als Beispiel,
Bei mir läuft das unifi Netzwerk in die Datenbanke, würde ich da über einen längeren Zeitraum/Jahre die Daten sammeln wollen, bräuchte ich da schon terra platten.
Für ein paar Zählerstände oder was auch immer, reichen wenige GB über Jahre Hinweg. Also sollte da z.b. ne 128 Gb SSD dicke reichen und ist noch Platz genug für andere Dinge. -
@crunchip InfluxDb zeichnet sich aber gerade dadurch aus, dass man die Daten mit der Zeit konsolidiert und nicht ewig aufhebt.
-
@mickym er möchte es ja aber aufheben, so wie er geschrieben hat.
Kommt ja immer darauf an um welche Daten es sich handelt.
Und bei der Speichergrösse würd ich jetzt nicht unbedingt sparen, kostet ja nicht die Welt und ne größerere ist möglicherweise auch länger haltbar -
@crunchip Na ja - wenn ich lese nicht auf ein paar Jahre und dann werden Werte vielleicht noch alle Minuten geloggt, dann wirds mir schon schwindlig - deswegen gibts ja die verschiedenen buckets - aber ich bin noch am Lernen was influxDB kann und bin gerade dabei das Flux erst langsam zu verstehen.
-
@crunchip sagte in Influxdb Fragen:
@random-0 für so ein Vorhaben würde ich dir erstens nen pi4 mit 8GB Ram empfehlen und zweitens nicht auf ne Speicherkarte zu setzen, sondern einer SSD.
Wie groß bzw wie schnell deine Datenbank wächst, hängt davon ab welche bzw wieviele Daten du da reinschreibst.
Als Beispiel,
Bei mir läuft das unifi Netzwerk in die Datenbanke, würde ich da über einen längeren Zeitraum/Jahre die Daten sammeln wollen, bräuchte ich da schon terra platten.
Für ein paar Zählerstände oder was auch immer, reichen wenige GB über Jahre Hinweg. Also sollte da z.b. ne 128 Gb SSD dicke reichen und ist noch Platz genug für andere Dinge.Danke für die schnelle Antwort und die Empfehlungen.
8GB Pi hab ich.
SSD Empfehlung hatte ich auch schon gelesen. Ich denke ich werde dennoch erstmal mit einer SD Karte anfangen und dann sehe Ich wieviel Daten da gesammelt werden und mit den Erfahrungen würde ich dann auf eine SSD wechseln. Dann weiß ich auch wie groß die SSD sen sollte, in meinem Fall. Soweit ich weiß kann ich den Inhalt der SD dann einfach auf die SSD Klonen. Dann wären die gesamellten Daten nicht weg und ich hätte mehr Platz. In der Hoffnung das der Plan auch so aufgeht.@mickym sagte in Influxdb Fragen:
@crunchip InfluxDb zeichnet sich aber gerade dadurch aus, dass man die Daten mit der Zeit konsolidiert und nicht ewig aufhebt.
Wie machst du das, wenn ich fragen darf? Bin neugierig wie andere so eine Datenbank nutzen.
Ich finde es cool die gesammelten Daten ausgewertet bei Grafana zu sehen um zu erkennen wieviel Strom ich wann verbrauche oder wie der Temperatur verlauf ist und ich die Daten auf das ganze Jahr z.b, mir anzeigen zu lassen. Finde es aber auch interresant mehrere Jahre in die Vergangenheit sehen zu können. Z.B Strom verbrauch vor mehreren Jahren. Einmal den Strom an sich und die Kosten. Z.B, Vergleich zwischen jetz und vor 10 Jahren. Durch Preissteigerungen oder effizientere Geräte, sowas halt. Der Benefit ist da natürlich nicht riesig aber ich finde es irgendwie cool, vergleichen und sich das über einen langen Zeitraum anzeigen zu lassen. Wenn es sich effizient einrichten lässt. Ein NAS mit 30TB laufen zu lassen nur für die Datenbank ist natürlich auch nicht sinnvoll.@mickym sagte in Influxdb Fragen:
@crunchip Na ja - wenn ich lese nicht auf ein paar Jahre und dann werden Werte vielleicht noch alle Minuten geloggt, dann wirds mir schon schwindlig - deswegen gibts ja die verschiedenen buckets - aber ich bin noch am Lernen was influxDB kann und bin gerade dabei das Flux erst langsam zu verstehen.
Buckets war ja die influxDB 2x geschichte. Ich kenne die 1x nicht da soll es die wohl nicht geben. Wie meinst du das mit den verschiedenen buckets? Bei dem ersten Versuch hatte ich die paar Sensoren alle in ein Bucken laufen lassen.
Ich muss auch noch viel lernen, wenn du nen Tipp hast wo ich mich da gut einlesen kann, wäre ich sehr dankbar. -
@random-0 Ich bin noch am Lernen - und nutze die Online Kurse bei der Influx University. Du machst später so Konsolidierungstasks. In den Buckets gibst Du ja an, wie lange was aufgehoben wird. Über diese Konsolidierungstasks wird das dann halt in Buckets geschrieben, die länger die Daten oder unendlich aufheben.
Nur wenn Du zum Beispiel sagen wir jetzt alle Minuten oder auch alle 10 Minuten einen Wert aufhebst, brauchst Du das ja in 10 Jahren nicht auch auf Minutenebene - glaube nicht dass das eine Aussagekraft hat. Diese Konsoldierungstask er mitteln dann also Tageswerte und schreiben diese dann in langlebigere Buckets etc. - so sieht es nach meinem Verständnis das Konzept vor.
-
@mickym sagte in Influxdb Fragen:
Influx University.
Das hört sich ja mal richtig intelligent an. Werde ich mich mit beschäftigen. Auch mit der University. Danke
-
@random-0 https://university.influxdata.com/
hab erst die beiden Kurse fertig
und den Fluxx erst angefangen - bin aber auch nicht dauernd dran.
Im iobroker-Adapter trägt man eine Gültigkeit ein und die gilt dann für das bucket. Wenn man also längerfristig viele Daten speichern will, dann sollte man die Gültigkeit der Daten des iobroker-Adapters begrenzen und mit influx tasks längerfristige Daten in andere Buckets überführen.
-
@mickym sagte in Influxdb Fragen:
@random-0 https://university.influxdata.com/
hab erst die beiden Kurse fertig
und den Fluxx erst angefangen - bin aber auch nicht dauernd dran.
Im iobroker-Adapter trägt man eine Gültigkeit ein und die gilt dann für das bucket. Wenn man also längerfristig viele Daten speichern will, dann sollte man die Gültigkeit der Daten des iobroker-Adapters begrenzen und mit influx tasks längerfristige Daten in andere Buckets überführen.
Danke für die Infos.. Kannst du Influxdb 1x und 2x vergleichen?
Ich bin eigentlich immer den meinung die Aktuellste Version zu benutzen oder mit der aktuellsten einzusteigen, im Netz gibt es einige Meinungen die sagen es ist besser bei der 1x version zu bleiben. Anscheinend einfacher zu benutzen im Hinblick auf die Datenpunkte. Bei der 2x Version muss man ja immer den Code von dem Datenpunkt kopieren und in Grafana einfügen. Kannst du, oder jemand anderes, da was zu berichten? -
@random-0 said in Influxdb Fragen:
Anscheinend einfacher zu benutzen im Hinblick auf die Datenpunkte.
Kann ich nicht bestätigen. Die Datenpunkte- und Reihen sind sogar um einiges besser zu handhaben... Aggregation und Pivot-Tabellen fallen mir da spontan ein.
bei der 2x Version muss man ja immer den Code von dem Datenpunkt kopieren und in Grafana einfügen.
Das hat nichts mit Grafana zu tun. Du kannst auch Graphite, Prometheus, Splunk nutzen.... oder ganz einfach die Dashboard-Funktionalität, welche Influx2 von Haus aus mitliefert. Wenn Grafana nichts zum "klicken" anbietet, ist das keine Schuld von Influx.
-
@random-0 sagte in Influxdb Fragen:
ch bin eigentlich immer den meinung die Aktuellste Version zu benutzen oder mit der aktuellsten einzusteigen, im Netz gibt es einige Meinungen die sagen es ist besser bei der 1x version zu bleiben.
Sind in meinen Augen, die, die halt herkömmliches SQL verwenden, weil sie sich von anderen Datenbanken damit auskennen. Ich denke aber das Flux, wenn man es beherrscht komfortabler und vor allem einer zeitbasierenden Datenbank mehr Vorteile bietet, als eine relationale Datenbank.
-
Legt ihr alle Daten von ioBroker in das gleiche Bucket oder erstellt ihr mehrere Instanzen vom Adapter und dann je nach "Thema" ein eigenes Bucket?
-
@ftd sagte in Influxdb Fragen:
@random-0 said in Influxdb Fragen:
Anscheinend einfacher zu benutzen im Hinblick auf die Datenpunkte.
Kann ich nicht bestätigen. Die Datenpunkte- und Reihen sind sogar um einiges besser zu handhaben... Aggregation und Pivot-Tabellen fallen mir da spontan ein.
bei der 2x Version muss man ja immer den Code von dem Datenpunkt kopieren und in Grafana einfügen.
Das hat nichts mit Grafana zu tun. Du kannst auch Graphite, Prometheus, Splunk nutzen.... oder ganz einfach die Dashboard-Funktionalität, welche Influx2 von Haus aus mitliefert. Wenn Grafana nichts zum "klicken" anbietet, ist das keine Schuld von Influx.
So hab ich das noch gar nicht gesehen. Ist auf jeden Fall was dran.
@mickym sagte in Influxdb Fragen:
@random-0 sagte in Influxdb Fragen:
ch bin eigentlich immer den meinung die Aktuellste Version zu benutzen oder mit der aktuellsten einzusteigen, im Netz gibt es einige Meinungen die sagen es ist besser bei der 1x version zu bleiben.
Sind in meinen Augen, die, die halt herkömmliches SQL verwenden, weil sie sich von anderen Datenbanken damit auskennen. Ich denke aber das Flux, wenn man es beherrscht komfortabler und vor allem einer zeitbasierenden Datenbank mehr Vorteile bietet, als eine relationale Datenbank.
Hört sich sinnvoll an. Ich versuche mich mal etwas mit Flux zu beschäftigen.
@ben-0 sagte in Influxdb Fragen:
Legt ihr alle Daten von ioBroker in das gleiche Bucket oder erstellt ihr mehrere Instanzen vom Adapter und dann je nach "Thema" ein eigenes Bucket?
Wollte ich auch fragen.
-
@random-0 zum Thema mehrere Instanzen und Aufbewahrungszeit hatte ich auch so meine Fragen und hier im Ansatz eine Lösung gefunden.
Datenaufzeichnung Retention InfluxDB 2.0
