Weihnachtsangebot 2025! 🎄

[itoss]

Hallo zusammen,

ich bin noch recht neu bei ioBroker und suche nach einer Möglichkeit, verschiedene Verbrauchsdaten wie Zählerstände langfristig zu erfassen und später direkt in ioBroker grafisch darzustellen und die Verbrauchsdaten der einzelnen Wohneinheiten quasi in Echtzeit darzustellen.

Geplant ist folgendes Setup:

ca. 15 Wasserzähler

2 Gaszähler

30–40 Heizkostenverteiler (HKV)

langfristige Speicherung der Werte

Abtastraten:

Strom: ca. 1-Sekunden-Intervall (um Peaks besser zu sehen)

Wasser/Gas: 1–3 Minuten reichen völlig

Jetzt frage ich mich, welcher Adapter bzw. welche Datenbank hierfür am besten geeignet ist – SQL, InfluxDB 2.x, oder doch eine andere Lösung?
Wichtig wäre mir, dass ich die Daten später sauber und performant im ioBroker selbst visualisieren kann (Highcharts/Chart/VIS), ggf auch mit externen Tools wie Grafana für die Nebenkostenabrechungen der einzelnen Wohneinheiten

Hat jemand Erfahrung mit einem vergleichbaren Setup und kann Empfehlungen geben, was sich bei vielen Sensoren und teils kurzen Intervallen am besten bewährt?

Danke vorab! 🙌

[Samson71]

@itoss
Da das ganze eher gewerblich anmutet und mit der geplanten Datenspeicherung vermutlich auch gegen das Datenschutzgesetz und/oder Mieterrechte verstößt, sollte sich jeder gut überlegen, ob er dabei Hilfe leisten möchte.

[itoss]

Was hat Hilfe mit dem o.g. Dingen zu tun? Das ist keine Hilfe zu Straftaten oder sonst was.

Eine Wohnung ist nicht an die Familie vermietet und die Mieterin hat nichts gegen eine Speicherung der Daten zu Abrechnungszwecken. Ich sehe da keine Verstöße gegen die DGSVO. Ich frage mich dann nur, wie ISTA und Co. dasmachen. Alternativ kommt eine Klausel in den Mietvertrag zur Datenspeicherung zwecks NK/Abrechnungserstellung und wer mit der Datenspeicherung nicht einverstanden ist, bekommt die Wohnung nicht.

In dem Sinne wären ein paar hilfreiche Tipps schön, nach dene ich fragte. Nach Datenschutz und Mietrecht fragte ich nicht ....

[Homoran]

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Ich frage mich dann nur, wie ISTA und Co. dasmachen.

die messen nicht im Sekundentakt, was als Überwachung der Lebensgewohnheiten interpretiert würde.
was übrigens die Einführung von Smartmetern lange verzögert hat.

---

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

welcher Adapter bzw. welche Datenbank hierfür am besten geeignet ist

Spontan hätte ich Sourceanalytix ins Spiel gebracht.
Aber nicht bei dieser Dokumentationsfrequenz.
Der dokumentiert Tages, Monats und Jahreswerte, egal wie schnell Einzelwerte kommen.

Was due Datenbanken angeht, nutze ich sogar noch due gute alte History, bei >200 Datenpunkten, teilweise im 5-Sekundentakt.

Die Datenbank ist mittlerweile (nach >5 Jahren) >64GB groß und -oh Schreck- seit Jahren auf einer SD Karte am Raspi und läuft ohne Probleme

[Shadowhunter23]

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

DGSVO...

https://itoss.org/rechtliches/impressum/

[peterfido]

Strom 1-Sekunden Takt. Wasser 1-3 Minuten reichen völlig?

Der Zählerstand zum Anfang einer Periode und der Zählerstand zum Ende einer Periode, ein Zwischenstand zum Zeitpunkt eines evtl. Tarifwechsels reichen völlig für die Verbrauchsabrechnung.

Haupt- / Nebentarif realisiert man über zwei Zählwerke.

[UlliJ]

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Abtastraten:

Strom: ca. 1-Sekunden-Intervall (um Peaks besser zu sehen)

Wasser/Gas: 1–3 Minuten reichen völlig

wofür die hochfrequente Abfrage (Speicherung), wenn je Zähler genau 2 Werte benötigt werden... Anfang/Ende eines Abrechnungs- oder Nutzungszeitraums? Bei Zählerwechsel/Tarifwechsel/Nutzerwechsel gilt sinngemäß das gleiche.
Ista und Co machen genau das.
Die Erfassung von Leistungspeaks ist irrelevant für diesen Zweck. Es geht um den Verbrauch/Zeitraum.

Datenbank ist egal. Um der Diskussion mit Datenbevorratung aus dem Weg zu gehen nur die relevanten Daten in die DB speichern. Also o.g. Fälle und z.B. monatliche Werte um den Nutzer über den aktuellen und im Vergleich den Vorjahresverbrauch zu informieren

[Samson71]

@Shadowhunter23 sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

DGSVO...

https://itoss.org/rechtliches/impressum/

Eine im Übrigen nicht wirklich neue Feststellung:

https://forum.iobroker.net/topic/81693/han-schnittstelle-in-iobroker-integrieren/2

[itoss]

Samson71, was ist dein Problem? Von dir kommt nichts, aber rein gar nichts zum eigentlichen Thema. Alles nur OT. Wenn ich rechtliche Beratung suche, frage ich danach. Für dich und alle, die lieber Spaß haben und den Thread mit OT-Infos zuspammen: Die itoss-Seite habe ich vor Jahren mal just4fun programmiert. Und selbst wenn es ein Gewerbe wäre – wo ist das Problem? Einfach mal das antworten, wonach gefragt wurde. In der Schule hieß es damals schlicht: „Setzen, sechs – Thema verfehlt.“

Abgesehen davon: Wenn es gewerblich werden sollte und ich Dritten Dienstleistungen um ioBroker anbieten würde, wäre das doch super für ioBroker, denn jede Kundeninstallation bringt ioBroker Lizenzgebühren.

So und nun weiter im eigentlichen Thema: Wasser- und Gaszähler-Intervalle würde ich auf 10 Minuten oder sogar 60 Minuten setzen. Der Gedanke hinter den kurzen Polling-Intervallen ist, dass man z. B. nach dem Duschen direkt sieht, was 10 Minuten mehr Duschen gekostet haben; oder man sieht direkt, was ein paar Stunden KI-Testen auf dem Home-Server kostet, ob sich PoE-Kameras günstiger (nachtsicht aus) einstellen lassen usw.

Für Temperaturen und sonstige Daten reichen auch Intervalle von 5–10 Minuten.
Ich denke nicht, dass die Zigbee-Steckdosen ohne Gegenstelle (wie Fritz-Geräte zur Fritzbox) Daten aufzeichnen. Wenn dem so ist, könnten die Intervalle auch länger sein.

64 GB für eine Datenbank ist schon eine Hausnummer. Ich habe da gerade absolut kein Gefühl dafür, wie groß so etwas werden könnte. InfluxDB 2.x soll dafür sehr gut geeignet sein, erfordert aber wieder ein zusätzliches Repo im System. InfluxDB 1.x, in den Repos enthalten, fehlen jedoch einige Features zum schnelleren Verarbeiten großer Datensätze. SQL soll langsamer sein. Und dann ist da noch die Frage der grafischen Darstellung: Grafana ist ein externes Tool, schön wäre die Möglichkeit, die Auswertungen auch über VIS 2 umsetzen zu können.

Wie macht ihr das?

[Samson71]

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Samson71, was ist dein Problem?

Bevor Du hier weiter die Klappe aufreißt:
DU verweist in Deinem Profil auf eine GEWERBLICHE Seite, deren Impressum nicht ansatzweise irgendwelche rechtlichen Vorgaben erfüllt, völlig egal wann und ob die

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

vor Jahren mal just4fun programmiert.

wurde. Von daher solltest Du lieber ganz kleine Brötchen backen. Das nur als klare Ansage für weitere unbedachte Äußerungen. Völlig egal ob es sich bei dem Angesprochenen um ein normales Forenmitglied handelt oder einen Mod/Admin.

[peterfido]

15 Wasserzähler, 2 Gaszähler, 30-40 HKV, eine Mieterin. Klingt schon nach gewerblich. Diese stimmt evtl. der Datensammelwut des Vermieters zu. Weiß evtl. aber nicht, was sich davon ableiten lässt. Der nächste Mieter weiß evtl. gar nichts davon.

Wenn Du jetzt zur Miete wohnst, und der Vermieter kann ein Profil erstellen:

Spoiler

Moment, da gab es eine Beschwerde. - Mal gucken. Warum haben sie von 01:29 Uhr bis 01:46 Uhr geduscht? - Würden sie ihren Toaster bitte 10 Minuten später einschalten, der kollidiert mit meiner Kaffeemaschine. Scheint, als ob sie dienstags und mittwochs Übernachtungsbesuch haben.

Würdest Du das wollen? Geht sowas den Vermieter etwas an?

[Homoran]

@itoss Worauf willst du eigentlich heraus?

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

InfluxDB 2.x soll dafür sehr gut geeignet sein, erfordert aber wieder ein zusätzliches Repo im System. InfluxDB 1.x, in den Repos enthalten, fehlen jedoch einige Features zum schnelleren Verarbeiten großer Datensätze.

einen Tod musst du dann sterben!

Probier es doch (ggf. auf einem Testsystem) aus.
Dann hast du die echten Daten für deine Anforderungen.

Wobei

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

was 10 Minuten mehr Duschen gekostet haben;

hab ich auch, aber mit einem einzigen Wert.

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

man sieht direkt, was ein paar Stunden KI-Testen auf dem Home-Server kostet,

würde analog auch nur ein Wert sein.

---

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

, wäre das doch super für ioBroker, denn jede Kundeninstallation bringt ioBroker Lizenzgebühren.

und?
zahlst du die?

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

die Verbrauchsdaten der einzelnen Wohneinheiten quasi in Echtzeit darzustellen.

bei dir kannst du machen was du willst, selbst wenn es datentechnisch Schwachsinn ist.

Aber nicht bei Dritten
Das bereits erwähnte Smartmeter Gateway wurde vom BSI erst zugelassen als u.a. genau dieses sicher verhindert wurde.
Natürlich interessiert sich der Netzbetreiber ausser für den Verbrauch auch für Spitzen und eine eventuelle Schieflast.
Diese Daten werden beim Kunden ermittelt und in einem Paket alle 15 Minuten als Einzelinformation (Spitze in den letzten 15 Minuten, ggf. pro Phase, und Gesamtverbrauch), also 2(5) Werte an den Netzbetreiber übermittelt. Die Details bleiben ausschließlich beim Kunden.

[OliverIO]

@itoss

Um es mal etwas abzukürzen. Das rechtlich abzuklären ist nicht Aufgabe dieses Forums. Unter Umständen sucht er sich die Information ja eh woanders.
So kompliziert ist das ja nicht.

Bei den Datenmengen benötigst du auf jeden Fall eine Datenbank.
Darüber hinaus würde ich eine high availability Installation vorschlagen, bei dem du die verschiedenen Elemente redundant aufbaust, also iobroker/Datenbank.
Dann würde ich ein Backup Konzept vorschlagen.
Den Skills nach, auf deiner Homepage dürfte das ja für dich kein Problem sein.

[Homoran]

@OliverIO sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Bei den Datenmengen benötigst du auf jeden Fall eine Datenbank.

Das wollte ich mit meinem Setup eigentlich in Frage stellen.

Außerdem ist ja auch vollkommen offen warum er glaubt diese Datenmengen zu brauchen.

Ich bezweifle dass er irgendeinen Chart verwendet, der diese Auflösung sinnvoll darstellen kann.

[Jey Cee]

@itoss ich nehm für sowas mySQL, das braucht weniger Speicher als Influx. Davon abgesehen ist es bewährt und da ändert sich die Syntax/abfrage Sprache nicht mit jedem release.

[ilovegym]

@itoss

auf der einen Seite kann ich dich gut verstehen, auf der anderen Seite wirken deine Links im Footer sehr unprofessionell, alles so halbfertige "stehts bemüht" aber nix richtig gemachten Dinge :)
Egal ob du ein Gewerbe hast / machen willst oder gehabt hast / sowas kommt blöd rüber..

Tipp:
lass den footer mit den links weg, keiner davon hat irgendeinen Wert, so ungepflegt / unvollständig die Webseiten sind erzeugen die eher einen negativen Eindruck..
und
du siehst ja, auf sowas wird hier sehr stark geachtet, was ich auch verstehen kann, als Betreiber eines Forums hat man auch Verantwortung, genau wie als Betreiber einer Webseite...

Theme Datenbank - meine fuer ein Jahr Laufzeit ist ca 269gb gross, benutze Influx v1 (aus historischen gruenden) in einer eigenen VM in der Synology. Brauchen tut das kein Mensch, tägliche / wöchentliche / monatliche Verbrauchswerte sind absolut ausreichend.

Bei neuinstallationen monitore ich die ersten 3 Monate den Verbrauch 24/7 und danach kann man sich das sowieso hochrechnen / bzw reicht dann wieder tag/woche/monat aus.

Das ganze bei Dir erweckt einen Eindruck einer unausgereiften Hausverwaltung, mein Tipp hier:
lass es oder mach es richtig professionell, sonst geht das sowas von nach hinten los..

Für den Eigenbedarf unnötig mit den Wärmezählern, und wenn du es nach gesetzlicher Vorgabe machen möchtest, dann nimm vorhandene Dienstleister, die das koennen.
Der Programmier- und Verwaltungsaufwand, um das vorhandene Rad nochmal neu zu erfinden ist Verschwendung.

[itoss]

@Samson71 sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Samson71, was ist dein Problem?

Bevor Du hier weiter die Klappe aufreißt:
DU verweist in Deinem Profil auf eine GEWERBLICHE Seite, deren Impressum nicht ansatzweise irgendwelche rechtlichen Vorgaben erfüllt, völlig egal wann und ob die

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

vor Jahren mal just4fun programmiert.

wurde. Von daher solltest Du lieber ganz kleine Brötchen backen. Das nur als klare Ansage für weitere unbedachte Äußerungen. Völlig egal ob es sich bei dem Angesprochenen um ein normales Forenmitglied handelt oder einen Mod/Admin.

"Wann ein Impressum NICHT nötig ist: Rein private Webseiten: Ausschließlich für persönliche oder familiäre Zwecke, ohne jegliche kommerzielle Elemente oder Werbepartner. "

Auf der Seite stehen weder Preise noch irgendein verweis auf Preise. Und damit ist das Thema für mich erledigt. Komiker wie du haben wir schon genug, die immer OT Dinge suchen, um bloß nicht Themen gebunden zu antworten und den Gegenüber erstmal angreifen - obs Sinn mach oder nicht völlig egal ... Hauptsache stänkern. Dass du Mod bist, geht mir am Allerwertetesten vorbei. Mich würde eine Accountsperrung durch dich (du hast ja die Macht) auch nicht mehr wundern, das wäre die nächste Stufe sich bloß nicht zum Topic zu äußern und den User runtermachen weils eigen Ego so mickrig ist. So und nun Backe ich wieder kleine Brötchen es sei den du macht das Fass wieder auf ...

zurück zum Topic

[itoss]

@peterfido sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

15 Wasserzähler, 2 Gaszähler, 30-40 HKV, eine Mieterin. Klingt schon nach gewerblich. Diese stimmt evtl. der Datensammelwut des Vermieters zu. Weiß evtl. aber nicht, was sich davon ableiten lässt. Der nächste Mieter weiß evtl. gar nichts davon.

Wenn Du jetzt zur Miete wohnst, und der Vermieter kann ein Profil erstellen:

Spoiler

Moment, da gab es eine Beschwerde. - Mal gucken. Warum haben sie von 01:29 Uhr bis 01:46 Uhr geduscht? - Würden sie ihren Toaster bitte 10 Minuten später einschalten, der kollidiert mit meiner Kaffeemaschine. Scheint, als ob sie dienstags und mittwochs Übernachtungsbesuch haben.

Würdest Du das wollen? Geht sowas den Vermieter etwas an?

Boah Leute ist das so schwer einfach mal beim Thema zu bleiben, was ich will und was nicht, was mein Vermieter will oder nicht und unser ob Hund gegen Wind kackt ist doch völlig egal. Nur, weil man Verbräuche und Daten erfassen möchte, um zu optimieren oder Kosten und Aufwand zu sparen sind viele User gleich wieder bei den Dinge, was alles nicht geht. Mit Wasser kann ich jmd ertränke oder vrom Verdursten retten, oder sagen: Das Wassermole kühl wurde schon von den Nazis genutzt ... trinkt Ihr jetzt kein Wasser mehr ... Atmet Ihr die Luft jetzt nicht mehr ? Was ist bloß los mit den Deutschen in den lezten 2 Dekaden. Oder habt ihr bei der Stasi gearbeitet und seit heute "berufsblind" ?

Natürlich kann man vieles auch anders nutzen. s. Dronen im UK/RU Krieg.

Abgesehen davon weiß ich ja nicht, was ihr so den ganzen Tag macht, aber ich habe keine Zeit und noch weniger Lust Mieter zu stalken.

[Homoran]

jetzt reichts!

Der Betreiber eines Forums hat auch eine Verantwortung dafür, dass keine illegalen Dinge oder Anleitung zu illegalen Dinge in dem Forum gepostet werden.

Darum, und nur darum, geht es uns.

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Dass du Mod bist, geht mir am Allerwertetesten vorbei

sollte es genau deswegen nicht!

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

Mich würde eine Accountsperrung durch dich (du hast ja die Macht) auch nicht mehr wundern

s.o.

@itoss sagte in Datenbank/Adapter für Speicherung von Verbrauchsdaten:

das wäre die nächste Stufe sich bloß nicht zum Topic zu äußern und den User runtermachen weils eigen Ego so mickrig ist.

wie kommt man nur auf so krude Theorien??

[itoss]

@Hormoran, endlich Infos zum Topic ;)

Ich frage, weil hier einige sind, deren Systeme schon seit Jahren laufen und deren Rat mir viel Zeit erspart, die ich sonst durch falsch ausgewählte Software verlieren würde. Du schreibst, du kannst Verbräuche recht genau bestimmen. Welche Polling-Intervalle nutzt du denn, und kannst du so etwas auch noch Wochen später nachvollziehen? Ich meine nicht: auf den Zähler schauen, duschen, und wieder auf den Zähler schauen.

Lizenzgebühren für ioBroker würde ich auf jeden Fall zahlen – erstens, um der Community etwas zurückzugeben und damit das Projekt bestehen bleibt. Abgesehen davon sehe ich echte Probleme, wenn man das im gewerblichen Umfeld nicht macht.

Beim Übermitteln der 15-minütigen Lastspitzen kann man theoretisch auch etwas zurückrechnen – nicht ganz einfach, aber möglich. Diese ganze DSGVO wurde wegen der Konzerne gemacht, aber am Ende leiden alle darunter, außer denen, für die sie gedacht war.