Lösung zur Wertspeicherung
-
@accuface Na ja wir werden erst mal nur die blauen anschauen. da kommt ja pro Tag nur eine Nachricht. Wir werden da wahrscheinlich doch teilweise was neues basteln müssen. Das Problem was Du generell haben wirst, ist dass wenn NodeRed oder Dein iobroker neu gestartet wird - du neue unterschiedliche Dateien bekommst, die Du erst in Excel selbst zusammenfügen musst.
Mach nochmal einen Screenshot mit den Zeitstempeln.
dann kopier mir bitte mal den Pfad bis zur currentWeek hierein. Den importierten Flow können wir leider nur teilweise nutzen.
-
@mickym said in Lösung zur Wertspeicherung:
Mach nochmal einen Screenshot mit den Zeitstempeln.
dann kopier mir bitte mal den Pfad bis zur currentWeek hierein. Den importierten Flow können wir leider nur teilweise nutzen.
sourceanalytix.0.0_userdata__0__Eigenverbrauch.currentYear.consumed.currentWeekMontag:
sourceanalytix.0.0_userdata__0__Eigenverbrauch.currentYear.consumed.currentWeek.01_MondayZeitstempel Dienstag:
-
@accuface Nein du musst die 1 im Admin drücken (ggf. den Expertenmodus einschalten - den Kopf
-
@mickym said in Lösung zur Wertspeicherung:
@accuface Nein du musst die 1 im Admin drücken (ggf. den Expertenmodus einschalten - den Kopf
sorry!
Der Hund will....nein, der muss nochmal raus und dann muss ich auch schon wieder ins Bett, halb 4 klingelt der Wecker. Morgen ab 14 Uhr ist dann erst mal 3 wochen Betriebsurlaub. Ich schau in 20 min. nochmal rein.
-
@accuface Ok dann kann man auf die trigger nicht im Einzelnen warten. Insbesondere die Werte unter Tags sind ja nicht besonders schlüssig. Ich würde dann halt man könnte einen Trigger aus currentWeek nehmen und alle Werte aufeinmal abfragen.
-
@mickym said in Lösung zur Wertspeicherung:
@accuface Ok dann kann man auf die trigger nicht im Einzelnen warten. Insbesondere die Werte unter Tags sind ja nicht besonders schlüssig. Ich würde dann halt man könnte einen Trigger aus currentWeek nehmen und alle Werte aufeinmal abfragen.
jub, solange es vorm Tageswechsel ist.
-
@accuface sagte in Lösung zur Wertspeicherung:
jub, solange es vorm Tageswechsel ist.
Nein - Du musst Dich nach dem iobroker und nicht nach einer Tageszeit richten. Wenn Du um 23:59 Uhr die Werte abliest, dann hat iobroker das nochgar nicht geschrieben. Das dauert bissi länger - mir da was zu überlegen - du kannst also in die Heia wenn Du willst. Morgen ist ja auch noch ein Tag.
-
@mickym said in Lösung zur Wertspeicherung:
@accuface sagte in Lösung zur Wertspeicherung:
jub, solange es vorm Tageswechsel ist.
Nein - Du musst Dich nach dem iobroker und nicht nach einer Tageszeit richten. Wenn Du um 23:59 Uhr die Werte abliest, dann hat iobroker das nochgar nicht geschrieben.
achso....ok. Ich dachte einen Trigger um 23.59Uhr und das passt. Ganz schön kompliziert.
Das dauert bissi länger - mir da was zu überlegen - du kannst also in die Heia wenn Du willst. Morgen ist ja auch noch ein Tag.
alles Klar. Ich danke Dir schon mal für alles.
Ich hätte da ja noch ein paar mehr werte (bis auf Heizung, das ist mir nicht wichtig.
-
@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.
-
@mickym said in Lösung zur Wertspeicherung:
@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.
stimmt, wenn das Grundgerüst steht dann passt das. den Rest kann ich dann selbst füllen
-
@accuface sagte in Lösung zur Wertspeicherung:
@mickym said in Lösung zur Wertspeicherung:
@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.
stimmt, wenn das Grundgerüst steht dann passt das. den Rest kann ich dann selbst füllen
Es wird trotzdem relativ kompliziert - deswegen musst Du dann jeden Einzelschritt verstehen. Ich versuche mal den nächsten Schritt herauszuarbeiten.
-
@mickym said in Lösung zur Wertspeicherung:
@accuface sagte in Lösung zur Wertspeicherung:
@mickym said in Lösung zur Wertspeicherung:
@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.
stimmt, wenn das Grundgerüst steht dann passt das. den Rest kann ich dann selbst füllen
Es wird trotzdem relativ kompliziert - deswegen musst Du dann jeden Einzelschritt verstehen. Ich versuche mal den nächsten Schritt herauszuarbeiten.
Wenn man mehrer Flows macht und in verschieden Listen (nicht Blätter) schreibt, würde es dann einfacher werden?
es MUSS ja nicht ALLES in eine Liste. können ja von mir aus verschieden sein, keine Ahnung dass man z.B.eigenverbrauch,
einspeisung,
#1 total in,
#1 total out
#2 total in,
#2 total outoder so ähnlich
-
@accuface Du erstellst mehrere Textdateien, wie Du die dann in Excel importierst, das ist Deine Sache. Ich versuche gerade erst mal die Spalten zu definieren. Du kannst ja mal schauen, ob Dir das gefällt. Gleich.
- Ich dachte Du wolltest in die Heia. -
@mickym said in Lösung zur Wertspeicherung:
@accuface Du erstellst mehrere Textdateien, wie Du die dann in Excel importierst, das ist Deine Sache. Ich versuche gerade erst mal die Spalten zu definieren. Du kannst ja mal schauen, ob Dir das gefällt. Gleich.
Ich dachte Du wolltest in die Heia.
dachte ich auch. aber morgen passiert eh nimmer viel @work, letzter Arbeitstag vor Weihnachten
-
@accuface So ich habe nun eine Lösung - Du musst aber genau verstehen, was wo passiert.
Ich geh nun mal davon aus, dass das 1 Gerät ist und wir ich hole alle Datenpunkte in einem Schritt ab.
Sprich es werden alle Datenpunkte ab consumed abgefragt und die entsprechenden Spaltenüberschriften erzeugt.
Es müssen grundsätzlich 2 Aufgaben unterschieden werden - einmal Tasks - das musst Du ggf. manuell wieder umstellen - weil ich den Flow nicht weiter komplizieren werde.
Es werden also aus der Bezeichnung des Ordners Spaltenüberschriften generiert.
das macht der obere Ast - der muss NUR am Anfang jedes Mal wenn NodeRed neu gestartet ausgeführt werden, damit man damit die Flowvariable columns setzen kann.
Die Spaltenüberschriften werden also aus dem übergeordneten Ordner und dem Namen des Datenpunktes erstellt.
bei Dir würde also aus diesen Datenpunkten folgende Spaltenüberschriften entstehen:
Datum & Uhrzeit currentWeek - 01_Monday currentWeek - 02_Tuesday . . . previousWeek - 01_currentDay previousWeek - 01_previousDay previousWeek - 02_currentWeek . . .Um all diese Werte auszulesen musst Du alle Werte unter currentWeek auslesen.
sourceanalytix.0.0_userdata__0__Eigenverbrauch.currentYear.consumed.currentWeek.*Also musst Du in die iobroker List Node dieses topic eintragen.
Vergib einen richtigen Namen sonst wird die Node mit dem Pfad zu lange.
Ich würde mit dem Import warten - bis ich Dir das im Einzelnen erklären kann:
Auf Deinem Notebook kannst Du dann die Verknüpfung zum Download die XLS Datei und die csv Datei drin hast.
Datum & Uhrzeit Verbrauch - täglich Zähler - täglich Verbrauch - wöchentlich Zähler - wöchentlich Verbrauch - monatlich Zähler - monatlich Verbrauch - jährlich Zähler - jährlich Verbrauch - stündlich Zähler - stündlich 19.12.2024 22:59:48 109,385 1461354 765,1272 1441718 3260,9589 1343766 null 199150 4,5591 1467352 19.12.2024 22:59:49 109,385 1461354 765,1272 1441718 3260,9589 1343766 null 199150 4,5591 1467352 19.12.2024 23:01:20 109,385 1461354 765,1272 1441718 3260,9589 1343766 null 199150 4,5591 1467625 19.12.2024 23:07:25 109,385 1461354 765,1272 1441718 3260,9589 1343766 null 199150 4,5591 1467625Diese Datei wird dann fortgeschrieben. Ich würde dann wenn die Datei einmal erstellt ist in der CSV umstellen, dass die Spaltennamen erneut geschrieben werden.
Im Excel dann halt wie gesagt über das Menü Daten die CSV importieren.
Dann wirklich die CSV überschreiben und NUR auf aktualisieren gehen - es werden automatisch die fehlenden Zeilen ergänzt.
-
@mickym said in Lösung zur Wertspeicherung:
@accuface So ich habe nun eine Lösung - Du musst aber genau verstehen, was wo passiert.
Guten Morgen,
Vielen Dank.
Dass sieht jetzt im einzelnen, für mich etwas kompliziert an, ich denk aber, wenn ich damit mal gearbeitet habe und einen Workflow habe, gehts.Ich geh nun mal davon aus, dass das 1 Gerät ist und wir ich hole alle Datenpunkte in einem Schritt ab.
1 Gerät?
Also, der Datenpunkt 0_userdata_0_Eigenverbrauch kommt von einem Blockly und wird darin berechnet, im Source-analytics wird aus dem dann der Eigenverbrauch werden dann die einzelnen Tage berechnet wie hier schon gesehen:
https://forum.iobroker.net/assets/uploads/files/1734637149717-übersicht.png
Die sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_in sehen so aus:
Der MT681#1 ist ein zweirichtungszähler der für die Strommessung des Haus zuständig ist.
im Ordner 2024 sind dann noch die einzelnen Wochen und Monate mit jeweils dem Gesamtwert zusammengefasst.
Bei sourceanalytix.0.alias__0__Strom_Haus__MT681#2_Total_in sieht es so aus.
Dieser Zähler ist der selbe wie bei #1, nur dass es alles messen tut was die PV-Anlagen Produzieren.
Bei sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_out
und
sourceanalytix.0.alias__0__Strom_Haus__MT681#2_Total_out
quasi das selbe.welche werte ich davon alles genau brauche, weiss ich noch nicht genau. ich denk dass wird sich im lauf der Zeit zeigen, sonst wird das wahrsch. 1. zuviel an DP und 2. vielleicht schnell unübersichtlich.
-
@accuface sagte in Lösung zur Wertspeicherung:
welche werte ich davon alles genau brauche, weiss ich noch nicht genau. ich denk dass wird sich im lauf der Zeit zeigen, sonst wird das wahrsch. 1. zuviel an DP und 2. vielleicht schnell unübersichtlich.
Na ja im Grunde macht man das ganze Spiel nicht so, wie Du es mit Deinem Export vor hast. In der Regel nutzt man die Möglichkeiten Änderungen von Datenpunkten in einer Datenbank zu speichern und diese kannst Du dann bei Bedarf exportieren. Das wäre eigentlich der saubere Weg und dann brauchst Du auch nicht so im iobroker rumfuhrwerken, sondern hast die Daten in einer Datenbank und musst Dich halt dann damit beschäftigen, wie Du das in Excel exportierst für mysql gibts zum Beispiel im Excel schon fertig AddOns.
-
@mickym said in Lösung zur Wertspeicherung:
@accuface sagte in Lösung zur Wertspeicherung:
welche werte ich davon alles genau brauche, weiss ich noch nicht genau. ich denk dass wird sich im lauf der Zeit zeigen, sonst wird das wahrsch. 1. zuviel an DP und 2. vielleicht schnell unübersichtlich.
Na ja im Grunde macht man das ganze Spiel nicht so, wie Du es mit Deinem Export vor hast. In der Regel nutzt man die Möglichkeiten Änderungen von Datenpunkten in einer Datenbank zu speichern und diese kannst Du dann bei Bedarf exportieren. Das wäre eigentlich der saubere Weg und dann brauchst Du auch nicht so im iobroker rumfuhrwerken, sondern hast die Daten in einer Datenbank und musst Dich halt dann damit beschäftigen, wie Du das in Excel exportierst für mysql gibts zum Beispiel im Excel schon fertig AddOns.
War ja mein ursprünglicher Plan, InfluxDB und MariaDB laufen ja. Aber auch hier dass selbe Problem, ich hab keine Ahnung davon.
Wenn ich dass aber richtig gelesen habe, muss man die CSV von Influx auch manuell Downloaden und einpflegen. -
@accuface Na ja - das geht halt alles nicht so schnell insbesondere wenn man soviel will.
Ich habe es gerade mal mit ein paar WENIGEN Datenpunkten und mySQL gemacht.
Das funktioniert prinzipiell schon - aber ich musste auch 1 Std. rumprobieren:
Lösung (1):
Gut aber wir können auch erst mal da weitermachen, wo wir gestern aufgehört haben, aber für die Datenmenge würde ich ggf. mySQL mal auf Deinem NAS in Betracht ziehen - das wäre der saubere Weg.Lösung (2):
Das kannst Du ja als nächstes in Betracht ziehen - weil das meines Erachtens eine vollautomatische Lösung wäre, wobei der sourceanalytics Adapter weiterhin eine Fehlerquelle wäre.Lösung (3):
Die 3 Lösung ist - ganz auf sourceanalytics zu verzichten und Dir mit Influx etc. Dir die Werte selbst bereitstellen lassen. Dann errechnest Du Dir die Werte selbst - das ist natürlich die sauberste und automatischste Lösung.Und irgendwie musst Du Dir bei allen 3 Lösungen Ahnung beibringen.
- Ich kann Dir ggf. bei dem einen oder anderen helfen, aber bin auch nicht in allem fit und man müsste recherchieren. Deswegen habe ich ja für mein Excelsheet gerade auch 1 Std. gebraucht. Aber wir gesagt, wir können auch erst mal da weitermachen, wo wir gestern aufgehört haben. -
@mickym said in Lösung zur Wertspeicherung:
@accuface Na ja - das geht halt alles nicht so schnell insbesondere wenn man soviel will.
Ich habe es gerade mal mit ein paar WENIGEN Datenpunkten und mySQL gemacht.
Das funktioniert prinzipiell schon - aber ich musste auch 1 Std. rumprobieren:
Das wäre mein eigentliches Ziel gewesen, die Werte in eine Datenbank (bei mir MariaDB) zu schreiben und dann automatisch immer den Letzten Wert eines Tages in eine Excel liste, wobei, wenn man über die Datenbank direkt den Tageswert der Datenpunkte speichern/ansehen könnte ohne die tausende Werte durchzusuchen, wäre mir das auch ok.
Meine Gedanke/Wunsch ist es halt, die Werte für Tage/Wochen/Monate und das Jahr, zu speichern und für weitere, spätere Vergleiche zur Hand zu haben. Idealerweise als Liste und da viel mir halt nur Excel ein.Lösung (1):
Gut aber wir können auch erst mal da weitermachen, wo wir gestern aufgehört haben, aber für die Datenmenge würde ich ggf. mySQL mal auf Deinem NAS in Betracht ziehen - das wäre der saubere Weg.Da mein NAS einige Jahre alt ist und auch NUR eine Synology DS213j ist, ist das halt nicht das schnellste um direkt drauf zu arbeiten, ich warte da schon gerne mal bis zu 2 min, bis ich auf dem nas mal in einen Ordner komme. Daher hab ich die MariaDB auf einen separaten Pi5 mit 4GB installiert. Ist vielleicht etwas übertrieben, aber gut. ich dachte es kommt da ne riesen Datenmenge zusammen.
Wie schon geschrieben, MariaDB auf nem PI läuft ja schon und HeidiSQL auf dem Laptop auch.
Bisher hab ich es aber nicht geschafft, Daten die momentan noch zum Testen in die DB geschrieben werden, irgendwie in eine Excel bzw. csv zu kriegen (weil keine Ahnung davon)Lösung (2):
Das kannst Du ja als nächstes in Betracht ziehen - weil das meines Erachtens eine vollautomatische Lösung wäre, wobei der sourceanalytics Adapter weiterhin eine Fehlerquelle wäre.Ich hatte deswegen den Adapter genommen, weil er mir aus meinen 2 Richtungszählern den täglichen Eigenverbrauch und die täglichen Netzeinspeisung rausrechnet. Die Beiden Zähler zeigen Eigenbedarf als negativwerte an, Netzeinspeisung als Positivwerte.
Ich hab keinen Plan wie ich das manuell ausrechnen kann.
warum ist SA eine Fehlerquelle?Lösung (3):
Die 3 Lösung ist - ganz auf sourceanalytics zu verzichten und Dir mit Influx etc. Dir die Werte selbst bereitstellen lassen. Dann errechnest Du Dir die Werte selbst - das ist natürlich die sauberste und automatischste Lösung.Ich muss sagen, ich bin aktuell nicht von InfluxDB überzeugt, weil mir regelmäßig der PI einfriert und nur wieder zum laufen zu überreden ist, wenn ich ihn kurz vom Netz nehme.
Und da die beiden anderen Pi's (einer mir iobroker und einer mit MariaDB) seid der inbetriebnahme anstandslos laufen, muss ich annehmen dass es in der Influx liegt, obwohl da aktuell zum Testen nur 6 oder 7 werte drauf laufen.Und irgendwie musst Du Dir bei allen 3 Lösungen Ahnung beibringen.
- Ich kann Dir ggf. bei dem einen oder anderen helfen, aber bin auch nicht in allem fit und man müsste recherchieren. Deswegen habe ich ja für mein Excelsheet gerade auch 1 Std. gebraucht. Aber wir gesagt, wir können auch erst mal da weitermachen, wo wir gestern aufgehört haben.Nicht nur bei Lösung 3.....
Das Ding ist halt, dass ich quasi von nix Ahnung habe, Du hingegen zumindestens bei einigen dingen etwas drin bist.
Ich hab mit iobroker ja erst vor einigen Wochen angefangen und wollte "NUR" eine Grafische Oberfläche haben um meine Shells von einem Zentralen Punkt aus, schalten und bedienen kann.Aber wie dass halt so ist......... dann kam der Benzinpreise dazu, ach schau an einen Müllkalender gibts ja auch, das NAS könnte ich ja auch abfragen........ was ist eigentlich das mit der anwesenheit, ja cool das bau ich auch ein (und da war ich dann plötztlich bei Blockly, scripte und automatischen aAbfragen und Aufgaben, und ganz zu schweigen von den Heizungsthermostaten und Door/Window von Shelly.
Heizölfüllstand, cool, ich bau mal eben ein ESP8266 mit US sensor ein. klappt auch recht gut.Aaaaaaber die Krönung war ja dann der Brief meines Netzversorgers bezüglich dem Austausch der beiden Zähler. Nach etwas Recherche bot sich die Möglichkeit die PV Anlage und den ganzen Stromverbrauch auszulesen und einzubinden. Auch hier hab ich nach Netzanleitungen 2Leseköpfe gebaut und über einen geflashten esp8266 angeschlossen.
Nachdem ich dann mit einem Arbeitskollege drüber gesprochen hatte, der auch so bissl Hausautomation macht, kam ich überhaupt erst auf die Idee die ganzen Werte zu Analysezwecken wegzuspeichern, und nun häng ich eben in dieser Spirale gefangen aus "haben wollen aber nix können" und was ist die beste Lösung für mich.
Sorry für den ganzen OT.
Es ist ja nicht so, ich würde und will mich reinarbeiten, nur wenn man gar keine Ahnung hat und dann bei Recherchen unterschiedliche Wege und Lösungen gefunden werden, ist mal als NOOB halt schnell an nem punkt zwischen Überforderung und Kapitulation.
Und deswegen ist es gut Leute zu haben wie euch, die einem unter die Arme greifen können, auch wenn man sich nmal saublöd anstellt.Und da bin ich an nem Punkt, wo ich einfach mal DANKE an jeden sagen muss, der sich für Noobs wie mich, so viel Zeit nimmt um zu Helfen.
Was war jetzt eigentlich das Thema?
