UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Ja das sind alles Punkte, die um den Tageswechsel aktualisiert werden. Bei den Wochentagen bleiben halt die Zeilen leer, dessen Wochentag nicht ist.

Du holst die Punkte deshalb nicht aus dem iobroker. Schau Dir mal die Zeitstempel an, wann die Datenpunkte geschrieben wurden.

Du musst Dir das so vorstellen, dass Du alle Spalten sammeln musst, die zu einem Zeitpunkt gesammelt werden.

also bei den Blauen sind die Zeitpunkte (Uhrzeit) unterschiedlich.

@mickym said in Lösung zur Wertspeicherung:

Also musst du immer warten bis eine Zeile voll geschrieben ist.

?? versteh ich nicht, bzw, kann mir dass gerade nicht in einer Liste vorstellen

[mickym]

@accuface Na ja wir werden erst mal nur die blauen anschauen. da kommt ja pro Tag nur eine Nachricht. Wir werden da wahrscheinlich doch teilweise was neues basteln müssen. Das Problem was Du generell haben wirst, ist dass wenn NodeRed oder Dein iobroker neu gestartet wird - du neue unterschiedliche Dateien bekommst, die Du erst in Excel selbst zusammenfügen musst.

Mach nochmal einen Screenshot mit den Zeitstempeln.

dann kopier mir bitte mal den Pfad bis zur currentWeek hierein. Den importierten Flow können wir leider nur teilweise nutzen.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

Mach nochmal einen Screenshot mit den Zeitstempeln.

dann kopier mir bitte mal den Pfad bis zur currentWeek hierein. Den importierten Flow können wir leider nur teilweise nutzen.

sourceanalytix.0.0_userdata__0__Eigenverbrauch.currentYear.consumed.currentWeek

Montag:

sourceanalytix.0.0_userdata__0__Eigenverbrauch.currentYear.consumed.currentWeek.01_Monday

Zeitstempel Dienstag:

[mickym]

@accuface Nein du musst die 1 im Admin drücken (ggf. den Expertenmodus einschalten - den Kopf

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Nein du musst die 1 im Admin drücken (ggf. den Expertenmodus einschalten - den Kopf

sorry!

Der Hund will....nein, der muss nochmal raus und dann muss ich auch schon wieder ins Bett, halb 4 klingelt der Wecker. Morgen ab 14 Uhr ist dann erst mal 3 wochen Betriebsurlaub. Ich schau in 20 min. nochmal rein.

[mickym]

@accuface Ok dann kann man auf die trigger nicht im Einzelnen warten. Insbesondere die Werte unter Tags sind ja nicht besonders schlüssig. Ich würde dann halt man könnte einen Trigger aus currentWeek nehmen und alle Werte aufeinmal abfragen.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Ok dann kann man auf die trigger nicht im Einzelnen warten. Insbesondere die Werte unter Tags sind ja nicht besonders schlüssig. Ich würde dann halt man könnte einen Trigger aus currentWeek nehmen und alle Werte aufeinmal abfragen.

jub, solange es vorm Tageswechsel ist.

[mickym]

@accuface sagte in Lösung zur Wertspeicherung:

jub, solange es vorm Tageswechsel ist.

Nein - Du musst Dich nach dem iobroker und nicht nach einer Tageszeit richten. Wenn Du um 23:59 Uhr die Werte abliest, dann hat iobroker das nochgar nicht geschrieben. Das dauert bissi länger - mir da was zu überlegen - du kannst also in die Heia wenn Du willst. Morgen ist ja auch noch ein Tag.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface sagte in Lösung zur Wertspeicherung:

jub, solange es vorm Tageswechsel ist.

Nein - Du musst Dich nach dem iobroker und nicht nach einer Tageszeit richten. Wenn Du um 23:59 Uhr die Werte abliest, dann hat iobroker das nochgar nicht geschrieben.

achso....ok. Ich dachte einen Trigger um 23.59Uhr und das passt. Ganz schön kompliziert.

Das dauert bissi länger - mir da was zu überlegen - du kannst also in die Heia wenn Du willst. Morgen ist ja auch noch ein Tag.

alles Klar. Ich danke Dir schon mal für alles.

Ich hätte da ja noch ein paar mehr werte (bis auf Heizung, das ist mir nicht wichtig.

[mickym]

@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.

stimmt, wenn das Grundgerüst steht dann passt das. den Rest kann ich dann selbst füllen

[mickym]

@accuface sagte in Lösung zur Wertspeicherung:

@mickym said in Lösung zur Wertspeicherung:

@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.

stimmt, wenn das Grundgerüst steht dann passt das. den Rest kann ich dann selbst füllen

Es wird trotzdem relativ kompliziert - deswegen musst Du dann jeden Einzelschritt verstehen. Ich versuche mal den nächsten Schritt herauszuarbeiten.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface sagte in Lösung zur Wertspeicherung:

@mickym said in Lösung zur Wertspeicherung:

@accuface Lass uns ein Gerät machen - den Rest kannst Du selbst mit Copy und Paste machen.

stimmt, wenn das Grundgerüst steht dann passt das. den Rest kann ich dann selbst füllen

Es wird trotzdem relativ kompliziert - deswegen musst Du dann jeden Einzelschritt verstehen. Ich versuche mal den nächsten Schritt herauszuarbeiten.

Wenn man mehrer Flows macht und in verschieden Listen (nicht Blätter) schreibt, würde es dann einfacher werden?
es MUSS ja nicht ALLES in eine Liste. können ja von mir aus verschieden sein, keine Ahnung dass man z.B.

eigenverbrauch,
einspeisung,
#1 total in,
#1 total out
#2 total in,
#2 total out

oder so ähnlich

[mickym]

@accuface Du erstellst mehrere Textdateien, wie Du die dann in Excel importierst, das ist Deine Sache. Ich versuche gerade erst mal die Spalten zu definieren. Du kannst ja mal schauen, ob Dir das gefällt. Gleich. ;) - Ich dachte Du wolltest in die Heia. ;)

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Du erstellst mehrere Textdateien, wie Du die dann in Excel importierst, das ist Deine Sache. Ich versuche gerade erst mal die Spalten zu definieren. Du kannst ja mal schauen, ob Dir das gefällt. Gleich. ;)

Ich dachte Du wolltest in die Heia. ;)

dachte ich auch. aber morgen passiert eh nimmer viel @work, letzter Arbeitstag vor Weihnachten

[mickym]

@accuface So ich habe nun eine Lösung - Du musst aber genau verstehen, was wo passiert.

Ich geh nun mal davon aus, dass das 1 Gerät ist und wir ich hole alle Datenpunkte in einem Schritt ab.

Sprich es werden alle Datenpunkte ab consumed abgefragt und die entsprechenden Spaltenüberschriften erzeugt.

Es müssen grundsätzlich 2 Aufgaben unterschieden werden - einmal Tasks - das musst Du ggf. manuell wieder umstellen - weil ich den Flow nicht weiter komplizieren werde.

Es werden also aus der Bezeichnung des Ordners Spaltenüberschriften generiert.

das macht der obere Ast - der muss NUR am Anfang jedes Mal wenn NodeRed neu gestartet ausgeführt werden, damit man damit die Flowvariable columns setzen kann.

Die Spaltenüberschriften werden also aus dem übergeordneten Ordner und dem Namen des Datenpunktes erstellt.

bei Dir würde also aus diesen Datenpunkten folgende Spaltenüberschriften entstehen:

Datum & Uhrzeit
currentWeek - 01_Monday
currentWeek - 02_Tuesday
.
.
.
previousWeek - 01_currentDay
previousWeek - 01_previousDay
previousWeek - 02_currentWeek
.
.
.

Um all diese Werte auszulesen musst Du alle Werte unter currentWeek auslesen.

sourceanalytix.0.0_userdata__0__Eigenverbrauch.currentYear.consumed.currentWeek.*

Also musst Du in die iobroker List Node dieses topic eintragen.

Vergib einen richtigen Namen sonst wird die Node mit dem Pfad zu lange.

Ich würde mit dem Import warten - bis ich Dir das im Einzelnen erklären kann:

Spoiler

[
   {
       "id": "2fac0a7bd9170cb3",
       "type": "inject",
       "z": "289f539dcc33814e",
       "name": "",
       "props": [
           {
               "p": "columns",
               "v": "Init",
               "vt": "str"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": true,
       "onceDelay": 0.1,
       "topic": "",
       "x": 90,
       "y": 7400,
       "wires": [
           [
               "6f152ad1fba8e07a"
           ]
       ]
   },
   {
       "id": "6f152ad1fba8e07a",
       "type": "ioBroker list",
       "z": "289f539dcc33814e",
       "name": "",
       "topic": "0_userdata.0.Test.FritzBox4440.*",
       "objType": "state",
       "regex": "",
       "asArray": "true",
       "onlyIDs": "true",
       "withValues": "false",
       "x": 320,
       "y": 7400,
       "wires": [
           [
               "91a18050604fc25a"
           ]
       ]
   },
   {
       "id": "d856e28eb40290ee",
       "type": "debug",
       "z": "289f539dcc33814e",
       "name": "Spalten ",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 800,
       "y": 7400,
       "wires": []
   },
   {
       "id": "91a18050604fc25a",
       "type": "change",
       "z": "289f539dcc33814e",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "\"Datum & Uhrzeit,\" &  $join(payload.$replace($,/.*\\.(.*)\\.(.*)$/,\"$1 - $2\"),\",\")",
               "tot": "jsonata"
           },
           {
               "t": "set",
               "p": "columns",
               "pt": "flow",
               "to": "payload",
               "tot": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 610,
       "y": 7400,
       "wires": [
           [
               "d856e28eb40290ee"
           ]
       ]
   },
   {
       "id": "b847ab0ee0b6666c",
       "type": "inject",
       "z": "289f539dcc33814e",
       "name": "",
       "props": [
           {
               "p": "payload"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "",
       "payload": "trigger",
       "payloadType": "str",
       "x": 90,
       "y": 7520,
       "wires": [
           [
               "d7c9ccfb8e2c2e3d"
           ]
       ]
   },
   {
       "id": "d7c9ccfb8e2c2e3d",
       "type": "ioBroker list",
       "z": "289f539dcc33814e",
       "name": "",
       "topic": "0_userdata.0.Test.FritzBox4440.*",
       "objType": "state",
       "regex": "",
       "asArray": "true",
       "onlyIDs": "true",
       "withValues": "true",
       "x": 320,
       "y": 7520,
       "wires": [
           [
               "bd2f5ca2dfc3c0f7"
           ]
       ]
   },
   {
       "id": "bd2f5ca2dfc3c0f7",
       "type": "change",
       "z": "289f539dcc33814e",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "columns",
               "pt": "msg",
               "to": "columns",
               "tot": "flow"
           },
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "$append({\"Datum & Uhrzeit\" : $moment().locale(\"de\").tz('Europe/Berlin').format('DD.MM.YYYY HH:mm:ss')},\tpayload.{$replace(_id,/.*\\.(.*)\\.(.*)$/,\"$1 - $2\") : val ? $formatNumber(val,\"0,####\",{'decimal-separator':',','grouping-separator':'.'}): val})\t~>$merge",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 610,
       "y": 7520,
       "wires": [
           [
               "ad947a83b5525584"
           ]
       ]
   },
   {
       "id": "ad947a83b5525584",
       "type": "csv",
       "z": "289f539dcc33814e",
       "name": "",
       "sep": "\\t",
       "hdrin": "",
       "hdrout": "once",
       "multi": "one",
       "ret": "\\r\\n",
       "temp": "",
       "skip": "0",
       "strings": false,
       "include_empty_strings": "",
       "include_null_values": false,
       "x": 810,
       "y": 7520,
       "wires": [
           [
               "332553a95d2d51b7",
               "b8a160d1adab4c0b"
           ]
       ]
   },
   {
       "id": "cd4000f000ec0e72",
       "type": "inject",
       "z": "289f539dcc33814e",
       "name": "",
       "props": [
           {
               "p": "reset",
               "v": "true",
               "vt": "bool"
           },
           {
               "p": "topic",
               "vt": "str"
           }
       ],
       "repeat": "",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "reset",
       "x": 650,
       "y": 7460,
       "wires": [
           [
               "ad947a83b5525584"
           ]
       ]
   },
   {
       "id": "332553a95d2d51b7",
       "type": "debug",
       "z": "289f539dcc33814e",
       "name": "CSV Ausgabe",
       "active": true,
       "tosidebar": true,
       "console": false,
       "tostatus": false,
       "complete": "payload",
       "targetType": "msg",
       "statusVal": "",
       "statusType": "auto",
       "x": 980,
       "y": 7580,
       "wires": []
   },
   {
       "id": "b8a160d1adab4c0b",
       "type": "change",
       "z": "289f539dcc33814e",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "filename",
               "pt": "msg",
               "to": "/home/iobroker/StromHaus.csv",
               "tot": "str"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 990,
       "y": 7520,
       "wires": [
           [
               "23986c6931c17f14"
           ]
       ]
   },
   {
       "id": "23986c6931c17f14",
       "type": "file",
       "z": "289f539dcc33814e",
       "name": "",
       "filename": "filename",
       "filenameType": "msg",
       "appendNewline": false,
       "createDir": false,
       "overwriteFile": "false",
       "encoding": "none",
       "x": 1180,
       "y": 7520,
       "wires": [
           []
       ]
   }
]

Auf Deinem Notebook kannst Du dann die Verknüpfung zum Download die XLS Datei und die csv Datei drin hast.

Datum & Uhrzeit	Verbrauch - täglich	Zähler - täglich	Verbrauch - wöchentlich	Zähler - wöchentlich	Verbrauch - monatlich	Zähler - monatlich	Verbrauch - jährlich	Zähler - jährlich	Verbrauch - stündlich	Zähler - stündlich
19.12.2024 22:59:48	109,385	1461354	765,1272	1441718	3260,9589	1343766	null	199150	4,5591	1467352
19.12.2024 22:59:49	109,385	1461354	765,1272	1441718	3260,9589	1343766	null	199150	4,5591	1467352
19.12.2024 23:01:20	109,385	1461354	765,1272	1441718	3260,9589	1343766	null	199150	4,5591	1467625
19.12.2024 23:07:25	109,385	1461354	765,1272	1441718	3260,9589	1343766	null	199150	4,5591	1467625

Diese Datei wird dann fortgeschrieben. Ich würde dann wenn die Datei einmal erstellt ist in der CSV umstellen, dass die Spaltennamen erneut geschrieben werden.

Im Excel dann halt wie gesagt über das Menü Daten die CSV importieren.

Dann wirklich die CSV überschreiben und NUR auf aktualisieren gehen - es werden automatisch die fehlenden Zeilen ergänzt.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface So ich habe nun eine Lösung - Du musst aber genau verstehen, was wo passiert.

Guten Morgen,

Vielen Dank.
Dass sieht jetzt im einzelnen, für mich etwas kompliziert an, ich denk aber, wenn ich damit mal gearbeitet habe und einen Workflow habe, gehts.

Ich geh nun mal davon aus, dass das 1 Gerät ist und wir ich hole alle Datenpunkte in einem Schritt ab.

1 Gerät?

Also, der Datenpunkt 0_userdata_0_Eigenverbrauch kommt von einem Blockly und wird darin berechnet, im Source-analytics wird aus dem dann der Eigenverbrauch werden dann die einzelnen Tage berechnet wie hier schon gesehen:

https://forum.iobroker.net/assets/uploads/files/1734637149717-übersicht.png

Die sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_in sehen so aus:
Der MT681#1 ist ein zweirichtungszähler der für die Strommessung des Haus zuständig ist.
im Ordner 2024 sind dann noch die einzelnen Wochen und Monate mit jeweils dem Gesamtwert zusammengefasst.

Bei sourceanalytix.0.alias__0__Strom_Haus__MT681#2_Total_in sieht es so aus.
Dieser Zähler ist der selbe wie bei #1, nur dass es alles messen tut was die PV-Anlagen Produzieren.

Bei sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_out
und
sourceanalytix.0.alias__0__Strom_Haus__MT681#2_Total_out
quasi das selbe.

welche werte ich davon alles genau brauche, weiss ich noch nicht genau. ich denk dass wird sich im lauf der Zeit zeigen, sonst wird das wahrsch. 1. zuviel an DP und 2. vielleicht schnell unübersichtlich.

[mickym]

@accuface sagte in Lösung zur Wertspeicherung:

welche werte ich davon alles genau brauche, weiss ich noch nicht genau. ich denk dass wird sich im lauf der Zeit zeigen, sonst wird das wahrsch. 1. zuviel an DP und 2. vielleicht schnell unübersichtlich.

Na ja im Grunde macht man das ganze Spiel nicht so, wie Du es mit Deinem Export vor hast. In der Regel nutzt man die Möglichkeiten Änderungen von Datenpunkten in einer Datenbank zu speichern und diese kannst Du dann bei Bedarf exportieren. Das wäre eigentlich der saubere Weg und dann brauchst Du auch nicht so im iobroker rumfuhrwerken, sondern hast die Daten in einer Datenbank und musst Dich halt dann damit beschäftigen, wie Du das in Excel exportierst für mysql gibts zum Beispiel im Excel schon fertig AddOns.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface sagte in Lösung zur Wertspeicherung:

welche werte ich davon alles genau brauche, weiss ich noch nicht genau. ich denk dass wird sich im lauf der Zeit zeigen, sonst wird das wahrsch. 1. zuviel an DP und 2. vielleicht schnell unübersichtlich.

Na ja im Grunde macht man das ganze Spiel nicht so, wie Du es mit Deinem Export vor hast. In der Regel nutzt man die Möglichkeiten Änderungen von Datenpunkten in einer Datenbank zu speichern und diese kannst Du dann bei Bedarf exportieren. Das wäre eigentlich der saubere Weg und dann brauchst Du auch nicht so im iobroker rumfuhrwerken, sondern hast die Daten in einer Datenbank und musst Dich halt dann damit beschäftigen, wie Du das in Excel exportierst für mysql gibts zum Beispiel im Excel schon fertig AddOns.

War ja mein ursprünglicher Plan, InfluxDB und MariaDB laufen ja. Aber auch hier dass selbe Problem, ich hab keine Ahnung davon.
Wenn ich dass aber richtig gelesen habe, muss man die CSV von Influx auch manuell Downloaden und einpflegen.

[mickym]

@accuface Na ja - das geht halt alles nicht so schnell insbesondere wenn man soviel will.

Ich habe es gerade mal mit ein paar WENIGEN Datenpunkten und mySQL gemacht.

Das funktioniert prinzipiell schon - aber ich musste auch 1 Std. rumprobieren:

Lösung (1):
Gut aber wir können auch erst mal da weitermachen, wo wir gestern aufgehört haben, aber für die Datenmenge würde ich ggf. mySQL mal auf Deinem NAS in Betracht ziehen - das wäre der saubere Weg.

Lösung (2):
Das kannst Du ja als nächstes in Betracht ziehen - weil das meines Erachtens eine vollautomatische Lösung wäre, wobei der sourceanalytics Adapter weiterhin eine Fehlerquelle wäre.

Lösung (3):
Die 3 Lösung ist - ganz auf sourceanalytics zu verzichten und Dir mit Influx etc. Dir die Werte selbst bereitstellen lassen. Dann errechnest Du Dir die Werte selbst - das ist natürlich die sauberste und automatischste Lösung.

Und irgendwie musst Du Dir bei allen 3 Lösungen Ahnung beibringen. ;) - Ich kann Dir ggf. bei dem einen oder anderen helfen, aber bin auch nicht in allem fit und man müsste recherchieren. Deswegen habe ich ja für mein Excelsheet gerade auch 1 Std. gebraucht. Aber wir gesagt, wir können auch erst mal da weitermachen, wo wir gestern aufgehört haben.