Lösung zur Wertspeicherung

[mickym]

@accuface Ich werde Dir in den nächsten Tagen nicht viel helfen können, aber falls wir uns nicht mehr treffen, dann alles Gute bis ins Neue Jahr.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Ich werde Dir in den nächsten Tagen nicht viel helfen können,

Alles Klar, wird schon klappen.

aber falls wir uns nicht mehr treffen, dann alles Gute bis ins Neue Jahr.

Danke, ebenso.

[mickym]

@accuface Im Prinzip habe ich Dir ja erklärt wie es funktioniert.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Im Prinzip habe ich Dir ja erklärt wie es funktioniert.

Ja, und ich hab den Funktionierenden ja immer kopiert und die Daten getauscht.

[mickym]

@accuface Du musst halt darauf achten, dass die Spalten über alles gleich beschrifet sind. Du kannst ja jede Datei schon erzeugen und downloaden und importieren.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Du musst halt darauf achten, dass die Spalten über alles gleich beschrifet sind.

sollte passen

Du kannst ja jede Datei schon erzeugen und downloaden und importieren.

hab ich heute keinen Bock mehr, ich bin Müde und Krieg Kopfweh vom vielen in dem Monitor glotzen.

[mickym]

@accuface na dann schlaf gut

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface na dann schlaf gut

Danke, du Auch. guds nächtle

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

hmmm, obwohl ich nochmal die Filenamen gelöscht und einen Reset durchgeführt habe, hat es die vorherigen werte wieder mitgeschrieben. Ich dachte durch das löschen und Reset, wird die Datei sozusagen geleert.

Ja ich weis, die spaltenüberschriften sind mitgesendet. Ich teste ja noch.

[Accuface]

@accuface said in Lösung zur Wertspeicherung:

hmmm, obwohl ich nochmal die Filenamen gelöscht und einen Reset durchgeführt habe, hat es die vorherigen werte wieder mitgeschrieben.

Fehler Gefunden, ich hatte in dem "löschen" Node den Pfad nicht angeglichen, somit hat er die "alte" Datei "zaehlerwerte" gelöscht.

Getestet und Funktioniert, also alles anpassen, daten Löschen und heute Nacht nochmal schreiben lassen.

Wie war das: Learning by Doing

[mickym]

@accuface Gut - ich wünsche Dir schöen Feiertage und einen guten Rutsch - ich werde wohl die nächsten 2 Wochen nur sehr sporadisch hier im Thread anwesend sein und kann dann auch keine Flows oder Screenshots hier einstellen. Du bist also auf Dich und Deine Fehlersuche alleine gestellt.

Wenn du in den oberen Ästen die Inject Node für das Erstellen der Spaltenüberschriften bis auf eine deaktivierst - da es ja jedesmal in derselben Variablen gespeichert wird.

Die braucht es ja NUR EINMAL - da die Spaltenüberschriften ja überall identisch sein müssen.

Also nochmals schöne Feiertage und einen guten Rutsch.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Gut - ich wünsche Dir schöen Feiertage und einen guten Rutsch - ich werde wohl die nächsten 2 Wochen nur sehr sporadisch hier im Thread anwesend sein und kann dann auch keine Flows oder Screenshots hier einstellen. Du bist also auf Dich und Deine Fehlersuche alleine gestellt.

Aus einem, mir unerklärlichem Grund, wird bei allen Dateien (Werte), die Nachkommastelle in der Excel liste nicht angezeigt. Gezeigter Wert ist vom 26.12.24.

Hast du ein Idee woran dass liegen könnte?

Ich hab die einzelnen Datein runtergeladen und gegen die vorhandenen ersetzt, dann in der Excel Liste per "Alle aktualiesieren" eingefügt.

Angezeigt wird 2, im iob sind es aber 2,287

[mickym]

@accuface Verschluckt wird eigentlich nichts - also insofern habe ich keine Ahnung - Du kannst die Anzahl der minimalen Nachkommastellen ändern, indem Du in der Change Node

$formatNumber(val,"0,####",{'decimal-separator':',','grouping-separator':'.'}): val})

die # hinter dem Komma gegen 0 ersetzt - je nachdem wie viele Nachkommastellen minimal kommen sollen. Schau halt auch mal in die Textdatei, ob es ein Problem von Excel beim Import ist oder ob es von NodeRed schon so in die Textdatei geschrieben wurde.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Verschluckt wird eigentlich nichts - also insofern habe ich keine Ahnung - Du kannst die Anzahl der minimalen Nachkommastellen ändern, indem Du in der Change Node

$formatNumber(val,"0,####",{'decimal-separator':',','grouping-separator':'.'}): val})

die # hinter dem Komma gegen 0 ersetzt - je nachdem wie viele Nachkommastellen minimal kommen sollen. Schau halt auch mal in die Textdatei, ob es ein Problem von Excel beim Import ist oder ob es von NodeRed schon so in die Textdatei geschrieben wurde.

Das mit den 0 gegen # ersetzen hab ich jetzt mal gemacht.
Wenn ich die runtergeladenen CSV im Notepad aufmache ist die Zahl korrekt drin.
Wenn ich Aktualisiere ist die Nachkommastellen weg.
Wenn ich allerdings neu Importiere dann wird es in der Vorschau korrekt angezeigt und wird logischerweise ein neues Arbeitsblatt erstellt, wo es dann auch passt.

muss also irgendwie mit dem aktualisieren zusammenhängen.

Ich hab in Excel über Optionen -> Erweitert -> "Trennzeichen vom Betriebssystem übernehmen" abgehackt. Hat aber auch nichts verändert.

Ein Excel Profi viell. eine Idee?

[mickym]

@accuface sagte in Lösung zur Wertspeicherung:

Wenn ich die runtergeladenen CSV im Notepad aufmache ist die Zahl korrekt drin.

Wollte ich sagen - dann liegt das aber nicht an NodeRed, sondern an Excel - dann kannst die Änderungen ggf. rückgängig machen.

Du kannst in die vorhandenen Zellen gehen - dann auf Daten => zuletzt verwendete Quellen
da wählst Du dann Deine CSV Datei aus

Dann macht sich so ein Fenster auf - dann auf Daten transformieren - dann macht sich dieser Power Editor auf.

Im Transformierenmenü hat der dann ggf. vielleicht weil zu Anfang 0 drin stand - den Datentyp Ganzzahl anstelle von Dezimalzahl genommen.

Dann das ggf. nochmal für die Spalte ändern.
Wenn es dann in dem Power Query Editor richtig angezeigt wird, dann musst Du es mit

Start => Schließen und laden wieder in Excel übernehmen.

Ich bin auch kein Excelspezialist.
Aber Du kannst ja selbst bissi rumprobieren.
Gut mit den 0,000 würdest Du das dann erzwingen. Jedenfalls wenn es im Text richtig ist, dann liegt das an dem Import.
Das mit dem Trennzeichen ist ein Tab - da nichts verstellen - daran liegt es nicht. Ein Komma als Spaltentrennzeichen zu verwenden, wäre eher blöd. Zudem Excel keinen Dezimalpunkt, sondern nur ein Komma akzeptiert.

Mehr kenne ich mich im Excel auch nicht aus.

Zur Not kannst Du ja alles nochmal neu importieren. Wenn die Spalten dann das richtige Format haben, dann klappt es auch mit dem Aktualisieren. Das ist glaub nur am Anfang, wenn der Datentyp nicht richtig erkannt wird.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

Im Transformierenmenü hat der dann ggf. vielleicht weil zu Anfang 0 drin stand - den Datentyp Ganzzahl anstelle von Dezimalzahl genommen.

Ich hab das jetzt bei dem ersten Arbeitsblatt getestet, und hat funktioniert. nach erneutem aktualisieren passt nun die zahl mit den Nachkommastellen. Werde es dann morgen sehen ob es beim erneuten Daten aktualisieren auch noch passt.

Du bist der beste.

Ich hoffe ich kann dich dann jetzt in Ruhe lassen.

EDIT:

Passt nun auch beim aktualisieren. Da wäre ich nie drauf gekommen. Danke

[Accuface]

@mickym

Leider muss ich dich schon wieder nötigen *kopfeinzieh
mach dir keinen Stress, schaue es dir an wenn du Zeit hast.

Ich hab für 2025 einen Neuen Ordner auf meinem Rechner angelegt und da die ganzen CSV und excelliste gespeichert.

Am am 2.1. ist mir dann aufgefallen dass ein Teil der Werte nicht in der Tabelle sind.
Ich hab dann einen 3/4 Tag damit verbracht rauszufinden warum dass so ist.

Was hab ich gemacht?
Ich hab zunächst die Topics überprüft und zum Test zunächst einen neu eingelesen. Ohne Erfolg.
Dann hab ich die Zeit vom Zeitplan geändert, auch ohne Erfolg.
Neue Excelliste angelegt, alles nochmal komplett neu gemacht, wieder ohne Erfolg.

Folgendes hab ich dabei festgestellt:
Wenn Node Red die Werte um 23.59 Uhr (oder eben zur angegeben Zeit) speichert fehlen die werte.
Wenn ich den Trigger manuell auslöse, werde sie Übertragen.

Hier zu sehen Arbeitsblatt 03_Netzbezug:
Rot ist Autosave 03.01.2025 23:59Uhr, hier fehlen die werte ab "consumed - 01_currentDay".

Grün ist heute (und gestern auch) manuell getriggert, hier sind die Werte vorhanden.
Das ist bei den Arbeitsblättern 01_XXXX, 03_XXXX, 05_XXXXX, 07_XXXX, und 09_XXXXX der Fall.

Hier die CSV datei mit dem Editor geöffnet, auch hier fehlen die Daten.

Hier noch de rTopic aus Node Red:

sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_in.currentYear.consumed.*

die Werte In den objekten:

Es scheint diesmal eine Sache in Node Red zu sein wenn automatisch ausgelöst wird.

Ich hab jetzt selbst schon versucht zu schauen, bisher ohne Erfolg.

Dann hab ich in der Liste von 2024 nachgesehen und da ist es das selbe. Klar, muss ja, hab ja am Flow nix geändert.
In der testliste von 2024 hatte ich nie bis ganz nach rechts gescrollt, daher ist mir dass nicht aufgefallen.

Hast du eine Idee warum das so ist?

hier mal der Flow vom 03_Netzbezug:

nicht wundern, hier ist bei 0,####

$formatNumber(val,"0,####",{'decimal-separator':',','grouping-separator':'.'}): val})

noch 0,0000 drin, was aber ja nicht das Problem sein kann.

Spoiler

[
{
"id": "32cae0892f64cff4",
"type": "group",
"z": "10872fa661850328",
"name": "Netzbezug - MT681#1_Total_in.currentYear.consumed.",
"style": {
"label": true,
"fill": "#ff7f7f",
"color": "#ffffff",
"fill-opacity": "0.81"
},
"nodes": [
"92c4e0e020ea7ecf",
"aec5792cee632a6a",
"f7caa3800962b57d",
"47aa520a077c1209",
"1a078b5dab97cb1d",
"4820bf38ec8bf230",
"a5ddcc4b2e1ed759",
"720ba0f6d44a6908",
"411ac2a38366fd99",
"8c72c29a32559f7f",
"773a6672aec28da4",
"218f7dd41b075bd7",
"99d2c51fe4bf57cc",
"b9cc6e47020a18ff",
"34a8234dcdfb232c"
],
"x": 34,
"y": 919,
"w": 1292,
"h": 262
},
{
"id": "92c4e0e020ea7ecf",
"type": "inject",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"props": [
{
"p": "columns",
"v": "Init",
"vt": "str"
}
],
"repeat": "",
"crontab": "59 23 * * ",
"once": true,
"onceDelay": 0.1,
"topic": "",
"x": 130,
"y": 960,
"wires": [
[
"aec5792cee632a6a"
]
]
},
{
"id": "aec5792cee632a6a",
"type": "ioBroker list",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "Netzbezug",
"topic": "sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_in.currentYear.consumed.",
"objType": "state",
"regex": "",
"asArray": "true",
"onlyIDs": "true",
"withValues": "false",
"x": 290,
"y": 960,
"wires": [
[
"47aa520a077c1209"
]
]
},
{
"id": "f7caa3800962b57d",
"type": "debug",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "Spalten ",
"active": true,
"tosidebar": true,
"console": false,
"tostatus": false,
"complete": "payload",
"targetType": "msg",
"statusVal": "",
"statusType": "auto",
"x": 840,
"y": 960,
"wires": []
},
{
"id": "47aa520a077c1209",
"type": "change",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"rules": [
{
"t": "set",
"p": "payload",
"pt": "msg",
"to": ""Datum & Uhrzeit," & $join(payload.$replace($,/.\.(.)\.(.)$/,"$1 - $2"),",")",
"tot": "jsonata"
},
{
"t": "set",
"p": "columns",
"pt": "flow",
"to": "payload",
"tot": "msg"
}
],
"action": "",
"property": "",
"from": "",
"to": "",
"reg": false,
"x": 650,
"y": 960,
"wires": [
[
"f7caa3800962b57d"
]
]
},
{
"id": "1a078b5dab97cb1d",
"type": "inject",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"props": [
{
"p": "payload"
}
],
"repeat": "",
"crontab": "59 23 * * ",
"once": false,
"onceDelay": 0.1,
"topic": "",
"payload": "trigger",
"payloadType": "str",
"x": 140,
"y": 1080,
"wires": [
[
"4820bf38ec8bf230"
]
]
},
{
"id": "4820bf38ec8bf230",
"type": "ioBroker list",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "Netzbezug",
"topic": "sourceanalytix.0.alias__0__Strom_Haus__MT681#1_Total_in.currentYear.consumed.",
"objType": "state",
"regex": "",
"asArray": "true",
"onlyIDs": "true",
"withValues": "true",
"x": 290,
"y": 1080,
"wires": [
[
"a5ddcc4b2e1ed759"
]
]
},
{
"id": "a5ddcc4b2e1ed759",
"type": "change",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"rules": [
{
"t": "set",
"p": "columns",
"pt": "msg",
"to": "columns",
"tot": "flow"
},
{
"t": "set",
"p": "payload",
"pt": "msg",
"to": "$append({"Datum & Uhrzeit" : $moment().locale("de").tz('Europe/Berlin').format('DD.MM.YYYY HH:mm:ss')},\tpayload.{$replace(_id,/.\.(.)\.(.*)$/,"$1 - $2") : val ? $formatNumber(val,"0,0000",{'decimal-separator':',','grouping-separator':'.'}): val})\t~>$merge",
"tot": "jsonata"
}
],
"action": "",
"property": "",
"from": "",
"to": "",
"reg": false,
"x": 650,
"y": 1080,
"wires": [
[
"720ba0f6d44a6908"
]
]
},
{
"id": "720ba0f6d44a6908",
"type": "csv",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"sep": "\t",
"hdrin": "",
"hdrout": "none",
"multi": "one",
"ret": "\r\n",
"temp": "",
"skip": "0",
"strings": false,
"include_empty_strings": "",
"include_null_values": false,
"x": 850,
"y": 1080,
"wires": [
[
"8c72c29a32559f7f",
"773a6672aec28da4"
]
]
},
{
"id": "411ac2a38366fd99",
"type": "inject",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"props": [
{
"p": "reset",
"v": "true",
"vt": "bool"
},
{
"p": "topic",
"vt": "str"
}
],
"repeat": "",
"crontab": "",
"once": false,
"onceDelay": 0.1,
"topic": "reset",
"x": 690,
"y": 1020,
"wires": [
[
"720ba0f6d44a6908"
]
]
},
{
"id": "8c72c29a32559f7f",
"type": "debug",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "CSV Ausgabe",
"active": true,
"tosidebar": true,
"console": false,
"tostatus": false,
"complete": "payload",
"targetType": "msg",
"statusVal": "",
"statusType": "auto",
"x": 1020,
"y": 1140,
"wires": []
},
{
"id": "773a6672aec28da4",
"type": "change",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "03_Netzbezug",
"rules": [
{
"t": "set",
"p": "filename",
"pt": "msg",
"to": "/home/iobroker/03_Netzbezug.csv",
"tot": "str"
}
],
"action": "",
"property": "",
"from": "",
"to": "",
"reg": false,
"x": 1020,
"y": 1080,
"wires": [
[
"218f7dd41b075bd7"
]
]
},
{
"id": "218f7dd41b075bd7",
"type": "file",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"filename": "filename",
"filenameType": "msg",
"appendNewline": false,
"createDir": false,
"overwriteFile": "false",
"encoding": "none",
"x": 1240,
"y": 1080,
"wires": [
[]
]
},
{
"id": "99d2c51fe4bf57cc",
"type": "inject",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "Lösche filename",
"props": [
{
"p": "filename",
"v": "/home/iobroker/03_Netzbezug.csv",
"vt": "str"
}
],
"repeat": "",
"crontab": "",
"once": false,
"onceDelay": 0.1,
"topic": "",
"x": 1060,
"y": 1000,
"wires": [
[
"b9cc6e47020a18ff"
]
]
},
{
"id": "b9cc6e47020a18ff",
"type": "file",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "",
"filename": "filename",
"filenameType": "msg",
"appendNewline": true,
"createDir": false,
"overwriteFile": "delete",
"encoding": "none",
"x": 1230,
"y": 1000,
"wires": [
[]
]
},
{
"id": "34a8234dcdfb232c",
"type": "comment",
"z": "10872fa661850328",
"g": "32cae0892f64cff4",
"name": "http://192.168.178.56:1880/files/03_Netzbezug.csv",
"info": "",
"x": 270,
"y": 1140,
"wires": []
}
]

Ich sag schon mal Danke

[mickym]

@accuface Nun ich denke trotzdem, dass es nicht am NodeRed Flow liegt, sondern eher am Zeitpunkt, dass ggf. zu diesem Zeitpunkt die Daten noch nicht vorliegen oder gerade in Arbeit sind. Ich würde halt mal andere Zeitpunkte nehmen. Wie gesagt, wenn es manuell funktioniert, dann ist halt ggf. um 23.59 sourceanaytics nicht bereit. Ich würde halt im Log schauen, wann geschrieben wird - ich kann da wenig helfen, da ich ja kein prinzipielles Problem vorliegt, sonst würden die manuell getriggerten Werte nicht liefern. Wie gesagt spiele halt mal mit unterschiedlichen Zeiten.

Ich würde halt entweder um 01:00 Uhr triggern oder um 23:00 Uhr und mich dann annähern.

[Accuface]

@mickym said in Lösung zur Wertspeicherung:

@accuface Nun ich denke trotzdem, dass es nicht am NodeRed Flow liegt, sondern eher am Zeitpunkt, dass ggf. zu diesem Zeitpunkt die Daten noch nicht vorliegen oder gerade in Arbeit sind. Ich würde halt mal andere Zeitpunkte nehmen. Wie gesagt, wenn es manuell funktioniert, dann ist halt ggf. um 23.59 sourceanaytics nicht bereit. Ich würde halt im Log schauen, wann geschrieben wird - ich kann da wenig helfen, da ich ja kein prinzipielles Problem vorliegt, sonst würden die manuell getriggerten Werte nicht liefern. Wie gesagt spiele halt mal mit unterschiedlichen Zeiten.

Ich würde halt entweder um 01:00 Uhr triggern oder um 23:00 Uhr und mich dann annähern.

Ich danke Dir, dann teste ich mich da ran.

[mickym]

@accuface Vielleicht musst Du die Abfragen auch etwas staffeln, damit der iobroker nicht mit den Anfragen überhäuft ist.