History Daten addieren oder in Excel exportieren
-
Ich habe 2 Prognosewerte meiner PV-Anlage in getrennten History-json-Dateien.
Gibt es eine Lösung, um diese Werte addiert in eine neue History-Datei zu schreiben oder die json-Dateien automatisiert mit dem Speichertag in Excel/Pages/csv zu exportieren?
Danke
-
@pingo sagte in History Daten addieren oder in Excel exportieren:
Gibt es eine Lösung, um diese Werte addiert in eine neue History-Datei zu schreiben
wo kommen die Werte her?
warum addierst du sie nicht direkt in einen eigenen DP und historisierst den?Bitte mehr Infos!
https://forum.iobroker.net/topic/51555/hinweise-für-gute-forenbeiträge/1 -
auch den eigentlichen zweck was du am ende mit dem addierten wert erreichen willst könntest du noch kurz beschreiben.
aber was die meisten mit solchen daten anstellen wollen wäre:
idealerweise hast du die daten auf klein-klein Basis in einer Datenbank (bspw mysql/mariadb/influx) (Adapter iobroker.sql, Datenbank muss noch separat installiert werden )
wenn du dann die daten abrufen und aufbereiten willst, dann kann man mit sql die werte beliebig gruppieren (bspw. nach Tag, Monat, Jahr) und aggregieren (das summieren oder auch den durchschnitt rechnen, etc.)
darauf sind Datenbanken spezialisiert und können das auch mit einer großen menge von daten (evtl weil du die daten sekundenweise aufzeichnest)
so hast du eine flexible Möglichkeit später dann beliebig deine daten auszuwerten.grafana mit influx kann das direkt grafisch aufbereiten.
falls du die daten dennoch in excel haben willst, dann würde dich dir mysql/mariadb empfehlen. da gibt es einen odbc-treiber, mit dem man die daten dann live aus der Datenbank abrufen kann.
leider gibt es keinen odbc/odata treiber für influx. -
@oliverio
Das klingt doch schon mal nach einem Plan. DankeDie Daten sind die Objektwerte, die mir der Wechselrichter und der PV Prognose-Adapter ausgibt. Die logge ich in der History.
Da ich 2 PV-Felder auf dem Dach habe, die eine unterschiedliche Ausrichtung haben, bekomme ich auch für jedes PV-Feld eine Tagesertragsprognose. Die würde ich gerne dann mit dem tatsächlichen Gesamtertrag abgleichen,....Generell fände ich eine Tabelle auch besser nutzbar, als das Flotdiagram aus der History.
-
@pingo sagte in History Daten addieren oder in Excel exportieren:
Generell fände ich eine Tabelle auch besser nutzbar
mit dem odbc treiber kannst du die daten ja nach excel holen
https://mariadb.com/kb/de/mariadb-odbc-treiber/wenn du soweit bist und alles installiert hast, kann man dir hier
auch wieder mit dem sql helfen, das die daten so ankommen wie du es haben willst -
@oliverio said in History Daten addieren oder in Excel exportieren:
@pingo sagte in History Daten addieren oder in Excel exportieren:
Generell fände ich eine Tabelle auch besser nutzbar
mit dem odbc treiber kannst du die daten ja nach excel holen
https://mariadb.com/kb/de/mariadb-odbc-treiber/wenn du soweit bist und alles installiert hast, kann man dir hier
auch wieder mit dem sql helfen, das die daten so ankommen wie du es haben willstder ODBC-Treiber ist leider für meinen Mac nicht verfügbar
"idealerweise hast du die daten auf klein-klein Basis in einer Datenbank (bspw mysql/mariadb/influx) (Adapter iobroker.sql, Datenbank muss noch separat installiert werden )"
Den iobroker.sql-Adapter habe ich installiert und für die gewünschten Objekte einen Haken gesetzt. Wo finde ich dann die Datenbank oder wie installiere ich sie separat.
Danke -
Falls das Thema History Daten nach excel xls exportieren noch aktuell ist:
Ich habe das jetzt mal gemacht und somit meinen täglichen Heizenergiebedarf seit 2017 in Excel.
Die Umrechnung erfolgt in Python.
Ich habe eine textuelle Spezifikation geschrieben und diese von ChatGPT in python übersetzen lassen.
Mit ein wenig Nacharbeit und troubleshooting hat es dann funktioniert.ChatGPT kann auch bei Excel helfen. Aber dazu sollte man am besten ein englisches excel haben, oder den passenden Deutschen Befehl selbst zuordnen, sowie in Argumentlisten Kommas durch Strichpunkt ersetzen. Die Hilfe bei Python lief smoother.
-
@klassisch wie hast du die Daten nach Excel bekommen? Kannst du das näher beschreiben?
-
@pingo sagte in History Daten addieren oder in Excel exportieren:
der ODBC-Treiber ist leider für meinen Mac nicht verfügbar
sorry, den Beitrag erst gesehen ls er wieder hochgebracht wurde
https://www.cdata.com/kb/tech/mariadb-odbc-mac-excel.rst
Hier die Beschreibung für einen ODBC Treiber für den Mac OS Xdann gäbe es noch die Möglichkeit die Daten per sql abzurufen und als csv abzuspeichern
https://mariadb.com/kb/en/select-into-outfile/csv kann dann wieder in excel geöffnet werden
-
@final sagte in History Daten addieren oder in Excel exportieren:
@klassisch wie hast du die Daten nach Excel bekommen? Kannst du das näher beschreiben?
Mein ioBroker läuft auf einem Win Rechner. Darauf ist auch Python, auch aus anderen Gründen. Geht sicherlich auch alles mit einem Linux Rechner wahrscheinlich auch mit einem SBC (aber damit plage ich mich nicht mehr ab).
Dann habe ich textuell spezifiziert, was ich haben möchte und das ChatGPT anvertraut.
Da kam ein Programm heraus, das ich dann debugt habe und noch mit einem minimalen user-interface (Pfade, Dateinamen eingeben aber ohne Plausibilisierung etc.) versehen habe. Meine ersten Python Programme übrigens. So mußte ich lernen, daß Python wie YAML leider auf richtige Strukturelemente wie {} verzichtet und dazu Einrückungen verwendet (vier mal Blank).Davon habe ich dann einige Modifikationen wie z.B. alle Daten, Stundenmittelwerte, Werte am Stundenende, Tagesende wenn ich mich recht erinnere.
Kann bei Bedarf mal so ein Programm hier zeigen. Aber vorsicht, es ist wirklich ein "Rohtool" ohne Plausibilisierung der Eingaben etc. Bei Falscheingaben bricht es einfach ab, und es ist nicht laufzeit- oder ressourcenoptimiert. Aber man braucht das ja nicht so häufig. Ich habe damit aber nach und nach z.B. die Außentemperaturen und den synchronen Ölverbrauch von 7 Jahren transformiert, so daß ich den Elektrizitätsbedarf einer Wärmepumpe voraus berechnen kann oder auch simulieren kann, ob mir variable Stromtarife etwas gebracht hätten (natürlich ohne eine entsprechende Verbrauchssteuerung und einfach aus historischen Daten) -
Ok, du hast also mit einem Python skript die ordner mit den History Daten ausgelesen, richtig?
Spannend, dass du das mit ChatGPT gemacht hast!
Ich habe aktuell iob auf einem alten RPi laufen.
Was ich mir so ein bißchen überlege, ist, ganz generell die Daten in eine vernünftige DB zu schreiben. Und dann eben die historischen Daten in dieser DB nachzutragen.
Da habe ich noch kein Konzept. Da ich eh zu Proxmox will, wäre das sicher ein guter Moment.
In welchem Format sind denn die Daten der Hostory eigentlich gespeichert? JSon? -
@final Ja, die history files sind JSON. Kannst Du auch mit einem Texteditor nachlesen und anschauen. Praktisch selbsterklärend.
Mit Datenbanken bin noch zurückhaltend. Denn vor ioBroker hatte ich CCUio und das schrieb die Daten in eine eigene Datenbank. CCUio wurde eingestellt, ioBroker der Nachfolger. Und die Daten konnte man nicht mehr übertragen. So fehlen mir mittlerweile etliche Jahre an Daten.
Das json Zeug braucht zwar viel Platz, aber die Daten wrid man systemunabhängig "immer" irgendwie verwenden und konvertieren können.
ChatGPT kann beim Programmieren gut helfen und kann auch auf Nachfrage die verwendeten Elemente der Programmiersprache erläutern.
Allerdings durfte man (Januar 2024) nicht zu komplex werden. Besser kleine Teilaufgaben definieren, testen und dann selbst "zusammenkleben". Ich habe die verbale Spezifikation Schritt für Schritt erweitert. Irgendwann wurden bereits beherrschte Funktionen einfach "vergessen" einzufügen. Mag sein, daß das neuere oder andere Versionen irgendwann besser machen. Aber generell ist das eine gute Programmierhilfe - auch für javascript.
Python läuft halt eigenständig auf Rechnern, ist frei verfügbar und im mainstream. Da findet man viele Hilfen.
Ich editiere die files in notepad++ (visual studio geht natürlich auch) und starte dann von der Kommandozeile aus python mit dem Scriptnamen als Argument. Für diese gelegentliche Anwendung komfortabel genug. -
@klassisch said in History Daten addieren oder in Excel exportieren:
Ich editiere die files in notepad++
Warum? Ist das essentiell, damit dein python skript überhaupt funktioniert?
Ich hätte jetzt gedacht, dein skript liest einfach alle history Ordner aus und konvertiert dann.
Sowas müsste doch mit JS/blockly innerhalb iob auch gehen? -
@final Sorry, war ungenau. Python Programme editiere ich mit notepad++, weil dort die Sprache unterstützt wird.
Die json s editiere ich natürlich nicht. Die werden automatisch vom python programm gelesen.
-
@final sagte in History Daten addieren oder in Excel exportieren:
Sowas müsste doch mit JS/blockly innerhalb iob auch gehen?
Mag sein. Aber da hakt es bei mir schon bei den Befehlen zur Ordner- und Dateinavigation, I/O HMI etc. Und irgendwie kam mir dann python zwischen die Finger und damit war es rel. einfach möglich und mein Problem war gelöst. Und das ist ja kein Thema, welches man täglich braucht, sondern eher batch-weise.
Falls es einen fertigen Adapter gäbe, würde ich den nutzen. Aber so geht es auch. Pragmatismus geht hier vor Eleganz. -
@klassisch lädst du das Ergebnis dann in Excel? Und hast du noch die alten ccu Daten?
-
@fastfoot sagte in History Daten addieren oder in Excel exportieren:
@klassisch lädst du das Ergebnis dann in Excel?
Ja, die Datenextrakte werden als *.xlsx und *.csv abgelegt. Warum beides? Es ist nur eine Programmzeile mehr und ließ größere Flexibilität bei der Weiterverarbeitung erwarten. Aber meist verwende ich xlsx bei der weiteren Verarbeitung
Und hast du noch die alten ccu Daten?
ioBroker History Daten? ioBroker History JSON Daten bleiben bei dem Prozess natürlich unverändert. Da wird nichts gelöscht, die werden nur gelesen. Speicherplatz ist kostengünstig.
Oder meintest Du CCU.io Daten, also die Daten des Vorgängersystems? Ich fürchte nicht mehr. Müßt da aber mal suchen.
-
@klassisch sagte in History Daten addieren oder in Excel exportieren:
@fastfoot sagte in History Daten addieren oder in Excel exportieren:
@klassisch lädst du das Ergebnis dann in Excel?
Ja, die Daten werden als *.xlsx und *.csv abgelegt
nun, nichts gegen so eine Denkmaschine, aber mich hat es genau 3Min. gekostet so eine Historydatei in Excel zu importieren, incl Datum Konvertierung. OK, ohne Sommer/Winter
Und hast du noch die alten ccu Daten?
Ich fürchte nicht mehr. müßt da aber mal suchen.
man könnte halt versuchen diese zu konvertieren
-
@fastfoot Sorry, bin halt eben kein hauptamtlicher Programmierer und mich hat es leider etwas mehr Zeit gekostet, jahrelange Datenreihen mit dieser Ordnerstruktur (teils verdichtet) in xls zu konvertieren. Habe mich halt so durchgekämpft.
Hast Du das via javascript konvertiert? -
@klassisch na eben nicht, so schnell programmiere ich nicht, bin da eher langsam. Nein, der Import erfolgt über den Import eines JSON, das gibt es schon eine zeitlang und ist super easy. Hängt halt von deiner Excelversion ab, ich habe das 365er. Die Aktualisierung erfolgt auf Knopfdruck quasi live für die aktuelle Datei, kein Hin- und Hergeschiebe
Ausserdem find ichs gut wenn man sich zu helfen weiss, da bin ich auch eher pragmatisch. Wollte halt diesen Weg nicht unerwähnt lassen
