History Daten addieren oder in Excel exportieren
-
Ok, du hast also mit einem Python skript die ordner mit den History Daten ausgelesen, richtig?
Spannend, dass du das mit ChatGPT gemacht hast!
Ich habe aktuell iob auf einem alten RPi laufen.
Was ich mir so ein bißchen überlege, ist, ganz generell die Daten in eine vernünftige DB zu schreiben. Und dann eben die historischen Daten in dieser DB nachzutragen.
Da habe ich noch kein Konzept. Da ich eh zu Proxmox will, wäre das sicher ein guter Moment.
In welchem Format sind denn die Daten der Hostory eigentlich gespeichert? JSon? -
@final Ja, die history files sind JSON. Kannst Du auch mit einem Texteditor nachlesen und anschauen. Praktisch selbsterklärend.
Mit Datenbanken bin noch zurückhaltend. Denn vor ioBroker hatte ich CCUio und das schrieb die Daten in eine eigene Datenbank. CCUio wurde eingestellt, ioBroker der Nachfolger. Und die Daten konnte man nicht mehr übertragen. So fehlen mir mittlerweile etliche Jahre an Daten.
Das json Zeug braucht zwar viel Platz, aber die Daten wrid man systemunabhängig "immer" irgendwie verwenden und konvertieren können.
ChatGPT kann beim Programmieren gut helfen und kann auch auf Nachfrage die verwendeten Elemente der Programmiersprache erläutern.
Allerdings durfte man (Januar 2024) nicht zu komplex werden. Besser kleine Teilaufgaben definieren, testen und dann selbst "zusammenkleben". Ich habe die verbale Spezifikation Schritt für Schritt erweitert. Irgendwann wurden bereits beherrschte Funktionen einfach "vergessen" einzufügen. Mag sein, daß das neuere oder andere Versionen irgendwann besser machen. Aber generell ist das eine gute Programmierhilfe - auch für javascript.
Python läuft halt eigenständig auf Rechnern, ist frei verfügbar und im mainstream. Da findet man viele Hilfen.
Ich editiere die files in notepad++ (visual studio geht natürlich auch) und starte dann von der Kommandozeile aus python mit dem Scriptnamen als Argument. Für diese gelegentliche Anwendung komfortabel genug. -
@klassisch said in History Daten addieren oder in Excel exportieren:
Ich editiere die files in notepad++
Warum? Ist das essentiell, damit dein python skript überhaupt funktioniert?
Ich hätte jetzt gedacht, dein skript liest einfach alle history Ordner aus und konvertiert dann.
Sowas müsste doch mit JS/blockly innerhalb iob auch gehen? -
@final Sorry, war ungenau. Python Programme editiere ich mit notepad++, weil dort die Sprache unterstützt wird.
Die json s editiere ich natürlich nicht. Die werden automatisch vom python programm gelesen.
-
@final sagte in History Daten addieren oder in Excel exportieren:
Sowas müsste doch mit JS/blockly innerhalb iob auch gehen?
Mag sein. Aber da hakt es bei mir schon bei den Befehlen zur Ordner- und Dateinavigation, I/O HMI etc. Und irgendwie kam mir dann python zwischen die Finger und damit war es rel. einfach möglich und mein Problem war gelöst. Und das ist ja kein Thema, welches man täglich braucht, sondern eher batch-weise.
Falls es einen fertigen Adapter gäbe, würde ich den nutzen. Aber so geht es auch. Pragmatismus geht hier vor Eleganz. -
@klassisch lädst du das Ergebnis dann in Excel? Und hast du noch die alten ccu Daten?
-
@fastfoot sagte in History Daten addieren oder in Excel exportieren:
@klassisch lädst du das Ergebnis dann in Excel?
Ja, die Datenextrakte werden als *.xlsx und *.csv abgelegt. Warum beides? Es ist nur eine Programmzeile mehr und ließ größere Flexibilität bei der Weiterverarbeitung erwarten. Aber meist verwende ich xlsx bei der weiteren Verarbeitung
Und hast du noch die alten ccu Daten?
ioBroker History Daten? ioBroker History JSON Daten bleiben bei dem Prozess natürlich unverändert. Da wird nichts gelöscht, die werden nur gelesen. Speicherplatz ist kostengünstig.
Oder meintest Du CCU.io Daten, also die Daten des Vorgängersystems? Ich fürchte nicht mehr. Müßt da aber mal suchen.
-
@klassisch sagte in History Daten addieren oder in Excel exportieren:
@fastfoot sagte in History Daten addieren oder in Excel exportieren:
@klassisch lädst du das Ergebnis dann in Excel?
Ja, die Daten werden als *.xlsx und *.csv abgelegt
nun, nichts gegen so eine Denkmaschine, aber mich hat es genau 3Min. gekostet so eine Historydatei in Excel zu importieren, incl Datum Konvertierung. OK, ohne Sommer/Winter
Und hast du noch die alten ccu Daten?
Ich fürchte nicht mehr. müßt da aber mal suchen.
man könnte halt versuchen diese zu konvertieren
-
@fastfoot Sorry, bin halt eben kein hauptamtlicher Programmierer und mich hat es leider etwas mehr Zeit gekostet, jahrelange Datenreihen mit dieser Ordnerstruktur (teils verdichtet) in xls zu konvertieren. Habe mich halt so durchgekämpft.
Hast Du das via javascript konvertiert? -
@klassisch na eben nicht, so schnell programmiere ich nicht, bin da eher langsam. Nein, der Import erfolgt über den Import eines JSON, das gibt es schon eine zeitlang und ist super easy. Hängt halt von deiner Excelversion ab, ich habe das 365er. Die Aktualisierung erfolgt auf Knopfdruck quasi live für die aktuelle Datei, kein Hin- und Hergeschiebe
Ausserdem find ichs gut wenn man sich zu helfen weiss, da bin ich auch eher pragmatisch. Wollte halt diesen Weg nicht unerwähnt lassen
-
@fastfoot Vielen Dank für den Hinweis. Habe noch eine alte xls Lizenz und bin kein Freund von Abomodellen.
Es ging mir auch nicht nur um die Umwandlung einer Einzeldatei, sondern um die automatisierte Konvertierung einer langen Zeitreihe, also der vielen Tagesdateien.
Kann man wahrscheinlich auch über ein Makro VBA VBS Skript oder so machen. Aber auch da müßte ich mich erst einarbeiten.Viele Wege führen nach Rom. Und Hauptsache Problem gelöst.
