NEWS
History.0 Export mit 10000enden Datenpunkten
-
History.0 Export mit 10000enden Datenpunkten über viele Monate hinweg, wie schon der Titel sagt, vor diesem Problem stehe ich.
Meine Forumssuche und Google waren nicht so wirklich erfolgreich.
Usecase: Fotovoltaik-Leistung, über Shelly aufgezeichnet, wann auch immer sich der Wert ändert, wird dieser im history.0 Adapter gespeichert, monatelang, im Grunde mindestens alle 5sec.
Jetzt möchte ich eine Klassierung über die Daten legen, um diverse Dinge damit anzuzeigen und zu berechnen. Allerdings brauche ich die Daten als txt oder auch csv, völlig egal, Hauptsache als File verfügbar.Wie ich in diesem Thread gelernt habe, gehen mit dem normalen Export nur 500 Punkte, das stimmt mit meinen Versuchen überein.
Ich weiss ja, wo die History-Daten liegen, ich kenne die Ordner Struktur, den Kanal. Vielleicht hat ja einer von Euch selbiges Problem gehabt und mittels Python, JS oder anderen Mitteln die Daten zusammen geführt.
Schaue die komplette Ordnerstruktur geordnet nach Datum durch, finde entsprechenden Datenpunkt als File (JSON), und suche aus dem JSON Objekt den Wert....
{
"val": 10.73,
......
}
.... und schreibe jeden Zeile für Zeile in das CSV.
Ich habe iObroker auf einem Raspi laufen.Vielleicht würde ich es hinbekommen, rudimentär kann ich Code schreiben. Und nein, ChatGPT ist keine Option, dazu bin ich viel zu retro (C64 Jünger) :)
LG, Andi
P.S. Ich mache das, weil ich wissen möchte, ob sich zusätzliche PhotoPanels auszahlen, da sie Anlage ka kaum täglich am Limit fährt und weil man es sicher auch machen kann, also als Spaß an der Sache, nur hier scheitere ich für den Moment.
-
History.0 Export mit 10000enden Datenpunkten über viele Monate hinweg, wie schon der Titel sagt, vor diesem Problem stehe ich.
Meine Forumssuche und Google waren nicht so wirklich erfolgreich.
Usecase: Fotovoltaik-Leistung, über Shelly aufgezeichnet, wann auch immer sich der Wert ändert, wird dieser im history.0 Adapter gespeichert, monatelang, im Grunde mindestens alle 5sec.
Jetzt möchte ich eine Klassierung über die Daten legen, um diverse Dinge damit anzuzeigen und zu berechnen. Allerdings brauche ich die Daten als txt oder auch csv, völlig egal, Hauptsache als File verfügbar.Wie ich in diesem Thread gelernt habe, gehen mit dem normalen Export nur 500 Punkte, das stimmt mit meinen Versuchen überein.
Ich weiss ja, wo die History-Daten liegen, ich kenne die Ordner Struktur, den Kanal. Vielleicht hat ja einer von Euch selbiges Problem gehabt und mittels Python, JS oder anderen Mitteln die Daten zusammen geführt.
Schaue die komplette Ordnerstruktur geordnet nach Datum durch, finde entsprechenden Datenpunkt als File (JSON), und suche aus dem JSON Objekt den Wert....
{
"val": 10.73,
......
}
.... und schreibe jeden Zeile für Zeile in das CSV.
Ich habe iObroker auf einem Raspi laufen.Vielleicht würde ich es hinbekommen, rudimentär kann ich Code schreiben. Und nein, ChatGPT ist keine Option, dazu bin ich viel zu retro (C64 Jünger) :)
LG, Andi
P.S. Ich mache das, weil ich wissen möchte, ob sich zusätzliche PhotoPanels auszahlen, da sie Anlage ka kaum täglich am Limit fährt und weil man es sicher auch machen kann, also als Spaß an der Sache, nur hier scheitere ich für den Moment.
Ich hab da schonmal eine Idee.
HistoryBackup auf der Festplatte, mit einem guten alten Windows Batch-File (*.bat) alle Kanäle bis auf den Einen plus im zweiten Schritt alle daauf leeren Orner gelöscht.@echo off
setlocal set STARTPFAD=DeinPfad set DATEINAME=history.javascript.0.DeinKanal.json for /r "%STARTPFAD%" %%F in (*) do ( if not "%%~nxF"=="%DATEINAME%" ( del "%%F" ) ) for /f "delims=" %%d in ('dir /s /b /ad "%STARTPFAD%" ^| sort /r') do ( rd "%%d" 2>nul ) endlocalMal gucken, wie ich wieter mache.
-
Ich hab da schonmal eine Idee.
HistoryBackup auf der Festplatte, mit einem guten alten Windows Batch-File (*.bat) alle Kanäle bis auf den Einen plus im zweiten Schritt alle daauf leeren Orner gelöscht.@echo off
setlocal set STARTPFAD=DeinPfad set DATEINAME=history.javascript.0.DeinKanal.json for /r "%STARTPFAD%" %%F in (*) do ( if not "%%~nxF"=="%DATEINAME%" ( del "%%F" ) ) for /f "delims=" %%d in ('dir /s /b /ad "%STARTPFAD%" ^| sort /r') do ( rd "%%d" 2>nul ) endlocalMal gucken, wie ich wieter mache.
Oftmals sieht man vor lauter Bäumen den Wald nicht mehr, speziell dann, wenn man wirklich mittendrinnen sitzt und das mit der "eigenen" Software in ungefähr 5min in der Mittagspause erledigen kann


Wunderbar in der Klassierung zu sehen, wie sich die Leistung der 4 Panele bei mehr als 2.5Mio Messpunkten, angefangen im November 2022, verteilen.
Aber, vielleicht ja jemand ja was der Allgemeinheit zugängliches :)
LG, Andi
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden