History.0 Export mit 10000enden Datenpunkten

[Gukerl]

History.0 Export mit 10000enden Datenpunkten über viele Monate hinweg, wie schon der Titel sagt, vor diesem Problem stehe ich.

Meine Forumssuche und Google waren nicht so wirklich erfolgreich.

Usecase: Fotovoltaik-Leistung, über Shelly aufgezeichnet, wann auch immer sich der Wert ändert, wird dieser im history.0 Adapter gespeichert, monatelang, im Grunde mindestens alle 5sec.
Jetzt möchte ich eine Klassierung über die Daten legen, um diverse Dinge damit anzuzeigen und zu berechnen. Allerdings brauche ich die Daten als txt oder auch csv, völlig egal, Hauptsache als File verfügbar.

Wie ich in diesem Thread gelernt habe, gehen mit dem normalen Export nur 500 Punkte, das stimmt mit meinen Versuchen überein.

Ich weiss ja, wo die History-Daten liegen, ich kenne die Ordner Struktur, den Kanal. Vielleicht hat ja einer von Euch selbiges Problem gehabt und mittels Python, JS oder anderen Mitteln die Daten zusammen geführt.
Schaue die komplette Ordnerstruktur geordnet nach Datum durch, finde entsprechenden Datenpunkt als File (JSON), und suche aus dem JSON Objekt den Wert....
{
"val": 10.73,
......
}
.... und schreibe jeden Zeile für Zeile in das CSV.
Ich habe iObroker auf einem Raspi laufen.

Vielleicht würde ich es hinbekommen, rudimentär kann ich Code schreiben. Und nein, ChatGPT ist keine Option, dazu bin ich viel zu retro (C64 Jünger)

LG, Andi

P.S. Ich mache das, weil ich wissen möchte, ob sich zusätzliche PhotoPanels auszahlen, da sie Anlage ka kaum täglich am Limit fährt und weil man es sicher auch machen kann, also als Spaß an der Sache, nur hier scheitere ich für den Moment.

[Gukerl]

Ich hab da schonmal eine Idee.
HistoryBackup auf der Festplatte, mit einem guten alten Windows Batch-File (*.bat) alle Kanäle bis auf den Einen plus im zweiten Schritt alle daauf leeren Orner gelöscht.

@echo off

setlocal

set STARTPFAD=DeinPfad
set DATEINAME=history.javascript.0.DeinKanal.json

for /r "%STARTPFAD%" %%F in (*) do (
    if not "%%~nxF"=="%DATEINAME%" (
        del "%%F"
    )
)

for /f "delims=" %%d in ('dir /s /b /ad "%STARTPFAD%" ^| sort /r') do (
    rd "%%d" 2>nul
)

endlocal

Mal gucken, wie ich wieter mache.

[Gukerl]

Oftmals sieht man vor lauter Bäumen den Wald nicht mehr, speziell dann, wenn man wirklich mittendrinnen sitzt und das mit der "eigenen" Software in ungefähr 5min in der Mittagspause erledigen kann

Wunderbar in der Klassierung zu sehen, wie sich die Leistung der 4 Panele bei mehr als 2.5Mio Messpunkten, angefangen im November 2022, verteilen.

Aber, vielleicht ja jemand ja was der Allgemeinheit zugängliches

LG, Andi