Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. History Daten addieren oder in Excel exportieren

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    History Daten addieren oder in Excel exportieren

    This topic has been deleted. Only users with topic management privileges can see it.
    • P
      pingo last edited by

      Ich habe 2 Prognosewerte meiner PV-Anlage in getrennten History-json-Dateien.

      Gibt es eine Lösung, um diese Werte addiert in eine neue History-Datei zu schreiben oder die json-Dateien automatisiert mit dem Speichertag in Excel/Pages/csv zu exportieren?

      Danke

      Homoran OliverIO 2 Replies Last reply Reply Quote 0
      • Homoran
        Homoran Global Moderator Administrators @pingo last edited by Homoran

        @pingo sagte in History Daten addieren oder in Excel exportieren:

        Gibt es eine Lösung, um diese Werte addiert in eine neue History-Datei zu schreiben

        wo kommen die Werte her?
        warum addierst du sie nicht direkt in einen eigenen DP und historisierst den?

        Bitte mehr Infos!
        https://forum.iobroker.net/topic/51555/hinweise-für-gute-forenbeiträge/1

        1 Reply Last reply Reply Quote 0
        • OliverIO
          OliverIO @pingo last edited by OliverIO

          @pingo

          auch den eigentlichen zweck was du am ende mit dem addierten wert erreichen willst könntest du noch kurz beschreiben.

          aber was die meisten mit solchen daten anstellen wollen wäre:
          idealerweise hast du die daten auf klein-klein Basis in einer Datenbank (bspw mysql/mariadb/influx) (Adapter iobroker.sql, Datenbank muss noch separat installiert werden )
          wenn du dann die daten abrufen und aufbereiten willst, dann kann man mit sql die werte beliebig gruppieren (bspw. nach Tag, Monat, Jahr) und aggregieren (das summieren oder auch den durchschnitt rechnen, etc.)
          darauf sind Datenbanken spezialisiert und können das auch mit einer großen menge von daten (evtl weil du die daten sekundenweise aufzeichnest)
          so hast du eine flexible Möglichkeit später dann beliebig deine daten auszuwerten.

          grafana mit influx kann das direkt grafisch aufbereiten.
          falls du die daten dennoch in excel haben willst, dann würde dich dir mysql/mariadb empfehlen. da gibt es einen odbc-treiber, mit dem man die daten dann live aus der Datenbank abrufen kann.
          leider gibt es keinen odbc/odata treiber für influx.

          P 1 Reply Last reply Reply Quote 2
          • P
            pingo @OliverIO last edited by pingo

            @oliverio
            Das klingt doch schon mal nach einem Plan. Danke

            Die Daten sind die Objektwerte, die mir der Wechselrichter und der PV Prognose-Adapter ausgibt. Die logge ich in der History.
            Da ich 2 PV-Felder auf dem Dach habe, die eine unterschiedliche Ausrichtung haben, bekomme ich auch für jedes PV-Feld eine Tagesertragsprognose. Die würde ich gerne dann mit dem tatsächlichen Gesamtertrag abgleichen,....

            Generell fände ich eine Tabelle auch besser nutzbar, als das Flotdiagram aus der History.

            OliverIO 1 Reply Last reply Reply Quote 0
            • OliverIO
              OliverIO @pingo last edited by OliverIO

              @pingo sagte in History Daten addieren oder in Excel exportieren:

              Generell fände ich eine Tabelle auch besser nutzbar

              mit dem odbc treiber kannst du die daten ja nach excel holen
              https://mariadb.com/kb/de/mariadb-odbc-treiber/

              wenn du soweit bist und alles installiert hast, kann man dir hier
              auch wieder mit dem sql helfen, das die daten so ankommen wie du es haben willst

              P 1 Reply Last reply Reply Quote 0
              • P
                pingo @OliverIO last edited by

                @oliverio said in History Daten addieren oder in Excel exportieren:

                @pingo sagte in History Daten addieren oder in Excel exportieren:

                Generell fände ich eine Tabelle auch besser nutzbar

                mit dem odbc treiber kannst du die daten ja nach excel holen
                https://mariadb.com/kb/de/mariadb-odbc-treiber/

                wenn du soweit bist und alles installiert hast, kann man dir hier
                auch wieder mit dem sql helfen, das die daten so ankommen wie du es haben willst

                der ODBC-Treiber ist leider für meinen Mac nicht verfügbar

                "idealerweise hast du die daten auf klein-klein Basis in einer Datenbank (bspw mysql/mariadb/influx) (Adapter iobroker.sql, Datenbank muss noch separat installiert werden )"

                Den iobroker.sql-Adapter habe ich installiert und für die gewünschten Objekte einen Haken gesetzt. Wo finde ich dann die Datenbank oder wie installiere ich sie separat.
                Danke

                OliverIO 1 Reply Last reply Reply Quote 0
                • K
                  klassisch Most Active last edited by

                  Falls das Thema History Daten nach excel xls exportieren noch aktuell ist:
                  Ich habe das jetzt mal gemacht und somit meinen täglichen Heizenergiebedarf seit 2017 in Excel.
                  Die Umrechnung erfolgt in Python.
                  Ich habe eine textuelle Spezifikation geschrieben und diese von ChatGPT in python übersetzen lassen.
                  Mit ein wenig Nacharbeit und troubleshooting hat es dann funktioniert.

                  ChatGPT kann auch bei Excel helfen. Aber dazu sollte man am besten ein englisches excel haben, oder den passenden Deutschen Befehl selbst zuordnen, sowie in Argumentlisten Kommas durch Strichpunkt ersetzen. Die Hilfe bei Python lief smoother.

                  F 1 Reply Last reply Reply Quote 0
                  • F
                    final @klassisch last edited by

                    @klassisch wie hast du die Daten nach Excel bekommen? Kannst du das näher beschreiben?

                    K 1 Reply Last reply Reply Quote 0
                    • OliverIO
                      OliverIO @pingo last edited by OliverIO

                      @pingo sagte in History Daten addieren oder in Excel exportieren:

                      der ODBC-Treiber ist leider für meinen Mac nicht verfügbar

                      sorry, den Beitrag erst gesehen ls er wieder hochgebracht wurde
                      https://www.cdata.com/kb/tech/mariadb-odbc-mac-excel.rst
                      Hier die Beschreibung für einen ODBC Treiber für den Mac OS X

                      dann gäbe es noch die Möglichkeit die Daten per sql abzurufen und als csv abzuspeichern
                      https://mariadb.com/kb/en/select-into-outfile/

                      csv kann dann wieder in excel geöffnet werden

                      1 Reply Last reply Reply Quote 0
                      • K
                        klassisch Most Active @final last edited by klassisch

                        @final sagte in History Daten addieren oder in Excel exportieren:

                        @klassisch wie hast du die Daten nach Excel bekommen? Kannst du das näher beschreiben?

                        Mein ioBroker läuft auf einem Win Rechner. Darauf ist auch Python, auch aus anderen Gründen. Geht sicherlich auch alles mit einem Linux Rechner wahrscheinlich auch mit einem SBC (aber damit plage ich mich nicht mehr ab).

                        Dann habe ich textuell spezifiziert, was ich haben möchte und das ChatGPT anvertraut.
                        Da kam ein Programm heraus, das ich dann debugt habe und noch mit einem minimalen user-interface (Pfade, Dateinamen eingeben aber ohne Plausibilisierung etc.) versehen habe. Meine ersten Python Programme übrigens. So mußte ich lernen, daß Python wie YAML leider auf richtige Strukturelemente wie {} verzichtet und dazu Einrückungen verwendet (vier mal Blank).

                        Davon habe ich dann einige Modifikationen wie z.B. alle Daten, Stundenmittelwerte, Werte am Stundenende, Tagesende wenn ich mich recht erinnere.
                        Kann bei Bedarf mal so ein Programm hier zeigen. Aber vorsicht, es ist wirklich ein "Rohtool" ohne Plausibilisierung der Eingaben etc. Bei Falscheingaben bricht es einfach ab, und es ist nicht laufzeit- oder ressourcenoptimiert. Aber man braucht das ja nicht so häufig. Ich habe damit aber nach und nach z.B. die Außentemperaturen und den synchronen Ölverbrauch von 7 Jahren transformiert, so daß ich den Elektrizitätsbedarf einer Wärmepumpe voraus berechnen kann oder auch simulieren kann, ob mir variable Stromtarife etwas gebracht hätten (natürlich ohne eine entsprechende Verbrauchssteuerung und einfach aus historischen Daten)

                        F 1 Reply Last reply Reply Quote 0
                        • F
                          final @klassisch last edited by

                          @klassisch

                          Ok, du hast also mit einem Python skript die ordner mit den History Daten ausgelesen, richtig?
                          Spannend, dass du das mit ChatGPT gemacht hast!
                          Ich habe aktuell iob auf einem alten RPi laufen.
                          Was ich mir so ein bißchen überlege, ist, ganz generell die Daten in eine vernünftige DB zu schreiben. Und dann eben die historischen Daten in dieser DB nachzutragen.
                          Da habe ich noch kein Konzept. Da ich eh zu Proxmox will, wäre das sicher ein guter Moment.
                          In welchem Format sind denn die Daten der Hostory eigentlich gespeichert? JSon?

                          K 1 Reply Last reply Reply Quote 0
                          • K
                            klassisch Most Active @final last edited by

                            @final Ja, die history files sind JSON. Kannst Du auch mit einem Texteditor nachlesen und anschauen. Praktisch selbsterklärend.
                            Mit Datenbanken bin noch zurückhaltend. Denn vor ioBroker hatte ich CCUio und das schrieb die Daten in eine eigene Datenbank. CCUio wurde eingestellt, ioBroker der Nachfolger. Und die Daten konnte man nicht mehr übertragen. So fehlen mir mittlerweile etliche Jahre an Daten.
                            Das json Zeug braucht zwar viel Platz, aber die Daten wrid man systemunabhängig "immer" irgendwie verwenden und konvertieren können.
                            ChatGPT kann beim Programmieren gut helfen und kann auch auf Nachfrage die verwendeten Elemente der Programmiersprache erläutern.
                            Allerdings durfte man (Januar 2024) nicht zu komplex werden. Besser kleine Teilaufgaben definieren, testen und dann selbst "zusammenkleben". Ich habe die verbale Spezifikation Schritt für Schritt erweitert. Irgendwann wurden bereits beherrschte Funktionen einfach "vergessen" einzufügen. Mag sein, daß das neuere oder andere Versionen irgendwann besser machen. Aber generell ist das eine gute Programmierhilfe - auch für javascript.
                            Python läuft halt eigenständig auf Rechnern, ist frei verfügbar und im mainstream. Da findet man viele Hilfen.
                            Ich editiere die files in notepad++ (visual studio geht natürlich auch) und starte dann von der Kommandozeile aus python mit dem Scriptnamen als Argument. Für diese gelegentliche Anwendung komfortabel genug.

                            F 1 Reply Last reply Reply Quote 0
                            • F
                              final @klassisch last edited by

                              @klassisch said in History Daten addieren oder in Excel exportieren:

                              Ich editiere die files in notepad++

                              Warum? Ist das essentiell, damit dein python skript überhaupt funktioniert?
                              Ich hätte jetzt gedacht, dein skript liest einfach alle history Ordner aus und konvertiert dann.
                              Sowas müsste doch mit JS/blockly innerhalb iob auch gehen?

                              K 2 Replies Last reply Reply Quote 0
                              • K
                                klassisch Most Active @final last edited by

                                @final Sorry, war ungenau. Python Programme editiere ich mit notepad++, weil dort die Sprache unterstützt wird.

                                Die json s editiere ich natürlich nicht. Die werden automatisch vom python programm gelesen.

                                1 Reply Last reply Reply Quote 0
                                • K
                                  klassisch Most Active @final last edited by

                                  @final sagte in History Daten addieren oder in Excel exportieren:

                                  Sowas müsste doch mit JS/blockly innerhalb iob auch gehen?

                                  Mag sein. Aber da hakt es bei mir schon bei den Befehlen zur Ordner- und Dateinavigation, I/O HMI etc. Und irgendwie kam mir dann python zwischen die Finger und damit war es rel. einfach möglich und mein Problem war gelöst. Und das ist ja kein Thema, welches man täglich braucht, sondern eher batch-weise.
                                  Falls es einen fertigen Adapter gäbe, würde ich den nutzen. Aber so geht es auch. Pragmatismus geht hier vor Eleganz.

                                  F 1 Reply Last reply Reply Quote 0
                                  • F
                                    fastfoot @klassisch last edited by

                                    @klassisch lädst du das Ergebnis dann in Excel? Und hast du noch die alten ccu Daten?

                                    K 1 Reply Last reply Reply Quote 0
                                    • K
                                      klassisch Most Active @fastfoot last edited by klassisch

                                      @fastfoot sagte in History Daten addieren oder in Excel exportieren:

                                      @klassisch lädst du das Ergebnis dann in Excel?

                                      Ja, die Datenextrakte werden als *.xlsx und *.csv abgelegt. Warum beides? Es ist nur eine Programmzeile mehr und ließ größere Flexibilität bei der Weiterverarbeitung erwarten. Aber meist verwende ich xlsx bei der weiteren Verarbeitung

                                      Und hast du noch die alten ccu Daten?

                                      ioBroker History Daten? ioBroker History JSON Daten bleiben bei dem Prozess natürlich unverändert. Da wird nichts gelöscht, die werden nur gelesen. Speicherplatz ist kostengünstig.

                                      Oder meintest Du CCU.io Daten, also die Daten des Vorgängersystems? Ich fürchte nicht mehr. Müßt da aber mal suchen.

                                      F 1 Reply Last reply Reply Quote 0
                                      • F
                                        fastfoot @klassisch last edited by

                                        @klassisch sagte in History Daten addieren oder in Excel exportieren:

                                        @fastfoot sagte in History Daten addieren oder in Excel exportieren:

                                        @klassisch lädst du das Ergebnis dann in Excel?

                                        Ja, die Daten werden als *.xlsx und *.csv abgelegt

                                        nun, nichts gegen so eine Denkmaschine, aber mich hat es genau 3Min. gekostet so eine Historydatei in Excel zu importieren, incl Datum Konvertierung. OK, ohne Sommer/Winter

                                        Und hast du noch die alten ccu Daten?

                                        Ich fürchte nicht mehr. müßt da aber mal suchen.

                                        man könnte halt versuchen diese zu konvertieren

                                        K 1 Reply Last reply Reply Quote 0
                                        • K
                                          klassisch Most Active @fastfoot last edited by

                                          @fastfoot Sorry, bin halt eben kein hauptamtlicher Programmierer und mich hat es leider etwas mehr Zeit gekostet, jahrelange Datenreihen mit dieser Ordnerstruktur (teils verdichtet) in xls zu konvertieren. Habe mich halt so durchgekämpft.
                                          Hast Du das via javascript konvertiert?

                                          F 1 Reply Last reply Reply Quote 0
                                          • F
                                            fastfoot @klassisch last edited by

                                            @klassisch na eben nicht, so schnell programmiere ich nicht, bin da eher langsam. Nein, der Import erfolgt über den Import eines JSON, das gibt es schon eine zeitlang und ist super easy. Hängt halt von deiner Excelversion ab, ich habe das 365er. Die Aktualisierung erfolgt auf Knopfdruck quasi live für die aktuelle Datei, kein Hin- und Hergeschiebe

                                            Ausserdem find ichs gut wenn man sich zu helfen weiss, da bin ich auch eher pragmatisch. Wollte halt diesen Weg nicht unerwähnt lassen

                                            K 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate
                                            FAQ Cloud / IOT
                                            HowTo: Node.js-Update
                                            HowTo: Backup/Restore
                                            Downloads
                                            BLOG

                                            418
                                            Online

                                            31.8k
                                            Users

                                            80.0k
                                            Topics

                                            1.3m
                                            Posts

                                            6
                                            21
                                            1164
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo