Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. History Daten addieren oder in Excel exportieren

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    History Daten addieren oder in Excel exportieren

    This topic has been deleted. Only users with topic management privileges can see it.
    • OliverIO
      OliverIO @pingo last edited by OliverIO

      @pingo

      auch den eigentlichen zweck was du am ende mit dem addierten wert erreichen willst könntest du noch kurz beschreiben.

      aber was die meisten mit solchen daten anstellen wollen wäre:
      idealerweise hast du die daten auf klein-klein Basis in einer Datenbank (bspw mysql/mariadb/influx) (Adapter iobroker.sql, Datenbank muss noch separat installiert werden )
      wenn du dann die daten abrufen und aufbereiten willst, dann kann man mit sql die werte beliebig gruppieren (bspw. nach Tag, Monat, Jahr) und aggregieren (das summieren oder auch den durchschnitt rechnen, etc.)
      darauf sind Datenbanken spezialisiert und können das auch mit einer großen menge von daten (evtl weil du die daten sekundenweise aufzeichnest)
      so hast du eine flexible Möglichkeit später dann beliebig deine daten auszuwerten.

      grafana mit influx kann das direkt grafisch aufbereiten.
      falls du die daten dennoch in excel haben willst, dann würde dich dir mysql/mariadb empfehlen. da gibt es einen odbc-treiber, mit dem man die daten dann live aus der Datenbank abrufen kann.
      leider gibt es keinen odbc/odata treiber für influx.

      P 1 Reply Last reply Reply Quote 2
      • P
        pingo @OliverIO last edited by pingo

        @oliverio
        Das klingt doch schon mal nach einem Plan. Danke

        Die Daten sind die Objektwerte, die mir der Wechselrichter und der PV Prognose-Adapter ausgibt. Die logge ich in der History.
        Da ich 2 PV-Felder auf dem Dach habe, die eine unterschiedliche Ausrichtung haben, bekomme ich auch für jedes PV-Feld eine Tagesertragsprognose. Die würde ich gerne dann mit dem tatsächlichen Gesamtertrag abgleichen,....

        Generell fände ich eine Tabelle auch besser nutzbar, als das Flotdiagram aus der History.

        OliverIO 1 Reply Last reply Reply Quote 0
        • OliverIO
          OliverIO @pingo last edited by OliverIO

          @pingo sagte in History Daten addieren oder in Excel exportieren:

          Generell fände ich eine Tabelle auch besser nutzbar

          mit dem odbc treiber kannst du die daten ja nach excel holen
          https://mariadb.com/kb/de/mariadb-odbc-treiber/

          wenn du soweit bist und alles installiert hast, kann man dir hier
          auch wieder mit dem sql helfen, das die daten so ankommen wie du es haben willst

          P 1 Reply Last reply Reply Quote 0
          • P
            pingo @OliverIO last edited by

            @oliverio said in History Daten addieren oder in Excel exportieren:

            @pingo sagte in History Daten addieren oder in Excel exportieren:

            Generell fände ich eine Tabelle auch besser nutzbar

            mit dem odbc treiber kannst du die daten ja nach excel holen
            https://mariadb.com/kb/de/mariadb-odbc-treiber/

            wenn du soweit bist und alles installiert hast, kann man dir hier
            auch wieder mit dem sql helfen, das die daten so ankommen wie du es haben willst

            der ODBC-Treiber ist leider für meinen Mac nicht verfügbar

            "idealerweise hast du die daten auf klein-klein Basis in einer Datenbank (bspw mysql/mariadb/influx) (Adapter iobroker.sql, Datenbank muss noch separat installiert werden )"

            Den iobroker.sql-Adapter habe ich installiert und für die gewünschten Objekte einen Haken gesetzt. Wo finde ich dann die Datenbank oder wie installiere ich sie separat.
            Danke

            OliverIO 1 Reply Last reply Reply Quote 0
            • K
              klassisch Most Active last edited by

              Falls das Thema History Daten nach excel xls exportieren noch aktuell ist:
              Ich habe das jetzt mal gemacht und somit meinen täglichen Heizenergiebedarf seit 2017 in Excel.
              Die Umrechnung erfolgt in Python.
              Ich habe eine textuelle Spezifikation geschrieben und diese von ChatGPT in python übersetzen lassen.
              Mit ein wenig Nacharbeit und troubleshooting hat es dann funktioniert.

              ChatGPT kann auch bei Excel helfen. Aber dazu sollte man am besten ein englisches excel haben, oder den passenden Deutschen Befehl selbst zuordnen, sowie in Argumentlisten Kommas durch Strichpunkt ersetzen. Die Hilfe bei Python lief smoother.

              F 1 Reply Last reply Reply Quote 0
              • F
                final @klassisch last edited by

                @klassisch wie hast du die Daten nach Excel bekommen? Kannst du das näher beschreiben?

                K 1 Reply Last reply Reply Quote 0
                • OliverIO
                  OliverIO @pingo last edited by OliverIO

                  @pingo sagte in History Daten addieren oder in Excel exportieren:

                  der ODBC-Treiber ist leider für meinen Mac nicht verfügbar

                  sorry, den Beitrag erst gesehen ls er wieder hochgebracht wurde
                  https://www.cdata.com/kb/tech/mariadb-odbc-mac-excel.rst
                  Hier die Beschreibung für einen ODBC Treiber für den Mac OS X

                  dann gäbe es noch die Möglichkeit die Daten per sql abzurufen und als csv abzuspeichern
                  https://mariadb.com/kb/en/select-into-outfile/

                  csv kann dann wieder in excel geöffnet werden

                  1 Reply Last reply Reply Quote 0
                  • K
                    klassisch Most Active @final last edited by klassisch

                    @final sagte in History Daten addieren oder in Excel exportieren:

                    @klassisch wie hast du die Daten nach Excel bekommen? Kannst du das näher beschreiben?

                    Mein ioBroker läuft auf einem Win Rechner. Darauf ist auch Python, auch aus anderen Gründen. Geht sicherlich auch alles mit einem Linux Rechner wahrscheinlich auch mit einem SBC (aber damit plage ich mich nicht mehr ab).

                    Dann habe ich textuell spezifiziert, was ich haben möchte und das ChatGPT anvertraut.
                    Da kam ein Programm heraus, das ich dann debugt habe und noch mit einem minimalen user-interface (Pfade, Dateinamen eingeben aber ohne Plausibilisierung etc.) versehen habe. Meine ersten Python Programme übrigens. So mußte ich lernen, daß Python wie YAML leider auf richtige Strukturelemente wie {} verzichtet und dazu Einrückungen verwendet (vier mal Blank).

                    Davon habe ich dann einige Modifikationen wie z.B. alle Daten, Stundenmittelwerte, Werte am Stundenende, Tagesende wenn ich mich recht erinnere.
                    Kann bei Bedarf mal so ein Programm hier zeigen. Aber vorsicht, es ist wirklich ein "Rohtool" ohne Plausibilisierung der Eingaben etc. Bei Falscheingaben bricht es einfach ab, und es ist nicht laufzeit- oder ressourcenoptimiert. Aber man braucht das ja nicht so häufig. Ich habe damit aber nach und nach z.B. die Außentemperaturen und den synchronen Ölverbrauch von 7 Jahren transformiert, so daß ich den Elektrizitätsbedarf einer Wärmepumpe voraus berechnen kann oder auch simulieren kann, ob mir variable Stromtarife etwas gebracht hätten (natürlich ohne eine entsprechende Verbrauchssteuerung und einfach aus historischen Daten)

                    F 1 Reply Last reply Reply Quote 0
                    • F
                      final @klassisch last edited by

                      @klassisch

                      Ok, du hast also mit einem Python skript die ordner mit den History Daten ausgelesen, richtig?
                      Spannend, dass du das mit ChatGPT gemacht hast!
                      Ich habe aktuell iob auf einem alten RPi laufen.
                      Was ich mir so ein bißchen überlege, ist, ganz generell die Daten in eine vernünftige DB zu schreiben. Und dann eben die historischen Daten in dieser DB nachzutragen.
                      Da habe ich noch kein Konzept. Da ich eh zu Proxmox will, wäre das sicher ein guter Moment.
                      In welchem Format sind denn die Daten der Hostory eigentlich gespeichert? JSon?

                      K 1 Reply Last reply Reply Quote 0
                      • K
                        klassisch Most Active @final last edited by

                        @final Ja, die history files sind JSON. Kannst Du auch mit einem Texteditor nachlesen und anschauen. Praktisch selbsterklärend.
                        Mit Datenbanken bin noch zurückhaltend. Denn vor ioBroker hatte ich CCUio und das schrieb die Daten in eine eigene Datenbank. CCUio wurde eingestellt, ioBroker der Nachfolger. Und die Daten konnte man nicht mehr übertragen. So fehlen mir mittlerweile etliche Jahre an Daten.
                        Das json Zeug braucht zwar viel Platz, aber die Daten wrid man systemunabhängig "immer" irgendwie verwenden und konvertieren können.
                        ChatGPT kann beim Programmieren gut helfen und kann auch auf Nachfrage die verwendeten Elemente der Programmiersprache erläutern.
                        Allerdings durfte man (Januar 2024) nicht zu komplex werden. Besser kleine Teilaufgaben definieren, testen und dann selbst "zusammenkleben". Ich habe die verbale Spezifikation Schritt für Schritt erweitert. Irgendwann wurden bereits beherrschte Funktionen einfach "vergessen" einzufügen. Mag sein, daß das neuere oder andere Versionen irgendwann besser machen. Aber generell ist das eine gute Programmierhilfe - auch für javascript.
                        Python läuft halt eigenständig auf Rechnern, ist frei verfügbar und im mainstream. Da findet man viele Hilfen.
                        Ich editiere die files in notepad++ (visual studio geht natürlich auch) und starte dann von der Kommandozeile aus python mit dem Scriptnamen als Argument. Für diese gelegentliche Anwendung komfortabel genug.

                        F 1 Reply Last reply Reply Quote 0
                        • F
                          final @klassisch last edited by

                          @klassisch said in History Daten addieren oder in Excel exportieren:

                          Ich editiere die files in notepad++

                          Warum? Ist das essentiell, damit dein python skript überhaupt funktioniert?
                          Ich hätte jetzt gedacht, dein skript liest einfach alle history Ordner aus und konvertiert dann.
                          Sowas müsste doch mit JS/blockly innerhalb iob auch gehen?

                          K 2 Replies Last reply Reply Quote 0
                          • K
                            klassisch Most Active @final last edited by

                            @final Sorry, war ungenau. Python Programme editiere ich mit notepad++, weil dort die Sprache unterstützt wird.

                            Die json s editiere ich natürlich nicht. Die werden automatisch vom python programm gelesen.

                            1 Reply Last reply Reply Quote 0
                            • K
                              klassisch Most Active @final last edited by

                              @final sagte in History Daten addieren oder in Excel exportieren:

                              Sowas müsste doch mit JS/blockly innerhalb iob auch gehen?

                              Mag sein. Aber da hakt es bei mir schon bei den Befehlen zur Ordner- und Dateinavigation, I/O HMI etc. Und irgendwie kam mir dann python zwischen die Finger und damit war es rel. einfach möglich und mein Problem war gelöst. Und das ist ja kein Thema, welches man täglich braucht, sondern eher batch-weise.
                              Falls es einen fertigen Adapter gäbe, würde ich den nutzen. Aber so geht es auch. Pragmatismus geht hier vor Eleganz.

                              F 1 Reply Last reply Reply Quote 0
                              • F
                                fastfoot @klassisch last edited by

                                @klassisch lädst du das Ergebnis dann in Excel? Und hast du noch die alten ccu Daten?

                                K 1 Reply Last reply Reply Quote 0
                                • K
                                  klassisch Most Active @fastfoot last edited by klassisch

                                  @fastfoot sagte in History Daten addieren oder in Excel exportieren:

                                  @klassisch lädst du das Ergebnis dann in Excel?

                                  Ja, die Datenextrakte werden als *.xlsx und *.csv abgelegt. Warum beides? Es ist nur eine Programmzeile mehr und ließ größere Flexibilität bei der Weiterverarbeitung erwarten. Aber meist verwende ich xlsx bei der weiteren Verarbeitung

                                  Und hast du noch die alten ccu Daten?

                                  ioBroker History Daten? ioBroker History JSON Daten bleiben bei dem Prozess natürlich unverändert. Da wird nichts gelöscht, die werden nur gelesen. Speicherplatz ist kostengünstig.

                                  Oder meintest Du CCU.io Daten, also die Daten des Vorgängersystems? Ich fürchte nicht mehr. Müßt da aber mal suchen.

                                  F 1 Reply Last reply Reply Quote 0
                                  • F
                                    fastfoot @klassisch last edited by

                                    @klassisch sagte in History Daten addieren oder in Excel exportieren:

                                    @fastfoot sagte in History Daten addieren oder in Excel exportieren:

                                    @klassisch lädst du das Ergebnis dann in Excel?

                                    Ja, die Daten werden als *.xlsx und *.csv abgelegt

                                    nun, nichts gegen so eine Denkmaschine, aber mich hat es genau 3Min. gekostet so eine Historydatei in Excel zu importieren, incl Datum Konvertierung. OK, ohne Sommer/Winter

                                    Und hast du noch die alten ccu Daten?

                                    Ich fürchte nicht mehr. müßt da aber mal suchen.

                                    man könnte halt versuchen diese zu konvertieren

                                    K 1 Reply Last reply Reply Quote 0
                                    • K
                                      klassisch Most Active @fastfoot last edited by

                                      @fastfoot Sorry, bin halt eben kein hauptamtlicher Programmierer und mich hat es leider etwas mehr Zeit gekostet, jahrelange Datenreihen mit dieser Ordnerstruktur (teils verdichtet) in xls zu konvertieren. Habe mich halt so durchgekämpft.
                                      Hast Du das via javascript konvertiert?

                                      F 1 Reply Last reply Reply Quote 0
                                      • F
                                        fastfoot @klassisch last edited by

                                        @klassisch na eben nicht, so schnell programmiere ich nicht, bin da eher langsam. Nein, der Import erfolgt über den Import eines JSON, das gibt es schon eine zeitlang und ist super easy. Hängt halt von deiner Excelversion ab, ich habe das 365er. Die Aktualisierung erfolgt auf Knopfdruck quasi live für die aktuelle Datei, kein Hin- und Hergeschiebe

                                        Ausserdem find ichs gut wenn man sich zu helfen weiss, da bin ich auch eher pragmatisch. Wollte halt diesen Weg nicht unerwähnt lassen

                                        K 1 Reply Last reply Reply Quote 0
                                        • K
                                          klassisch Most Active @fastfoot last edited by

                                          @fastfoot Vielen Dank für den Hinweis. Habe noch eine alte xls Lizenz und bin kein Freund von Abomodellen.
                                          Es ging mir auch nicht nur um die Umwandlung einer Einzeldatei, sondern um die automatisierte Konvertierung einer langen Zeitreihe, also der vielen Tagesdateien.
                                          Kann man wahrscheinlich auch über ein Makro VBA VBS Skript oder so machen. Aber auch da müßte ich mich erst einarbeiten.

                                          Viele Wege führen nach Rom. Und Hauptsache Problem gelöst.

                                          1 Reply Last reply Reply Quote 0
                                          • First post
                                            Last post

                                          Support us

                                          ioBroker
                                          Community Adapters
                                          Donate
                                          FAQ Cloud / IOT
                                          HowTo: Node.js-Update
                                          HowTo: Backup/Restore
                                          Downloads
                                          BLOG

                                          577
                                          Online

                                          31.9k
                                          Users

                                          80.2k
                                          Topics

                                          1.3m
                                          Posts

                                          6
                                          21
                                          1179
                                          Loading More Posts
                                          • Oldest to Newest
                                          • Newest to Oldest
                                          • Most Votes
                                          Reply
                                          • Reply as topic
                                          Log in to reply
                                          Community
                                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                          The ioBroker Community 2014-2023
                                          logo