Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Tester
    4. History2DB converter

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    History2DB converter

    This topic has been deleted. Only users with topic management privileges can see it.
    • D
      Davipet last edited by

      Hallo @apollon77
      Danke für die Info!
      Es ist eine History 2.2.0 Instanz und eine influxDB 2
      Da ist also das Problem.
      Dann ziehe ich mal auf History 2.2.1 hoch und versuche es erneut 🙂

      Gruß

      David

      1 Reply Last reply Reply Quote 1
      • M
        meto last edited by

        Hallo,
        ich habe vor einigen Tagen begonnen auf Influx umzustellen. Influx funktioniert augenscheinlich einwandfrei. Die neuen Werte kommen alle an. Leider erhalte ich bei der Konvertierung Fehlermeldungen. Mit History 2.2.0 und Inlux 3.1.7 Ende des ganz kurz nach dem Aufruf mit "warn: influxdb.0 (12548) storeState executed with 3 errors" im iobroker log.

        Ich habe dann von Github History 2.2.1 und Inlux 3.1.8 installiert.

        Nun Endet das Ganz nach dem Aufruf unverrichteter Dinge:

        pi@raspbi4:/opt/iobroker/node_modules/iobroker.history/converter $ node history2db.js influxdb.0 info 20201231 /home/pi/history  --logChangesOnly --processNonExistingValuesOnly
        Send Data to influxdb.0
        Start at 20201231
        Use historyDir /home/pi/history
        earliesDBValues initialized from cache 135
        ExistingDBTypes initialized from cache 135
        Started processFiles with 135 known db values
        We start earliest at 20201231
        Day 20201231 - history.hm-rega.0.51333.json
          datapoints reduced from 345 --> 345
        This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). The promise rejected with the reason:
        TypeError: Assignment to constant variable.
            at processFile (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:282:66)
            at processFiles (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:185:5)
            at main (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:148:5)
            at Adapter.<anonymous> (/opt/iobroker/node_modules/iobroker.history/converter/history2db.js:96:5)
            at Adapter.emit (node:events:513:28)
            at Adapter.emit (node:domain:489:12)
            at /opt/iobroker/node_modules/@iobroker/js-controller-adapter/src/lib/adapter/adapter.js:9132:26
        
        

        Hat jemand eine Idee was da falsch läuft und wie ich die Daten von History trotzdem in die Influx-Datenbank bekomme?

        Danke im Voraus.

        Gruß
        meto

        apollon77 1 Reply Last reply Reply Quote 0
        • apollon77
          apollon77 @meto last edited by

          @meto Bitte Github issue anlegen bei histotry ... muss ich ansehen, scheint code fehler

          M 1 Reply Last reply Reply Quote 0
          • M
            meto @apollon77 last edited by meto

            @apollon77 issue ist geöffnet. Hab den Fehler auch bei mir schon gefunden.
            Hab bei mir jetzt Zeile 282 von "const jj = 0" in "let jj = 0" geändert. Läuft jetzt gerade noch. Aber auf jeden Fall nicht gleich in den obigen Fehler. Anmerkung ist auch im Github.

            apollon77 1 Reply Last reply Reply Quote 1
            • apollon77
              apollon77 @meto last edited by

              @meto Danke, hatte das gleiche gesehen. Fix kommt nachher

              1 Reply Last reply Reply Quote 0
              • C
                Chris83 0 last edited by

                Hallo zusammen,
                ich bin auch gerade mit dem Umzug in MySQL beschäftig. Leider bekomme ich die Daten von den Bosch Geräten nicht migriert und beispielsweise diese Meldung angezeigt:

                Day 20220925 - history.bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption.json
                    Ignore ID history.bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption.json: bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption
                
                

                Ich vermute, dass es an dem Zeichen "~" liegt, welches er anstelle der beiden Doppelpunkte gesetzt hat.
                Im History Data-Ordner wurde das Logfile unter diesem Namen gespeichert:

                history.bshb.0.hdm~ZigBee~385b44fffeabccbb.PowerMeter.energyConsumption.json
                

                Der dazugehörige Datenpunkt:

                bshb.0.hdm:ZigBee:385b44fffeabccbb.PowerMeter.powerConsumption
                

                Hätte jemand eine Idee, wie ich die Daten doch noch übertragen kann?

                apollon77 1 Reply Last reply Reply Quote 0
                • apollon77
                  apollon77 @Chris83 0 last edited by

                  @chris83-0 Bitte Github issue bei history anlegen. denke da fehlt die konvertierung zurück ... aber problem ist das das die Information was das zeichen vorher war verlioren ist ... da muss ich mal rein überlegen

                  C 1 Reply Last reply Reply Quote 0
                  • C
                    Chris83 0 @apollon77 last edited by Chris83 0

                    @apollon77 Okay, ist erledigt Github issue #198.

                    Habe probehalber mal ein .json entsprechend umbenannt (also ":" anstelle "~") und das hat dann auch geklappt. Muss nur mal schauen, wie ich das als .batch job machen kann, weil sind doch einige files zu bearbeiten

                    EDIT: "rename 's/~/:/g' *"

                    apollon77 1 Reply Last reply Reply Quote 1
                    • apollon77
                      apollon77 @Chris83 0 last edited by

                      @chris83-0 Super das du nen workaround hast ... dann hab ich zeit nachzudenken 🙂

                      1 Reply Last reply Reply Quote 0
                      • Leone Mortuo
                        Leone Mortuo last edited by

                        Mahlzeit!

                        auch wenn der Eintrag hier schon älter ist, passt meine Erfahrung mit dem Import-Script wohl am besten hier rein.
                        Evtl. hilft es ja jmd. mit dem gleichen Problem.

                        Ich habe kürzlich auch zu Influx gewechselt - aus versch. Gründe noch die 1.8, tut hier nichts zur Sache.
                        Habe mich aber dazu entschieden, die Objekt-Datenpunkte die ich zukünftig nach Influx loggen will, mit einem Alias zu versehen (im Gegensatz zu "HIS" wo ich keine Alias gesetzt hatte)
                        Dadurch finde ich die entsprechenden Felder in bspw. Grafana später schneller und die Namen sind wesentlich kürzer.

                        statt:

                        "history.sourceanalytix.0.sonoff__0__DVES_49A41C__ENERGY_Power_1.currentYear.consumed.02_currentWeek"

                        nur noch:

                        "Waschmaschine_SA_Power_currentYear_consumed_WOCHE"

                        Entsprechend habe ich den Alias in den Einstellungen des Objekts für Influx gesetzt.

                        Zum Problem wurde nun aber, dass meine alten History-Daten (gleiche Objekte) KEINEN Alias hatten wie oben erwähnt,
                        somit die JSON's mit dem original Objekt-Pfad-Namen benannt waren und das Import-Script diese natürlich als, ich nenn das mal "eigenständig" betrachtet
                        und nicht in meine bereits vorhandenen Felder der Influx importiert da dort ja bereits der Alias verwendet wird, den ich für Influx hinterlegt habe.

                        Ich habe daher alle betreffenden JSON's aus der History umbenannt (/opt/iobroker/iobroker-data/history-data/) - also so, dass diese nun identisch mit meinen Alias sind die ich für Influx vergeben habe
                        und zu den in Influx erstellten Datenbankfelder passen.

                        Der Analyzer lief durch, das Ergebnis war für mich soweit OK - wie erwartet; also hab ich den Import gestartet,
                        bekam dann aber immer die Ausgabe das die Objekte "ignoriert" werden.
                        Festzustellen war hierbei, dass die Objektnamen, die von HIS kamen, offensichtlich nicht zu den Feldern in der Influx passten obwohl der Name der JSON in der HIS identisch war.

                        Also bspw:

                        DB Feld in Influx (entsprechend dem Alias):

                        Waschmaschine_SA_Power_currentYear_consumed_WOCHE

                        und das entsprechend JSON File unter HIS:

                        Waschmaschine_SA_Power_currentYear_consumed_WOCHE.JSON

                        Bei genauer Betrachtung der Logs des Import-Script habe ich dann aber feststellen müssen, das das Script den Namen der aus HIS kommenden Daten wohl abschneidet.
                        Aus "Waschmaschine_SA_Power_currentYear_consumed_WOCHE" wurde "chine_SA_Power_currentYear_consumed_WOCHE".

                        Nach langem suchen; ich bin in erster Linie ma SysAdmin aber weiß Gott kein Entwickler..., habe ich dann im Script den folgenden Abschnitt entdeckt und festgestellt das tatsächlich immer die ersten 8 Zeichen abgeschnitten werden.
                        Das hat sicher generell seinen Sinn, da normalerweise jeder Eintrag mit "history." beginnt.
                        Das habe ich bei der Umbenennung jedoch nicht weiter beachtet, den Zusammenhang auch nicht gekannt - Ziel war es ja das die Namen identisch zu meinen Felder in Influx / dem Alias sind.

                        Hier die Script Zeilen (im org. die Zeilen 188ff)

                        function processFile() {
                            if (breakIt) finish(true);
                            if (Object.keys(allFiles).length === 0) finish(true);
                        
                            const day = parseInt(Object.keys(allFiles)[Object.keys(allFiles).length - 1], 10);
                            const tsCheck = new Date(Math.floor(day / 10000), 0, 1).getTime();
                        
                            if (allFiles[day].files.length > 0) {
                                const dir = allFiles[day].dirname;
                                const file = allFiles[day].files.shift();
                                const id = file.substring(8, file.length - 5);  <--------HIER !!!!! ########  
                                const weatherunderground_special_handling = (id.indexOf('weatherunderground') !== -1 && id.indexOf('current.precip') !== -1);
                                console.log('Day ' + day + ' - ' + file);
                        

                        Ich habe somit die Zeile const id = file.substring(8, file.length - 5); zu const id = file.substring(0, file.length - 5);

                        geändert. Und siehe da, mein Import lief im Anschluss nun erfolgreich durch, da die Namen nun übereinstimmten.

                        Alternativ, das sei erwähnt wäre es wohl auch eine Option gewesen meine gesamten JSON Files unter "/opt/iobroker/iobroker-data/history-data/" nochmals umzubenennen und um "history." zu erweitern.
                        Ich habe mich nur aus Zeitgründen dagegen entschieden, da ich die Daten ~80000 Files erst einmal herunterladen und auch wieder uploaden hätte müssen. Die Anpassung des Scripts war da weit schneller.

                        Alles in allem wäre für mich aber festzuhaltend, dass es somit durch aus möglich ist, History-Daten auch aus der Vergangenheit zu importieren, wenn diese KEINEN Alias hatten und die neuen Datenpunkte einen verwenden.
                        Entsprechender Aufwand wie oben beschrieben vorausgesetzt.

                        Vermutlich erzählt mir nun einer, dass das anders viel einfacher gewesen wäre 😄 das wäre für mich OK,
                        aber für mich war es erst einmal die einzige Möglichkeit die ich gesehen habe - und sie scheint zu funktionieren.
                        Ich hätte mich geäergert, wären eine alten Daten aus HIS "verloren" gewesen - oder ich hätte dir org. Namen in Influx verwenden müssen...was doof gewesen wäre.

                        so long - Danke an der stelle für das Script!! - geniale Sache!
                        Grüße John.

                        1 Reply Last reply Reply Quote 0
                        • First post
                          Last post

                        Support us

                        ioBroker
                        Community Adapters
                        Donate

                        602
                        Online

                        31.9k
                        Users

                        80.2k
                        Topics

                        1.3m
                        Posts

                        14
                        60
                        8537
                        Loading More Posts
                        • Oldest to Newest
                        • Newest to Oldest
                        • Most Votes
                        Reply
                        • Reply as topic
                        Log in to reply
                        Community
                        Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                        The ioBroker Community 2014-2023
                        logo