Test Adapter History 2.0.0

[SBorg]

@apollon77 Alle 5 "defekten" nutzen einen Alias. Hier geht es wie man unschwer erkennen kann um Benzinpreise. Da der Tankerkönig dann die Stationen nur durchnummeriert ist es nicht gerade sehr intuitiv und ich nutze dort die Aliase. Bei den restlichen nehme ich dann die Standardnotation des DPs.

Den einzelnen Peak verstehe ich dabei überhaupt nicht...

Hier mal der passende JSON:

Spoiler

[
 {
   "val": 0,
   "ack": true,
   "ts": 1650081015052,
   "q": 0,
   "from": "system.adapter.tankerkoenig.0",
   "user": "system.user.admin",
   "lc": 1650053174973
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650081722077,
   "q": 0,
   "user": "system.user.admin",
   "from": "system.adapter.history.0"
 },
 {
   "val": null,
   "ts": 1650081722078,
   "lc": 1650081722078,
   "q": 64,
   "from": "system.adapter.history.0"
 },
 {
   "val": null,
   "ts": 1650081751008,
   "ack": 1,
   "q": 64
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650081976296,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650085816292,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 2.129,
   "ack": 1,
   "ts": 1650085816295,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650086776277,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650087736269,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650088696281,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650089656281,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650090616274,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650091576277,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650092536283,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 0,
   "ack": 1,
   "ts": 1650093496298,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.989,
   "ack": 1,
   "ts": 1650094456295,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 2.039,
   "ack": 1,
   "ts": 1650095416305,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.989,
   "ack": 1,
   "ts": 1650096376288,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.989,
   "ack": 1,
   "ts": 1650098296310,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.979,
   "ack": 1,
   "ts": 1650099256305,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.979,
   "ack": 1,
   "ts": 1650101176306,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.969,
   "ack": 1,
   "ts": 1650102136301,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.969,
   "ack": 1,
   "ts": 1650103096315,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650104056345,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650105016328,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.999,
   "ack": 1,
   "ts": 1650105976352,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.999,
   "ack": 1,
   "ts": 1650106936321,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650107896372,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.959,
   "ack": true,
   "ts": 1650112696363,
   "q": 0,
   "from": "system.adapter.tankerkoenig.0",
   "user": "system.user.admin",
   "lc": 1650107896372
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650113463498,
   "q": 0,
   "user": "system.user.admin",
   "from": "system.adapter.history.0"
 },
 {
   "val": null,
   "ts": 1650113463499,
   "lc": 1650113463499,
   "q": 64,
   "from": "system.adapter.history.0"
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650113480027,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650116536346,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.999,
   "ack": 1,
   "ts": 1650117496345,
   "q": 0,
   "user": "system.user.admin"
 },
 {
   "val": 1.959,
   "ack": 1,
   "ts": 1650118456349,
   "q": 0,
   "user": "system.user.admin"
 }
]

wobei er da lt. Einstellungen "0" und "Null" eigentlich gar nicht hätte loggen dürfen?

[apollon77]

@sborg sehr komisch. Ich schaue nochmal ob ich es nachstellen kann.

[apollon77]

@sborg Ich bekomme es nicht nachgestellt habs auch in die Tests implementiert ... und Alias tut . Denkst Du du kommst (vllt aus nem Backup?) noch an ein "originales Objekt" ran? Dann könnte ich exakt die settings nacspielen

[A Former User]

@apollon77 guten Abend

Darf ich Mal eine grundsätzliche Verständnis Frage stellen? Ich nutze aktuell den SQL Adapter zum loggen. Was wäre der Vorteil, wenn ich auf den History Adapter umsteigen würde?

Danke

[apollon77]

@alinaclg der Vorteil für dich wäre wohl eher keiner. History speichert in json files und in keiner Datenbank. Sql bekommt auch bald genau dieses Update was Funktionen angeht.

[SBorg]

@apollon77 sagte in Test Adapter History 2.0.0:

Denkst Du du kommst (vllt aus nem Backup?) noch an ein "originales Objekt" ran?

Leider nein, dass ist so ziemlich das einzige was ich nicht sichere
Wenn ich aber (mal wieder ) der Einzige bin, dann wayne... und lass es gut sein. Ich konnte es ja fixen und läuft jetzt problemlos.

...einen letzten habe ich aber dennoch. Mir ist noch eine Gemeinsamkeit aufgefallen die es so außer beim Alias nicht gibt da nicht erlaubt: 'history.0.real Tankstelle.json'
...ein [Space]...

[apollon77]

@sborg sagte in Test Adapter History 2.0.0:

Leider nein, dass ist so ziemlich das einzige was ich nicht sichere

Naja wenn Du noch ein gesamt Backup von davor hast könnte ich es da rausholen. gern per email an iobroker@fischer-ka.de

Aber das leerzeichen sollte auch nichts damit zu tun haben weil es ja danach geht

[A Former User]

@apollon77 super. Ganz herzlichen Dank für die Antwort

[ichderarnd]

@apollon77 ganz herzlichen Dank für die Initiative
Ich guck mal, ob ich zwischendurch testen kann. Was ich noch nicht verstehe: Was bedeutet "Der Wert wird ggf. erinnert für spätere Aufzeichnung"?
Wann genau werden erinnerte Werte geschrieben? Wenn ich "gleiche Werte" z.B. spätestens nach einer Stunde aufzeichnen lasse, soll der Adapter dann wirklich den gleichen Werte nochmal aufzeichnen oder den erinnerten Wert?

[SBorg]

@apollon77 sagte in Test Adapter History 2.0.0:

Aber das leerzeichen sollte auch nichts damit zu tun haben weil es ja danach geht

Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin
...war halt nur noch eine Besonderheit von "geht" vs. "geht nicht".

Leider hat Murphy da voll zugeschlagen. Ich habe nur noch ein 3GB Voll-Image der Proxmox-VM von vor der Umstellung. Daraus konnte ich dann mittels Bildschirm C&P folgendes ziehen (in der Hoffnung es ist das was du brauchst):

Auszug Json

{
     "id": "tankerkoenig.0.stations.4.e5.feed",
     "value": {
       "_id": "tankerkoenig.0.stations.4.e5.feed",
       "type": "state",
       "common": {
         "name": "e5 feed",
         "desc": "Preis E5 (e.eee) wie im Feed",
         "type": "number",
         "unit": "€",
         "role": "value",
         "read": true,
         "write": false,
         "custom": {
           "history.0": {
             "enabled": true,
             "changesOnly": true,
             "debounce": "1000",
             "maxLength": "100",
             "retention": "1209600",
             "changesRelogInterval": 0,
             "changesMinDelta": 0,
             "aliasId": "real Tankstelle"
           }
         }
       },
       "native": {},
       "from": "system.adapter.tankerkoenig.0",
       "user": "system.user.admin",
       "ts": 1649340148339,
       "acl": {
         "object": 1636,
         "state": 1636,
         "owner": "system.user.admin",
         "ownerGroup": "system.group.user"
       }
     },
     "doc": {
       "_id": "tankerkoenig.0.stations.4.e5.feed",
       "type": "state",
       "common": {
         "name": "e5 feed",
         "desc": "Preis E5 (e.eee) wie im Feed",
         "type": "number",
         "unit": "€",
         "role": "value",
         "read": true,
         "write": false,
         "custom": {
           "history.0": {
             "enabled": true,
             "changesOnly": true,
             "debounce": "1000",
             "maxLength": "100",
             "retention": "1209600",
             "changesRelogInterval": 0,
             "changesMinDelta": 0,
             "aliasId": "real Tankstelle"
           }
         }
       },
       "native": {},
       "from": "system.adapter.tankerkoenig.0",
       "user": "system.user.admin",
       "ts": 1649340148339,
       "acl": {
         "object": 1636,
         "state": 1636,
         "owner": "system.user.admin",
         "ownerGroup": "system.group.user"
       }
     }
   },

[apollon77]

@arndl Sobald der nächste reguläre Wert gespeichert wird, wird der zuletzt erinnerte mit geschrieben (halt mit "seinem" alten zeitstempel).

Ergänze ich oben noch

[apollon77]

@sborg sagte in Test Adapter History 2.0.0:

Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin

Was genau meinst Du damit? Mit dem Escape? Wo?

Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?

[apollon77]

@sborg Also auch wenn ich Objekte nehme die genauso aussehen geht bei mir alles

[SBorg]

@apollon77 sagte in Test Adapter History 2.0.0:

@sborg sagte in Test Adapter History 2.0.0:

Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin

Was genau meinst Du damit? Mit dem Escape? Wo?

Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?

Ich dachte, dass ev. die "Behandlung" des Leerzeichens im Alias beim Update nicht korrekt funktionierte und erst durch das erneute Speichern korrekt funktionierte. Kann es aber auch nicht sein, er schrieb ja "0" bzw. "Null" in das entsprechende Json-File.

Aktuell sieht es nun so aus (+ funktioniert noch immer ) :

aktuelles Object

   {
     "id": "tankerkoenig.0.stations.4.e5.feed",
     "value": {
       "_id": "tankerkoenig.0.stations.4.e5.feed",
       "type": "state",
       "common": {
         "name": "e5 feed",
         "desc": "Preis E5 (e.eee) wie im Feed",
         "type": "number",
         "unit": "€",
         "role": "value",
         "read": true,
         "write": false,
         "custom": {
           "history.0": {
             "enabled": true,
             "changesOnly": true,
             "debounce": "1000",
             "maxLength": "100",
             "retention": "1209600",
             "changesRelogInterval": 0,
             "changesMinDelta": 0,
             "aliasId": "real Tankstelle",
             "debounceTime": 0,
             "blockTime": 1000,
             "ignoreBelowNumber": "",
             "disableSkippedValueLogging": false,
             "enableDebugLogs": false,
             "ignoreZero": true
           }
         }
       },
       "native": {},
       "acl": {
         "object": 1636,
         "state": 1636,
         "owner": "system.user.admin",
         "ownerGroup": "system.group.user"
       },
       "from": "system.adapter.tankerkoenig.0",
       "user": "system.user.admin",
       "ts": 1650181389982
     },
     "doc": {
       "_id": "tankerkoenig.0.stations.4.e5.feed",
       "type": "state",
       "common": {
         "name": "e5 feed",
         "desc": "Preis E5 (e.eee) wie im Feed",
         "type": "number",
         "unit": "€",
         "role": "value",
         "read": true,
         "write": false,
         "custom": {
           "history.0": {
             "enabled": true,
             "changesOnly": true,
             "debounce": "1000",
             "maxLength": "100",
             "retention": "1209600",
             "changesRelogInterval": 0,
             "changesMinDelta": 0,
             "aliasId": "real Tankstelle",
             "debounceTime": 0,
             "blockTime": 1000,
             "ignoreBelowNumber": "",
             "disableSkippedValueLogging": false,
             "enableDebugLogs": false,
             "ignoreZero": true
           }
         }
       },
       "native": {},
       "acl": {
         "object": 1636,
         "state": 1636,
         "owner": "system.user.admin",
         "ownerGroup": "system.group.user"
       },

       "from": "system.adapter.tankerkoenig.0",
       "user": "system.user.admin",
       "ts": 1650181389982
     }
   },

Von meiner Seite aus kannst du auch gerne einen Haken dran machen, scheint ja sonst keiner zu haben.
Du hast bestimmt auch besseres zu tun.
Aber hast du beim testen nur geschaut ob er das Objekt korrekt geändert hat? Das scheint zu funktionieren. Problem war, dass er nach dem Update keinen korrekten Wert mehr in das History-Json schrieb, sondern der value immer "0" oder "Null" war. Ich habe dann nur die History-Einstellungen des Datenpunktes nochmals gespeichert. Danach waren sofort wieder korrekte Werte im History-Json-File.

[apollon77]

@sborg sagte in Test Adapter History 2.0.0:

Aber hast du beim testen nur geschaut ob er das Objekt korrekt geändert hat?

Ne habe primär getestet ob er mit "nur den alten Settings" ohne neu Speichert korrekt logglt und das tut

[Feuersturm]

@apollon77 sagte in Test Adapter History 2.0.0:

@feuersturm also check für aufräumen erfolgt frühestens alle 6h, dann wird aufgeräumt nur ganze tage ab dem tag "vor" ablauf der retention
generell gilt: speichern alle 10 mins ODER wenn die anzahl erreicht ist

Dann sieht das ja soweit passend aus. Aufbewahrungsdauer steht auf 1 Tag.

proxmox@ioBrokerNew:/opt/iobroker/iobroker-data/history$ ls -l
total 12
drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 20 00:02 20220420
drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 21 00:00 20220421
drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 22 00:01 20220422

Was mir im Admin aufgefallen ist, ist bei den Verlaufsdaten nicht alle verfügbaren Daten angezeigt werden. Auch im csv Export tauchen nur die Daten auf, die man bei den Verlaufsdaten sieht. Ist das gewollt?

Im Diagramm werden auch die Daten vom 20.04 korrekt angezeigt

[apollon77]

@feuersturm Admin lädt glaube ich nur 500 werte. Kann das passen? Was csv export angeht wäre das natürlich ggf blöd. D hätte ich auch alles erwartet - aber wenn bluefox das im Browser macht dann geht es micht anders. Wäre ggf admin issue was csv export angeht.

[Feuersturm]

@apollon77 Ja es sind 500 Einträge. Kann ja mal ein issue anlegen um zu hinterfragen ob auch ein vollständiger Export, bzw. der Auszug aus dem Zeitraum möglich ist.

[sigi234]

@apollon77

Veröffentlichungsdatum 14.04.2020 ?

[apollon77]

@sigi234 lol ... fixed