History-Daten auf neues System migrieren

[docadams]

Hallo,
ich habe noch ein recht altes und längere Zeit nicht gepflegten System. Nun möchte ich einen RasPi5 mit aktuellem BS und ioBroker aufsetzen und dabei gleich so einige Fehler aus der Anfangszeit ausmärzen.
Das läuft soweit, allerdings bekomme ich meine History-Daten nicht zur Anzeige im neuen System.
Die Daten liegen auf USB-Sticks. Ich habe den alten Stick in den Neuen RasPi gesteckt und mit MC mehrere Unterordner (also die jeweiligen Tagesordner) des Ordners history auf den neuen Stick in den den History-Ordner kopiert.

Trotzdem kann ich auf dem ioBroker VIS zwar die seit einigen Tagen neu generierten History-Daten sehen, aber die alten hinzukopierten Daten nicht.

Wäre echt schade, wenn jetzt meine mehrere Jahre gesammelten Verläufe verloren gehen...
Viele Grüße

[guergen]

@docadams Mittels Backitup könntest Du die History-Daten allein sichern und auch zurückspielen.

Es wird eine eigene Backupdatei der History-Daten angelegt.

[Homoran]

@docadams Hast du den Pfad zum history korrekt angepasst?
hast du die Daten unter den richtigen User kopiert?

du musst nicht über backitup sichern, obwohl das die empfohlene Variante wäre, du kannst auch den Ordner /opt/iobroker/iobroker-data/history kopieren.
bzw. den Pfad den du in der History Instanz eingegeben hast.

[docadams]

Es war mein Fehler:
Die Besitzverhältnisse haben sich geändert.
Vorher gehörten sie iobroker:iobroker, jetzt root:root.

Danke für den Hinweis, man lernt hier nie aus

[Thomas Braun]

@docadams

Kann bei ordentlichem Umgang mit dem System eigentlich nicht sein...
Die alten Dateien hatten eine uid:gid von 1001:1001 (vermutlich) und die wird auch beibehalten (Wenn man da nicht als root herumkaspert jedenfalls). Und deswegen gilt immer noch: Man ist NICHT direkt als root unterwegs. Nie.

[Homoran]

@docadams sagte in History-Daten auf neues System migrieren:

jetzt root:root.

nachdem du sie mit Zugriff als root draufgeschoben hast?
Sowas macht man niemals nie nicht

[docadams]

Naja, die Sache ist etwas umständlicher. Vorweg, ich bin seit über 30 Jahren mit Windows groß geworden. Ubuntu ist sowas wie damals russisch. Man versteht (gezwungenermaßen) ein wenig.

Ich ändere gerade meine Datenstruktur, also aus "datenpunkte.0.irgendwas" wird "0_userdata.0.irgendwas". Für die etliche tausend historischen Dateien habe ich das auf meinen Windowd-PC gezogen, dort umbenannt und auf den neuen RasPi geschoben. Und dann mussten die Besitzrechte mit chmod und chown wieder zugeordnet werden und die waren falsch.

Als geouteter Laie habe gleich mal eine Frage,
Die jetzt korrekt bezeichneten und inzwischen korrekt berechtigten Dateien und Tagesordner liegen zZ. im Ordner /media/ustbstick1/alt/20220101 usw.
Die sollen nun nach /media/usbstick1/history/20220101 usw.

mit

cp -arn /media/usbstick1/alt/ /media/usbstick1/history

bekomme ich auch den Ordner alt rüber. Es soll aber nur der Inhalt von alt nach history...

[Thomas Braun]

@docadams sagte in History-Daten auf neues System migrieren:

cp -arn /media/usbstick1/alt/ /media/usbstick1/history

cp -arn /media/usbstick1/alt/* /media/usbstick1/history

[Sven 3]

@docadams @Homoran @guergen

Hi zusammen,

ich habe ein ähnliches Problem. Und zwar habe ich aus einem Backup Daten des history Adapters zurückgespielt. Leider werden im Flot-Diagramm aber nur die aktuellen Werte angezeigt.

Im history Ordner sind alle Daten (alte und neue) enthalten. Ich stehe ein bisschen auf dem Schlauch und weiß nicht, wo ich den Fehler suchen soll...

Danke vorab für Eure Unterstützung!

Viele Grüße
Sven

[Homoran]

@sven-3 sagte in History-Daten auf neues System migrieren:

Leider werden im Flot-Diagramm aber nur die aktuellen Werte angezeigt.

was ist "aktuell"?

Wie sieht es denn in den Objekten der geloggten Datenpunkte aus?
ist da mehr zu finden?

[Sven 3]

@homoran said in History-Daten auf neues System migrieren:

ieht es denn in den Objekten der geloggten Da

Hi,

aktuell bedeutet, 31.05. - 03.06.2024.

Leider nein, siehe Screenshot.

Ich habe das System neu aufgesetzt nach einem Totalausfall. Anschließend habe ich das Backup des History Adapters wieder eingespielt. Die Daten vom 25.04. - 30.05. sind importiert, werden aber nicht angezeigt (siehe Screenshot in meinem vorherigen Post). Die aus einem zweiten Backup stammenden Daten vom 31.05. - 03.06. werden angezeigt.

[Homoran]

@sven-3 sagte in History-Daten auf neues System migrieren:

Die Daten vom 25.04. - 30.05. sind importiert, werden aber nicht angezeigt (siehe Screenshot in meinem vorherigen Post).

als text in code-tags wäre besser!
Ich sehe nur Verzeichnisse, sind da auch wirklich Daten drin?

Und ein Graph in den Objekten funktioniert nicht immer. Die Liste wäre interessant

[Sven 3]

@homoran

ja, in den Ordnern sind überall json-files. Und die Liste aus einem der geloggten Objekt (LuftfeuchteSchlafzimmer). Es sind nur Daten vom 01. - 03.06. enthalten.

Humidity (2).csv

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Mon Jun  3 23:10:34 2024
admin@raspberrypi:~ $ cd /opt/iobroker/iobroker-data
admin@raspberrypi:/opt/iobroker/iobroker-data $ ls
backitup  backup-objects  files  history  iobroker.json  notifications.json  objects.jsonl  objects.jsonl.lock  states.jsonl  states.jsonl.lock  zigbee_0
admin@raspberrypi:/opt/iobroker/iobroker-data $ cd history
admin@raspberrypi:/opt/iobroker/iobroker-data/history $ ls
20240425  20240427  20240429  20240501  20240503  20240505  20240507  20240509  20240511  20240513  20240515  20240517  20240519  20240521  20240523  20240525  20240527  20240601  20240603
20240426  20240428  20240430  20240502  20240504  20240506  20240508  20240510  20240512  20240514  20240516  20240518  20240520  20240522  20240524  20240526  20240531  20240602
admin@raspberrypi:/opt/iobroker/iobroker-data/history $ cd 20240429
admin@raspberrypi:/opt/iobroker/iobroker-data/history/20240429 $ ls
history.LuftfeuchteKinderzimmer.json  history.LuftfeuchteWohnzimmer.json   history.TemperaturSchlafzimmer.json
history.LuftfeuchteSchlafzimmer.json  history.TemperaturKinderzimmer.json  history.TemperaturWohnzimmer.json

Auszug einer json:

[
  {
    "val": 69.96,
    "ack": 1,
    "ts": 1714515051292,
    "q": 0,
    "from": "system.adapter.history.0",
    "user": "system.user.admin"
  },
  {
    "val": 69.96,
    "ack": 1,
    "ts": 1714515951293,
    "q": 0,
    "from": "system.adapter.history.0",
    "user": "system.user.admin"
  },
  {
    "val": 70.99,
    "ack": 1,
    "ts": 1714516451895,
    "q": 0,
    "from": "system.adapter.zigbee.0",
    "user": "system.user.admin"
  },
  {
    "val": 71.01,
    "ack": 1,
    "ts": 1714516723395,
    "q": 0,
    "from": "system.adapter.zigbee.0",
    "user": "system.user.admin"
  },
  {
    "val": 71.01,
    "ack": 1,
    "ts": 1714517623399,
    "q": 0,
    "from": "system.adapter.history.0",
    "user": "system.user.admin"
  },
  {
    "val": 71.34,
    "ack": 1,
    "ts": 1714517678502,
    "q": 0,
    "from": "system.adapter.zigbee.0",
    "user": "system.user.admin"