Test Adapter ioBroker.backitup v3.1.x

Marc Berg

@simatec
Scheinbar habe ich noch einen Fehler im Adapter gefunden. Ich habe zwei InfluxDB2-Buckets, die ich sichere (iobroker und iobroker30d):

Die Sicherung selbst funktioniert auch wie sie soll, allerdings lässt sich das zweite Bucket (iobroker30d) nicht wiederherstellen. Der Dialog meldet beim Versuch der Wiederherstellung keine Fehler, die Daten werden aber nicht geschrieben. Ich habe das Loglevel auf "silly" gestellt, mehr als diese Meldungen lassen sich aber nicht mitschneiden:

2023-05-19 09:46:51.704 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getFileSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":117,"ack":false,"time":1684482411698},"_id":73047936}
2023-05-19 09:46:51.709 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":118,"ack":false,"time":1684482411699},"_id":73047937}
2023-05-19 09:46:51.709 - silly: backitup.0 (5449) sendTo "getSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:46:51.728 - debug: backitup.0 (5449) The local storage check was completed successfully. On the host "iobroker" are currently 1578 MB free space available!
2023-05-19 09:46:51.729 - silly: backitup.0 (5449) sendTo "getFileSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:46:54.627 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"list","message":"local","from":"system.adapter.admin.0","callback":{"message":"local","id":119,"ack":false,"time":1684482414626},"_id":73047938}
2023-05-19 09:46:54.628 - debug: backitup.0 (5449) Backup list be read ...
2023-05-19 09:46:56.629 - silly: backitup.0 (5449) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:47:00.809 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"restore","message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"from":"system.adapter.admin.0","callback":{"message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"id":120,"ack":false,"time":1684482420807},"_id":73047939}
2023-05-19 09:47:00.812 - debug: backitup.0 (5449) set chmod for "/opt/iobroker/backups" successfully
2023-05-19 09:47:00.813 - debug: backitup.0 (5449) [influxDB] Created tmp directory
2023-05-19 09:47:00.813 - debug: backitup.0 (5449) [influxDB] Start infuxDB Restore ...
2023-05-19 09:47:00.993 - debug: backitup.0 (5449) [influxDB] influxdb.0 is stopped
2023-05-19 09:47:01.030 - debug: backitup.0 (5449) [influxDB] influxdb.1 is stopped
2023-05-19 09:47:01.362 - debug: backitup.0 (5449) [influxDB] Try deleting the InfluxDB tmp directory
2023-05-19 09:47:01.374 - debug: backitup.0 (5449) [influxDB] InfluxDB tmp directory was successfully deleted
2023-05-19 09:47:01.375 - debug: backitup.0 (5449) [influxDB] infuxDB Restore completed successfully
2023-05-19 09:47:01.375 - silly: backitup.0 (5449) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:47:01.384 - debug: backitup.0 (5449) [influxDB] influxdb.0 started
2023-05-19 09:47:01.386 - debug: backitup.0 (5449) [influxDB] influxdb.1 started

Das Bucket existiert noch nicht auf der DB. Die Wiederherstellung funktioniert manuell auf der Kommandozeile via

influx restore --bucket iobroker30d --host http://influxdb2:8086 -t lfrRuCdhZfFW7xIkgNvc0Zgm8hY8Z03gIHXQQ2OaRCAgYJlN6Aetd5htIA75uEtKuTFUt45VDszBNQdXtazPxA== "/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker"

Was könnte ich noch einstellen, um das Log etwas gesprächiger zu bekommen?

Backitup 2.6.20
node.js v18.16.0
js-controller 4.0.24

simatec

@marc-berg Schalte mal die Sicherung mehrerer DB's aus und konfiguriere Backitup für den restore auf nur die eine DB, die du wiederherstellen willst.

Wenn der Restore durch ist, kannst du die Sicherung mehrere DB's wieder aktivieren.

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

Schalte mal die Sicherung mehrerer DB's aus und konfiguriere Backitup für den restore auf nur die eine DB, die du wiederherstellen willst.

Ja, das geht. Ist aber ein wenig verwirrend, wenn man das nicht weiß ...

simatec

@marc-berg Muss ich mal schauen, wie ich das eventuell lösen kann bzw. noch einmal dokumentieren.
Es wird halt beim Restore der DB-Name benötigt und wenn dies mehrere sein können, wird es schwierig.

Eventuell müsste man mal schauen, ob man den bei mehreren DB's mit in den Dateinamen packt und darüber dann bei einem Restore den Namen ermittelt

Marc Berg

@simatec
Verstehe. Das jeweilige Bucket steht übrigens in der ".manifest" Datei drin. Ich könnte mir vorstellen, das wäre der sauberste Weg.

"buckets": [
    {
      "organizationID": "f441a3663c2d6f7e",
      "organizationName": "home",
      "bucketID": "3d47f245ff6fcb26",
      "bucketName": "iobroker30d",
      "defaultRetentionPolicy": "autogen"

simatec

@marc-berg sagte in Test Adapter ioBroker.backitup v2.6.x:

iobroker30d

Auch ne gute Idee

simatec

@marc-berg Kannst du mal die v2.6.21 testen. Hier habe ich eingebaut, das bei einer Config von mehreren Datenbanken die Werte aus .manifest gelesen werden

Marc Berg

Es ist leider noch keine Änderung erkennbar, das Bucket "iobroker" kann wiederhergestellt werden, das Bucket "iobroker30d" nicht.

Und das auch nur, wenn ich das Sichern mehrerer DBs abschalte. Ansonsten wird KEINE DB wiederhergestellt.

2023-05-20 09:25:47.275 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getFileSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":76,"ack":false,"time":1684567547273},"_id":45720489}
2023-05-20 09:25:47.279 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":77,"ack":false,"time":1684567547275},"_id":45720490}
2023-05-20 09:25:47.279 - silly: backitup.0 (6766) sendTo "getSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:25:47.332 - debug: backitup.0 (6766) The local storage check was completed successfully. On the host "iobroker" are currently 6602 MB free space available!
2023-05-20 09:25:47.333 - silly: backitup.0 (6766) sendTo "getFileSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:25:51.078 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"list","message":"local","from":"system.adapter.admin.0","callback":{"message":"local","id":78,"ack":false,"time":1684567551076},"_id":45720491}
2023-05-20 09:25:51.080 - debug: backitup.0 (6766) Backup list be read ...
2023-05-20 09:25:53.081 - silly: backitup.0 (6766) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:26:10.287 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"restore","message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_20-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"from":"system.adapter.admin.0","callback":{"message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_20-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"id":79,"ack":false,"time":1684567570286},"_id":45720492}
2023-05-20 09:26:10.289 - debug: backitup.0 (6766) set chmod for "/opt/iobroker/backups" successfully
2023-05-20 09:26:10.290 - debug: backitup.0 (6766) [influxDB] Created tmp directory
2023-05-20 09:26:10.290 - debug: backitup.0 (6766) [influxDB] Start infuxDB Restore ...
2023-05-20 09:26:10.737 - debug: backitup.0 (6766) [influxDB] Try deleting the InfluxDB tmp directory
2023-05-20 09:26:10.740 - debug: backitup.0 (6766) [influxDB] InfluxDB tmp directory was successfully deleted
2023-05-20 09:26:10.741 - debug: backitup.0 (6766) [influxDB] infuxDB Restore completed successfully
2023-05-20 09:26:10.741 - silly: backitup.0 (6766) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0

vita-2002

Hallo,
ich habe gemerkt, dass die Backups nicht mehr in GoogleDrive gespeichert werden

Backitup 2.6.21
node.js v18.16.0
js-controller 4.0.24

Started iobroker ...
[DEBUG] [iobroker] start with {"type":"creator","workDir":"/opt/iobroker/node_modules/iobroker.js-controller/iobroker.js","time":"02:00","debugging":true,"slaveBackup":"Single","everyXDays":"7","deleteBackupAfter":0,"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","newToken":false,"ownDir":false,"dir":"/backup_IObrocker","dirMinimal":"/backupDir/iobroker","ignoreErrors":false},"ignoreErrors":false,"dir":"/opt/iobroker","historyHTML":{"enabled":true,"type":"message","entriesNumber":"25","ignoreErrors":false,"systemLang":"de"},"historyJSON":{"enabled":true,"type":"message","entriesNumber":"25","ignoreErrors":false,"systemLang":"de"},"signal":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longSignalNotice","onlyError":false,"signalWaiting":0,"hostName":"","ignoreErrors":false,"systemLang":"de"},"matrix":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longMatrixNotice","onlyError":false,"matrixWaiting":0,"hostName":"","ignoreErrors":false,"systemLang":"de"},"backupDir":"/opt/iobroker/backups"}
[DEBUG] [iobroker] - host.raspberry 9048 states saved

[DEBUG] [iobroker] - host.raspberry 9647 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_05_21-13_21_31_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [googledrive] - Google Drive: Copy iobroker_2023_05_21-13_21_31_backupiobroker.tar.gz...
[DEBUG] [googledrive] start with {"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","newToken":false,"ownDir":false,"dir":"/backup_IObrocker","dirMinimal":"/backupDir/iobroker","ignoreErrors":false,"deleteBackupAfter":0}

Hier bleibt es hängen.
Ich kann auch die kopien nicht mehr abrufen.

Thomas Braun

@vita-2002 sagte in Test Adapter ioBroker.backitup v2.6.x:

Ich kann auch die kopien nicht mehr abrufen.

Bei mir lief diese Nacht das Backup wie üblich.
Kommst du an dein Google Drive grundsätzlich (außerhalb des iobrokers) ran?

vita-2002

Sorry, es hat sich erledigt.
Berechtigung bei GoogleDrive, gelöscht, wieder geholt, neue Zugangstoken eingetragen.
Jetzt funktioniert es wieder.

simatec

@marc-berg Habe in v2.6.22 nochmal etwas modifiziert. Wenn MultiDB aktiv ist, sollten nun die kompletten Configs aus der Tabelle geholt werden.
Kannst du bitte al testen?

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

Kannst du bitte al testen?

Leider noch keine Änderung erkennbar. Keine Fehlermeldung, aber es werden keine Daten geschrieben.

Ergänzung: Es muss in Zeile 22 der "influxDB.js" nicht "json.buckets.bucketName", sondern "json.buckets[0].bucketName" heißen. Dann funktioniert es.

JB_Sullivan

@simatec

Ich hätte mal eine Frage, bzw. einen Wunsch zum Restore. Ist es ggf. möglich, das man auswählen kann, was "restored" werden soll?

Hintergrund der Frage ist die VIS. Wenn es in der VIS mal Probleme gegeben hat, könnte man diese separat wieder zurück sichern. Ein Full Restore, wie er derzeit abläuft, wäre im Falle einer defekten VIS mit Kanonen auf Spatzen schießen.

Das es die VIS durchaus mal erwischen kann, ist nicht ungewöhnlich, da die Funktionen der Gruppierung in der VIS gerne mal für Chaos sorgt und dann mitunter weder Editor noch Laufzeit bedienbar ist.

Über BackItUp ein einzelner Restore des VIS Ordner, würde da auf die schnelle für Heilung sorgen.

simatec

@marc-berg Kannst du mal den Inhalt deiner .manifest zeigen?
Also mir reicht der Anfang bis bucketName... Bei mir im habe ich den Bucket Name ohne die [0] auslesen können.

simatec

@jb_sullivan Dies ist aktuell nicht möglich, aber auf der langen Todo vom js-controller.
Backitup nutzt die Backup Funktion des js-controllers

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

@marc-berg Kannst du mal den Inhalt deiner .manifest zeigen?
Also mir reicht der Anfang bis bucketName... Bei mir im habe ich den Bucket Name ohne die [0] auslesen können.

20230524T225316Z.manifest

Homoran

@jb_sullivan sagte in Test Adapter ioBroker.backitup v2.6.x:

Hintergrund der Frage ist die VIS. Wenn es in der VIS mal Probleme gegeben hat, könnte man diese separat wieder zurück sichern. Ein Full Restore, wie er derzeit abläuft, wäre im Falle einer defekten VIS mit Kanonen auf Spatzen schießen.

dann sicher sir doch einfach die vis-views.json
da ist die gesamte Vis drin

simatec

@marc-berg Sollte nun mit der v2.6.23 funktionieren

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

@marc-berg Sollte nun mit der v2.6.23 funktionieren

Jup, funktioniert jetzt. Danke!

NEWS

Test Adapter ioBroker.backitup v3.1.x

Support us

943
Online

31.6k
Users

79.4k
Topics

1.3m
Posts

NEWS

Test Adapter ioBroker.backitup v3.1.x

Support us

943Online

31.6kUsers

79.4kTopics

1.3mPosts

943
Online

31.6k
Users

79.4k
Topics

1.3m
Posts