Test Adapter ioBroker.backitup v3.0.x

Thomas Braun

@sushibomba sagte in Test Adapter ioBroker.backitup v2.6.x:

Wenn ich auf dem neuen System iobroker wieder installiert habe und den backitup Adapter installiert habe um die Backups einzuspielen, kann ich dann z.B. mein Grafana Backup wiederherstellen ohne vorher Grafana wieder installiert zu haben über PuTTY?

Nein, das sind nur die Nutzdaten. Das Rahmenwerk muss natürlich bereitgestellt werden. Ist immer so.

Sushibomba

@thomas-braun
@Homoran

Also erst alle Pakete wieder installieren wie influxdb, grafana, mysql etc. und erst dann das backup wiederherstellen korrekt?

Homoran

@sushibomba sagte in Test Adapter ioBroker.backitup v2.6.x:

korrekt

und natürlich ioBroker!

Sushibomba

@simatec

Die mysql backups die automatisch durchgelaufen sind, sind übrigens nur ca. 13mb groß.

mysql_2023_04_28-02_01_57_backupiobroker.tar.gz

Sushibomba

Noch ne kurze Info. Heute Nacht ist das auto Backup wieder einwandfrei durchgelaufen. Ich verstehe das nicht. Nur manuell angestoßen friert er ein und stürzt ab.

Marc Berg

@simatec
Ich sichere mit dem Adapter u.a. zwei InfluxDB Buckets.

Nach ein paar Tests habe ich gestern einen falschen Token in die Backitup Konfig geschrieben. Dadurch hat sich ein Problem gezeigt, bei dem ich mir nicht sicher bin, ob das so gewünscht ist.

2023-05-07 00:53:17.697  - [31merror[39m: backitup.0 (94526) [iobroker/influxDB] Error: Command failed: "/opt/iobroker/bin/influx" backup --bucket iobroker30d --host http://influxdb2:8086 -t k6RH6nLY7jwrOnKnVaJofW8MhQwTp1tGG2kX9IC48X61DH1IzKzyX2UwWSZeJYrUkStOyUP28qlZp0pBRIjR4Q== "/opt/iobroker/backups/influxDB_2023_05_07-00_53_17_iob30_backupiobroker"
2023-05-07 00:53:17.703  - [31merror[39m: backitup.0 (94526) [iobroker/influxDB] 2023/05/07 00:53:17 INFO: Downloading metadata snapshot
2023-05-07 00:53:17.703  - [31merror[39m: backitup.0 (94526) [iobroker/influxDB] Error: failed to backup metadata: failed to download metadata snapshot: 401 Unauthorized: unauthorized access
2023-05-07 00:53:17.703  - [31merror[39m: backitup.0 (94526) [iobroker] Error: Command failed: "/opt/iobroker/bin/influx" backup --bucket iobroker30d --host http://influxdb2:8086 -t k6RH6nLY7jwrOnKnVaJofW8MhQwTp1tGG2kX9IC48X61DH1IzKzyX2UwWSZeJYrUkStOyUP28qlZp0pBRIjR4Q== "/opt/iobroker/backups/influxDB_2023_05_07-00_53_17_iob30_backupiobroker"
2023/05/07 00:53:17 INFO: Downloading metadata snapshot
Error: failed to backup metadata: failed to download metadata snapshot: 401 Unauthorized: unauthorized access

Das Backup wird nach dem fehlgeschlagenen Versuch, das Bucket "iobroker30d" zu sichern, abgebrochen. Weitere konfigurierte Sicherungen (grafana, jarvis, nodered) werden nicht durchgeführt UND (das finde ich problematisch) es wird keine Notification über den Fehler versendet. In meinem Fall wäre das Pushover, aber ich denke auch andere "notification types" haben das Problem.
Wenn ich die Sicherung manuell anstosse, ergibt sich das gleiche Bild. Nach dem Fehler beim InfluxDB Backup bricht der Vorgang ab, das Fenster wird auch nach ein paar Minuten nicht geschlossen.

Adapter-Version: 2.6.20
Node.js v18.16.0
js-controller 4.0.24

simatec

@marc-berg Kannst du mal bitte versuchen den Fehler nachzustellen mit aktivierter Option zum ignorieren von Backupfehlern?
So kann ich es besser eingrenzen.

Marc Berg

@simatec

Started iobroker ...
[DEBUG] [iobroker] - host.iobroker 13133 states saved

[DEBUG] [iobroker] - host.iobroker 13839 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_05_09-13_59_52_NUC_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - InfluxDB-Backup for iob is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_05_09-13_59_58_iob_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_05_09-13_59_58_iob_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_05_09-13_59_58_iob_backupiobroker" successfully deleted
[DEBUG] [influxDB] - InfluxDB-Backup for iob is finish
[DEBUG] [influxDB] - InfluxDB-Backup for iob30 is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_05_09-14_00_00_iob30_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_05_09-14_00_00_iob30_backupiobroker" successfully deleted
[DEBUG] [influxDB] - 
[ERROR] [influxDB] - [IGNORED] Error: Command failed: "/opt/iobroker/bin/influx" backup --bucket iobroker30d --host http://influxdb2:8086 -t 1lfrRuCdhZfFW7xIkgNvc0Zgm8hY8Z03gIHXQQ2OaRCAgYJlN6Aetd5htIA75uEtKuTFUt45VDszBNQdXtazPxA== "/opt/iobroker/backups/influxDB_2023_05_09-14_00_00_iob30_backupiobroker"
2023/05/09 14:00:00 INFO: Downloading metadata snapshot
Error: failed to backup metadata: failed to download metadata snapshot: 401 Unauthorized: unauthorized access

[DEBUG] [grafana] - Start Grafana Backup ...
[DEBUG] [grafana] - Created grafana_tmp directory: "/opt/iobroker/backups/grafana_tmp"
[DEBUG] [grafana] - Created dashboard directory
[DEBUG] [grafana] - Created dashboards_manually_restore directory
[DEBUG] [grafana] - Created datasource directory
[DEBUG] [grafana] - start Grafana request ...
[DEBUG] [grafana] - Grafana is available ... Status: 200
[DEBUG] [grafana] - found Dashboard: waschmaschine
[DEBUG] [grafana] - found Dashboard: elektro
[DEBUG] [grafana] - found Dashboard: gasverbrauch
[DEBUG] [grafana] - found Dashboard: elbestand
[DEBUG] [grafana] - found Dashboard: heizung
[DEBUG] [grafana] - found Dashboard: temperaturen
[DEBUG] [grafana] - start Grafana backup compress ...
[DEBUG] [grafana] - Backup created: /opt/iobroker/backups/grafana_2023_05_09-14_00_01_NUC_backupiobroker.tar.gz
[DEBUG] [grafana] - Try deleting the Grafana tmp directory: "/opt/iobroker/backups/grafana_tmp"
[DEBUG] [grafana] - Grafana tmp directory "/opt/iobroker/backups/grafana_tmp" successfully deleted
[DEBUG] [grafana] - done
[DEBUG] [jarvis] - Created jarvis_tmp directory: "/opt/iobroker/backups/tmpJavis0"
[DEBUG] [jarvis] - found Jarvis Instance: 0
[DEBUG] [jarvis] - start Jarvis Backup for Instance 0...
[DEBUG] [jarvis] - /opt/iobroker/iobroker-data/jarvis/0 copy success!
[DEBUG] [jarvis] - Created states_tmp directory: "/opt/iobroker/backups/tmpJavis0/states"
[DEBUG] [jarvis] - settings "theme" not found
[DEBUG] [jarvis] - Try deleting the Jarvis tmp directory: "/opt/iobroker/backups/tmpJavis0"
[DEBUG] [jarvis] - Jarvis tmp directory "/opt/iobroker/backups/tmpJavis0" successfully deleted
[DEBUG] [jarvis] - Backup created: /opt/iobroker/backups/jarvis.0_2023_05_09-14_00_06_NUC_backupiobroker.tar.gz
[DEBUG] [jarvis] - done
[DEBUG] [nodered] - Created noderedtmp directory
[DEBUG] [nodered] - Node-Red tmp copy finish
[DEBUG] [nodered] - Backup created: /opt/iobroker/backups/nodered.0_2023_05_09-14_00_07_NUC_backupiobroker.tar.gz
[DEBUG] [nodered] - Try deleting the old node-red tmp directory: "/opt/iobroker/backups/noderedtmp0"
[DEBUG] [nodered] - node-red tmp directory "/opt/iobroker/backups/noderedtmp0" successfully deleted
[DEBUG] [nodered] - found node-red database: node-red.0
[DEBUG] [nodered] - done
[ERROR] [clean] - Backup files not deleted from /opt/iobroker/backups because some errors.
[DEBUG] [clean] - done
[DEBUG] [pushover] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[EXIT] 0

Die Notification wird mit aktivierter "Ignore Errors" Option versendet.

simatec

@marc-berg Hat die Notification auch den Fehler gemeldet?

Marc Berg

@simatec ja, so sieht das aus:

Marc Berg

@simatec
Scheinbar habe ich noch einen Fehler im Adapter gefunden. Ich habe zwei InfluxDB2-Buckets, die ich sichere (iobroker und iobroker30d):

Die Sicherung selbst funktioniert auch wie sie soll, allerdings lässt sich das zweite Bucket (iobroker30d) nicht wiederherstellen. Der Dialog meldet beim Versuch der Wiederherstellung keine Fehler, die Daten werden aber nicht geschrieben. Ich habe das Loglevel auf "silly" gestellt, mehr als diese Meldungen lassen sich aber nicht mitschneiden:

2023-05-19 09:46:51.704 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getFileSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":117,"ack":false,"time":1684482411698},"_id":73047936}
2023-05-19 09:46:51.709 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":118,"ack":false,"time":1684482411699},"_id":73047937}
2023-05-19 09:46:51.709 - silly: backitup.0 (5449) sendTo "getSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:46:51.728 - debug: backitup.0 (5449) The local storage check was completed successfully. On the host "iobroker" are currently 1578 MB free space available!
2023-05-19 09:46:51.729 - silly: backitup.0 (5449) sendTo "getFileSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:46:54.627 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"list","message":"local","from":"system.adapter.admin.0","callback":{"message":"local","id":119,"ack":false,"time":1684482414626},"_id":73047938}
2023-05-19 09:46:54.628 - debug: backitup.0 (5449) Backup list be read ...
2023-05-19 09:46:56.629 - silly: backitup.0 (5449) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:47:00.809 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"restore","message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"from":"system.adapter.admin.0","callback":{"message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"id":120,"ack":false,"time":1684482420807},"_id":73047939}
2023-05-19 09:47:00.812 - debug: backitup.0 (5449) set chmod for "/opt/iobroker/backups" successfully
2023-05-19 09:47:00.813 - debug: backitup.0 (5449) [influxDB] Created tmp directory
2023-05-19 09:47:00.813 - debug: backitup.0 (5449) [influxDB] Start infuxDB Restore ...
2023-05-19 09:47:00.993 - debug: backitup.0 (5449) [influxDB] influxdb.0 is stopped
2023-05-19 09:47:01.030 - debug: backitup.0 (5449) [influxDB] influxdb.1 is stopped
2023-05-19 09:47:01.362 - debug: backitup.0 (5449) [influxDB] Try deleting the InfluxDB tmp directory
2023-05-19 09:47:01.374 - debug: backitup.0 (5449) [influxDB] InfluxDB tmp directory was successfully deleted
2023-05-19 09:47:01.375 - debug: backitup.0 (5449) [influxDB] infuxDB Restore completed successfully
2023-05-19 09:47:01.375 - silly: backitup.0 (5449) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:47:01.384 - debug: backitup.0 (5449) [influxDB] influxdb.0 started
2023-05-19 09:47:01.386 - debug: backitup.0 (5449) [influxDB] influxdb.1 started

Das Bucket existiert noch nicht auf der DB. Die Wiederherstellung funktioniert manuell auf der Kommandozeile via

influx restore --bucket iobroker30d --host http://influxdb2:8086 -t lfrRuCdhZfFW7xIkgNvc0Zgm8hY8Z03gIHXQQ2OaRCAgYJlN6Aetd5htIA75uEtKuTFUt45VDszBNQdXtazPxA== "/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker"

Was könnte ich noch einstellen, um das Log etwas gesprächiger zu bekommen?

Backitup 2.6.20
node.js v18.16.0
js-controller 4.0.24

simatec

@marc-berg Schalte mal die Sicherung mehrerer DB's aus und konfiguriere Backitup für den restore auf nur die eine DB, die du wiederherstellen willst.

Wenn der Restore durch ist, kannst du die Sicherung mehrere DB's wieder aktivieren.

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

Schalte mal die Sicherung mehrerer DB's aus und konfiguriere Backitup für den restore auf nur die eine DB, die du wiederherstellen willst.

Ja, das geht. Ist aber ein wenig verwirrend, wenn man das nicht weiß ...

simatec

@marc-berg Muss ich mal schauen, wie ich das eventuell lösen kann bzw. noch einmal dokumentieren.
Es wird halt beim Restore der DB-Name benötigt und wenn dies mehrere sein können, wird es schwierig.

Eventuell müsste man mal schauen, ob man den bei mehreren DB's mit in den Dateinamen packt und darüber dann bei einem Restore den Namen ermittelt

Marc Berg

@simatec
Verstehe. Das jeweilige Bucket steht übrigens in der ".manifest" Datei drin. Ich könnte mir vorstellen, das wäre der sauberste Weg.

"buckets": [
    {
      "organizationID": "f441a3663c2d6f7e",
      "organizationName": "home",
      "bucketID": "3d47f245ff6fcb26",
      "bucketName": "iobroker30d",
      "defaultRetentionPolicy": "autogen"

simatec

@marc-berg sagte in Test Adapter ioBroker.backitup v2.6.x:

iobroker30d

Auch ne gute Idee

simatec

@marc-berg Kannst du mal die v2.6.21 testen. Hier habe ich eingebaut, das bei einer Config von mehreren Datenbanken die Werte aus .manifest gelesen werden

Marc Berg

Es ist leider noch keine Änderung erkennbar, das Bucket "iobroker" kann wiederhergestellt werden, das Bucket "iobroker30d" nicht.

Und das auch nur, wenn ich das Sichern mehrerer DBs abschalte. Ansonsten wird KEINE DB wiederhergestellt.

2023-05-20 09:25:47.275 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getFileSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":76,"ack":false,"time":1684567547273},"_id":45720489}
2023-05-20 09:25:47.279 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":77,"ack":false,"time":1684567547275},"_id":45720490}
2023-05-20 09:25:47.279 - silly: backitup.0 (6766) sendTo "getSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:25:47.332 - debug: backitup.0 (6766) The local storage check was completed successfully. On the host "iobroker" are currently 6602 MB free space available!
2023-05-20 09:25:47.333 - silly: backitup.0 (6766) sendTo "getFileSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:25:51.078 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"list","message":"local","from":"system.adapter.admin.0","callback":{"message":"local","id":78,"ack":false,"time":1684567551076},"_id":45720491}
2023-05-20 09:25:51.080 - debug: backitup.0 (6766) Backup list be read ...
2023-05-20 09:25:53.081 - silly: backitup.0 (6766) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:26:10.287 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"restore","message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_20-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"from":"system.adapter.admin.0","callback":{"message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_20-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"id":79,"ack":false,"time":1684567570286},"_id":45720492}
2023-05-20 09:26:10.289 - debug: backitup.0 (6766) set chmod for "/opt/iobroker/backups" successfully
2023-05-20 09:26:10.290 - debug: backitup.0 (6766) [influxDB] Created tmp directory
2023-05-20 09:26:10.290 - debug: backitup.0 (6766) [influxDB] Start infuxDB Restore ...
2023-05-20 09:26:10.737 - debug: backitup.0 (6766) [influxDB] Try deleting the InfluxDB tmp directory
2023-05-20 09:26:10.740 - debug: backitup.0 (6766) [influxDB] InfluxDB tmp directory was successfully deleted
2023-05-20 09:26:10.741 - debug: backitup.0 (6766) [influxDB] infuxDB Restore completed successfully
2023-05-20 09:26:10.741 - silly: backitup.0 (6766) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0

vita-2002

Hallo,
ich habe gemerkt, dass die Backups nicht mehr in GoogleDrive gespeichert werden

Backitup 2.6.21
node.js v18.16.0
js-controller 4.0.24

Started iobroker ...
[DEBUG] [iobroker] start with {"type":"creator","workDir":"/opt/iobroker/node_modules/iobroker.js-controller/iobroker.js","time":"02:00","debugging":true,"slaveBackup":"Single","everyXDays":"7","deleteBackupAfter":0,"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","newToken":false,"ownDir":false,"dir":"/backup_IObrocker","dirMinimal":"/backupDir/iobroker","ignoreErrors":false},"ignoreErrors":false,"dir":"/opt/iobroker","historyHTML":{"enabled":true,"type":"message","entriesNumber":"25","ignoreErrors":false,"systemLang":"de"},"historyJSON":{"enabled":true,"type":"message","entriesNumber":"25","ignoreErrors":false,"systemLang":"de"},"signal":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longSignalNotice","onlyError":false,"signalWaiting":0,"hostName":"","ignoreErrors":false,"systemLang":"de"},"matrix":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longMatrixNotice","onlyError":false,"matrixWaiting":0,"hostName":"","ignoreErrors":false,"systemLang":"de"},"backupDir":"/opt/iobroker/backups"}
[DEBUG] [iobroker] - host.raspberry 9048 states saved

[DEBUG] [iobroker] - host.raspberry 9647 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_05_21-13_21_31_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [googledrive] - Google Drive: Copy iobroker_2023_05_21-13_21_31_backupiobroker.tar.gz...
[DEBUG] [googledrive] start with {"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","newToken":false,"ownDir":false,"dir":"/backup_IObrocker","dirMinimal":"/backupDir/iobroker","ignoreErrors":false,"deleteBackupAfter":0}

Hier bleibt es hängen.
Ich kann auch die kopien nicht mehr abrufen.

Thomas Braun

@vita-2002 sagte in Test Adapter ioBroker.backitup v2.6.x:

Ich kann auch die kopien nicht mehr abrufen.

Bei mir lief diese Nacht das Backup wie üblich.
Kommst du an dein Google Drive grundsätzlich (außerhalb des iobrokers) ran?

NEWS

Test Adapter ioBroker.backitup v3.0.x

Support us

880
Online

31.0k
Users

77.8k
Topics

1.2m
Posts

NEWS

Test Adapter ioBroker.backitup v3.0.x

Support us

880Online

31.0kUsers

77.8kTopics

1.2mPosts

880
Online

31.0k
Users

77.8k
Topics

1.2m
Posts