Test Adapter ioBroker.backitup v3.1.x

simatec

@marc-berg Kannst du mal bitte versuchen den Fehler nachzustellen mit aktivierter Option zum ignorieren von Backupfehlern?
So kann ich es besser eingrenzen.

Marc Berg

@simatec

Started iobroker ...
[DEBUG] [iobroker] - host.iobroker 13133 states saved

[DEBUG] [iobroker] - host.iobroker 13839 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_05_09-13_59_52_NUC_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - InfluxDB-Backup for iob is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2023_05_09-13_59_58_iob_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_05_09-13_59_58_iob_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_05_09-13_59_58_iob_backupiobroker" successfully deleted
[DEBUG] [influxDB] - InfluxDB-Backup for iob is finish
[DEBUG] [influxDB] - InfluxDB-Backup for iob30 is started ...
[DEBUG] [influxDB] - Start InfluxDB Backup ...
[DEBUG] [influxDB] - InfluxDB Backup tmp directory created 
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory: "/opt/iobroker/backups/influxDB_2023_05_09-14_00_00_iob30_backupiobroker"
[DEBUG] [influxDB] - InfluxDB tmp directory "/opt/iobroker/backups/influxDB_2023_05_09-14_00_00_iob30_backupiobroker" successfully deleted
[DEBUG] [influxDB] - 
[ERROR] [influxDB] - [IGNORED] Error: Command failed: "/opt/iobroker/bin/influx" backup --bucket iobroker30d --host http://influxdb2:8086 -t 1lfrRuCdhZfFW7xIkgNvc0Zgm8hY8Z03gIHXQQ2OaRCAgYJlN6Aetd5htIA75uEtKuTFUt45VDszBNQdXtazPxA== "/opt/iobroker/backups/influxDB_2023_05_09-14_00_00_iob30_backupiobroker"
2023/05/09 14:00:00 INFO: Downloading metadata snapshot
Error: failed to backup metadata: failed to download metadata snapshot: 401 Unauthorized: unauthorized access

[DEBUG] [grafana] - Start Grafana Backup ...
[DEBUG] [grafana] - Created grafana_tmp directory: "/opt/iobroker/backups/grafana_tmp"
[DEBUG] [grafana] - Created dashboard directory
[DEBUG] [grafana] - Created dashboards_manually_restore directory
[DEBUG] [grafana] - Created datasource directory
[DEBUG] [grafana] - start Grafana request ...
[DEBUG] [grafana] - Grafana is available ... Status: 200
[DEBUG] [grafana] - found Dashboard: waschmaschine
[DEBUG] [grafana] - found Dashboard: elektro
[DEBUG] [grafana] - found Dashboard: gasverbrauch
[DEBUG] [grafana] - found Dashboard: elbestand
[DEBUG] [grafana] - found Dashboard: heizung
[DEBUG] [grafana] - found Dashboard: temperaturen
[DEBUG] [grafana] - start Grafana backup compress ...
[DEBUG] [grafana] - Backup created: /opt/iobroker/backups/grafana_2023_05_09-14_00_01_NUC_backupiobroker.tar.gz
[DEBUG] [grafana] - Try deleting the Grafana tmp directory: "/opt/iobroker/backups/grafana_tmp"
[DEBUG] [grafana] - Grafana tmp directory "/opt/iobroker/backups/grafana_tmp" successfully deleted
[DEBUG] [grafana] - done
[DEBUG] [jarvis] - Created jarvis_tmp directory: "/opt/iobroker/backups/tmpJavis0"
[DEBUG] [jarvis] - found Jarvis Instance: 0
[DEBUG] [jarvis] - start Jarvis Backup for Instance 0...
[DEBUG] [jarvis] - /opt/iobroker/iobroker-data/jarvis/0 copy success!
[DEBUG] [jarvis] - Created states_tmp directory: "/opt/iobroker/backups/tmpJavis0/states"
[DEBUG] [jarvis] - settings "theme" not found
[DEBUG] [jarvis] - Try deleting the Jarvis tmp directory: "/opt/iobroker/backups/tmpJavis0"
[DEBUG] [jarvis] - Jarvis tmp directory "/opt/iobroker/backups/tmpJavis0" successfully deleted
[DEBUG] [jarvis] - Backup created: /opt/iobroker/backups/jarvis.0_2023_05_09-14_00_06_NUC_backupiobroker.tar.gz
[DEBUG] [jarvis] - done
[DEBUG] [nodered] - Created noderedtmp directory
[DEBUG] [nodered] - Node-Red tmp copy finish
[DEBUG] [nodered] - Backup created: /opt/iobroker/backups/nodered.0_2023_05_09-14_00_07_NUC_backupiobroker.tar.gz
[DEBUG] [nodered] - Try deleting the old node-red tmp directory: "/opt/iobroker/backups/noderedtmp0"
[DEBUG] [nodered] - node-red tmp directory "/opt/iobroker/backups/noderedtmp0" successfully deleted
[DEBUG] [nodered] - found node-red database: node-red.0
[DEBUG] [nodered] - done
[ERROR] [clean] - Backup files not deleted from /opt/iobroker/backups because some errors.
[DEBUG] [clean] - done
[DEBUG] [pushover] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[EXIT] 0

Die Notification wird mit aktivierter "Ignore Errors" Option versendet.

simatec

@marc-berg Hat die Notification auch den Fehler gemeldet?

Marc Berg

@simatec ja, so sieht das aus:

Marc Berg

@simatec
Scheinbar habe ich noch einen Fehler im Adapter gefunden. Ich habe zwei InfluxDB2-Buckets, die ich sichere (iobroker und iobroker30d):

Die Sicherung selbst funktioniert auch wie sie soll, allerdings lässt sich das zweite Bucket (iobroker30d) nicht wiederherstellen. Der Dialog meldet beim Versuch der Wiederherstellung keine Fehler, die Daten werden aber nicht geschrieben. Ich habe das Loglevel auf "silly" gestellt, mehr als diese Meldungen lassen sich aber nicht mitschneiden:

2023-05-19 09:46:51.704 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getFileSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":117,"ack":false,"time":1684482411698},"_id":73047936}
2023-05-19 09:46:51.709 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":118,"ack":false,"time":1684482411699},"_id":73047937}
2023-05-19 09:46:51.709 - silly: backitup.0 (5449) sendTo "getSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:46:51.728 - debug: backitup.0 (5449) The local storage check was completed successfully. On the host "iobroker" are currently 1578 MB free space available!
2023-05-19 09:46:51.729 - silly: backitup.0 (5449) sendTo "getFileSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:46:54.627 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"list","message":"local","from":"system.adapter.admin.0","callback":{"message":"local","id":119,"ack":false,"time":1684482414626},"_id":73047938}
2023-05-19 09:46:54.628 - debug: backitup.0 (5449) Backup list be read ...
2023-05-19 09:46:56.629 - silly: backitup.0 (5449) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:47:00.809 - silly: backitup.0 (5449) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"restore","message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"from":"system.adapter.admin.0","callback":{"message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"id":120,"ack":false,"time":1684482420807},"_id":73047939}
2023-05-19 09:47:00.812 - debug: backitup.0 (5449) set chmod for "/opt/iobroker/backups" successfully
2023-05-19 09:47:00.813 - debug: backitup.0 (5449) [influxDB] Created tmp directory
2023-05-19 09:47:00.813 - debug: backitup.0 (5449) [influxDB] Start infuxDB Restore ...
2023-05-19 09:47:00.993 - debug: backitup.0 (5449) [influxDB] influxdb.0 is stopped
2023-05-19 09:47:01.030 - debug: backitup.0 (5449) [influxDB] influxdb.1 is stopped
2023-05-19 09:47:01.362 - debug: backitup.0 (5449) [influxDB] Try deleting the InfluxDB tmp directory
2023-05-19 09:47:01.374 - debug: backitup.0 (5449) [influxDB] InfluxDB tmp directory was successfully deleted
2023-05-19 09:47:01.375 - debug: backitup.0 (5449) [influxDB] infuxDB Restore completed successfully
2023-05-19 09:47:01.375 - silly: backitup.0 (5449) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-19 09:47:01.384 - debug: backitup.0 (5449) [influxDB] influxdb.0 started
2023-05-19 09:47:01.386 - debug: backitup.0 (5449) [influxDB] influxdb.1 started

Das Bucket existiert noch nicht auf der DB. Die Wiederherstellung funktioniert manuell auf der Kommandozeile via

influx restore --bucket iobroker30d --host http://influxdb2:8086 -t lfrRuCdhZfFW7xIkgNvc0Zgm8hY8Z03gIHXQQ2OaRCAgYJlN6Aetd5htIA75uEtKuTFUt45VDszBNQdXtazPxA== "/opt/iobroker/backups/influxDB_2023_05_18-00_53_18_iob30_backupiobroker"

Was könnte ich noch einstellen, um das Log etwas gesprächiger zu bekommen?

Backitup 2.6.20
node.js v18.16.0
js-controller 4.0.24

simatec

@marc-berg Schalte mal die Sicherung mehrerer DB's aus und konfiguriere Backitup für den restore auf nur die eine DB, die du wiederherstellen willst.

Wenn der Restore durch ist, kannst du die Sicherung mehrere DB's wieder aktivieren.

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

Schalte mal die Sicherung mehrerer DB's aus und konfiguriere Backitup für den restore auf nur die eine DB, die du wiederherstellen willst.

Ja, das geht. Ist aber ein wenig verwirrend, wenn man das nicht weiß ...

simatec

@marc-berg Muss ich mal schauen, wie ich das eventuell lösen kann bzw. noch einmal dokumentieren.
Es wird halt beim Restore der DB-Name benötigt und wenn dies mehrere sein können, wird es schwierig.

Eventuell müsste man mal schauen, ob man den bei mehreren DB's mit in den Dateinamen packt und darüber dann bei einem Restore den Namen ermittelt

Marc Berg

@simatec
Verstehe. Das jeweilige Bucket steht übrigens in der ".manifest" Datei drin. Ich könnte mir vorstellen, das wäre der sauberste Weg.

"buckets": [
    {
      "organizationID": "f441a3663c2d6f7e",
      "organizationName": "home",
      "bucketID": "3d47f245ff6fcb26",
      "bucketName": "iobroker30d",
      "defaultRetentionPolicy": "autogen"

simatec

@marc-berg sagte in Test Adapter ioBroker.backitup v2.6.x:

iobroker30d

Auch ne gute Idee

simatec

@marc-berg Kannst du mal die v2.6.21 testen. Hier habe ich eingebaut, das bei einer Config von mehreren Datenbanken die Werte aus .manifest gelesen werden

Marc Berg

Es ist leider noch keine Änderung erkennbar, das Bucket "iobroker" kann wiederhergestellt werden, das Bucket "iobroker30d" nicht.

Und das auch nur, wenn ich das Sichern mehrerer DBs abschalte. Ansonsten wird KEINE DB wiederhergestellt.

2023-05-20 09:25:47.275 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getFileSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":76,"ack":false,"time":1684567547273},"_id":45720489}
2023-05-20 09:25:47.279 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"getSystemInfo","message":null,"from":"system.adapter.admin.0","callback":{"message":null,"id":77,"ack":false,"time":1684567547275},"_id":45720490}
2023-05-20 09:25:47.279 - silly: backitup.0 (6766) sendTo "getSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:25:47.332 - debug: backitup.0 (6766) The local storage check was completed successfully. On the host "iobroker" are currently 6602 MB free space available!
2023-05-20 09:25:47.333 - silly: backitup.0 (6766) sendTo "getFileSystemInfo" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:25:51.078 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"list","message":"local","from":"system.adapter.admin.0","callback":{"message":"local","id":78,"ack":false,"time":1684567551076},"_id":45720491}
2023-05-20 09:25:51.080 - debug: backitup.0 (6766) Backup list be read ...
2023-05-20 09:25:53.081 - silly: backitup.0 (6766) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2023-05-20 09:26:10.287 - silly: backitup.0 (6766) States system redis pmessage io.messagebox.system.adapter.backitup.0/io.messagebox.system.adapter.backitup.0:{"command":"restore","message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_20-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"from":"system.adapter.admin.0","callback":{"message":{"type":"local","fileName":"/opt/iobroker/backups/influxDB_2023_05_20-00_53_18_iob30_backupiobroker.tar.gz","currentTheme":"react-dark","stopIOB":false},"id":79,"ack":false,"time":1684567570286},"_id":45720492}
2023-05-20 09:26:10.289 - debug: backitup.0 (6766) set chmod for "/opt/iobroker/backups" successfully
2023-05-20 09:26:10.290 - debug: backitup.0 (6766) [influxDB] Created tmp directory
2023-05-20 09:26:10.290 - debug: backitup.0 (6766) [influxDB] Start infuxDB Restore ...
2023-05-20 09:26:10.737 - debug: backitup.0 (6766) [influxDB] Try deleting the InfluxDB tmp directory
2023-05-20 09:26:10.740 - debug: backitup.0 (6766) [influxDB] InfluxDB tmp directory was successfully deleted
2023-05-20 09:26:10.741 - debug: backitup.0 (6766) [influxDB] infuxDB Restore completed successfully
2023-05-20 09:26:10.741 - silly: backitup.0 (6766) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0

vita-2002

Hallo,
ich habe gemerkt, dass die Backups nicht mehr in GoogleDrive gespeichert werden

Backitup 2.6.21
node.js v18.16.0
js-controller 4.0.24

Started iobroker ...
[DEBUG] [iobroker] start with {"type":"creator","workDir":"/opt/iobroker/node_modules/iobroker.js-controller/iobroker.js","time":"02:00","debugging":true,"slaveBackup":"Single","everyXDays":"7","deleteBackupAfter":0,"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","newToken":false,"ownDir":false,"dir":"/backup_IObrocker","dirMinimal":"/backupDir/iobroker","ignoreErrors":false},"ignoreErrors":false,"dir":"/opt/iobroker","historyHTML":{"enabled":true,"type":"message","entriesNumber":"25","ignoreErrors":false,"systemLang":"de"},"historyJSON":{"enabled":true,"type":"message","entriesNumber":"25","ignoreErrors":false,"systemLang":"de"},"signal":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longSignalNotice","onlyError":false,"signalWaiting":0,"hostName":"","ignoreErrors":false,"systemLang":"de"},"matrix":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longMatrixNotice","onlyError":false,"matrixWaiting":0,"hostName":"","ignoreErrors":false,"systemLang":"de"},"backupDir":"/opt/iobroker/backups"}
[DEBUG] [iobroker] - host.raspberry 9048 states saved

[DEBUG] [iobroker] - host.raspberry 9647 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2023_05_21-13_21_31_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [googledrive] - Google Drive: Copy iobroker_2023_05_21-13_21_31_backupiobroker.tar.gz...
[DEBUG] [googledrive] start with {"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","newToken":false,"ownDir":false,"dir":"/backup_IObrocker","dirMinimal":"/backupDir/iobroker","ignoreErrors":false,"deleteBackupAfter":0}

Hier bleibt es hängen.
Ich kann auch die kopien nicht mehr abrufen.

Thomas Braun

@vita-2002 sagte in Test Adapter ioBroker.backitup v2.6.x:

Ich kann auch die kopien nicht mehr abrufen.

Bei mir lief diese Nacht das Backup wie üblich.
Kommst du an dein Google Drive grundsätzlich (außerhalb des iobrokers) ran?

vita-2002

Sorry, es hat sich erledigt.
Berechtigung bei GoogleDrive, gelöscht, wieder geholt, neue Zugangstoken eingetragen.
Jetzt funktioniert es wieder.

simatec

@marc-berg Habe in v2.6.22 nochmal etwas modifiziert. Wenn MultiDB aktiv ist, sollten nun die kompletten Configs aus der Tabelle geholt werden.
Kannst du bitte al testen?

Marc Berg

@simatec sagte in Test Adapter ioBroker.backitup v2.6.x:

Kannst du bitte al testen?

Leider noch keine Änderung erkennbar. Keine Fehlermeldung, aber es werden keine Daten geschrieben.

Ergänzung: Es muss in Zeile 22 der "influxDB.js" nicht "json.buckets.bucketName", sondern "json.buckets[0].bucketName" heißen. Dann funktioniert es.

JB_Sullivan

@simatec

Ich hätte mal eine Frage, bzw. einen Wunsch zum Restore. Ist es ggf. möglich, das man auswählen kann, was "restored" werden soll?

Hintergrund der Frage ist die VIS. Wenn es in der VIS mal Probleme gegeben hat, könnte man diese separat wieder zurück sichern. Ein Full Restore, wie er derzeit abläuft, wäre im Falle einer defekten VIS mit Kanonen auf Spatzen schießen.

Das es die VIS durchaus mal erwischen kann, ist nicht ungewöhnlich, da die Funktionen der Gruppierung in der VIS gerne mal für Chaos sorgt und dann mitunter weder Editor noch Laufzeit bedienbar ist.

Über BackItUp ein einzelner Restore des VIS Ordner, würde da auf die schnelle für Heilung sorgen.

simatec

@marc-berg Kannst du mal den Inhalt deiner .manifest zeigen?
Also mir reicht der Anfang bis bucketName... Bei mir im habe ich den Bucket Name ohne die [0] auslesen können.

simatec

@jb_sullivan Dies ist aktuell nicht möglich, aber auf der langen Todo vom js-controller.
Backitup nutzt die Backup Funktion des js-controllers

NEWS

Test Adapter ioBroker.backitup v3.1.x

Support us

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts

NEWS

Test Adapter ioBroker.backitup v3.1.x

Support us

1.0kOnline

31.6kUsers

79.4kTopics

1.3mPosts

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts