Test Adapter ioBroker.backitup v3.1.x

[simatec]

@Frank_y
Bei einem manuellen Backup werden keine alten Dateien gelöscht.
Deshalb kommt der Fehler dort nicht.

Zeige doch bitte mal den kompletten Inhalt deines Backup-Ordners ...

[Frank_y]

@simatec
v1.5.8

v.1.6.7

[Thomas Braun]

@Frank_y
Falsche Rechte.
Das sollte so aussehen:

-rw-rwxr--+ 1 iobroker iobroker 5127439 Sep 20 02:42 iobroker_2020_09_20-02_42_51_backupiobroker.tar.gz

Bzw. so:

pi@raspberrypi:~ $ getfacl /opt/iobroker/backups/iobroker_2020_09_20-02_42_51_backupiobroker.tar.gz
getfacl: Entferne führende '/' von absoluten Pfadnamen
# file: opt/iobroker/backups/iobroker_2020_09_20-02_42_51_backupiobroker.tar.gz
# owner: iobroker
# group: iobroker
user::rw-
group::r-x
group:iobroker:rwx
mask::rwx
other::r--

Konsolenausgaben bitte nicht als Screenshot sondern als Text in CodeTags setzen.

[simatec]

@Frank_y
So wie es aber ausschaut, wird auch mit der 1.5.8 dein altes Redis Backup nicht gelöscht

[Frank_y]

@simatec sagte in Test Adapter Backitup v1.6.x:

@Frank_y
So wie es aber ausschaut, wird auch mit der 1.5.8 dein altes Redis Backup nicht gelöscht

kann ich nicht bestätigen....mit den Rechten werden in 1.5.8 auch die alten Redis-Backups gelöscht. Und zwar im System als auch auf Dropbox.
Aber egal, was kann ich tun. Den Fixer hatte ich schon laufen lassen.

[simatec]

@Frank_y
Hmmm sehe ich nicht so. Bei der 1.6.7 bleibt er bei dem Redis Backup vom 9.9. hängen und bei der 1.5.8 ist es auch noch da. Also wird es nicht gelöscht.

Passe deine Rechte nach den Vorgaben von @Thomas-Braun an.

[BoehserWolf]

@Thomas-Braun
Ok, Rechte waren bei mir im Backup Verzeichnis ebenfalls anders, iobroker fix hat es nicht gerichtet. Habe die für die iobroker*.tar.gz nun angepasst.
Von:

getfacl iobroker_2020_09_27-03_30_10_iobroker_wald_backupiobroker.tar.gz
# file: iobroker_2020_09_27-03_30_10_iobroker_wald_backupiobroker.tar.gz
# owner: iobroker
# group: iobroker
user::rw-
group::rwx                      #effective:rw-
group:iobroker:rwx              #effective:rw-
mask::rw-
other::rw-

Nach:

getfacl iobroker_2020_09_27-03_30_10_iobroker_wald_backupiobroker.tar.gz
# file: iobroker_2020_09_27-03_30_10_iobroker_wald_backupiobroker.tar.gz
# owner: iobroker
# group: iobroker
user::rw-
group::r-x
group:iobroker:rwx
mask::rwx
other::r--

Verzeichnis:

getfacl /opt/iobroker/backups
getfacl: Removing leading '/' from absolute path names
# file: opt/iobroker/backups
# owner: iobroker
# group: iobroker
user::rwx
group::rwx
group:iobroker:rwx
mask::rwx
other::rwx
default:user::rwx
default:group::rwx
default:group:iobroker:rwx
default:mask::rwx
default:other::rwx

@simatec Mir stellt sich nun die Frage wie kommt es dazu und was hat backitup v1.6.7 damit zu tun? Bei mir tritt das "Phänomen" seit v1.6.7 auf. Irgendetwas muss sich da geändert haben.

Mit homematic*.tar.sbk sehen die Rechte bei mir auch nicht wie im Post von @Thomas-Braun aus. Der Datenpunkt backitup.0.history.ccuSuccess steht auf false. Sollte ich diese Dateien auch anpassen? Bspw. jetzt:

getfacl homematic_2020_09_25-01_30_10_3.51.6.20200229_backupiobroker.tar.sbk
# file: homematic_2020_09_25-01_30_10_3.51.6.20200229_backupiobroker.tar.sbk
# owner: iobroker
# group: iobroker
user::rw-
group::rwx                      #effective:rw-
group:iobroker:rwx              #effective:rw-
mask::rw-
other::rw-

[Frank_y]

@simatec
@Thomas-Braun

Dem Ordner /backups habe ich über chmod 777 Rechte gegeben.

@iobrokerVM:/opt/iobroker$ sudo chmod 777 backups/
[sudo] Passwort für 
@iobrokerVM:/opt/iobroker$ getfacl backups/
# file: backups/
# owner: iobroker
# group: iobroker
user::rwx
group::r-x
group:iobroker:rwx
mask::rwx
other::rwx
default:user::rwx
default:group::r-x
default:group:iobroker:rwx
default:mask::rwx
default:other::r-x]

Datei-Rechte im /backups habe ich manuell mit setfacl angepasst, dann Update auf 1.6.7.
Backup über Cron-job gestartet. Die neu erzeugten Dateien (Sep 27 12:30 ) haben wieder die Rechte -rw-rw-r--+ 1

@iobrokerVM:/opt/iobroker/backups$ ls -l
insgesamt 116460
-rw-rwxr--+ 1 iobroker iobroker 10407690 Sep  7 02:00 iobroker_2020_09_07-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10408118 Sep  9 02:00 iobroker_2020_09_09-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10405895 Sep 11 02:00 iobroker_2020_09_11-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10404922 Sep 13 02:00 iobroker_2020_09_13-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10405309 Sep 15 02:00 iobroker_2020_09_15-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10406213 Sep 17 02:00 iobroker_2020_09_17-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10414384 Sep 19 02:00 iobroker_2020_09_19-02_00_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10424841 Sep 24 21:51 iobroker_2020_09_24-21_51_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10425075 Sep 25 02:00 iobroker_2020_09_25-02_00_14_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 10434793 Sep 27 02:00 iobroker_2020_09_27-02_00_10_backupiobroker.tar.gz
-rw-rw-r--+ 1 iobroker iobroker 10437056 Sep 27 12:30 iobroker_2020_09_27-12_30_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   418520 Sep  7 02:00 redis_2020_09_07-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   419410 Sep  9 02:00 redis_2020_09_09-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   414630 Sep 11 02:00 redis_2020_09_11-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   416276 Sep 13 02:00 redis_2020_09_13-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   418406 Sep 15 02:00 redis_2020_09_15-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   419599 Sep 17 02:00 redis_2020_09_17-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   419813 Sep 19 02:00 redis_2020_09_19-02_00_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   420060 Sep 24 21:51 redis_2020_09_24-21_51_18_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   419945 Sep 25 02:00 redis_2020_09_25-02_00_22_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker   429191 Sep 27 02:00 redis_2020_09_27-02_00_19_backupiobroker.tar.gz
-rw-rw-r--+ 1 iobroker iobroker   430312 Sep 27 12:30 redis_2020_09_27-12_30_18_backupiobroker.tar.gz

Die Datenpunkte zeigen weiterhin ein fehlerhaftes Backup an

[simatec]

@Frank_y @BoehserWolf
Bitte postet mal genauere Info zu eurem System.
Backitup setzt keine Dateirechte.

Bitte folgendes mal angeben:

• node
• nodejs
• npm
• js-controller

Bitte auch mal das System neustarten und danach folgenden Befehl iobroker fix noch einmal ausführen und im Anschluss noch einmal zur Sicherheit neustarten

[BoehserWolf]

@simatec

Betreibe ein Debian 10.6 x64 in einem LXC Container unter Proxmox 6 vom stable Repo.

cat /etc/os-release
PRETTY_NAME="Debian GNU/Linux 10 (buster)"
NAME="Debian GNU/Linux"
VERSION_ID="10"
VERSION="10 (buster)"
VERSION_CODENAME=buster
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"

free -m
              total        used        free      shared  buff/cache   available
Mem:           4096        1034        2609          15         451        3061
Swap:          1536           0        1535

which nodejs && nodejs -v && which node && node -v && which npm && npm -v && apt policy nodejs
/usr/bin/nodejs
v10.22.1
/usr/bin/node
v10.22.1
/usr/bin/npm
6.14.6
nodejs:
  Installed: 10.22.1-1nodesource1
  Candidate: 10.22.1-1nodesource1
  Version table:
 *** 10.22.1-1nodesource1 500
        500 https://deb.nodesource.com/node_10.x buster/main amd64 Packages
        100 /var/lib/dpkg/status
     10.21.0~dfsg-1~deb10u1 500
        500 http://ftp.de.debian.org/debian buster/main amd64 Packages
        500 http://security.debian.org buster/updates/main amd64 Packages

Typ: js-controller
Titel: JS controller
OS: linux
Verfügbar: 3.1.6
Installiert: 3.1.6

Reboot, fix, reboot habe ich durchgeführt.

Danach backitup auf Debug und Backupzeit in den Adapter-Einstellungen angepasst (also per cron). Log:

backitup.0	2020-09-27 17:32:14.471	debug	(3664) [iobroker/clean] delete /opt/iobroker/backups/iobroker_2020_09_26-03_30_10_iobroker_wald_backupiobroker.tar.gz
backitup.0	2020-09-27 17:32:14.177	debug	(3664) [iobroker] exec: done
backitup.0	2020-09-27 17:32:14.177	debug	(3664) [iobroker/history] backitup.0.history.json
backitup.0	2020-09-27 17:32:14.175	debug	(3664) [iobroker] exec: done
backitup.0	2020-09-27 17:32:14.175	debug	(3664) [iobroker/history] backitup.0.history.html
backitup.0	2020-09-27 17:32:14.170	debug	(3664) [iobroker/clean] done
backitup.0	2020-09-27 17:32:14.169	debug	(3664) [iobroker/iobroker] done
backitup.0	2020-09-27 17:32:13.160	debug	(3664) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2020_09_27-17_32_10_iobroker_wald_backupiobroker.tar.gz
backitup.0	2020-09-27 17:32:11.258	debug	(3664) [iobroker/iobroker] host.iobroker 5439 objects saved
backitup.0	2020-09-27 17:32:11.250	debug	(3664) [iobroker/iobroker] host.iobroker 5038 states saved
backitup.0	2020-09-27 17:32:10.035	debug	(3664) Backup has started ...
backitup.0	2020-09-27 17:31:21.195	debug	(3664) No backup file was found
backitup.0	2020-09-27 17:31:21.194	debug	(3664) [ccu] 10 30 01 */3 * *
backitup.0	2020-09-27 17:31:21.192	info	(3664) [ccu] backup was activated at 01:30 every 3 day(s)
backitup.0	2020-09-27 17:31:21.192	debug	(3664) [iobroker] 10 32 17 */1 * *
backitup.0	2020-09-27 17:31:21.187	info	(3664) [iobroker] backup was activated at 17:32 every 1 day(s)
backitup.0	2020-09-27 17:31:21.172	info	(3664) starting. Version 1.6.7 in /opt/iobroker/node_modules/iobroker.backitup, node: v10.22.1, js-controller: 3.1.6
backitup.0	2020-09-27 17:31:21.163	info	(3664) Plugin sentry Sentry Plugin disabled for this process because sending of statistic data is disabled for the system
backitup.0	2020-09-27 17:31:21.157	debug	(3664) Plugin sentry Initialize Plugin (enabled=true)

Rechte neu:

ls -l /opt/iobroker/backups/iobroker_2020_09_27-17_32_10_iobroker_wald_backupiobroker.tar.gz
-rw-rw-rw-+ 1 iobroker iobroker 8417676 Sep 27 17:32 /opt/iobroker/backups/iobroker_2020_09_27-17_32_10_iobroker_wald_backupiobroker.tar.gz

bzw.:

getfacl /opt/iobroker/backups/iobroker_2020_09_27-17_32_10_iobroker_wald_backupiobroker.tar.gz
getfacl: Removing leading '/' from absolute path names
# file: opt/iobroker/backups/iobroker_2020_09_27-17_32_10_iobroker_wald_backupiobroker.tar.gz
# owner: iobroker
# group: iobroker
user::rw-
group::rwx                      #effective:rw-
group:iobroker:rwx              #effective:rw-
mask::rw-
other::rw-

[Frank_y]

@simatec
@iobrokerVM:~$ cat /etc/os-release

PRETTY_NAME="Debian GNU/Linux 9 (stretch)"
NAME="Debian GNU/Linux"
VERSION_ID="9"
VERSION="9 (stretch)"
VERSION_CODENAME=stretch
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"

which nodejs && nodejs -v && which node && node -v && which npm && npm -v && apt policy nodejs
/usr/bin/nodejs
v12.18.3
/usr/bin/node
v12.18.3
/usr/bin/npm
6.14.6
nodejs:
  Installiert:           12.18.3-1nodesource1
  Installationskandidat: 12.18.3-1nodesource1
  Versionstabelle:
 *** 12.18.3-1nodesource1 500
        500 https://deb.nodesource.com/node_12.x stretch/main amd64 Packages
        100 /var/lib/dpkg/status
     4.8.2~dfsg-1 500
        500 http://ftp.de.debian.org/debian stretch/main amd64 Packages

js-Controller 3.1.6

[Thomas Braun]

@Frank_y System auf den letzten Stand bringen. Aktuell ist node 12.8.4

[Frank_y]

@Thomas-Braun
@simatec
Ausgangspunkt mit Backitup 1.5.8 und angepassten Rechten von oben (hier funktioniert alles)
Update node.js 12.18.3 ->12.18.4
reboot
iobroker fixer
reboot ->Snapshot erstellt
Update Backitup auf 1.6.7
Start Backitup über cron-Job
->gleicher Fehler: backup wird erstellt, aber Datenpunkte zur Rückmeldung zeigen einen Fehler

Rollback auf Snapshot ( Backitup 1.5.8 mit node.js 12.18.4+fixer)
Start Backitup über cron-job
->Backup ok und Datenpunkte zur Rückmeldung melden i.O.

[simatec]

@Frank_y
1.6.7 hat einiges mehr an Fehlerüberwachung.
Werden denn in der 1.5.8 deine alten Backups gelöscht? So wie ich deinen Inhalt des Backupordners sehe, wird da wohl nicht gelöscht.
Also liegt das Problem nicht an der 1.6.7 sondern an deinen Rechten

[sigi234]

@simatec

Hallo, habe ein History Backup gemacht, wird das im Log nicht angezeigt?
V 1.6.8

[Frank_y]

@simatec
ich habe in der Adpaterkonfiguration '10 Stück' eingestellt. Und genau diese 10 letzten Versionen liegen lokal und in der Dropbox. Der Rest wird sauber lokal und in der Dropbox gelöscht. Ich nutze den Adapter auch schon seit ca. 1 Jahr störungsfrei.

[simatec]

@sigi234
Nein die werden nicht angezeigt, da es nur optionale Backups zum iobroker Backup sind.

[Frank_y]

@simatec
Wäre es eine Möglichkeit Versionen zwischen 1.5.8 und 1.6.7 zu installieren, um zu schauen ab wann es nicht mehr sauber durchläuft. Welche Versionsschritte wäre hier ggf. hilfreich?

[simatec]

@Frank_y
Ich werde morgen mal eine Testversion mit ein paar Debug Ausgaben bauen. Dann können wir das gerne gemeinsam testen.
Werden denn die Backups auf der Dropbox gelöscht oder auch dort nicht.

Noch eine Frage hast du die Einstellungen von Backitup nach dem löschen wieder hochgeladen oder hast du Backitup komplett neu eingerichtet?

Du kannst auch noch einmal folgendes versuchen.

• In den Instanzen löschen
• In Adapter löschen
• backitup.0 in den Objekten löschen
• iobroker neustarten
• backitup installieren
• backitup manuell einrichten (kein Restore der settings)

[simatec]

@Frank_y sagte in Test Adapter Backitup v1.6.x:

@simatec
Wäre es eine Möglichkeit Versionen zwischen 1.5.8 und 1.6.7 zu installieren, um zu schauen ab wann es nicht mehr sauber durchläuft. Welche Versionsschritte wäre hier ggf. hilfreich?

An dem clean wurde in Version 1.6.6 gearbeitet.
Die könntest du testen oder dann halt die 1.6.5

So könnte man es eingrenzen