Test Adapter ioBroker.backitup v3.0.x

[frankthegreat]

@thomas-braun @simatec

Puh, läuft wieder. Alles im grünen Bereich.
Speicherpfad in der FB löschen und wieder neu anlegen war die Lösung.

@simatec Danke für den Schups zur Fritzbox...hatte schon kurzzeitig Schweißausbrüche

[Ronniboy]

@simatec
hat leider nicht das Problem gelöst.
Ich werde den Pi komplett neu aufsetzen.
Ich berichte dann neu

[fila612]

@HAL & @simatec

ich hab leider das gleiche Problem bei Restore von InfluxDB und Zigbee.

Ausgansgsituation:
Neue Installation des PI und nach Install von IoBroker und BackitUp hab ich als erstes ds iobroker Backer restored.
Hat ohne Probleme funktioniert.
Danach wollte ich noch influxDB und Zigbee wiederherstellen, also vorher noch InfluxDB selbst installiert und dann den Restore probiert.
Beides läuft auf den gleichen Fehler wie bei @HAL

Started restore ...
[DEBUG] [influxDB] - Try deleting the old InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB old tmp directory was successfully deleted
[DEBUG] [influxDB] - Created tmp directory
[DEBUG] [influxDB] - Start infuxDB Restore ...
[ERROR] [influxDB] - Error: EPERM: operation not permitted, utime '/opt/iobroker/backups/influxDBtmp/20210306T190030Z.manifest'
[ERROR] [influxDB] - infuxDB Restore not completed
[EXIT] 0

den Fixer habe ich bereits durchlaufen lassen, auch reboots und Biobroker restarts bringen keine Besserung.
Backups werden jedoch problemlos erstellt.
hier noch eine Screenshot des Ordners:

woran könnte das liegen?

Danke euch

[simatec]

@fila612 zeige mir mal bitte mit ls -la den Inhalt des influxDBtmp Ordners

[fila612]

@simatec gerne:

[simatec]

@fila612
OK ... ich sehe, dass der Backup-Ordner root gehört.

Es sollte so aussehen:

pi@iobroker-dev:~$ ls -la /opt/iobroker
insgesamt 268
drwxrwxrwx+   8 iobroker iobroker   4096 Mär  3 08:36 .
drwxr-xr-x    3 root     root       4096 Feb 19  2019 ..
drwxrwxr-x+   2 iobroker iobroker   4096 Feb 19 12:56 backups
-rwxrwxrwx+   1 iobroker iobroker   1474 Feb 19  2019 CHANGELOG_INSTALLER_LINUX.                           md
drwxrwxrwx+   3 iobroker iobroker   4096 Feb 19  2019 install
-rwxrwxrwx+   1 iobroker iobroker   2868 Feb 19 12:37 INSTALLER_INFO.txt
lrwxrwxrwx    1 iobroker iobroker     22 Feb 19 12:37 iob -> /opt/iobroker/iobro                           ker
-rwxr-xr-x+   1 iobroker iobroker    305 Feb 19 12:37 iobroker
drwxrwxrwx+   9 iobroker iobroker   4096 Mär  8 09:10 iobroker-data
-rwxrwxrwx+   1 iobroker iobroker     92 Feb 19  2019 killall.sh
drwxrwxrwx+   2 iobroker iobroker   4096 Feb 19  2019 lib
-rwxrwxrwx+   1 iobroker iobroker   1137 Feb 19  2019 LICENSE
drwxrwxrwx+   2 iobroker iobroker   4096 Mär  8 11:20 log
drwxrwxrwx+ 492 iobroker iobroker  20480 Mär  3 08:36 node_modules
-rwxrwxrwx+   1 iobroker iobroker    109 Feb 19 12:36 .npmrc
-rwxrwxrwx+   1 iobroker iobroker   1664 Mär  3 08:36 package.json
-rwxrwxrwx+   1 iobroker iobroker 164647 Feb 19  2019 package-lock.json
-rwxrwxrwx+   1 iobroker iobroker   6101 Feb 19  2019 README.md
-rwxrwxrwx+   1 iobroker iobroker    709 Feb 19  2019 reinstall.dos
-rwxrwxrwx+   1 iobroker iobroker   5693 Feb 19 12:33 reinstall.js
-rwxrwxrwx+   1 iobroker iobroker    676 Apr 21  2020 reinstall.sh

Führe mal bitte folgende Befehle aus:

sudo chown iobroker:iobroker /opt/iobroker/backups
sudo chmod 755 /opt/iobroker/backups

Lösche im Anschluss den influxDBtmp Ordner und versuche den restore erneut.
Schaue aber vorher auch nochmal nach den Rechten der einzelnen Backups.

Die sollten auch dem User iobroker gehören und in etwa so ausschauen:

pi@iobroker-dev:~$ ls -la /opt/iobroker/backups
insgesamt 97228
drwxrwxr-x+ 2 iobroker iobroker     4096 Feb 19 12:56 .
drwxrwxrwx+ 8 iobroker iobroker     4096 Mär  8 11:20 ..
-rw-rw-r--+ 1 iobroker iobroker  4352720 Feb 19 12:56 2021_02_19-12_55_59_backupiobroker-migration.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     9205 Jan 25 19:06 grafana_2021_01_22-17_00_03_backupiobroker.tar.gz
-rwxrwxrwx+ 1 iobroker iobroker     3891 Jan 23 15:09 grafana_2021_01_23-14_09_01_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker  2652160 Dez  1 08:45 homematic_2020_12_01-08_45_11_3.53.34_backupiobroker.tar.sbk
-rw-rwxr--+ 1 iobroker iobroker  2652160 Jan  9 08:45 homematic_2021_01_09-08_45_11_3.53.34_backupiobroker.tar.sbk
-rw-rwxr--+ 1 iobroker iobroker  4218971 Jan  8 15:22 iobroker_2021_01_08-15_22_01_dev_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker  4227979 Jan  9 12:20 iobroker_2021_01_09-12_20_10_dev_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     2849 Jan  8 15:22 jarvis.0_2021_01_08-15_22_07_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     2849 Jan  9 12:20 jarvis.0_2021_01_09-12_20_16_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1032 Jan  8 15:22 jarvis.1_2021_01_08-15_22_07_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1032 Jan  9 12:20 jarvis.1_2021_01_09-12_20_16_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1033 Jan 15 18:40 jarvis.1_2021_01_13-19_55_29_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1033 Feb  9 19:16 jarvis.1_2021_01_14-19_55_26_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1035 Jan 26 22:07 jarvis.1_2021_01_21-17_00_03_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1035 Jan 25 18:52 jarvis.1_2021_01_22-17_00_03_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker     1033 Feb  9 18:20 jarvis.1_2021_02_02-07_54_02_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker    20181 Jan 26 16:09 javascripts_2021_01_26-16_03_07_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker    19264 Jan 26 20:21 javascripts_2021_01_26-17_25_31_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 40628604 Jan 27 08:40 javascripts_2021_01_27-08_36_10_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker 40649010 Jan 27 10:18 javascripts_2021_01_27-10_15_26_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker    20555 Feb 18 17:41 javascripts_2021_02_17-21_15_59_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      188 Nov 30 12:53 zigbee.0_2020_11_30-12_53_15_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      188 Nov 30 16:09 zigbee.0_2020_11_30-16_09_16_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      188 Dez  1 10:05 zigbee.0_2020_12_01-10_05_30_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      188 Jan 27 12:33 zigbee.0_2021_01_22-16_59_58_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      189 Nov 30 12:53 zigbee.1_2020_11_30-12_53_15_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      189 Nov 30 16:09 zigbee.1_2020_11_30-16_09_16_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      189 Dez  1 10:05 zigbee.1_2020_12_01-10_05_30_backupiobroker.tar.gz
-rw-rwxr--+ 1 iobroker iobroker      189 Jan 27 12:32 zigbee.1_2021_01_22-16_59_58_backupiobroker.tar.gz

[fila612]

@simatec said in Test Adapter Backitup v2.0.x:

chmod 755 /opt/iobroker/backups

Danke dir,
ich habs jetzt zumindest teilweise hinbekommen.

Also die chwon bzw. chmod Befehle schienen wirkungslos zu sein, da sich der Benutzt immer noch root war.
ich hab dann versucht als root benutzter (sudo -i) den Besitzer zu ändern, leider auch erfolglos.
dann versuchte ich den Ordner zu löschen (rm -f): auch nicht möglich aber jetzt erhielt ich zumindest eine Fehlermeldung (device busy).

Dann habe ich den RPi komplett neugestartet (sudo reboot) und dann waren auf einmal die Anzeige wie folgt:

Vorher waren alle Sicherungsdaten ersichtlich, jetzt nur die lokalen.
=> Alle Sicherungsdaten: ich sicherer auf einem NAS und diese wurden mir auch im Terminal angezeigt. Vermute daher, dass der mount nicht aktiv war (siehe oben Fehlermeldung: device busy).

Wo ich grad noch einen Knoten im Kopf habe:
Der NAS mount klappt bei mir nur wenn ich den Haken bei "als root mounten" setze. Ich vermute das die Daten deshalb als root anzeigt werden. Ich bräuchte den root nicht, jedoch erhalte ich beim Mount folgende Fehlermeldung wenn ich den Haken entferne:

backitup.0	2021-03-08 12:25:41.849	error	(2621) Error: Command failed: mount -t cifs -o username=iobroker,password=****,rw,file_mode=0777,dir_mode=0777 //10.10.10.100/home/backitup /opt/iobroker/backups mount: only root can use "--options" o

[Thomas Braun]

@fila612 sagte in Test Adapter Backitup v2.0.x:

Das ist richtig, nur root (bzw. ein user mit sudo-Recht) darf mit zusätzlichen Optionen Dateisysteme einhängen.
Durch die Optionen

file_mode=0777,dir_mode=0777

kann aber dann jeder 'Hinz-und-Kunz'-user dort reinschreiben.
Deswegen sollten da dann auch keine Dateien drin liegen die root gehören, der Backupprozess läuft ja unter dem iobroker user.

[simatec]

@fila612
Ich denke da stimmt noch was mit deinen Rechten auf dem NAS nicht und deshalb können die tmp Files für den restore nicht auf dem NAS entpackt werden.

Die Bezeichnung root mount werde ich mal ändern, da sie Irreführend ist.
Tatsächlich benötigt der User iobroker für den mount sudo.
Und mit dem Häckchen bei root mount erhält er beim mount sudo Rechte.

Also am Ende wird das so benötigt.

Bitte prüfe mal die Rechte auf deinem NAS nochmal oder stelle influx lokal wieder her

[fila612]

@simatec

danke dir, jedoch kann ich da gar nicht so viel prüfen bzw. sollte das passen.
Ich habe eine Synology DS918+ auf welcher ich extra einen User iobroker angelegt habe.
In dessen Home-Verzeichnis werden die Backups geschrieben, was auch mit der root Haken wunderbar funktioniert.
ich vermute grad, dass der umount nicht sauber läuft:
vorhin konnte ich lokal wieder restoren und konnte beobachten, dass während des Backups der Ordner "backups" laut Anzeige root:root zugeordnet war (passt ja auch wegen dem mount) und die hintergundfarbe des Ordners grün war.

Danach war diese Farbe weg und die Zuordnung war iobroker:iobroker => auch richtig.

Dann habe ich nochmals eine Sicherung angestoßen und nun ist Ordner backups immer nicht grün und root:root.

Auch ein manueller umount zeigt folgendes an:

[HAL]

@simatec ich habe inzwischen meine neu Installation auf dem Raspi4 komplett zum laufen gebracht und auch die Rechte an den Backup Verzeichnissen eingestellt.
Aber sowohl der influxDB restore von NAS als auch lokal laufen auf den gleichen Fehler.

2021-03-08 13:11:35.242 - debug: backitup.0 (30726) telegram-instance:
2021-03-08 13:11:42.304 - debug: backitup.0 (30726) Backup list be read ...
2021-03-08 13:11:44.307 - debug: backitup.0 (30726) sendTo "list" to system.adapter.admin.0 from system.adapter.backitup.0
2021-03-08 13:11:58.602 - debug: backitup.0 (30726) [influxDB] Try deleting the old InfluxDB tmp directory
2021-03-08 13:11:58.606 - debug: backitup.0 (30726) [influxDB] InfluxDB old tmp directory was successfully deleted
2021-03-08 13:11:58.609 - debug: backitup.0 (30726) [influxDB] Created tmp directory
2021-03-08 13:11:58.610 - debug: backitup.0 (30726) [influxDB] Start infuxDB Restore ...
2021-03-08 13:11:58.619 - error: backitup.0 (30726) [influxDB] Error: EPERM: operation not permitted, utime '/opt/iobroker/backups/influxDBtmp/'
2021-03-08 13:11:58.620 - error: backitup.0 (30726) [influxDB] infuxDB Restore not completed
2021-03-08 13:11:58.621 - debug: backitup.0 (30726) sendTo "restore" to system.adapter.admin.0 from system.adapter.backitup.0
2021-03-08 13:12:00.086 - info: host.raspberrypi instance system.adapter.powerfox.0 started with pid 8646
2021-03-08 13:12:01.726 - info: powerfox.0 (8646) starting. Version 0.0.2-4 in /opt/iobroker/node_modules/iobroker.powerfox, node: v12.21.0, js-controller: 3.2.16
2021-03-08 13:12:01.887 - info: powerfox.0 (8646) Terminated (NO_ERROR): Without reason
2021-03-08 13:12:02.463 - info: host.raspberrypi instance system.adapter.powerfox.0 terminated with code 0 (NO_ERROR)
2021-03-08 13:12:09.002 - debug: backitup.0 (30726) telegram-instance:

[fila612]

@simatec

Noch ein Punkt:
Die lokale Wiederherstellung scheint bei mir leider auch nicht richtig zu laufen:

backitup.0	2021-03-08 13:26:29.247	error	(2856) [influxDB] restore: DB metadata not changed. database may already exist
backitup.0	2021-03-08 13:26:29.246	error	(2856) [influxDB] 2021/03/08 13:26:29 error updating meta: DB metadata not changed. database may already exist

Sorry für die vielen nervigen Punkte

[simatec]

@fila612 Ja hier ist es bei InfluxDB im Gegensatz zu mysql etwas blöd.
Du musst zuerst die Datenbank löschen

Also über Konsole folgendes:

sudo influx
DROP DATABASE "DeineDatenbank"
exit

[fila612]

@simatec PERFEKT

Das hat geklappt - vielen Dank, jetzt sind zumindest mal alle alten Werte wieder drin..

[Altersrentner]

Hallo,
Folgendes Problem beim Restore mittels Backitup
Situation: Umzug von ioBroker, InfluxDB und Grafana
von einer HDD auf eine SSD.
Die Sicherung der HDD und das Restore auf der SSD erfolgte mit Backitup.
IoBroker läuft, influxDB ebenfalls und Grafana nicht so gut.

Heißt die Dashboards wurden nicht gesichert, warum auch immer,
Habe mehrere Sicherungen durchgeführt, ohne Erfolg.
Der letzte versuch an die Graphischen Darstellungen zu gelangen war,
ein Export der Dashboardes von der HDD und anschließendem Import auf die SSD.

Wie zu sehen ist die Datei jetzt vorhanden aber die
Graphen nicht.

Wie Ist es Möglich die Daten sichtbar zu machen.
Mit freundlichen Grüßen
Michael

[simatec]

@altersrentner Bitte die Logausgaben nicht als Bild.
Aber steht doch im Log ... Deine Logindaten sind nicht korrekt und wenn die Dashboards nicht gesichert werden, dann hast du keinen oder einen falschen Apikey angelegt bzw. in backitup eingetragen.

https://github.com/simatec/ioBroker.backitup/blob/master/docs/de/backitup.md#Grafana-Backup

[Altersrentner]

@simatec
Danke für die Schnelle Antwort.
Den API Key habe ich angelegtund auch übertragen.
Wenn der jetzt falsch ist wie kann ich doch noch an die
Graphen kommen.
Mit freundlichen Grüßen
Michael

[simatec]

@altersrentner
Hast du denn in deiner neuen Installation von Grafana die gleichen Benutzerdaten und auch dort einen ApiKey angelegt
Laut Log stimmen bei deinem Restore weder Username und Passwort als auch ApiKey nicht.
Konfiguriere Backitup mit den Benutzerdaten aus grafana (inkl. ApiKey) und führe im Anschluss den restore durch

[Altersrentner]

@simatec
Wieder das selbe Ergebnis:

Started restore ...
[DEBUG] [grafana] - Start Grafana Restore ...
[DEBUG] [grafana] - filename for restore: /opt/iobroker/backups/grafana_2021_03_08-02_18_32_backupiobroker.tar.gz
[DEBUG] [grafana] - Grafana tmp directory created: /opt/iobroker/backups/grafana_tmp
[DEBUG] [grafana] - start decompress
[DEBUG] [grafana] - Grafana request started
[DEBUG] [grafana] - Grafana is available ... Status: 200
[DEBUG] [grafana] - Try to Restore: /opt/iobroker/backups/grafana_tmp/datasource/InfluxDB-1.json
[DEBUG] [grafana] - Try to Restore: /opt/iobroker/backups/grafana_tmp/datasource/InfluxDB.json
[DEBUG] [grafana] - cannot restore datasource "InfluxDB": "data source with the same name already exists"
[DEBUG] [grafana] - cannot restore datasource "InfluxDB-1": "data source with the same name already exists"
[DEBUG] [grafana] - Try to Restore: /opt/iobroker/backups/grafana_tmp/dashboards/n1-aussen-wz.json
[DEBUG] [grafana] - cannot restore dashboard "n1-aussen-wz": {"message":"invalid API key"}
[DEBUG] [grafana] - Grafana request ended
[DEBUG] [grafana] - Try deleting the Grafana tmp directory
[DEBUG] [grafana] - Grafana tmp directory was successfully deleted
[DEBUG] [grafana] - Grafana Restore completed successfully
[EXIT] Grafana restore done

Das ist der Key, oberste Zeile

eyJrIjoiUkNLdUFsa0JReUppazAwS3RUN0tYWjAwbGtGbFVDMFAiLCJuIjoiaW9Ccm9rZXIiLCJpZCI6MX0=

curl -H "Authorization: Bearer eyJrIjoiUkNLdUFsa0JReUppazAwS3RUN0tYWjAwbGtGbFVDMFAiLCJuIjoiaW9Ccm9rZXIiLCJpZCI6MX0=" http://192.168.178.41:3000/api/dashboards/home

[simatec]

@altersrentner sagte in Test Adapter Backitup v2.0.x:

cannot restore dashboard "n1-aussen-wz": {"message":"invalid API key"}

Hast du den Key mit Adminrechten angelegt?