Test Adapter ioBroker.backitup v3.1.x

[brain]

@Nashra said in Test Adapter Backitup v1.7.x:

Bei mir steht dies drin: /opt/iobroker/iobroker-data/history

Danke, das habe ich eingetragen und erfolgreich getestet.

[hofmannha]

Hallo @Dr-Bakterius,
Danke für die Hilfe. Genau das war’s. Ich habe die Raspberrymatic neu gestartet und Siege da, Backup macht jetzt wieder ein Backup von der ccu.
Trotzdem bleibt mir ein Problem. Der Backup-Adapter macht mir das Backup per ftp nicht auf meine Nas. Das hat bis Anfang September problemlos funktioniert und geändert habe ich auch nichts.
Hast Du eine Idee?
Gruß

[simatec]

@hofmannha
Zeige bitte mal den Debuglog ...

[gelberlemmy]

@simatec moin, ich habe mein Backup von Dropbox auf meine NAS gewechselt. So wie ich es sehe, auch ohne Fehler im Log. Aber wenn ich über mein Telegram Adapter schaue, steht da folgendes :

BackItUp:
Die Sicherung wurde nicht vollständig erstellt. Bitte überprüfe die Fehlermeldungen!!

cifs: Error: EACCES: permission denied, open '/home/iobroker_2020_11_04-21_51_31_IOBroker Backup_backupiobroker.tar.gz'

Es ist aber auf der Nas vorhanden. Was sagt mir das? Mir ist jetzt nicht EACCES geläufig. Schreiben scheint zu gehen... Lesen nicht?

Gruss Andre

[Thomas Braun]

@gelberlemmy
Nicht ausreichende Rechte.

[Flyor87]

Ich bekomme leider auch jede Nacht nach dem geplanten Backup die altbekannte Fehlermeldung:

backitup.0	2020-11-05 02:00:54.047	info	(17562) [iobroker] backup was activated at 02:00 every 1 day(s)
backitup.0	2020-11-05 02:00:54.035	info	(17562) starting. Version 1.7.0 in /opt/iobroker/node_modules/iobroker.backitup, node: v12.19.0, js-controller: 3.1.6
host.ubuntu	2020-11-05 02:00:53.117	info	instance system.adapter.backitup.0 started with pid 17562
host.ubuntu	2020-11-05 02:00:23.108	info	Restart adapter system.adapter.backitup.0 because enabled
host.ubuntu	2020-11-05 02:00:23.108	info	instance system.adapter.backitup.0 terminated with code 0 (NO_ERROR)
host.ubuntu	2020-11-05 02:00:23.108	error	Caught by controller[0]: at OAuth2Client.requestAsync (/opt/iobroker/node_modules/google-auth-library/build/src/auth/oauth2client.js:343:18)
host.ubuntu	2020-11-05 02:00:23.108	error	Caught by controller[0]: at processTicksAndRejections (internal/process/task_queues.js:97:5)
host.ubuntu	2020-11-05 02:00:23.108	error	Caught by controller[0]: at runMicrotasks (<anonymous>)
host.ubuntu	2020-11-05 02:00:23.108	error	Caught by controller[0]: at Gaxios._request (/opt/iobroker/node_modules/gaxios/src/gaxios.ts:112:15)
host.ubuntu	2020-11-05 02:00:23.108	error	Caught by controller[0]: Error: Rate Limit Exceeded
host.ubuntu	2020-11-05 02:00:23.107	error	Caught by controller[0]: This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). The promise rejected
backitup.0	2020-11-05 02:00:22.598	info	(901) Terminated (NO_ERROR): Without reason
backitup.0	2020-11-05 02:00:22.597	info	(901) terminating
backitup.0	2020-11-05 02:00:22.586	info	(901) cleaned everything up...
backitup.0	2020-11-05 02:00:22.585	error	(901) Error: Rate Limit Exceeded at Gaxios._request (/opt/iobroker/node_modules/gaxios/src/gaxios.ts:112:15) at runMicrotasks (<anonymous>) at processTicksAndRejections (internal/process/t
backitup.0	2020-11-05 02:00:22.576	error	(901) unhandled promise rejection: Rate Limit Exceeded
backitup.0	2020-11-05 02:00:22.574	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().```

[Flyor87]

Hab mit jetzt den Thread durchgelesen, den Adapter auf Debug gestellt und manuell gestartet. Da kam die Meldung nicht:

backitup.0	2020-11-05 02:12:14.074	debug	(18915) [iobroker] exec: done
backitup.0	2020-11-05 02:12:13.923	debug	(18915) [iobroker/googledrive] done
backitup.0	2020-11-05 02:12:12.358	debug	(18915) [iobroker/googledrive] Google Drive: Copy zigbee.0_2020_11_05-02_12_04_backupiobroker.tar.gz...
backitup.0	2020-11-05 02:12:05.989	debug	(18915) [iobroker] exec: done
backitup.0	2020-11-05 02:12:05.839	debug	(18915) [iobroker/history] backitup.0.history.json
backitup.0	2020-11-05 02:12:05.837	debug	(18915) [iobroker/history] backitup.0.history.html
backitup.0	2020-11-05 02:12:05.079	debug	(18915) [iobroker/clean] done
backitup.0	2020-11-05 02:12:05.078	debug	(18915) [iobroker/googledrive] Google Drive: Copy iobroker_2020_11_05-02_12_00_Saves_backupiobroker.tar.gz...
backitup.0	2020-11-05 02:12:04.627	debug	(18915) [iobroker/zigbee] done
backitup.0	2020-11-05 02:12:04.627	debug	(18915) [iobroker/zigbee] found zigbee database: zigbee.0
backitup.0	2020-11-05 02:12:04.024	debug	(18915) [iobroker/iobroker] done
backitup.0	2020-11-05 02:12:03.018	debug	(18915) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2020_11_05-02_12_00_Saves_backupiobroker.tar.gz
backitup.0	2020-11-05 02:12:01.758	debug	(18915) [iobroker/iobroker] host.ubuntu 7223 objects saved
backitup.0	2020-11-05 02:12:01.750	debug	(18915) [iobroker/iobroker] host.ubuntu 5928 states saved
backitup.0	2020-11-05 02:12:00.503	debug	(18915) Backup has started ...
backitup.0	2020-11-05 02:11:37.868	debug	(18915) No backup file was found
backitup.0	2020-11-05 02:11:35.099	info	(18915) [iobroker] backup was activated at 02:00 every 1 day(s)
backitup.0	2020-11-05 02:11:35.081	info	(18915) starting. Version 1.7.0 in /opt/iobroker/node_modules/iobroker.backitup, node: v12.19.0, js-controller: 3.1.6
backitup.0	2020-11-05 02:11:35.049	debug	(18915) Plugin sentry Initialize Plugin (enabled=true)
backitup.0	2020-11-05 02:11:34.629	debug	(18915) statesDB connected
backitup.0	2020-11-05 02:11:34.628	debug	(18915) States connected to redis: 127.0.0.1:9000
backitup.0	2020-11-05 02:11:34.625	debug	(18915) States create System PubSub Client
backitup.0	2020-11-05 02:11:34.625	debug	(18915) States create User PubSub Client
backitup.0	2020-11-05 02:11:34.622	debug	(18915) Redis States: Use Redis connection: 127.0.0.1:9000
backitup.0	2020-11-05 02:11:34.622	debug	(18915) objectDB connected
backitup.0	2020-11-05 02:11:34.620	debug	(18915) Objects connected to redis: 127.0.0.1:9001
backitup.0	2020-11-05 02:11:34.617	debug	(18915) Objects client initialize lua scripts
backitup.0	2020-11-05 02:11:34.616	debug	(18915) Objects create User PubSub Client
backitup.0	2020-11-05 02:11:34.616	debug	(18915) Objects create System PubSub Client
backitup.0	2020-11-05 02:11:34.615	debug	(18915) Objects client ready ... initialize now
backitup.0	2020-11-05 02:11:34.607	debug	(18915) Redis Objects: Use Redis connection: 127.0.0.1:9001
host.ubuntu	2020-11-05 02:11:34.095	info	instance system.adapter.backitup.0 started with pid 18915
host.ubuntu	2020-11-05 02:11:31.598	info	instance system.adapter.backitup.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
backitup.0	2020-11-05 02:11:31.087	info	(18085) Terminated (ADAPTER_REQUESTED_TERMINATION): Without reason
backitup.0	2020-11-05 02:11:31.087	info	(18085) terminating
backitup.0	2020-11-05 02:11:31.087	info	(18085) cleaned everything up...
backitup.0	2020-11-05 02:11:31.086	info	(18085) Got terminate signal TERMINATE_YOURSELF
host.ubuntu	2020-11-05 02:11:31.085	info	stopInstance system.adapter.backitup.0 send kill signal
host.ubuntu	2020-11-05 02:11:31.083	info	stopInstance system.adapter.backitup.0 (force=false, process=true)

[JayR]

@simatec : Ich habe ein Problem, beim herstellen eines Backups, dass auf einem Pi 4 gemacht wurde und auf einem 3er hergestellt wird. Hast du eine Idee, wie ich das Backup auf dem Pi3 herstellen kann?

pi@raspberrypi:/opt/iobroker $ sudo iobroker restore 0
host.raspberrypi Using backup file iobroker_2020_11_04-02_00_10_iobroker_backupiobroker.tar.gz
iobroker controller daemon is not running
host.raspberrypi OK.
 
<--- Last few GCs --->
 
[1202:0x22292e0]     6704 ms: Scavenge 13.6 (16.7) -> 11.8 (17.2) MB, 3.8 / 0.0 ms  (average mu = 0.973, current mu = 0.979) allocation failure 
[1202:0x22292e0]     9239 ms: Mark-sweep 153.3 (157.5) -> 151.4 (157.5) MB, 17.3 / 0.0 ms  (+ 0.9 ms in 2 steps since start of marking, biggest step 0.9 ms, walltime since start of marking 2220 ms) (average mu = 0.992, current mu = 0.995) allocation failu
 
<--- JS stacktrace --->
Cannot get stack trace in GC.
FATAL ERROR: MarkCompactCollector: semi-space copy, fallback in old gen Allocation failed - JavaScript heap out of memory
/usr/bin/iobroker: Zeile 8:  1201 Abgebrochen             sudo -H -u iobroker node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"
pi@raspberrypi:/opt/iobroker $

RAM:

pi@raspberrypi:/opt/iobroker $ free
              total        used        free      shared  buff/cache   available
Mem:         947032       46132      619760        2672      281140      845912
Swap:        102396        3840       98556

Vielen Dank und Gruß

[Thomas Braun]

@JayR

sudo iobroker restore 0

Ohne sudo vorweg.
Warum nutzt du nicht den Backitup-Adapter?

[Edit:] Doppelpost! Hier geht es weiter:

https://forum.iobroker.net/topic/38346/backup-kann-nicht-wieder-hergestellt-werden

[simatec]

@Flyor87
Kannst du mir mal bitte deine Config als json hier posten?
Du nutzt wie ich sehe Google Drive. Wie viele Backups hast du zur in der Cloud liegen, bevor gelöscht wird?

[Snapergy]

Hab seit einigen Tagen ein komisches Verhalten beim Adapter. Jeden Tag um 1:00 Uhr in der Nacht wird das Backup ausgeführt und auch eine Backup-Datei (korrekt) angelegt, jedoch sind die Objekte iobrokerSuccess auf false und iobrokerLastTime beginnt mit "error". Ein händisch ausgeführtes Backup führte wieder zu einer erfolgreichen Durchführung und Setzen des Success-Wertes auf true, doch seit heute geht auch das nicht mehr. Der Log wirft aus meiner Sicht aber keinen Fehler

backitup.0	2020-11-11 07:39:45.581	debug	(7494) No backup file was found
backitup.0	2020-11-11 07:39:45.577	debug	(7494) [iobroker] 10 00 01 */1 * *
backitup.0	2020-11-11 07:39:45.565	info	(7494) [iobroker] backup was activated at 01:00 every 1 day(s)
backitup.0	2020-11-11 07:39:45.524	info	(7494) starting. Version 1.6.7 in /opt/iobroker/node_modules/iobroker.backitup, node: v10.17.0, js-controller: 3.1.6
backitup.0	2020-11-11 07:39:45.045	debug	(7494) Plugin sentry Initialize Plugin (enabled=true)
backitup.0	2020-11-11 07:39:43.879	debug	(7494) statesDB connected
backitup.0	2020-11-11 07:39:43.878	debug	(7494) States connected to redis: 127.0.0.1:9000
backitup.0	2020-11-11 07:39:43.867	debug	(7494) States create System PubSub Client
backitup.0	2020-11-11 07:39:43.865	debug	(7494) States create User PubSub Client
backitup.0	2020-11-11 07:39:43.857	debug	(7494) Redis States: Use Redis connection: 127.0.0.1:9000
backitup.0	2020-11-11 07:39:43.855	debug	(7494) objectDB connected
backitup.0	2020-11-11 07:39:43.848	debug	(7494) Objects connected to redis: 127.0.0.1:9001
backitup.0	2020-11-11 07:39:43.833	debug	(7494) Objects client initialize lua scripts
backitup.0	2020-11-11 07:39:43.832	debug	(7494) Objects create User PubSub Client
backitup.0	2020-11-11 07:39:43.831	debug	(7494) Objects create System PubSub Client
backitup.0	2020-11-11 07:39:43.827	debug	(7494) Objects client ready ... initialize now
backitup.0	2020-11-11 07:39:43.796	debug	(7494) Redis Objects: Use Redis connection: 127.0.0.1:9001

[simatec]

@Snapergy
Was steht nach dem Backup im Objekt backitup.0.output.line??

[Snapergy]

@simatec

aktuell:

[DEBUG] [history] start with {"type":"creator","time":"01:00","debugging":true,"everyXDays":"1","nameSuffix":"Backitup","deleteBackupAfter":0,"dir":"/opt/iobroker","redis":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"local","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"local","mount":"","debugging":true,"fileDir":"/opt/iobroker/node_modules/iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessJson":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"path":"/var/lib/redis"},"historyDB":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"local","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"local","mount":"","debugging":true,"fileDir":"/opt/iobroker/node_modules/iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessJson":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"path":"media/usb/history"},"zigbee":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"local","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"local","mount":"","debugging":true,"fileDir":"/opt/iobroker/node_modules/iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessJson":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"path":"/opt/iobroker/iobroker-data"},"history":{"enabled":true,"type":"message","entriesNumber":"25","systemLang":"de","time":"11. November 2020 um 07:38 Uhr"},"email":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longEmailNotice","emailReceiver":"xxx@xxx.com","emailSender":"xxx@xxx.com","onlyError":false,"emailWaiting":0,"systemLang":"de"},"pushover":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","SilentNotice":false,"NoticeType":"longPushoverNotice","deviceID":"","onlyError":false,"pushoverWaiting":0,"systemLang":"de"},"backupDir":"/opt/iobroker/backups"}

[simatec]

@Snapergy
Ok er bleibt bei der History hängen, was bedeutet, das irgendwas bei einem Update mal schief gegangen ist.
Bitte mache folgendes Schritt für Schritt:

Gehe per Konsole auf den Ordner /opt/iobroker/node_modules/iobroker.backitup und führe folgende Befehl aus:

npm install

Sollte danach der Fehler nicht weg sein, führe bitte folgende Schritte aus:

• Instanz von Backitup löschen
• Backitup im Tab Adapter löschen
• Schauen, ob der Ordner backitup.0 im Tab Objekte gelöscht wurde
• Dein System rebooten
• Backitup installieren und konfigurieren

[Snapergy]

@simatec

mit

npm install

geht der Fehler leider nicht weg, den Rest werde ich morgen Vormittag mal ausprobieren. Komischerweise habe ich den Adapter glaube ich gar nicht geupdatet, sonder erst vor zwei Wochen installiert. Bis vor ein paar Tag ging alles reibungslos, erst jetzt taucht der Fehler auf

EDIT: Aber grundsätzlich sind die Backups vollständig?

[simatec]

@Snapergy
Ja das passiert beim erstellen der History. Die Backups sind da bereits erstellt

[Snapergy]

@simatec

Alles wie vorgeschlagen durchgeführt und nun klappt wieder alles, danke

[HAL]

@simatec mal eine "unverschämte" Frage. Da ich seit kurzem eine PV Anlage mit Speicher + Wallbox habe, nutze ich für die Speicherung der Werte eine influxdb und zur grafischen Anzeige Grafana. Das läuft auch prima mit iobroker zusammen.

Es wäre toll wenn ich zur Sicherung auch den backitup Adapter nutzen könnte

Backup für influxdb ist eigentlich ganz einfach:

sudo influxd backup -portable /opt/backups/influx.backup

restore auch

influxd restore -portable /opt/backups/influx.backup

für Grafana ist es komplizierter (siehe: https://www.bachmann-lan.de/grafana-backup-dashboards-data-sources/)

Momentan starte ich zwei scripte über die shell.
Ob man das "irgendwann mal" in den Backitup Adapter aufnehmen könnte ?

[simatec]

@HAL
Ist mit auf der Todo ...

[tobitobsta]

Super cooler Adapter, der mir schon einige Male den Hintern gerettet hat! Danke!

beim gestrigen Schrotten meines iobroker rasp pi ist beim Zurückspielen auf die frische Installation folgender Fehler aufgetreten:

DEBUG] [redis] Start Redis Restore ...
[DEBUG] [redis] Created Redis tmp
[ERROR] [redis] Redis Restore not completed
[ERROR] [redis] Error: EPERM: operation not permitted, utime '/opt/iobroker/backups/tmp/'
[EXIT] undefined **** Restore completed successfully!! ****

The log can be closed ...

Der Restore von Iobroker selbst hat funktioniert... nur eben Redis nicht. Auch die fehlenden Werte in den Objekten (und die sehr kleinen Redis-Backups nach diesem restore) deuten darauf hin dass das Zurückspielen nicht funktioniert hat.

Habe die frische Installation zuvor auf Redis umgestellt und Redis vorher installiert.
Dann habe ich auch

sudo usermod -a -G redis iobroker

und zur Vorsicht noch

curl -fsL https://iobroker.net/fix.sh | bash -

sowie zwischendurch immer reboots durchgeführt. So langsam komme ich mit meinen begrenzten Mitteln nicht weiter. Hat jemand eine Idee?

VG
Tobi

update:

ich habe mal diesen ordner /opt/iobroker/backups/tmp als root mit 0777 angelegt -> selbe Fehlermeldung und nachdem Redis-Restore-Versuch ist der wieder weg.