Test Adapter ioBroker.backitup v3.1.x

[Ronniboy]

@thomas-braun
hat alles funktioniert
Vielen Dank

[simatec]

Ab sofort steht die Version 2.1.0 auf Github und in Kürze auch im Latest zur Verfügung.

Changelog

2.1.0 (24.03.2021)

• (simatec) Admin-Tab added
• (simatec) dependencies targz removed
• (simatec) dependencies tar-fs added
• (simatec) dependencies updated
• (simatec) small Bugfixes

Was ist Neu?

Da die dependencies "targz" auf npm nicht mehr aktualisiert wird, wurde diese entfernt und auf "tar-fs" umgestellt.
Dies bewirkt große Änderungen im Code.

Eine weitere große Neuerung ist der Admin-Tab.
Hiermit wollte ich eine Benutzerfreundlichkeit herstellen, in dem man im Admin direkt seine Backups anstoßen kann, den Restore ausführen kann, oder einfach nur Infos zu den aktuell vorhandenen Backups sehen kann.
Hier ein paar Bilder zum Admin-Tab. Dieser kann mit dem Pfeil in der oberen linken Ecke im iobroker aktiviert werden und erscheint dann als neuer Tab "Backup" auf der linken Seite.

[JB_Sullivan]

Bitte nicht steinigen, aber mir ist heute, ohne mich wirklich informiert zu haben, folgende spontane Idee gekommen.

Ich habe heute bei uns im Haus ein sehr umfangreiches USV System in Betrieb genommen. Natürlich hängt da auch die ganze PC Peripherie rund um ioB mit dran.

Da ich ja Windows User bin, wird der finale Notstrom Shutdown von Windows10 übernommen, was ich auch heute mehrfach erfolgreich getestet habe.

Nun meine Frage - bekomme ich irgend etwas (vielleicht sogar etwas was den Akku betrifft) aus der Windows Welt in ioBroker integriert?
Könnte man mit diesem "was auch immer", BackItUp in irgend einer Form dazu bringen, vor dem Shutdown nochmal ein Backup abzufahren? Oder reicht dafür vielleicht ein Blockly Script, welches den DP backitup.0.oneClick.iobroker triggert? Werden mit diesem DP auch alle anderen eingestellten Backups zur Sicherung mitgenommen?

Natürlich muss man sein System kennen und wissen wieviel Zeit so ein Vollbackup braucht und dann den Shutdown Wert entsprechen hoch einstellen.

Was ich mir davon verspreche:

Üblicherweise lasse ich BackItUp immer täglich um 2:00 Uhr laufen. Geht beim Shutdown aus irgend welchen Gründen etwas schief, hätte ich nur diese Sicherung aus der Nacht und alle bis zum Ausfall neu aufgelaufenen Daten (InfluxDB, {sourceanalytix <- vielleicht sollte man da auch über eine extra BackItUp Kategorie nachdenken}, usw.) wären dann weg, was gerade beim sammeln von Langzeitwerten echt doof ist.

Wie gesagt bitte nicht steinigen - war so ein spontaner Einfall ..........

[HAL]

@simatec Ich habe heute einen Umzug von einem Asus Thinkerboard auf ein Asus Thinkerboard S durchgeführt . Auf dem neuen Tinkerboard S war bereits TinkerOS installiert. Nach aktualisieren und installation von iobroker, influxdb und grafana habe ich vieles mit Backitup v.2.1 restored.

Grafana und Influx Wiederherstellung hat nicht geklappt.

Garfana habe ich dann händisch über json files restored und die ini angepasst usw.
Influx habe ich manuell auf der console restored. Das hat aus dem Backup geklappt.
An sich läuft fast alles jedoch gelingt es mir nicht mit dem neuen System einen Backup fehlerfrei zu erstellen. Zuerst wird ein Fehler beim NAS mount angezeigt (sudo mount -t cifs -o username=iobroker,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.137/ncp-iobroker/backup /opt/iobroker/backups), wenn ich den Befehl genauso auf der console mit dem password eingebe, klappt der mount.
Der Backuplauf kommt auch nicht zum ende .
Auf dem Server liegt aber dennoch der Backup vom iobroker und influxdb. Von Grafana ( neue api eingetragen) und javascript (/javaspiegelung ist angelegt) wird kein Backup angelegt.

Was bedeutet die Meldung "sudo: Kein TTY vorhanden und kein »askpass«-Programm angegeben" ?
Auf dem "alten" Tinkerboard klappt der Backup.

Log:

2021-03-28 16:03:25.273 - debug: backitup.0 (25644) telegram-instance:
2021-03-28 16:03:37.406 - debug: backitup.0 (25644) Backup has started ...
2021-03-28 16:03:47.461 - debug: backitup.0 (25644) [iobroker/mount] first mount attempt with smb option failed. try next mount attempt without smb option ...
2021-03-28 16:03:47.526 - debug: backitup.0 (25644) [iobroker/mount] [undefined Error: Command failed: sudo mount -t cifs -o username=iobroker,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.137/ncp-iobroker/backup /opt/iobroker/backups
2021-03-28 16:03:47.528 - debug: backitup.0 (25644) [iobroker/mount] Wir gehen davon aus, dass der lokale Systemadministrator Ihnen die
2021-03-28 16:03:47.529 - debug: backitup.0 (25644) [iobroker/mount] Regeln erklärt hat. Normalerweise läuft es auf drei Regeln hinaus:
2021-03-28 16:03:47.530 - debug: backitup.0 (25644) [iobroker/mount] #1) Respektieren Sie die Privatsphäre anderer.
2021-03-28 16:03:47.531 - debug: backitup.0 (25644) [iobroker/mount] #2) Denken Sie nach, bevor Sie tippen.
2021-03-28 16:03:47.538 - debug: backitup.0 (25644) [iobroker/mount] #3) Mit großer Macht kommt große Verantwortung.
2021-03-28 16:03:47.539 - debug: backitup.0 (25644) [iobroker/mount] sudo: Kein TTY vorhanden und kein »askpass«-Programm angegeben
2021-03-28 16:03:47.541 - debug: backitup.0 (25644) [iobroker/mount] [IGNORED] Error: Command failed: sudo mount -t cifs -o username=iobroker,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.137/ncp-iobroker/backup /opt/iobroker/backups
2021-03-28 16:03:47.542 - debug: backitup.0 (25644) [iobroker/mount] Wir gehen davon aus, dass der lokale Systemadministrator Ihnen die
2021-03-28 16:03:47.543 - debug: backitup.0 (25644) [iobroker/mount] Regeln erklärt hat. Normalerweise läuft es auf drei Regeln hinaus:
2021-03-28 16:03:47.544 - debug: backitup.0 (25644) [iobroker/mount] #1) Respektieren Sie die Privatsphäre anderer.
2021-03-28 16:03:47.545 - debug: backitup.0 (25644) [iobroker/mount] #2) Denken Sie nach, bevor Sie tippen.
2021-03-28 16:03:47.546 - debug: backitup.0 (25644) [iobroker/mount] #3) Mit großer Macht kommt große Verantwortung.
2021-03-28 16:03:47.547 - debug: backitup.0 (25644) [iobroker/mount] sudo: Kein TTY vorhanden und kein »askpass«-Programm angegeben
2021-03-28 16:03:51.605 - debug: backitup.0 (25644) [iobroker/iobroker] host.tinkerboard 7784 states saved
2021-03-28 16:03:51.684 - debug: backitup.0 (25644) [iobroker/iobroker] host.tinkerboard 11367 objects saved
2021-03-28 16:03:59.890 - debug: backitup.0 (25644) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2021_03_28-16_03_47_TinkerS_backupiobroker.tar.gz
2021-03-28 16:04:00.047 - info: host.tinkerboard instance system.adapter.powerfox.0 started with pid 26278
2021-03-28 16:04:00.936 - debug: backitup.0 (25644) [iobroker/iobroker] done
2021-03-28 16:04:01.088 - debug: backitup.0 (25644) [iobroker/influxDB] Start InfluxDB Backup ...
2021-03-28 16:04:01.090 - debug: backitup.0 (25644) [iobroker/influxDB] InfluxDB Backup tmp directory created
2021-03-28 16:04:03.529 - info: host.tinkerboard instance system.adapter.powerfox.0 terminated with code 0 (NO_ERROR)
2021-03-28 16:04:31.010 - debug: backitup.0 (25644) [iobroker/influxDB] Packed 24MB so far...
2021-03-28 16:04:41.010 - debug: backitup.0 (25644) [iobroker/influxDB] Packed 51MB so far...
2021-03-28 16:04:51.012 - debug: backitup.0 (25644) [iobroker/influxDB] Packed 76MB so far...
2021-03-28 16:05:01.017 - debug: backitup.0 (25644) [iobroker/influxDB] Packed 100MB so far...
2021-03-28 16:05:11.011 - debug: backitup.0 (25644) [iobroker/influxDB] Packed 126MB so far...
2021-03-28 16:05:13.074 - debug: backitup.0 (25644) [iobroker/influxDB] Backup created: /opt/iobroker/backups/influxDB_2021_03_28-16_04_01_TinkerS_backupiobroker.tar.gz
2021-03-28 16:05:13.077 - debug: backitup.0 (25644) [iobroker/influxDB] Try deleting the InfluxDB tmp directory
2021-03-28 16:05:13.174 - debug: backitup.0 (25644) [iobroker/influxDB] InfluxDB tmp directory was successfully deleted
2021-03-28 16:05:13.175 - debug: backitup.0 (25644) [iobroker/influxDB] done
2021-03-28 16:05:14.085 - debug: backitup.0 (25644) [iobroker/grafana] Start Grafana Backup ...
2021-03-28 16:05:14.088 - debug: backitup.0 (25644) [iobroker/grafana] Created grafana_tmp directory: "/opt/iobroker/backups/grafana_tmp"
2021-03-28 16:05:14.090 - debug: backitup.0 (25644) [iobroker/grafana] Created dashboard directory
2021-03-28 16:05:14.092 - debug: backitup.0 (25644) [iobroker/grafana] Created dashboards_manually_restore directory
2021-03-28 16:05:14.094 - debug: backitup.0 (25644) [iobroker/grafana] Created datasource directory
2021-03-28 16:05:14.096 - debug: backitup.0 (25644) [iobroker/grafana] start Grafana request ...
2021-03-28 16:05:14.172 - debug: backitup.0 (25644) [iobroker/grafana] Grafana is not available: Error: connect ENETUNREACH 127.0.0.0:3000 - Local (0.0.0.0:0)
2021-03-28 16:05:14.173 - debug: backitup.0 (25644) [iobroker/grafana] Grafana is not available!
2021-03-28 16:05:14.175 - debug: backitup.0 (25644) [iobroker/grafana] Try deleting the Grafana tmp directory: "/opt/iobroker/backups/grafana_tmp"
2021-03-28 16:05:14.179 - debug: backitup.0 (25644) [iobroker/grafana] Grafana tmp directory "/opt/iobroker/backups/grafana_tmp" successfully deleted
2021-03-28 16:05:14.180 - debug: backitup.0 (25644) [iobroker/grafana] Grafana Backup cannot created ...
2021-03-28 16:05:14.181 - debug: backitup.0 (25644) [iobroker/grafana] done
2021-03-28 16:05:14.637 - debug: backitup.0 (25644) [iobroker/javascripts] javascript directory "/javaspiegelung" not found
2021-03-28 16:05:14.639 - debug: backitup.0 (25644) [iobroker/javascripts] done
2021-03-28 16:05:14.944 - debug: backitup.0 (25644) [iobroker/cifs] done
2021-03-28 16:05:15.550 - debug: backitup.0 (25644) [iobroker/clean] Backup files not deleted from /opt/iobroker/backups because some errors.
2021-03-28 16:05:15.552 - debug: backitup.0 (25644) [iobroker/clean] done
2021-03-28 16:05:16.015 - debug: backitup.0 (25644) [iobroker/telegram] done
2021-03-28 16:05:16.327 - debug: backitup.0 (25644) [iobroker/historyHTML] new history html values created
2021-03-28 16:05:16.328 - debug: backitup.0 (25644) [iobroker/historyHTML] done
2021-03-28 16:05:16.492 - debug: backitup.0 (25644) [iobroker/historyJSON] new history json values created
2021-03-28 16:05:16.493 - debug: backitup.0 (25644) [iobroker/historyJSON] done

[Saschag]

@simatec bin gestern auf 2.1.0 umgestiegen und jetzt bekomme ich einen Fehler beim erstellen des Backup der HistoryDB

backitup.0		debug	(15070) system.adapter.admin.0: logging true
backitup.0		debug	(15070) [iobroker] exec: done
backitup.0		debug	(15070) [iobroker/umount] done
backitup.0		debug	(15070) [iobroker/umount] umount successfully completed
backitup.0		debug	(15070) [iobroker/umount] mount activ, umount is started ...
backitup.0		debug	(15070) [iobroker/historyJSON] done
backitup.0		debug	(15070) [iobroker/historyJSON] new history json values created
backitup.0		debug	(15070) [iobroker/historyHTML] done
backitup.0		debug	(15070) [iobroker/historyHTML] new history html values created
backitup.0		debug	(15070) [iobroker/pushover] done
backitup.0		debug	(15070) sendTo "send" to system.adapter.pushover.0 from system.adapter.backitup.0
backitup.0		debug	(15070) [iobroker/pushover] [iobroker] used pushover-Instance: pushover.0
backitup.0		debug	(15070) [iobroker/clean] done
backitup.0		debug	(15070) [iobroker/clean] Backup files not deleted from /opt/iobroker/backups because some errors.
backitup.0		debug	(15070) [iobroker/cifs] done
backitup.0		debug	(15070) [iobroker/zigbee] done
backitup.0		debug	(15070) [iobroker/zigbee] found zigbee database: zigbee.0
backitup.0		debug	(15070) [iobroker/historyDB] [IGNORED] Backitup cannot found source "undefined" for compress!
backitup.0		debug	(15070) [iobroker/historyDB] compress from historyDB started ...
backitup.0		debug	(15070) [iobroker/iobroker] done
backitup.0		debug	(15070) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2021_04_05-07_10_47_backupiobroker.tar.gz
backitup.0		debug	(15070) [iobroker/iobroker] host.ioBrokerPi4 17359 objects saved
backitup.0		debug	(15070) [iobroker/iobroker] host.ioBrokerPi4 15184 states saved
backitup.0		debug	(15070) [iobroker/mount] done
backitup.0		debug	(15070) [iobroker/mount] mount successfully completed
backitup.0		debug	(15070) [iobroker/mount] first mount attempt with smb option failed. try next mount attempt without smb option ...
backitup.0		debug	(15070) Backup has started ...
backitup.0		debug	(15070) system.adapter.admin.0: logging true

Fixer habe ich schon laufen lassen und Adapter Upload auch gemacht.

Danke schonmal und noch frohe Ostern

Edit ioBroker läuft auf einem Pi4

[simatec]

@Saschag

Überprüfe den korrekten Pfad zu deiner History Datenbank in den Einstellungen von Backitup.

(15070) [iobroker/historyDB] [IGNORED] Backitup cannot found source "undefined" for compress!

[Saschag]

@simatec manchmal kann es ja einfach sein

aber seltsam war, dass ich den Pfad über den Adapter ausgelesen habe, da aber im History-Adapter nur der Standart-Pfad (also keiner Pfad eingetragen) war. Wurde keiner in Backitup übernommen. Was mir dann nicht aufgefallen ist

Danke!

[simatec]

@saschag
Wie lautet der Standardpfad? Dann kann ich das mal bei dem nächsten Update mit hinterlegen.

[Saschag]

@simatec

/opt/iobroker/iobroker-data/history

[drapo]

Habe seit ein paar Tagen Mühe mit dem Backup. Ich sichere über FTP und kriege diese Fehlermeldungen. Bis anhin lief es ohne Probleme durch. Hat jemand eine Idee an was das liegen kann? Ich habe vorhin auf 2.1 upgedatet das Problem ist aber immer noch da.

[DEBUG] [iobroker] - host.iobroker 15896 states saved

[DEBUG] [iobroker] - host.iobroker 15795 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2021_04_06-11_03_26_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [javascripts] - Backup created: /opt/iobroker/backups/javascripts_2021_04_06-11_03_38_backupiobroker.tar.gz
[DEBUG] [javascripts] - done
[DEBUG] [ftp] - FTP connected.
[DEBUG] [ftp] - Send iobroker_2021_04_06-11_03_26_backupiobroker.tar.gz
[ERROR] [ftp] - Error: Error writing to file: No such file or directory.
[DEBUG] [ftp] - Send javascripts_2021_04_06-11_03_38_backupiobroker.tar.gz
[ERROR] [ftp] - Error: Error writing to file: No such file or directory.
[DEBUG] [ftp] - done
[DEBUG] [ftp] start with {"type":"storage","source":"local","host":"xxx","debugging":true,"deleteOldBackup":true,"ownDir":false,"dir":"/backup/ioBroker/standard","dirMinimal":"/backupDir/iobroker","user":"backup","pass":"****","port":"21","deleteBackupAfter":0}
[ERROR] [clean] - Backup files not deleted from /opt/iobroker/backups because some errors.
[DEBUG] [clean] - done
[DEBUG] [telegram] - [iobroker] used Telegram-Instance: telegram.0
[DEBUG] [telegram] - done
[DEBUG] [telegram] start with {"type":"creator","time":"02:00","debugging":true,"everyXDays":"1","deleteBackupAfter":0,"ftp":

[crunchip]

@drapo sagte in Test Adapter Backitup v2.1.x:

Error writing to file: No such file or directory.

dein Ziel-Pfad, gibts das Verzeichnis überhaupt, bzw ist das richtig eingetragen?

[drapo]

@crunchip ja das gibt es. die files werden auch erstellt nur sehe ich dass die grösse der files 0 kb gross sind. Es wird nichts geschrieben.

[simatec]

@drapo
Was hat der User backup für Rechte über FTP?

[drapo]

@simatec Du hast Recht. Es war ein Rechte Problem. Mit dem Admin Benutzer läuft das Backup ohne weiteres durch. Erstaunt bin ich nur darüber dass ich gar nichts an irgendwelchen Berechtigungen geändert hab und auf einmal diese Probleme auftreten.

[Bibo*13]

Hi,
wird es irgendwann vielleicht auch Möglich sein das nicht nur für das Iobroker Backup sondern auch für zigbee, regdis, grafana, influx, javascript, usw im History-log eine json hinterlegt wird.
Ich würde gerne auch diese Daten in meiner VIS anzeigen.

vielen Dank

[FoxRo]

Hi @simatec
Nachdem IoBroker selbst auf Deinen BackItUp Adapter aufmerksam gemacht hat, habe ich mir diesen mal installiert. Nachdem ich auch die Zugriffsrechte korrekt gesetzt hatte, hat er sofort seine Arbeit auf- und mir für die Zukunft eine Menge manuelle Arbeit ab-genommen.
Vielen Dank für den coolen Adapter!! So einfach ist Plug&Play

[simatec]

@foxro
Schön zu hören, dass du ihn nutzt ...

[Meister Mopper]

Moin @simatec,

ich habe die Adapterversion von 1.8.5 auf 2.1.0 angehoben, es wurde jedoch

• beim Einrichten der Instanz festgestellt, dass keine Zigbee-Instanz installiert war. ->Stimmt: die wurde auf einen Slave geschoben (was mit 1.8.5 kein Problem ist), weil dort das TIboard dran hängt.

• mit dieser Adapterversion keine Backups funktionierten, weder in opt/iobroker/backups noch auf das NAS und google drive

Nachdem ich nach 1.8.5 zurück bin funktionieren die Backups wieder (auch Zigbee) aber ich erhalte nach dem automatischen Backup eine Fehlermeldung und der Adapter startet neu:

Spoiler

host.iobroker	2021-04-11 02:02:17.428	info	instance system.adapter.backitup.0 started with pid 24438
host.iobroker	2021-04-11 02:01:47.405	info	Restart adapter system.adapter.backitup.0 because enabled
host.iobroker	2021-04-11 02:01:47.405	error	instance system.adapter.backitup.0 terminated with code 1 (JS_CONTROLLER_STOPPED)
host.iobroker	2021-04-11 02:01:47.404	error	Caught by controller[0]: at processImmediate (internal/timers.js:463:21)
host.iobroker	2021-04-11 02:01:47.404	error	Caught by controller[0]: at Immediate.<anonymous> (/opt/iobroker/node_modules/iobroker.backitup/lib/scripts/94-historyJSON.js:124:41)
host.iobroker	2021-04-11 02:01:47.404	error	Caught by controller[0]: at JSON.parse (<anonymous>)
host.iobroker	2021-04-11 02:01:47.401	error	Caught by controller[0]: SyntaxError: Unexpected token , in JSON at position 516
backitup.0	2021-04-11 02:01:47.239	error	(139) Unexpected token , in JSON at position 516
backitup.0	2021-04-11 02:01:47.239	error	at processImmediate (internal/timers.js:463:21)
backitup.0	2021-04-11 02:01:47.239	error	at Immediate.<anonymous> (/opt/iobroker/node_modules/iobroker.backitup/lib/scripts/94-historyJSON.js:124:41)
backitup.0	2021-04-11 02:01:47.239	error	at JSON.parse (<anonymous>)
backitup.0	2021-04-11 02:01:47.239	error	(139) SyntaxError: Unexpected token , in JSON at position 516
backitup.0	2021-04-11 02:01:47.238	error	(139) uncaught exception: Unexpected token , in JSON at position 516

Hier noch die Konfig der Instanz:

Spoiler

Ich kann mir nicht erklären, welchen 'token' der Adapter 'expected'.

[simatec]

@meister-mopper
Die Meldung dass keine zigbee Instanz auf dem Host liegt ist neu.
Bei der 1.8.5 gab es diese noch nicht.
Trotzdem sollte dein zigbee Backup nicht vollständig sein. Poste mal den Inhalt des zigbee Backups
Ich würde dir raten auf 2.1.0 zu gehen und auf deinem Slave eine Instanz zu installieren, die dann zigbee sichert.

[simatec]

Ab sofort steht die Version 2.1.1 auf Github und im latest bereit ...

Changelog

2.1.1 (11.04.2021)

• (simatec) Bugfix redis
• (simatec) debug Log for Restore request added
• (simatec) Bugfix influxdb
• (simatec) ignore Filenames for javascript-Backup added