Test Adapter ioBroker.backitup v3.1.x

simatec

@Bibo-13
Was sagt denn der Log?
Poste bitte mal deine Software Stand. node, nodjs, js-controller.

Des Weiteren würde ixh dich bitte, mal auf der Konsole iobroker backup auszuführen und die Ausgabe der Konsole hier zu posten

simatec

Ich habe gerade die Version 1.8.0-beta1 ins latest gepusht. Über eure Test würde ich mich freuen.

Hier die aktuell neuen Features ...

Changelog

1.8.0-beta.1 (28.11.2020)

(simatec) influxDB Backup added
(simatec) influxDB Restore added
(simatec) Postgresql Backup added
(simatec) Postgresql Restore added
(simatec) translation added
(simatec) new zigbee Restore added

@simatec
Danke und über die Implementierung der InfluxDB bin ich sehr happy.

Frage/Wunsch. In der Doku zu influxdB wird per Standard mit Rentention policies und Daten Aggregierungen gearbeitet. Hierzu oft die Empfehlung eine Datenverdichtung in einer separaten Datenbank durchzuführen.
Fazit: 1 influxDB ist oft nicht genug und ich hab jetzt schon 2 (shortterm + longterm). Natürlich jetzt wieder die Frage des BackupKonzeptes und es wäre toll wenn man mehrere Datenbanken im BackItUp Adapter hinterlegen kann. Ob eine Lösung über eine 2.te Instanz funktioniert habe ich noch nicht versucht.

VG

MathiasJ

@simatec
wäre es vllt möglich, dass man für die Datenbanken und Zigbee Ordner anlegen kann?
Ich verschiebe die jeden Tag manuell in die richtigen Ordner.
Auf Dropbox und Gdrive werden keine Backups mehr angelegt, Auf der NAS jedoch schon.
Leider kann ich keine Logfiles mitliefern, bis ich morgens aufstehe, sind diese weg.
Sonst paßt alles.
Gruß,
Mathias

Dr. Bakterius

@MathiasJ sagte in Test Adapter Backitup v1.7.x:

Leider kann ich keine Logfiles mitliefern, bis ich morgens aufstehe, sind diese weg.

Fehlt bei dir diese Funktion?

Thomas Braun

@Dr-Bakterius @MathiasJ
Außerdem werden die Logs in /opt/iobroker/log rotiert.

JB_Sullivan

Moin zusammen - ich habe gestern die 1.8.beta installiert und habe heute Morgen einen Error neben dem dem Ausführungsdatum stehen.

In der LOG Datei sind keine Error Meldungen zu finden.

Einstellungen sind so wie zuvor, nur das ich jetzt noch die InfluxDB mit sichere. Der InfluxDB Ordner wurde zwar angelegt, ist aber leer.

Einstellungen für InfluxDB wurden über die "Lupe" ermittelt.

[DEBUG] [history] start with {"type":"creator","time":"02:00","debugging":true,"everyXDays":"1","deleteBackupAfter":"5","googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"dir":"C:/iobroker/GLT","influxDB":{"enabled":true,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"nameSuffix":"","deleteBackupAfter":5,"dbName":"iobroker","host":"localhost","port":"8088"},"pgsql":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"nameSuffix":"","dbName":"","user":"","pass":"","deleteBackupAfter":5,"host":"","port":"5432","exe":""},"redis":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"path":"/var/lib/redis"},"historyDB":{"enabled":true,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"path":"C:\\iobroker\\GLT\\iobroker-data\\history"},"zigbee":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"path":"C:/iobroker/GLT/iobroker-data"},"history":{"enabled":true,"type":"message","entriesNumber":"10","systemLang":"de","time":"01. Dezember 2020 um 02:04 Uhr"},"email":{"enabled":false,"notificationsType":"E-Mail","type":"message","instance":"email.0","NoticeType":"longEmailNotice","emailReceiver":"xxx@xxx.com","emailSender":"xxx@xxx.com","onlyError":true,"emailWaiting":0,"systemLang":"de"},"pushover":{"enabled":false,"notificationsType":"E-Mail","type":"message","instance":"","SilentNotice":false,"NoticeType":"longPushoverNotice","deviceID":"","onlyError":false,"pushoverWaiting":0,"systemLang":"de"},"backupDir":"C:/iobroker/GLT/backups"}

Lenny.CB

@simatec sagte in Test Adapter Backitup v1.7.x:

Ich habe gerade die Version 1.8.0-beta1 ins latest gepusht. Über eure Test würde ich mich freuen.

Gestern hatte ich die letzte Beta geladen. Das Backup von der InfluxDB ist im Backup-Ordner auf dem Dateisystem vom ioBroker gelandet. Schon mal super!
Es wurde nur nicht auf mein NAS übertragen. An den FTP-Einstellungen habe ich nichts verändert. HistoryDB und ioBroker-Backups kommen weiterhin per FTP auf dem NAS an.

Sind da noch gesondert Einstellungen vorzunehmen?

simatec

@JB_Sullivan
Hast du die Remoteverbindung deiner InfluxDB konfiguriert?
https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/#configuring-remote-connections

simatec

@Lenny-CB
Einstellungen für den FTP Transfer sind nicht weiter nötig. Hast du mal einen Debuglog für mich da?

Lenny.CB

@simatec sagte in Test Adapter Backitup v1.7.x:

@Lenny-CB
Einstellungen für den FTP Transfer sind nicht weiter nötig. Hast du mal einen Debuglog für mich da?

Debug-Log habe ich leider nicht. Bei mir laufen fast alle Adapter mit der Einstellung "error". Error's kamen aber auch nicht.
Wenn ich auf "jetzt sichern" drücke, müsste es doch das Selbe sein wie das Nacht-Backup? Oder gibt es da "Ausführungsunterschiede" was das Log betrifft?

Nachtrag:
habe es grad mal manuell ausgeführt.
Log aus dem Adapter:
[ERROR] [ftp] - File "/opt/iobroker/backups/influxDB_2020_12_01-10_10_01_master_backupiobroker.tar.gz" not found"]

Gestartet...
[DEBUG] [iobroker] - host.iobroker 13405 states saved

[DEBUG] [iobroker] - host.iobroker 17708 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2020_12_01-10_09_34_master_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [historyDB] - Packed 31MB so far...
[DEBUG] [historyDB] - done
[DEBUG] [influxDB] - Start infulxDB Backup ...
[DEBUG] [influxDB] - Created InfuxDB Backup dir
[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****
[DEBUG] [ftp] - FTP connected.
[DEBUG] [ftp] - Send iobroker_2020_12_01-10_09_34_master_backupiobroker.tar.gz
[DEBUG] [ftp] - Send historyDB_2020_12_01-10_09_44_backupiobroker.tar.gz
[DEBUG] [ftp] - Send influxDB_2020_12_01-10_10_01_master_backupiobroker.tar.gz
[ERROR] [ftp] - File "/opt/iobroker/backups/influxDB_2020_12_01-10_10_01_master_backupiobroker.tar.gz" not found
[DEBUG] [ftp] - done
[DEBUG] [clean] - done
[DEBUG] [history] - backitup.0.history.html
[DEBUG] [history] - backitup.0.history.json
[EXIT] 0

Auf dem NAS kam nur ioBroker und History an:

Auf dem Dateisystem vom ioBroker ist das Influx-Backup aber vorhanden:

JB_Sullivan

@simatec Ja habe ich gerade gemacht - bleibt aber trotzdem leer

simatec

@JB_Sullivan
Ändere entweder in den Einstellungen von Backitup (InfluxDB Tab den Host auf 127.0.0.1 oder gib als Bind Address mal folgendes an und wichtig danach Influx neustarten

bind-address = "0.0.0.0:8088"

simatec

@Lenny-CB Auf deinem System läuft kein influx

[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****

Sorry die Darstellung gibt nicht backitup so aus

Lenny.CB

@simatec sagte in Test Adapter Backitup v1.7.x:

@Lenny-CB Auf deinem System läuft kein influx

[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****

Sorry die Darstellung gibt nicht backitup so aus

ist das wichtig? Hatte doch in den Einstellungen die IP vom Influx mitgegeben.

NUC Proxmox VM: ioBroker auf dem diese Backitup-Instanz läuft
NUC Proxmox CT: hier läuft InfluxDB

Ich sehe grad, es sind ja influx-Ordner die Backitup auf dem Dateisystem angelegt hatte.

Gibt es ne Lösung für diese Konstellation?

Lenny.CB

@simatec sagte in Test Adapter Backitup v1.7.x:

@Lenny-CB Auf deinem System läuft kein influx

[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****

Sorry die Darstellung gibt nicht backitup so aus

dachte da steht nur "wirres Zeug" drin. Wenn die Sterne weg sind gibt das ja einen Sinn.

JB_Sullivan

@simatec sagte in Test Adapter Backitup v1.7.x:

127.0.0.1

Hmm - leider auch keinen Erfolg. Nach jeder Änderung der InfluxDB Config starte ich den Dienst neu. Also das kann es nicht sein. Ich habe jetzt BackItUp mal auf DEBUG gestellt.

Hier der LOG Eintrag dazu.

backitup.0	2020-12-01 11:04:02.928	debug	(15148) [iobroker] exec: done
backitup.0	2020-12-01 11:04:02.777	debug	(15148) [iobroker/history] backitup.0.history.json
backitup.0	2020-12-01 11:04:02.776	debug	(15148) [iobroker/history] backitup.0.history.html
backitup.0	2020-12-01 11:04:01.966	debug	(15148) [iobroker/clean] done
backitup.0	2020-12-01 11:04:01.813	debug	(15148) [iobroker/googledrive] done
backitup.0	2020-12-01 11:04:01.660	debug	(15148) [iobroker/googledrive] Google Drive: File "C:/iobroker/GLT/backups/influxDB_2020_12_01-11_02_42_backupiobroker.tar.gz" not found
backitup.0	2020-12-01 11:02:53.739	debug	(15148) [iobroker/googledrive] Google Drive: Copy historyDB_2020_12_01-10_58_21_backupiobroker.tar.gz...
backitup.0	2020-12-01 11:02:43.368	debug	(15148) [iobroker/googledrive] Google Drive: Copy iobroker_2020_12_01-10_58_01_backupiobroker.tar.gz...
backitup.0	2020-12-01 11:02:42.595	debug	(15148) [iobroker/influxDB] ****
backitup.0	2020-12-01 11:02:42.595	debug	(15148) [iobroker/influxDB] ****k****o****n****n****t****e**** ****n****i****c****h****t**** ****g****e****f****u****n****d****e****n**** ****w****e****r****d****e****n****.**** ****
backitup.0	2020-12-01 11:02:42.594	debug	(15148) [iobroker/influxDB] ****D****e****r**** ****B****e****f****e****h****l**** ****"****i****n****f****l****u****x****d****"**** ****i****s****t**** ****e****n****t****w****e****d****e****r**** *
backitup.0	2020-12-01 11:02:42.594	debug	(15148) [iobroker/influxDB] [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b*
backitup.0	2020-12-01 11:02:42.550	debug	(15148) [iobroker/influxDB] Created InfuxDB Backup dir
backitup.0	2020-12-01 11:02:42.547	debug	(15148) [iobroker/influxDB] Start infulxDB Backup ...
backitup.0	2020-12-01 11:02:42.243	debug	(15148) [iobroker/historyDB] done

simatec

@JB_Sullivan Auch bei dir steht im Log, dass du kein Influx installiert hast
Du musst lokal auf deinem System influx laufen haben, damit du ein Backup erstellen kannst

Ob deine Datenbank dann auf einem anderen System ist und du dieses sichern willst, ist dann egal

JB_Sullivan

@simatec Das ist aber definitiv falsch. INluxDB läuft auf den gleichen Rechner wie ioB.

simatec

@JB_Sullivan Ahhh windows ...
Da wird es dran liegen.
Wie ist der genaue Pfad zur exe?

NEWS

Test Adapter ioBroker.backitup v3.1.x

Changelog

1.8.0-beta.1 (28.11.2020)

Support us

774
Online

31.7k
Users

79.6k
Topics

1.3m
Posts

NEWS

Test Adapter ioBroker.backitup v3.1.x

Changelog

1.8.0-beta.1 (28.11.2020)

Support us

774Online

31.7kUsers

79.6kTopics

1.3mPosts

774
Online

31.7k
Users

79.6k
Topics

1.3m
Posts