Test Adapter ioBroker.backitup v3.1.x

[David G.]

@simatec
@David-G said in Test Adapter Backitup v1.7.x:

@simatec

Hallo,

ich habe seit gestern folgende Fehlermeldung beim ftp-Backup.

BackItUp:
Die Sicherung wurde nicht vollständig erstellt. Bitte überprüfe die Fehlermeldungen!!

ftp: Error: Sorry, the maximum number of clients (10) for this user are already connected.

Woran kann das liegen?
Ich vermute, dass der Adapter bei jedem Backup eine neue ftp-Verbindung herstellt und diese nicht trennt.

Mein Qnap erlaubt scheinbar 10 gleichzeitige Verbindungen.

EDIT:
Habe die Einstellung am NAS gefunden. Diese steht in der Tat bei 10 gleichzeitige Verbindungen pro Benutzer.
Der Adapter trennt sich scheinbar nicht selber nach dem Backup.

Kann man das irgendwie anpassen in den Settings? Finde nichts.

Das Problem ist hier scheinbar schonmal aufgetreten.
https://forum.iobroker.net/topic/17028/backitup-probleme/119

Dort hieß es, der Fehler kommt, da sich das System bereits 10 mal verbunden hat.
Denke aber eher es bedeutet, dass es 10 simultane Verbindungen sind oder?

Es macht ja keinen Sinn, jeden User am NAS die gleiche Einstellung an maximalen Anmeldungen zu geben und er wenn er sich das 11te mal verbinden möchte nicht daruf kommt.
Man kann es nämlich nicht pro User einstellen. Zudem finde ich es komisch zu sagen, du darfst dich nur x mal anmelden und dann nicht mehr. Aber zu sagen, es dürfen nur x gleichzeitige Verbindungen sein macht mehr Sinn.

[simatec]

@Bibo-13
Was sagt denn der Log?
Poste bitte mal deine Software Stand. node, nodjs, js-controller.

Des Weiteren würde ixh dich bitte, mal auf der Konsole iobroker backup auszuführen und die Ausgabe der Konsole hier zu posten

[simatec]

Ich habe gerade die Version 1.8.0-beta1 ins latest gepusht. Über eure Test würde ich mich freuen.

Hier die aktuell neuen Features ...

Changelog

1.8.0-beta.1 (28.11.2020)

• (simatec) influxDB Backup added
• (simatec) influxDB Restore added
• (simatec) Postgresql Backup added
• (simatec) Postgresql Restore added
• (simatec) translation added
• (simatec) new zigbee Restore added

[A Former User]

@simatec
Danke und über die Implementierung der InfluxDB bin ich sehr happy.

Frage/Wunsch. In der Doku zu influxdB wird per Standard mit Rentention policies und Daten Aggregierungen gearbeitet. Hierzu oft die Empfehlung eine Datenverdichtung in einer separaten Datenbank durchzuführen.
Fazit: 1 influxDB ist oft nicht genug und ich hab jetzt schon 2 (shortterm + longterm). Natürlich jetzt wieder die Frage des BackupKonzeptes und es wäre toll wenn man mehrere Datenbanken im BackItUp Adapter hinterlegen kann. Ob eine Lösung über eine 2.te Instanz funktioniert habe ich noch nicht versucht.

VG

[MathiasJ]

@simatec
wäre es vllt möglich, dass man für die Datenbanken und Zigbee Ordner anlegen kann?
Ich verschiebe die jeden Tag manuell in die richtigen Ordner.
Auf Dropbox und Gdrive werden keine Backups mehr angelegt, Auf der NAS jedoch schon.
Leider kann ich keine Logfiles mitliefern, bis ich morgens aufstehe, sind diese weg.
Sonst paßt alles.
Gruß,
Mathias

[Dr. Bakterius]

@MathiasJ sagte in Test Adapter Backitup v1.7.x:

Leider kann ich keine Logfiles mitliefern, bis ich morgens aufstehe, sind diese weg.

Fehlt bei dir diese Funktion?

[Thomas Braun]

@Dr-Bakterius @MathiasJ
Außerdem werden die Logs in /opt/iobroker/log rotiert.

[JB_Sullivan]

Moin zusammen - ich habe gestern die 1.8.beta installiert und habe heute Morgen einen Error neben dem dem Ausführungsdatum stehen.

In der LOG Datei sind keine Error Meldungen zu finden.

Einstellungen sind so wie zuvor, nur das ich jetzt noch die InfluxDB mit sichere. Der InfluxDB Ordner wurde zwar angelegt, ist aber leer.

Einstellungen für InfluxDB wurden über die "Lupe" ermittelt.

[DEBUG] [history] start with {"type":"creator","time":"02:00","debugging":true,"everyXDays":"1","deleteBackupAfter":"5","googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"dir":"C:/iobroker/GLT","influxDB":{"enabled":true,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"nameSuffix":"","deleteBackupAfter":5,"dbName":"iobroker","host":"localhost","port":"8088"},"pgsql":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"nameSuffix":"","dbName":"","user":"","pass":"","deleteBackupAfter":5,"host":"","port":"5432","exe":""},"redis":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"path":"/var/lib/redis"},"historyDB":{"enabled":true,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"path":"C:\\iobroker\\GLT\\iobroker-data\\history"},"zigbee":{"enabled":false,"type":"creator","ftp":{"enabled":false,"type":"storage","source":"googledrive","host":"","debugging":true,"deleteOldBackup":false,"ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker","user":"","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"googledrive","mount":"","debugging":true,"fileDir":"C:\\iobroker\\GLT\\node_modules\\iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":true,"type":"storage","source":"googledrive","debugging":true,"deleteOldBackup":true,"accessJson":"****","ownDir":true,"dir":"/GLT/minimal","dirMinimal":"/GLT/minimal"},"path":"C:/iobroker/GLT/iobroker-data"},"history":{"enabled":true,"type":"message","entriesNumber":"10","systemLang":"de","time":"01. Dezember 2020 um 02:04 Uhr"},"email":{"enabled":false,"notificationsType":"E-Mail","type":"message","instance":"email.0","NoticeType":"longEmailNotice","emailReceiver":"xxx@xxx.com","emailSender":"xxx@xxx.com","onlyError":true,"emailWaiting":0,"systemLang":"de"},"pushover":{"enabled":false,"notificationsType":"E-Mail","type":"message","instance":"","SilentNotice":false,"NoticeType":"longPushoverNotice","deviceID":"","onlyError":false,"pushoverWaiting":0,"systemLang":"de"},"backupDir":"C:/iobroker/GLT/backups"}

[Lenny.CB]

@simatec sagte in Test Adapter Backitup v1.7.x:

Ich habe gerade die Version 1.8.0-beta1 ins latest gepusht. Über eure Test würde ich mich freuen.

Gestern hatte ich die letzte Beta geladen. Das Backup von der InfluxDB ist im Backup-Ordner auf dem Dateisystem vom ioBroker gelandet. Schon mal super!
Es wurde nur nicht auf mein NAS übertragen. An den FTP-Einstellungen habe ich nichts verändert. HistoryDB und ioBroker-Backups kommen weiterhin per FTP auf dem NAS an.

Sind da noch gesondert Einstellungen vorzunehmen?

[simatec]

@JB_Sullivan
Hast du die Remoteverbindung deiner InfluxDB konfiguriert?
https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/#configuring-remote-connections

[simatec]

@Lenny-CB
Einstellungen für den FTP Transfer sind nicht weiter nötig. Hast du mal einen Debuglog für mich da?

[Lenny.CB]

@simatec sagte in Test Adapter Backitup v1.7.x:

@Lenny-CB
Einstellungen für den FTP Transfer sind nicht weiter nötig. Hast du mal einen Debuglog für mich da?

Debug-Log habe ich leider nicht. Bei mir laufen fast alle Adapter mit der Einstellung "error". Error's kamen aber auch nicht.
Wenn ich auf "jetzt sichern" drücke, müsste es doch das Selbe sein wie das Nacht-Backup? Oder gibt es da "Ausführungsunterschiede" was das Log betrifft?

Nachtrag:
habe es grad mal manuell ausgeführt.
Log aus dem Adapter:
[ERROR] [ftp] - File "/opt/iobroker/backups/influxDB_2020_12_01-10_10_01_master_backupiobroker.tar.gz" not found"]

Gestartet...
[DEBUG] [iobroker] - host.iobroker 13405 states saved

[DEBUG] [iobroker] - host.iobroker 17708 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2020_12_01-10_09_34_master_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [historyDB] - Packed 31MB so far...
[DEBUG] [historyDB] - done
[DEBUG] [influxDB] - Start infulxDB Backup ...
[DEBUG] [influxDB] - Created InfuxDB Backup dir
[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****
[DEBUG] [ftp] - FTP connected.
[DEBUG] [ftp] - Send iobroker_2020_12_01-10_09_34_master_backupiobroker.tar.gz
[DEBUG] [ftp] - Send historyDB_2020_12_01-10_09_44_backupiobroker.tar.gz
[DEBUG] [ftp] - Send influxDB_2020_12_01-10_10_01_master_backupiobroker.tar.gz
[ERROR] [ftp] - File "/opt/iobroker/backups/influxDB_2020_12_01-10_10_01_master_backupiobroker.tar.gz" not found
[DEBUG] [ftp] - done
[DEBUG] [clean] - done
[DEBUG] [history] - backitup.0.history.html
[DEBUG] [history] - backitup.0.history.json
[EXIT] 0

Auf dem NAS kam nur ioBroker und History an:

Auf dem Dateisystem vom ioBroker ist das Influx-Backup aber vorhanden:

[JB_Sullivan]

@simatec Ja habe ich gerade gemacht - bleibt aber trotzdem leer

[simatec]

@JB_Sullivan
Ändere entweder in den Einstellungen von Backitup (InfluxDB Tab den Host auf 127.0.0.1 oder gib als Bind Address mal folgendes an und wichtig danach Influx neustarten

bind-address = "0.0.0.0:8088"

[simatec]

@Lenny-CB Auf deinem System läuft kein influx

[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****

Sorry die Darstellung gibt nicht backitup so aus

[Lenny.CB]

@simatec sagte in Test Adapter Backitup v1.7.x:

@Lenny-CB Auf deinem System läuft kein influx

[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****

Sorry die Darstellung gibt nicht backitup so aus

ist das wichtig? Hatte doch in den Einstellungen die IP vom Influx mitgegeben.

• NUC Proxmox VM: ioBroker auf dem diese Backitup-Instanz läuft
• NUC Proxmox CT: hier läuft InfluxDB

Ich sehe grad, es sind ja influx-Ordner die Backitup auf dem Dateisystem angelegt hatte.

Gibt es ne Lösung für diese Konstellation?

[Lenny.CB]

@simatec sagte in Test Adapter Backitup v1.7.x:

@Lenny-CB Auf deinem System läuft kein influx

[ERROR] [influxDB] - [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b****a****c****k****u****p**** ****-****p****o****r****t****a****b****l****e**** ****-****d****a****t****a****b****a****s****e**** ****i****o****b****r****o****k****e****r**** ****-****h****o****s****t**** ****1****9****2****.****1****6****8****.****0****.****2****6****:****8****0****8****8**** ****/****o****p****t****/****i****o****b****r****o****k****e****r****/****b****a****c****k****u****p****s****/****i****n****f****l****u****x****D****B****_****2****0****2****0****_****1****2****_****0****1****-****1****0****_****1****0****_****0****1****_****m****a****s****t****e****r****_****b****a****c****k****u****p****i****o****b****r****o****k****e****r****
****/****b****i****n****/****s****h****:**** ****1****:**** ****i****n****f****l****u****x****d****:**** ****n****o****t**** ****f****o****u****n****d****
****

Sorry die Darstellung gibt nicht backitup so aus

dachte da steht nur "wirres Zeug" drin. Wenn die Sterne weg sind gibt das ja einen Sinn.

[JB_Sullivan]

@simatec sagte in Test Adapter Backitup v1.7.x:

127.0.0.1

Hmm - leider auch keinen Erfolg. Nach jeder Änderung der InfluxDB Config starte ich den Dienst neu. Also das kann es nicht sein. Ich habe jetzt BackItUp mal auf DEBUG gestellt.

Hier der LOG Eintrag dazu.

backitup.0	2020-12-01 11:04:02.928	debug	(15148) [iobroker] exec: done
backitup.0	2020-12-01 11:04:02.777	debug	(15148) [iobroker/history] backitup.0.history.json
backitup.0	2020-12-01 11:04:02.776	debug	(15148) [iobroker/history] backitup.0.history.html
backitup.0	2020-12-01 11:04:01.966	debug	(15148) [iobroker/clean] done
backitup.0	2020-12-01 11:04:01.813	debug	(15148) [iobroker/googledrive] done
backitup.0	2020-12-01 11:04:01.660	debug	(15148) [iobroker/googledrive] Google Drive: File "C:/iobroker/GLT/backups/influxDB_2020_12_01-11_02_42_backupiobroker.tar.gz" not found
backitup.0	2020-12-01 11:02:53.739	debug	(15148) [iobroker/googledrive] Google Drive: Copy historyDB_2020_12_01-10_58_21_backupiobroker.tar.gz...
backitup.0	2020-12-01 11:02:43.368	debug	(15148) [iobroker/googledrive] Google Drive: Copy iobroker_2020_12_01-10_58_01_backupiobroker.tar.gz...
backitup.0	2020-12-01 11:02:42.595	debug	(15148) [iobroker/influxDB] ****
backitup.0	2020-12-01 11:02:42.595	debug	(15148) [iobroker/influxDB] ****k****o****n****n****t****e**** ****n****i****c****h****t**** ****g****e****f****u****n****d****e****n**** ****w****e****r****d****e****n****.**** ****
backitup.0	2020-12-01 11:02:42.594	debug	(15148) [iobroker/influxDB] ****D****e****r**** ****B****e****f****e****h****l**** ****"****i****n****f****l****u****x****d****"**** ****i****s****t**** ****e****n****t****w****e****d****e****r**** *
backitup.0	2020-12-01 11:02:42.594	debug	(15148) [iobroker/influxDB] [IGNORED] ****E****r****r****o****r****:**** ****C****o****m****m****a****n****d**** ****f****a****i****l****e****d****:**** ****i****n****f****l****u****x****d**** ****b*
backitup.0	2020-12-01 11:02:42.550	debug	(15148) [iobroker/influxDB] Created InfuxDB Backup dir
backitup.0	2020-12-01 11:02:42.547	debug	(15148) [iobroker/influxDB] Start infulxDB Backup ...
backitup.0	2020-12-01 11:02:42.243	debug	(15148) [iobroker/historyDB] done

[simatec]

@JB_Sullivan Auch bei dir steht im Log, dass du kein Influx installiert hast
Du musst lokal auf deinem System influx laufen haben, damit du ein Backup erstellen kannst

Ob deine Datenbank dann auf einem anderen System ist und du dieses sichern willst, ist dann egal

[JB_Sullivan]

@simatec Das ist aber definitiv falsch. INluxDB läuft auf den gleichen Rechner wie ioB.