UNSOLVED Adapter Backitup kopiert nicht auf FTP

[Thomas Braun]

@simatec Stimmt. Aber wer weiß ob das immer so abgefangen wird. Ich würde es direkt ganz lassen.

[simatec]

@TepMan Sorry, da hat aber backitup nix mit zu tun.
Der Code ist auf Github zu sehen und wie du da siehst, greift backitup weder auf dein System noch setzt backitup irgendwelche Rechte neu.

Da scheint was an deinem System nicht zu passen.

[TepMan]

@simatec Ich glaube auch nicht, das der Adapter selbst was kaputt gemacht hat. Aber der zeitliche Zusammenhang mit dem Einsatz des Adapters ist der einzige Anhaltspunkt, und ansonsten ist mit dem System nix passiert, außer das es halt läuft. Der Raspi macht auch nichts anderes außer ioBroker auszuführen. Vorstellbar wäre, das durch die vielen Versuche, Backups zu erstellen am Dateisystem irgendwas kaputt gegangen ist. Darauf deutet ja auch hin, das ich die Berechtigungen erst wieder flicken konnte, nachdem ich die Files gelöscht und den Raspi neu gestartet hatte. Wahrscheinlich haben sich da ein paar Prozesse verhakt oder sowas.

[simatec]

@TepMan
Installiere mal die aktuelle Version aus dem latest.
Lösche vorher alles von Backitup

Also Instanz, Adapter und ggfs. auch noch den Ordner backitup.0

Kann es auch eventuell sein, dass eine fehlerhafte NFS Verbindung deine Rechte zerhauen hat. Eventuell hatte deine NFS Verbindung nur Leserechte

[TepMan]

@simatec Das hatte ich eh vor, allerdings, wie oben geschrieben, nicht mehr heute. Melde mich, sobald ich das nochmal ausprobiert habe.

Das mit der NFS-Verbindung verstehe ich allerdings nicht, ich greife doch auf ein entferntes Verzeichnis zu, um das Backup dort abzulegen (was im Übrigen ja klappte, also sollten auch Schreibrechte vorhanden gewesen sein), wie sollte das die Berechtigungen vom lokalen Backupverzeichnis beeinflussen können?

[simatec]

@TepMan
Backitup setzt aber den mount auf das Backup Verzeichnis

[TepMan]

So, hat mir ja nun keine Ruhe gelassen, gerade mit der 1.5.6 probiert, FTP klappt nach wie vor nicht, gleiches Verhalten wie vorher, im Log steht FTP connected, das Backup wird lokal in /opt/iobroker/backups abgelegt, aber der Adapter macht offenbar keine Anstalten, das Backup per FTP hochzuladen. Der verwendete User hat auch mittlerweile keine Sonderzeichen mehr im Passwort.

Dafür habe ich die Ursache für das Problem vorhin nachvollziehen können. Auf dem NAS sind die Backup-Files weg, lokal auf dem Raspi liegen sie noch. D.h. der Mountpoint wahr tatsächlich nicht ausgehängt und das der Raspi die Dateiberechtigungen vom NAS nicht lesen kann ist nachvollziehbar. Wahrscheinlich war das die ganze Zeit der Grund für die Zugriffsprobleme. Irgendwann ist der Mountpoint nicht oder nicht richtig ausgehängt worden.

[simatec]

@TepMan
Zeige doch mal deine FTP Einstellungen in backitup und die auf deinem NAS.
Hast du mal das ganze per Konsole probiert?
Meist sind es Probleme mit den Rechten oder falsche Pfade

[TepMan]

Hier der erfolgreiche Upload via Konsole per FTP mit dem User, den ich auch im Adapter konfiguriert habe:

230 User ioBroker logged in, access restrictions apply.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp> 
ftp> ls
200 PORT command successful.
150 Opening BINARY mode data connection for 'file list'.
drwxrwxr-x   1 ioBroker users            4096 May  9 15:32 ioBrokerBackups
drwxrwxrwx   1 ioBroker users            4096 May  4 22:45 test
226 Transfer complete.
ftp> cd ioBrokerBackups
250 CWD command successful.
ftp> ls
200 PORT command successful.
150 Opening BINARY mode data connection for 'file list'.
226 Transfer complete.
ftp> cd ..
250 CWD command successful.
ftp> ls
200 PORT command successful.
150 Opening BINARY mode data connection for 'file list'.
drwxrwxr-x   1 ioBroker users            4096 May  9 15:32 ioBrokerBackups
drwxrwxrwx   1 ioBroker users            4096 May  4 22:45 test
226 Transfer complete.
ftp> cd ioBrokerBackups
250 CWD command successful.
ftp> put
(local-file) /opt/iobroker/backups/iobroker_2020_05_09-20_28_09_backupiobroker.tar.gz
(remote-file) iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz
local: /opt/iobroker/backups/iobroker_2020_05_09-20_28_09_backupiobroker.tar.gz remote: iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz
200 PORT command successful.
150 Opening BINARY mode data connection for 'iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz'.
226 Transfer complete.
2022271 bytes sent in 0.06 secs (32.2836 MB/s)
ftp> 

[TepMan]

FTP-Settings auf dem NAS:

[TepMan]

Und die Settings im Adapter:

[simatec]

@TepMan
Hmmm und im debug log kommt nix? Hab es mit der aktuellen Version gerade mal nachgestellt ... wird bei mir problemlos übertragen

[TepMan]

Startup der Instanz (das Backup-File, das er auf dem FTP-Laufwerk findet, ist genau das, das ich vorhin per Konsole hoch geschoben hatte):

backitup.0	2020-05-09 22:30:03.623	debug	(12930) detect last backup file: iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz
backitup.0	2020-05-09 22:30:03.620	debug	(12930) detect backup file 1: iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz
backitup.0	2020-05-09 22:30:01.603	debug	(12930) FTP connected.
backitup.0	2020-05-09 22:30:01.084	debug	(12930) [iobroker] 10 00 02 */1 * *
backitup.0	2020-05-09 22:30:01.072	info	(12930) [iobroker] backup was activated at 02:00 every 1 day(s)
backitup.0	2020-05-09 22:30:00.983	info	(12930) starting. Version 1.5.6 in /opt/iobroker/node_modules/iobroker.backitup, node: v12.15.0

Ausgabe im Log beim Erstellen des Backups:

backitup.0	2020-05-09 22:32:11.460	debug	(12930) [iobroker/iobroker] done
backitup.0	2020-05-09 22:32:10.437	debug	(12930) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2020_05_09-22_32_06_backupiobroker.tar.gz
backitup.0	2020-05-09 22:32:08.485	debug	(12930) [iobroker/iobroker] host.raspi4 2154 objects saved
backitup.0	2020-05-09 22:32:08.467	debug	(12930) [iobroker/iobroker] host.raspi4 3180 states saved
backitup.0	2020-05-09 22:32:06.414	debug	(12930) Backup has started ...

Ausgabe im Log-Window bei Ausführung des Backups:

Gestartet...
[DEBUG] [iobroker] start with {"type":"creator","time":"02:00","debugging":true,"everyXDays":"1","deleteBackupAfter":0,"ftp":{"enabled":true,"type":"storage","source":"local","host":"192.168.178.20","debugging":true,"deleteOldBackup":true,"ownDir":false,"dir":"/ioBrokerBackups","dirMinimal":"/backupDir/iobroker","user":"ioBroker","pass":"****","port":"21"},"dir":"/opt/iobroker","redis":{"enabled":false,"type":"creator","ftp":{"enabled":true,"type":"storage","source":"local","host":"192.168.178.20","debugging":true,"deleteOldBackup":true,"ownDir":false,"dir":"/ioBrokerBackups","dirMinimal":"/backupDir/iobroker","user":"ioBroker","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"local","mount":"","debugging":true,"fileDir":"/opt/iobroker/node_modules/iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessJson":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"path":"/var/lib/redis"},"historyDB":{"enabled":false,"type":"creator","ftp":{"enabled":true,"type":"storage","source":"local","host":"192.168.178.20","debugging":true,"deleteOldBackup":true,"ownDir":false,"dir":"/ioBrokerBackups","dirMinimal":"/backupDir/iobroker","user":"ioBroker","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"local","mount":"","debugging":true,"fileDir":"/opt/iobroker/node_modules/iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessJson":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"path":"media/usb/history"},"zigbee":{"enabled":true,"type":"creator","ftp":{"enabled":true,"type":"storage","source":"local","host":"192.168.178.20","debugging":true,"deleteOldBackup":true,"ownDir":false,"dir":"/ioBrokerBackups","dirMinimal":"/backupDir/iobroker","user":"ioBroker","pass":"****","port":"21"},"cifs":{"enabled":false,"mountType":"NFS","type":"storage","source":"local","mount":"","debugging":true,"fileDir":"/opt/iobroker/node_modules/iobroker.backitup","wakeOnLAN":false,"macAd":"20:DE:20:DE:20:DE","wolTime":"25","smb":"vers=1.0","sudo":false,"cifsDomain":"","deleteOldBackup":false,"ownDir":false,"dir":"sharename/backupDir","dirMinimal":"sharename/backupDir","user":"","pass":"****"},"dropbox":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessToken":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"googledrive":{"enabled":false,"type":"storage","source":"local","debugging":true,"deleteOldBackup":false,"accessJson":"****","ownDir":false,"dir":"/backupDir","dirMinimal":"/backupDir/iobroker"},"path":"/opt/iobroker/iobroker-data"},"history":{"enabled":true,"type":"message","entriesNumber":"25","systemLang":"de"},"email":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","NoticeType":"longEmailNotice","emailReceiver":"xxx@xxx.com","emailSender":"xxx@xxx.com","onlyError":false,"emailWaiting":0,"systemLang":"de"},"pushover":{"enabled":false,"notificationsType":"Telegram","type":"message","instance":"","SilentNotice":false,"NoticeType":"longPushoverNotice","deviceID":"","onlyError":false,"pushoverWaiting":0,"systemLang":"de"},"backupDir":"/opt/iobroker/backups"}
[DEBUG] [iobroker] - host.raspi4 3180 states saved

[DEBUG] [iobroker] - host.raspi4 2154 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2020_05_09-22_32_06_backupiobroker.tar.gz

[DEBUG] [iobroker] - done

[TepMan]

Theoretisch müsste es doch irgendeine Ausgabe geben, der man entnehmen könnte, ob er versucht, den Upload auszuführen, oder?

[simatec]

@TepMan
Der Backup Prozess bleibt hängen und wird nicht beendet.
Was steht im DP line.output

[TepMan]

[DEBUG] [iobroker] - done

[simatec]

@TepMan
OK ... wenn Backitup durchlaufen würde, müsste exit 0 stehen.
Wie sieht der Log aus, wenn du per nfs auf dein NAS ablegst?
FTP wird garnicht mehr ausgeführt bei dir.

[TepMan]

Bei NFS kann ich keinen User mehr konfigurieren:

Habe es dann per CIFS versucht, da kann er conntecten:

backitup.0	2020-05-09 22:57:55.989	debug	(13740) [iobroker/iobroker] done
backitup.0	2020-05-09 22:57:55.780	debug	(13740) [iobroker/iobroker] host.raspi4 Cannot pack directory /opt/iobroker/node_modules/iobroker.js-controller/tmp/backup: Error [ERR_STREAM_DESTROYED]: Cannot call write after a stream was destroyed
backitup.0	2020-05-09 22:57:54.981	debug	(13740) [iobroker/iobroker] host.raspi4 Cannot pack directory /opt/iobroker/node_modules/iobroker.js-controller/tmp/backup: Error [ERR_STREAM_DESTROYED]: Cannot call write after a stream was destroyed
backitup.0	2020-05-09 22:57:54.966	debug	(13740) [iobroker/iobroker] host.raspi4 Cannot pack directory /opt/iobroker/node_modules/iobroker.js-controller/tmp/backup: Error: EACCES: permission denied, open '/opt/iobroker/backups/iobroker_2020_
backitup.0	2020-05-09 22:57:53.853	debug	(13740) [iobroker/iobroker] host.raspi4 2154 objects saved
backitup.0	2020-05-09 22:57:53.833	debug	(13740) [iobroker/iobroker] host.raspi4 3180 states saved
backitup.0	2020-05-09 22:57:51.691	debug	(13740) [iobroker/mount] done
backitup.0	2020-05-09 22:57:41.292	debug	(13740) Backup has started ...
backitup.0	2020-05-09 22:57:14.962	debug	(13740) mount activ... umount in 2 Seconds!!
backitup.0	2020-05-09 22:57:07.659	debug	(13740) detect last backup file: iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz
backitup.0	2020-05-09 22:57:07.656	debug	(13740) detect backup file 1: iobroker_2020_05_09-20_25_50_backupiobroker.tar.gz
backitup.0	2020-05-09 22:57:04.962	debug	(13740) [iobroker] 10 00 02 */1 * *
backitup.0	2020-05-09 22:57:04.951	info	(13740) [iobroker] backup was activated at 02:00 every 1 day(s)
backitup.0	2020-05-09 22:57:04.897	info	(13740) starting. Version 1.5.6 in /opt/iobroker/node_modules/iobroker.backitup, node: v12.15.0

Aber wie du siehst, schlägt er dann wieder mit dem Permission-Fehler auf...

[simatec]

@TepMan
Oha ... du hast da einige Bugs in deinem System, die du dringend beheben solltest.
Ich empfehle dir eine Neuinstallation.
Irgendwo ist bei dir was grundlegendes schief gelaufen. Denke bei einem node Update oder js-controller Update.
Die Probleme werden sich durchziehen und nicht nur Backitup betreffen.

[TepMan]

Was für Bugs sind denn das? Die ganze Installation läuft seit einem viertel Jahr ohne Probleme...