Test Adapter ioBroker.backitup v3.1.x

[HAL]

@simatec ich habe seit ein paar Tagen Probleme mit dem Backup.
Mein Backup läuft täglich um 05:05 Uhr. Der läuft auch durch nur ist danach die Weboberfläche von iobroker nicht mehr zu erreichen und es werden auch keine Daten mehr in meine influx db geschrieben. Nach einem iobrocker restart läuft wieder alles.

Möglicherweise hängt es mit dem verfügbaren Speicher zusammen. Ich habe im log alle Meldungen die nicht vom backitup adapter stammen gelöscht, bis auf die zum Speicher ( Zeile 8 + 10 )

2021-09-28 05:05:10.259 - debug: backitup.0 (2721) Backup has started ...
2021-09-28 05:05:20.261 - debug: backitup.0 (2721) [iobroker/mount] noserverino option: false
2021-09-28 05:05:20.263 - debug: backitup.0 (2721) [iobroker/mount] cifs-mount command: "sudo mount -t cifs -o username=***,password=****,rw,file_mode=0777,dir_mode=0777,vers=3.0 //***/*** /opt/iobroker/backups"
2021-09-28 05:05:20.491 - debug: backitup.0 (2721) [iobroker/mount] mount successfully completed
2021-09-28 05:05:20.494 - debug: backitup.0 (2721) [iobroker/mount] done
2021-09-28 05:05:25.052 - debug: backitup.0 (2721) [iobroker/iobroker] host.tinkerboard 8984 states saved
2021-09-28 05:05:25.122 - debug: backitup.0 (2721) [iobroker/iobroker] host.tinkerboard 12563 objects saved
2021-09-28 05:10:01.620 - warn: host.tinkerboard Your system has only 53 MB RAM left available and an additional adapter process is started. Please check your system, settings and active instances to prevent swapping and Out-Of-Memory situations!
2021-09-28 05:10:04.157 - debug: backitup.0 (2721) system.adapter.javascript.0: logging false
2021-09-28 05:11:24.722 - warn: host.tinkerboard Your system has only 67 MB RAM left available and an additional adapter process is started. Please check your system, settings and active instances to prevent swapping and Out-Of-Memory situations!
2021-09-28 05:13:50.493 - debug: backitup.0 (2721) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2021_09_28-05_05_20_TinkerS_backupiobroker.tar.gz
2021-09-28 05:13:51.578 - debug: backitup.0 (2721) [iobroker/iobroker] done
2021-09-28 05:13:51.733 - debug: backitup.0 (2721) [iobroker/influxDB] Start InfluxDB Backup ...
2021-09-28 05:13:51.748 - debug: backitup.0 (2721) [iobroker/influxDB] InfluxDB Backup tmp directory created
2021-09-28 05:15:04.628 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 51MB so far...
2021-09-28 05:15:14.628 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 79MB so far...
2021-09-28 05:15:24.630 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 105MB so far...
2021-09-28 05:15:34.632 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 132MB so far...
2021-09-28 05:15:44.631 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 158MB so far...
2021-09-28 05:15:54.631 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 185MB so far...
2021-09-28 05:16:04.637 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 209MB so far...
2021-09-28 05:16:14.631 - debug: backitup.0 (2721) [iobroker/influxDB] Packed 236MB so far...
2021-09-28 05:16:18.902 - debug: backitup.0 (2721) [iobroker/influxDB] Backup created: /opt/iobroker/backups/influxDB_2021_09_28-05_13_51_TinkerS_backupiobroker.tar.gz
2021-09-28 05:16:18.975 - debug: backitup.0 (2721) [iobroker/influxDB] Try deleting the InfluxDB tmp directory
2021-09-28 05:16:19.514 - debug: backitup.0 (2721) [iobroker/influxDB] InfluxDB tmp directory was successfully deleted
2021-09-28 05:16:19.515 - debug: backitup.0 (2721) [iobroker/influxDB] done
2021-09-28 05:16:20.426 - debug: backitup.0 (2721) [iobroker/grafana] Start Grafana Backup ...
2021-09-28 05:16:20.441 - debug: backitup.0 (2721) [iobroker/grafana] Created grafana_tmp directory: "/opt/iobroker/backups/grafana_tmp"
2021-09-28 05:16:20.452 - debug: backitup.0 (2721) [iobroker/grafana] Created dashboard directory
2021-09-28 05:16:20.465 - debug: backitup.0 (2721) [iobroker/grafana] Created dashboards_manually_restore directory
2021-09-28 05:16:20.478 - debug: backitup.0 (2721) [iobroker/grafana] Created datasource directory
2021-09-28 05:16:20.483 - debug: backitup.0 (2721) [iobroker/grafana] start Grafana request ...
2021-09-28 05:16:20.819 - debug: backitup.0 (2721) [iobroker/grafana] Grafana is available ... Status: 200
2021-09-28 05:16:21.254 - debug: backitup.0 (2721) [iobroker/grafana] Error on Grafana Dashoard Request: Error: Request failed with status code 401
2021-09-28 05:16:21.255 - debug: backitup.0 (2721) [iobroker/grafana] start Grafana backup compress ...
2021-09-28 05:16:21.268 - debug: backitup.0 (2721) [iobroker/grafana] Try deleting the Grafana tmp directory: "/opt/iobroker/backups/grafana_tmp"
2021-09-28 05:16:21.337 - debug: backitup.0 (2721) [iobroker/grafana] Grafana tmp directory "/opt/iobroker/backups/grafana_tmp" successfully deleted
2021-09-28 05:16:21.338 - debug: backitup.0 (2721) [iobroker/grafana] cannot found Grafana Backup files
2021-09-28 05:16:21.338 - debug: backitup.0 (2721) [iobroker/grafana] done
2021-09-28 05:16:22.828 - debug: backitup.0 (2721) [iobroker/javascripts] Backup created: /opt/iobroker/backups/javascripts_2021_09_28-05_16_21_backupiobroker.tar.gz
2021-09-28 05:16:22.829 - debug: backitup.0 (2721) [iobroker/javascripts] done
2021-09-28 05:16:23.133 - debug: backitup.0 (2721) [iobroker/cifs] done
2021-09-28 05:16:23.824 - debug: backitup.0 (2721) [iobroker/clean] delete /opt/iobroker/backups/iobroker_2021_09_23-05_05_20_TinkerS_backupiobroker.tar.gz
2021-09-28 05:16:23.886 - debug: backitup.0 (2721) [iobroker/clean] delete /opt/iobroker/backups/influxDB_2021_09_25-05_05_49_TinkerS_backupiobroker.tar.gz
2021-09-28 05:16:23.899 - debug: backitup.0 (2721) [iobroker/clean] delete /opt/iobroker/backups/javascripts_2021_09_23-05_08_03_backupiobroker.tar.gz
2021-09-28 05:16:23.906 - debug: backitup.0 (2721) [iobroker/clean] done
2021-09-28 05:16:24.702 - debug: backitup.0 (2721) [iobroker/historyHTML] new history html values created
2021-09-28 05:16:24.704 - debug: backitup.0 (2721) [iobroker/historyHTML] done
2021-09-28 05:16:24.867 - debug: backitup.0 (2721) [iobroker/historyJSON] new history json values created
2021-09-28 05:16:24.868 - debug: backitup.0 (2721) [iobroker/historyJSON] done
2021-09-28 05:16:25.050 - debug: backitup.0 (2721) [iobroker/umount] mount activ, umount is started ...
2021-09-28 05:16:30.236 - debug: backitup.0 (2721) [iobroker/umount] umount successfully completed
2021-09-28 05:16:30.242 - debug: backitup.0 (2721) [iobroker/umount] done
2021-09-28 05:16:30.394 - debug: backitup.0 (2721) [iobroker] exec: done

Was könnte den Fehler verursachen ?

[Thomas Braun]

@hal

Die Meldungen sind ja mehr als eindeutig.
Zuwenig RAM für den speicherhungrigen Backup-Prozess.

Wie viel ist da überhaupt verfügbar?

free -ht

[HAL]

@thomas-braun sagte in Test Adapter Backitup v2.1.x:

@hal

Die Meldungen sind ja mehr als eindeutig.
Zuwenig RAM für den speicherhungrigen Backup-Prozess.

Wie viel ist da überhaupt verfügbar?

free -ht

pi@tinkerboard:~$ free -ht
              total        used        free      shared  buff/cache   available
Mem:           2,0G        841M        759M         11M        407M        1,1G
Swap:           99M          0B         99M
Total:         2,1G        841M        859M

[Thomas Braun]

@hal

Das sieht eigentlich grundsätzlich nicht verkehrt aus.
Wie sehen die einzelnen Einstellungen für die jeweiligen Backups im Backitup-Adapter aus?

[HAL]

@thomas-braun

[simatec]

@hal Der Pfad für die Javascript Sicherung sieht komisch aus?
Was hast du im Javascript Adapter als Mirror Pfad eingetragen?
Nimm mal lieber in beiden Adapter den Pfad /home/iobroker/javasicherung

[Thomas Braun]

@simatec @HAL
Ich bin ja dafür das Javascript-Backup in /home/iobroker zu packen. Da passt das am besten hin. In / hat das nix zu suchen.

[simatec]

@thomas-braun meinte ich auch ... ist schon zu spät

[HAL]

@thomas-braun der Pfad ist angepasst, ich habe zwei Instanzen von Adaptern gestopt, die gerade nicht benötigt werden und jetzt backitup gestartet. Die Weboberfläche ist nicht erreichbar ( backitup wurde vor 15min. Gestartet ). Ich vermute immer noch als Ursache den Speicherverbrauch vom backitup.

Linux tinkerboard 4.4.132+ #8 SMP Thu Aug 13 08:51:08 UTC 2020 armv7l

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Wed Sep 29 08:34:38 2021 from 192.168.178.165
pi@tinkerboard:~$ free ht
              total        used        free      shared  buff/cache   available
Mem:        2057272     1966896       48864       21408       41512       53256
Swap:        102396      102396           0
pi@tinkerboard:~$ free ht
              total        used        free      shared  buff/cache   available
Mem:        2057272     1969604       46904       21408       40764       50848
Swap:        102396      102396           0
pi@tinkerboard:~$ free ht
              total        used        free      shared  buff/cache   available
Mem:        2057272     1969584       47864       21408       39824       51284
Swap:        102396      102396           0
pi@tinkerboard:~$ free ht
              total        used        free      shared  buff/cache   available
Mem:        2057272     1973244       45204       21408       38824       48060
Swap:        102396      102396           0
pi@tinkerboard:~$ free ht
              total        used        free      shared  buff/cache   available
Mem:        2057272     1266588       49040       20672      741644      750548
Swap:        102396      102396           0
pi@tinkerboard:~$

Nach iobroker restart

pi@tinkerboard:~$ free ht
              total        used        free      shared  buff/cache   available
Mem:        2057272      942636      348576       20940      766060     1074296
Swap:        102396       83212       19184
pi@tinkerboard:~$ free ht
``

[simatec]

@hal Wie groß ist denn dein iobroker Backup und dein Influx Backup?

[HAL]

@simatec Ich vermute das Problem bei den von mir kürzlich installierten ring Adapter. Im Backup werden alle jpg und mp4 mit gespeichert und das bläst die "iobroker_2021_09_26-05_05_20_TinkerS_backupiobroker.tar.gz" auf die doppelte Größe ( den speicherpfad habe ich jetzt von /iobroker-data in /home geändert) Grafana wird auch nicht mehr gespeichert, das werde ich mir näher ansehen.

btw gäbe es eine Möglichkeit einzelne kleine shell scripte mit in den backup prozess aufzunehmen ?

[simatec]

@hal Wenn du Ring verwendest, wird dein Backup schnell riesengroß und kann bei dem vorhandenen RAM zu Problemen führen.
Entweder auslagern oder regelmäßig löschen lassen.
Glaub im Ring Adapter gibt es dafür Optionen

[HAL]

@simatec ich move die Dateien jedes Stunde auf einen samba server, eigentlich sollte die Datei Nachts leer sein. Ich stoße gleich noch mal einen Backup an, lösche vorher alle jpg/mp4.

Das hat leider nichts verbessert. Beim/nach backup ist iobroker nicht mehr erreichbar....

Ich habe jetzt mal nur den iobroker Backup im Adapter aktiviert, aber es passiert genau das gleiche. Die Weboberfläche ist nicht mehr erreichbar.

next try. Adapter gelöscht und von github neu installiert. Nur iobroker backup laufen gelassen und hängt sich wieder auf.

[simatec]

@hal
Du hast noch nicht die Frage beantwortet, wie groß das Backup ist?
Wieviel MB hat dein Backup?

[HAL]

@simatec
Ich denke ich habe den Fehler gefunden. Der sitzt wie meistens vor der Konsole. der ring Adapter speichert die jpg + mp4 nicht nur im snapshoot Pfad sondern zusätzlich im Adapter Pfad selbst. Im Adapterpfad waren noch alte Dateien, die den Backup unsinnig aufgeblasen haben.
Nach dem ich jetzt alles bereinigt habe, läuft der Backup durch.
Grösse:
iobroker 11.238k
influxdb 254.801K
Grafana der Backup läuft nicht , den Fehler muß ich noch suchen
Meldung:

[DEBUG] [grafana] - Start Grafana Backup ...
[DEBUG] [grafana] - Created grafana_tmp directory: "/opt/iobroker/backups/grafana_tmp"
[DEBUG] [grafana] - Created dashboard directory
[DEBUG] [grafana] - Created dashboards_manually_restore directory
[DEBUG] [grafana] - Created datasource directory
[DEBUG] [grafana] - start Grafana request ...
[DEBUG] [grafana] - Grafana is available ... Status: 200
[DEBUG] [grafana] - Error on Grafana Dashoard Request: Error: Request failed with status code 401
[DEBUG] [grafana] - start Grafana backup compress ...
[DEBUG] [grafana] - Try deleting the Grafana tmp directory: "/opt/iobroker/backups/grafana_tmp"
[DEBUG] [grafana] - Grafana tmp directory "/opt/iobroker/backups/grafana_tmp" successfully deleted
[DEBUG] [grafana] - cannot found Grafana Backup files

[simatec]

@hal Zugangsdaten und ApiKey für Grafana prüfen.

[simatec]

Ab sofort steht die Version 2.2.0 auf Github und in kürze auch im latest zur Verfügung.

Die Version enthält einige Neuerungen, die ich hier kurz zusammenfasse.
Eine ausführliche Erklärung zu den neuen Funktionen findet Ihr in der Doku zum Adapter.

Changelog

2.2.0 (06.10.2021)

• (simatec) multihost function for master/slave systems added
• (simatec) Multi CCU Backup added
• (simatec) Multi InfluxDB Backup added
• (simatec) Multi MySql Backup added
• (simatec) Multi PGSql Backup added
• (simatec) Yahka backup added
• (simatec) Yahka Restore added
• (simatec) new Restore Interface added
• (simatec) new Tab-Menu added
• (simatec) Docker Support added
• (simatec) delete option for temp-directory added
• (simatec) breaking changes!! Javascript Backup from Objects added
• (simatec) breaking changes!! Javascript Restore from Objects added
• (simatec) WebDav option to use self-signed certificates

Wichtige Informationen zum Multihost-Support findet ihr hier
Weitere Informationen zum Docker-Support sind hier zu finden und Änderungen des Javascript-Backup findet ihr hier

Viel Spaß beim testen ...

[simatec]

Ab sofort steht auf Github und in kürze auch im latest die Version 2.2.1 zur Verfügung.

Changelog

2.2.1 (08.10.2021)

• (simatec) CCU option to use self-signed certificates
• (simatec) small fix for Javascript Message

[Dr. Bakterius]

Vielleicht wurde das folgende Problem ja schon in den letzten >684 Beiträgen behandelt?

Wenn Backitup den Mount für das Backup nicht einbinden kann (zumindest bei einer Windowsfreigabe mit CIFS unter SMB 2.0), dann werden danach keine weiteren Backups durchgeführt. Das Datum für das nächste Backup bleibt "hängen". Man muss die Instanz neu starten damit wieder Backups in der Zukunft erfolgen.

[simatec]

@dr-bakterius Kannst du dazu bitte den Debug-Log posten