Backup funktioniert nicht mehr

[norman]

@homoran said in Backup funktioniert nicht mehr:

ein Versuch wär's wert

habe ich gerade schon versucht, gleiches Bild......hab mir parallel dazu mal htop angeschaut, der dümpelt am Anfang bei 350MB rum (belegter RAM), nach dem Backup-Start schießt er dann innerhalb von 30-40 Sekunden hoch bis der RAM komplett voll ist, dann ist die Verbindung kurz weg und dann kommt er wieder mit ca. 200MB belegtem RAM.

Ich kann mir irgendwie nicht vorstellen, dass das mit dem RAM zusammen hängt.
Bis vor einem Jahr hatte ich den Pi3+ mit 1GB RAM laufen und konnte dort immer Backups machen.
Jetzt sind es gerade mal 2 Instanzen mehr als damals.
Okay, mal abgesehen von den ganzen Widgets für die Vis, könnte das ein Problem darstellen?

[Homoran]

@norman sagte in Backup funktioniert nicht mehr:

Ich kann mir irgendwie nicht vorstellen, dass das mit dem RAM zusammen hängt.

wieso nicht.
Das Backup muss die gesamte Installation durchforsten, die Konfigurationen (im RAM) sammeln und dann packen.

@norman sagte in Backup funktioniert nicht mehr:

Bis vor einem Jahr hatte ich den Pi3+ mit 1GB RAM laufen und konnte dort immer Backups machen.

das würde heute nicht mehr klappen.
ioBroker hat deutlich mehr Funktionen und mit 1GB RAM wären schon 10-15 Instanzen grenzwertig

[norman]

@homoran said in Backup funktioniert nicht mehr:

das würde heute nicht mehr klappen.
ioBroker hat deutlich mehr Funktionen und mit 1GB RAM wären schon 10-15 Instanzen grenzwertig

Okay, du bist der Experte, ich will dir mal glauben
Was mich jetzt aber zu der Frage bringt: kann ich jetzt nie wieder ein Backup meiner bestehenden Installation machen mit dieser Hardware?
Hab ich gar keine Möglichkeit dazu?
Evtl. wieder Swap aktivieren, nur um das Backup zu erstellen und dann wieder deaktivieren?
Oder gibt es die Möglichkeit irgendwo abzuspecken?

[simatec]

@norman Ich denke eher dein System hat einen Bug. Welcher Prozess lässt denn den RAM beim Backup hochschießen?

[norman]

@simatec said in Backup funktioniert nicht mehr:

@norman Ich denke eher dein System hat einen Bug. Welcher Prozess lässt denn den RAM beim Backup hochschießen?

so wie es ausschaut, der JS-Controller:

login as: pi
pi@192.168.178.60's password:
Linux raspberrypi 5.4.79-v7l+ #1373 SMP Mon Nov 23 13:27:40 GMT 2020 armv7l

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Tue Dec  7 19:08:38 2021 from 192.168.178.20

Wi-Fi is currently blocked by rfkill.
Use raspi-config to set the country before use.

pi@raspberrypi:~ $ htop
pi@raspberrypi:~ $ free -ht
              total        used        free      shared  buff/cache   available
Mem:          1,8Gi       1,0Gi       333Mi        16Mi       506Mi       875Mi
Swap:            0B          0B          0B
Total:        1,8Gi       1,0Gi       333Mi
pi@raspberrypi:~ $ free -m
              total        used        free      shared  buff/cache   available
Mem:           1867        1027         332          16         506         875
Swap:             0           0           0
pi@raspberrypi:~ $ sudo sh -c 'echo 3 >/proc/sys/vm/drop_caches'
pi@raspberrypi:~ $ free -ht
              total        used        free      shared  buff/cache   available
Mem:          1,8Gi       1,0Gi       760Mi        16Mi        79Mi       896Mi
Swap:            0B          0B          0B
Total:        1,8Gi       1,0Gi       760Mi
pi@raspberrypi:~ $ htop

  1  [|||||||||||||||||||||||||||                                                             27.8%]   Tasks: 48, 187 thr; 3 running
  2  [||||||||||||||||||||||||||                                                              26.8%]   Load average: 1.22 0.82 0.44
  3  [|||||||||||                                                                             10.6%]   Uptime: 1 day, 19:48:33
  4  [||||||                                                                                   6.0%]
  Mem[||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||1.72G/1.82G]
  Swp[                                                                                        0K/0K]

  PID USER      PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
 4768 iobroker   20   0 1148M 1051M 23084 R 34.3 56.3 18:00.71 iobroker.js-controller
 4771 iobroker   20   0 1148M 1051M 23116 S  4.6 56.3  0:55.45 iobroker.js-controller
 4772 iobroker   20   0 1148M 1051M 23116 S  4.0 56.3  0:54.05 iobroker.js-controller
 4774 iobroker   20   0 1148M 1051M 23108 S  4.0 56.3  0:54.56 iobroker.js-controller
14638 pi         20   0  6416  3056  1756 R  2.0  0.2  0:03.72 htop
 4773 iobroker   20   0 1148M 1051M 23112 S  1.3 56.3  0:54.37 iobroker.js-controller
 5026 iobroker   20   0  222M  123M 22636 S  1.3  6.6 28:33.92 io.javascript.0
  570 redis      20   0 34756  5340  1576 S  0.7  0.3 55:49.11 /usr/bin/redis-server 127.0.0.1:6379
 5144 iobroker   20   0  156M 53632 21544 S  0.7  2.8  5:41.47 io.rpi2.0
 4816 iobroker   20   0  172M 73532 23344 S  0.7  3.8  4:00.41 io.zigbee.0
 4993 iobroker   20   0  152M 57408 22300 S  0.7  3.0  1:32.78 io.info.0
  591 homebridg  20   0  165M 58100 14260 S  0.7  3.0  1:44.61 hb-service
  601 homebridg  20   0  165M 58100 14260 S  0.7  3.0  0:01.25 hb-service
 4786 iobroker   20   0  171M 76724 23788 S  0.0  4.0  6:57.74 io.admin.0
 4969 iobroker   20   0  159M 63952 21648 S  0.0  3.3 23:24.19 io.hs100.0
14724 iobroker   20   0  134M 46068 22376 S  0.0  2.4  0:01.78 /usr/bin/node /opt/iobroker/node_modules/iobroker.backitup/main.js 0 info
 4462 iobroker   20   0  141M 46724 22984 S  0.0  2.4  1:11.84 io.lgtv.0
 5055 iobroker   20   0  154M 53260 21540 S  0.0  2.8  2:31.25 io.mqtt.0
 5000 iobroker   20   0  153M 54868 22448 S  0.0  2.9  1:16.37 io.iot.0
 5626 iobroker   20   0  148M 50544 21528 S  0.0  2.6  1:28.83 io.wallpanel.0
 4788 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:05.56 io.admin.0
 5007 iobroker   20   0  158M 59828 22468 S  0.0  3.1  3:13.49 io.alexa2.0
  731 homebridg  20   0  140M 30580  8984 S  0.0  1.6  1:32.86 homebridge
 4947 iobroker   20   0  158M 57768 22496 S  0.0  3.0  3:19.37 io.evohome.0
14443 pi         20   0 12240  4164  3368 S  0.0  0.2  0:00.42 sshd: pi@pts/0
 4962 iobroker   20   0  155M 56988 21768 S  0.0  3.0  1:59.85 io.history.0
 4973 iobroker   20   0  159M 63952 21648 S  0.0  3.3  0:04.00 io.hs100.0
14740 iobroker   20   0  116M 47388 20784 S  0.0  2.5  0:04.44 /usr/bin/node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js backup /opt/iobroker/backups/iobroker_2021_12_08-18_25_49_backupiobr
14744 iobroker   20   0  116M 47400 20796 S  0.0  2.5  0:00.34 /usr/bin/node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js backup /opt/iobroker/backups/iobroker_2021_12_08-18_25_49_backupiobr
14745 iobroker   20   0  116M 47396 20792 S  0.0  2.5  0:00.30 /usr/bin/node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js backup /opt/iobroker/backups/iobroker_2021_12_08-18_25_49_backupiobr
14742 iobroker   20   0  116M 47408 20804 S  0.0  2.5  0:00.35 /usr/bin/node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js backup /opt/iobroker/backups/iobroker_2021_12_08-18_25_49_backupiobr
14743 iobroker   20   0  116M 47404 20800 S  0.0  2.5  0:00.44 /usr/bin/node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js backup /opt/iobroker/backups/iobroker_2021_12_08-18_25_49_backupiobr
 4791 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:05.68 io.admin.0
 4790 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:05.90 io.admin.0
 5030 iobroker   20   0  222M  123M 22636 S  0.0  6.6  0:05.90 io.javascript.0
  338 avahi      20   0  5904  1396  1060 S  0.0  0.1  0:57.86 avahi-daemon: running [raspberrypi.local]
14727 iobroker   20   0  134M 46072 22380 S  0.0  2.4  0:00.06 /usr/bin/node /opt/iobroker/node_modules/iobroker.backitup/main.js 0 info
 4779 iobroker   20   0 1148M 1051M 23088 S  0.0 56.3  0:03.35 iobroker.js-controller
 5028 iobroker   20   0  222M  123M 22636 S  0.0  6.6  0:05.87 io.javascript.0
 4778 iobroker   20   0 1148M 1051M 23092 S  0.0 56.3  0:03.34 iobroker.js-controller
14728 iobroker   20   0  134M 46068 22376 S  0.0  2.4  0:00.05 /usr/bin/node /opt/iobroker/node_modules/iobroker.backitup/main.js 0 info
14726 iobroker   20   0  134M 46076 22384 S  0.0  2.4  0:00.02 /usr/bin/node /opt/iobroker/node_modules/iobroker.backitup/main.js 0 info
14729 iobroker   20   0  134M 46068 22376 S  0.0  2.4  0:00.02 /usr/bin/node /opt/iobroker/node_modules/iobroker.backitup/main.js 0 info
 4789 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:06.09 io.admin.0
 4777 iobroker   20   0 1148M 1051M 23096 S  0.0 56.3  0:03.59 iobroker.js-controller
 4794 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:03.00 io.admin.0
  599 homebridg  20   0  165M 58100 14260 S  0.0  3.0  0:01.23 hb-service
  347 root       20   0 27656   116     0 S  0.0  0.0  0:12.18 /usr/sbin/rngd -r /dev/hwrng
 4972 iobroker   20   0  159M 63952 21648 S  0.0  3.3  0:03.86 io.hs100.0
  148 root       20   0 18104  1852   964 S  0.0  0.1  0:01.13 /lib/systemd/systemd-udevd
 4776 iobroker   20   0 1148M 1051M 23100 S  0.0 56.3  0:03.41 iobroker.js-controller
 4795 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:02.33 io.admin.0
 4793 iobroker   20   0  171M 76724 23788 S  0.0  4.0  0:02.61 io.admin.0
  350 root       20   0 27656   116     0 S  0.0  0.0  0:09.48 /usr/sbin/rngd -r /dev/hwrng
F1Help  F2Setup F3SearchF4FilterF5Tree  F6SortByF7Nice -F8Nice +F9Kill  F10Quit

[Thomas Braun]

@norman

Kein swap? Warum hast du das ganz ausgeknipst? Was hast du sonst noch am System rumgeschraubt?

[Homoran]

@norman sagte in Backup funktioniert nicht mehr:

so wie es ausschaut, der JS-Controller:

und warum sortierst du nicht nach MEM?

[norman]

@thomas-braun said in Backup funktioniert nicht mehr:

@norman

Kein swap? Warum hast du das ganz ausgeknipst? Was hast du sonst noch am System rumgeschraubt?

Das Swapping hab ich ausgeschaltet, um die SD-Karte zu schonen.....
Deshalb ja gestern meine Frage, ob es sinnvoll ist, ds swapping zu aktivieren zum Backup

[Thomas Braun]

@norman sagte in Backup funktioniert nicht mehr:

Das Swapping hab ich ausgeschaltet, um die SD-Karte zu schonen.....

Dann hast du aber ein Problem an anderer Stelle, wenn swap dauerhaft benutzt wird. Das ganze ist als Notüberlauf konzipiert. Im Idealfall wird das nicht benutzt, sollte aber halt vorhanden sein.

[norman]

@thomas-braun said in Backup funktioniert nicht mehr:

@norman sagte in Backup funktioniert nicht mehr:

Das Swapping hab ich ausgeschaltet, um die SD-Karte zu schonen.....

Dann hast du aber ein Problem an anderer Stelle, wenn swap dauerhaft benutzt wird. Das ganze ist der Notüberlauf konzipiert. Im Idealfall wird das nicht benutzt, sollte aber halt vorhanden sein.

Hab es gerade mit Swapping probiert, keine Änderung

[norman]

@homoran said in Backup funktioniert nicht mehr:

@norman sagte in Backup funktioniert nicht mehr:

so wie es ausschaut, der JS-Controller:

und warum sortierst du nicht nach MEM?

Macht ja keinen Unterschied, bleibt trotzdem der JS-Controller:

  1  [|||||||||||                                                                             10.8%]   Tasks: 49, 227 thr; 4 running
  2  [||||||||                                                                                 7.3%]   Load average: 3.36 1.23 0.64
  3  [|||||||||||||||||||                                                                     19.2%]   Uptime: 1 day, 21:27:21
  4  [||||||                                                                                   5.0%]
  Mem[||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||1.76G/1.82G]
  Swp[|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||99.9M/100.0M]

  PID USER      PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
14878 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:00.00 iobroker.js-controller
14879 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:03.30 iobroker.js-controller
14880 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:03.90 iobroker.js-controller
14881 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:03.55 iobroker.js-controller
14882 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:03.63 iobroker.js-controller
14871 iobroker   20   0 1285M 1085M  6452 R 12.9 58.1  7:27.81 iobroker.js-controller
14873 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:00.00 iobroker.js-controller
14874 iobroker   20   0 1285M 1085M  6452 S  1.1 58.1  0:46.98 iobroker.js-controller
14875 iobroker   20   0 1285M 1085M  6452 S  0.6 58.1  0:46.89 iobroker.js-controller
14876 iobroker   20   0 1285M 1085M  6452 S  1.7 58.1  0:46.78 iobroker.js-controller
14877 iobroker   20   0 1285M 1085M  6452 S  0.0 58.1  0:46.99 iobroker.js-controller
14922 iobroker   20   0  216M  101M  6716 S  1.7  5.4  1:37.05 io.javascript.0
14923 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:00.00 io.javascript.0
14924 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:01.63 io.javascript.0
14925 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:01.42 io.javascript.0
14926 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:01.65 io.javascript.0
14927 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:01.84 io.javascript.0
14928 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:00.00 io.javascript.0
14946 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:00.04 io.javascript.0
14947 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:00.04 io.javascript.0
14948 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:00.04 io.javascript.0
14949 iobroker   20   0  216M  101M  6716 S  0.0  5.4  0:00.04 io.javascript.0
15666 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:00.00 io.ring.0
15668 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:03.73 io.ring.0
15667 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:04.18 io.ring.0
15669 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:03.83 io.ring.0
15670 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:04.27 io.ring.0
15671 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:00.00 io.ring.0
15733 iobroker   20   0  159M 50940  9700 S  0.0  2.7  0:03.30 io.ring.0
15734 iobroker   20   0  159M 50900  9700 S  0.0  2.7  0:03.39 io.ring.0
15736 iobroker   20   0  159M 50884  9700 S  0.0  2.7  0:03.32 io.ring.0
15735 iobroker   20   0  159M 50884  9700 S  0.0  2.7  0:03.44 io.ring.0
15665 iobroker   20   0  159M 50884  9700 S  1.1  2.7  3:04.63 io.ring.0
14908 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:00.00 io.admin.0
14909 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:01.65 io.admin.0
14910 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:01.69 io.admin.0
14911 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:01.81 io.admin.0
14912 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:01.76 io.admin.0
14913 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:00.00 io.admin.0
14914 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:00.23 io.admin.0
14915 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:00.12 io.admin.0
14916 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:00.28 io.admin.0
14917 iobroker   20   0  161M 48272  5248 S  0.0  2.5  0:00.17 io.admin.0
14907 iobroker   20   0  161M 48272  5248 S  0.6  2.5  0:53.57 io.admin.0
15065 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.00 io.zigbee.0
15066 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.94 io.zigbee.0
15067 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.91 io.zigbee.0
15068 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.78 io.zigbee.0
15069 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.78 io.zigbee.0
15070 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.00 io.zigbee.0
15086 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.06 io.zigbee.0
15087 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.06 io.zigbee.0
15088 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.06 io.zigbee.0
15089 iobroker   20   0  166M 45812   712 S  0.0  2.4  0:00.05 io.zigbee.0
F1Help  F2Setup F3SearchF4FilterF5Tree  F6SortByF7Nice -F8Nice +F9Kill  F10Quit

[norman]

@norman said in Backup funktioniert nicht mehr:

@thomas-braun said in Backup funktioniert nicht mehr:

@norman

Was hast du sonst noch am System rumgeschraubt?

Sonst nix, ehrlich nicht. Der Raspi kam so out of the Box, hab nur IObroker installiert und die Homebridge, wobei ich die nicht mehr nutze.

[simatec]

@norman Mein Rat … nimm ein neues Raspi minimal Image. Flashe eine Karte installiere iobroker nach Anleitung aus der offiziellen Doku und führe mit dem letzten funktionieren Backup einen Restore durch.

Dein System hat definitiv ein Problem.

Ist auch kein großes Ding … dauert ne halbe Stunde und dann noch mal ein Stündchen warten, bis alle Adapter laufen

[norman]

@simatec said in Backup funktioniert nicht mehr:

@norman Mein Rat … nimm ein neues Raspi minimal Image. Flashe eine Karte installiere iobroker nach Anleitung aus der offiziellen Doku und führe mit dem letzten funktionieren Backup einen Restore durch.

Dein System hat definitiv ein Problem.

Ist auch kein großes Ding … dauert ne halbe Stunde und dann noch mal ein Stündchen warten, bis alle Adapter laufen

Ja, ich weiß, hab vor einem Jahr schonmal ein Backup eingespielt, das ging echt super.
Dachte nur, man könne es vermeiden weil mittlerweile 3 Adapter mehr da sind sowie VIS und Scripte.
Die Vis und die Scripte kann ich ja separat sichern, reicht es aus, wenn ich im Vis-Editor das Projekt exportiere und anschliessend wieder importiere?

[simatec]

@norman Wann hast du denn dein letztes Backup gemacht?

[norman]

@simatec said in Backup funktioniert nicht mehr:

@norman Wann hast du denn dein letztes Backup gemacht?

vor 4 Wochen. Aber in den letzten 4 Wochen habe ich noch eine Ring installiert sowie das Wallpanel für die Vis und die Vis neu aufgesetzt.
Wallpanel, MQTT und Ring sind jetzt nicht das große Problem, die hab ich schnell nochmal drauf, eher die Vis, da stecken jetzt 3 Wochen Arbeit drinne.
Deshalb wollte ich jetzt ja nochmal sichern und da fiel mir erst auf, dass Backitup nicht mehr geht.

[simatec]

@norman Wenn ich Ring lese läuten bei mir alle Alarmglocken.
Wo liegen deine gespeicherten Videos und Snapshots? Mit großer Wahrscheinlichkeit in iobroker dir. Dann ist klar, warum iobroker bzw. dein System beim Backup in die Knie geht

[norman]

@simatec said in Backup funktioniert nicht mehr:

@norman Wenn ich Ring lese läuten bei mir alle Alarmglocken.
Wo liegen deine gespeicherten Videos und Snapshots? Mit großer Wahrscheinlichkeit in iobroker dir. Dann ist klar, warum iobroker bzw. dein System beim Backup in die Knie geht

Nö, die hab ich alle deaktiviert weil das mit dem Adapter eh nicht richtig funktioniert.
Ausserdem hab ich in weiser Voraussicht auch schon den Ordner händisch geleert....

[simatec]

@norman
Was passiert denn, wenn du das Backup über die Konsole ausführst?

[norman]

@simatec said in Backup funktioniert nicht mehr:

@norman
Was passiert denn, wenn du das Backup über die Konsole ausführst?

Genau das gleiche, blos das ich dann noch diese Fehlermeldungen im Log sehe: