Abstürze vor allem beim dayly Backup

[Thomas Braun]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Jedenfalls ist gerade das Backup vollständig ohne Absturz des RaspberryPi durchgelaufen.

Ich denke übrigens, die Kiste ist gar nicht richtig abgeschmiert, die war nur komplett dicht.

[dragricola]

@thomas-braun said in Abstürze vor allem beim dayly Backup:

die war nur komplett dicht.

Wie kann man das feststellen? SSH ging nicht und auch in der SQL-Datenbank wurde über mehrere Stunden nichts registriert.
Kann man unter Linux bei Memory Knappheit Daten auf die SSD auslagern?

[Homoran]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Kann man unter Linux bei Memory Knappheit Daten auf die SSD auslagern?

das passiert dann, nennt sich SWAP.
da hast du 99MB und die sind bereits fast vollständig benutzt

Swap:            99M         95M        4.0M

Das kostet I/O Ressourcen und bremst die CPU aus.
dann ist der Rechner "nicht erreichbar" weil überlastet.

Sieht man mit top wenn die Load über 4 geht bremsts...bis zum scheinbaren Stillstand

[Thomas Braun]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Kann man unter Linux bei Memory Knappheit Daten auf die SSD auslagern?

Man könnte swap als swap file anlegen. Aber das ist nur ein Notstopfen und ist kein Ersatz für 'ordentliches' RAM.

[Codierknecht]

@thomas-braun sagte in Abstürze vor allem beim dayly Backup:

Man könnte swap als swap file anlegen. Aber das ist nur ein Notstopfen und ist kein Ersatz für 'ordentliches' RAM.

@dragricola
Und bremst die Kiste ziemlich aus.

Als weiteren "Notnagel" - um zumindest das Backup zu stabilisieren - könnte man unwichtige Instanzen per Script nachts stoppen.
Aber auch wirklich nur als Notnagel. Bei der Menge an laufenden Instanzen kommst Du langfristig nicht um eine fettere Kiste herum.

[dragricola]

@codierknecht said in Abstürze vor allem beim dayly Backup:

Als weiteren "Notnagel"

... könnte ich vielleicht auch auf ein DB-System verzichten. Es läuft neben MariaDB auch versuchsweise noch influxdb. Welches ist das schlankere System?

@codierknecht said in Abstürze vor allem beim dayly Backup:

kommst Du langfristig nicht um eine fettere Kiste herum

Ich habe noch eine Synology DS218Play laufen, wäre die geeignet und leistungsfähiger als ein Raspi 4 mit 4GB?

[Thomas Braun]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Synology DS218Play

Hat die nicht nur:
RAM: 1 GB DDR4 RAM (nicht erweiterbar)

[Homoran]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

DS218Play

never!

https://kb.synology.com/de-de/DSM/tutorial/What_kind_of_CPU_does_my_NAS_have

[Codierknecht]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

könnte ich vielleicht auch auf ein DB-System verzichten. Es läuft neben MariaDB auch versuchsweise noch influxdb. Welches ist das schlankere System?

Welches schlanker ist, kann ich Dir nicht sagen, da ich Influx nicht benutze.
Für zeitorientiertes Loggen soll es zwar besser geeignet sein, aber da ich berufsbedingt eher aus der SQL-Ecke komme, kann ich damit nicht viel anfangen. Ich bleibe daher bei MariaDB.
Läuft die MariaDB auf Deinem Raspi?
Vielleicht kannst Du die ja auf die Synology auslagern - das könnte helfen. Wohlgemerkt: Konjunktiv! Ich weiß nicht, ob das auf der kleinen Syno sinnvoll läuft.

[Thomas Braun]

@codierknecht sagte in Abstürze vor allem beim dayly Backup:

Wohlgemerkt: Konjunktiv! Ich weiß nicht, ob das auf der kleinen Syno sinnvoll läuft.

Das ist das ganz kleine DSM. Ich glaube, da ist nicht viel mit ThirdParty-Stuff angesagt.

[dragricola]

@thomas-braun said in Abstürze vor allem beim dayly Backup:

RAM: 1 GB DDR4 RAM

Stimmt! hatte ich nicht mehr auf dem Schirm.
Welche Rechner sind dann empfehlenswert? Der 8GB Raspberry ist wohl derzeit nur schwer zu bekommen.

[Thomas Braun]

@dragricola

Als Alternative im Moment der Banana Pi 5 oder wie der genau heißt. Aber ich weiß nicht wie der beim RAM ausschaut.

Selber habe ich einen RPi4 mit 8GB hier laufen. Taugt mir voll.

[Codierknecht]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Es läuft neben MariaDB auch versuchsweise noch influxdb. Welches ist das schlankere System?

Wenn gerade beide laufen: Schau doch mal nach, was die so brauchen:

ps aux --sort -%mem

[Codierknecht]

@thomas-braun sagte in Abstürze vor allem beim dayly Backup:

Als Alternative im Moment der Banana Pi 5 oder wie der genau heißt. Aber ich weiß nicht wie der beim RAM ausschaut.

Den finde ich nur bis 4GB.
Aber den Orange Pi gibt's mit bis zu 16 GB. Die Version mit 8 GB gibt's beim großen A für < 100$.
Ich meine gelesen zu haben, dass ioB auch darauf läuft ... warum auch nicht?

[dragricola]

@codierknecht said in Abstürze vor allem beim dayly Backup:

Schau doch mal nach, was die so brauchen:

Wenn ich die Daten richtig deute, braucht mysql fast doppelt so viel Memory wie influxdb. Ich speichere allerdings fast alle daten in mariaDB ab. Ob das einen Einfluß auf den Memorybedarf hat weiß ich nicht. Auch die CPU-Auslastung von influxdb ist nur ca ein Drittel der von mysql.

USER         PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
redis        530  6.8  9.0 834636 352128 ?       Ssl  10:00  15:37 /usr/bin/redis-server 127.0.0.1:6379
iobroker    1078  7.8  8.8 1154328 342552 ?      Sl   10:01  17:56 io.javascript.0
iobroker    1150  1.6  5.5 1078784 215264 ?      Sl   10:01   3:44 io.admin.0
mysql        628  1.5  4.6 2651820 181904 ?      Ssl  10:00   3:33 /usr/sbin/mariadbd
iobroker    1493  0.3  2.8 933300 111508 ?       Sl   10:02   0:46 io.tankerkoenig.0
iobroker    1398  1.4  2.5 904856 100800 ?       Sl   10:02   3:22 io.zigbee.0
iobroker     936  0.5  2.5 974620 99572 ?        Ssl  10:01   1:09 iobroker.js-controller
influxdb     800  0.5  2.4 300228 94828 ?        Sl   10:01   1:18 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
iobroker    2499  8.8  2.2 956176 87620 ?        Sl   10:03  19:59 io.ws.0
iobroker    1330  2.1  2.1 699108 83780 ?        Sl   10:02   4:53 io.mqtt.0
iobroker    1212  3.5  2.1 763132 83180 ?        Sl   10:01   8:06 io.sonoff.0
iobroker    1180  1.3  2.1 955704 81668 ?        Sl   10:01   3:04 io.sql.0
iobroker    1576  0.9  1.9 885080 76696 ?        Sl   10:02   2:05 io.backitup.0
iobroker    1612  0.2  1.9 957112 74784 ?        Sl   10:02   0:29 io.web.0
iobroker    1522  3.8  1.8 659420 71740 ?        Sl   10:02   8:42 io.pi-hole.0
iobroker    1071  0.2  1.7 944976 67756 ?        Sl   10:01   0:33 io.telegram.0
iobroker    2445  0.9  1.7 665672 66880 ?        Sl   10:03   2:07 io.alpha2.0
iobroker    2251  0.4  1.7 945612 66164 ?        Sl   10:03   0:56 io.web.1
iobroker    1281  0.6  1.6 2777260 63068 ?       Sl   10:02   1:30 io.synology.0
iobroker    1135  0.4  1.5 937664 61408 ?        Sl   10:01   1:03 io.nuki-extended.0
iobroker    1104  0.7  1.5 675364 61276 ?        Sl   10:01   1:47 io.tr-064.0
iobroker    1549  0.1  1.5 864160 61200 ?        Sl   10:02   0:22 io.info.0
iobroker    1462  0.2  1.5 677744 59384 ?        Sl   10:02   0:32 io.shuttercontrol.0
iobroker    2423  0.3  1.4 736520 57660 ?        Sl   10:03   0:48 io.sourceanalytix.0
iobroker     988  0.2  1.4 937156 56580 ?        Sl   10:01   0:31 io.influxdb.0
iobroker    1445  0.6  1.3 654028 51968 ?        Sl   10:02   1:27 io.net-tools.0
iobroker    2457  0.4  1.2 653720 49980 ?        Sl   10:03   0:58 io.simple-api.0
iobroker    1239  0.5  1.2 653204 49788 ?        Sl   10:02   1:20 io.ping.0
iobroker    2372  0.1  1.2 666972 48612 ?        Sl   10:03   0:18 io.trashschedule.0
iobroker    2438  0.1  1.2 865156 48172 ?        Sl   10:03   0:16 io.homeconnect.0
iobroker    1308  0.3  1.1 646456 46464 ?        Sl   10:02   0:47 io.rpi2.0
iobroker    2475  0.1  1.1 648120 44540 ?        Sl   10:03   0:14 io.text2command.0
iobroker    1919  0.1  1.1 646508 43920 ?        Sl   10:03   0:18 io.fritzdect.0
root         692  7.1  0.7 242116 28504 ?        SLl  10:00  16:29 /usr/bin/motion -n -c /etc/motioneye/motion.conf -d 5
root         408  0.1  0.3 265824 11724 ?        Ssl  10:00   0:22 /usr/bin/python2 /usr/local/bin/meyectl startserver -c /etc/motioneye/motioneye.conf
www-data     885  0.0  0.2 199356 10904 ?        S    10:01   0:06 /usr/bin/php-cgi
www-data     884  0.0  0.2 199356 10892 ?        S    10:01   0:06 /usr/bin/php-cgi
www-data     886  0.0  0.2 199492 10576 ?        S    10:01   0:06 /usr/bin/php-cgi
root         139  0.0  0.2  65492 10380 ?        Ss   10:00   0:03 /lib/systemd/systemd-journald
www-data     887  0.0  0.2 199356  9808 ?        S    10:01   0:06 /usr/bin/php-cgi
www-data     873  0.0  0.2 198932  9428 ?        Ss   10:01   0:00 /usr/bin/php-cgi
root           1  0.0  0.1 165224  6796 ?        Ss   10:00   0:02 /sbin/init
root         721  0.0  0.1  44116  6304 ?        S    10:01   0:00 /usr/bin/python2 /usr/local/bin/meyectl startserver -c /etc/motioneye/motioneye.conf
pi         22633  0.0  0.1  16040  5608 ?        Ss   10:31   0:00 /lib/systemd/systemd --user
pihole       892  0.1  0.1 618396  5424 ?        S<l  10:01   0:26 /usr/bin/pihole-FTL
root         937  0.0  0.1 162564  5372 ?        Ssl  10:01   0:00 /usr/bin/python3 /usr/bin/argononed.py
pihole       845  0.0  0.1  16040  5080 ?        Ss   10:01   0:00 /lib/systemd/systemd --user
pi         22652  0.0  0.1   7968  3988 pts/0    Ss   10:31   0:00 -bash
root       22278  0.0  0.1  16072  3896 ?        Ss   10:31   0:00 sshd: pi [priv]
pi         22634  0.0  0.0 169076  3300 ?        S    10:31   0:00 (sd-pam)
pi        168191  0.0  0.0   9788  3300 pts/0    R+   13:50   0:00 ps aux --sort -%mem
pi         22651  0.0  0.0  16072  3288 ?        S    10:31   0:00 sshd: pi@pts/0
root       41785  0.0  0.0  16072  3260 ?        Ss   10:54   0:00 sshd: pi [priv]
pi           460  0.4  0.0   8068  3240 ?        Ss   10:00   1:00 /bin/bash /home/pi/wetterstation/wetterstation.sh
root         458  0.0  0.0  14516  3064 ?        Ss   10:00   0:00 /lib/systemd/systemd-logind
pi         41816  0.0  0.0  16072  2796 ?        S    10:54   0:00 sshd: pi@notty
systemd+     364  0.0  0.0  88108  2568 ?        Ssl  10:00   0:00 /lib/systemd/systemd-timesyncd
www-data     858  0.0  0.0   4892  2524 ?        Ss   10:01   0:10 /usr/sbin/lighttpd -D -f /etc/lighttpd/lighttpd.conf
root         771  0.0  0.0  23872  2464 ?        Ss   10:01   0:00 /usr/libexec/bluetooth/bluetoothd
pi        168186  0.0  0.0   8068  2328 ?        S    13:50   0:00 /bin/bash /home/pi/wetterstation/wetterstation.sh
message+     398  0.0  0.0   8148  2296 ?        Ss   10:00   0:00 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
root         171  0.0  0.0  21612  2284 ?        Ss   10:00   0:01 /lib/systemd/systemd-udevd
avahi        396  0.0  0.0   7072  1988 ?        Ss   10:00   0:03 avahi-daemon: running [raspberrypi4-iob.local]
pi         41821  0.0  0.0   5372  1980 ?        Ss   10:54   0:00 /usr/lib/openssh/sftp-server
root         430  0.0  0.0 220884  1944 ?        Ssl  10:00   0:00 /usr/sbin/rsyslogd -n -iNONE
root         525  0.0  0.0 318004  1904 ?        Ssl  10:00   0:00 /usr/sbin/ModemManager
root         570  0.0  0.0  13652  1904 ?        Ss   10:00   0:00 sshd: /usr/sbin/sshd -D [listener] 0 of 10-100 startups
root         461  0.0  0.0  13580  1668 ?        Ss   10:00   0:00 /sbin/wpa_supplicant -u -s -O /run/wpa_supplicant
root         397  0.0  0.0   6696  1660 ?        Ss   10:00   0:00 /usr/sbin/cron -f
pihole       859  0.0  0.0 103540  1608 ?        S    10:01   0:00 (sd-pam)
root         415  0.0  0.0 233956  1604 ?        Ssl  10:00   0:00 /usr/libexec/polkitd --no-debug
nobody       459  0.0  0.0   5484  1508 ?        Ss   10:00   0:00 /usr/sbin/thd --triggers /etc/triggerhappy/triggers.d/ --socket /run/thd.socket --user nobody --deviceglob /dev/input/event*
root         521  0.0  0.0  92292  1396 ?        SLsl 10:00   0:00 /usr/sbin/rngd -r /dev/hwrng
root         796  0.0  0.0   3116  1204 ?        Ss   10:01   0:01 /usr/sbin/dhcpcd -w -q
root         818  0.0  0.0   5476  1156 tty1     Ss+  10:01   0:00 /sbin/agetty -o -p -- \u --noclear tty1 linux
root         591  0.0  0.0  13852  1136 ?        Ss   10:00   0:00 wpa_supplicant -B -c/etc/wpa_supplicant/wpa_supplicant.conf -iwlan0
pi        168189  0.0  0.0   2980   824 ?        S    13:50   0:00 nc -nlvw 1 -p 1080
pi        168188  0.0  0.0   6248   748 ?        S    13:50   0:00 sed -n 1 p
pi        168187  0.0  0.0   5240   556 ?        S    13:50   0:00 timeout 66 nc -nlvw 1 -p 1080
avahi        402  0.0  0.0   6892    56 ?        S    10:00   0:00 avahi-daemon: chroot helper
root         755  0.0  0.0   2124    16 ?        S    10:01   0:00 /usr/bin/hciattach /dev/serial1 bcm43xx 3000000 flow -

[Codierknecht]

@thomas-braun sagte in Abstürze vor allem beim dayly Backup:

Und ich würde von redis/redis auf jsonl/jsonl umstellen, ich denke redis ist sehr viel speicherhungriger als jsonl es ist.

Da redis hier mit 9% der Spitzenreiter ist, sollte eine Umstellung auf jsonl hier klar im Vorteil sein.

[dragricola]

@thomas-braun said in Abstürze vor allem beim dayly Backup:

Und ich würde von redis/redis auf jsonl/jsonl umstellen, ich denke redis ist sehr viel speicherhungriger als jsonl es ist.

@codierknecht said in Abstürze vor allem beim dayly Backup:

Da redis hier mit 9% der Spitzenreiter ist, sollte eine Umstellung auf jsonl hier klar im Vorteil sein.

Ja, das habe ich auch gerade gesehen. Wie macht man das?

[Thomas Braun]

@dragricola

motioneye haut auch u. U. auf die Sahne.

[dragricola]

@thomas-braun said in Abstürze vor allem beim dayly Backup:

motioneye haut auch u. U. auf die Sahne.

Mit motioneye habe ich sowieso noch ein Problem: Da ich nach der Umstellung von Debian Buster auf Bullseye zunächst Python3 installiert hatte, lief motioneye zunächst nicht, da es auf Python2 basiert. Nachdem ich zusätzlich Python2 installiert habe, konnte ich nach mehreren Versuchen zumindest die motioneye-Streams in Vis einbinden. (Leider funktioniert nun die Motion detection nicht mehr und es werden keine Videos mehr aufgezeichnet. Dazu eröffne ich aber demnächst ein separates Topic.) Python3 habe ich nicht deinstalliert. Kann man problemlos beide Python-Versionen auf einer Maschine laufen lassen oder könnte das ebenfalls Ursache für Systemabstürze sein?

[Thomas Braun]

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Kann man problemlos beide Python-Versionen auf einer Maschine laufen lassen

Ja.
Aber python2 ist schon Jahre tot und wird nur noch notdürftig mitgeschleift. Macht auch in der Form nur noch Debian, bei anderen Distributionen ist das schon lange rausgeflogen. Wird beim übernächsten Debian vermutlich auch der Fall sein. Da musst du dich eh über kurz oder lang für was anderes entscheiden.