Abstürze vor allem beim dayly Backup

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

Und ich würde von redis/redis auf jsonl/jsonl umstellen, ich denke redis ist sehr viel speicherhungriger als jsonl es ist.

@codierknecht said in Abstürze vor allem beim dayly Backup:

Da redis hier mit 9% der Spitzenreiter ist, sollte eine Umstellung auf jsonl hier klar im Vorteil sein.

Ja, das habe ich auch gerade gesehen. Wie macht man das?

Thomas Braun

@dragricola

motioneye haut auch u. U. auf die Sahne.

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

motioneye haut auch u. U. auf die Sahne.

Mit motioneye habe ich sowieso noch ein Problem: Da ich nach der Umstellung von Debian Buster auf Bullseye zunächst Python3 installiert hatte, lief motioneye zunächst nicht, da es auf Python2 basiert. Nachdem ich zusätzlich Python2 installiert habe, konnte ich nach mehreren Versuchen zumindest die motioneye-Streams in Vis einbinden. (Leider funktioniert nun die Motion detection nicht mehr und es werden keine Videos mehr aufgezeichnet. Dazu eröffne ich aber demnächst ein separates Topic.) Python3 habe ich nicht deinstalliert. Kann man problemlos beide Python-Versionen auf einer Maschine laufen lassen oder könnte das ebenfalls Ursache für Systemabstürze sein?

Thomas Braun

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Kann man problemlos beide Python-Versionen auf einer Maschine laufen lassen

Ja.
Aber python2 ist schon Jahre tot und wird nur noch notdürftig mitgeschleift. Macht auch in der Form nur noch Debian, bei anderen Distributionen ist das schon lange rausgeflogen. Wird beim übernächsten Debian vermutlich auch der Fall sein. Da musst du dich eh über kurz oder lang für was anderes entscheiden.

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

@dragricola
kern.log und syslog

Leider hat das freigeben von Memory das Problem noch nicht vollständig behoben. Nachdem zweimal das Backup problemlos verlaufen ist, gab es heute wieder einen Absturz. Nach dem Neustart gab es meiner Meinung genügend freies Memory:

*** MEMORY ***
               total        used        free      shared  buff/cache   available
Mem:            3.8G        2.6G        708M        4.0M        525M        1.2G
Swap:            99M        3.0M         96M
Total:          3.9G        2.6G        804M

         3793 M total memory
         2559 M used memory
          300 M active memory
         2616 M inactive memory
          707 M free memory
            5 M buffer memory
          519 M swap cache
           99 M total swap
            3 M used swap
           96 M free swap

Dass vor dem Absturz das Memory knapp war, ist natürlich möglich. IOB ist um 10:02 eingefroren. Neustart um 11:54Uhr. Vielleicht kann man aus kern.log mehr über die Ursache erfahren:

im Kern.log taucht "out of memory" bzw "out_of_memory" zweimal (im Zusammenhang mit influxdb und redis) auf:

Jan  3 21:21:35 raspberrypi4-iob kernel: [40858.014669] CIFS: Attempting to mount \\192.168.178.50\home
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208117] io.influxdb.0 invoked oom-killer: gfp_mask=0x1100dca(GFP_HIGHUSER_MOVABLE|__GFP_ZERO), order=0, oom_score_adj=0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208159] CPU: 2 PID: 988 Comm: io.influxdb.0 Tainted: G         C        5.15.76-v8+ #1597
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208169] Hardware name: Raspberry Pi 4 Model B Rev 1.1 (DT)
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208174] Call trace:
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208176]  dump_backtrace+0x0/0x1b8
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208195]  show_stack+0x20/0x30
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208202]  dump_stack_lvl+0x8c/0xb8
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208211]  dump_stack+0x18/0x34
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208215]  dump_header+0x4c/0x204
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208220]  oom_kill_process+0x1f8/0x200
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208227]  out_of_memory+0xf0/0x330
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208232]  __alloc_pages_slowpath.constprop.155+0x84c/0xba0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208238]  __alloc_pages+0x2b0/0x330
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208242]  alloc_zeroed_user_highpage_movable+0x40/0x50
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208251]  __handle_mm_fault+0x384/0xa38
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208260]  handle_mm_fault+0x1a4/0x288
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208265]  do_page_fault+0x240/0x480
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208270]  do_translation_fault+0x60/0x78
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208275]  do_mem_abort+0x48/0xb8
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208280]  el0_da+0x3c/0x78
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208284]  el0t_64_sync_handler+0x68/0xb8
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208289]  el0t_64_sync+0x1a0/0x1a4
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208295] Mem-Info:
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303] active_anon:111483 inactive_anon:815480 isolated_anon:0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303]  active_file:1018 inactive_file:606 isolated_file:50
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303]  unevictable:8 dirty:19 writeback:0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303]  slab_reclaimable:7260 slab_unreclaimable:8968
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303]  mapped:2205 shmem:1085 pagetables:5213 bounce:0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303]  kernel_misc_reclaimable:0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208303]  free:9992 free_pcp:46 free_cma:119
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208315] Node 0 active_anon:445932kB inactive_anon:3261920kB active_file:4072kB inactive_file:2424kB unevictable:32kB isolated(anon):0kB isolated(file):200kB mapped:8820kB dirty:76kB writeback:0kB shmem:4340kB writeback_tmp:0kB kernel_stack:10160kB pagetables:20852kB all_unreclaimable? no
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208327] DMA free:18516kB min:7828kB low:8760kB high:9692kB reserved_highatomic:0KB active_anon:10668kB inactive_anon:832536kB active_file:184kB inactive_file:0kB unevictable:0kB writepending:24kB present:969728kB managed:885392kB mlocked:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:476kB
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208338] lowmem_reserve[]: 0 2928 2928 2928
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208360] DMA32 free:21452kB min:41100kB low:44260kB high:47420kB reserved_highatomic:4096KB active_anon:434792kB inactive_anon:2429028kB active_file:3868kB inactive_file:3192kB unevictable:32kB writepending:52kB present:3080192kB managed:2999012kB mlocked:32kB bounce:0kB free_pcp:184kB local_pcp:184kB free_cma:0kB
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208371] lowmem_reserve[]: 0 0 0 0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208391] DMA: 697*4kB (UMEC) 317*8kB (UMEC) 172*16kB (UMEC) 131*32kB (UMEC) 52*64kB (UME) 16*128kB (UME) 4*256kB (UM) 0*512kB 0*1024kB 0*2048kB 0*4096kB = 18668kB
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208466] DMA32: 1102*4kB (UMEH) 562*8kB (UMEH) 381*16kB (UMEH) 97*32kB (UMEH) 58*64kB (UMEH) 2*128kB (MH) 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 22072kB
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208535] 11828 total pagecache pages
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208540] 9017 pages in swap cache
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208544] Swap cache stats: add 40759, delete 31744, find 11046567/11049825
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208549] Free swap  = 0kB
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208553] Total swap = 102396kB
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208557] 1012480 pages RAM
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208561] 0 pages HighMem/MovableOnly
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208565] 41379 pages reserved
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208569] 81920 pages cma reserved
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208573] Tasks state (memory values in pages):
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208577] [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208601] [    139]     0   139    18421      231   114688      134          -250 systemd-journal
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208611] [    171]     0   171     5403      161    57344      520         -1000 systemd-udevd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208628] [    364]   103   364    22027       94    65536      153             0 systemd-timesyn
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208637] [    396]   108   396     1768       98    45056       48             0 avahi-daemon
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208645] [    397]     0   397     1674       84    45056       39             0 cron
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208652] [    398]   104   398     2037      197    49152       55          -900 dbus-daemon
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208660] [    402]   108   402     1723       14    45056       64             0 avahi-daemon
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208667] [    408]     0   408    67095     4513   155648      810             0 meyectl
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208675] [    415]     0   415    58489      105    77824      105             0 polkitd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208682] [    430]     0   430    55221      118    65536      194             0 rsyslogd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208690] [    458]     0   458     3629      176    65536       93             0 systemd-logind
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208698] [    459] 65534   459     1371       63    45056       48             0 thd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208706] [    460]  1000   460     2022      340    45056      177             0 wetterstation.s
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208713] [    461]     0   461     3395       76    57344      149             0 wpa_supplicant
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208722] [    521]     0   521    23073       76    45056       16             0 rngd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208730] [    525]     0   525    79501      122   106496      317             0 ModemManager
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208739] [    530]   110   530   208659    93138  1441792     7578             0 redis-server
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208746] [    570]     0   570     3413       59    61440      188         -1000 sshd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208754] [    591]     0   591     3463       80    61440      199             0 wpa_supplicant
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208761] [    628]   111   628   663295    55597   782336     6522             0 mariadbd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208769] [    692]     0   692    67444     7556   385024       82             0 motion
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208776] [    721]     0   721    11029     1248   118784     2942             0 meyectl
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208783] [    755]     0   755      531        4    32768       30             0 hciattach
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208792] [    771]     0   771     5968      289    77824        0             0 bluetoothd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208799] [    796]     0   796      779       85    36864       79             0 dhcpcd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208806] [    800]   998   800    91952    23283   606208        0             0 influxd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208813] [    818]     0   818     1369       26    40960        0             0 agetty
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208821] [    845]   999   845     4010      327    57344        0             0 systemd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208828] [    858]    33   858     1223      238    45056        5             0 lighttpd
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208835] [    859]   999   859    25885      177    86016      600             0 (sd-pam)
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208842] [    873]    33   873    49733     1742   122880        0             0 php-cgi
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208850] [    892]   999   892   154891     1121   167936      263             0 pihole-FTL
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208858] [    936]  1001   936   268831    45318   692224        0             0 iobroker.js-con
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208865] [    937]     0   937    40641      851    69632        0             0 python3
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208873] [    988]  1001   988   255813    28987   557056       97             0 io.influxdb.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208881] [   1078]  1001  1078   305084    94884  1257472     1542             0 io.javascript.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208889] [   1104]  1001  1104   169747    13627   417792       60             0 io.tr-064.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208896] [   1135]  1001  1135   234799    13746   401408      169             0 io.nuki-extende
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208903] [   1150]  1001  1150   286082    69040  1015808       92             0 io.admin.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208910] [   1180]  1001  1180   257911    32561   671744      109             0 io.sql.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208917] [   1212]  1001  1212   193128    20895   446464       57             0 io.sonoff.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208925] [   1239]  1001  1239   163907    10784   311296       84             0 io.ping.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208933] [   1281]  1001  1281   694748    15982   462848       76             0 io.synology.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208940] [   1308]  1001  1308   162412     9628   299008       22             0 io.rpi2.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208948] [   1330]  1001  1330   174658    18556   421888      243             0 io.mqtt.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208955] [   1398]  1001  1398   221928    24523   479232      427             0 io.zigbee.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208962] [   1445]  1001  1445   164356    11605   319488       76             0 io.net-tools.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208970] [   1493]  1001  1493   237178    47517   688128       80             0 io.tankerkoenig
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208977] [   1522]  1001  1522   165922    17242   389120       50             0 io.pi-hole.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208984] [   1549]  1001  1549   228297    13238   376832        9             0 io.info.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.208993] [   1576]  1001  1576   239008    18038   483328       90             0 io.backitup.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209001] [   1612]  1001  1612   259590    35440   598016       42             0 io.web.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209013] [   1919]  1001  1919   161762     9522   315392       32             0 io.fritzdect.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209020] [   2251]  1001  2251   242090    21330   528384      479             0 io.web.1
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209028] [   2372]  1001  2372   167413    10573   372736      104             0 io.trashschedul
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209035] [   2423]  1001  2423   206284    30143   565248      503             0 io.sourceanalyt
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209043] [   2438]  1001  2438   233159    10218   380928      100             0 io.homeconnect.
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209051] [   2445]  1001  2445   165094    16113   393216       99             0 io.alpha2.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209060] [   2457]  1001  2457   179725    23473   450560      251             0 io.simple-api.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209068] [   2475]  1001  2475   162436     9483   299008        6             0 io.text2command
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209075] [   2499]  1001  2499   236712    20869   520192        2             0 io.ws.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209084] [ 505152]    33 505152    49878     1778   122880        0             0 php-cgi
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209092] [ 507376]    33 507376    49839     1759   122880        0             0 php-cgi
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209099] [ 508002]    33 508002    49877     1776   122880        0             0 php-cgi
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209107] [ 510595]    33 510595    49876     1775   122880        0             0 php-cgi
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209114] [ 648650]  1001 648650   171122    17211   544768        0             0 io.shuttercontr
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209123] [ 767265]  1001 767265   259022    33746   626688        0             0 io.telegram.0
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209138] [ 978792]  1000 978792     2022      305    45056      177             0 wetterstation.s
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209147] [ 978793]  1000 978793     1310       20    40960        0             0 timeout
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209156] [ 978794]  1000 978794     1562       28    45056        0             0 sed
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209163] [ 978795]  1000 978795      745       25    36864        0             0 nc
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209170] [ 978852]  1001 978852     1760       28    49152        0             0 ping
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209178] [ 978853]  1001 978853     1760       29    40960        0             0 ping
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209184] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/,task=redis-server,pid=530,uid=110
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209258] Out of memory: Killed process 530 (redis-server) total-vm:834636kB, anon-rss:371936kB, file-rss:616kB, shmem-rss:0kB, UID:110 pgtables:1408kB oom_score_adj:0
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Booting Linux on physical CPU 0x0000000000 [0x410fd083]
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Linux version 5.15.76-v8+ (dom@buildbot) (aarch64-linux-gnu-gcc-8 (Ubuntu/Linaro 8.4.0-3ubuntu1) 8.4.0, GNU ld (GNU Binutils for Ubuntu) 2.34) #1597 SMP PREEMPT Fri Nov 4 12:16:41 GMT 2022
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] random: crng init done
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Machine model: Raspberry Pi 4 Model B Rev 1.1
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] efi: UEFI not found.
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Reserved memory: created CMA memory pool at 0x000000001ac00000, size 320 MiB
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] OF: reserved mem: initialized node linux,cma, compatible id shared-dma-pool
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Zone ranges:
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000]   DMA      [mem 0x0000000000000000-0x000000003fffffff]
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000]   DMA32    [mem 0x0000000040000000-0x00000000fbffffff]
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000]   Normal   empty
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Movable zone start for each node
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Early memory node ranges
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000]   node   0: [mem 0x0000000000000000-0x000000003b2fffff]
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000]   node   0: [mem 0x0000000040000000-0x00000000fbffffff]
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Initmem setup node 0 [mem 0x0000000000000000-0x00000000fbffffff]
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] On node 0, zone DMA32: 19712 pages in unavailable ranges
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] On node 0, zone DMA32: 16384 pages in unavailable ranges
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] percpu: Embedded 28 pages/cpu s77336 r8192 d29160 u114688
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] pcpu-alloc: s77336 r8192 d29160 u114688 alloc=28*4096
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] pcpu-alloc: [0] 0 [0] 1 [0] 2 [0] 3 
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Detected PIPT I-cache on CPU0
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] CPU features: detected: Spectre-v2
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] CPU features: detected: Spectre-v3a
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] CPU features: detected: Spectre-v4
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] CPU features: detected: Spectre-BHB
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] CPU features: kernel page table isolation forced ON by KASLR

vor allem scheint wegen des letzten Eintrags vor dem Neustart der Redis-Server der Übeltäter zu sein:

Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209184] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/,task=redis-server,pid=530,uid=110
Jan  4 10:02:14 raspberrypi4-iob kernel: [86498.209258] Out of memory: Killed process 530 (redis-server) total-vm:834636kB, anon-rss:371936kB, file-rss:616kB, shmem-rss:0kB, UID:110 pgtables:1408kB oom_score_adj:0
Jan  4 11:54:51 raspberrypi4-iob kernel: [    0.000000] Booting Linux on physical CPU 0x0000000000 [0x410fd083]

Kann das von den Experten jemand bestätigen?
falls ja, wie kann ich den iob von Redis auf jsonl umstellen?

Thomas Braun

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Out of memory: Killed process 530 (redis-server)

Bedeutet, das der Kiste der RAM ausgegangen ist, aber nicht notwendigerweise das redis-server der Grund ist. Der oom-reaper führt eine Rang-Liste der Prozesse und es werden (für den Betrieb des Gesamtsystems) am ehesten entberliche Prozesse gekillt.
Und redis-server ist für den Kernel nicht überlebenswichtig.

Ich glaube mit

iobroker stop
iobroker setup custom

kann man die Datenbanken wechseln.

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

kann man die Datenbanken wechseln.

Geht das auch bei einem bereits fertig konfigurierten System ohne Vorarbeit wie z.B. zuvor eine neue jsonl-Datenbank aufzusetzen und irgendwelche Daten aus Redis in jsonl rüberzuschaufeln?

Thomas Braun

@dragricola

Das läuft automagisch im Hintergrund.

Es gab aber soweit ich mich erinnere seinerzeit in Announcement dazu. Schau mal hier im Forum danach.

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

Es gab aber soweit ich mich erinnere seinerzeit in Announcement dazu. Schau mal hier im Forum danach.

Ich habe noch etwas im Forum gestöbert und festgestellt, dass wie in Wichtiger Hinweis für Redis Installationen! empfohlen in der Konfiguration des Redis-Servers die Variable

Environment="LC_ALL=C"

nicht gesetzt war. Erklärt das mein Problem?

Nach der Lektüre von Redis in ioBroker - Überblick habe ich zunächt mal nur objects auf jsonl umgestellt. Die damit freien 1.8G Memory sollten doch ausreichen?

*** MEMORY ***
               total        used        free      shared  buff/cache   available
Mem:            3.8G        1.2G        1.7G        4.0M        894M        2.5G
Swap:            99M         50M         49M
Total:          3.9G        1.2G        1.8G

         3793 M total memory
         1152 M used memory
          489 M active memory
         1410 M inactive memory
         1746 M free memory
           77 M buffer memory
          816 M swap cache
           99 M total swap
           50 M used swap
           49 M free swap

Ist das sinnvoll oder spricht da etwas dagegen?

Thomas Braun

@dragricola

Ich würde beides auf den Standard jsonl setzen.

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

Ich würde beides auf den Standart jsonl setzen.

Gestern habe ich auch noch die States auf jsonl umgestellt, leider mit äußerst enttäuschendem Ergebnis:
ioBroker lief nur noch sehr zäh und es wurde auf einen älteren Zustand zurückgesetzt. So verschwand z.B. die 2. web-Instanz und einige Instanzen ließen sich nicht mehr fehlerfrei starten (z.B. Tankerkönig). In der Vis erschienen wieder schon lange nicht mehr gültige Sites und der Zugriff mit der ioBrokerVIS-App klappte nicht mehr. Ich musste daher durch Restore meines Backups vom Vorabend redis wieder für States und Objects aktivieren. Kann es sein, dass bei der Umstellung von redis auf jsonl nicht die aktuellen Objects und States verwendet werden?

dragricola

@thomas-braun said in Abstürze vor allem beim dayly Backup:

Ich würde beides auf den Standart jsonl setzen.

Wie ich in meinem Beitrag vom 2.1. geschrieben habe ging die Umstellung auf jsonl schief und ich musste wieder auf redis umstellen, was aber gestern wieder zu einem Absturz beim Backup nach 21:21Uhr führte. Auszug aus syslog:

Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773404] [1097082]    33 1097082    49873     1693   114688        1             0 php-cgi
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773410] [1101457]    33 1101457    49875     1694   114688        1             0 php-cgi
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773420] [1337462]  1001 1337462     1760       41    45056        0             0 ping
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773427] [1337490]  1000 1337490     5414      304    73728        0             0 curl
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773434] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/,task=redis-server,pid=534,uid=110
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773494] Out of memory: Killed process 534 (redis-server) total-vm:736432kB, anon-rss:358856kB, file-rss:0kB, shmem-rss:0kB, UID:110 pgtables:1336kB oom_score_adj:0
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518820] Use of the less secure dialect vers=1.0 is not recommended unless required for access to very old servers
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518820] 
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518867] CIFS: VFS: Use of the less secure dialect vers=1.0 is not recommended unless required for access to very old servers
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518885] CIFS: Attempting to mount \\192.168.178.50\home
Jan  6 23:24:43 raspberrypi4-iob kernel: [    0.000000] Booting Linux on physical CPU 0x0000000000 [0x410fd083]

und Auszug aus kern.log:

Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773404] [1097082]    33 1097082    49873     1693   114688        1             0 php-cgi
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773410] [1101457]    33 1101457    49875     1694   114688        1             0 php-cgi
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773420] [1337462]  1001 1337462     1760       41    45056        0             0 ping
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773427] [1337490]  1000 1337490     5414      304    73728        0             0 curl
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773434] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/,task=redis-server,pid=534,uid=110
Jan  6 01:29:11 raspberrypi4-iob kernel: [110845.773494] Out of memory: Killed process 534 (redis-server) total-vm:736432kB, anon-rss:358856kB, file-rss:0kB, shmem-rss:0kB, UID:110 pgtables:1336kB oom_score_adj:0
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518820] Use of the less secure dialect vers=1.0 is not recommended unless required for access to very old servers
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518820] 
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518867] CIFS: VFS: Use of the less secure dialect vers=1.0 is not recommended unless required for access to very old servers
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518885] CIFS: Attempting to mount \\192.168.178.50\home
Jan  6 23:24:43 raspberrypi4-iob kernel: [    0.000000] Booting Linux on physical CPU 0x0000000000 [0x410fd083]

Wie kann ich von redis auf jsonl ohne Verlust an objects, states und Vis-Inhalten umstellen?

Thomas Braun

@dragricola

https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller?_=1673105042287

Und das solltest du dir auch anschauen:

Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518867] CIFS: VFS: Use of the less secure dialect vers=1.0 is not recommended unless required for access to very old servers
Jan  6 21:21:35 raspberrypi4-iob kernel: [182391.518885] CIFS: Attempting to mount \\192.168.178.50\home

Da passt was mit dem mounten nicht.

dragricola

@thomas-braun said in gelöst: Abstürze vor allem beim dayly Backup:

Da passt was mit dem mounten nicht.

ja, das hatte ich gesehen und gleich nach dem gestrigen Absturz in der backitup-Konfiguration unter NAS/KOPIEREN den SMB-Typ auf 2.0 umgestellt. Beim anschließend manuell gestarteten Backup hat das mounten dann geklappt. Das Backup ist dann mit den im separaten neuen Topic Redis Backup-Datei wird sehr groß geschilderten Problemen zumindest ohne "Out of memory"-Meldung durchgelaufen und es gab daraufhin die in diesem Topic geschilderten Probleme mit dem Redis-Backup-File redis_2023_01_07-00_15_53_backupiobroker.tar.gz, das eine Größe von 0.9GiB erreichte. Wenn das die Probleme verursacht und diese gelöst werden kann, könnte ich eventuell mit redis weiter fahren.
Ich hoffe jetzt, dass es nach der Umstellung auf SMB-Typ 2.0 mit redis nicht mehr zum Absturz mit out-of memory kommt. Oder sollte ich besser SMB-Typ 3.0, 3.02 oder 3.1.1 für das Mounten auf einer Synology NAS wählen?

Thomas Braun

@dragricola

Immer das höchstmögliche. Eigentlich sollte mittlerweile 3.1.1 von allen gesprochen werden.

dragricola

@thomas-braun

mit SMB3.1.1 klappt es leider nicht - liehe log:

backitup.0
	2023-01-07 17:06:50.103	error	[iobroker] Error: Command failed: sudo mount -t cifs -o username=backup,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.50/home/Backup/ioBroker/Standard /opt/iobroker/backups mount error(95): Operation not supported Refer to the mount.cifs(8) manual page (e.g. man mount.cifs) and kernel log messages (dmesg)
backitup.0
	2023-01-07 17:06:50.101	error	[iobroker/mount] Refer to the mount.cifs(8) manual page (e.g. man mount.cifs) and kernel log messages (dmesg)
backitup.0
	2023-01-07 17:06:50.101	error	[iobroker/mount] mount error(95): Operation not supported
backitup.0
	2023-01-07 17:06:50.100	error	[iobroker/mount] Error: Command failed: sudo mount -t cifs -o username=backup,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.50/home/Backup/ioBroker/Standard /opt/iobroker/backups
backitup.0
	2023-01-07 17:06:50.098	error	[iobroker/mount] Refer to the mount.cifs(8) manual page (e.g. man mount.cifs) and kernel log messages (dmesg)
backitup.0
	2023-01-07 17:06:50.098	error	[iobroker/mount] mount error(95): Operation not supported
backitup.0
	2023-01-07 17:06:50.096	error	[iobroker/mount] [undefined Error: Command failed: sudo mount -t cifs -o username=backup,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.50/home/Backup/ioBroker/Standard /opt/iobroker/backups
backitup.0
	2023-01-07 17:06:15.599	error	Error: Command failed: sudo mount -t cifs -o username=backup,password=****,rw,file_mode=0777,dir_mode=0777 //192.168.178.50/home/Backup/ioBroker/Standard /opt/iobroker/backups mount error(95): Operation not supported Refer to the mount.cifs(8) manual page (e.g. man mount.cifs) and kernel log messages (dmesg)

Ich probiere es gleich nochmal mit 3.01 und 3.0.

Thomas Braun

@dragricola

Muss ggfls. auch auf dem SMB-Server der Sinnlosygy eingestellt werden.

dragricola

@thomas-braun said in gelöst: Abstürze vor allem beim dayly Backup:

Muss ggfls. auch auf dem SMB-Server der Sinnlosygy eingestellt werden.

Danke für den Hinweis: Es war SMB2 als maximales und SMB1 als minimales Protokoll eingestellt. Nach der Umstellung auf SMB3 als maximales Protokoll klappt das Mounten nun auch mit SMB Typ 3.1.1! Das reine iobroker Backup (ohne mysql, redis, java, zigbee, ...) ist problemlos und schnell durchgelaufen.
Ist ein separates Backup der Redis-Daten überhaupt erforderlich?
Sind die states und objects nicht ohnehin im iobroker Backup enthalten?
Kann man ohne Nachteile auf das Backup der Datenbanken influx und mysql verzichten?

Thomas Braun

@dragricola sagte in Abstürze vor allem beim dayly Backup:

Sind die states und objects nicht ohnehin im iobroker Backup enthalten?

Ja.

Aber wie gesagt: Ich würde da auf jsonl umstellen und redis deinstallieren.

dragricola

@thomas-braun said in gelöst: Abstürze vor allem beim dayly Backup:

auf jsonl umstellen

ich hab's versucht, aber dabei Daten und Performance verloren (siehe oben).

NEWS

Abstürze vor allem beim dayly Backup

Support us

660
Online

31.8k
Users

80.0k
Topics

1.3m
Posts

NEWS

Abstürze vor allem beim dayly Backup

Support us

660Online

31.8kUsers

80.0kTopics

1.3mPosts

660
Online

31.8k
Users

80.0k
Topics

1.3m
Posts