Neues YouTube-Video: Visualisierung im Devices-Adapter

[amg_666]

@Thomas-Braun War da nicht eben noch ein Beitrag von dir "ah der nächste" ??? Auf den Link bin ich gegangen und hab mal "ls -la /opt/iobroker/iobroker-data/backup-objects/" ausgeführt, da scheint schon "Schwund" bei den objects zu sein (?) Hier nur ein Ausschnitt, die letzten Zeilen:

-rw-rw-r--+ 1 iobroker iobroker   13092 M▒r 19 16:17 2021-03-19_16-17_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker 2042380 M▒r 19 16:21 2021-03-19_16-18_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254457 M▒r 19 16:18 2021-03-19_16-18_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254921 M▒r 19 16:19 2021-03-19_16-19_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker 2042599 M▒r 19 16:30 2021-03-19_16-24_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254866 M▒r 19 16:26 2021-03-19_16-25_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker    3666 M▒r 19 16:32 2021-03-19_16-32_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  255029 M▒r 19 16:32 2021-03-19_16-32_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker    9934 M▒r 19 16:48 2021-03-19_16-48_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254482 M▒r 19 16:48 2021-03-19_16-48_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254606 M▒r 19 16:56 2021-03-19_16-56_states.json.gz

[Homoran]

@amg_666 sagte in iobroker nach Neustart "tot":

War da nicht eben noch ein Beitrag von dir "ah der nächste" ???

nieeeemaaaals ;-)

der kommt auch später wieder.
Aber bitte im Moment noch nichts machen

Wir möchten gerne eine mögliche Ursache finden

[Thomas Braun]

@amg_666 Ja, aber die Logfiles wären interessanter im Moment. Es ist nämlich noch nicht ganz klar wo das Phänomen seinen Ursprung hat. Die bisherigen Kandidaten sind meist recht unsanft mit dem System umgesprungen, da konnte man dann nix mehr nachvollziehen.

[amg_666]

@homoran Ist klar, ich fummle hier nicht weiter dran rum, ich wollte nur noch diese Info posten, vlt hilfts ja

[amg_666]

@thomas-braun Mit "Stecker rausziehen" hab ich mir schon einmal ein System komplett zerschrottet (selbstverständlich ohne Sicherung), da bin ich jetzt doch etwas vorsichtiger geworden, man ist ja lernfähig :-)

[apollon77]

@amg_666 oooookk ... also im Log sehe ich folgendes:

• bis 11:03:29.194 alles ok, aber dann
• admin.0 terminated due to SIGKILL ... sieht eher aus als ob irgendwas im System deinen Admin gekillt hat. Hier bitte mal /var/log/syslog aus dem zeitraum schauen
• 11:04 kam ein 2021-03-19 11:04:09.806 - warn: host.iomaster Your system has only 92 MB RAM left available and an additional adapter process is started. Please check your system, settings and active instances to prevent swapping and Out-Of-Memory situations! ... denke RAM ist ausgegangen und OOM Killer hat zugeschlagen
• admin.0 startet wieder
• 2021-03-19 11:06:11.427 verlieren alle die connection zur DB ... vermutung. OOM Killer hat den controller gekillt ... weil sich jetzt alle Adapter beenden
• 2021-03-19 11:07:45.363 start vom controller (also ja er war vorher weg) und alles kommt wieder hoch (hier noch alles ok)
• 2021-03-19 15:40:12.968 und DB wieder weg ... also ggf controller wieder gekillt worden (syslog schauen zur validierung der vermutung bitte)
• 2021-03-19 15:40:32.275 controller startet neu
• 2021-03-19 15:46:32.330 sagt er mehrfach das er objects.json.bak nicht speichern kann weil kein objects.json da ist ... Das IST strange
• 2021-03-19 15:48:37.845 controller wieder weg
• 2021-03-19 15:48:57.983 nächster start des controllers ... aber effektiv auch das klappt
• danach wieder crash und dabei hats wohl die DB zerhauen

[Thomas Braun]

@amg_666
Gib uns doch mal bitte die Dateien
/var/log/syslog
/opt/iobroker/log/iobroker.current.log

Und der Zeitpunkt des Reboot wird dann noch benötigt.

[apollon77]

Ich zähle 13 Instanzen und dabei einige potentiell größere wie snmp und sowas... wieviel RAM hast Du denn?

[apollon77]

@thomas-braun sagte in iobroker nach Neustart "tot":

/opt/iobroker/log/iobroker.current.log

Current log gabs schon oben!

[amg_666]

@apollon77 13 Instanzen müssten es locker sein, ist iwe gesagt ein Multihost System und ich hab die Adapter/Instanzen mehr oder weniger gleichmäßig verteilt. In den PIs sind jeweils 32GB Karten.

@Thomas-Braun Syslog:
syslog

[Homoran]

@apollon77 erster oom-killer gum 02:00
ich nehme an, da läuft backitup

dann passend zu deiner Vorhersage:
Mar 19 11:03:36 iomaster kernel: [251223.920004] node invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0

[apollon77]

@amg_666 Jupp ...

Mar 19 11:03:36 iomaster kernel: [251223.920004] node invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0
Mar 19 11:03:36 iomaster kernel: [251223.920872] Out of memory: Killed process 19776 (node) total-vm:231148kB, anon-rss:117040kB, file-rss:0kB, shmem-rss:0kB, UID:1001 pgtables:562kB oom_score_adj:0

Mar 19 11:06:11 iomaster kernel: [251378.255863] Out of memory: Killed process 19629 (node) total-vm:282056kB, anon-rss:160004kB, file-rss:720kB, shmem-rss:0kB, UID:1001 pgtables:622kB oom_score_adj:0

[apollon77]

Also ich würde sagen: Wiederherstellen aus objects Backup und state backups und wenn es wieder läuft gleich mal mit "top" schauen was der RAM usage sagt
Ich denke 13 Instanzen sind für den RAM zuviel

[amg_666]

@apollon77 2 Fragen: 1. Wie genau stelle ich das wieder her? 2. wenn 13 Instanzen zuviel sind würde eine größere SD Karte Abhilfe schaffen, oder?

[Homoran]

@amg_666 sagte in iobroker nach Neustart "tot":

wenn 13 Instanzen zuviel sind würde eine größere SD Karte Abhilfe schaffen, oder?

nein!

das RAM wahrscheinlichj hast du nur 1GB) reicht nicht

Es fehlt noch die Info wann genau du rebootet hattest

[amg_666]

@homoran Ja klar, Denkfehler von mir, die PIs haben 1GB... Reboot weiss ich nicht mehr, müsste aber so gegen 15:45 gewesen sein

[apollon77]

@amg_666 Jeder iobroker prozess hat sagen wir 50MB ... 13 Adapter plus controller ... 700MB allein dafür ... jetzt ist die Frage was noch drauf läuft ...

[Homoran]

@apollon77 sagte in iobroker nach Neustart "tot":

13 Adapter plus controller ..

aber die sind doch auf den 3 Hosts verteilt!

@amg_666
oder?

[amg_666]

@apollon77 Wie meisnt du das? Auf den PIs läuft "nur" iobroker (und vis edit und flot und auf einem Slave)

[amg_666]

@homoran Oh OH, ich hatte gesagt, dass es "locker" 13 Instanzen sind, hatte mir das irgendwann mal dokumentiert. Stimmt es sind 13 auf dem MASTER) plus nochmal 10 auf einem Slave, beim 2. Slave weiß ich es nicht mehr genau, auf dem läuft vis inkl diverser vis-ergänzungen