Neues YouTube-Video: Visualisierung im Devices-Adapter

[amg_666]

Hallo, nach einem Neustart komme ich nicht mehr auf die Adminoberfläche. In der Konsole habe ich manuell nochmal iobroker start eingegeben, da kommt dann

pi@iomaster:/opt/iobroker $ iobroker status
Server Cannot load /opt/iobroker/iobroker-data/states.json: /opt/iobroker/iobroker-data/states.json: Unexpected end of JSON input. Try last Backup!

wie gehe ich da jetzt am besten vor?
Multihostsystem mit 3mal pi3b, war alles auf neuestem Stand und habe die letzten Tage auch nichts am System geändert (updates, neue Adapter oder so)

[Thomas Braun]

@amg_666 sagte in iobroker nach Neustart "tot":

Unexpected end of JSON input. Try last Backup!

Backup einspielen, weiter machen.

[amg_666]

@thomas-braun ist da die Speicerhkarte hinüber? Ich hab noch kein restore gemacht, aber jetzt bringt iobroker status

pi@iomaster:/opt/iobroker $ iobroker status
 Cannot read system.config: null (OK when migrating or restoring)
 Cannot find view "system" for search "host"
iobroker is running on this host.

backups habe ich jede Menge (mit backitup nachts erstellt), aber wie spiele ich die per Konsole jetzt ein?

[Thomas Braun]

@amg_666

Ah, der nächste bitte:
https://forum.iobroker.net/topic/43325/mini-howto-cannot-find-view-system-for-search-host

[Homoran]

@amg_666 bitte das komplette log von heute hier als file posten

Das war doch alles heute, oder?

[apollon77]

@amg_666 Was ist denn vorher genau passiert? War es ein normaler reboot per SSH oder wie hast Du hier neu gestartet?
Falls es ein ganz normaler sauberer reboot war dann würde mich mal das Log von davor interessieren. Unter /opt/iobroker/log/... liegt das File. Da würde ich gern mal Log sehen von vor dem neustart und dann der Fehler

[amg_666]

@apollon77 Also auf dem webfrontend ging nix mehr, das hing. Darauf habe ich in der Weboberfläche auf dem Master den Salve neu gestartet, auf dem vis läuft. Ich habe dann gesehen, dass alle Instanzen auf dem Master "rot" waren und auch nicht wieder grün wurden. Nachdem da nichts passiert ist habe ich den raspi vom Master neu gestartet ("sudo shutddown -r 0"), seit dem geht hier nix mehr...
@Homoran Ja das ist heute passiert

Logfile von heute: iobroker.2021-03-19.log

[amg_666]

@Thomas-Braun War da nicht eben noch ein Beitrag von dir "ah der nächste" ??? Auf den Link bin ich gegangen und hab mal "ls -la /opt/iobroker/iobroker-data/backup-objects/" ausgeführt, da scheint schon "Schwund" bei den objects zu sein (?) Hier nur ein Ausschnitt, die letzten Zeilen:

-rw-rw-r--+ 1 iobroker iobroker   13092 M▒r 19 16:17 2021-03-19_16-17_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker 2042380 M▒r 19 16:21 2021-03-19_16-18_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254457 M▒r 19 16:18 2021-03-19_16-18_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254921 M▒r 19 16:19 2021-03-19_16-19_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker 2042599 M▒r 19 16:30 2021-03-19_16-24_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254866 M▒r 19 16:26 2021-03-19_16-25_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker    3666 M▒r 19 16:32 2021-03-19_16-32_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  255029 M▒r 19 16:32 2021-03-19_16-32_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker    9934 M▒r 19 16:48 2021-03-19_16-48_objects.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254482 M▒r 19 16:48 2021-03-19_16-48_states.json.gz
-rw-rw-r--+ 1 iobroker iobroker  254606 M▒r 19 16:56 2021-03-19_16-56_states.json.gz

[Homoran]

@amg_666 sagte in iobroker nach Neustart "tot":

War da nicht eben noch ein Beitrag von dir "ah der nächste" ???

nieeeemaaaals ;-)

der kommt auch später wieder.
Aber bitte im Moment noch nichts machen

Wir möchten gerne eine mögliche Ursache finden

[Thomas Braun]

@amg_666 Ja, aber die Logfiles wären interessanter im Moment. Es ist nämlich noch nicht ganz klar wo das Phänomen seinen Ursprung hat. Die bisherigen Kandidaten sind meist recht unsanft mit dem System umgesprungen, da konnte man dann nix mehr nachvollziehen.

[amg_666]

@homoran Ist klar, ich fummle hier nicht weiter dran rum, ich wollte nur noch diese Info posten, vlt hilfts ja

[amg_666]

@thomas-braun Mit "Stecker rausziehen" hab ich mir schon einmal ein System komplett zerschrottet (selbstverständlich ohne Sicherung), da bin ich jetzt doch etwas vorsichtiger geworden, man ist ja lernfähig :-)

[apollon77]

@amg_666 oooookk ... also im Log sehe ich folgendes:

• bis 11:03:29.194 alles ok, aber dann
• admin.0 terminated due to SIGKILL ... sieht eher aus als ob irgendwas im System deinen Admin gekillt hat. Hier bitte mal /var/log/syslog aus dem zeitraum schauen
• 11:04 kam ein 2021-03-19 11:04:09.806 - warn: host.iomaster Your system has only 92 MB RAM left available and an additional adapter process is started. Please check your system, settings and active instances to prevent swapping and Out-Of-Memory situations! ... denke RAM ist ausgegangen und OOM Killer hat zugeschlagen
• admin.0 startet wieder
• 2021-03-19 11:06:11.427 verlieren alle die connection zur DB ... vermutung. OOM Killer hat den controller gekillt ... weil sich jetzt alle Adapter beenden
• 2021-03-19 11:07:45.363 start vom controller (also ja er war vorher weg) und alles kommt wieder hoch (hier noch alles ok)
• 2021-03-19 15:40:12.968 und DB wieder weg ... also ggf controller wieder gekillt worden (syslog schauen zur validierung der vermutung bitte)
• 2021-03-19 15:40:32.275 controller startet neu
• 2021-03-19 15:46:32.330 sagt er mehrfach das er objects.json.bak nicht speichern kann weil kein objects.json da ist ... Das IST strange
• 2021-03-19 15:48:37.845 controller wieder weg
• 2021-03-19 15:48:57.983 nächster start des controllers ... aber effektiv auch das klappt
• danach wieder crash und dabei hats wohl die DB zerhauen

[Thomas Braun]

@amg_666
Gib uns doch mal bitte die Dateien
/var/log/syslog
/opt/iobroker/log/iobroker.current.log

Und der Zeitpunkt des Reboot wird dann noch benötigt.

[apollon77]

Ich zähle 13 Instanzen und dabei einige potentiell größere wie snmp und sowas... wieviel RAM hast Du denn?

[apollon77]

@thomas-braun sagte in iobroker nach Neustart "tot":

/opt/iobroker/log/iobroker.current.log

Current log gabs schon oben!

[amg_666]

@apollon77 13 Instanzen müssten es locker sein, ist iwe gesagt ein Multihost System und ich hab die Adapter/Instanzen mehr oder weniger gleichmäßig verteilt. In den PIs sind jeweils 32GB Karten.

@Thomas-Braun Syslog:
syslog

[Homoran]

@apollon77 erster oom-killer gum 02:00
ich nehme an, da läuft backitup

dann passend zu deiner Vorhersage:
Mar 19 11:03:36 iomaster kernel: [251223.920004] node invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0

[apollon77]

@amg_666 Jupp ...

Mar 19 11:03:36 iomaster kernel: [251223.920004] node invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0
Mar 19 11:03:36 iomaster kernel: [251223.920872] Out of memory: Killed process 19776 (node) total-vm:231148kB, anon-rss:117040kB, file-rss:0kB, shmem-rss:0kB, UID:1001 pgtables:562kB oom_score_adj:0

Mar 19 11:06:11 iomaster kernel: [251378.255863] Out of memory: Killed process 19629 (node) total-vm:282056kB, anon-rss:160004kB, file-rss:720kB, shmem-rss:0kB, UID:1001 pgtables:622kB oom_score_adj:0

[apollon77]

Also ich würde sagen: Wiederherstellen aus objects Backup und state backups und wenn es wieder läuft gleich mal mit "top" schauen was der RAM usage sagt
Ich denke 13 Instanzen sind für den RAM zuviel