[Vorlage] JS: Log-Datei aufbereiten für VIS

[derrapf]

Hi
Ich habe mal das Script direkt aus dem Git kopiert und erstmal unverändert übernommen.
Problem: Der Prozess io.javascript.0 geht direkt auf 100% CPU.
Hat jemand ne Idee warum? So kann ich das nicht lassen.
Gruss Ralf

top - 23:03:43 up 10 days,  4:30,  1 user,  load average: 1,75, 1,33, 0,80
Tasks: 123 total,   2 running,  78 sleeping,   0 stopped,   0 zombie
%Cpu(s): 25,9 us,  0,5 sy,  0,0 ni, 73,5 id,  0,0 wa,  0,0 hi,  0,1 si,  0,0 st
KiB Mem :  4097856 total,   326520 free,  1585064 used,  2186272 buff/cache
KiB Swap:  1048560 total,  1046512 free,     2048 used.  2381400 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
29062 root      20   0 1183716 269320  21892 R 100,7  6,6  41:10.80 io.javascript.0
  921 redis     20   0   52540   6016   2236 S   1,7  0,1 210:43.39 redis-server
29143 root      20   0  985956  62272  21908 S   1,0  1,5  22:37.65 io.history.0
29205 root      20   0  997428  71972  21988 S   0,7  1,8  15:11.35 io.hm-rpc.0
29290 root      20   0  987780  64504  21916 S   0,7  1,6   3:01.38 io.hm-rpc.2
  700 root      20   0   19904  13552   6532 S   0,3  0,3   6:27.20 python
 4527 root      20   0   10164   3556   2972 R   0,3  0,1   0:01.13 top
29006 root      20   0 1324488 181828  22192 S   0,3  4,4  28:01.05 iobroker.js-con
29133 root      20   0  980944  57508  21916 S   0,3  1,4   3:00.47 io.fritzbox.0
29194 root      20   0 1224104 102524  22084 S   0,3  2,5  24:23.45 io.mqtt-c

[darkiop]

@Mic : Erstmal vielen Dank für das Skript, damit packe ich mir genau das ins Log der VIS was ich auch benötigte.

Bei großen Logfiles (also dann meistens am Abend) kann es allerdings zu folgenden Verhalten führen, siehe meinen Thread hier:

https://forum.iobroker.net/topic/20202/javascript-adapter-stellt-für-einen-kurzen-moment-den-dienst-ein

Kannst du dir das mal anschauen?

Grüße,
Thorsten

[apollon77]

Am besten nach dem lesen und splitten der Daten und die Verarbeitung in einer Funktion auslagern und nach ein paar hundert Zeilen mit "setImmediate" eine Pause einlegen. Dann kommen ggf andere Skripte oder Dinge auch dran.

[totocotonio]

@derrapf Hi, das kann ich bestätigen.
Auch bei mir gab es massive Probleme mit dem Javascript adapter

[Nashra]

Hallo, bei mir funktioniert Schedule nicht d.h. im Script ist angegeben:

const L_SCHEDULE  = "*/2 * * * *";

aber es wird nicht alle 2 Minuten ausgeführt. Beim Start steht auch im Log

javascript.0 script.js.Meine_Geräte.Logs-fuer-VIS: registered 1 subscription and 0 schedules

sorry, verstehe das nicht, was ist falsch

[Gwenselah]

Guten Abend,

ich suche Unterstützung beim debuggen.
Folgenden Filter habe ich erstellt:

    {
    id:          'javascript',
    filter_all:  ['+++'],
    filter_any:  [''],
    blacklist:   ['Error'], 
    clean: [' - info','javascript.0 ','script.js.common.Echo_LautstaerkeAutomatik:','script.js.common.Telegram_Switches:','script.js.common.Washer_and_Dryer:'],
 //   clean:       ['script.js.common.Echo_LautstaerkeAutomatik: ','script.js.common.Telegram_Switches:',' - info','javascript.0','+++ ',' +++'],
    columns:     ['date','msg'],
  }

mit Hilfe von

console.log ("+++ Testlogmessage +++");

erzeuge ich einen Testeintrag, der auch im Log auftaucht.

Im Datenpunkt "logJavascript" werden die Einträge erzeugt, im Datenpunkt "logJavascriptJSON" steht immer nur []:

Wie kann ich das am Besten debuggen?

[Dr. Bakterius]

Ich habe das Script nun auch seit einigen Tagen im Einsatz - danke @Mic dafür!

Leider habe ich ein Problem. Manchmal läuft das Tages-Log durch den MQTT-Adapter ziemlich voll, wird also recht groß. Wenn das passiert ist das Script scheinbar überfordert, lastet den Prozessor voll aus und der Javascript-Adapter fängt dadurch an verrückt zu spielen. Also das ganze System hängt!

Kann man das irgendwie abfangen?

Edit: habe gerade gesehen, dass andere das selbe Problem bereits vor Monaten gemeldet haben. Passiert da noch was?

[Bluelightcrew]

@Dr-Bakterius
In nächster Zeit wohl nicht, da das komplette Script dafür umgekrempelt werden muss,und der Ersteller des scriptes leider dafür keine Zeit hat.
Sehr schade, vielleicht sollten wir mal den Wunsch danach in adapter anfragen stellen. Denke da sind einige die das gerne hätten.
Ich selber habe das Script benutzt und ewig gesucht warum mein System irgendwann anfängt zu spinnen. Seit dem ich das Script offline genommen habe, sind die Probleme weg.

[darkiop]

Habe es aktuelle ebenfalls offline. Evtl. ist das hier eine Alternative für die gewünschte Funktionalität - hab ich aber bei mir ebenfalls noch nicht umgesetzt:

https://forum.iobroker.net/topic/12126/vorlage-multi-ereignislisten-skript

[Bluelightcrew]

@darkiop
Cool danke! Werde ich mal testen

[Mic]

Hi zusammen,

ja, ich komme leider nicht dazu, habe nur beschränkt Zeit und pflege bzw. entwickle derzeit nur neue Needs die ich habe. Derzeit ist dabei dieses Script ziemlich hinten angestellt.
Aber Quellcode steht zur freien Verfügung

[crunchip]

hab das Script nun auch deaktiviert
mein Load average lag im Schnitt bei 1.25, durchs deaktivieren ist der Load nun um knapp die Hälfte gesunken.

[Mic]

@crunchip @Bluelightcrew @Dr-Bakterius @darkiop und Rest:
Werde mich der Thematik nun annehmen, den Stream entsprechend auszulesen. Bald kommt ein erster Prototyp.

[darkiop]

Super, wir testen gerne

[Bluelightcrew]

@Mic
Super! Finde ich eine sehr geile Sache von dir das du deine Zeit opferst. Danke

[Dr. Bakterius]

@Mic: finde ich toll von dir! Bin schon gespannt...

[Mic]

Danke für Euer Feedback

Hier nun eine neue Version, 1.0 alpha, zum Testen: iobroker_logfile-script.js

Das sollte nun endlich die Performance-Probleme beheben, weil das Log nun nur zeilenweise ausgelesen wird.

Ich verwende nun im Script dazu node-tail. Einfach im JavaScript-Adapter in den Optionen unter 'Zusätzliche NPM-Module' "tail" (ohne Anführungszeichen) eingeben und speichern. Steht auch im Script.

Weitere Infos:

• Das Log-File ändert um 0:00 Uhr Nachts den Dateinamen. Das Script sollte das abfangen. Aber müssen wir erst testen, ob es auch wirklich klappt.
• Ich musste den Code ziemlich umstellen, kann daher sein, dass es an der ein oder anderen Stelle noch nicht so funktioniert. Am besten einfach mal laufen lassen und sehen, ob sich die Datenpunkte füllen.

Viel Erfolg beim Testen, freue mich über Euer Feedback.

[liv-in-sky]

@Mic
Bin fleissig am testen - da ich gerade einen regionalen DSL Abbruch habe, wird fleißig im Log eingetragen

Schaut alles gut aus bis jetzt

Nochmals danke das du das Project nochmal angegangen bist

[Mic]

@liv-in-sky
Super, danke fürs Testen!

Ich habe gerade einen Fix veröffentlicht, also Version 1.02 alpha.
Das Aktualisieren um Mitternacht hatte nämlich nicht geklappt (ist notwendig, weil sich jede Mitternacht um 0:00 ein neues Logfile generiert wird mit Datum im Dateinamen).

Das Script sollte das beheben. Zum Update des Scripts von 1.01 auf 1.02 reicht es, wenn alles unterhalb "Ab hier nichts mehr ändern / Stop editing here!" ersetzt wird. Bitte aber in diesem Fall auch die Versionsinfos aktualisieren im Script ganz oben, damit ich im Fall weiß, welche Version eingesetzt wird.

[Mic]

Fragen an die Anwender des Scripts:
Damit ich mehr euren weiteren Bedarf verstehe, hier ein paar Fragen:

1. Möchtet ihr auf bestimmte Log-Einträge aktiv agieren, z.B. auslösen einer Aktion bei einem bestimmtem Log-Eintrag? Wenn ja, bitte beschreibt den Use-Case, also wann ausgelöst werden soll und was dann gemacht werden soll (z.B. Error eines Adapters, diesen dann neu starten, oder Push-Mitteilung auf Handy).
2. Wie stellt ihr die gefilterten Log-Einträge dar (im VIS), reicht das, was das Script liefert?
3. Sind die Einstellungen der Option LOG_FILTER intuitiv (ich denke eher nicht)? Wenn nicht, was soll ich da anpassen? Also Beschreibung, Begriffe, usw.
4. Gerne auch weiteres konstruktives Feedback.