[Vorlage] JS: Log-Datei aufbereiten für VIS

Mic

<size size="150">Update auf Version 0.5.1 BETA</size>

Jetzt kann man im vis einen Button "Log als gelesen markieren" (oder ähnlichen Namen dafür) einbauen. Beim Drücken auf den Button wird dann im vis die JSON-Tabelle geleert, und nur noch neuere Logs werden danach angezeigt (Aktualisierung dauert etwas, je nach Einstellung von L_SCHEDULE im Script).

Dazu sind pro Filter folgende States verfügbar:
<list type="decimal">4. log[Filter]JSONclear –> das ist der Button, der im vis auszulösen wird.

log[Filter]JSONclearDateTime –> hier wird dann aktuelles Datum/Uhrzeit gesetzt. Alle älteren Logeinträge werden dann im vis nicht mehr gezeigt
log[Filter]JSONcount –> Anzahl Log-Einträge, kann ebenfalls dann in vis genutzt werden z.B. zur Anzeige auf Widget.

So kann man sich z.B. bestimmte Meldungen filtern, und sobald gelesen auf den Button drücken, dann erscheinen diese nicht mehr.

Das ganze noch als Beta-Release, ich muss das noch ein wenig testen, aber soweit funktioniert es sehr gut bei mir.

Sieht dann so in meinem Test-vis aus. Unten sieht man, dass es 60 neue Logs zu lesen gibt. Auf "Errors and "Warning" kann dann der Button oben rechts gedrückt werden, dann werden diese wieder auf 0 gesetzt.

quorle

~~@Mic:~~

~~@quorle:~~

Aber wie kann ich die JSON Tabelle einstellen, wie sie aussehen soll und was alles angezeigt werden soll? da blicke ich so ohne Anleitung noch nicht durch :shock: `

Hi quorle,

danke auch für Dein Feedback. Die anzuzeigenden Spalten stellst Du in der Konfiguration des Scripts ein. Hier als Beispiel, beachte dabei die Zeile, die mit "columns", also Spalten anfängt:
  {
    id:          'hubschrauberlandeplatz',
    filter_all:  ['hubschr.0'],
    filter_any:  ['wetterwarnung', 'alarm', 'ufo'],
    blacklist:   ['0 Bft', '1 Bft', '2 Bft', '3 Bft', '4 Bft'],
    clean:       ['****', '!!!!', 'ufo gesichtet'],
    columns:     ['date','level','source','msg'],
  }, 
Damit werden standardmäßig mit der JSON-Tabelle die Spalten "Date", "Level" (also debug, error, info, etc.), "Source" (also z.B. Adaptername), sowie "Msg", also der Logeintrag angezeigt. Möchtest Du z.B. nur 2 Spalten mit Datum und Logeintrag, so änderst Du die Zeile wie folgt:
    columns:     ['date','msg'],
Soll z.B. in der 1. Spalte der Logeintrag (msg) stehen und in der 2. Spalte das Datum, so änderst Du die Reihenfolge:
    columns:     ['msg','date'],

Danke dir für die schenlle Info, dass habe ich nun hinbekommen. Aber ich habe weitere Probleme bei den Einstellungen.

Momentan sieht es bei mir so aus:

/*******************************************************************************
 * Konfiguration: Datenpunkte und Filter
 ******************************************************************************/
// Dies ist das Herzstück dieses Scripts: hier werden die Datenpunkte
// konfiguriert, die erstellt werden sollen. Hierbei können wir entsprechend
// Filter setzen, also Wörter/Begriffe, die in Logeinträgen enthalten sein
// sollen und in den Datenpunkten aufgenommen werden.
//
// id:         Hier Begriff ohne Leerzeichen, z.B. "error", "sonoff", etc.
//             Die ID wird dann Teil der ID der Datenpunkte.
// filter_all: ALLE Begriffe müssen in der Logzeile enthalten sein. Ist einer
//             der Begriffe nicht enthalten, dann wird der komplette Logeintrag
//             auch nicht übernommen.
//             Leeres Array eingeben [] falls hier filtern nicht gewünscht.
// filter_any: Mindestens einer der gelisteten Begriffe muss enthalten sein.
//             Leeres Array eingeben [] falls hier filtern nicht gewünscht.
// blacklist:  Wenn einer dieser Begriffe im Logeintrag enthalten ist,
//             so wird der komplette Logeintrag nicht übernommen, egal was
//             vorher in filter_all oder filter_any definiert ist.
//             Mindestens 3 Zeichen erforderlich, sonst wird es nicht
//             berücksichtigt.
// clean:      Der Log-Eintrag wird um diese Zeichenfolgen bereinigt, d.h. diese
//             werden entfernt, aber die restliche Zeile bleibt bestehen. Z.B.
//             um unerwünschte Zeichenfolgen zu entfernen oder Log-Ausgaben
//             zu kürzen.
// columns:    Nur für JSON (für vis). 
//             Folgende Spalten gibt es: 'date','level','source','msg'
//             Hier können einzelne Spalten entfernt oder die Reihenfolge
//             verändert werden.
//             Bitte keine anderen Werte eintragen.
//
// filter_all, filter_any und blacklist werden gleichzeitig ausgeführt.
// Bei den Filtern bitte beachten: Datenpunkt-Inhalte bei Änderung ggf. vorher
// löschen, diese werden nicht nachträglich gefiltert.
//
// Die Filter-Einträge können natürlich beliebig geändert und erweitert werden, 
// bitte aber den Aufbau beibehalten.
//
const L_FILTER = [
  {
    id:          'all',    // wir wollen hier alle Logeinträge, keine Filterung
    filter_all:  ['', ''], // wird ignoriert, wenn leer
    filter_any:  ['', ''], // wird ignoriert, wenn leer
    blacklist:   ['', ''], // wird ignoriert, wenn leer
    clean:       ['', '', ''], // wird ignoriert, wenn leer
    columns:     ['date','level','source','msg'],  // Spaltenreihenfolge für JSON (Tabelle in vis)
  },
  {
    id:          'debug',
    filter_all:  [' - debug: '], // nur Logeinträge mit Level 'debug'
    filter_any:  ['', ''],
    blacklist:   ['', ''],
    clean:       ['', '', ''],
    columns:     ['date','level','source','msg'],
  },
  {
    id:          'info',
    filter_all:  [' - info: '],  // nur Logeinträge mit Level 'info'
    filter_any:  ['', ''],
    blacklist:   ['', ''],
    clean:       ['', '', ''],
    columns:     ['date','level','source','msg'],
  },
  {
    id:          'warn',
    filter_all:  [' - warn: '],  // nur Logeinträge mit Level 'warn'
    filter_any:  ['', ''],
    blacklist:   ['', ''],
    clean:       ['', '', ''],
    columns:     ['date','level','source','msg'],
  },
  {
    id:          'error',
    filter_all:  [' - error: '],  // nur Logeinträge mit Level 'error'
    filter_any:  ['', ''],
    blacklist:   ['', ''],
    clean:       ['', '', ''],
    columns:     ['date','level','source','msg'],
  },
  {
    id:          'warnanderror',
    filter_all:  ['', ''],
    filter_any:  [' - error: ', ' - warn: '],
    blacklist:   ['javascript.0 ^', 'no playback content', ''],
    clean:       ['', '', ''],
    columns:     ['date','level','source','msg'],
  },
  // Beispiel für individuellen Eintrag. Hier wird Euer Hubschrauber-Landeplatz
  // überwacht :-) Wir wollen nur Einträge vom Adapter 'hubschr.0'.
  // Dabei sollen entweder Wetterwarnungen, Alarme, oder UFOs gemeldet werden.
  // Alles unter Windstärke "5 Bft" interessiert uns dabei nicht, daher haben
  // wir '0 Bft' bis '4 Bft' auf die Blackliste gesetzt.
  // Außerdem entfernen wir von der Log-Zeile die Zeichenfolgen '****', '!!!!' 
  // und 'ufo gesichtet', der Rest bleibt aber bestehen.
  // Zudem haben wir unter columns die Spaltenreihenfolge geändert. 'level'
  // herausgenommen, und Quelle ganz vorne.
  //{
    //id:          'hubschrauberlandeplatz',
    //filter_all:  ['hubschr.0'],
    //filter_any:  ['wetterwarnung', 'alarm', 'ufo'],
    //blacklist:   ['0 Bft', '1 Bft', '2 Bft', '3 Bft', '4 Bft'],
  //},
  {
    id:          'garten',
    filter_all:  ['javascript.0'],
    filter_any:  ['garten', '', '', '', ''],
    blacklist:   ['Stop script', 'Start script'],
    columns:     ['date','level','msg'],
    clean:       ['', '']
  }, 
 ];

Die Anzeige dazu zeigt dann dies an:

Nun würde ich aber folgendes nicht anzeigen lassen:

1. Wenn z.B. folgende Störung kommt: "cript.js.common.Raumprogramme.Garten.Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80" , dann sollte die eigentlich so aussehen: "Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80 "

2. Bei mir werden die Infotexte die in in den Programmen in die Log schreiben lasse nicht vollständig angezeigt

3. In der VIS-Anzeige ist hinter dem Message noch ein Feld, wie bekommt man dieses weg?

4. Eventuell kannst du uns ja deinen VIEW oder Wighet zur verfügung stellen?

5. Eine Farbliche gestaltung der Anzeige wäre nett, wie kann man deklarieren, dass Error rot sind, Warnings orange sind, usw….?

Ich weis, Fragen über Fragen, aber ich mache das noch nicht so lange.

Mic

~~@quorle:~~

1. Wenn z.B. folgende Störung kommt: "cript.js.common.Raumprogramme.Garten.Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80" , dann sollte die eigentlich so aussehen: "Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80 " `

So:

  {
    id:          'garten',
    filter_all:  ['javascript.0'],
    filter_any:  ['garten', '', '', '', ''],
    blacklist:   ['Stop script', 'Start script'],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '']
  },

~~@quorle:~~

2. Bei mir werden die Infotexte die in in den Programmen in die Log schreiben lasse nicht vollständig angezeigt `

Diesen Teil hier in der Konfiguration anpassen und den Wert erhöhen z.B. von 100 auf 500

// Max. Anzahl Zeichen der Log-Meldung im JSON Log.
const L_LEN = 100;

~~@quorle:~~

3. In der VIS-Anzeige ist hinter dem Message noch ein Feld, wie bekommt man dieses weg?

4. Eventuell kannst du uns ja deinen VIEW oder Wighet zur verfügung stellen?

5. Eine Farbliche gestaltung der Anzeige wäre nett, wie kann man deklarieren, dass Error rot sind, Warnings orange sind, usw….? `

Zur Formatierung der JSON-Tabelle kann ich leider wenig beitragen, außer was ich schon hier schrieb: viewtopic.php?f=21&t=15514#p165190

Bitte such mal hier im Forum, die Formatierung der JSON-Tabelle wurde wohl schon einige Male behandelt…

Welches Widget oder welche View willst Du denn zur Verfügung, und warum? Sieht bei mir ja ähnlich aus. Habe nur das CSS von oben ergänzt, siehe: viewtopic.php?f=21&t=15514#p165190

quorle

Leider habe ich durch die Suche nichts konkretes gefunden. Zudem habe ich einen Thread eröffnet, ohne Antworten. Thread: viewtopic.php?f=30&t=15730, as wäre ja noch Klasse, wenn sich dies immer farblich gestalten würde.

Mic

~~@quorle:~~

Leider habe ich durch die Suche nichts konkretes gefunden. Zudem habe ich einen Thread eröffnet, ohne Antworten. Thread: viewtopic.php?f=30&t=15730, as wäre ja noch Klasse, wenn sich dies immer farblich gestalten würde. `

Habe ich mir angesehen und Du hast Recht, Tabellenformatierung je nach Eintrag einer bestimmten Spalte geht so nicht ohne weiteres. Habe daher das Script aktualisiert, schreibe gleich mehr dazu.

Mic

<size size="150">Update auf Version 0.6:</size>

LINK: https://github.com/Mic-M/iobroker.logfile-script

Wesentliche Neuerung:

Die ausgegebenen Log-Zeilen können nun mittels CSS formatiert werden (z.B. für 'error' in rot, 'info' in grün, usw.). Dies ist entweder für die ganze Zeile möglich (also Datum, Quelle, Log-Text, etc.) oder nur für das Level selbst ("error", "info"). Falls die ganze Zeile gekennzeichnet werden soll, dann im Skript L_APPLY_CSS_LIMITED_TO_LEVEL auf false setzen.

Beispiel-CSS – im Reiter CSS für das Widget "basic - Table" rein kopieren:

.log-warn { color: orange; font-weight: bold; }
.log-error { color: red;  font-weight: bold;}

So kann das dann z.B. aussehen:

quorle

Super, Perfekt, jetzt macht es das ganze wirklich übersichtlicher. Und man erkennt schneller Störungen.Danke für deine schnelle Verbesserung

Aber ich hätte noch etwas, wobei man ich etwas Hilfe benötigen würde:

Aktuell sieht meine Config so aus:

  {
    id:          'garten',
    filter_all:  ['javascript.0'],
    filter_any:  ['garten', 'Relais 1', '', '', ''],
    blacklist:   ['script', '', '(mylog)'],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '', '']
  },

nun werden mir aber noch solche Typen angezeigt, die ich nicht kürzen kann:

script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige: registered 7 subscriptions and 0 schedules
28.07.2018 09:47:37	info	Start javascript script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
28.07.2018 09:47:37	info	Stop script script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
28.07.2018 09:46:13	error	Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80
Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet
Bewässerung_Zeitschaltuhr_Relais_1: registered 4 subscriptions and 0 schedules
Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: registered 2 subscriptions and 0 schedules
Start javascript Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr
28.07.2018 09:46:00	info	Bewässerung_Ein/Aus_über_Intervall: registered 4 subscriptions and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Ein/Aus_über_Intervall
28.07.2018 09:46:00	info	Bewässerung_Abschaltung_für_variable_Tage: registered 1 subscription and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Abschaltung_für_variable_Tage

Wie kann ich die noch ausblenden das es in etwa so aussieht:

28.07.2018 09:46:13	error	Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80
							Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet

dass auch folgendes verschwindet:

script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige: registered 7 subscriptions and 0 schedules
28.07.2018 09:47:37	info	Start javascript script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
28.07.2018 09:47:37	info	Stop script script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
Bewässerung_Zeitschaltuhr_Relais_1: registered 4 subscriptions and 0 schedules
Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: registered 2 subscriptions and 0 schedules
28.07.2018 09:46:00	info	Bewässerung_Ein/Aus_über_Intervall: registered 4 subscriptions and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Ein/Aus_über_Intervall
28.07.2018 09:46:00	info	Bewässerung_Abschaltung_für_variable_Tage: registered 1 subscription and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Abschaltung_für_variable_Tage

Mic

~~@quorle:~~

Wie kann ich die noch ausblenden das es in etwa so aussieht:

! 28.07.2018 09:46:13 error Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80 Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet ! `

Folgendes zeigt Dir schon mal nur noch Logeinträge vom Level "error", also Fehler an, die sowohl die Begriffe "Garten" als auch "Relais" enthalten. Ist es das, was du willst?

 {
    id:          'garten',
    filter_all:  [' - error: ', 'Garten', 'Relais'],
    filter_any:  ['', '', '', '', ''],
    blacklist:   ['', '', ''],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '', '']
  },

quorle

~~@Mic:~~

~~@quorle:~~

Wie kann ich die noch ausblenden das es in etwa so aussieht:

! 28.07.2018 09:46:13 error Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80 Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet ! `

Folgendes zeigt Dir schon mal nur noch Logeinträge vom Level "error", also Fehler an, die sowohl die Begriffe "Garten" als auch "Relais" enthalten. Ist es das, was du willst?
 {
    id:          'garten',
    filter_all:  [' - error: ', 'Garten', 'Relais'],
    filter_any:  ['', '', '', '', ''],
    blacklist:   ['', '', ''],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '', '']
  },
```` `  

Da zeigt er bei mir leider gar nichts mehr an.

Kann man die Meldungen nicht irgendwie kürzen, so wie diese: script.js.common.Raumprogramme.Garten

Ich hab es versucht, das was weg soll, so ein zu tragen, aber leider ohne Erfolg

Auch wenn ich das wie oben mit eintrage ( ' - error: ' ) kommen immer noch alle Meldungen durch, die nicht al "error" deklariert sind.

Mic

Hi quorle,

schicke mir mal einen Auszug vom Log – am besten direkt vom Server (/opt/iobroker/log/) und poste entweder hier oder gerne auch per PM.

quorle

Also, ich muss hier mal noch etwas sagen. Sobald ich das Script aktiviert habe, kommt es ab und an vor, dass sich der Javascript Adapter aufhängt. Mit aufhängen meine ich, dass der Adapter zwei bis drei mal von grün auf rot wechselt und dann auf rot stehen bleibt. Habe es mal getestet und alle meine Scripte nach der Reihe im Abstand von jeweils 5 Minuten gestartet. Jedoch sobald ich das MyLog Script aktiviere, wird der Javascript Adapter sofort rot. Ob es wirklich an dem Script liegt, kann ich jetzt nicht auf die schnelle beurteilen, aber ich hatte seit einigen Tagen viele Probleme mit dem Javascript Adapter.

WernerS

Hallo

also ich habe das Script 1:1 kopiert und gestartet.

Ich habe das Beispiel so geändert

{

id: 'hubschrauberlandeplatz',

filter_all: ['hm-rpc.1'],

filter_any: ['xmlrpc', '', ''],

blacklist: ['', '', '', '', ''],

clean: ['', '', ''],

columns: ['level','date','msg'],

},

in dem Widget der Tabelle habe ich das "javascript.0.scriptEnabled.common.logfile-script" als Object ID eingefügt. Was anderes habe ich nicht gefunden

Die Tabelle zeigt aber nichts an.

Muss ich noch Pfade anpassen oder an was kann das liegen?

Gruß

Werner

Mic

~~@WernerS:~~

in dem Widget der Tabelle habe ich das "javascript.0.scriptEnabled.common.logfile-script" als Object ID eingefügt. Was anderes habe ich nicht gefunden

Die Tabelle zeigt aber nichts an.

Muss ich noch Pfade anpassen oder an was kann das liegen? `

Das ist definitiv nicht der richtige Datenpunkt, sondern etwa so: "javascript.0.mylog.logHubschrauberlandeplatzJSON"

WernerS

Halli Mic

ich bin da noch neu bei iobroker. das mit den Datenpunkte und JSON habe ich noch nicht ganz verstanden.

Das Script erzeugt doch aus den Logdaten sogenannte Datenpunkte. Es muss also eine JSON Datei mit meinen Datenpunkten geben?

Wie finde ich die? Oder muss ich nochmal die konfiguratiin bearbeiten?

Das in meinem Beispiel habe ich bei der Auswahl Objekt ID angeklickt.

Gruß

Werner

Mic

~~@WernerS:~~

ich bin da noch neu bei iobroker. das mit den Datenpunkte und JSON habe ich noch nicht ganz verstanden.

Das Script erzeugt doch aus den Logdaten sogenannte Datenpunkte. Es muss also eine JSON Datei mit meinen Datenpunkten geben? `

Das kenne ich gut, ich bin auch noch nicht so lange dabei

Ich hab in Deinem Screenshot markiert, wo Du den Datenpunkt findest:

Würde Dir außerdem empfehlen, den "Expertenmodus" auszuschalten, also hier auf das rote Symbol klicken, dann bekommst Du nicht alle System-Datenpunkte angezeigt, die brauchst Du erst mal eh nicht:

WernerS

Hallo Mic

danke für den Tip. habe es gefunden. Daten sind vorhanden.

Aber egal ob ich hubschrauberlandeplatz oder'hubschrauberlandeplatzJSON nehme, danach ist die Tabelle nicht mehr sichtbar.

Gruß

Werner

Segway

@Mic:

Habe dein Script ausporbiert und es klappt wunderbar.

Seitdem habe ich aber Probleme, dass der javascript Adapter anscheinend >20s beschäftigt (laut Github kommt nachstehende Meldung genau dann) ist und somit folgendes im LOG kommt:

javascript.0	2018-08-12 13:58:24.850	warn	Reconnection to DB.
javascript.0	2018-08-12 13:58:24.838	warn	Reconnection to DB.

Ich konnte durch ausprobieren herausfinden, dass es das Logfile-Script ist. Schalte ich dies aus kommt die Meldung nicht mehr.

Ne Idee dazu ?

WernerS

Hallo Mic

ich habe es hinbekommen Daten werden jetzt angezeigt.

Super Script

Gruß

Werner

Mic

~~@Segway:~~

Ich konnte durch ausprobieren herausfinden, dass es das Logfile-Script ist. Schalte ich dies aus kommt die Meldung nicht mehr.

Ne Idee dazu ? `

Danke für Deine Rückmeldung, dies kann ich leider nicht reproduzieren.

Was ich mir vorstellen könnte: Das Skript liest das komplette Logfile des Tages je nach Einstellung z.B. alle 2 Minuten aus. Falls dieses sehr groß ist und noch viel anderes gleichzeitig läuft, könnte ggf. das Skript nicht mehr nachkommen.

Muss ich mal weiter beobachten, bei mir läuft der ioBroker auf einer Raspberry, und da ist bislang dies noch nicht aufgetreten, habe allerdings auch nicht allzu viele Adapter usw. am laufen….

xADDRx

Hallo zusammen,

wie bzw. wo in der Script kann ich die Aktuallisierungs Zeit verstellen? Momentan ist die auf 2 Minuten gestellt.

danke.

NEWS

[Vorlage] JS: Log-Datei aufbereiten für VIS

Support us

755

32.4k

81.4k

1.3m