[Vorlage] JS: Log-Datei aufbereiten für VIS

quorle

Super, Perfekt, jetzt macht es das ganze wirklich übersichtlicher. Und man erkennt schneller Störungen.Danke für deine schnelle Verbesserung

Aber ich hätte noch etwas, wobei man ich etwas Hilfe benötigen würde:

Aktuell sieht meine Config so aus:

  {
    id:          'garten',
    filter_all:  ['javascript.0'],
    filter_any:  ['garten', 'Relais 1', '', '', ''],
    blacklist:   ['script', '', '(mylog)'],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '', '']
  },

nun werden mir aber noch solche Typen angezeigt, die ich nicht kürzen kann:

script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige: registered 7 subscriptions and 0 schedules
28.07.2018 09:47:37	info	Start javascript script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
28.07.2018 09:47:37	info	Stop script script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
28.07.2018 09:46:13	error	Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80
Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet
Bewässerung_Zeitschaltuhr_Relais_1: registered 4 subscriptions and 0 schedules
Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: registered 2 subscriptions and 0 schedules
Start javascript Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr
28.07.2018 09:46:00	info	Bewässerung_Ein/Aus_über_Intervall: registered 4 subscriptions and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Ein/Aus_über_Intervall
28.07.2018 09:46:00	info	Bewässerung_Abschaltung_für_variable_Tage: registered 1 subscription and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Abschaltung_für_variable_Tage

Wie kann ich die noch ausblenden das es in etwa so aussieht:

28.07.2018 09:46:13	error	Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80
							Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet

dass auch folgendes verschwindet:

script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige: registered 7 subscriptions and 0 schedules
28.07.2018 09:47:37	info	Start javascript script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
28.07.2018 09:47:37	info	Stop script script.js.common.System.(mylog)_Logfile_Sortieren_für_VIS_Anzeige
Bewässerung_Zeitschaltuhr_Relais_1: registered 4 subscriptions and 0 schedules
Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: registered 2 subscriptions and 0 schedules
28.07.2018 09:46:00	info	Bewässerung_Ein/Aus_über_Intervall: registered 4 subscriptions and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Ein/Aus_über_Intervall
28.07.2018 09:46:00	info	Bewässerung_Abschaltung_für_variable_Tage: registered 1 subscription and 0 schedules
28.07.2018 09:46:00	info	Start javascript Bewässerung_Abschaltung_für_variable_Tage

Mic

~~@quorle:~~

Wie kann ich die noch ausblenden das es in etwa so aussieht:

! 28.07.2018 09:46:13 error Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80 Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet ! `

Folgendes zeigt Dir schon mal nur noch Logeinträge vom Level "error", also Fehler an, die sowohl die Begriffe "Garten" als auch "Relais" enthalten. Ist es das, was du willst?

 {
    id:          'garten',
    filter_all:  [' - error: ', 'Garten', 'Relais'],
    filter_any:  ['', '', '', '', ''],
    blacklist:   ['', '', ''],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '', '']
  },

quorle

~~@Mic:~~

~~@quorle:~~

Wie kann ich die noch ausblenden das es in etwa so aussieht:

! 28.07.2018 09:46:13 error Bewässerung_Relais_1_Ein/Aus_über_Zeitschaltuhr: Error: connect EHOSTUNREACH 192.168.2.112:80 Relais 1: Gartenbewässerung Relais 1 über Zeitschaltuhr abgeschaltet ! `

Folgendes zeigt Dir schon mal nur noch Logeinträge vom Level "error", also Fehler an, die sowohl die Begriffe "Garten" als auch "Relais" enthalten. Ist es das, was du willst?
 {
    id:          'garten',
    filter_all:  [' - error: ', 'Garten', 'Relais'],
    filter_any:  ['', '', '', '', ''],
    blacklist:   ['', '', ''],
    columns:     ['date','level','msg'],
    clean:       ['script.js.common.Raumprogramme.Garten.', '', '']
  },
```` `  

Da zeigt er bei mir leider gar nichts mehr an.

Kann man die Meldungen nicht irgendwie kürzen, so wie diese: script.js.common.Raumprogramme.Garten

Ich hab es versucht, das was weg soll, so ein zu tragen, aber leider ohne Erfolg

Auch wenn ich das wie oben mit eintrage ( ' - error: ' ) kommen immer noch alle Meldungen durch, die nicht al "error" deklariert sind.

Mic

Hi quorle,

schicke mir mal einen Auszug vom Log – am besten direkt vom Server (/opt/iobroker/log/) und poste entweder hier oder gerne auch per PM.

quorle

Also, ich muss hier mal noch etwas sagen. Sobald ich das Script aktiviert habe, kommt es ab und an vor, dass sich der Javascript Adapter aufhängt. Mit aufhängen meine ich, dass der Adapter zwei bis drei mal von grün auf rot wechselt und dann auf rot stehen bleibt. Habe es mal getestet und alle meine Scripte nach der Reihe im Abstand von jeweils 5 Minuten gestartet. Jedoch sobald ich das MyLog Script aktiviere, wird der Javascript Adapter sofort rot. Ob es wirklich an dem Script liegt, kann ich jetzt nicht auf die schnelle beurteilen, aber ich hatte seit einigen Tagen viele Probleme mit dem Javascript Adapter.

WernerS

Hallo

also ich habe das Script 1:1 kopiert und gestartet.

Ich habe das Beispiel so geändert

{

id: 'hubschrauberlandeplatz',

filter_all: ['hm-rpc.1'],

filter_any: ['xmlrpc', '', ''],

blacklist: ['', '', '', '', ''],

clean: ['', '', ''],

columns: ['level','date','msg'],

},

in dem Widget der Tabelle habe ich das "javascript.0.scriptEnabled.common.logfile-script" als Object ID eingefügt. Was anderes habe ich nicht gefunden

Die Tabelle zeigt aber nichts an.

Muss ich noch Pfade anpassen oder an was kann das liegen?

Gruß

Werner

Mic

~~@WernerS:~~

in dem Widget der Tabelle habe ich das "javascript.0.scriptEnabled.common.logfile-script" als Object ID eingefügt. Was anderes habe ich nicht gefunden

Die Tabelle zeigt aber nichts an.

Muss ich noch Pfade anpassen oder an was kann das liegen? `

Das ist definitiv nicht der richtige Datenpunkt, sondern etwa so: "javascript.0.mylog.logHubschrauberlandeplatzJSON"

WernerS

Halli Mic

ich bin da noch neu bei iobroker. das mit den Datenpunkte und JSON habe ich noch nicht ganz verstanden.

Das Script erzeugt doch aus den Logdaten sogenannte Datenpunkte. Es muss also eine JSON Datei mit meinen Datenpunkten geben?

Wie finde ich die? Oder muss ich nochmal die konfiguratiin bearbeiten?

Das in meinem Beispiel habe ich bei der Auswahl Objekt ID angeklickt.

Gruß

Werner

Mic

~~@WernerS:~~

ich bin da noch neu bei iobroker. das mit den Datenpunkte und JSON habe ich noch nicht ganz verstanden.

Das Script erzeugt doch aus den Logdaten sogenannte Datenpunkte. Es muss also eine JSON Datei mit meinen Datenpunkten geben? `

Das kenne ich gut, ich bin auch noch nicht so lange dabei

Ich hab in Deinem Screenshot markiert, wo Du den Datenpunkt findest:

Würde Dir außerdem empfehlen, den "Expertenmodus" auszuschalten, also hier auf das rote Symbol klicken, dann bekommst Du nicht alle System-Datenpunkte angezeigt, die brauchst Du erst mal eh nicht:

WernerS

Hallo Mic

danke für den Tip. habe es gefunden. Daten sind vorhanden.

Aber egal ob ich hubschrauberlandeplatz oder'hubschrauberlandeplatzJSON nehme, danach ist die Tabelle nicht mehr sichtbar.

Gruß

Werner

Segway

@Mic:

Habe dein Script ausporbiert und es klappt wunderbar.

Seitdem habe ich aber Probleme, dass der javascript Adapter anscheinend >20s beschäftigt (laut Github kommt nachstehende Meldung genau dann) ist und somit folgendes im LOG kommt:

javascript.0	2018-08-12 13:58:24.850	warn	Reconnection to DB.
javascript.0	2018-08-12 13:58:24.838	warn	Reconnection to DB.

Ich konnte durch ausprobieren herausfinden, dass es das Logfile-Script ist. Schalte ich dies aus kommt die Meldung nicht mehr.

Ne Idee dazu ?

WernerS

Hallo Mic

ich habe es hinbekommen Daten werden jetzt angezeigt.

Super Script

Gruß

Werner

Mic

~~@Segway:~~

Ich konnte durch ausprobieren herausfinden, dass es das Logfile-Script ist. Schalte ich dies aus kommt die Meldung nicht mehr.

Ne Idee dazu ? `

Danke für Deine Rückmeldung, dies kann ich leider nicht reproduzieren.

Was ich mir vorstellen könnte: Das Skript liest das komplette Logfile des Tages je nach Einstellung z.B. alle 2 Minuten aus. Falls dieses sehr groß ist und noch viel anderes gleichzeitig läuft, könnte ggf. das Skript nicht mehr nachkommen.

Muss ich mal weiter beobachten, bei mir läuft der ioBroker auf einer Raspberry, und da ist bislang dies noch nicht aufgetreten, habe allerdings auch nicht allzu viele Adapter usw. am laufen….

xADDRx

Hallo zusammen,

wie bzw. wo in der Script kann ich die Aktuallisierungs Zeit verstellen? Momentan ist die auf 2 Minuten gestellt.

danke.

smartboart

Hallo bekomme nachts um 00:00 Uhr immer diese log Meldung…Hat das auch jemand oder kennt jemand diese Meldung und weiß was sie bedeutet?
> 2018-09-09 00:00:00.523 - error: javascript.0 script.js.common.Iobroker.Vislog: [L] Error: ENOENT: no such file or directory, open '/opt/iobroker/log/iobroker.2018-09-09.log'

smartboart

Ok, hätte ja gleich mal bei github schauen können.

Hier ist die Lösung. Das Problem ist bekannt.

https://github.com/Mic-M/iobroker.logfi … t/issues/2

Hier ist auch beschrieben wie der shedule angepasst werden kann um das zu umgehen.

Vlt. hilft das meinem Vorredner...

If the schedule is set to e.g. every two minutes, then we will miss the log between 23:58 and 0:00 since a new log file will be created at midnight. This can also cause a "file not found" error if the script is executed right at midnight.

Possible solutions:

0:00 + x minutes -> also retrieve the log file contents of the previous day, OR

Change schedules, e.g.: schedule #1 to just run between 0:02 and 0:57. Schedule #2 to run at 0:59:50.

smartboart

~~@xADDRx:~~

Hallo zusammen,

wie bzw. wo in der Script kann ich die Aktuallisierungs Zeit verstellen? Momentan ist die auf 2 Minuten gestellt.

danke. `
Hier wird der shedule alle 2 Minuten gesetzt.

// Wie oft sollen die Log-Datenpunkte aktualisiert werden? Benutze den "Cron"-Button oben rechts für komfortable Einstellung

// Bitte nicht jede Sekunde laufen lassen, alle paar Minuten sollte locker reichen.

const L_SCHEDULE = "*/2 * * * *"; // alle 2 Minuten

greyhound

Das Skript bringt leider meinen ioBroker samt Linux zum Absturz. Ursache ist ein Speicherüberlauf. Anscheinend wird das Array mit den Logzeilen zu groß. Als Workarround habe ich versucht die Logdatei zeilenweise einzulesen, es aber mit dem js-controller nicht hinbekommen.

Hat jemand eine Idee, wie die Logdatei unter ioBroker zeilenweise gelesen werden kann?

Die Logdatei selber habe ich durch einen "Vorfilter" schon geschrumpft, bei mir laufen einige Sachen im debug-Modus und blähen dadurch das Log ziemlich auf.

const mPreFilter = 'warn|error',		// 'warn|error|debug|info'
    mPreBlacklist = 'redis pmessage';

exec('tail -' + nLines + ' ' + strFullLogPath + '|grep -iE "' + mPreFilter + '"|grep -v "' + mPreBlacklist + '" > ' + strFullLogPath + '.filtered;', function(err, stdout, stderr) {
	fs.readFile(strFullLogPath + '.filtered', 'utf8', function (err, data) {
		. . .
	}
});

Vor dem Ausführen ermittle ich die aktuelle Größe der Logdatei und ziehe davon die letzte Größe ab = nLines. Könnte sicherlich noch genauer sein (Änderungen zwischen Ermittlung und tatsächlicher Ausführung).

Mic

Hi smartboart,

hab diesen Thread ganz aus den Augen verloren, danke für Deine Beteiligung.

Hi greyhound,

das hatte ich schon befürchtet, also dass das Array zu groß werden könnte wenn sehr viel geloggt wird… :geek: :roll:

Muss ich mir mal näher ansehen, wahrscheinlich muss man die Logik im Code umbauen und -- wie du schreibst -- zeilenweise verarbeiten.

Mic

<size size="150">Update auf Version 0.8:</size>

LINK: https://github.com/Mic-M/iobroker.logfile-script

Fehlerbehebung:

Keine Fehlermeldung mehr, falls um oder nach Mitternacht noch kein neues Logfile (mit neuem Datum) existiert. Damit kein Error mehr im Log deswegen.

NEWS

[Vorlage] JS: Log-Datei aufbereiten für VIS

Support us

371

32.4k

81.4k

1.3m