[Vorlage] JS: Log-Datei aufbereiten für VIS

[smartboart]

Ok, hätte ja gleich mal bei github schauen können.

Hier ist die Lösung. Das Problem ist bekannt.

https://github.com/Mic-M/iobroker.logfi … t/issues/2

Hier ist auch beschrieben wie der shedule angepasst werden kann um das zu umgehen.

Vlt. hilft das meinem Vorredner...

If the schedule is set to e.g. every two minutes, then we will miss the log between 23:58 and 0:00 since a new log file will be created at midnight. This can also cause a "file not found" error if the script is executed right at midnight.

Possible solutions:

0:00 + x minutes -> also retrieve the log file contents of the previous day, OR

Change schedules, e.g.: schedule #1 to just run between 0:02 and 0:57. Schedule #2 to run at 0:59:50.

[smartboart]

@xADDRx:

Hallo zusammen,

wie bzw. wo in der Script kann ich die Aktuallisierungs Zeit verstellen? Momentan ist die auf 2 Minuten gestellt.

danke. `
Hier wird der shedule alle 2 Minuten gesetzt.

// Wie oft sollen die Log-Datenpunkte aktualisiert werden? Benutze den "Cron"-Button oben rechts für komfortable Einstellung

// Bitte nicht jede Sekunde laufen lassen, alle paar Minuten sollte locker reichen.

const L_SCHEDULE = "*/2 * * * *"; // alle 2 Minuten

[greyhound]

Das Skript bringt leider meinen ioBroker samt Linux zum Absturz. Ursache ist ein Speicherüberlauf. Anscheinend wird das Array mit den Logzeilen zu groß. Als Workarround habe ich versucht die Logdatei zeilenweise einzulesen, es aber mit dem js-controller nicht hinbekommen.

Hat jemand eine Idee, wie die Logdatei unter ioBroker zeilenweise gelesen werden kann?

Die Logdatei selber habe ich durch einen "Vorfilter" schon geschrumpft, bei mir laufen einige Sachen im debug-Modus und blähen dadurch das Log ziemlich auf.

const mPreFilter = 'warn|error',		// 'warn|error|debug|info'
    mPreBlacklist = 'redis pmessage';

exec('tail -' + nLines + ' ' + strFullLogPath + '|grep -iE "' + mPreFilter + '"|grep -v "' + mPreBlacklist + '" > ' + strFullLogPath + '.filtered;', function(err, stdout, stderr) {
	fs.readFile(strFullLogPath + '.filtered', 'utf8', function (err, data) {
		. . .
	}
});

Vor dem Ausführen ermittle ich die aktuelle Größe der Logdatei und ziehe davon die letzte Größe ab = nLines. Könnte sicherlich noch genauer sein (Änderungen zwischen Ermittlung und tatsächlicher Ausführung).

[Mic]

Hi smartboart,

hab diesen Thread ganz aus den Augen verloren, danke für Deine Beteiligung.

Hi greyhound,

das hatte ich schon befürchtet, also dass das Array zu groß werden könnte wenn sehr viel geloggt wird… :geek: :roll:

Muss ich mir mal näher ansehen, wahrscheinlich muss man die Logik im Code umbauen und -- wie du schreibst -- zeilenweise verarbeiten.

[Mic]

<size size="150">Update auf Version 0.8:</size>

LINK: https://github.com/Mic-M/iobroker.logfile-script

Fehlerbehebung:

Keine Fehlermeldung mehr, falls um oder nach Mitternacht noch kein neues Logfile (mit neuem Datum) existiert. Damit kein Error mehr im Log deswegen.

[Mic]

@smartboart:

Hallo bekomme nachts um 00:00 Uhr immer diese log Meldung…Hat das auch jemand oder kennt jemand diese Meldung und weiß was sie bedeutet?
> 2018-09-09 00:00:00.523 - error: javascript.0 script.js.common.Iobroker.Vislog: [L] Error: ENOENT: no such file or directory, open '/opt/iobroker/log/iobroker.2018-09-09.log' `

Siehe oben, ist jetzt mit Version 0.8 behoben.

[greyhound]

Ich denke inzwischen, dass auch der Ansatz mit dem zeilenweisen Lesen nicht die Lösung ist. Vielmehr müsste direkt der Stream, analog zur Logseite des Admin "abgegriffen" werden. Damit würde nur die neuen Nachrichten noch verarbeitet werden und der Aufwand für das Erkennen der bereits gelesenen Einträge entfällt.

Leider habe ich im Moment keine Zeit, zu schauen, wie die Logseite das macht.

[smartboart]

Hi mic, danke für die Korrektur… Wie verält sich das Script eigentlich im MultiHost System? Werden alle log files ausgegeben?

im Admin kann ich ja die bei der log Ausgabe zwischen den Hosts wählen.

[Mic]

@smartboart:

Wie verält sich das Script eigentlich im MultiHost System? Werden alle log files ausgegeben? `
Das kann ich leider nicht sagen, da ich nicht mit einem Multihost-System arbeite…

[Walkinlarge2010]

@smartboart:

Hi mic, danke für die Korrektur… Wie verält sich das Script eigentlich im MultiHost System? Werden alle log files ausgegeben?

im Admin kann ich ja die bei der log Ausgabe zwischen den Hosts wählen. `

Nein, es wird nur das log von dem Hist ausgegeben auf dem das Script läuft. Theoretisch könntest du den Java Adapter auf dem slave mit dem selben Script laufen lassen und zwei getrennte Anzeigen machen. Is aber noch ganz so fancy

Gesendet von iPhone mit Tapatalk

[smartboart]

Hatte ich mir schon gedacht.. Danke

Gesendet von meinem CLT-L09 mit Tapatalk

[Mic]

@greyhound:

Das Skript bringt leider meinen ioBroker samt Linux zum Absturz. Ursache ist ein Speicherüberlauf. Anscheinend wird das Array mit den Logzeilen zu groß. Als Workarround habe ich versucht die Logdatei zeilenweise einzulesen, es aber mit dem js-controller nicht hinbekommen.

Hat jemand eine Idee, wie die Logdatei unter ioBroker zeilenweise gelesen werden kann? `

@greyhound:

Ich denke inzwischen, dass auch der Ansatz mit dem zeilenweisen Lesen nicht die Lösung ist. Vielmehr müsste direkt der Stream, analog zur Logseite des Admin "abgegriffen" werden. Damit würde nur die neuen Nachrichten noch verarbeitet werden und der Aufwand für das Erkennen der bereits gelesenen Einträge entfällt.

Leider habe ich im Moment keine Zeit, zu schauen, wie die Logseite das macht. `

So, heute ist genau das bei mir auch passiert. CPU-Auslastung 100%, ioBroker abgeschmiert, gleiches beim Neustart des Containers. Beim näheren Betrachten das Log-Script identifiziert. Log-Datei hatte sich massiv gefüllt, größer 40 MB, das wohl der Grund, warum das Script nicht mehr nach kam. Es kommt einfach wohl nicht mit diesen massiven Datenmengen klar.

Muss noch identifizieren, warum sich das Log dermaßen gefüllt hat, da die Ausgaben nicht direkt zuordenbar. Ich hatte allerdings dabei gerade ein Javascript erstellt, also etwa eine Endlos-Schleife o.ä. würde ich nicht ausschließen.

Erster Schuss ins Blaue: hier sollte eine Logfile-Größen-Abfrage rein, wenn größer als x MB, dann nichts machen.

Gib Dir absolut recht, am besten wäre wohl auslesen als "Stream". Ggf. gepaart mit der Größe….

[Kuddel]

Bin heute durch einen Hinweis auf dieses Skript gestoßen.

Genau soetwas habe ich gesucht.

Ich möchte bei mir im VIS von mir durch Skripte generierte Meldungen anzeigen lassen.

Dazu habe ich im Skript folgenden Filter erstellt:

id: 'javascript',
filter_all:  ['+++'],
filter_any:  [''],
blacklist:   ['Error'],
clean: ['script.js.smarthome.','javascript.0','info','NAS_und_VMware.shutdown_WinNAS_v01:','system.adapter_starten_stoppen:','rolladen.rolladen_tag_nacht_v0_5:','script.js.java.wol.wol_winnas:','system.backup_erstellen:'],
columns:  ['date','msg'],

Funktioniert schon fast richtig.

Nur der Eintrag um 12:13 stört mich und ich weiß gerade nicht weiter:

Kann man die Message spalte irgendwie linksbündig machen?

[Kuddel]

Muss ich jetzt für eine saubere Anzeige im VIS unter "clean" jeder Skriptpfad eintragen, damit dieser nicht mehr angezeigt wird ?

ist:

NAS_und_VMware.shutdown_synology_v0_1: Synology wird heruntergefahren

soll:

Synology wird heruntergefahren

Oder kann man irgendwie mit Wildcards arbeiten, sonst wird die Zeile ganz schön lang ^^

[Segway]

Moin moin,

erst einmal DANKE für das tolle script. Funktioniert soweit alles super. Im VIS habe ich aber leeres Bild wenn 0 Einträge vorhanden sind. Kann ich da etwas anderes einstellen ?

[Mic]

@Kuddel:

Kann man die Message spalte irgendwie linksbündig machen? `
Nimmst Du das Widget "Basic Table"? Das geht mit CSS, da steht auch weiter oben in diesem Thread was dazu, ansonsten steht dazu im Forum auch einiges bezüglich Widget-Formatierung mit CSS.

@Kuddel:

Oder kann man irgendwie mit Wildcards arbeiten, sonst wird die Zeile ganz schön lang ^^ `
Wildcards unterstützt das Script so "out of the box" nicht. Kannst gerne ein https://github.com/Mic-M/iobroker.logfile-script/issues aufmachen, dann baue ich es ein, wenn ich Zeit hab.

@Segway:

erst einmal DANKE für das tolle script. Funktioniert soweit alles super. Im VIS habe ich aber leeres Bild wenn 0 Einträge vorhanden sind. Kann ich da etwas anderes einstellen ? `
Sehr gerne, danke für Dein Feedback!

Ich hab hierzu einfach ein Widget "basic - ValueList Text" über die Tabelle gelegt, im Feld "Voranstellen HTML:" einen Text eingetragen ("alles bestens - keine Log-Einträge" o.ä. und über "Sichtbarkeit" mit Datenpunkt "…JSONcount" == 0 verbergen.

[Segway]

Okay vielen Dank ! Sehr guter Tip !

Noch eine Frage, da stehe ich grad auf dem Schlauch.

Welches Widget muss ich nutzen um die Counter zu resetten gemäß dem Datenpunkt zB. logWarnanderrorJSONclear ?

[nik82]

Hallo,

erstmal danke für das Script, ist genau das was ich schon lange gesucht hab

Hab nur eine kleine Frage, ich will rein nur die Logs loggen, die auf ERROR stehen, alles andere soll nicht gelogged werden.

Das muss ich ja wahrscheinlich beim Filter einstellen, aber was muss ich jetzt dort genau ändern um z.B. nicht alle zu loggen:

id:          'all',    // wir wollen hier alle Logeinträge, keine Filterung
filter_all:  ['', ''], // wird ignoriert, wenn leer
filter_any:  ['', ''], // wird ignoriert, wenn leer
blacklist:   ['', ''], // wird ignoriert, wenn leer
clean:       ['', '', ''], // wird ignoriert, wenn leer
columns:     ['date','level','source','msg'],  // Spaltenreihenfolge für JSON (Tabelle in vis)

Danke im Voraus.

[Segway]

Es gibt doch einzelne Datenpunkte dafür, oder ?

logwarn

logerror

logWarnanderror

[nik82]

Ja aber ich will ressourcen schonen und deswegen nur error logs loggen