[Vorlage] JS: Log-Datei aufbereiten für VIS

[Dr. Bakterius]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

Es gibt Adapter/Scripte, die etwa bei Fehlern oder Warnungen das Log füllen mit immer demselben Text, etwa wenn gerade ein Gerät nicht erreichbar ist.
Ich habe daher eine neue Funktion eingebaut, die folgendes ermöglicht:

Super Idee!

In Zukunft würde ich mir wünschen zu wissen welche Zeilen zu aktualisieren sind (außer 'Ab hier nicht mehr ändern'). Zum Beispiel hat sich neben den beiden neuen Optionen der Name der Konstante in Zeile 320 geändert. Das erzeugt dann im besten Fall nur eine kleine Fehlermeldung.

[liv-in-sky]

@Mic
super idee für das script - morgen wird getestet

[crunchip]

@Mic irgendwie haut da aber irgendwas nicht ganz hin, oder ich hab da nen Fehler gemacht.
Hab das Skript aktualisiert und lediglich meine blacklist rein kopiert.
Nachdem ich momentan mit dem iot Adapter experimentiere, hab ich auch jede Menge Meldungen, jedoch zeigt´s mir nun keine json mehr an.

[slonnet]

@crunchip sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@Mic irgendwie haut da aber irgendwas nicht ganz hin, oder ich hab da nen Fehler gemacht.
Hab das Skript aktualisiert und lediglich meine blacklist rein kopiert.
Nachdem ich momentan mit dem iot Adapter experimentiere, hab ich auch jede Menge Meldungen, jedoch zeigt´s mir nun keine json mehr an.

Hallo,
kann das Verhalten leider bestätigen.
Das liegt wohl an der neuen Funktion, die Log Einträge zusammenfasst.
Wenn ich die Funktion deaktivieren läuft alles normal!
Es sieht so aus, als ob im gefilterten Log nur noch zusammengefasste Log Einträge erscheinen.
Desweitern wir der Zähler beim Log löschen wohl nicht zurückgesetzt.

Gruss Seb

Edit: Ich habe von einer sehr alten Version des Script geupdatet. Ich vermisse das Objekte des Löschzeitpunkts. Wurde die Funktion entfernt oder liegts an meiner Konfiguration?

[liv-in-sky]

hi @Mic

ich habe einen individuellen Eintrag erstellt - der funktioniert auch nur, wenn das merge abgeschalten ist

  {
    id:          'nodered',
    filter_all:  ['node-red.0'],
    filter_any:  ['timer', 'alarm', 'cookie', 'error', 'disconnected'],
    blacklist:   [ '',''],
    clean:       ['****', '!!!!'],
    columns:     ['date','level','source','msg'],

unterschiedliche anzeigen im spoiler

Spoiler

einmal mit und ohne "merge"

[Mic]

@liv-in-sky, @crunchip, @slonnet
Vielen Dank für Eurer Feedback. Ich konnte es fixen mit Version 1.5. Nun sollte alles so funktionieren wie gewünscht.

Aktuelle Version 1.5 (keine Änderungen in den Einstellungen nötig).

[Dr. Bakterius]

@Mic

[Mic]

@slonnet sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

Ich habe von einer sehr alten Version des Script geupdatet. Ich vermisse das Objekte des Löschzeitpunkts. Wurde die Funktion entfernt oder liegts an meiner Konfiguration?

Wurde ab 1.00 entfernt, da der Datenpunkt dem Script dazu diente, den Änderungszeitpunkt für die Bereinigung zu ermitteln. Allerdings ist das im Datenpunkt 'javascript.0.Log-Script.logXXXX.clearJSON'über den "Timestamp" verfügbar, daher als redundant herausgeworfen.
Kann man auch in JavaScript einfach abfragen:

let dtState = new Date(getState('javascript.0.Log-Script.logInfo.clearJSON').ts);
log('DATUM: ' + dtState);

Für was hast Du den Datenpunkt verwendet? Kann ich bei Bedarf wieder separat hinzufügen.

[liv-in-sky]

@Mic

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@liv-in-sky, @crunchip, @slonnet
Vielen Dank für Eurer Feedback. Ich konnte es fixen mit Version 1.5. Nun sollte alles so funktionieren wie gewünscht.

Aktuelle Version 1.5 (keine Änderungen in den Einstellungen nötig).

6.8.2019, 20:18:00.411	[error]: javascript.0 script.js.Test.Log2: ReferenceError: BLACKLIST_GLOBAL is not defined
6.8.2019, 20:18:00.411	[error]: javascript.0     at cleanseLogLine (script.js.Test.Log2:795:39)
6.8.2019, 20:18:00.411	[error]: javascript.0     at Tail.<anonymous> (script.js.Test.Log2:407:31)

LOG_.txt

[Mic]

@liv-in-sky sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@Mic

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

Interessant! Muss ich mir näher ansehen. Melde mich zurück. Danke für das hilfeiche gif

[Mic]

@sigi234 Sieht für mich nach Copy-Paste-Problem aus bei Dir. "BLACKLIST_GLOBAL is not defined" sagt das aus. Teste mal, das Script 1:1 reinzukopieren.

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@sigi234 Sieht für mich nach Copy-Paste-Problem aus bei Dir. "BLACKLIST_GLOBAL is not defined" sagt das aus. Teste mal, das Script 1:1 reinzukopieren.

1:1 ohne Änderung.........

6.8.2019, 20:25:43.922	[error]: javascript.0     at Object.startTailingProcess (script.js.Test.Log2:484:14)
6.8.2019, 20:25:46.422	[error]: javascript.0     at Object.<anonymous> (script.js.Test.Log2:411:16)

// Now start new tailing instance
if(LOG_INFO) log('Start new Tail process. File path to current log: [' + strFsFullPath + ']');
G_tail = new G_Tail(strFsFullPath, G_tailOptions);

3.Zeile 484

[Mic]

@sigi234 Kannst Du mir einen Gefallen tun, nämlich das Script zu kopieren bei Dir (Strg + a), in eine Textdatei kopieren und hier hochladen. Mir ist nämlich auch schon passiert, dass ich ein Github-Script übernommen hatte, aber dann zu viel kopierte, was es zerlegte.

[Mic]

@liv-in-sky erster Verdacht: die Regex kommt nicht mit eckigen Klammern im Logtext klar. Schaue ich mir weiterhin an.

[Glasfaser]

Ich habe auf die neue Version 1.5 aktualisiert inkl. meinen Einstellungen und habe keine Probleme , es läuft wie es sein soll.

Das einzige was ich gemacht habe , das ich den Ordner " javascript.0.Log-Script " zuvor gelöscht habe , so das keine alten Daten vorhanden waren .!!??

Meine aktuellen Testmeldungen :

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@sigi234 Kannst Du mir einen Gefallen tun, nämlich das Script zu kopieren bei Dir (Strg + a), in eine Textdatei kopieren und hier hochladen. Mir ist nämlich auch schon passiert, dass ich ein Github-Script übernommen hatte, aber dann zu viel kopierte, was es zerlegte.

Log_Skript_1_5.txt

[Mic]

@sigi234
Wie vermutet Copy-Paste-Fehler bei Dir. Grüne Farbe = auskommentiert, kann also das Script nicht lesen. Daher findet es auch nicht BLACKLIST_GLOBAL.

[Mic]

@liv-in-sky sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

Hattest Du zufällig vorher alle Datenpunkte gelöscht? Falls nicht, bitte machen und noch mal testen.

[liv-in-sky]

@Mic

habe es zweimal getestet (2*datenpunkte gelöscht und restart script)

selbes verhalten - im hauptlog werden immer 2 zusammengefaßte nodered einträge angezeigt und verschwinden wieder (wie im video)
im selbstdef. nodered werden die nachrichten nicht zusammengefaßt - aber mitgeschrieben

habe mal das selbstdef. nodered auskommentiert - selber fehler