[Vorlage] JS: Log-Datei aufbereiten für VIS

[Mic]

Neue Funktion

Es gibt Adapter/Scripte, die etwa bei Fehlern oder Warnungen das Log füllen mit immer demselben Text, etwa wenn gerade ein Gerät nicht erreichbar ist.
Ich habe daher eine neue Funktion eingebaut, die folgendes ermöglicht:
Bisher:

Jetzt nur noch eine Log-Zeile:

Das Script prüft also, ob es bereits einen oder mehrere Logeinträge mit demselben Text gibt, und stellt "[xx Einträge]" vor den Logtext, und wirft die älteren Logeinträge raus. Der Zähler zählt bei jedem neuen Logeintrag mit demselben Text automatisch hoch.
Ermöglicht also ein deutlich gekürztes Log bei wiederkehrenden Fehlern/Warnungen.

Aktuelles Script: Version 1.4 auf Github

Hierzu gibt es folgende 2 neue Optionen im Script:

/**
 * Gleiche Logeinträge zusammenfassen:
 * Falls MERGE_LOGLINES_ACTIVE auf true gesetzt, so werden mehrere Logeinträge, die immer wieder auftauchen, 
 * jeweils entfernt und nur der letzte angezeigt mit vorangestelltem [XXX entries], wo XXX die Anzahl der Logeinträge ist.
 * Falls man das nicht möchte: auf false setzen.
 * In MERGE_LOGLINES_TXT kann ein anderes Wort eingetragen werden, z.B. 'Einträge', damit [XXX Einträge] vorangestellt wird.
 * HINWEIS: Falls MERGE_LOGLINES_TXT geändert wird: bitte alle Datenpunkte des Scripts löschen und dann Script neu starten.
 */
const MERGE_LOGLINES_ACTIVE = true;
const MERGE_LOGLINES_TXT = 'Einträge';  // English default: 'entries'

[Glasfaser]

@Mic

Danke für die neue " Funktion " .
Nutze dein Script schon sehr lange und war damit immer UpToDate .

[Mic]

@Glasfaser
gerne, freut mich, danke für Deine Rückmeldung

[sigi234]

@Mic

Danke, gibt es eine Möglichkeit das man Log Einträge automatisch nach xxx Tagen löschen kann?

[darkiop]

Super, wird morgen getestet

[Mic]

@sigi234 sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

gibt es eine Möglichkeit das man Log Einträge automatisch nach xxx Tagen löschen kann?

Schöne Idee, habe ich als Feature Request in Github hinzugefügt.

[Dr. Bakterius]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

Es gibt Adapter/Scripte, die etwa bei Fehlern oder Warnungen das Log füllen mit immer demselben Text, etwa wenn gerade ein Gerät nicht erreichbar ist.
Ich habe daher eine neue Funktion eingebaut, die folgendes ermöglicht:

Super Idee!

In Zukunft würde ich mir wünschen zu wissen welche Zeilen zu aktualisieren sind (außer 'Ab hier nicht mehr ändern'). Zum Beispiel hat sich neben den beiden neuen Optionen der Name der Konstante in Zeile 320 geändert. Das erzeugt dann im besten Fall nur eine kleine Fehlermeldung.

[liv-in-sky]

@Mic
super idee für das script - morgen wird getestet

[crunchip]

@Mic irgendwie haut da aber irgendwas nicht ganz hin, oder ich hab da nen Fehler gemacht.
Hab das Skript aktualisiert und lediglich meine blacklist rein kopiert.
Nachdem ich momentan mit dem iot Adapter experimentiere, hab ich auch jede Menge Meldungen, jedoch zeigt´s mir nun keine json mehr an.

[slonnet]

@crunchip sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@Mic irgendwie haut da aber irgendwas nicht ganz hin, oder ich hab da nen Fehler gemacht.
Hab das Skript aktualisiert und lediglich meine blacklist rein kopiert.
Nachdem ich momentan mit dem iot Adapter experimentiere, hab ich auch jede Menge Meldungen, jedoch zeigt´s mir nun keine json mehr an.

Hallo,
kann das Verhalten leider bestätigen.
Das liegt wohl an der neuen Funktion, die Log Einträge zusammenfasst.
Wenn ich die Funktion deaktivieren läuft alles normal!
Es sieht so aus, als ob im gefilterten Log nur noch zusammengefasste Log Einträge erscheinen.
Desweitern wir der Zähler beim Log löschen wohl nicht zurückgesetzt.

Gruss Seb

Edit: Ich habe von einer sehr alten Version des Script geupdatet. Ich vermisse das Objekte des Löschzeitpunkts. Wurde die Funktion entfernt oder liegts an meiner Konfiguration?

[liv-in-sky]

hi @Mic

ich habe einen individuellen Eintrag erstellt - der funktioniert auch nur, wenn das merge abgeschalten ist

  {
    id:          'nodered',
    filter_all:  ['node-red.0'],
    filter_any:  ['timer', 'alarm', 'cookie', 'error', 'disconnected'],
    blacklist:   [ '',''],
    clean:       ['****', '!!!!'],
    columns:     ['date','level','source','msg'],

unterschiedliche anzeigen im spoiler

Spoiler

einmal mit und ohne "merge"

[Mic]

@liv-in-sky, @crunchip, @slonnet
Vielen Dank für Eurer Feedback. Ich konnte es fixen mit Version 1.5. Nun sollte alles so funktionieren wie gewünscht.

Aktuelle Version 1.5 (keine Änderungen in den Einstellungen nötig).

[Dr. Bakterius]

@Mic

[Mic]

@slonnet sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

Ich habe von einer sehr alten Version des Script geupdatet. Ich vermisse das Objekte des Löschzeitpunkts. Wurde die Funktion entfernt oder liegts an meiner Konfiguration?

Wurde ab 1.00 entfernt, da der Datenpunkt dem Script dazu diente, den Änderungszeitpunkt für die Bereinigung zu ermitteln. Allerdings ist das im Datenpunkt 'javascript.0.Log-Script.logXXXX.clearJSON'über den "Timestamp" verfügbar, daher als redundant herausgeworfen.
Kann man auch in JavaScript einfach abfragen:

let dtState = new Date(getState('javascript.0.Log-Script.logInfo.clearJSON').ts);
log('DATUM: ' + dtState);

Für was hast Du den Datenpunkt verwendet? Kann ich bei Bedarf wieder separat hinzufügen.

[liv-in-sky]

@Mic

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@liv-in-sky, @crunchip, @slonnet
Vielen Dank für Eurer Feedback. Ich konnte es fixen mit Version 1.5. Nun sollte alles so funktionieren wie gewünscht.

Aktuelle Version 1.5 (keine Änderungen in den Einstellungen nötig).

6.8.2019, 20:18:00.411	[error]: javascript.0 script.js.Test.Log2: ReferenceError: BLACKLIST_GLOBAL is not defined
6.8.2019, 20:18:00.411	[error]: javascript.0     at cleanseLogLine (script.js.Test.Log2:795:39)
6.8.2019, 20:18:00.411	[error]: javascript.0     at Tail.<anonymous> (script.js.Test.Log2:407:31)

LOG_.txt

[Mic]

@liv-in-sky sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@Mic

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

Interessant! Muss ich mir näher ansehen. Melde mich zurück. Danke für das hilfeiche gif

[Mic]

@sigi234 Sieht für mich nach Copy-Paste-Problem aus bei Dir. "BLACKLIST_GLOBAL is not defined" sagt das aus. Teste mal, das Script 1:1 reinzukopieren.

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@sigi234 Sieht für mich nach Copy-Paste-Problem aus bei Dir. "BLACKLIST_GLOBAL is not defined" sagt das aus. Teste mal, das Script 1:1 reinzukopieren.

1:1 ohne Änderung.........

6.8.2019, 20:25:43.922	[error]: javascript.0     at Object.startTailingProcess (script.js.Test.Log2:484:14)
6.8.2019, 20:25:46.422	[error]: javascript.0     at Object.<anonymous> (script.js.Test.Log2:411:16)

// Now start new tailing instance
if(LOG_INFO) log('Start new Tail process. File path to current log: [' + strFsFullPath + ']');
G_tail = new G_Tail(strFsFullPath, G_tailOptions);

3.Zeile 484

[Mic]

@sigi234 Kannst Du mir einen Gefallen tun, nämlich das Script zu kopieren bei Dir (Strg + a), in eine Textdatei kopieren und hier hochladen. Mir ist nämlich auch schon passiert, dass ich ein Github-Script übernommen hatte, aber dann zu viel kopierte, was es zerlegte.