[Vorlage] JS: Log-Datei aufbereiten für VIS

[Mic]

@liv-in-sky sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@Mic

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

Interessant! Muss ich mir näher ansehen. Melde mich zurück. Danke für das hilfeiche gif

[Mic]

@sigi234 Sieht für mich nach Copy-Paste-Problem aus bei Dir. "BLACKLIST_GLOBAL is not defined" sagt das aus. Teste mal, das Script 1:1 reinzukopieren.

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@sigi234 Sieht für mich nach Copy-Paste-Problem aus bei Dir. "BLACKLIST_GLOBAL is not defined" sagt das aus. Teste mal, das Script 1:1 reinzukopieren.

1:1 ohne Änderung.........

6.8.2019, 20:25:43.922	[error]: javascript.0     at Object.startTailingProcess (script.js.Test.Log2:484:14)
6.8.2019, 20:25:46.422	[error]: javascript.0     at Object.<anonymous> (script.js.Test.Log2:411:16)

// Now start new tailing instance
if(LOG_INFO) log('Start new Tail process. File path to current log: [' + strFsFullPath + ']');
G_tail = new G_Tail(strFsFullPath, G_tailOptions);

3.Zeile 484

[Mic]

@sigi234 Kannst Du mir einen Gefallen tun, nämlich das Script zu kopieren bei Dir (Strg + a), in eine Textdatei kopieren und hier hochladen. Mir ist nämlich auch schon passiert, dass ich ein Github-Script übernommen hatte, aber dann zu viel kopierte, was es zerlegte.

[Mic]

@liv-in-sky erster Verdacht: die Regex kommt nicht mit eckigen Klammern im Logtext klar. Schaue ich mir weiterhin an.

[Glasfaser]

Ich habe auf die neue Version 1.5 aktualisiert inkl. meinen Einstellungen und habe keine Probleme , es läuft wie es sein soll.

Das einzige was ich gemacht habe , das ich den Ordner " javascript.0.Log-Script " zuvor gelöscht habe , so das keine alten Daten vorhanden waren .!!??

Meine aktuellen Testmeldungen :

[sigi234]

@Mic sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

@sigi234 Kannst Du mir einen Gefallen tun, nämlich das Script zu kopieren bei Dir (Strg + a), in eine Textdatei kopieren und hier hochladen. Mir ist nämlich auch schon passiert, dass ich ein Github-Script übernommen hatte, aber dann zu viel kopierte, was es zerlegte.

Log_Skript_1_5.txt

[Mic]

@sigi234
Wie vermutet Copy-Paste-Fehler bei Dir. Grüne Farbe = auskommentiert, kann also das Script nicht lesen. Daher findet es auch nicht BLACKLIST_GLOBAL.

[Mic]

@liv-in-sky sagte in [Vorlage] JS: Log-Datei aufbereiten für VIS:

habe seltsames verhalten - mein sql server ist aus - also kommen sql fehler und nodered fehler - die nodered fehler sind selbst definiert - sie verschwinden immer im hauptlog (oben)

Hattest Du zufällig vorher alle Datenpunkte gelöscht? Falls nicht, bitte machen und noch mal testen.

[liv-in-sky]

@Mic

habe es zweimal getestet (2*datenpunkte gelöscht und restart script)

selbes verhalten - im hauptlog werden immer 2 zusammengefaßte nodered einträge angezeigt und verschwinden wieder (wie im video)
im selbstdef. nodered werden die nachrichten nicht zusammengefaßt - aber mitgeschrieben

habe mal das selbstdef. nodered auskommentiert - selber fehler

[Glasfaser]

@liv-in-sky
sieht komisch aus …..da verschwindet noch eine Meldung , muss man schon genau hinsehen im Video !

Als würden nur max. 3 Zeilen funktionieren in der Tabelle , ab der vierten springt er , oder täuscht das !

[Mic]

@liv-in-sky
Echt seltsam. Kann es leider nicht reproduzieren. Werde ich mir noch mal genauer ansehen.
Ich gehe davon aus, das passiert nicht, wenn Du MERGE_LOGLINES_ACTIVE auf false setzt, richtig?

[liv-in-sky]

@Mic genau - nur mit merge true

ich installiere nochmal ganz neu - datenpunkte löschen und das script nochmal reinkopieren - um auf nummer sicher zu sein - geb dann bescheid

[liv-in-sky]

@Mic

also- nochmal alles neu gemacht - datenpunkte gelöscht - script vollständig reinkopiert und keine änderungen gemacht

selber fehler

[Mic]

Danke @liv-in-sky
Habe auch gerade noch mal getestet. MERGE_LOGLINES_ACTIVE auf true läuft nicht zuverlässig, nicht alles wird geloggt. Ich werde jetzt das Script v1.5 auf v1.5.1 setzen und die Funktion MERGE_LOGLINES_ACTIVE auf "experimental", und im Default auf false, da sonst alles zu funktionieren scheint.
Also bitte solange MERGE_LOGLINES_ACTIVE auf false setzen, bis ich das behoben habe.

[liv-in-sky]

@Mic hab jetzt mal einen anderen fehler gemacht erzeugt - internet router aus !

es werden nun mehr sachen angezeigt - ich habe mal nodered deaktiviert und es scheint dieser fehler zu sein, der ärger macht - er zeigz sich auch anders im log - nodered und sql datenbank scheint ein tolles duo zu sein

	-------------------		
node-red.0	2019-08-06 22:55:03.091	error	at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1106:14)
node-red.0	2019-08-06 22:55:03.091	error	6 Aug 22:55:03 - [error] [MySQLdatabase:79f00594.84665c] Error: connect ECONNREFUSED 192.168.178.157:3306
	-------------------		at Timer.processTimers (timers.js:223:10)
	-------------------		at listOnTimeout (timers.js:263:5)
	-------------------		at tryOnTimeout (timers.js:300:5)
	-------------------		at ontimeout (timers.js:436:11)
	-------------------		at Timeout.doConnect [as _onTimeout] (/opt/iobroker/iobroker-data/node-red/node_modules/node-red-node-mysql/68-mysql.js:48:23)
	-------------------		at Pool.getConnection (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/Pool.js:48:16)
	-------------------		at PoolConnection.connect (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/Connection.js:118:18)
	-------------------		at Protocol.handshake (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/protocol/Protocol.js:51:23)
	-------------------		at Protocol._enqueue (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/protocol/Protocol.js:144:48)
	-------------------		
node-red.0	2019-08-06 22:55:03.087	error	at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1106:14)
node-red.0	2019-08-06 22:55:03.087	error	6 Aug 22:55:03 - [error] [MySQLdatabase:79f00594.84665c] Error: connect ECONNREFUSED 192.168.178.157:3306
	-------------------		at Timer.processTimers (timers.js:223:10)
	-------------------		at listOnTimeout (timers.js:263:5)
	-------------------		at tryOnTimeout (timers.js:300:5)
	-------------------		at ontimeout (timers.js:436:11)
	-------------------		at Timeout.doConnect [as _onTimeout] (/opt/iobroker/iobroker-data/node-red/node_modules/node-red-node-mysql/68-mysql.js:48:23)
	-------------------		at Pool.getConnection (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/Pool.js:48:16)
	-------------------		at PoolConnection.connect (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/Connection.js:118:18)
	-------------------		at Protocol.handshake (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/protocol/Protocol.js:51:23)
	-------------------		at Protocol._enqueue (/opt/iobroker/iobroker-data/node-red/node_modules/mysql/lib/protocol/Protocol.js:144:48)
	-------------------		

[Mic]

@liv-in-sky cool, danke für deine Hilfe und Feedback, sehr hilfreich! Kann ich mir so näher ansehen zur Analyse. Bis dahin ist jetzt Version 1.5.1 aktiv mit deaktivierter Funktion (als Default).

[liv-in-sky]

@Mic bin froh, dass du das script nochmal erneuert hast - da hilft man gern !

so sieht es dann aus - und die zeilen bleiben auch stehen - ob alle meldungen aufgeführt sind, kann ich nicht sagen

[slonnet]

Hallo zusammen,
leider werden auch mit der Version 1.5.1 und MERGE_LOGLINES_ACTIVE auf false viel Logeinträge verschluckt wie bei @liv-in-sky .
Ich habe noch paralell ein altes LogFile Script in der Version 0.8.1 mitlaufen. Hier sind alle Einträge vorhanden.
Es scheint, als werden Einträge verschluckt, die in sehr kurzen Abständen hintereinandern kommen.

[Mic]

@slonnet
Vielen Dank fürs Testen. Bei "MERGE_LOGLINES_ACTIVE auf false" habe ich die Implementierung von tail in Verdacht. Ich finde in diesem Zusammenhang https://github.com/vladimir-kazan/nodejs-tail sehr interessant zur Implementierung, werde ich mir mal näher ansehen und in eine Testversion implementieren.