NEWS
Javaskript: Letzte Zeile einer Textdatei lesen
-
Ich würde gerne mit einem Javaskript von einer ziemlich großen Textdatei die letzte Zeile auslesen. Ich vermisse etwas ähnliches wie "seek". Natürlich kann ich die ganze Datei auslesen und dann parsen, das wäre aber ziemlich speicherfressend.
In anderen Programmiersprachen würde vom letzten Zeichen rückwärts solange lesen, bis ich an ein Zeilenende Zeichen (oder den Beginn der Datei) stoße, und dann das Ergebnis umdrehen.
Wie macht man das in Javaskript.Gruß Wolfgang
@wolfgangfb in node-red gibts die tail node. Ich gehe mal davon aus, das diese auch die
https://www.npmjs.com/package/tail
Bibliothek nutzt. Das heißt, wenn Du diese Bibliothek im Javascript Adapter installierst, solltest Du auch diese Bibliothek Zugriff haben.
Meines Erachtens werdendann auch Ereignisse getriggert, sobald eine neue Zeile in die zu überwachende Datei geschrieben wird. Aber das müssen Dir dann die JS Profis erklären. -
@wolfgangfb in node-red gibts die tail node. Ich gehe mal davon aus, das diese auch die
https://www.npmjs.com/package/tail
Bibliothek nutzt. Das heißt, wenn Du diese Bibliothek im Javascript Adapter installierst, solltest Du auch diese Bibliothek Zugriff haben.
Meines Erachtens werdendann auch Ereignisse getriggert, sobald eine neue Zeile in die zu überwachende Datei geschrieben wird. Aber das müssen Dir dann die JS Profis erklären. -
Hi
Tail sieht vielversprechend aus. Aber ich komme mit der Doku nicht so ganz zurecht. Wie würde denn jetzt genau die Syntax lauten, um die letzte Zeile einer Datei z.B. in eine Variable zu schreiben?
Na ich denke - die Bibliothek ist doch nicht das richtige - da sie eine Datei überwacht und Dir die letzte Zeile liefert, wenn sich eine Datei ändert. Und Du möchtest ja selbst zu einer bestimmten Zeit eine Datei einlesen.
-
Na ich denke - die Bibliothek ist doch nicht das richtige - da sie eine Datei überwacht und Dir die letzte Zeile liefert, wenn sich eine Datei ändert. Und Du möchtest ja selbst zu einer bestimmten Zeit eine Datei einlesen.
@mickym
Ich habe das so verstanden, dass man überwachen oder lesen kann.
Ich könnte aber auch den "normalen" linux tail Befehl verwenden.tail --lines=1 datei.txt > letzteZeile.txtwürde mir die letzte Zeile in eine Datei schreiben die ich dann mit fs.read einlesen könnte.
Wie schicke ich aus Javaskript einen Konsolenbefehl ab (wenn das überhaupt geht)? -
@mickym
Ich habe das so verstanden, dass man überwachen oder lesen kann.
Ich könnte aber auch den "normalen" linux tail Befehl verwenden.tail --lines=1 datei.txt > letzteZeile.txtwürde mir die letzte Zeile in eine Datei schreiben die ich dann mit fs.read einlesen könnte.
Wie schicke ich aus Javaskript einen Konsolenbefehl ab (wenn das überhaupt geht)?@wolfgangfb Über Exec kannst Du kommandozeilenbefehle ausführen:
https://www.iobroker.net/docu/index-81.htm?page_id=5809#exec_8211_execute_some_OS_command_like_8220cp_file1_file28221Aber ich denke vielleicht kann Dir ein JS Entwickler Dir besser helfen. @paul53 ist die beste Adresse bei solchen Fragen.
-
@mickym
Ich habe das so verstanden, dass man überwachen oder lesen kann.
Ich könnte aber auch den "normalen" linux tail Befehl verwenden.tail --lines=1 datei.txt > letzteZeile.txtwürde mir die letzte Zeile in eine Datei schreiben die ich dann mit fs.read einlesen könnte.
Wie schicke ich aus Javaskript einen Konsolenbefehl ab (wenn das überhaupt geht)?@wolfgangfb sagte: Ich könnte aber auch den "normalen" linux tail Befehl verwenden.
Versuche es mal mit exec()
Die Variable result muss genau so geschrieben werden und enthält die Ausgabe an stdout.
exec('tail --lines=1 /opt/iobroker/iobroker-data/test.txt', function (error, stdout, stderr) { log(stdout); });Bitte verzichtet auf Chat-Nachrichten, denn die Handhabung ist grauenhaft !
Produktiv: RPi 2 mit S.USV, HM-MOD-RPI und SLC-USB-Stick mit root fs -
@wolfgangfb sagte: Ich könnte aber auch den "normalen" linux tail Befehl verwenden.
Versuche es mal mit exec()
Die Variable result muss genau so geschrieben werden und enthält die Ausgabe an stdout.
exec('tail --lines=1 /opt/iobroker/iobroker-data/test.txt', function (error, stdout, stderr) { log(stdout); });Hi
warum mit tail / exec() etc.?
Mein oben gepostetes Script liest bei mir die letzte Zeiler einer Textdatei, knapp 200MB, in 1-2 Millisekunden aus.
Vorteil meiner Lösung: bereits alle Module vorhanden, undfsist bereits "preloaded" im JS-Adapter. - siehe https://github.com/ioBroker/ioBroker.javascript/blob/master/docs/en/javascript.md#following-functions-can-be-used-in-scripts -
Sollte so copy/paste bei dir im JavaScript-Adapter gehen, wenn nodejs14.
Teste mal, liest die letzte Zeile des Logfiles von heute (20.12.21) aus.
/*** * Test - letzte Zeile(n) einer Textdatei auslesen * https://forum.iobroker.net/topic/50477/javaskript-letzte-zeile-einer-textdatei-lesen */ // Dateipfad const FILE_PATH = '/opt/iobroker/log/iobroker.2021-12-20.log'; test(); async function test() { log(`======= Start =======`); const timeStart = Date.now(); const test = await readAsync(FILE_PATH, 1, 'utf8'); log('Letzte Zeile: ' + test); const timeEnd = Date.now(); log(`Script-Ausführung hat ${timeEnd-timeStart} Millisekunden gedauert.`); log(`======= Ende =======`); } // -------------------------------------------------------------------------------- // -------------------------------------------------------------------------------- // -------------------------------------------------------------------------------- // /** * Read last 'n' lines of a file. * !! nodejs version >= 14 is required * Script is based on https://github.com/alexbbt/read-last-lines/pull/35 * * Change Log: * - 0.0.1 - new, based on above script, changed several lines * * @param {string} inputFilePath - file (direct or relative path to file.) * @param {number} lines - number of lines to read from the end of the file. * @param {string} [encoding='utf8'] - specifies the character encoding to be used, or 'buffer'. defaults to 'utf8'. * * @return {Promise<string|object>} A promise resolved with the lines or rejected with an error. */ async function readAsync(inputFilePath, lines, encoding='utf8') { try { const fs = require('fs'); // stat will throw a catched error if file does not exist. const stat = await fs.promises.stat(inputFilePath); // Open file for reading. const file = await fs.promises.open(inputFilePath, 'r'); const bufferSize = Math.min(16384, stat.size); const readBuffer = Buffer.alloc(bufferSize); let readBufferRemaining = 0; let allBytes = []; let lineCount = 0; let fileOffset = stat.size; while (lineCount < lines && fileOffset > 0) { // Read the next chunk of the file const readSize = Math.min(readBuffer.length, fileOffset); fileOffset -= readSize; // https://nodejs.org/docs/latest-v14.x/api/fs.html#fs_filehandle_read_options const readResult = await file.read(readBuffer, 0, readSize, fileOffset); // If there's still data in our read buffer, then finish processing that readBufferRemaining = readResult.bytesRead; while(readBufferRemaining > 0) { const bufferIndex = readBufferRemaining - 1; if(readBuffer[bufferIndex] === 0x0a && allBytes.length) { ++lineCount; if(lineCount >= lines) { break; } } allBytes.push(readBuffer[readBufferRemaining - 1]); --readBufferRemaining; } } await file.close(); // Reverse the array allBytes.reverse(); if (encoding === 'buffer') { return Buffer.from(allBytes); } else { // @ts-ignore - encoding as toString() parameter is actually valid. return Buffer.from(allBytes).toString(encoding); } } catch(error) { log(`readAsync() error - ${error.stack}`, 'error'); return ''; } }Wenn ich dieses Skript ausführe kommt;
javascript.0 (2551) script.js.Programmieren.tail: readAsync() error - TypeError: Cannot read property 'stat' of undefined at readAsync (script.js.Programmieren.tail:51:40) at test (script.js.Programmieren.tail:17:24) at script.js.Programmieren.tail:12:1 at script.js.Programmieren.tail:106:3 at Script.runInContext (vm.js:130:18) at Script.runInNewContext (vm.js:135:17) at execute (/opt/iobroker/node_modules/iobroker.javascript/main.js:1509:27) at prepareScript (/opt/iobroker/node_modules/iobroker.javascript/main.js:1717:38) at /opt/iobroker/node_modules/iobroker.javascript/main.js:1817:17 at Immediate._onImmediate (/opt/iobroker/node_modules/iobroker.javascript/main.js:1306:17) -
Wenn ich dieses Skript ausführe kommt;
javascript.0 (2551) script.js.Programmieren.tail: readAsync() error - TypeError: Cannot read property 'stat' of undefined at readAsync (script.js.Programmieren.tail:51:40) at test (script.js.Programmieren.tail:17:24) at script.js.Programmieren.tail:12:1 at script.js.Programmieren.tail:106:3 at Script.runInContext (vm.js:130:18) at Script.runInNewContext (vm.js:135:17) at execute (/opt/iobroker/node_modules/iobroker.javascript/main.js:1509:27) at prepareScript (/opt/iobroker/node_modules/iobroker.javascript/main.js:1717:38) at /opt/iobroker/node_modules/iobroker.javascript/main.js:1817:17 at Immediate._onImmediate (/opt/iobroker/node_modules/iobroker.javascript/main.js:1306:17)@wolfgangfb
kannst du mal den Code posten, wie du das Script aufrufst? -
Wenn ich dieses Skript ausführe kommt;
javascript.0 (2551) script.js.Programmieren.tail: readAsync() error - TypeError: Cannot read property 'stat' of undefined at readAsync (script.js.Programmieren.tail:51:40) at test (script.js.Programmieren.tail:17:24) at script.js.Programmieren.tail:12:1 at script.js.Programmieren.tail:106:3 at Script.runInContext (vm.js:130:18) at Script.runInNewContext (vm.js:135:17) at execute (/opt/iobroker/node_modules/iobroker.javascript/main.js:1509:27) at prepareScript (/opt/iobroker/node_modules/iobroker.javascript/main.js:1717:38) at /opt/iobroker/node_modules/iobroker.javascript/main.js:1817:17 at Immediate._onImmediate (/opt/iobroker/node_modules/iobroker.javascript/main.js:1306:17)@wolfgangfb Dateiname in Zeile 7 geändert?
-
@wolfgangfb
kannst du mal den Code posten, wie du das Script aufrufst? -
Ich habe den Code 1:1 in ein neues Skript kopiert, in Zeile 7 den Dateinamen geändert und dann auf "Save" geklickt.
Seltsam, denn das Script sollte das abfangen, also fehlende Berechtigung oder nicht vorhandene Datei, und dies sauber im Log anzeigen, z.B.
readAsync() error - Error: EACCES: permission denied, open '/opt/iobroker/log/x.log'. oderreadAsync() error - Error: ENOENT: no such file or directory, stat '/opt/iobroker/log/xy.log'Welche node.js-Version verwendest du?
--> In Konsole:node -veingeben
735
Online32.5k
Benutzer81.8k
Themen1.3m
Beiträge