Javaskript: Letzte Zeile einer Textdatei lesen

[WolfgangFB]

Ich würde gerne mit einem Javaskript von einer ziemlich großen Textdatei die letzte Zeile auslesen. Ich vermisse etwas ähnliches wie "seek". Natürlich kann ich die ganze Datei auslesen und dann parsen, das wäre aber ziemlich speicherfressend.
In anderen Programmiersprachen würde vom letzten Zeichen rückwärts solange lesen, bis ich an ein Zeilenende Zeichen (oder den Beginn der Datei) stoße, und dann das Ergebnis umdrehen.
Wie macht man das in Javaskript.

Gruß Wolfgang

[Acgua]

@wolfgangfb
Hi Wolfgang, ich hatte da mal ein Script hierfür, suche ich nachher raus und poste ich hier.

[Acgua]

@wolfgangfb

Sollte so copy/paste bei dir im JavaScript-Adapter gehen, wenn nodejs14.

Teste mal, liest die letzte Zeile des Logfiles von heute (20.12.21) aus.

/***
  * Test - letzte Zeile(n) einer Textdatei auslesen
  * https://forum.iobroker.net/topic/50477/javaskript-letzte-zeile-einer-textdatei-lesen
  */

// Dateipfad
const FILE_PATH = '/opt/iobroker/log/iobroker.2021-12-20.log';



test();
async function test() {

    log(`======= Start =======`);
    const timeStart = Date.now();
    const test = await readAsync(FILE_PATH, 1, 'utf8');
    log('Letzte Zeile: ' + test);
    const timeEnd = Date.now();
    log(`Script-Ausführung hat ${timeEnd-timeStart} Millisekunden gedauert.`);
    log(`======= Ende =======`);
}

// --------------------------------------------------------------------------------
// --------------------------------------------------------------------------------
// --------------------------------------------------------------------------------

//

/**
 * Read last 'n' lines of a file.
 * !! nodejs version >= 14 is required
 * Script is based on https://github.com/alexbbt/read-last-lines/pull/35
 * 
 * Change Log:
 *  - 0.0.1 - new, based on above script, changed several lines 
 * 
 * @param  {string}   inputFilePath     - file (direct or relative path to file.)
 * @param  {number}   lines             - number of lines to read from the end of the file.
 * @param  {string}   [encoding='utf8'] - specifies the character encoding to be used, or 'buffer'. defaults to 'utf8'.
 *
 * @return {Promise<string|object>}  A promise resolved with the lines or rejected with an error.
 */
async function readAsync(inputFilePath, lines, encoding='utf8') {

    try {

        const fs = require('fs');

        // stat will throw a catched error if file does not exist.
        const stat = await fs.promises.stat(inputFilePath);
 
        // Open file for reading.
        const file = await fs.promises.open(inputFilePath, 'r');

        const bufferSize = Math.min(16384, stat.size);
        const readBuffer = Buffer.alloc(bufferSize);
        let readBufferRemaining = 0;
        let allBytes = [];
        let lineCount = 0;
        let fileOffset = stat.size;


        while (lineCount < lines && fileOffset > 0) {
            // Read the next chunk of the file
            const readSize = Math.min(readBuffer.length, fileOffset);
            fileOffset -= readSize;
            // https://nodejs.org/docs/latest-v14.x/api/fs.html#fs_filehandle_read_options
            const readResult = await file.read(readBuffer, 0, readSize, fileOffset);
            
            // If there's still data in our read buffer, then finish processing that
            readBufferRemaining = readResult.bytesRead;
            while(readBufferRemaining > 0) {
                const bufferIndex = readBufferRemaining - 1;
                if(readBuffer[bufferIndex] === 0x0a && allBytes.length) {
                    ++lineCount;					
                    if(lineCount >= lines) {
                        break;
                    }
                }
                allBytes.push(readBuffer[readBufferRemaining - 1]);
                --readBufferRemaining;
            }
        }

        await file.close();

        // Reverse the array
        allBytes.reverse();
        
        if (encoding === 'buffer') {
            return Buffer.from(allBytes);
        } else {
            // @ts-ignore - encoding as toString() parameter is actually valid.
            return Buffer.from(allBytes).toString(encoding);
        }


    } catch(error) {
        log(`readAsync() error - ${error.stack}`, 'error');
        return '';
    }

}

f8k8 created this issue in alexbbt/read-last-lines

open Performance improvements #35

[mickym]

@wolfgangfb in node-red gibts die tail node. Ich gehe mal davon aus, das diese auch die

https://www.npmjs.com/package/tail

Bibliothek nutzt. Das heißt, wenn Du diese Bibliothek im Javascript Adapter installierst, solltest Du auch diese Bibliothek Zugriff haben.
Meines Erachtens werdendann auch Ereignisse getriggert, sobald eine neue Zeile in die zu überwachende Datei geschrieben wird. Aber das müssen Dir dann die JS Profis erklären.

[WolfgangFB]

@mickym

Hi

Tail sieht vielversprechend aus. Aber ich komme mit der Doku nicht so ganz zurecht. Wie würde denn jetzt genau die Syntax lauten, um die letzte Zeile einer Datei z.B. in eine Variable zu schreiben?

[mickym]

@wolfgangfb

Na ich denke - die Bibliothek ist doch nicht das richtige - da sie eine Datei überwacht und Dir die letzte Zeile liefert, wenn sich eine Datei ändert. Und Du möchtest ja selbst zu einer bestimmten Zeit eine Datei einlesen.

[WolfgangFB]

@mickym
Ich habe das so verstanden, dass man überwachen oder lesen kann.
Ich könnte aber auch den "normalen" linux tail Befehl verwenden.

tail --lines=1 datei.txt > letzteZeile.txt

würde mir die letzte Zeile in eine Datei schreiben die ich dann mit fs.read einlesen könnte.
Wie schicke ich aus Javaskript einen Konsolenbefehl ab (wenn das überhaupt geht)?

[mickym]

@wolfgangfb Über Exec kannst Du kommandozeilenbefehle ausführen:
https://www.iobroker.net/docu/index-81.htm?page_id=5809#exec_8211_execute_some_OS_command_like_8220cp_file1_file28221

Aber ich denke vielleicht kann Dir ein JS Entwickler Dir besser helfen. @paul53 ist die beste Adresse bei solchen Fragen.

[paul53]

@wolfgangfb sagte: Ich könnte aber auch den "normalen" linux tail Befehl verwenden.

Versuche es mal mit exec()

Die Variable result muss genau so geschrieben werden und enthält die Ausgabe an stdout.

exec('tail --lines=1 /opt/iobroker/iobroker-data/test.txt', function (error, stdout, stderr) {
    log(stdout);
});

[Acgua]

Hi

warum mit tail / exec() etc.?
Mein oben gepostetes Script liest bei mir die letzte Zeiler einer Textdatei, knapp 200MB, in 1-2 Millisekunden aus.
Vorteil meiner Lösung: bereits alle Module vorhanden, und fs ist bereits "preloaded" im JS-Adapter. - siehe https://github.com/ioBroker/ioBroker.javascript/blob/master/docs/en/javascript.md#following-functions-can-be-used-in-scripts

[WolfgangFB]

@acgua

Wenn ich dieses Skript ausführe kommt;

javascript.0 (2551) script.js.Programmieren.tail: readAsync() error - TypeError: Cannot read property 'stat' of undefined at readAsync (script.js.Programmieren.tail:51:40) at test (script.js.Programmieren.tail:17:24) at script.js.Programmieren.tail:12:1 at script.js.Programmieren.tail:106:3 at Script.runInContext (vm.js:130:18) at Script.runInNewContext (vm.js:135:17) at execute (/opt/iobroker/node_modules/iobroker.javascript/main.js:1509:27) at prepareScript (/opt/iobroker/node_modules/iobroker.javascript/main.js:1717:38) at /opt/iobroker/node_modules/iobroker.javascript/main.js:1817:17 at Immediate._onImmediate (/opt/iobroker/node_modules/iobroker.javascript/main.js:1306:17)

[Acgua]

@wolfgangfb
kannst du mal den Code posten, wie du das Script aufrufst?

[fastfoot]

@wolfgangfb Dateiname in Zeile 7 geändert?

[WolfgangFB]

@acgua

Ich habe den Code 1:1 in ein neues Skript kopiert, in Zeile 7 den Dateinamen geändert und dann auf "Save" geklickt.

[Acgua]

@wolfgangfb

Seltsam, denn das Script sollte das abfangen, also fehlende Berechtigung oder nicht vorhandene Datei, und dies sauber im Log anzeigen, z.B. readAsync() error - Error: EACCES: permission denied, open '/opt/iobroker/log/x.log'. oder readAsync() error - Error: ENOENT: no such file or directory, stat '/opt/iobroker/log/xy.log'

Welche node.js-Version verwendest du?
--> In Konsole: node -v eingeben