Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. Javaskript: Letzte Zeile einer Textdatei lesen

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    Javaskript: Letzte Zeile einer Textdatei lesen

    This topic has been deleted. Only users with topic management privileges can see it.
    • Acgua
      Acgua @WolfgangFB last edited by

      @wolfgangfb

      Sollte so copy/paste bei dir im JavaScript-Adapter gehen, wenn nodejs14.

      Teste mal, liest die letzte Zeile des Logfiles von heute (20.12.21) aus.

      /***
        * Test - letzte Zeile(n) einer Textdatei auslesen
        * https://forum.iobroker.net/topic/50477/javaskript-letzte-zeile-einer-textdatei-lesen
        */
      
      // Dateipfad
      const FILE_PATH = '/opt/iobroker/log/iobroker.2021-12-20.log';
      
      
      
      test();
      async function test() {
      
          log(`======= Start =======`);
          const timeStart = Date.now();
          const test = await readAsync(FILE_PATH, 1, 'utf8');
          log('Letzte Zeile: ' + test);
          const timeEnd = Date.now();
          log(`Script-Ausführung hat ${timeEnd-timeStart} Millisekunden gedauert.`);
          log(`======= Ende =======`);
      }
      
      // --------------------------------------------------------------------------------
      // --------------------------------------------------------------------------------
      // --------------------------------------------------------------------------------
      
      //
      
      /**
       * Read last 'n' lines of a file.
       * !! nodejs version >= 14 is required
       * Script is based on https://github.com/alexbbt/read-last-lines/pull/35
       * 
       * Change Log:
       *  - 0.0.1 - new, based on above script, changed several lines 
       * 
       * @param  {string}   inputFilePath     - file (direct or relative path to file.)
       * @param  {number}   lines             - number of lines to read from the end of the file.
       * @param  {string}   [encoding='utf8'] - specifies the character encoding to be used, or 'buffer'. defaults to 'utf8'.
       *
       * @return {Promise<string|object>}  A promise resolved with the lines or rejected with an error.
       */
      async function readAsync(inputFilePath, lines, encoding='utf8') {
      
          try {
      
              const fs = require('fs');
      
              // stat will throw a catched error if file does not exist.
              const stat = await fs.promises.stat(inputFilePath);
       
              // Open file for reading.
              const file = await fs.promises.open(inputFilePath, 'r');
      
              const bufferSize = Math.min(16384, stat.size);
              const readBuffer = Buffer.alloc(bufferSize);
              let readBufferRemaining = 0;
              let allBytes = [];
              let lineCount = 0;
              let fileOffset = stat.size;
      
      
              while (lineCount < lines && fileOffset > 0) {
                  // Read the next chunk of the file
                  const readSize = Math.min(readBuffer.length, fileOffset);
                  fileOffset -= readSize;
                  // https://nodejs.org/docs/latest-v14.x/api/fs.html#fs_filehandle_read_options
                  const readResult = await file.read(readBuffer, 0, readSize, fileOffset);
                  
                  // If there's still data in our read buffer, then finish processing that
                  readBufferRemaining = readResult.bytesRead;
                  while(readBufferRemaining > 0) {
                      const bufferIndex = readBufferRemaining - 1;
                      if(readBuffer[bufferIndex] === 0x0a && allBytes.length) {
                          ++lineCount;					
                          if(lineCount >= lines) {
                              break;
                          }
                      }
                      allBytes.push(readBuffer[readBufferRemaining - 1]);
                      --readBufferRemaining;
                  }
              }
      
              await file.close();
      
              // Reverse the array
              allBytes.reverse();
              
              if (encoding === 'buffer') {
                  return Buffer.from(allBytes);
              } else {
                  // @ts-ignore - encoding as toString() parameter is actually valid.
                  return Buffer.from(allBytes).toString(encoding);
              }
      
      
          } catch(error) {
              log(`readAsync() error - ${error.stack}`, 'error');
              return '';
          }
      
      }
      
      
      f8k8 created this issue in alexbbt/read-last-lines

      open Performance improvements #35

      W 1 Reply Last reply Reply Quote 0
      • mickym
        mickym Most Active @WolfgangFB last edited by mickym

        @wolfgangfb in node-red gibts die tail node. Ich gehe mal davon aus, das diese auch die

        https://www.npmjs.com/package/tail

        Bibliothek nutzt. Das heißt, wenn Du diese Bibliothek im Javascript Adapter installierst, solltest Du auch diese Bibliothek Zugriff haben.
        Meines Erachtens werdendann auch Ereignisse getriggert, sobald eine neue Zeile in die zu überwachende Datei geschrieben wird. Aber das müssen Dir dann die JS Profis erklären.

        W 1 Reply Last reply Reply Quote 0
        • W
          WolfgangFB @mickym last edited by

          @mickym

          Hi

          Tail sieht vielversprechend aus. Aber ich komme mit der Doku nicht so ganz zurecht. Wie würde denn jetzt genau die Syntax lauten, um die letzte Zeile einer Datei z.B. in eine Variable zu schreiben?

          mickym 1 Reply Last reply Reply Quote 0
          • mickym
            mickym Most Active @WolfgangFB last edited by

            @wolfgangfb

            Na ich denke - die Bibliothek ist doch nicht das richtige - da sie eine Datei überwacht und Dir die letzte Zeile liefert, wenn sich eine Datei ändert. Und Du möchtest ja selbst zu einer bestimmten Zeit eine Datei einlesen.

            W 1 Reply Last reply Reply Quote 0
            • W
              WolfgangFB @mickym last edited by

              @mickym
              Ich habe das so verstanden, dass man überwachen oder lesen kann.
              Ich könnte aber auch den "normalen" linux tail Befehl verwenden.

              tail --lines=1 datei.txt > letzteZeile.txt
              

              würde mir die letzte Zeile in eine Datei schreiben die ich dann mit fs.read einlesen könnte.
              Wie schicke ich aus Javaskript einen Konsolenbefehl ab (wenn das überhaupt geht)?

              mickym paul53 2 Replies Last reply Reply Quote 0
              • mickym
                mickym Most Active @WolfgangFB last edited by

                @wolfgangfb Über Exec kannst Du kommandozeilenbefehle ausführen:
                https://www.iobroker.net/docu/index-81.htm?page_id=5809#exec_8211_execute_some_OS_command_like_8220cp_file1_file28221

                Aber ich denke vielleicht kann Dir ein JS Entwickler Dir besser helfen. @paul53 ist die beste Adresse bei solchen Fragen.

                1 Reply Last reply Reply Quote 0
                • paul53
                  paul53 @WolfgangFB last edited by paul53

                  @wolfgangfb sagte: Ich könnte aber auch den "normalen" linux tail Befehl verwenden.

                  Versuche es mal mit exec()

                  Bild_2021-12-20_221252.png

                  Die Variable result muss genau so geschrieben werden und enthält die Ausgabe an stdout.

                  exec('tail --lines=1 /opt/iobroker/iobroker-data/test.txt', function (error, stdout, stderr) {
                      log(stdout);
                  });
                  
                  Acgua 1 Reply Last reply Reply Quote 0
                  • Acgua
                    Acgua @paul53 last edited by

                    Hi

                    warum mit tail / exec() etc.?
                    Mein oben gepostetes Script liest bei mir die letzte Zeiler einer Textdatei, knapp 200MB, in 1-2 Millisekunden aus.
                    Vorteil meiner Lösung: bereits alle Module vorhanden, und fs ist bereits "preloaded" im JS-Adapter. - siehe https://github.com/ioBroker/ioBroker.javascript/blob/master/docs/en/javascript.md#following-functions-can-be-used-in-scripts

                    1 Reply Last reply Reply Quote 0
                    • W
                      WolfgangFB @Acgua last edited by

                      @acgua

                      Wenn ich dieses Skript ausführe kommt;

                      javascript.0 (2551) script.js.Programmieren.tail: readAsync() error - TypeError: Cannot read property 'stat' of undefined at readAsync (script.js.Programmieren.tail:51:40) at test (script.js.Programmieren.tail:17:24) at script.js.Programmieren.tail:12:1 at script.js.Programmieren.tail:106:3 at Script.runInContext (vm.js:130:18) at Script.runInNewContext (vm.js:135:17) at execute (/opt/iobroker/node_modules/iobroker.javascript/main.js:1509:27) at prepareScript (/opt/iobroker/node_modules/iobroker.javascript/main.js:1717:38) at /opt/iobroker/node_modules/iobroker.javascript/main.js:1817:17 at Immediate._onImmediate (/opt/iobroker/node_modules/iobroker.javascript/main.js:1306:17)
                      
                      Acgua F 2 Replies Last reply Reply Quote 0
                      • Acgua
                        Acgua @WolfgangFB last edited by

                        @wolfgangfb
                        kannst du mal den Code posten, wie du das Script aufrufst?

                        W 1 Reply Last reply Reply Quote 0
                        • F
                          fastfoot @WolfgangFB last edited by

                          @wolfgangfb Dateiname in Zeile 7 geändert?

                          1 Reply Last reply Reply Quote 0
                          • W
                            WolfgangFB @Acgua last edited by

                            @acgua

                            Ich habe den Code 1:1 in ein neues Skript kopiert, in Zeile 7 den Dateinamen geändert und dann auf "Save" geklickt.

                            Acgua 1 Reply Last reply Reply Quote 0
                            • Acgua
                              Acgua @WolfgangFB last edited by

                              @wolfgangfb

                              Seltsam, denn das Script sollte das abfangen, also fehlende Berechtigung oder nicht vorhandene Datei, und dies sauber im Log anzeigen, z.B. readAsync() error - Error: EACCES: permission denied, open '/opt/iobroker/log/x.log'. oder readAsync() error - Error: ENOENT: no such file or directory, stat '/opt/iobroker/log/xy.log'

                              Welche node.js-Version verwendest du?
                              --> In Konsole: node -v eingeben

                              1 Reply Last reply Reply Quote 0
                              • First post
                                Last post

                              Support us

                              ioBroker
                              Community Adapters
                              Donate
                              FAQ Cloud / IOT
                              HowTo: Node.js-Update
                              HowTo: Backup/Restore
                              Downloads
                              BLOG

                              567
                              Online

                              31.9k
                              Users

                              80.2k
                              Topics

                              1.3m
                              Posts

                              5
                              15
                              813
                              Loading More Posts
                              • Oldest to Newest
                              • Newest to Oldest
                              • Most Votes
                              Reply
                              • Reply as topic
                              Log in to reply
                              Community
                              Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                              The ioBroker Community 2014-2023
                              logo