Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[AlCalzone]

@glitzi Komisch, "stream" ist ein eingebautes Modul von Node.js - das müsste er finden (aber nicht da wo es gesucht wird).

Alternativ (ungetestet) lass mal Zeilen 2 und 5 weg, ändere 6 zu

const parser = new Delimiter({ delimiter: Buffer.from("fc3e2401", "hex") });

und ersetze myStream in Zeile 15 durch parser

[glitzi]

@AlCalzone
Einfach KLASSE es funktioniert...

Noch eine Frage:

Ist es egal wenn folgende Zeilen erst am Ende stehen?

// Bei jedem Dateneingang:
const hexDatenOhneLeerzeichen = "fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";
myStream.push(hexDatenOhneLeerzeichen, "hex");
 
 

[AlCalzone]

@glitzi Wichtig ist dass das .push nach dem .on("data") steht. Und die Definition der Daten muss vor dem push bekannt sein.

[glitzi]

@AlCalzone

Wenn ich Testweise einige Zeichen vor das fc3... einfüge sollte das Skript ja trotzdem erst bei fc3 etc Anfangen.

Leider macht er das nicht?

const parser = new Delimiter({ delimiter: Buffer.from("fc3e2401", "hex") });
 
parser.on('data', chunk => {
	val = chunk.readUInt16LE(4) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Kollektor', val /10, true);

@AlCalzone
Einfach KLASSE es funktioniert...

Noch eine Frage:

Ist es egal wenn folgende Zeilen erst am Ende stehen?

// Bei jedem Dateneingang:
const hexDatenOhneLeerzeichen = "fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";
Parser.push(hexDatenOhneLeerzeichen, "hex");
 
 

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Wenn ich Testweise einige Zeichen vor das fc3... einfüge sollte das Skript ja trotzdem erst bei fc3 etc Anfangen.
Leider macht er das nicht?

Nein, der teilt die eingehenden Daten an fc3e2401 auf. D.h. alles was vorher kommt, wird auch an die verarbeitende Methode gegeben.
Du könntest z.B. bevor du die Daten auswertest prüfen, ob die erhaltene Datenmenge dem entspricht, was zu erwarten ist, z.B.:

if (chunk.length < 10) return;

(ich weiß nicht wie viele Bytes Nutzdaten üblicherweise kommen, ggf. muss die Schwelle kleiner oder größer gewählt werden.)

[glitzi]

@AlCalzone
Da kommen auch noch sehr viele andere (und unbekannte) Daten über die Schnittstelle rein, daher benötige ich x Byte nach dem fc3e2401 und nur diese sollen dann verarbeitet werden.

Eventuell versteh ich das auch falsch?
aktuell nutze ich ja nur einen Test Datensatz, später kommt das ja von der Seriellen Schnittstelle

[AlCalzone]

@glitzi Hmm, scheint so als würde der Parser genau anders herum arbeiten als du das brauchst. Er wartet immer bis die Byte-Folge kommt und gibt alles davor aus.
Ich hab so einen ähnlichen Anwendungsfall in meinem Adapter, ich bau dir mal ne Alternative.

[AlCalzone]

@glitzi schau mal hier. Ab Zeile 56 steht wie du es nutzen kannst. Zeile 63 bitte mit deiner bestehenden Auswertung ersetzen, ich hab das nur zum Testen mal geloggt. Außerdem war noch ein kleiner Fehler drin (letzte Zeile). Die Daten müssen per write in den Parser geschrieben werden, nicht per push.

const { Transform } = require("stream");

class PreambleParser extends Transform {
	/**
	 * @param {Buffer} preamble
	 * @param {number} payloadLength
	 */
	constructor(preamble, payloadLength) {
		super();
		this.receiveBuffer = Buffer.allocUnsafe(0);
		this.preamble = preamble;
		this.payloadLength = payloadLength;
	}

	_transform(chunk, encoding, callback) {
		this.receiveBuffer = Buffer.concat([this.receiveBuffer, chunk]);

		while (this.receiveBuffer.length >= this.preamble.length) {
			// Check if the buffer starts with the preamble
			const preambleIndex = this.receiveBuffer.indexOf(this.preamble);
			if (preambleIndex === -1) {
				// not found, wait for the next chunk
				break;
			}
			// Skip bytes before the preamble
			this.receiveBuffer = skipBytes(this.receiveBuffer, preambleIndex);

			// Check if we still have enough data
			if (
				this.receiveBuffer.length >=
				this.preamble.length + this.payloadLength
			) {
				// Yes, emit it
				this.push(
					this.receiveBuffer.slice(
						this.preamble.length,
						this.preamble.length + this.payloadLength,
					),
				);
				// And skip the bytes
				this.receiveBuffer = skipBytes(
					this.receiveBuffer,
					this.preamble.length + this.payloadLength,
				);
			}
		}
		callback();
	}
}

/** Skips the first n bytes of a buffer and returns the rest */
function skipBytes(buf, n) {
	return Buffer.from(buf.slice(n));
}

// ---

const parser = new PreambleParser(
	Buffer.from("fc3e2401", "hex"), // Start der Datenpakete
	10, // Wie viele Bytes nach dem Start ausgewertet werden
);
parser.on("data", (chunk) => {
	console.log(chunk.toString("hex"));
});

// Bei jedem Dateneingang:

const hexDatenOhneLeerzeichen =
	"00112233fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";

parser.write(hexDatenOhneLeerzeichen, "hex");

Eine Testausgabe auf der Konsole zeigt die gewünschten 10 Bytes nach den Anfangs-Bytes.:

$ node preambleParser.js
09028702430149000000
0902870243014a000000

[glitzi]

Ich bin Stolz auf mich ;-)

so geht es

const parser = new Ready({ delimiter: Buffer.from("fc3e2401", "hex") });

und

parser.write(hexDatenOhneLeerzeichen, "hex");

Nächste Woche benötige ich dann dieses Skript und muß das Empfangene dann in die obere Zeile bringen?

const SerialPort = require('serialport')
const Delimiter = require('@serialport/parser-delimiter')
const port = new SerialPort('/dev/tty-usbserial1')
 
const parser = port.pipe(new Delimiter({ delimiter: Buffer.from("fc3e2401", "hex") }))
parser.on('data', chunk => {
	
	chunk = chunk.swap16();
 
});

Der Vollständigkeit nochmal das ganze...

const Delimiter = require('@serialport/parser-delimiter')
const Ready = require('@serialport/parser-ready')

createState('Paradigma_Kollektor');
createState('Paradigma_Speichertemperatur');
createState('Paradigma_Solarvorlauf');
createState('Paradigma_Aussentemperatur');
createState('Paradigma_Solarrücklauf');
createState('Paradigma_Durchfluss');
createState('Paradigma_PWMPumpe');
createState('Paradigma_Tagesleistung');
createState('Paradigma_Gesamtleistung');
createState('Paradigma_Status');
createState('Paradigma_StatusText');
createState('Paradigma_Fehlercode');
createState('Paradigma_FehlercodeText');
 

//const parser = new Delimiter({ delimiter: Buffer.from("fc3e2401", "hex") });

//const parser = new PreambleParser(Buffer.from("fc3e2401", "hex"), 10, );

const parser = new Ready({ delimiter: Buffer.from("fc3e2401", "hex") });

parser.on('data', chunk => {

    console.log(chunk.toString("hex"));

	val = chunk.readUInt16LE(0) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Kollektor', val /10, true);

    val = chunk.readUInt16LE(2) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Speichertemperatur', val /10, true);

    val = chunk.readUInt16LE(4) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Solarvorlauf', val /10, true);

    val = chunk.readInt16LE(6) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Aussentemperatur', val /10, true);

    val = chunk.readUInt16LE(10) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Solarrücklauf', val /10, true);

    val = chunk.readUInt16LE(12) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Durchfluss', val /10, true);

    val = chunk.readUInt8(14) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_PWMPumpe', val /10, true);

    val = chunk.readUInt16LE(29) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Tagesleistung', val , true);

    val = chunk.readUInt16LE(32) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Gesamtleistung', val /10, true);

    val = chunk.readUInt8(17) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Status', val, true);

switch(val) {
  case 0:
    setState('Paradigma_StatusText', 'Warten auf Sonne', true);
    break;
  case 1:
    setState('Paradigma_StatusText', 'Frostschutz', true);
    break;
  case 2:
    setState('Paradigma_StatusText', 'Anschieben', true);
    break;
  case 3:
    setState('Paradigma_StatusText', 'Einschaltverzögerung', true);
    break;
  case 4:
    setState('Paradigma_StatusText', 'erwärmt Speicher', true);
    break;
  case 5:
    setState('Paradigma_StatusText', 'Speicher voll', true);
    break;
  case 6:
    setState('Paradigma_StatusText', 'Kollektor überhitzt', true);
    break;
  case 7:
    setState('Paradigma_StatusText', 'Hand, Test oder Aus', true);
    break;
  case 8:
    setState('Paradigma_StatusText', 'Messung', true);
    break;
   default:
    setState('Paradigma_StatusText', val, true);
}

    val = chunk.readUInt8(18) // liest eine 2-byte-Zahl ab Position 0 ohne Bytes zu tauschen
    setState('Paradigma_Fehlercode', val /10, true);
    
switch(val) {
  case 0:
    setState('Paradigma_FehlercodeText', 'OK', true);
    break;
  case 1:
    setState('Paradigma_FehlercodeText', 'Kein Volumenstrom', true);
    break;
  case 2:
    setState('Paradigma_FehlercodeText', 'Luft in der Anlage', true);
    break;
  case 4:
    setState('Paradigma_FehlercodeText', 'Vor- u. Rücklauf vertauscht', true);
    break;
  case 5:
    setState('Paradigma_FehlercodeText', 'Zonenventil defekt', true);
    break;
  case 6:
    setState('Paradigma_FehlercodeText', 'Falsche Uhrzeit', true);
    break;
  case 7:
    setState('Paradigma_FehlercodeText', 'Druckabfall in der Anlage', true);
    break;
  case 9:
    setState('Paradigma_FehlercodeText', 'Falsche Hydraulik', true);
    break;
  case 10:
    setState('Paradigma_FehlercodeText', 'Rohrisolierung', true);
    break;
  case 11:
    setState('Paradigma_FehlercodeText', 'Stromversorgung n. konstant', true);
    break;
  case 12:
    setState('Paradigma_FehlercodeText', 'OLV defekt', true);
    break;
  case 13:
    setState('Paradigma_FehlercodeText', 'Zu wenig Volumenstrom', true);
    break;
  case 14:
    setState('Paradigma_FehlercodeText', 'Speicher unterkühlt durch Frostschutz', true);
    break;
  case 20:
    setState('Paradigma_FehlercodeText', 'Fühler Außentemperatur falsch montiert', true);
    break;
  case 21:
    setState('Paradigma_FehlercodeText', 'Ausfall Kollektorfühler', true);
    break;
  case 22:
    setState('Paradigma_FehlercodeText', 'Ausfall Fühler Solarrücklauf', true);
    break;
  case 23:
    setState('Paradigma_FehlercodeText', 'Störung Kollektrofühler', true);
    break;
  case 24:
    setState('Paradigma_FehlercodeText', 'Frostschutz', true);
    break;
  case 25:
    setState('Paradigma_FehlercodeText', 'Fühler TSA u. TAM vertauscht', true);
    break;
  case 26:
    setState('Paradigma_FehlercodeText', 'Ausfall Fühler Solarvorlauf', true);
    break;
  case 27:
    setState('Paradigma_FehlercodeText', 'Ausfall Fühler Außentemperatur', true);
    break;
  case 34:
    setState('Paradigma_FehlercodeText', 'Überhitzung Speicher 1', true);
    break;
  case 35:
    setState('Paradigma_FehlercodeText', 'Überhitzung Speicher 2', true);
    break;
  case 49:
    setState('Paradigma_FehlercodeText', 'Solarstation unterkühlt', true);
    break;
  case 50:
    setState('Paradigma_FehlercodeText', 'Kollektor eingefroren', true);
    break;
   default:
    setState('Paradigma_FehlercodeText', val, true);
}

});

// Bei jedem Dateneingang:
//const hexDatenOhneLeerzeichen = "fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";
const hexDatenOhneLeerzeichen = "fc3e240163007002d300f8ff000072010000000000010001100015141b0b1439000000000039440000000000000000000000630000000000000000000000000001fc3e240163007002d300f9ff0000";
//parser.push(hexDatenOhneLeerzeichen, "hex");
parser.write(hexDatenOhneLeerzeichen, "hex");

[AlCalzone]

@glitzi Ich fürchte mit dem Ready-Parser wird es auch nicht hinhauen. Wenn du da mal das Beispiel liest:

all data after READY is received

d.h. du bekommst nur einmal sämtliche Daten, die nach dem allerersten fc3e2401 kommen. Allerdings enthält schon dein Beispielcode zwei "Datenpakete". Mit meinem PreambleParser bekommst du die angegebene Anzahl an Bytes nach jedem fc3e2401 - nach deinem Code zu urteilen brauchst du 34 Bytes.

[glitzi]

@AlCalzone

Kann das nicht funktionieren wenn ich alle x Sekunden die Daten von der Schnittstelle in einen Datenpunkt schreibe und den Parser damit neu triggere?

Dann sollte ja auch das überlange Telegramm nicht stören.

Dazu wäre noch interessant wie ich das vorher von der Schnittstelle in einen Datenpunkt bekomme?

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Kann das nicht funktionieren wenn ich alle x Sekunden die Daten von der Schnittstelle in einen Datenpunkt schreibe und den Parser damit neu triggere?

Wenn es dich nicht stört, dass du dann einen Teil der Daten ignorierst.

Ich bin mir nicht sicher, wie die Daten vom Serialport kommen. Musst du ein Paket schicken, damit Daten zurück kommen? Oder sendet die Solaranlage permanent/regelmäßig?

Falls letzteres wäre es IMO besser, beim Skriptstart die Schnittstelle zu öffnen, einmal einen geeigneten Parser aufsetzen und dann nur noch aufs data-Event zu lauschen. Dann brauchst du auch keinen Umweg über Datenpunkte, wenn dich nachher eh nur die Nutzdaten interessieren.

[glitzi]

@glitzi

Also dann so?

const SerialPort = require('serialport')
const Delimiter = require('@serialport/parser-delimiter')
const port = new SerialPort('/dev/tty-usbserial1')
 
const parser = port.pipe(new Ready({ delimiter: Buffer.from("fc3e2401", "hex") }))
parser.on('data', chunk => {
	
	chunk = chunk.swap16();
 
});

und das weglassen?

const hexDatenOhneLeerzeichen = "fc3e240163007002d300f8ff000072010000000000010001100015141b0b1439000000000039440000000000000000000000630000000000000000000000000001fc3e240163007002d300f9ff0000";
parser.write(hexDatenOhneLeerzeichen, "hex");

[AlCalzone]

@glitzi Wie oben schon geschrieben... mit dem Ready-Parser bekommst du nur ein einziges Mal ein Datenpaket.

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Mit meinem PreambleParser bekommst du die angegebene Anzahl an Bytes nach jedem fc3e2401 - nach deinem Code zu urteilen brauchst du 34 Bytes.

[glitzi]

@AlCalzone

Auch wenn ich das jede 30s Triggere?

[AlCalzone]

@glitzi Ja, wenn der Ready-Parser einmal aufgesetzt ist, dann sucht er nur ein einziges Mal nach dem Abschnitt. Was hast du gegen meinen Vorschlag oben?

[glitzi]

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Habe nichts gegen Deinen Vorschlag ;-)

muss ich den Teil vor der Zeile 68 auch übernehmen? und wo kommt der Part mit der Schnittstelle hin und wie wir das dann alle 30s getriggert?

@glitzi schau mal hier. Ab Zeile 56 steht wie du es nutzen kannst. Zeile 63 bitte mit deiner bestehenden Auswertung ersetzen, ich hab das nur zum Testen mal geloggt. Außerdem war noch ein kleiner Fehler drin (letzte Zeile). Die Daten müssen per write in den Parser geschrieben werden, nicht per push.

const { Transform } = require("stream");

class PreambleParser extends Transform {
	/**
	 * @param {Buffer} preamble
	 * @param {number} payloadLength
	 */
	constructor(preamble, payloadLength) {
		super();
		this.receiveBuffer = Buffer.allocUnsafe(0);
		this.preamble = preamble;
		this.payloadLength = payloadLength;
	}

	_transform(chunk, encoding, callback) {
		this.receiveBuffer = Buffer.concat([this.receiveBuffer, chunk]);

		while (this.receiveBuffer.length >= this.preamble.length) {
			// Check if the buffer starts with the preamble
			const preambleIndex = this.receiveBuffer.indexOf(this.preamble);
			if (preambleIndex === -1) {
				// not found, wait for the next chunk
				break;
			}
			// Skip bytes before the preamble
			this.receiveBuffer = skipBytes(this.receiveBuffer, preambleIndex);

			// Check if we still have enough data
			if (
				this.receiveBuffer.length >=
				this.preamble.length + this.payloadLength
			) {
				// Yes, emit it
				this.push(
					this.receiveBuffer.slice(
						this.preamble.length,
						this.preamble.length + this.payloadLength,
					),
				);
				// And skip the bytes
				this.receiveBuffer = skipBytes(
					this.receiveBuffer,
					this.preamble.length + this.payloadLength,
				);
			}
		}
		callback();
	}
}

/** Skips the first n bytes of a buffer and returns the rest */
function skipBytes(buf, n) {
	return Buffer.from(buf.slice(n));
}

// ---

const parser = new PreambleParser(
	Buffer.from("fc3e2401", "hex"), // Start der Datenpakete
	10, // Wie viele Bytes nach dem Start ausgewertet werden
);
parser.on("data", (chunk) => {
	console.log(chunk.toString("hex"));
});

// Bei jedem Dateneingang:

const hexDatenOhneLeerzeichen =
	"00112233fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";

parser.write(hexDatenOhneLeerzeichen, "hex");

Eine Testausgabe auf der Konsole zeigt die gewünschten 10 Bytes nach den Anfangs-Bytes.:

$ node preambleParser.js
09028702430149000000
0902870243014a000000

Und Hier gibt es noch Probleme:

19| const { Transform } = require('stream');

18:37:15.725	error	javascript.0 (1126) script.js.Paradigma.TEST: Error: Cannot find module 'emitter'
18:37:15.727	error	javascript.0 (1126) at script.js.Paradigma.TEST:19:23
18:37:15.730	error	javascript.0 (1126) script.js.Paradigma.TEST: script.js.Paradigma.TEST:19
18:37:15.731	error	javascript.0 (1126) at script.js.Paradigma.TEST:19:9

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

muss ich den Teil vor der Zeile 68 auch übernehmen?

Zeile 1 bis 56 ist der Parser selbst, den brauchst du auf jeden Fall.

Zeile 58-61 ist zum einmaligen Initialisieren (hier nur die 10 durch die benötigte Anzahl an Bytes austauschen, glaube 34 für dich).
Zeile 62-64 hast du schon, das ist deine Auswerteroutine.

Und Zeile 71 füttert die Daten in den Parser, damit sie ausgewertet werden können. Das musst du alle 30s machen, wenn du alle 30s auswerten willst. Woher und wie die alle 30s kommen, weiß ich nicht. Siehe auch meine Frage oben:

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ich bin mir nicht sicher, wie die Daten vom Serialport kommen. Musst du ein Paket schicken, damit Daten zurück kommen? Oder sendet die Solaranlage permanent/regelmäßig?

---

Error: Cannot find module 'emitter'

Interessant, bei mir kommt ein anderer Fehler:

Cannot find module 'C:\iobroker\node_modules\iobroker.javascript\lib/../../stream'

Nichtsdestotrotz, das ist ein Bug im JavaScript-Adapter. Ich baue mal einen Fix dafür.

[AlCalzone]

@glitzi Wenn du den Javascript-Adapter ausnahmsweise von Github installierst, sollte es funktionieren.

[glitzi]

@AlCalzone

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann warte ich mal auf deinen Fix, sonst läuft das Skript ja nicht?

Und dann wird umgesteckt von OpenHAB auf IOBroker...
InfluxDB, Grafana und VIS sind schon fertig.