Daten Seriell von Paradigma Solaranlage lesen

[glitzi]

@AlCalzone

Kann das nicht funktionieren wenn ich alle x Sekunden die Daten von der Schnittstelle in einen Datenpunkt schreibe und den Parser damit neu triggere?

Dann sollte ja auch das überlange Telegramm nicht stören.

Dazu wäre noch interessant wie ich das vorher von der Schnittstelle in einen Datenpunkt bekomme?

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Kann das nicht funktionieren wenn ich alle x Sekunden die Daten von der Schnittstelle in einen Datenpunkt schreibe und den Parser damit neu triggere?

Wenn es dich nicht stört, dass du dann einen Teil der Daten ignorierst.

Ich bin mir nicht sicher, wie die Daten vom Serialport kommen. Musst du ein Paket schicken, damit Daten zurück kommen? Oder sendet die Solaranlage permanent/regelmäßig?

Falls letzteres wäre es IMO besser, beim Skriptstart die Schnittstelle zu öffnen, einmal einen geeigneten Parser aufsetzen und dann nur noch aufs data-Event zu lauschen. Dann brauchst du auch keinen Umweg über Datenpunkte, wenn dich nachher eh nur die Nutzdaten interessieren.

[glitzi]

@glitzi

Also dann so?

const SerialPort = require('serialport')
const Delimiter = require('@serialport/parser-delimiter')
const port = new SerialPort('/dev/tty-usbserial1')
 
const parser = port.pipe(new Ready({ delimiter: Buffer.from("fc3e2401", "hex") }))
parser.on('data', chunk => {
	
	chunk = chunk.swap16();
 
});

und das weglassen?

const hexDatenOhneLeerzeichen = "fc3e240163007002d300f8ff000072010000000000010001100015141b0b1439000000000039440000000000000000000000630000000000000000000000000001fc3e240163007002d300f9ff0000";
parser.write(hexDatenOhneLeerzeichen, "hex");

[AlCalzone]

@glitzi Wie oben schon geschrieben... mit dem Ready-Parser bekommst du nur ein einziges Mal ein Datenpaket.

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Mit meinem PreambleParser bekommst du die angegebene Anzahl an Bytes nach jedem fc3e2401 - nach deinem Code zu urteilen brauchst du 34 Bytes.

[glitzi]

@AlCalzone

Auch wenn ich das jede 30s Triggere?

[AlCalzone]

@glitzi Ja, wenn der Ready-Parser einmal aufgesetzt ist, dann sucht er nur ein einziges Mal nach dem Abschnitt. Was hast du gegen meinen Vorschlag oben?

[glitzi]

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Habe nichts gegen Deinen Vorschlag

muss ich den Teil vor der Zeile 68 auch übernehmen? und wo kommt der Part mit der Schnittstelle hin und wie wir das dann alle 30s getriggert?

@glitzi schau mal hier. Ab Zeile 56 steht wie du es nutzen kannst. Zeile 63 bitte mit deiner bestehenden Auswertung ersetzen, ich hab das nur zum Testen mal geloggt. Außerdem war noch ein kleiner Fehler drin (letzte Zeile). Die Daten müssen per write in den Parser geschrieben werden, nicht per push.

const { Transform } = require("stream");

class PreambleParser extends Transform {
	/**
	 * @param {Buffer} preamble
	 * @param {number} payloadLength
	 */
	constructor(preamble, payloadLength) {
		super();
		this.receiveBuffer = Buffer.allocUnsafe(0);
		this.preamble = preamble;
		this.payloadLength = payloadLength;
	}

	_transform(chunk, encoding, callback) {
		this.receiveBuffer = Buffer.concat([this.receiveBuffer, chunk]);

		while (this.receiveBuffer.length >= this.preamble.length) {
			// Check if the buffer starts with the preamble
			const preambleIndex = this.receiveBuffer.indexOf(this.preamble);
			if (preambleIndex === -1) {
				// not found, wait for the next chunk
				break;
			}
			// Skip bytes before the preamble
			this.receiveBuffer = skipBytes(this.receiveBuffer, preambleIndex);

			// Check if we still have enough data
			if (
				this.receiveBuffer.length >=
				this.preamble.length + this.payloadLength
			) {
				// Yes, emit it
				this.push(
					this.receiveBuffer.slice(
						this.preamble.length,
						this.preamble.length + this.payloadLength,
					),
				);
				// And skip the bytes
				this.receiveBuffer = skipBytes(
					this.receiveBuffer,
					this.preamble.length + this.payloadLength,
				);
			}
		}
		callback();
	}
}

/** Skips the first n bytes of a buffer and returns the rest */
function skipBytes(buf, n) {
	return Buffer.from(buf.slice(n));
}

// ---

const parser = new PreambleParser(
	Buffer.from("fc3e2401", "hex"), // Start der Datenpakete
	10, // Wie viele Bytes nach dem Start ausgewertet werden
);
parser.on("data", (chunk) => {
	console.log(chunk.toString("hex"));
});

// Bei jedem Dateneingang:

const hexDatenOhneLeerzeichen =
	"00112233fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";

parser.write(hexDatenOhneLeerzeichen, "hex");

Eine Testausgabe auf der Konsole zeigt die gewünschten 10 Bytes nach den Anfangs-Bytes.:

$ node preambleParser.js
09028702430149000000
0902870243014a000000

Und Hier gibt es noch Probleme:

19| const { Transform } = require('stream');

18:37:15.725	error	javascript.0 (1126) script.js.Paradigma.TEST: Error: Cannot find module 'emitter'
18:37:15.727	error	javascript.0 (1126) at script.js.Paradigma.TEST:19:23
18:37:15.730	error	javascript.0 (1126) script.js.Paradigma.TEST: script.js.Paradigma.TEST:19
18:37:15.731	error	javascript.0 (1126) at script.js.Paradigma.TEST:19:9

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

muss ich den Teil vor der Zeile 68 auch übernehmen?

Zeile 1 bis 56 ist der Parser selbst, den brauchst du auf jeden Fall.

Zeile 58-61 ist zum einmaligen Initialisieren (hier nur die 10 durch die benötigte Anzahl an Bytes austauschen, glaube 34 für dich).
Zeile 62-64 hast du schon, das ist deine Auswerteroutine.

Und Zeile 71 füttert die Daten in den Parser, damit sie ausgewertet werden können. Das musst du alle 30s machen, wenn du alle 30s auswerten willst. Woher und wie die alle 30s kommen, weiß ich nicht. Siehe auch meine Frage oben:

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ich bin mir nicht sicher, wie die Daten vom Serialport kommen. Musst du ein Paket schicken, damit Daten zurück kommen? Oder sendet die Solaranlage permanent/regelmäßig?

---

Error: Cannot find module 'emitter'

Interessant, bei mir kommt ein anderer Fehler:

Cannot find module 'C:\iobroker\node_modules\iobroker.javascript\lib/../../stream'

Nichtsdestotrotz, das ist ein Bug im JavaScript-Adapter. Ich baue mal einen Fix dafür.

[AlCalzone]

@glitzi Wenn du den Javascript-Adapter ausnahmsweise von Github installierst, sollte es funktionieren.

[glitzi]

@AlCalzone

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann warte ich mal auf deinen Fix, sonst läuft das Skript ja nicht?

Und dann wird umgesteckt von OpenHAB auf IOBroker...
InfluxDB, Grafana und VIS sind schon fertig.

[glitzi]

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

@glitzi Wenn du den Javascript-Adapter ausnahmsweise von Github installierst, sollte es funktionieren.

Ok, werde mal lesen wie ich das mache... muss ich den alten vorher löschen? Was passiert dabei mit den Skripten?

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann brauchst du sie gar nicht zyklisch auslesen. Nimm das Skript, minus den Part ab "Bei jedem Dateneingang".
Stattdessen öffnest du dort wie folgt die serielle Schnittstelle:

const SerialPort = require('serialport');

// Port öffnen
const port = new SerialPort('/dev/tty-usbserial1');
port.pipe(parser);

// Port bei Skriptende schließen:
onStop(() => {
  port.close();
});

Somit wird der Parser automatisch bei jedem Dateneingang gefüttert und gibt dir die Nutzdaten aus.

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ok, werde mal lesen wie ich das mache... muss ich den alten vorher löschen? Was passiert dabei mit den Skripten?

https://www.iobroker.net/#de/documentation/tutorial/adapter.md?dieinstallationvongithub

Einfach nur über das GitHub-Icon installieren, die Skripte bleiben erhalten.

[glitzi]

Dann sollte ich das ganze Skript trotzdem nur jede 30s ausführen, sonst schreibt er sich nen Wolf.

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann brauchst du sie gar nicht zyklisch auslesen. Nimm das Skript, minus den Part ab "Bei jedem Dateneingang".
Stattdessen öffnest du dort wie folgt die serielle Schnittstelle:

const SerialPort = require('serialport');

// Port öffnen
const port = new SerialPort('/dev/tty-usbserial1');
port.pipe(parser);

// Port bei Skriptende schließen:
onStop(() => {
  port.close();
});

Somit wird der Parser automatisch bei jedem Dateneingang gefüttert und gibt dir die Nutzdaten aus.

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Dann sollte ich das ganze Skript trotzdem nur jede 30s ausführen, sonst schreibt er sich nen Wolf.

Du könntest im on("data") checken ob die letzte Verarbeitung länger als 30s her ist. Wenn nicht, return.
Oder du könntest nach dem Lesen port.pause() aufrufen und 30s später port.resume(): https://serialport.io/docs/api-stream#serialport-pause

Skripte in ioBroker sind eigentlich dafür gedacht, um permanent zu laufen.

[glitzi]

@AlCalzone

Kann ich dann einfach im on("data") mit „ schedule“ arbeiten?
Möchte vermeiden das die Datenpunkte sich permanent aktualisieren und die influxdb zumüllen.

[AlCalzone]

@glitzi Nein. Aber sowas geht:

// außerhalb on("data"):
let lastCheck = 0; // 0 sorgt dafür, dass gleich zu Beginn einmal ausgelesen wird

// innerhalb on("data"):
if (Date.now() - lastCheck < 30000) return;
lastCheck = Date.now();
//... übliche Auswertung

[glitzi]

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ok, werde mal lesen wie ich das mache... muss ich den alten vorher löschen? Was passiert dabei mit den Skripten?

https://www.iobroker.net/#de/documentation/tutorial/adapter.md?dieinstallationvongithub

Einfach nur über das GitHub-Icon installieren, die Skripte bleiben erhalten.

Ich habe jetzt über den Expertenmodus Installiert..

einmal hinten das + und dann die aktuell Version, aber der Fehler kommt trotzdem.
Ich habe auch den Pfeil Upload probiert, was passiert da eigentlich?

30.11.2020, 16:51:37.077	[info ]: javascript.0 (16580) Stop script script.js.Paradigma.TEST_Parser
30.11.2020, 16:51:37.094	[info ]: javascript.0 (16580) Start javascript script.js.Paradigma.TEST_Parser
30.11.2020, 16:51:37.107	[error]: javascript.0 (16580) script.js.Paradigma.TEST_Parser: Error: Cannot find module '/opt/iobroker/node_modules/iobroker.javascript/lib/../../stream'
30.11.2020, 16:51:37.109	[error]: javascript.0 (16580)     at script.js.Paradigma.TEST_Parser:18:23
30.11.2020, 16:51:37.112	[error]: javascript.0 (16580) script.js.Paradigma.TEST_Parser: script.js.Paradigma.TEST_Parser:18
30.11.2020, 16:51:37.114	[error]: javascript.0 (16580)     at script.js.Paradigma.TEST_Parser:18:9

javascript.0	2020-11-30 17:01:24.798	error	(16878) at Script.runInContext (vm.js:130:18)
javascript.0	2020-11-30 17:01:24.798	error	(16878) at script.js.Paradigma.TEST_Parser:18:9
javascript.0	2020-11-30 17:01:24.797	error	(16878) TypeError: Cannot destructure property 'Transform' of 'require(...)' as it is undefined.
javascript.0	2020-11-30 17:01:24.797	error	(16878) ^
javascript.0	2020-11-30 17:01:24.796	error	(16878) const { Transform } = require('stream');
javascript.0	2020-11-30 17:01:24.796	error	(16878) script.js.Paradigma.TEST_Parser: script.js.Paradigma.TEST_Parser:18
javascript.0	2020-11-30 17:01:24.792	error	(16878) at Script.runInContext (vm.js:130:18)
javascript.0	2020-11-30 17:01:24.792	error	(16878) at script.js.Paradigma.TEST_Parser:18:23
javascript.0	2020-11-30 17:01:24.791	error	(16878) at require (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:389:36)
javascript.0	2020-11-30 17:01:24.791	error	(16878) at require (internal/modules/cjs/helpers.js:74:18)
javascript.0	2020-11-30 17:01:24.790	error	(16878) at Module.require (internal/modules/cjs/loader.js:903:19)
javascript.0	2020-11-30 17:01:24.790	error	(16878) script.js.Paradigma.TEST_Parser: Error: Cannot find module '/opt/iobroker/node_modules/iobroker.javascript/lib/../../stream'

[AlCalzone]

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

einmal hinten das + und dann die aktuell Version

Das ist zwar normalerweise korrekt, aber diesmal ist die Installation von Github nötig, weil der Fix noch nicht als Version veröffentlicht wurde.

1.:

2.:

[glitzi]

@AlCalzone

Vom Github ist installiert, Version 4.10.6

Sobald das Skrip läuft, stürzt die Instanz von Java ohne Meldungen im Log ab,

const Delimiter = require('@serialport/parser-delimiter')
const Ready = require('@serialport/parser-ready')

createState('Paradigma_Kollektor');
createState('Paradigma_Speichertemperatur');
createState('Paradigma_Solarvorlauf');
createState('Paradigma_Aussentemperatur');
createState('Paradigma_Solarrücklauf');
createState('Paradigma_Durchfluss');
createState('Paradigma_PWMPumpe');
createState('Paradigma_Tagesleistung');
createState('Paradigma_Gesamtleistung');
createState('Paradigma_Status');
createState('Paradigma_StatusText');
createState('Paradigma_Fehlercode');
createState('Paradigma_FehlercodeText');
 
const { Transform } = require('stream');
 
class PreambleParser extends Transform {
	/**
	 * @param {Buffer} preamble
	 * @param {number} payloadLength
	 */
	constructor(preamble, payloadLength) {
		super();
		this.receiveBuffer = Buffer.allocUnsafe(0);
		this.preamble = preamble;
		this.payloadLength = payloadLength;
	}
 
	_transform(chunk, encoding, callback) {
		this.receiveBuffer = Buffer.concat([this.receiveBuffer, chunk]);
 
		while (this.receiveBuffer.length >= this.preamble.length) {
			// Check if the buffer starts with the preamble
			const preambleIndex = this.receiveBuffer.indexOf(this.preamble);
			if (preambleIndex === -1) {
				// not found, wait for the next chunk
				break;
			}
			// Skip bytes before the preamble
			this.receiveBuffer = skipBytes(this.receiveBuffer, preambleIndex);
 
			// Check if we still have enough data
			if (
				this.receiveBuffer.length >=
				this.preamble.length + this.payloadLength
			) {
				// Yes, emit it
				this.push(
					this.receiveBuffer.slice(
						this.preamble.length,
						this.preamble.length + this.payloadLength,
					),
				);
				// And skip the bytes
				this.receiveBuffer = skipBytes(
					this.receiveBuffer,
					this.preamble.length + this.payloadLength,
				);
			}
		}
		callback();
	}
}
 
/** Skips the first n bytes of a buffer and returns the rest */
function skipBytes(buf, n) {
	return Buffer.from(buf.slice(n));
}
 
// ---
 
const parser = new PreambleParser(
	Buffer.from("fc3e2401", "hex"), // Start der Datenpakete
	38, // Wie viele Bytes nach dem Start ausgewertet werden
);

parser.on('data', chunk => {

    console.log(chunk.toString("hex"));

	

});

// Bei jedem Dateneingang:
 
const hexDatenOhneLeerzeichen =
	"0120000233fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";
 
parser.write(hexDatenOhneLeerzeichen, "hex");