Daten Seriell von Paradigma Solaranlage lesen

AlCalzone

@glitzi Ja, wenn der Ready-Parser einmal aufgesetzt ist, dann sucht er nur ein einziges Mal nach dem Abschnitt. Was hast du gegen meinen Vorschlag oben?

glitzi

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Habe nichts gegen Deinen Vorschlag

muss ich den Teil vor der Zeile 68 auch übernehmen? und wo kommt der Part mit der Schnittstelle hin und wie wir das dann alle 30s getriggert?

@glitzi schau mal hier. Ab Zeile 56 steht wie du es nutzen kannst. Zeile 63 bitte mit deiner bestehenden Auswertung ersetzen, ich hab das nur zum Testen mal geloggt. Außerdem war noch ein kleiner Fehler drin (letzte Zeile). Die Daten müssen per write in den Parser geschrieben werden, nicht per push.

const { Transform } = require("stream");

class PreambleParser extends Transform {
	/**
	 * @param {Buffer} preamble
	 * @param {number} payloadLength
	 */
	constructor(preamble, payloadLength) {
		super();
		this.receiveBuffer = Buffer.allocUnsafe(0);
		this.preamble = preamble;
		this.payloadLength = payloadLength;
	}

	_transform(chunk, encoding, callback) {
		this.receiveBuffer = Buffer.concat([this.receiveBuffer, chunk]);

		while (this.receiveBuffer.length >= this.preamble.length) {
			// Check if the buffer starts with the preamble
			const preambleIndex = this.receiveBuffer.indexOf(this.preamble);
			if (preambleIndex === -1) {
				// not found, wait for the next chunk
				break;
			}
			// Skip bytes before the preamble
			this.receiveBuffer = skipBytes(this.receiveBuffer, preambleIndex);

			// Check if we still have enough data
			if (
				this.receiveBuffer.length >=
				this.preamble.length + this.payloadLength
			) {
				// Yes, emit it
				this.push(
					this.receiveBuffer.slice(
						this.preamble.length,
						this.preamble.length + this.payloadLength,
					),
				);
				// And skip the bytes
				this.receiveBuffer = skipBytes(
					this.receiveBuffer,
					this.preamble.length + this.payloadLength,
				);
			}
		}
		callback();
	}
}

/** Skips the first n bytes of a buffer and returns the rest */
function skipBytes(buf, n) {
	return Buffer.from(buf.slice(n));
}

// ---

const parser = new PreambleParser(
	Buffer.from("fc3e2401", "hex"), // Start der Datenpakete
	10, // Wie viele Bytes nach dem Start ausgewertet werden
);
parser.on("data", (chunk) => {
	console.log(chunk.toString("hex"));
});

// Bei jedem Dateneingang:

const hexDatenOhneLeerzeichen =
	"00112233fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";

parser.write(hexDatenOhneLeerzeichen, "hex");

Eine Testausgabe auf der Konsole zeigt die gewünschten 10 Bytes nach den Anfangs-Bytes.:

$ node preambleParser.js
09028702430149000000
0902870243014a000000

Und Hier gibt es noch Probleme:

19| const { Transform } = require('stream');

18:37:15.725	error	javascript.0 (1126) script.js.Paradigma.TEST: Error: Cannot find module 'emitter'
18:37:15.727	error	javascript.0 (1126) at script.js.Paradigma.TEST:19:23
18:37:15.730	error	javascript.0 (1126) script.js.Paradigma.TEST: script.js.Paradigma.TEST:19
18:37:15.731	error	javascript.0 (1126) at script.js.Paradigma.TEST:19:9

AlCalzone

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

muss ich den Teil vor der Zeile 68 auch übernehmen?

Zeile 1 bis 56 ist der Parser selbst, den brauchst du auf jeden Fall.

Zeile 58-61 ist zum einmaligen Initialisieren (hier nur die 10 durch die benötigte Anzahl an Bytes austauschen, glaube 34 für dich).
Zeile 62-64 hast du schon, das ist deine Auswerteroutine.

Und Zeile 71 füttert die Daten in den Parser, damit sie ausgewertet werden können. Das musst du alle 30s machen, wenn du alle 30s auswerten willst. Woher und wie die alle 30s kommen, weiß ich nicht. Siehe auch meine Frage oben:

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ich bin mir nicht sicher, wie die Daten vom Serialport kommen. Musst du ein Paket schicken, damit Daten zurück kommen? Oder sendet die Solaranlage permanent/regelmäßig?

Error: Cannot find module 'emitter'

Interessant, bei mir kommt ein anderer Fehler:

Cannot find module 'C:\iobroker\node_modules\iobroker.javascript\lib/../../stream'

Nichtsdestotrotz, das ist ein Bug im JavaScript-Adapter. Ich baue mal einen Fix dafür.

AlCalzone

@glitzi Wenn du den Javascript-Adapter ausnahmsweise von Github installierst, sollte es funktionieren.

glitzi

@AlCalzone

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann warte ich mal auf deinen Fix, sonst läuft das Skript ja nicht?

Und dann wird umgesteckt von OpenHAB auf IOBroker...
InfluxDB, Grafana und VIS sind schon fertig.

glitzi

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

@glitzi Wenn du den Javascript-Adapter ausnahmsweise von Github installierst, sollte es funktionieren.

Ok, werde mal lesen wie ich das mache... muss ich den alten vorher löschen? Was passiert dabei mit den Skripten?

AlCalzone

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann brauchst du sie gar nicht zyklisch auslesen. Nimm das Skript, minus den Part ab "Bei jedem Dateneingang".
Stattdessen öffnest du dort wie folgt die serielle Schnittstelle:

const SerialPort = require('serialport');

// Port öffnen
const port = new SerialPort('/dev/tty-usbserial1');
port.pipe(parser);

// Port bei Skriptende schließen:
onStop(() => {
  port.close();
});

Somit wird der Parser automatisch bei jedem Dateneingang gefüttert und gibt dir die Nutzdaten aus.

AlCalzone

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ok, werde mal lesen wie ich das mache... muss ich den alten vorher löschen? Was passiert dabei mit den Skripten?

https://www.iobroker.net/#de/documentation/tutorial/adapter.md?dieinstallationvongithub

Einfach nur über das GitHub-Icon installieren, die Skripte bleiben erhalten.

glitzi

Dann sollte ich das ganze Skript trotzdem nur jede 30s ausführen, sonst schreibt er sich nen Wolf.

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Die Daten kommen unaufgefordert und zyklisch auf der seriellen Schnittstelle rein.

Dann brauchst du sie gar nicht zyklisch auslesen. Nimm das Skript, minus den Part ab "Bei jedem Dateneingang".
Stattdessen öffnest du dort wie folgt die serielle Schnittstelle:
const SerialPort = require('serialport');

// Port öffnen
const port = new SerialPort('/dev/tty-usbserial1');
port.pipe(parser);

// Port bei Skriptende schließen:
onStop(() => {
  port.close();
});
Somit wird der Parser automatisch bei jedem Dateneingang gefüttert und gibt dir die Nutzdaten aus.

AlCalzone

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Dann sollte ich das ganze Skript trotzdem nur jede 30s ausführen, sonst schreibt er sich nen Wolf.

Du könntest im on("data") checken ob die letzte Verarbeitung länger als 30s her ist. Wenn nicht, return.
Oder du könntest nach dem Lesen port.pause() aufrufen und 30s später port.resume(): https://serialport.io/docs/api-stream#serialport-pause

Skripte in ioBroker sind eigentlich dafür gedacht, um permanent zu laufen.

glitzi

@AlCalzone

Kann ich dann einfach im on("data") mit „ schedule“ arbeiten?
Möchte vermeiden das die Datenpunkte sich permanent aktualisieren und die influxdb zumüllen.

AlCalzone

@glitzi Nein. Aber sowas geht:

// außerhalb on("data"):
let lastCheck = 0; // 0 sorgt dafür, dass gleich zu Beginn einmal ausgelesen wird

// innerhalb on("data"):
if (Date.now() - lastCheck < 30000) return;
lastCheck = Date.now();
//... übliche Auswertung

glitzi

@AlCalzone sagte in Daten Seriell von Paradigma Solaranlage lesen:

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

Ok, werde mal lesen wie ich das mache... muss ich den alten vorher löschen? Was passiert dabei mit den Skripten?

https://www.iobroker.net/#de/documentation/tutorial/adapter.md?dieinstallationvongithub

Einfach nur über das GitHub-Icon installieren, die Skripte bleiben erhalten.

Ich habe jetzt über den Expertenmodus Installiert..

einmal hinten das + und dann die aktuell Version, aber der Fehler kommt trotzdem.
Ich habe auch den Pfeil Upload probiert, was passiert da eigentlich?

30.11.2020, 16:51:37.077	[info ]: javascript.0 (16580) Stop script script.js.Paradigma.TEST_Parser
30.11.2020, 16:51:37.094	[info ]: javascript.0 (16580) Start javascript script.js.Paradigma.TEST_Parser
30.11.2020, 16:51:37.107	[error]: javascript.0 (16580) script.js.Paradigma.TEST_Parser: Error: Cannot find module '/opt/iobroker/node_modules/iobroker.javascript/lib/../../stream'
30.11.2020, 16:51:37.109	[error]: javascript.0 (16580)     at script.js.Paradigma.TEST_Parser:18:23
30.11.2020, 16:51:37.112	[error]: javascript.0 (16580) script.js.Paradigma.TEST_Parser: script.js.Paradigma.TEST_Parser:18
30.11.2020, 16:51:37.114	[error]: javascript.0 (16580)     at script.js.Paradigma.TEST_Parser:18:9

javascript.0	2020-11-30 17:01:24.798	error	(16878) at Script.runInContext (vm.js:130:18)
javascript.0	2020-11-30 17:01:24.798	error	(16878) at script.js.Paradigma.TEST_Parser:18:9
javascript.0	2020-11-30 17:01:24.797	error	(16878) TypeError: Cannot destructure property 'Transform' of 'require(...)' as it is undefined.
javascript.0	2020-11-30 17:01:24.797	error	(16878) ^
javascript.0	2020-11-30 17:01:24.796	error	(16878) const { Transform } = require('stream');
javascript.0	2020-11-30 17:01:24.796	error	(16878) script.js.Paradigma.TEST_Parser: script.js.Paradigma.TEST_Parser:18
javascript.0	2020-11-30 17:01:24.792	error	(16878) at Script.runInContext (vm.js:130:18)
javascript.0	2020-11-30 17:01:24.792	error	(16878) at script.js.Paradigma.TEST_Parser:18:23
javascript.0	2020-11-30 17:01:24.791	error	(16878) at require (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:389:36)
javascript.0	2020-11-30 17:01:24.791	error	(16878) at require (internal/modules/cjs/helpers.js:74:18)
javascript.0	2020-11-30 17:01:24.790	error	(16878) at Module.require (internal/modules/cjs/loader.js:903:19)
javascript.0	2020-11-30 17:01:24.790	error	(16878) script.js.Paradigma.TEST_Parser: Error: Cannot find module '/opt/iobroker/node_modules/iobroker.javascript/lib/../../stream'

AlCalzone

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

einmal hinten das + und dann die aktuell Version

Das ist zwar normalerweise korrekt, aber diesmal ist die Installation von Github nötig, weil der Fix noch nicht als Version veröffentlicht wurde.

1.:

2.:

glitzi

@AlCalzone

Vom Github ist installiert, Version 4.10.6

Sobald das Skrip läuft, stürzt die Instanz von Java ohne Meldungen im Log ab,


const Delimiter = require('@serialport/parser-delimiter')
const Ready = require('@serialport/parser-ready')

createState('Paradigma_Kollektor');
createState('Paradigma_Speichertemperatur');
createState('Paradigma_Solarvorlauf');
createState('Paradigma_Aussentemperatur');
createState('Paradigma_Solarrücklauf');
createState('Paradigma_Durchfluss');
createState('Paradigma_PWMPumpe');
createState('Paradigma_Tagesleistung');
createState('Paradigma_Gesamtleistung');
createState('Paradigma_Status');
createState('Paradigma_StatusText');
createState('Paradigma_Fehlercode');
createState('Paradigma_FehlercodeText');
 
const { Transform } = require('stream');
 
class PreambleParser extends Transform {
	/**
	 * @param {Buffer} preamble
	 * @param {number} payloadLength
	 */
	constructor(preamble, payloadLength) {
		super();
		this.receiveBuffer = Buffer.allocUnsafe(0);
		this.preamble = preamble;
		this.payloadLength = payloadLength;
	}
 
	_transform(chunk, encoding, callback) {
		this.receiveBuffer = Buffer.concat([this.receiveBuffer, chunk]);
 
		while (this.receiveBuffer.length >= this.preamble.length) {
			// Check if the buffer starts with the preamble
			const preambleIndex = this.receiveBuffer.indexOf(this.preamble);
			if (preambleIndex === -1) {
				// not found, wait for the next chunk
				break;
			}
			// Skip bytes before the preamble
			this.receiveBuffer = skipBytes(this.receiveBuffer, preambleIndex);
 
			// Check if we still have enough data
			if (
				this.receiveBuffer.length >=
				this.preamble.length + this.payloadLength
			) {
				// Yes, emit it
				this.push(
					this.receiveBuffer.slice(
						this.preamble.length,
						this.preamble.length + this.payloadLength,
					),
				);
				// And skip the bytes
				this.receiveBuffer = skipBytes(
					this.receiveBuffer,
					this.preamble.length + this.payloadLength,
				);
			}
		}
		callback();
	}
}
 
/** Skips the first n bytes of a buffer and returns the rest */
function skipBytes(buf, n) {
	return Buffer.from(buf.slice(n));
}
 
// ---
 
const parser = new PreambleParser(
	Buffer.from("fc3e2401", "hex"), // Start der Datenpakete
	38, // Wie viele Bytes nach dem Start ausgewertet werden
);

parser.on('data', chunk => {

    console.log(chunk.toString("hex"));

	

});

// Bei jedem Dateneingang:
 
const hexDatenOhneLeerzeichen =
	"0120000233fc3e24010902870243014900000056010000000000000000000010100c0b1405000000000005440000000000000000000000090200000000000000000000000085fc3e24010902870243014a00000057010000";
 
parser.write(hexDatenOhneLeerzeichen, "hex");

AlCalzone

@glitzi sagte in Daten Seriell von Paradigma Solaranlage lesen:

stürzt die Instanz von Java ohne Meldungen im Log ab

woran machst du das fest?

Außerdem: die letzten Dinge, die wir besprochen hatten, sind doch gar nicht drin?

glitzi

@AlCalzone

ja die Änderungen sind nicht drin, habe mal alles weggelassen um den Fehler einzugrenzen.

Wie stelle ich das fest:

im Editor kommt Instanz ist nicht aktiv oder so ähnlich.
bei den Instanzen im Admin wird das Lämpchen orange (Lebenszeichen und Verbunden gehen in Fehler)
Nach einem Neustart über den Button geht es wieder bis ich das Skript wieder neu starte, danach das gleiche Spiel.
CPU Last, sonst liege ich unter 1%, nach mehrere Abstürzen von javaskript.0 steigert sich die Last auf 10%. Nach einem Neustart von ioBroker wieder alles unter 1%

AlCalzone

@glitzi Dann muss irgendetwas im normalen ioBroker-Log stehen.

glitzi

@AlCalzone

Im Editor nach ca. 20 Sekunden

LOG ist Leer

Instanzen

AlCalzone

@glitzi Da ist dann was ganz im Argen. Leeres Log ist in der Regel nicht gut. Mach doch mal den Log in einem zweiten Browser-Fenster auf und beobachte da, was passiert wenn du das Skript startest.

NEWS

Daten Seriell von Paradigma Solaranlage lesen

Support us

459
Online

31.9k
Users

80.2k
Topics

1.3m
Posts

NEWS

Daten Seriell von Paradigma Solaranlage lesen

Support us

459Online

31.9kUsers

80.2kTopics

1.3mPosts

459
Online

31.9k
Users

80.2k
Topics

1.3m
Posts