Adapter - Parser (regEx)

ruhr70

Kannst Du den Quellcode der Webseite hier posten. Dann kann man Dir besser helfen :-)

pix

Hallo,

die Werte werden ja hübsch aufgelistet. Eigentlich musst du für jeden Wert eine neue Abfrage im Regexp Adapter machen.

Ein Skript im Javascript Adapter sollte das auch können. Hab gerade keine Zeit, aber für ein ähnliches Projekt nutze ich den Node htmlparser.

var htmlparser = require("htmlparser");

https://www.npmjs.com/package/htmlparser

Damit kann man dann die von HTML in JSON konvertierte Datei schön durcharbeiten.

Das macht vor allem dann Sinn, wenn die Ausgabe der Werte auf der HTML-Seite nicht immer in der gleichen Reihenfolge stattfindet.

Gruß

Pix

Qlink

~~@ruhr70:~~

Kannst Du den Quellcode der Webseite hier posten. Dann kann man Dir besser helfen :-) `

! ````
! <title>STIEBEL ELTRON Reglersteuerung</title>

!

**[DEUTSCH](?s=5,3)**

  [![Servicewelt](./pics/title.png)](. "zur Startseite") 

	[ ](. "zur Startseite")

!

      [START](?s=0)

      <a>INFO</a>

! * ANLAGE

! * WÄRMEPUMPE

! * LIZENZBESTIMMUNGEN

! * BEDIENUNG UND INSTALLATION

!

      <a>DIAGNOSE</a>

! * STATUS

! * BUSTEILNEHMER

! * EREIGNISLISTE

! * FACHMANN

!

      <a>PROGRAMME</a>

! * HEIZPROGRAMM

! * WARMWASSERPROGRAMM

! * LÜFTERPROGRAMM

! * PARTYPROGRAMM

! * FERIENPROGRAMM

! * KÜHLZEIT

! * TROCKENHEIZPROGRAMM

! * GRUNDEINSTELLUNG

!

      <a>EINSTELLUNGEN</a>

! * HEIZEN

! * WARMWASSER

! * LÜFTEN

! * KÜHLEN

! * SOLAR

! * SOMMERBETRIEB

! * ZEIT/DATUM

! * INBETRIEBNAHME

! * FACHMANN

!

      <a>PROFIL</a>

! * Netzwerk

! * Sicherheit

! * Anlagenbild

! * SPRACHE

!

    WÄRMEPUMPE

!
! <form id="werte" action="#" onsubmit="saveValues(this);return false;">

! | PROZESSWERTE |
! HEISSGASTEMPERATUR |
28,6 °C |

! HOCHDRUCK |
11,12 bar |

! NIEDERDRUCK |
11,10 bar |

! VERDAMPFERTEMP. |
27,7 °C |

! VERFLÜSSIGERTEMP. |
29,5 °C |

! FORTLUFT IST LÜFTERDREHZAHL |
0 Hz |

! FORTLUFT SOLL VOLUMENSTROM |
0 % |

! | WAERMEMENGEN |
! WM HEIZEN TAG |
0,227 kWh |

! WM HEIZEN SUMME |
63,075 MWh |

! WM WW TAG |
1,990 kWh |

! WM WW SUMME |
10,785 MWh |

! WM NE HEIZEN SUMME |
2,721 MWh |

! WM NE WW SUMME |
0,167 MWh |

! WM WRG TAG |
2,050 kWh |

! WM WRG SUMME |
12,038 MWh |

! WM SOLAR HZ TAG |
0,000 kWh |

! WM SOLAR HZ SUMME |
0,000 MWh |

! WM SOLAR WW TAG |
0,000 kWh |

! WM SOLAR WW SUMME |
0,000 MWh |

! WM KÜHLEN SUMME |
4,770 MWh |

! | LEISTUNGSAUFNAHME |
! P HEIZUNG TAG |
0,936 kWh |

! P HEIZUNG SUMME |
9,036 MWh |

! P WW TAG |
1,500 kWh |

! P WW SUMME |
2,108 MWh |

! | LAUFZEITEN |
! VERDICHTER HEIZEN |
5435 h |

! VERDICHTER KÜHLEN |
421 h |

! VERDICHTER WW |
909 h |

! ELEKTR. NE HEIZEN |
324 h |

! ELEKTR. NE WW |
16 h |

! </form>
!

			![](./pics/ste_footer_website.png)

!
Weitere Informationen zu unserem Produktprogramm und aktuelle Serviceangebote finden Sie unter www.stiebel-eltron.de

!

		  ![](./pics/footer_tel.png)

! Unsere Service-Hotline erreichen Sie unter
05531 702 90015

!

! Das Neueste rund um die Servicewelt
servicewelt

!

    		[Datenschutz](?s=1,2&arch=datenschutzerklaerung)

! v8.5.3
!

	© STIEBEL ELTRON 2016

! ````
das wäre der quellcode einer der Seiten die ich parsen möchte.

@pix: danke für den Tipp. Mir wäre es lieber, wenn ich bei iobroker Adapter bleibe um nicht irgendwann den Überblick zu verlieren und die Komplexität "etwas" im Rahmen halten zu können.

Beste Grüße

ruhr70

Heissgastemperatur:

HEISSGASTEMPERATUR.+\n.+>(\d+,\d+)

Niederdruck:

NIEDERDRUCK.+\n.+>(\d+,\d+)

Verdampfertemperatur:

VERDAMPFERTEMP.+\n.+>(\d+,\d+)

Verflüssigertemperatur:

VERFLÜSSIGERTEMP.+\n.+>(\d+,\d+)

usw.

Im Prinzip muss immer nur die Bezeichnung ausgetaucht werden: HEISSGASTEMPERATUR -> NIEDERDRUCK

Je benötigten Wert eine RegEx-Abfrage.

Qlink

Hi ruhr70,

vielen Dank für deine Hilfe.

Beim eingeben der Regeln funktioniert soweit noch alles.

Ich habe jetzt 4 Regeln angelegt zum Testen, aber sobald der parser adapter daraufhin neustartet kommt folgende FM im Log:

parser.0	2017-05-18 22:20:03.453	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-18 22:20:02.470	info	instance system.adapter.parser.0 started with pid 9488
host.SERVER	2017-05-18 22:20:00.017	info	instance system.adapter.parser.0 terminated with code null ()
host.SERVER	2017-05-18 22:20:00.017	warn	instance system.adapter.parser.0 terminated due to SIGTERM
host.SERVER	2017-05-18 22:19:59.954	info	stopInstance system.adapter.parser.0 killing pid 3284
host.SERVER	2017-05-18 22:19:59.954	info	stopInstance system.adapter.parser.0
host.SERVER	2017-05-18 22:19:59.954	info	object change system.adapter.parser.0
parser.0	2017-05-18 22:18:56.329	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-18 22:18:55.423	info	instance system.adapter.parser.0 started with pid 3284
host.SERVER	2017-05-18 22:18:25.360	info	Restart adapter system.adapter.parser.0 because enabled
host.SERVER	2017-05-18 22:18:25.360	error	instance system.adapter.parser.0 terminated with code 0 (OK)
parser.0	2017-05-18 22:18:24.813	error	at Timer.listOnTimeout (timers.js:92:15)
parser.0	2017-05-18 22:18:24.813	error	at ontimeout [as _onTimeout] (timers.js:209:34)
parser.0	2017-05-18 22:18:24.813	error	at _analyseDataForStates (C:\Program Files\ioBroker\node_modules\iobroker.parser\main.js:125:9)
parser.0	2017-05-18 22:18:24.813	error	at analyseData (C:\Program Files\ioBroker\node_modules\iobroker.parser\main.js:159:26)
parser.0	2017-05-18 22:18:24.813	error	TypeError: Cannot read property 'exec' of undefined
parser.0	2017-05-18 22:18:24.813	error	uncaught exception: Cannot read property 'exec' of undefined
sql.0	2017-05-18 22:18:23.470	info	enabled logging of parser.0.P_WW_Tag
parser.0	2017-05-18 22:18:22.735	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-18 22:18:21.688	info	instance system.adapter.parser.0 started with pid 15432
web.0	2017-05-18 22:18:18.704	info	2017-05-18T20:18:18.704Z Connected system.user.admin
sql.0	2017-05-18 22:18:17.423	info	No Data
sql.0	2017-05-18 22:18:12.486	info	enabled logging of parser.0.P_WW_Summe
web.0	2017-05-18 22:18:06.876	info	2017-05-18T20:18:06.876Z Connected system.user.admin
sql.0	2017-05-18 22:18:05.642	info	No Data
sql.0	2017-05-18 22:18:01.439	info	enabled logging of parser.0.P_Heizung_Tag
web.0	2017-05-18 22:17:56.673	info	2017-05-18T20:17:56.673Z Connected system.user.admin
sql.0	2017-05-18 22:17:55.251	info	No Data
host.SERVER	2017-05-18 22:17:51.689	info	Restart adapter system.adapter.parser.0 because enabled

und unter Objekte sehe ich zwar die Einträge, aber es erscheinen keine Werte…

ruhr70

Das der Adapter abstürzt sollte nicht sein, egal was man eingetragen hat.

Das müsste sich der Adapterentwickler mal ansehen.

Versuch mal bitte die Rolle auf "Wert" zu stellen und den Typ auf "String".

Funktioniert es dann?

Qlink

Wenn ich auf Wert und String umstelle erscheint folgendes im Log.

parser.0	2017-05-19 08:22:06.032	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-19 08:22:04.922	info	instance system.adapter.parser.0 started with pid 14420
host.SERVER	2017-05-19 08:22:02.454	info	instance system.adapter.parser.0 terminated with code null ()
host.SERVER	2017-05-19 08:22:02.454	warn	instance system.adapter.parser.0 terminated due to SIGTERM
host.SERVER	2017-05-19 08:22:02.407	info	stopInstance system.adapter.parser.0 killing pid 20696
host.SERVER	2017-05-19 08:22:02.407	info	stopInstance system.adapter.parser.0
host.SERVER	2017-05-19 08:22:02.391	info	object change system.adapter.parser.0
parser.0	2017-05-19 08:20:14.657	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-19 08:20:13.736	info	instance system.adapter.parser.0 started with pid 20696
host.SERVER	2017-05-19 08:20:11.283	info	instance system.adapter.parser.0 terminated with code null ()
host.SERVER	2017-05-19 08:20:11.283	warn	instance system.adapter.parser.0 terminated due to SIGTERM
host.SERVER	2017-05-19 08:20:11.205	info	stopInstance system.adapter.parser.0 killing pid 9488
host.SERVER	2017-05-19 08:20:11.205	info	stopInstance system.adapter.parser.0
host.SERVER	2017-05-19 08:20:11.205	info	object change system.adapter.parser.0
sql.0	2017-05-19 08:20:11.188	info	enabled logging of parser.0.P_Heizung_Summe
sql.0	2017-05-19 08:20:11.157	info	enabled logging of parser.0.P_Heizung_Tag
sql.0	2017-05-19 08:20:11.141	info	enabled logging of parser.0.P_WW_Tag
sql.0	2017-05-19 08:20:11.126	info	enabled logging of parser.0.P_WW_Summe

Werte tauchen unter Objekte aber leider ebenfalls nicht auf :(

ruhr70

~~@Qlink:~~

Wenn ich auf Wert und String umstelle erscheint folgendes im Log. `

Ich habe das mal nachgebaut… über einen Webserver verlangt er bei der Auswertung noch einen "Carriage Return". Das "Linefeed" alleine hatte da nicht ausgereicht.

Versuche mal bitte:

VERDAMPFERTEMP.+\r\n.+>(\d+,\d+)

Das \r ist dazugekommen.

So funktioniert es bei mir dann nicht nur über Online-Regex, sondern auch über einen Webserver:

Bluefox

Ich habe jetzt auf git die neue Version. Die sollte mehr Fehler abfangen und kann nicht nur ersten Element finden. Sondern z.B. dritte.

Qlink

Hi Ruhr70,

vielen Dank für deine Hilfe.

Jetzt klappts perfekt ! :)

30 Regeln anlegen dauert ein ganz schönes Weilchen.

Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen…

Beste Grüße

Bluefox

~~@Qlink:~~

Hi Ruhr70,

vielen Dank für deine Hilfe.

Jetzt klappts perfekt ! :)

30 Regeln anlegen dauert ein ganz schönes Weilchen.

Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen…

Beste Grüße `
Trello?

ruhr70

~~@Bluefox:~~

~~@Qlink:~~

Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen… Trello?

Ich habe das in Trello eingetragen.

Gürol

Hallo ruhr70,

Hallo Bluefox,

nachdem hier wieder etwas bewegung gibt…

...würde ich meine Frage von weiter oben wiederholen wollen.

http://forum.iobroker.net/viewtopic.php ... 855#p59212

Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen.

Dabei erwarte ich zwar keine konkrete Lösung, aber ich bräuchte etwas mehr als nur "das kann man mit JavaScript lösen".

(Sollte es hier wirklich der falsche Thread dafür sein, wo soll ich diese Frage lieber stellen?)

vielen Dank im voraus

Gürol

ruhr70

~~@Gürol:~~

http://forum.iobroker.net/viewtopic.php … 855#p59212

Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen.

Dabei erwarte ich zwar keine konkrete Lösung, aber ich bräuchte etwas mehr als nur "das kann man mit JavaScript lösen".

(Sollte es hier wirklich der falsche Thread dafür sein, wo soll ich diese Frage lieber stellen?) `

Mit dem Parser-Adapter kommst Du da nicht weiter. Javascript wäre dann schon die Lösung ;-)

Mein Vorschlag wäre, Du machst in der Kategorie "Skripte" einen neuen Thread auf, z.B.: "[Frage] Seite parsen mit Login" und schreibst ein paar Infos mehr zu Deinen Anforderungen. Wir können uns dann "rantasten" und schauen, ob es lösbar ist.

Hier gab es einen ähnlichen Fall:

http://forum.iobroker.net/viewtopic.php … 017#p61017

Vielleicht hilft Dir das ja.

ruhr70

Ich habe gerade gesehen, dass Du in diesem Thread schon eine Teilinfo eingestellt hattest.

Mach bitte trotzdem einen neuen Thread auf.

Du kannst aber das hier schon einmal versuchen:

! ````
! var timeout = 10000; // Wie lange soll auf eine Antwort gewartet werden?
! var url = "http://meine_url.de";
! //Wenn eine Anmeldung (Authentifizierung benötigt wird)
var username = 'xxx_der _Username';
var password = 'xxx_mein_passwort';
! // ##################################################################
! request = require('request');
! //basic-Authentifizierung
//var auth = 'Basic ' + new Buffer(username + ':' + password).toString('base64');
! //AUthentifizierung per Formular
var form = {
'email': username,
'password': password,
'rememberMe': true
};
! var options = {
url: url,
timeout: timeout,
method: 'POST',
// followRedirect:true,
! // formData: {
form: form,
'headers': {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1',
// 'Authorization': auth,
'Content-Type': 'application/x-www-form-urlencoded'
// "Upgrade-Insecure-Request": 1
}
};
! function requestUrl() {
try {
request(options, function (error, response, body) {
if(!response) {
log("ERROR: kein Response","warn");
return;
}
log("Status Code: " + response.statusCode);

        log(response && JSON.stringify(response.headers));
        if (!error && ('' + response.statusCode).match(/^2\d\d$/)) {        // kein Fehler (2xx), Inhalt in body
            log("Status Code: " + response && response.statusCode);
            log("Cookie: "+response.headers['set-cookie']); //returns cookie in correct format
            log("body: " +  body && body);
            var cookieJar = request.jar();

! log("cookieJar:" + JSON.stringify(cookieJar));
var cookie = response.headers['set-cookie'];
log("Cookie: " + cookie);
! } else { // Fehler bei der Abfrage der Webseite
! // EHOSTUNREACH, ETIMEDOUT
if (!error) {
log("interpretiere Statuscode: " + response.statusCode+ " zur Fehlereingrenzung","warn");
//
} else {
log("Und das auch noch? :-) ?","warn");
log("ERROR CODE: " + error && error.code + " ################","warn");
//
}
! }
});
} catch (error) {
log('Fehler (try) leseWebseite: ' + error, 'error');
}
}
! // main
// -----------------------------------------------------------------------------
! requestUrl();
! ````

ruhr70

~~@Gürol:~~

Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen. `

Hattest Du das Skript ausprobiert?

Gürol

~~@ruhr70:~~

Hattest Du das Skript ausprobiert? `
Halllo Ruhr70,

vielen Dank für den Script. Ich hatte in den letzten Tagen leider viel zu tun.

Da ich normalerweise nicht in JS programmiere, hätte es wenig Sinn gemacht zwischen Tür und Angel etwas zu versuchen.

Ich werde jedoch am morgigen Donnerstag genug Zeit haben mich lang und breit damit zu beschäftigen. Dann gibt es auch ein ausführliches Feedback.

Gruß

Gürol

Gürol

~~@ruhr70:~~

Hattest Du das Skript ausprobiert? `
Hallo Ruhr70,

ich hatte mir zwar gedacht, daß so etwas nicht einfach sein würde, aber es ist doch etwas komplizierter als ich dachte…

Diese Script, was du vorgeschlagen hast, scheint zu funktionieren. Das ist die gute Nachtricht.

Es liefert (bei der Web-Seite, den ich parsen will) jedoch den Statuscode 302. Das ist die schlechte Nachricht.

Statuscode 302 ist laut Wikipedia (https://de.wikipedia.org/wiki/HTTP-Statuscode) eine Weiterleitung.

Mir ist aber (noch) nicht gelungen diese Weiterleitung erfolgreich zu folgen.

Hier ist der Header, den ich bekomme:

{"date":"Thu, 25 May 2017 21:41:50 GMT","content-type":"text/html; charset=UTF-8","transfer-encoding":"chunked","connection":"close","set-cookie":["__cfduid=dfef8418c2d1528f97e83d467ecc5487e1495748510; expires=Fri, 25-May-18 21:41:50 GMT; path=/; domain=.abc.com; HttpOnly","PHPSESSID=e10cc82bee1f0bd55700b1a4f0389d23; path=/"],"x-powered-by":"PHP/5.6.29","expires":"Thu, 19 Nov 1981 08:52:00 GMT","cache-control":"no-store, no-cache, must-revalidate, post-check=0, pre-check=0","pragma":"no-cache","location":"/login?redirect=%2Fsearch%2Fabc","server":"cloudflare-nginx","cf-ray":"364ba9407f8e6409-FRA"}
````(Ich habe den Namen der Web-Seite unkenntlich gemacht.)

Gruß

Gürol

ruhr70

~~@Gürol:~~

Es liefert (bei der Web-Seite, den ich parsen will) jedoch den Statuscode 302. `

Im Skript gibt es folgende Zeile, die auskommentiert ist:

//  followRedirect:true,

Was passiert denn, wenn Du die "//" entfernst?

Gürol

~~@ruhr70:~~

Was passiert denn, wenn Du die "//" entfernst? `
Das war auch meine Hoffnung gewesen, aber es hat an dem Ergebnis nichts geändert.

Das macht auch Sinn, wenn man die Doku (https://www.npmjs.com/package/request#r … s-callback) liest. Defaultwert für followRedirect ist ohnehin "true". d.h. Es ändert sich nichts, wenn man es auskommentiert.

Ich habe es jetzt mit "followAllRedirects:true," versucht (dessen Defaultwert "false" ist).

Es wird zwar 200 und eine Body zurückgeliefert, es zeigt aber eine Seite, was nicht eingeloggt ist. :?

Gruß

Gürol

Community Forum

NEWS

Adapter - Parser (regEx)

Support us

738

32.4k

81.5k

1.3m