NEWS
Adapter - Parser (regEx)
-
Kannst Du den Quellcode der Webseite hier posten. Dann kann man Dir besser helfen :-) `
! ````
! <title>STIEBEL ELTRON Reglersteuerung</title>!
!
!
!
**[DEUTSCH](?s=5,3)** [](. "zur Startseite") [ ](. "zur Startseite")!
[START](?s=0) <a>INFO</a>! * ANLAGE
! * WÄRMEPUMPE
!
<a>DIAGNOSE</a>! * STATUS
! * BUSTEILNEHMER
! * EREIGNISLISTE
! * FACHMANN
!
<a>PROGRAMME</a>! * HEIZPROGRAMM
! * LÜFTERPROGRAMM
! * PARTYPROGRAMM
! * FERIENPROGRAMM
! * KÜHLZEIT
! * GRUNDEINSTELLUNG
!
<a>EINSTELLUNGEN</a>! * HEIZEN
! * WARMWASSER
! * LÜFTEN
! * KÜHLEN
! * SOLAR
! * SOMMERBETRIEB
! * ZEIT/DATUM
! * INBETRIEBNAHME
! * FACHMANN
!
<a>PROFIL</a>! * Netzwerk
! * Sicherheit
! * Anlagenbild
! * SPRACHE
!
WÄRMEPUMPE!
! <form id="werte" action="#" onsubmit="saveValues(this);return false;">! | PROZESSWERTE |
! HEISSGASTEMPERATUR |
28,6 °C |! HOCHDRUCK |
11,12 bar |! NIEDERDRUCK |
11,10 bar |! VERDAMPFERTEMP. |
27,7 °C |! VERFLÜSSIGERTEMP. |
29,5 °C |! FORTLUFT IST LÜFTERDREHZAHL |
0 Hz |! FORTLUFT SOLL VOLUMENSTROM |
0 % |! | WAERMEMENGEN |
! WM HEIZEN TAG |
0,227 kWh |! WM HEIZEN SUMME |
63,075 MWh |! WM WW TAG |
1,990 kWh |! WM WW SUMME |
10,785 MWh |! WM NE HEIZEN SUMME |
2,721 MWh |! WM NE WW SUMME |
0,167 MWh |! WM WRG TAG |
2,050 kWh |! WM WRG SUMME |
12,038 MWh |! WM SOLAR HZ TAG |
0,000 kWh |! WM SOLAR HZ SUMME |
0,000 MWh |! WM SOLAR WW TAG |
0,000 kWh |! WM SOLAR WW SUMME |
0,000 MWh |! WM KÜHLEN SUMME |
4,770 MWh |! | LEISTUNGSAUFNAHME |
! P HEIZUNG TAG |
0,936 kWh |! P HEIZUNG SUMME |
9,036 MWh |! P WW TAG |
1,500 kWh |! P WW SUMME |
2,108 MWh |! | LAUFZEITEN |
! VERDICHTER HEIZEN |
5435 h |! VERDICHTER KÜHLEN |
421 h |! VERDICHTER WW |
909 h |! ELEKTR. NE HEIZEN |
324 h |! ELEKTR. NE WW |
16 h |! </form>
!!
Weitere Informationen zu unserem Produktprogramm und aktuelle Serviceangebote finden Sie unter www.stiebel-eltron.de!
! Unsere Service-Hotline erreichen Sie unter
05531 702 90015!
! Das Neueste rund um die Servicewelt
servicewelt!
[Datenschutz](?s=1,2&arch=datenschutzerklaerung)! v8.5.3
!© STIEBEL ELTRON 2016! ````
das wäre der quellcode einer der Seiten die ich parsen möchte.@pix: danke für den Tipp. Mir wäre es lieber, wenn ich bei iobroker Adapter bleibe um nicht irgendwann den Überblick zu verlieren und die Komplexität "etwas" im Rahmen halten zu können.
Beste Grüße
-
Heissgastemperatur:
HEISSGASTEMPERATUR.+\n.+>(\d+,\d+)Niederdruck:
NIEDERDRUCK.+\n.+>(\d+,\d+)Verdampfertemperatur:
VERDAMPFERTEMP.+\n.+>(\d+,\d+)Verflüssigertemperatur:
VERFLÜSSIGERTEMP.+\n.+>(\d+,\d+)usw.
Im Prinzip muss immer nur die Bezeichnung ausgetaucht werden: HEISSGASTEMPERATUR -> NIEDERDRUCK
Je benötigten Wert eine RegEx-Abfrage.
-
Hi ruhr70,
vielen Dank für deine Hilfe.
Beim eingeben der Regeln funktioniert soweit noch alles.
Ich habe jetzt 4 Regeln angelegt zum Testen, aber sobald der parser adapter daraufhin neustartet kommt folgende FM im Log:
parser.0 2017-05-18 22:20:03.453 info starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0 host.SERVER 2017-05-18 22:20:02.470 info instance system.adapter.parser.0 started with pid 9488 host.SERVER 2017-05-18 22:20:00.017 info instance system.adapter.parser.0 terminated with code null () host.SERVER 2017-05-18 22:20:00.017 warn instance system.adapter.parser.0 terminated due to SIGTERM host.SERVER 2017-05-18 22:19:59.954 info stopInstance system.adapter.parser.0 killing pid 3284 host.SERVER 2017-05-18 22:19:59.954 info stopInstance system.adapter.parser.0 host.SERVER 2017-05-18 22:19:59.954 info object change system.adapter.parser.0 parser.0 2017-05-18 22:18:56.329 info starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0 host.SERVER 2017-05-18 22:18:55.423 info instance system.adapter.parser.0 started with pid 3284 host.SERVER 2017-05-18 22:18:25.360 info Restart adapter system.adapter.parser.0 because enabled host.SERVER 2017-05-18 22:18:25.360 error instance system.adapter.parser.0 terminated with code 0 (OK) parser.0 2017-05-18 22:18:24.813 error at Timer.listOnTimeout (timers.js:92:15) parser.0 2017-05-18 22:18:24.813 error at ontimeout [as _onTimeout] (timers.js:209:34) parser.0 2017-05-18 22:18:24.813 error at _analyseDataForStates (C:\Program Files\ioBroker\node_modules\iobroker.parser\main.js:125:9) parser.0 2017-05-18 22:18:24.813 error at analyseData (C:\Program Files\ioBroker\node_modules\iobroker.parser\main.js:159:26) parser.0 2017-05-18 22:18:24.813 error TypeError: Cannot read property 'exec' of undefined parser.0 2017-05-18 22:18:24.813 error uncaught exception: Cannot read property 'exec' of undefined sql.0 2017-05-18 22:18:23.470 info enabled logging of parser.0.P_WW_Tag parser.0 2017-05-18 22:18:22.735 info starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0 host.SERVER 2017-05-18 22:18:21.688 info instance system.adapter.parser.0 started with pid 15432 web.0 2017-05-18 22:18:18.704 info 2017-05-18T20:18:18.704Z Connected system.user.admin sql.0 2017-05-18 22:18:17.423 info No Data sql.0 2017-05-18 22:18:12.486 info enabled logging of parser.0.P_WW_Summe web.0 2017-05-18 22:18:06.876 info 2017-05-18T20:18:06.876Z Connected system.user.admin sql.0 2017-05-18 22:18:05.642 info No Data sql.0 2017-05-18 22:18:01.439 info enabled logging of parser.0.P_Heizung_Tag web.0 2017-05-18 22:17:56.673 info 2017-05-18T20:17:56.673Z Connected system.user.admin sql.0 2017-05-18 22:17:55.251 info No Data host.SERVER 2017-05-18 22:17:51.689 info Restart adapter system.adapter.parser.0 because enabledund unter Objekte sehe ich zwar die Einträge, aber es erscheinen keine Werte…
-
Wenn ich auf Wert und String umstelle erscheint folgendes im Log.
parser.0 2017-05-19 08:22:06.032 info starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0 host.SERVER 2017-05-19 08:22:04.922 info instance system.adapter.parser.0 started with pid 14420 host.SERVER 2017-05-19 08:22:02.454 info instance system.adapter.parser.0 terminated with code null () host.SERVER 2017-05-19 08:22:02.454 warn instance system.adapter.parser.0 terminated due to SIGTERM host.SERVER 2017-05-19 08:22:02.407 info stopInstance system.adapter.parser.0 killing pid 20696 host.SERVER 2017-05-19 08:22:02.407 info stopInstance system.adapter.parser.0 host.SERVER 2017-05-19 08:22:02.391 info object change system.adapter.parser.0 parser.0 2017-05-19 08:20:14.657 info starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0 host.SERVER 2017-05-19 08:20:13.736 info instance system.adapter.parser.0 started with pid 20696 host.SERVER 2017-05-19 08:20:11.283 info instance system.adapter.parser.0 terminated with code null () host.SERVER 2017-05-19 08:20:11.283 warn instance system.adapter.parser.0 terminated due to SIGTERM host.SERVER 2017-05-19 08:20:11.205 info stopInstance system.adapter.parser.0 killing pid 9488 host.SERVER 2017-05-19 08:20:11.205 info stopInstance system.adapter.parser.0 host.SERVER 2017-05-19 08:20:11.205 info object change system.adapter.parser.0 sql.0 2017-05-19 08:20:11.188 info enabled logging of parser.0.P_Heizung_Summe sql.0 2017-05-19 08:20:11.157 info enabled logging of parser.0.P_Heizung_Tag sql.0 2017-05-19 08:20:11.141 info enabled logging of parser.0.P_WW_Tag sql.0 2017-05-19 08:20:11.126 info enabled logging of parser.0.P_WW_SummeWerte tauchen unter Objekte aber leider ebenfalls nicht auf :(
-
Wenn ich auf Wert und String umstelle erscheint folgendes im Log. `
Ich habe das mal nachgebaut… über einen Webserver verlangt er bei der Auswertung noch einen "Carriage Return". Das "Linefeed" alleine hatte da nicht ausgereicht.
Versuche mal bitte:
VERDAMPFERTEMP.+\r\n.+>(\d+,\d+)Das \r ist dazugekommen.
So funktioniert es bei mir dann nicht nur über Online-Regex, sondern auch über einen Webserver:
-
-
Hi Ruhr70,
vielen Dank für deine Hilfe.
Jetzt klappts perfekt ! :)
30 Regeln anlegen dauert ein ganz schönes Weilchen.
Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen…
Beste Grüße `
Trello? -
Hallo ruhr70,
Hallo Bluefox,
nachdem hier wieder etwas bewegung gibt…
...würde ich meine Frage von weiter oben wiederholen wollen.
http://forum.iobroker.net/viewtopic.php ... 855#p59212
Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen.
Dabei erwarte ich zwar keine konkrete Lösung, aber ich bräuchte etwas mehr als nur "das kann man mit JavaScript lösen".
(Sollte es hier wirklich der falsche Thread dafür sein, wo soll ich diese Frage lieber stellen?)
vielen Dank im voraus
Gürol
-
http://forum.iobroker.net/viewtopic.php … 855#p59212
Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen.
Dabei erwarte ich zwar keine konkrete Lösung, aber ich bräuchte etwas mehr als nur "das kann man mit JavaScript lösen".
(Sollte es hier wirklich der falsche Thread dafür sein, wo soll ich diese Frage lieber stellen?) `
Mit dem Parser-Adapter kommst Du da nicht weiter. Javascript wäre dann schon die Lösung ;-)
Mein Vorschlag wäre, Du machst in der Kategorie "Skripte" einen neuen Thread auf, z.B.: "[Frage] Seite parsen mit Login" und schreibst ein paar Infos mehr zu Deinen Anforderungen. Wir können uns dann "rantasten" und schauen, ob es lösbar ist.
Hier gab es einen ähnlichen Fall:
http://forum.iobroker.net/viewtopic.php … 017#p61017
Vielleicht hilft Dir das ja.
-
Ich habe gerade gesehen, dass Du in diesem Thread schon eine Teilinfo eingestellt hattest.
Mach bitte trotzdem einen neuen Thread auf.
Du kannst aber das hier schon einmal versuchen:
! ````
! var timeout = 10000; // Wie lange soll auf eine Antwort gewartet werden?
! var url = "http://meine_url.de";
! //Wenn eine Anmeldung (Authentifizierung benötigt wird)
var username = 'xxx_der _Username';
var password = 'xxx_mein_passwort';
! // ##################################################################
! request = require('request');
! //basic-Authentifizierung
//var auth = 'Basic ' + new Buffer(username + ':' + password).toString('base64');
! //AUthentifizierung per Formular
var form = {
'email': username,
'password': password,
'rememberMe': true
};
! var options = {
url: url,
timeout: timeout,
method: 'POST',
// followRedirect:true,
! // formData: {
form: form,
'headers': {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1',
// 'Authorization': auth,
'Content-Type': 'application/x-www-form-urlencoded'
// "Upgrade-Insecure-Request": 1
}
};
! function requestUrl() {
try {
request(options, function (error, response, body) {
if(!response) {
log("ERROR: kein Response","warn");
return;
}
log("Status Code: " + response.statusCode);log(response && JSON.stringify(response.headers)); if (!error && ('' + response.statusCode).match(/^2\d\d$/)) { // kein Fehler (2xx), Inhalt in body log("Status Code: " + response && response.statusCode); log("Cookie: "+response.headers['set-cookie']); //returns cookie in correct format log("body: " + body && body); var cookieJar = request.jar();! log("cookieJar:" + JSON.stringify(cookieJar));
var cookie = response.headers['set-cookie'];
log("Cookie: " + cookie);
! } else { // Fehler bei der Abfrage der Webseite
! // EHOSTUNREACH, ETIMEDOUT
if (!error) {
log("interpretiere Statuscode: " + response.statusCode+ " zur Fehlereingrenzung","warn");
//
} else {
log("Und das auch noch? :-) ?","warn");
log("ERROR CODE: " + error && error.code + " ################","warn");
//
}
! }
});
} catch (error) {
log('Fehler (try) leseWebseite: ' + error, 'error');
}
}
! // main
// -----------------------------------------------------------------------------
! requestUrl();
! ```` -
Hattest Du das Skript ausprobiert? `
Halllo Ruhr70,vielen Dank für den Script. Ich hatte in den letzten Tagen leider viel zu tun.
Da ich normalerweise nicht in JS programmiere, hätte es wenig Sinn gemacht zwischen Tür und Angel etwas zu versuchen.
Ich werde jedoch am morgigen Donnerstag genug Zeit haben mich lang und breit damit zu beschäftigen. Dann gibt es auch ein ausführliches Feedback.
Gruß
Gürol
-
Hattest Du das Skript ausprobiert? `
Hallo Ruhr70,ich hatte mir zwar gedacht, daß so etwas nicht einfach sein würde, aber es ist doch etwas komplizierter als ich dachte…
Diese Script, was du vorgeschlagen hast, scheint zu funktionieren. Das ist die gute Nachtricht.
Es liefert (bei der Web-Seite, den ich parsen will) jedoch den Statuscode 302. Das ist die schlechte Nachricht.
Statuscode 302 ist laut Wikipedia (https://de.wikipedia.org/wiki/HTTP-Statuscode) eine Weiterleitung.
Mir ist aber (noch) nicht gelungen diese Weiterleitung erfolgreich zu folgen.
Hier ist der Header, den ich bekomme:
{"date":"Thu, 25 May 2017 21:41:50 GMT","content-type":"text/html; charset=UTF-8","transfer-encoding":"chunked","connection":"close","set-cookie":["__cfduid=dfef8418c2d1528f97e83d467ecc5487e1495748510; expires=Fri, 25-May-18 21:41:50 GMT; path=/; domain=.abc.com; HttpOnly","PHPSESSID=e10cc82bee1f0bd55700b1a4f0389d23; path=/"],"x-powered-by":"PHP/5.6.29","expires":"Thu, 19 Nov 1981 08:52:00 GMT","cache-control":"no-store, no-cache, must-revalidate, post-check=0, pre-check=0","pragma":"no-cache","location":"/login?redirect=%2Fsearch%2Fabc","server":"cloudflare-nginx","cf-ray":"364ba9407f8e6409-FRA"} ````(Ich habe den Namen der Web-Seite unkenntlich gemacht.) Gruß Gürol -
Was passiert denn, wenn Du die "//" entfernst? `
Das war auch meine Hoffnung gewesen, aber es hat an dem Ergebnis nichts geändert.Das macht auch Sinn, wenn man die Doku (https://www.npmjs.com/package/request#r … s-callback) liest. Defaultwert für followRedirect ist ohnehin "true". d.h. Es ändert sich nichts, wenn man es auskommentiert.
Ich habe es jetzt mit "followAllRedirects:true," versucht (dessen Defaultwert "false" ist).
Es wird zwar 200 und eine Body zurückgeliefert, es zeigt aber eine Seite, was nicht eingeloggt ist. :?
Gruß
Gürol
-
Wann erfolgt denn der Redirect?
Bevor Du Dich anmeldest oder nach der Anmeldung?
Funktioniert Deiner Meinung nach die Anmeldung per Formular?
Mit Chrome kannst Du Dir mal den "normalen" Weg über die Webseite ansehen.
Über die drei Punkte rechts -> weitere Tools -> Entwicklertools
Und dann dort den Reiter -> Network
Dann auf Deine Anmeldeseite und Du kannst dann nach verfolgen, wie der Ablauf über den Browser ist.
In dem Moment, wo Du auf "anmelden" klickst, müsste auf einer Seite das POST mit der 302 bekommen. Dort sollten die Daten für die Anmeldung (FORM) ersichtlich sein. Schwierig per Ferndiagnose ;-) aber vielleicht kommen wir mit den Infos schon einmal einen Schritt weiter (Anmeldung erfolgt ja/nein, wie geht es weiter, …). Ich habe eine Seite, bei der es ähnlich läuft (Anmeldung per Formular, danach Redirect per 302). Ich werde mich erst morgen am Rechner setzen können, um es da selbst zu probieren. Wir können uns ja bis dahin so etwas rantasten.
-
Mit Chrome kannst Du Dir mal den "normalen" Weg über die Webseite ansehen.
Über die drei Punkte rechts -> weitere Tools -> Entwicklertools
Und dann dort den Reiter -> Network
Dann auf Deine Anmeldeseite und Du kannst dann nach verfolgen, wie der Ablauf über den Browser ist.
In dem Moment, wo Du auf "anmelden" klickst, müsste auf einer Seite das POST mit der 302 bekommen. Dort sollten die Daten für die Anmeldung (FORM) ersichtlich sein. `
Hallo ruhr70,danke für den Tipp!
Hier eine kurze Zusammenfassung, was ich in der Zwischenzeit gemacht habe.
1.) Gestern hätte ich beinah den passenden Eintrag bei "Chrome->weitere Tools->Entwicklertools->Network" nicht gefunden.
Es heisst bei mir "login" und war am einfachsten unter "Network->Other" zu finden.
2.) Ich habe gesehen, daß im Formular einiges mehr übertragen wird, als ich zuvor eingetragen hatte. Ich war hoffnungsvoll, aber es hat nicht funktioniert. :cry: Ich beschloß eine Nacht darüber zu schlafen.
3.) Heute habe ich mir die Headerinfo näher angeschaut. Ich habe zwei Zeilen von der Debuginfo (die mir erfolgsversprechend erschienen) zu 'User-Agent' und 'Content-Type' hinzugefügt und siehe da: Es tut immer noch nicht. :cry: Eigentlich wollte ich aufgeben, aber wenn man so lange mit etwas herum macht, dann will man eigentlich auch voran kommen. So fügte ich zwei weitere Zeilen von Chrome-Debuginfo und dann hat es (kaum zu glauben) tatsächlich funktioniert und ich bekam das zurück geliefert, was ich haben wollte.
4.) Nun ging es darum heraus zu finden, auf welche Zeilen es (in diesem Fall?) wirklich ankam.
Benötigt wird:
a.) Ein "hidden" Formularfeld, das ich bis gestern Abend noch nicht drin hatte.
b.) "followAllRedirects:true," ohne die keine automatische Weiterleitung nach 302 stattfindet.
c.) 'cookie' Zeile aus dem Header in Chrome-Debuginfo.
Das bisher erreichte eine Lösung zu nennen ist wohl etwas verfrüht, weil ich mich vor allem frage ob diese cookie-Infos so ewig drin bleiben können oder alle 30 Tage (oder so) aktualisiert werden müssen.
Das andere Problem ist, wie ich das Ergebnis parsen kann.
@ruhr70: Gibt es in JS (oder node.js) etwas passendes, damit ich in diesem über 300 KB großen String nach irgend etwas suchen kann?
@Bluefox: Gäbe es eine Möglichkeit den selbst abgeholten HTML-String quasi nachträglich in den Parser-Modul zu füttern?
Gruß
Gürol
Support us
825
Online32.4k
Benutzer81.5k
Themen1.3m
Beiträge