Adapter - Parser (regEx)

sveni_lee

Sollte eigentlich wirklich langsam in einen eigenen Thread…

Pix `

okay… eventuell kann ein Mod die Beitäge splitten und in einen neuen Tread verschieben

bevor es weiter geht...

nobse

Hallo

ist es möglich den Parser so zu erweitern das wenn die eingetragene URL oder Dateiname nicht erreichbar ist keine Aktion ausgeführt wird.

Ich bekomme Fehler im Log wenn die URL nicht erreichbar ist.

Gruß Norbert

apollon77

Was genau meinst Du?

Siehe Adapter-Doku: Wenn nicht erreichbar kannst Du nen Speziellen Wert definieren und über das "quality-Flag" (sate.q" im JavaScript) kannst du auch rausfinden das der Wert der Fallbackwert ist. Damit kannst Du es prüfen in einem Skript oder so

nobse

Hallo

ich bekomme im Log folgende Fehlermeldung

parser.0 2017-07-11 12:25:16.784 error Cannot read link "http://xxx.xxx.xxx.xxx/general/informat … ?kind=item": Error: connect ETIMEDOUT xxx.xxx.xxx.xxx:80

und das ganze 16 mal bei 4 Einträgen im Parser Adapter.

Wie bekomme ich das weg wenn die URL nicht erreichbar ist.

BBTown

Ich hab den Parser-Adapter spaßeshalber auch mal ausprobiert.

Wenn man erst einmal die benötigte regEx gefunden hat, dann ist das wirklich ein schöner, weiterer Adapter! :)

Was mir allerdings aufgefallen ist:

Der Adapter ist ein echter Speicherfresser!

Ich habe lediglich eine kleine Abfrage drinnen (siehe Screenshots).

Nach einem Neustart beginnt der Adapter mit einem Speicherbedarf von rund 28MB und schaukelt sich dann recht zügig auf mehr als 60MB hoch.

Wenn man das noch optimieren könnte, dann wäre das sehr hilfreich 8-)

Nachtrag: Version 1.0.0 in /opt/iobroker/node_modules/iobroker.parser, node: v6.11.1
1917_parser__.jpg
1917_parser_2.jpg
1917_parser_3.jpg
1917_parser_4.jpg

fruehwi

Hallo zusammen,

ich bräuchte bitte bisschen Hilfe beim Parser:

Ich habe mir noch einen zweiten Luftdaten-Sensor gebaut der in der Wohnung verbaut ist. (Kachelofen Überwachung) Dieser soll nicht die Daten an den Luftdaten.info Server senden.

Daher möchte ich die Daten per Parser auslesen (IP-Sensor/values).

Code:

<title>Aktuelle Werte</title>   [![](/images?name=luftdaten_logo)](/)   

### Feinstaubsensor

   ID: 2221799
MAC: A0:20:A6:21:E6:XX
Firmware: NRZ-2017-092

#### Übersicht » Aktuelle Werte

| Sensor | Parameter | Wert |
|   |
| SDS011 | PM2.5 | 6.6 µg/m³ |
| SDS011 | PM10 | 14.6 µg/m³ |
|   |
| DHT22 | Temperatur | 22.0 °C |
| DHT22 | rel. Luftfeuchte | 59.0 % |
|   |
| WiFi | Signal | -62 dBm |
| WiFi | Qualität | 76 % |

[Zurück zur Startseite](/)

[![](/images?name=cfg_logo)](http://codefor.de/)

Laut https://regex101.com/habe ich die Kombinationen gefunden

PM2.5````
(?:PM2[^])(?=[^] class='r'>)([0-9.]{1,9})


PM10

(?:PM10[^])(?=[^] class='r'>)([0-9.]{1,9})


Temperatur

(?:Temper[^])(?=[^] class='r'>)([0-9.]{1,9})


Luftfreuchte

(?:rel[^])(?=[^] class='r'>)([0-9.]{1,9})


Hoffe das mir jemand helfen kann.

Danke im voraus.

Viele Grüße,

Fruehwi

pix

Hallo,

würde für die Partikel mal das probieren https://regex101.com/r/jilwpl/1:

PM2.5

(?:PM2.5<\/td>)(\d+.\d)/g

PM10

(?:PM10<\/td>)(\d+.\d)/g

Temperatur:

(?:Temperatur<\/td>)(\d+.\d)/g

Luftfeuchte:

(?:Luftfeuchte<\/td>)(\d+.\d)/g

Qualität:

(?:Qualität<\/td>)(\d+)/g

Gruß

Pix

fruehwi

Hallo Pix,

Wenn man die /g am Ende weg lässt funktioniert es.

Vielen Danke!

Viele Grüße,

Fruehwi

BBTown

~~@BBTown:~~

Was mir allerdings aufgefallen ist: Der Adapter ist ein echter Speicherfresser! `
hmmm … was auch immer sich geändert haben mag, ich kann den Vorwurf des Speicherfressens nicht weiter aufrecht halten.

Bei mir hat sich der Speicherbedarf nun um die 30 - 32 MB eingependelt.
1917_parser_speicherbedarf.jpg

Homoran

Hallo zusammen,

besteht beim parser auch die Möglichkeit eine Website bei der credentials zum einloggen notwendig sind auszulesen?

bei mir geht es um das Webinterface meines Wechselrichters.

Teile laufen davon noch über bash-script mit einem wget-Aufruf:

wget $COMMONWGETARGS --http-user=UserName --http-password=PassWort "http://192.168.xxx.yyy/index.fhtml" | sed -e "s/nbsp/nbsp;/g" | sed -e "s/nbsp;;/nbsp;/g" | sed -e "s/\ //g" | html2text | tr -s " \t\r\n" | sed -e "s/^ //" | sed -e "s/x x x/0/g" >/tmp/power-inverter1.values

Keine Angst, das habe ich nicht ersonnen, sondern "ausgeliehen".

Gruß

Rainer

Homoran

Habe es mittlerweile anscheinend hinbekommen, zumindest lief es auf einmal mit http://UserName:PassWort@IP.

Dann hatte ich sogar das regex (teilweise) mit viel try and noch mehr Error hinbekommen.

Dabei kam dann nur "Einspeisen" heraus. Das war mir erst einmal egal, bis mir der Gedanke kam, dass ja wer weiß was für Meldungen kommen könnten, die ggf. auch aus noch mehr Worten bestehen könnten. Also habe ich den Regex geändert. Seit dem kommt gar nichts mehr so richtig.

Im Objekt steht immer nur null

Ob das jetzt am RegEx liegt oder wo anders dran weiß ich nicht wirklich. Auch der Versuch das ursprüngliche RegEx zu nehmen führt jetzt zu dem Fehler. Der Timestamp ändert sich auch bei einem Restart nicht mehr.

Und so sieht es in der Adapterkonfig aus:

Hülfää büdde!

Gruß

Rainer

Homoran

Auch das habe ich jetzt hinbekommen, ich musste noch das \n aus dem RegEx nehmen (fiel mir beim x-ten drübersehen auf, dass das zu Anfang auch nicht drin war)

Gruß

Rainer

Homoran

Leider muss ich mich nochmal melden.

Mit der ganzen Aktion wollte ich den Status meines Wechselrichters loggen, weil es anscheinend zu Störungen kam. Dies war heute morgen wieder der Fall, da stand dann in dem Datenpunkt nur "St" :shock:

In der WebUI stand dann wo hier Einspeisen MPP steht Störung Isolationsfehler.

Dies wollte ich loggen.

Aber auch dort steht nur "St" und sonst nichts.

Ich nehme an, dass der Umlaut ö das Problem erzeugt.

Leider habe ich von dem Zeitpunkt keinen Seitenquelltext, sondern nur von gerade eben:

! ````
! <title>PV Webserver</title>
! <form method="post" action="">
! | |
! | |

PIKO 5.5

! Helios (255)
|
|
! |

! * * *
! |
! | |
! |

AC-Leistung |
|

Energie |

! | |
! |

aktuell |

1278 |
W |

Gesamtenergie |

27319 |
kWh |
|

! | |
! |

|

|
|

Tagesenergie |

13.98 |
kWh |
|

! | |
! |

Status |

Einspeisen MPP |
|

! | |
! |
! |

! * * *
! |
! | |
! |
! |

PV-Generator |
|

Ausgangsleistung |
|
|

! | |
! |

String 1 |
|
|

L1 |
|
|
|

! |

Spannung |

324 |
V |

Spannung |

230 |
V |
|

! | |
! |

Strom |

1.97 |
A |

Leistung |

428 |
W |
|

! | |
! |

String 2 |
|
|

L2 |
|
|
|

! |

Spannung |

347 |
V |

Spannung |

230 |
V |
|

! | |
! |

Strom |

2.14 |
A |

Leistung |

427 |
W |
|

! | |
! |

String 3 |
|
|

L3 |
|
|
|

! |

Spannung |

0 |

V |

Spannung |

224 |
V |
|

! | |
! |

Strom |

0.00 |

A |

Leistung |

423 |
W |
|

! | |
! |
! | |

! * * *
! |
! | |
! |
! | |
RS485 Kommunikation |
! | |
! | |
Wechselrichter |
| |
! * * *
! | |
! | |

Historie

Infoseite |

Einstellungen

! </form>
! ````

im Parser Adapter lese ich den Status aus mit

((?:\s+\w+)+)

Das klappte mit den Standard zuständen beim online regex-tester problemlos.

EDIT: Habe gerade bei regex101.com manuell "Einspeiden MPP" gegen "Störung Isolationsfehler" ausgetauscht, da ergibt der RegEx auch nur "St"

Kann mir da bitte noch einmal jemand unter die Arme greifen?

EDIT2: Nach einigem googeln klappt es jetzt hoffentlich mit

(?:\s+([a-zA-Z äöüÄÖÜ]+))

Gruß

Rainer

pix

Hallo Rainer,

sieht doch gut aus. Nimm das

ß
````auch gleich noch mit rein.

Gibt es kein Doku vom Piko 5.5, welche alle Stati auflistet? Dann kannst du darauf gezielt Alarme triggern.

Gruß,

Pix

Homoran

Hallo pix,

beides gute Ideen!

das ß werde ich noch mit reinnehmen und wegen der Fehlermeldungen werde ich den Solarteur fragen, der am Montag kommt.

Gruß

Rainer

Kunibert

Hallo zusammen,

ich hoffe, die Frage ist nicht zu trivial. Ich parse ebenfalls die Seite meiner Stiebel-Eltron-Wärmepumpe aber komme bei einem Wert nicht weiter.

Ich frage mit dieser Zeile die Webseite ab:

SOLLTEMPERATUR.*\n.+>(\d+,\d+)

Das Problem: Im Quelltext gibt es folgende Variablen in dieser Reihenfolge. Zuerst:


    SOLLTEMPERATUR HK 1
    22,2 °C

Und dann:


    SOLLTEMPERATUR
    40,0 °C

Ich möchte eigentlich die SOLLTEMPERATUR ausgegeben bekommen, bekomme aber immer den Wert SOLLTEMPERATUR HK 1 angezeigt. Hat jemand eine Idee, wie ich nur das Feld SOLLTEMPERATUR auslese und er ähnliche Treffer, die am Ende aber anders heißen, ignoriert?

Danke und viele Grüße

Homoran

Poste mal den ganzen Quelltext.

Hast du dir schon mal http://www.regex101.com angesehen?

Gruß

Rainer

Kunibert

~~@Homoran:~~

Poste mal den ganzen Quelltext. `


	<title>STIEBEL ELTRON Reglersteuerung</title>

    **[DEUTSCH](?s=5,3)**

      [![Servicewelt](./pics/title.png)](. "zur Startseite") 

		[ ](. "zur Startseite")

          [START](?s=0)

          <a>INFO</a>

*   [ANLAGE](?s=1,0)

*   [WÄRMEPUMPE](?s=1,1)

*   [LIZENZBESTIMMUNGEN](?s=1,2)

*   [BEDIENUNG UND INSTALLATION](?s=1,3)

          <a>DIAGNOSE</a>

*   [ANLAGE](?s=2,0)

*   [SYSTEM](?s=2,2)

*   [EREIGNISLISTE](?s=2,4)

          <a>PROGRAMME</a>

*   [HEIZPROGRAMM](?s=3,0)

*   [WARMWASSERPROGRAMM](?s=3,1)

*   [SILENTPROGRAMM](?s=3,2)

*   [PARTYPROGRAMM](?s=3,3)

*   [FERIENPROGRAMM](?s=3,4)

          <a>EINSTELLUNGEN</a>

*   [HEIZEN](?s=4,0)

*   [WARMWASSER](?s=4,1)

*   [ZEIT/DATUM](?s=4,5)

*   [RESET](?s=4,6)

          <a>PROFIL</a>

*   [Netzwerk](?s=5,0)

*   [Sicherheit](?s=5,1)

*   [Anlagenbild](?s=5,2)

*   [SPRACHE](?s=5,3)

        ANLAGE

<form id="werte" action="#" onsubmit="saveValues(this);return false;">

| HEIZUNG |  

     AUSSENTEMPERATUR |
     12,0 °C |

     ISTTEMPERATUR HK 1 |
     23,1 °C |

     SOLLTEMPERATUR HK 1 |
     21,0 °C |

     RÜCKLAUFISTTEMPERATUR |
     23,1 °C |

     ANLAGENFROST |
     4,0 °C |

| WARMWASSER |  

     ISTTEMPERATUR |
     38,3 °C |

     SOLLTEMPERATUR |
     30,5 °C |

      </form>

				![](./pics/ste_footer_website.png)

          					Weitere Informationen zu unserem Produktprogramm und aktuelle Serviceangebote finden Sie unter					[www.stiebel-eltron.de](http://www.stiebel-eltron.de)

			  ![](./pics/footer_tel.png)

					Unsere Service-Hotline erreichen Sie unter
05531 702 90015

				Das Neueste rund um die Servicewelt				
[servicewelt](http://www.stiebel-eltron.de/erneuerbare-energien/kundenservice/servicewelt/isg/)

        		[Datenschutz](?s=1,2&arch=datenschutzerklaerung)

v8.5.6

  		© STIEBEL ELTRON 2016

> Hast du dir schon mal [http://www.regex101.com](http://www.regex101.com) angesehen?
Ja, da bekomme ich das folgende Ergebnis:

Hm, hast du eine Idee?

Homoran

~~@Kunibert:~~

Hm, hast du eine Idee? `
Darf es auch eine lösung sein ;-)

Nimm das als Regex

SOLLTEMPERATUR<\/td>\n\s+(\d+,\d)

Gruß

Rainer

Kunibert

Tausend Dank Rainer, funktioniert!!

:)

LG und einen schönen Abend

Community Forum

NEWS

Adapter - Parser (regEx)

Support us

505

32.5k

81.7k

1.3m