Adapter - Parser (regEx)

bahnuhr

Guten Morgen,

nochmal ne Verständnisfrage für mich.

Ich habe 6 Num eingerichtet.

Auf der Webseite stehen 2 Blitzer.

Bei den Objekten stehen nun die 2 Blitzer drin.

Aber bei den anderen 4 stehen weiterhin die alten drin.

Müsste nicht dort gar nichts stehen.

Frage:

Warum werden die alten Objekte nicht geleert ?

oder anders:

Warum stehen dort immer noch die alten drin.

mfg

Homoran

Hallo Dieter,

Datenpunkte behalten so lange ihren Wert, bis der überschrieben wird.

Das gilt für ALLE Datenpunkte.

Sieh mal nach wann wie der Timestamp der "alten" States steht.

ggf. muss man ein Script machen, dass den Wert zurücksetzt, wenn sich der last_change nicht mit den anderen ändert.

Gruß

Rainer

PS ich galueb die 0 kannst du weglassen, da steht nur Blödsinn drin

bahnuhr

So, ich habe nun lange damit rumprobiert.

Nun sind 10 blitzer Objekte angelegt.

Und den update habe ich auf 900000 (alle 15 Min.) gesetzt.

Nach einiger Zeit werden (wie bei 10 Sek. Intervall) vermischt.

Die Einträge kommen doppelt und/oder gar nicht (wie oben schon mal beschrieben).

FAzit für mich:

entweder stimmt am Adapter Parser etwas nicht
oder der regex ist irgendwie falsch.

Anbei nun mal der aktuelle screenshot:

mfg

Dieter

Homoran

~~@bahnuhr:~~

Die Einträge kommen doppelt `
kann ja sein, wenn die Anzahl der Meldungen abnimmt, z.B. der Platz 4 und die anderen aufrücken wegfällt. Dann bleibt die bisher letzte Melduung -wie von dir geschrieben- nicht gelöscht wird. dann ist diese doppelt.

~~@bahnuhr:~~

FAzit für mich:

entweder stimmt am Adapter Parser etwas nicht

oder der regex ist irgendwie falsch. `
Das kannst du nur feststellen, wenn du systematisch an die Sache gehst und zu dem Zeitpunkt des jeweiligen parsens den Quelltext sicherst und diese miteinander vergleichst.

Es kann ja auch sein, dass die Website die Meldungsrohdaten, die wir parsen noch nach einem System sortiert (alphabetisch, nach Startzeit, Straßenklassen…..).

Gruß

Rainer

bahnuhr

Rainer,

Ich glaube schon dass ich systematisch dran gegangen bin.

Und habe immer die daten verglichen.

Probier doch einfach mal aus.

Ich habe es jetzt 3-4 Tage probiert und immer wieder verglichen.

Für mich läuft es nicht rund.

Mfg

Dieter

Homoran

~~@bahnuhr:~~

und immer wieder verglichen. `
Dann poste bitte die verschiedenen Quelltexte in Code-Tags und spoiler.

Gruß

Rainer

bahnuhr

Na klar mach ich das.

Sende ich morgen alles.

mfg

bahnuhr

So, und wieder passt es nicht.

Gestern abend um ca. 21.00 den Adapter neu gestartet mit folgenden Einstellungen.

Auf der Webseite steht:

Bei den Objekten steht:

Fazit:

passt soweit

–------------------------------------------------------------------------------

Heute morgen um 07:00 wieder kontrolliert.

Auf der Webseite steht: keine aktuelle Meldung vorhanden

Bei den Objekten steht:

Blitzer 1: Derzeit noch keine aktuelle Meldung von einem mobilen Blitzer (ts=06:51)

Blitzer 2-6: Die alten von gerstern Abend sind in hell orange dargestellt. (ts= 24.7.;23:57 und 25.7.;00:15)

Fazit:

passt soweit

Eben um 18:45 wieder kontrolliert; und nun passt es wieder nicht.

Auf der Webseite steht:

Bei den Objekten steht:

Fazit:

Auf der Webseite stehen 4 Blitzer.

Bei den Objekten wird der Blitzer 3 der Webseite bei den Objekte 1 angezeigt.

Die anderen bei den Objekten stimmen gar nicht (hier werden die alten angezeigt).

Gesamt-Fazit:

Hier stimmt was nicht.

Bitte probiert es selber doch mal aus (würde mir sehr helfen).

Für mich sieht es immer noch nach einem Adapter-Problem oder regex-Problem aus.

mfg

Dieter

Homoran

Hallo Dieter,

wie ich bereits schrieb:
~~@Homoran:~~

kann ja auch sein, dass die Website die Meldungsrohdaten, die wir parsen noch nach einem System sortiert (alphabetisch, nach Startzeit, Straßenklassen…..). `

Deshalb brauche ich die Quelldaten, nicht den Screenshot.

Nur wenn ich die Quelldaten der Website, zu exakt dem gleichen Zeitpunkt in der der parser sie parst, habe, kann ich übrprüfen, ob der Parser richtig arbeitet.

Und wenn da genug solche Rohdaten vorliegen, kann man vielleicht auch erkennen warum das dann so aussieht wie es im Moment aussieht.

Gruß

Rainer

bahnuhr

Hallo Rainer,

ich habe nun mehrmals versucht jemanden zu finden der dies mal ausprobiert.

Scheint nicht geklappt zu haben.

Und ich habe mehrmals darauf hingewiesen, dass der Adapter (aus meiner Sicht) einen BUG hat.

P.S.

Ich wäre als Programmierer froh wenn ich von dritter Seite einen möglichen Fehler benannt bekomme.

Fazit:

Frust.

Werde ihn folglich wieder deinstallieren, funktioniert bei mir nicht.

mfg

Dieter

pix

Hallo Dieter,

sei nicht gefrustet und nicht ungeduldig.

Der ersten Seite des Threads entnehme ich, dass Bluefox den Adapter geschrieben hat. Auch die Github-Adress ist da zu finden. Es ist mittlerweile üblich, Entwickler auf der Adapter-Github-Seite über Probleme (Issues) zu informieren. Das geht in diesem Falle hier: https://github.com/ioBroker/ioBroker.parser/issues

Du hast dann weitaus größere Chancen, eine Reaktion zu bekommen, denn Github meldet neue Issues auch per Email an den den Entwickler.

Natürlich kann man sich auch vom Forum per Email über neue Antworten benachrichtigen lassen. Ich denke, wir sind uns einig, dass das vor allem an Bluefox' Stelle absolut unpraktisch ist.

Bitte melde den entdeckten Fehler mit ALLEN Quellcodes bei Github. Verweise nicht per Link auf das Forum, sondern fasse zusammen.

Seit deiner ersten Frage am 19.7. ist gerade eine knappe Woche vergangen. Es ist Sommer und es ist immer noch ein Hobby.

Und glaub mir, jeder Entwickler freut sich über Feedback.

Gruß

Pix

PS speziell du deinem Problem: Ich denke auch, du solltest den Inhalt der Datenpunkte per Skript löschen, bevor der Parer-Adapter sie erneut befüllt.

PPS: Wie wärs mit einem Osthessen-Blitzer-Adapter?

Homoran

Hallo Dieter:
~~@bahnuhr:~~

Und ich habe mehrmals darauf hingewiesen, dass der Adapter (aus meiner Sicht) einen BUG hat. `
und das glaube ich nicht; ich denke es liegt an der Website; den RegEX habe ich zwischen Tür und Angel mit der heißen Nadel gestrickt.

Um ihn zu verfeinern brauche ich deine Mitarbeit - es geht ja um deine speziellen Wünsche.

Andere regeln laufen ja ordentlich.

Das löschen nicht mehr aktiver Fundstellen ist ein ganz anderes Thema und hat IMHO nichts mit dem Adapter zu tun.

~~@bahnuhr:~~

ich habe nun mehrmals versucht jemanden zu finden der dies mal ausprobiert. `
Warum machst du nicht die Vorarbeit und lieferst die erforderlichen Unterlagen?

Warum sollen andere, die davon keinerlei Nutzen haben für dich die Zeit investieren wozu du selber nicht bereit bist.

Gruß

Rainer

bahnuhr

Hallo Rainer,

1.

Ich glaube nicht, dass es an der Webseite liegt.

Diese ändert sich mehrere Stunden nicht.

Ich habe auf einen möglichen BUG hingewiesen.

Und an diesem müsste der Programmierer ja interessiert sein.

Wenn dies nicht mehr gewünscht ist, kann ich dies ja zukünftig lassen.

Dachte nur, dass es interessiert.

3.

Du kannst ja gerne mithelfen, hast du aber bisher nicht gemacht.

Nehm doch deinen regex und geb ihn mal ein. Dann lass es laufen.

Und dann merkst du dass irgendwas nicht stimmt.

Aber dazu warst du ja bisher nicht bereit. Auch gut.

Fazit:

Ich hab den Parser Adapter genommen und den regex von Rainer.

Wenn es ein bug ist, dann dürfte es den Programmierer interessieren.

Und falls nicht, dann liegt es wieder einmal an meinem System; dann ist auch gut.

Ich bin jetzt hier raus.

Bis dahin.

mfg

Dietr

Homoran

Ich versuche es ein letztes Mal:

Bist du sicher, dass die Website nicht per irgendeinem System die Liste im HTML sortiert (anscheinend nach Uhrzeit)

~~@bahnuhr:~~

Diese ändert sich mehrere Stunden nicht. `

Im Quelltext steht im Moment:

15:09**A5 Frankfurt Richtung Kassel**- zwischen AS Alsfeld-Ost und Hattenbacher Dreieck stockender Verkehr [zu hohe Verkehrsbelastung] (seit heute 13:00 Uhr). Laut Polizei wird dies am Nachmittag und frühen Abend "noch schlimmer" werden. 

15:07**A4 Bad Hersfeld Richtung Erfurt**- zwischen Kirchheimer Dreieck und AS Bad Hersfeld Gefahr durch defektes Fahrzeug auf dem rechten Fahrstreifen (seit 26.07.2018, 15:00 Uhr)

13:41Auf der **Hochbrücke** in **Bad Hersfeld stadteinwärts**

09:25In **Schlüchtern Schlossstraße 30er Zone**

09:07in der Ortsdurchfahrt **Haunetal Neukirchen Richtung Rhina Höhe Telekom**

07:56in **Lauterbach** in der **Dirlammer Str. Höhe Parkplatz STI**

07:27In Fulda auf der **Petersberger Straße** nach der Bahnunterführung

auch noch alles chronologisch; aber ändert sich dieser ebenfalls über Stunden nicht???

~~@bahnuhr:~~

hast du aber bisher nicht gemacht.

Nehm doch deinen regex und geb ihn mal ein. Dann lass es laufen. `
Dazu habe ich schlicht die Zeit nicht - ich muss auch noch arbeiten.

Es geht darum, denn Quelltext zu exakt dem Zeitpunkt des parsens zu kennen, dann kann man einem Bug auf den Grund gehen
~~@bahnuhr:~~

Und an diesem müsste der Programmierer ja interessiert sein. `
und das ist er!

~~@bahnuhr:~~

den regex von Rainer. `
der wie bereits geschrieben, nicht den Anspruch auf absolute Richtigkeit erhebt

Vielleicht liegt es auch "nur" am Nicht-Löschen der alten inhalte, das müsstest du aber irgendwie selbst lösen.

Wäre aber auch ein feature-Request wert, dies unmittelbar vor dem parsen vom Adapter ausführen lassen zu können (mit Auswahl-Checkbox)

Gruß

Rainer

BBTown

Rainer, ich bewundere deine Geduld

iomypi

Bekomme es nicht gebacken:

https://regex101.com gibt den richtigen Wert aus.

Parsertest ist positiv

bei den Objekten wird der Wert nicht angezeit

iomypi

Die WebSite läuft auf dem PI und zeigt Daten einer Wärmepumpe, die Seite erfordert Nutzer und Passwort.

hiermit kommt eine Fehlermeldung:

https://Nutzer:Kennwort@…...

Kann mir jemand helfen, hab schon alles mögliche probiert.

Grüße

ioMyPi

Homoran

Dann liegt das Problem im Seitenaufruf.

Da musst du irgendwie deine credentials mit übergeben.

Gruß

Rainer

nik82

Hallo,

ich habe folgenden Fehler, ich parse eine relativ große Seite (ohne Kennwortabfrage!), unter den Objekten erscheint immer der Fehler "device error [0x44]:

Wenn ich aber dann die Parser-Einstellungen editiere:

Dann kommt beim Ergebnis erst keine Ausgabe, stelle ich dann aber den Typ von nuber(.) auf nuber(,) und dann wieder auf number(.) dann kommt beim Ergebniss die richtige Zahl:

(Es ist auch egal auf was ich stelle, ob string oder sonstwas, sobald ich den Typ umstelle kommt die richtige Zahl)

In den Objekten steht aber immer "null" drin.

Hat hier jemand einen Tip?

Tomate

Hallo. Ich bräuchte auch Hilfe.

Ich würde gerne mittels Parser Adapter die Vorhersage für die tägliche Sonnenscheindauer, von dieser Seite, in den iobroker bekommen.

https://agrar.bayer.de/de-DE/Agrar%20We … sage?day=0

(auf dieser Seite nach unten scrollen.)

Könnt ihr mir sagen, was ich in den Adapter eintragen muß?

Vielen Dank
8413_io.jpg

dtp

Hi,

ich wollte ja eigentlich die Fahrplanauskunft des VVS (Verkehrsverbund Stuttgart) per Parser auslesen. Geht aber leider nicht.

Hat da jemand einen Tipp, ob es eine Möglichkeit gibt, direkt an die Werte zu kommen?

Im Moment binde ich die Seite noch mit einem passenden Widget in VIS ein, um sie mir dort anzuzeigen. Geht auch, ist aber nicht ganz das, was ich haben möchte.

NEWS

Adapter - Parser (regEx)

Support us

723
Online

31.1k
Users

78.2k
Topics

1.2m
Posts

NEWS

Adapter - Parser (regEx)

Support us

723Online

31.1kUsers

78.2kTopics

1.2mPosts

723
Online

31.1k
Users

78.2k
Topics

1.2m
Posts