Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[Dr. Bakterius]

@oliverio sagte in Website mit Parser auslesen:

error code 403 = forbidden

Im Browser?

[OliverIO]

@dr-bakterius
nein, wie oben geschrieben
im parser adapter und per skript adapter mit fetch

[Dr. Bakterius]

@oliverio Tja, bei mir klappt es.

[legerm]

@homoran said in Website mit Parser auslesen:

ich hab mal die Website im Browser aufgerufen

ohne Bestätigung kommst du ja gar nicht auf die Seite!

Liegt es vielleicht daran?

[MartinP]

@legerm Durchaus möglich.
Wiederholt sich die Einwilligung-Abfrage wenn man sie einmal erteilt hat, wenn man die Seite erneut mit dem frisch neu gestarteten Browser aufruft?

Vielleicht kann man den Cookie irgendwie in eine Curl-Anfrage mit einpacken, und den Parser dann auf die heruntergeladene Seite arbeiten lassen.

Ich habe die Cookie Einwilligung nicht, wenn ich die Seite im Browser aufrufe. Womöglich ist die gar nicht von der Seite selber, sondern von der eingeblendeten Werbung.
Vor der schützt mich PiHole... (Blaues Feld)

BTW: Im roten Feld gibt es keine Stau-Infos, da außerhalb der Öffnungszeit ...

NACHTRAG: Mit Chrome kriege ich die Cookie-Abfrage beim ersten Aufruf - danach nicht mehr. Werbung wird eingeblendet.

[Dr. Bakterius]

@legerm sagte in Website mit Parser auslesen:

Liegt es vielleicht daran?

Das glaube ich nicht. Im Hintergrund wird es ja angezeigt. Also steht es auch im Quellcode. Einzige Ausnahme: es handelt sich um ein Bild. Doch das ist eher unwahrscheinlich weil ja auch das aktuelle Datum angezeigt wird.

Was ich aber habe ist ein Pi Hole. Vielleicht liegt es daran.

[MartinP]

@OliverIO

Habe mir Deinen - dankbarerweise formatierten - Seitenquelltext angeschaut... Was macht man denn hier für Schweinereien...?

     
            (function() {
                'use strict';

                const configCheck1 = 'ukhZqPRxsYdCRaOVOSqx';
                const configCheck2 = 'ZaPFFyEoIxocFaIgkRFv';
                const configCheck3 = 'soBleRBitSfRPwnMlwkg';

                function revealElements() {
                    window.requestAnimationFrame(() => {
                        [configCheck1, configCheck2, configCheck3].forEach(id => {
                            const el = document.getElementById(id);
                            if (el) {
                                el.style.display = 'block';
                            }
                        });
                    });
                }

[legerm]

Habe Kontakt zum Seitenbetreiber aufgenommen. Die Seite ist durch Cloudfare gegen Bots abgesichert. Scheint wohl gut zu funktionieren....

Aber warum funktioniert es bei Dr. Bakterius? Kann eigentlich nicht am Pihole liegen, oder?

Beste Grüße

Martin

[MartinP]

@legerm Könnte an Anschluss-Typen liegen (DSLite, DualStack, IOv4 only), an zu vielen Anfragen, die Du gestellt hast (5000 ms sind vielleicht schon Bot-Verdächtig) oder an durch Bots "verbrannten" eigenen öffentlichen IP-Adressen ...

Kriegst Du denn mit curl die Seite heruntergeladen?

Wenn ja könntest Du sie ja per CRON-Job herunterladen (vielleicht nur alle 5...10 Minuten, damit es unverdächtig bleibt)

Der iobroker - Parser Adapter könnte dann auf die heruntergeladene Datei statt auf die URL schauen...

Wenn Curl per IPv4 nicht herunterladen kann, vielleicht auf IPv6 ausweichen, wenn an Deinem Anschluss verfügbar.
teste mal ...

curl -6 https://www.wartezeiten.app/europapark/ 

Nachtrag: Eigentlich verbietet es die "Netiquette", die Seite durch den Parser-Adapter durchsuchen zu lassen, wenn der Betreiber das durch die Header als "unerwünscht" tituliert hat... Aber vielleicht bin ich nur im "früher war alles besser verfangen"

[OliverIO]

@martinp

Nix schlimmes.
requestAnimationFrame Gibt einem Script die Möglichkeit hochperformante Animationen durchzuführen.
https://developer.mozilla.org/de/docs/Web/API/Window/requestAnimationFrame

Hier wird also sehr oft für 3 Elemente die Display Einstellung wieder auf Block gestellt.
Irgendwo müsste es ein html Element mit dem id soBleRBitSfRPwnMlwkg geben. Ich gehe davon aus, das das dynamisch generiert wird und jedes Mal anders heiß.

Warum, müsste man mal im code schauen. Ohne das das überprüft wird macht das kein Sinn.

[MartinP]

@oliverio Scheint in den ersten zwei Punkten um die Einblendungen von Adblocker-Hinweisen zu gehen, den dritten String habe ich im Quelltext nicht gefunden ...

[OliverIO]

@legerm sagte in Website mit Parser auslesen:

Habe Kontakt zum Seitenbetreiber aufgenommen. Die Seite ist durch Cloudfare gegen Bots abgesichert. Scheint wohl gut zu funktionieren....

Aber warum funktioniert es bei Dr. Bakterius? Kann eigentlich nicht am Pihole liegen, oder?

Beste Grüße

Martin

Am besten den Wert in die api integrieren.
https://api.wartezeiten.app/

[MartinP]

@oliverio Das ist eine gute Fundstelle ... Vom Betreiber wahrscheinlich für Bots gedacht, und spart viel Traffic ... nur das Nötige wird übertragen ... und dann noch die Spielmöglichkeiten mit der API

[legerm]

@oliverio Habe ich vorgeschlagen, soll aber nicht kommen. Wenn es nicht anders geht, dann errechne ich mir halt selbst einen Wert aus den Wartezeiten errechnen lassen, die ich mir per API lade, was ja aber zu viel mehr Traffic führen wird...

Naja

[legerm]

@martinp said in Website mit Parser auslesen:

@oliverio Das ist eine gute Fundstelle ... Vom Betreiber wahrscheinlich für Bots gedacht, und spart viel Traffic ... nur das Nötige wird übertragen ... und dann noch die Spielmöglichkeiten mit der API

Ja, leider ohne CrowdLevel....

[legerm]

@martinp das funtkioniert... das heisst, ich hol mir dir Seite einmal die Stunde (reicht völlig aus), speichere sie und lese sie dann via Parser aus? Einfach per 127.0.0.1 ?

[MartinP]

@legerm Das ist anscheinend wirklich so - alles selber aus den Einzelwerten ausrechnen wäre noch möglich ...

Alle Fahrgeschäfte summieren, und dann durch die Anzahl der Fahrgeschäfte dividieren wäre ein Ansatz um die durchschnittliche Wartezeit zu erfassen ...

das funtkioniert... das heisst, ich hol mir dir Seite einmal die Stunde (reicht völlig aus), speichere sie und lese sie dann via Parser aus? Einfach per 127.0.0.1 ?

Ich habe den Quelltext der Seite angeschaut, die ist nicht vollständig, auch in der steht das Crowd-Level nicht drin, wahrscheinlich weil Curl Javascript nicht ausgeführt hat ... keine statische Seite

[Homoran]

@legerm sagte in Website mit Parser auslesen:

Die Seite ist durch Cloudfare gegen Bots abgesichert.

das hatte ich vermutet

@legerm sagte in Website mit Parser auslesen:

Aber warum funktioniert es bei Dr. Bakterius?

weil sein default poll Intervall seeeehr lang ist.

meines hatte sich wohl durch ein update wieder suf 10 Sekunden gestellt.

[OliverIO]

Es gibt auch noch weitere Seiten mit ähnlichen Informationen:

https://www.thrill-data.com/waits/park/eup/eup/
https://queue-times.com/de/parks/51