Parser wird Seitenzugriff verweigert

[OliverIO]

@codierknecht

https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro Minute

https://leeway.tech/payment/plans
70€, viele Kurse

und weitere
https://geekflare.com/de/best-stock-market-api/

[Homoran]

@oliverio sagte in Parser wird Seitenzugriff verweigert:

und darüber hinaus bitte auch die Nutzungsbedingungen Kapitel 6 (3) beachten:

damit war zu rechnen.
Ich habe immer wieder auf solche Passus hingewiesen und aufgerufen, wenn man es trotzdem macht dies sparsam und unregelmäßig zu tun.

Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.

[hagst]

@homoran sagte in Parser wird Seitenzugriff verweigert:

Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.

Aufgrund welcher Grundlage? Nur weil jemand schreibt "automatisch auslesen verboten" ist es das noch lange nicht. Dazu hat auch der BGH (30.04.2014, Az. I ZR 224/12) klargestellt, dass screen scraping zulässig ist, wenn man keine technischen Schutzvorrichtung umgeht.

Ich behaupte einfach mal, wenn man die Daten nur für die eigenen Zwecke nutzt, und / oder sie nicht als eigene verkauft ist es legal, egal was andere schreiben oder meinen verbieten zu können.

[Homoran]

@hagst sagte in Parser wird Seitenzugriff verweigert:

Aufgrund welcher Grundlage?

Vorbereitung einer dDoS Attacke!
hat es schon gegeben.

[Gaspode]

@homoran said in Parser wird Seitenzugriff verweigert:

Vorbereitung einer dDoS Attacke!
hat es schon gegeben.

Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte, solange das jemand für den Eigengebrauch macht. Aber den Ärger hat man natürlich erst mal am Hals.

Anders sieht es natürlich aus, wenn jemand Software wie einen ioBroker Adapter implementiert, der Daten einer Seite engegen deren AGB abruft.

[Villarriba]

Meint Ihr nicht, dass hier das Wasser ein wenig zu heiss gekocht wird?
Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.
Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?

Und ich muss hagst zustimmen, nur weil ich alle 3h einen Onlinekurs für Privatzwecke abrufe, sollte sich eigentlich keine Staatsanwaltschaft für mich interessieren...

Ich werd heut einfach den Adapter einmal neu installieren und schauen ob's dann wieder funktioniert. Ich hab auch kein Problem einen vernünftigen Obolus an einen Dienst abzugeben. Der Abruf im iobroker war halt praktisch, da ich mir automatisiert immer nur relevante Stände per Nachricht zuschicken lassen konnte oder im VIS anzeigen.

Sorry, wollte hier keine Panik auslösen

[Gaspode]

@villarriba said in Parser wird Seitenzugriff verweigert:

Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr alle das gleiche Problem mit Finanzen-net?

Ich würde vermuten, dass Finanzen-net eine Erkennung implementiert hat, ob das ein automatisierter Zugriff ist oder nicht. Wenn man jetzt versucht, das zu umgehen (indem sich der Adapter z.B. für einen Web-Browser ausgibt), wäre das u.U. schon das Umgehen einer "technischen Schutzvorrichtung".
Ich denke nicht, dass du jetzt gleich mit einem Polizeiaufgebot vor deiner Haustür rechnen müsstest, aber mal von der rechtlichen Seite abgesehen: Moralisch so ganz sauber ist die Sache nicht.

[Gaspode]

@oliverio said in Parser wird Seitenzugriff verweigert:

https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro Minute

Da bin ich vorhin auch drüber gestolpert. Vom Bezahlmodell her wäre das ja prädestiniert für einen Adapter. Wer sich mit wenigen Daten begnügt zahlt nix, wer mehr braucht nimmt halt ein kostenpflichtiges Angebot. Und legal wäre es auch.
Leider gibt's da soweit ich sehe halt derzeit (noch?) nur Börse München und außerdem keine Indizes.

[Homoran]

@gaspode sagte in Parser wird Seitenzugriff verweigert:

Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte,

ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.

Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird.

Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.

der Rest ist Juristerei.

[Gaspode]

@homoran said in Parser wird Seitenzugriff verweigert:

ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.

Ja klar, das kann ich mir gut vorstellen. Die Frage ist nur, wie das am Schluss ausgeht. Oder ist derjenige damals wirklich verurteilt worden?
Aber wie schon geschrieben: Den Ärger (und auch ggfs. Anwaltskosten) hat man natürlich trotzdem.
Also am Besten: Nicht machen.

[hagst]

@villarriba sagte in Parser wird Seitenzugriff verweigert:

Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?

Ich wette, finanzen.net filtert einfach nach dem user agent, denn der parser überträgt keinen. Demnach sollten alle, die mit dem Parser bei finanzen.net daten sammeln, vor der geschlossenen Tür stehen.

So meldet sich der Parser

**.***.118.188 - - [11/Jan/2023:08:36:53 +0100] "GET / HTTP/1.1" 200 7309 "-" "-"

z.B. bei meinem Server an .

[hagst]

@homoran sagte in Parser wird Seitenzugriff verweigert:

Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.

Dann hat man ja richtiges Glück, wenn er nicht geschrieben hat "Die Nutzung verpflichtet dazu, das Erbe der Oma in Alkohol umzusetzen" oder? Schreiben kann man viel und "Papier ist geduldig". Ich habe mich beim screen scraping zu nichts verpflichtet. Es ist nunmal erlaubt und fertig. Ich glaube, dass der BGH nicht so einfach überstimmt werden kann, nur weil irgendjemand irgendwo, irgendwas in irgendwelche Nutzungsbedingungen geschrieben hat.

[Gaspode]

@homoran said in Parser wird Seitenzugriff verweigert:

ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.

Hab gerade den entsprechenden Thread gelesen. Da hat der Gute ja nochmal Glück gehabt.
Der Fall ist gut, um sich immer mal wieder klar zu machen, was für Folgen so ein einfaches Script o.ä. haben kann, sei es aus Absicht oder wegen eines dummen Fehlers. Immer schön aufpassen, besonders wenn auch noch Regierungsseiten im Spiel sind.
Danke für den Hinweis auf das Beispiel.

[Villarriba]

@homoran sagte in Parser wird Seitenzugriff verweigert:

Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird

....da kommt ja noch hinzu, dass der Parser auch nicht die ganze Werbung dort liest und auch keine cookies frist

[OliverIO]

@hagst sagte in Parser wird Seitenzugriff verweigert:

BGH (30.04.2014, Az. I ZR 224/12)

Da hast du Recht,

Aber ein Skript oder Adapter würde ich trotzdem nicht entwickeln wollen.
So wie du auch geschrieben hast, in der nächsten Runde geht es dann darum,
was eine "technische Schutzmaßnahme" (Auswertung user agent id) ist.

Aber man kann ja relativ einfach die funktionsweise des parser-adapters zusammen mit ein wenig regex in javascript nachbilden. da kann man ja dann den user agent string entsprechend richtig mitgeben oder man routet die Anfrage durch das tor-Netzwerk https://www.npmjs.com/package/tor-request

[OliverIO]

@villarriba sagte in Parser wird Seitenzugriff verweigert:

Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.

Nein,
ich habe es gerade hier probiert. Da kommt die selbe Fehlermeldung.

[Villarriba]

@oliverio
Ja, ein internes Problem kann ich jetzt auch ausschließen.
Ich bin mir sicher, dass eine unglaubliche Anzahl an Usern über RegEx die Kurse automatisch abrufen. Sicherlich ist das so aus besagten Gründen nicht gerne von den Betreibern gesehen, aber wenn ich diese Daten frei zugänglich anbiete, sollte ich davon ausgehen das diese Werte auch automatisch abgefragt werden.
Was ja eigentlich nur für informative Zwecke genutzt werden kann, da die Daten alles andere als "Live" sind und fürs trading nicht zu gebrauchen sind. Da gibts Zeitverschiebungen von 5 - 15 Minuten.

Ich hab jetzt bei boerse-de probiert und da funktioniert es noch ohne Probleme.
Ich frag da jetzt nur 3x pro Tag ab, mehr brauche ich ja nicht und werte die Daten für Pushnachrichten aus.

Also da jetzt kein Technisches Problem meiner Seits vorliegt, kann ich das Thema ja auf gelöst setzen, oder? (..wo mach ich das schnell wieder?!)
Sorry, dass ich hier fast eine Lawine losgetreten hätte

[Codierknecht]

@villarriba sagte in Parser wird Seitenzugriff verweigert:

Sorry, dass ich hier fast eine Lawine losgetreten hätte

Darüber zerbrech' Dir mal nicht den Kopf.
Ich denke es ist für den Einen oder Anderen durchaus interessant, mal wieder (oder überhaupt mal) über das Thema "Nutzungsbedingungen" und andere rechtliche Dinge nachzudenken.

Wenn der Thread dann für Dich erledigt ist, setze bitte ein "[gelöst] - " vor den Titel des Eingangspost.

[OliverIO]

@villarriba

jeder der das gleiche Problem mit finanzen hat wird ebenfalls auf diesen
thread stoßen.
Dann wissen alle Bescheid.