Parser wird Seitenzugriff verweigert
-
@oliverio said in Parser wird Seitenzugriff verweigert:
https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro MinuteDa bin ich vorhin auch drüber gestolpert. Vom Bezahlmodell her wäre das ja prädestiniert für einen Adapter. Wer sich mit wenigen Daten begnügt zahlt nix, wer mehr braucht nimmt halt ein kostenpflichtiges Angebot. Und legal wäre es auch.
Leider gibt's da soweit ich sehe halt derzeit (noch?) nur Börse München und außerdem keine Indizes.
-
@gaspode sagte in Parser wird Seitenzugriff verweigert:
Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte,
ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.
Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird.
Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.
der Rest ist Juristerei.
-
@homoran said in Parser wird Seitenzugriff verweigert:
ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.
Ja klar, das kann ich mir gut vorstellen. Die Frage ist nur, wie das am Schluss ausgeht. Oder ist derjenige damals wirklich verurteilt worden?
Aber wie schon geschrieben: Den Ärger (und auch ggfs. Anwaltskosten) hat man natürlich trotzdem.
Also am Besten: Nicht machen.
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?
Ich wette, finanzen.net filtert einfach nach dem user agent, denn der parser überträgt keinen. Demnach sollten alle, die mit dem Parser bei finanzen.net daten sammeln, vor der geschlossenen Tür stehen.
So meldet sich der Parser
**.***.118.188 - - [11/Jan/2023:08:36:53 +0100] "GET / HTTP/1.1" 200 7309 "-" "-"z.B. bei meinem Server an .
-
@homoran sagte in Parser wird Seitenzugriff verweigert:
Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.
Dann hat man ja richtiges Glück, wenn er nicht geschrieben hat "Die Nutzung verpflichtet dazu, das Erbe der Oma in Alkohol umzusetzen" oder? Schreiben kann man viel und "Papier ist geduldig". Ich habe mich beim screen scraping zu nichts verpflichtet. Es ist nunmal erlaubt und fertig. Ich glaube, dass der BGH nicht so einfach überstimmt werden kann, nur weil irgendjemand irgendwo, irgendwas in irgendwelche Nutzungsbedingungen geschrieben hat.
-
@homoran said in Parser wird Seitenzugriff verweigert:
ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.
Hab gerade den entsprechenden Thread gelesen. Da hat der Gute ja nochmal Glück gehabt.
Der Fall ist gut, um sich immer mal wieder klar zu machen, was für Folgen so ein einfaches Script o.ä. haben kann, sei es aus Absicht oder wegen eines dummen Fehlers. Immer schön aufpassen, besonders wenn auch noch Regierungsseiten im Spiel sind.
Danke für den Hinweis auf das Beispiel. -
@homoran sagte in Parser wird Seitenzugriff verweigert:
Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird
....da kommt ja noch hinzu, dass der Parser auch nicht die ganze Werbung dort liest und auch keine cookies frist
-
@hagst sagte in Parser wird Seitenzugriff verweigert:
BGH (30.04.2014, Az. I ZR 224/12)
Da hast du Recht,
Aber ein Skript oder Adapter würde ich trotzdem nicht entwickeln wollen.
So wie du auch geschrieben hast, in der nächsten Runde geht es dann darum,
was eine "technische Schutzmaßnahme" (Auswertung user agent id) ist.Aber man kann ja relativ einfach die funktionsweise des parser-adapters zusammen mit ein wenig regex in javascript nachbilden. da kann man ja dann den user agent string entsprechend richtig mitgeben oder man routet die Anfrage durch das tor-Netzwerk https://www.npmjs.com/package/tor-request
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.
Nein,
ich habe es gerade hier probiert. Da kommt die selbe Fehlermeldung. -
@oliverio
Ja, ein internes Problem kann ich jetzt auch ausschließen.
Ich bin mir sicher, dass eine unglaubliche Anzahl an Usern über RegEx die Kurse automatisch abrufen. Sicherlich ist das so aus besagten Gründen nicht gerne von den Betreibern gesehen, aber wenn ich diese Daten frei zugänglich anbiete, sollte ich davon ausgehen das diese Werte auch automatisch abgefragt werden.
Was ja eigentlich nur für informative Zwecke genutzt werden kann, da die Daten alles andere als "Live" sind und fürs trading nicht zu gebrauchen sind. Da gibts Zeitverschiebungen von 5 - 15 Minuten.Ich hab jetzt bei boerse-de probiert und da funktioniert es noch ohne Probleme.
Ich frag da jetzt nur 3x pro Tag ab, mehr brauche ich ja nicht und werte die Daten für Pushnachrichten aus.Also da jetzt kein Technisches Problem meiner Seits vorliegt, kann ich das Thema ja auf gelöst setzen, oder? (..wo mach ich das schnell wieder?!)
Sorry, dass ich hier fast eine Lawine losgetreten hätte
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Sorry, dass ich hier fast eine Lawine losgetreten hätte
Darüber zerbrech' Dir mal nicht den Kopf.
Ich denke es ist für den Einen oder Anderen durchaus interessant, mal wieder (oder überhaupt mal) über das Thema "Nutzungsbedingungen" und andere rechtliche Dinge nachzudenken.Wenn der Thread dann für Dich erledigt ist, setze bitte ein "[gelöst] - " vor den Titel des Eingangspost.
-
jeder der das gleiche Problem mit finanzen hat wird ebenfalls auf diesen
thread stoßen.
Dann wissen alle Bescheid.
