Parser wird Seitenzugriff verweigert
-
@oliverio sagte in Parser wird Seitenzugriff verweigert:
dann könnte es das jetzt für alle gewesen sein,
ACK
Ich habe dort einmal am Tag einen Aktienkurs abgerufen und damit ist es jetzt vorbei. -
@oliverio
Die Internetverbindung habe ich im Router schon einmal neu verbinden lassen, allerdings ohne Neustart des Routers.
Das kann ich noch versuchen, wenn ich zuhause bin.Vielleicht wird das ja jetzt Anlass für einen Entwickler einen Adapter für Börsenkurse anzugehen... da wäre sicherlich Nachfrage vorhanden....
...wenn das mit der neuen IP funktionieren sollte, kann ich auch einmal von boerse.de versuchen zu parsen....oder macht das von euch schon jemand?!
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Vielleicht wird das ja jetzt Anlass für einen Entwickler einen Adapter für Börsenkurse anzugehen... da wäre sicherlich Nachfrage vorhanden....
so ein Entwickler würde aber auch ein hohes risiko eingehen post vom anwalt zu erhalten. Du hast schon den Inhalt der AGBs verstanden?
Wenn es jemand individuell macht, dann kann jeder selbst das Risiko eingehen.
Je nach Energie hat so ein Unternehmen, wenn es übermäßig von vielen genutzt wird, schon ein Interesse das rechtlich zu verfolgen, da kostenpflichtige Informationen (finanzen.net bekommt diese Informationen ja nicht umsonst, sondern müssen von Reutters, den Börsen oder anderen Informationsanbietern gekauft werden)
zwar kostenlos anbietet, aber auf der Seite Werbung mit angezeigt wird oder der ein oder andere dann auch die kostenpflichtigen Angebote von finanzen.net nutzt.
Bei automatischem Abruf passiert das alles nicht.Wenn die das rechtlich verfolgen wollten, dann könnten die schon Anzeige erheben. Dann würde die IP-Adresse zu einem bestimmten Zeitpunkt festgehalten werden und euer Provider müsste dann eure Anschriften mitteilen.
(Aktueller Status ist mir nicht bekannt, da ich aber auch von Fällen in den letzten 2 Jahren erfahren habe, das so ermittelt wurde, geh ich davon aus, das es immer noch gespeichert wird) -
@villarriba
Ich wundere mich regelmäßig über die Vorstellung, alles im Internet hat gefälligst kostenlos zu sein.
Ich bin mir ziemlich sicher, dass es durchaus Dienste gibt, die das auch automatisiert zur Verfügung stellen … allerdings dann gegen einen gewissen Obulus.
Wenn Du die Kurse wirklich benötigst und das keine reine Spielerei ist, solltest Du vielleicht mal überlegen, wie viel Dir das Wert ist. -
https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro Minutehttps://leeway.tech/payment/plans
70€, viele Kurseund weitere
https://geekflare.com/de/best-stock-market-api/ -
@oliverio sagte in Parser wird Seitenzugriff verweigert:
und darüber hinaus bitte auch die Nutzungsbedingungen Kapitel 6 (3) beachten:
damit war zu rechnen.
Ich habe immer wieder auf solche Passus hingewiesen und aufgerufen, wenn man es trotzdem macht dies sparsam und unregelmäßig zu tun.Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.
-
@homoran sagte in Parser wird Seitenzugriff verweigert:
Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.
Aufgrund welcher Grundlage? Nur weil jemand schreibt "automatisch auslesen verboten" ist es das noch lange nicht. Dazu hat auch der BGH (30.04.2014, Az. I ZR 224/12) klargestellt, dass screen scraping zulässig ist, wenn man keine technischen Schutzvorrichtung umgeht.
Ich behaupte einfach mal, wenn man die Daten nur für die eigenen Zwecke nutzt, und / oder sie nicht als eigene verkauft ist es legal, egal was andere schreiben oder meinen verbieten zu können.
-
@hagst sagte in Parser wird Seitenzugriff verweigert:
Aufgrund welcher Grundlage?
Vorbereitung einer dDoS Attacke!
hat es schon gegeben. -
@homoran said in Parser wird Seitenzugriff verweigert:
Vorbereitung einer dDoS Attacke!
hat es schon gegeben.Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte, solange das jemand für den Eigengebrauch macht. Aber den Ärger hat man natürlich erst mal am Hals.
Anders sieht es natürlich aus, wenn jemand Software wie einen ioBroker Adapter implementiert, der Daten einer Seite engegen deren AGB abruft.
-
Meint Ihr nicht, dass hier das Wasser ein wenig zu heiss gekocht wird?
Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.
Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?Und ich muss hagst zustimmen, nur weil ich alle 3h einen Onlinekurs für Privatzwecke abrufe, sollte sich eigentlich keine Staatsanwaltschaft für mich interessieren...
Ich werd heut einfach den Adapter einmal neu installieren und schauen ob's dann wieder funktioniert. Ich hab auch kein Problem einen vernünftigen Obolus an einen Dienst abzugeben. Der Abruf im iobroker war halt praktisch, da ich mir automatisiert immer nur relevante Stände per Nachricht zuschicken lassen konnte oder im VIS anzeigen.
Sorry, wollte hier keine Panik auslösen
-
@villarriba said in Parser wird Seitenzugriff verweigert:
Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr alle das gleiche Problem mit Finanzen-net?
Ich würde vermuten, dass Finanzen-net eine Erkennung implementiert hat, ob das ein automatisierter Zugriff ist oder nicht. Wenn man jetzt versucht, das zu umgehen (indem sich der Adapter z.B. für einen Web-Browser ausgibt), wäre das u.U. schon das Umgehen einer "technischen Schutzvorrichtung".
Ich denke nicht, dass du jetzt gleich mit einem Polizeiaufgebot vor deiner Haustür rechnen müsstest, aber mal von der rechtlichen Seite abgesehen: Moralisch so ganz sauber ist die Sache nicht. -
@oliverio said in Parser wird Seitenzugriff verweigert:
https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro MinuteDa bin ich vorhin auch drüber gestolpert. Vom Bezahlmodell her wäre das ja prädestiniert für einen Adapter. Wer sich mit wenigen Daten begnügt zahlt nix, wer mehr braucht nimmt halt ein kostenpflichtiges Angebot. Und legal wäre es auch.
Leider gibt's da soweit ich sehe halt derzeit (noch?) nur Börse München und außerdem keine Indizes.
-
@gaspode sagte in Parser wird Seitenzugriff verweigert:
Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte,
ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.
Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird.
Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.
der Rest ist Juristerei.
-
@homoran said in Parser wird Seitenzugriff verweigert:
ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.
Ja klar, das kann ich mir gut vorstellen. Die Frage ist nur, wie das am Schluss ausgeht. Oder ist derjenige damals wirklich verurteilt worden?
Aber wie schon geschrieben: Den Ärger (und auch ggfs. Anwaltskosten) hat man natürlich trotzdem.
Also am Besten: Nicht machen.
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?
Ich wette, finanzen.net filtert einfach nach dem user agent, denn der parser überträgt keinen. Demnach sollten alle, die mit dem Parser bei finanzen.net daten sammeln, vor der geschlossenen Tür stehen.
So meldet sich der Parser
**.***.118.188 - - [11/Jan/2023:08:36:53 +0100] "GET / HTTP/1.1" 200 7309 "-" "-"z.B. bei meinem Server an .
-
@homoran sagte in Parser wird Seitenzugriff verweigert:
Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.
Dann hat man ja richtiges Glück, wenn er nicht geschrieben hat "Die Nutzung verpflichtet dazu, das Erbe der Oma in Alkohol umzusetzen" oder? Schreiben kann man viel und "Papier ist geduldig". Ich habe mich beim screen scraping zu nichts verpflichtet. Es ist nunmal erlaubt und fertig. Ich glaube, dass der BGH nicht so einfach überstimmt werden kann, nur weil irgendjemand irgendwo, irgendwas in irgendwelche Nutzungsbedingungen geschrieben hat.
-
@homoran said in Parser wird Seitenzugriff verweigert:
ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.
Hab gerade den entsprechenden Thread gelesen. Da hat der Gute ja nochmal Glück gehabt.
Der Fall ist gut, um sich immer mal wieder klar zu machen, was für Folgen so ein einfaches Script o.ä. haben kann, sei es aus Absicht oder wegen eines dummen Fehlers. Immer schön aufpassen, besonders wenn auch noch Regierungsseiten im Spiel sind.
Danke für den Hinweis auf das Beispiel. -
@homoran sagte in Parser wird Seitenzugriff verweigert:
Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird
....da kommt ja noch hinzu, dass der Parser auch nicht die ganze Werbung dort liest und auch keine cookies frist
-
@hagst sagte in Parser wird Seitenzugriff verweigert:
BGH (30.04.2014, Az. I ZR 224/12)
Da hast du Recht,
Aber ein Skript oder Adapter würde ich trotzdem nicht entwickeln wollen.
So wie du auch geschrieben hast, in der nächsten Runde geht es dann darum,
was eine "technische Schutzmaßnahme" (Auswertung user agent id) ist.Aber man kann ja relativ einfach die funktionsweise des parser-adapters zusammen mit ein wenig regex in javascript nachbilden. da kann man ja dann den user agent string entsprechend richtig mitgeben oder man routet die Anfrage durch das tor-Netzwerk https://www.npmjs.com/package/tor-request
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.
Nein,
ich habe es gerade hier probiert. Da kommt die selbe Fehlermeldung.
