Parser wird Seitenzugriff verweigert
-
Hallo Zusammen,
ich bin ein wenig Ratlos mit meinem Parser-Adapter, der bis Gestern Problemlos funktioniert hat.
Damit habe ich immer die Kurse bei Finanzen-net abgefragt.
Seit gestern kann ich jetzt auf keine Internetseiten mehr zugreifen.
Egal welche Url ich im Regelfenster hinzufüge, es erscheint im Editor dann immer eine html-Seite mitYou don't have permission to access ....
Wenn ich die Url im Browser eintippe, komme ich ganz normal auf die Seiten....
Ehrlich gesagt hatte ich das noch nie, seit gestern auch kein update oder was anderes auf dem System geändert.
Ich habe mal zum Testen eine zweite Instanz des Parser erstellt und auch den iob neu gestartet.
Leider immer noch das gleiche Verbindungsproblem.Kennt von Euch jemand dieses Phänomen, oder kann mir jemand mit einer Idee weiterhelfen an was das liegen könnte?
Bin für jeden Gedanken dankbar....
-
@villarriba reboot der Kiste gemacht ? (nicht nur iob)
-
@djmarc75 ....ja, hab ich ....
-
@villarriba worauf läuft der iobroker ?
-
Läuft auf einem Ubuntu auf Proxmox ....
Hab grad auch noch mal das ubuntu upgedatet ..... immer noch gleiches Thema.... -
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Proxmox
sorry, da kann ich dann leider nicht helfen
-
@djmarc75
...schade, trotzdem Danke für den Versuch
-
ich würde die ip adresse erneuern.
also router/modem aus und wieder einschalten
bzw. nachschauen, wie das bei deinem provider funktioniert.zuvor aber ganz dringend die Anzahl und Häufigkeit deiner Zugriffe überprüfen.
Ein normaler Nutzer ruft nun mal nicht den ganzen Tag alle x Sekunden/Minuten immer die gleichen Seiten ab.Ich gehe davon aus, das die Seite da eine Grenze hat und wenn die überschritten wird, dann wird die IP-Adresse automatisch geblockt.
Wenn du das nicht machst, passiert dir das bald wieder.
da du über browser ganz normal zugreifen kannst, könnte es auch sein, das sie auch den user-agent auswerten und da könnte sich node auch nicht als browser ausweisen. dann werden die anfragen ausgefiltert. dann könnte es das jetzt für alle gewesen sein,und darüber hinaus bitte auch die Nutzungsbedingungen Kapitel 6 (3) beachten:
https://www.finanzen.net/nutzungsbedingungen(3) Insbesondere ist eine automatisierte Abfrage der von finanzen.net bereitgestellten Inhalte ohne ausdrückliche Genehmigung in jeglicher Form nicht zulässig. -
@oliverio sagte in Parser wird Seitenzugriff verweigert:
dann könnte es das jetzt für alle gewesen sein,
ACK
Ich habe dort einmal am Tag einen Aktienkurs abgerufen und damit ist es jetzt vorbei. -
@oliverio
Die Internetverbindung habe ich im Router schon einmal neu verbinden lassen, allerdings ohne Neustart des Routers.
Das kann ich noch versuchen, wenn ich zuhause bin.Vielleicht wird das ja jetzt Anlass für einen Entwickler einen Adapter für Börsenkurse anzugehen... da wäre sicherlich Nachfrage vorhanden....
...wenn das mit der neuen IP funktionieren sollte, kann ich auch einmal von boerse.de versuchen zu parsen....oder macht das von euch schon jemand?!
-
@villarriba sagte in Parser wird Seitenzugriff verweigert:
Vielleicht wird das ja jetzt Anlass für einen Entwickler einen Adapter für Börsenkurse anzugehen... da wäre sicherlich Nachfrage vorhanden....
so ein Entwickler würde aber auch ein hohes risiko eingehen post vom anwalt zu erhalten. Du hast schon den Inhalt der AGBs verstanden?
Wenn es jemand individuell macht, dann kann jeder selbst das Risiko eingehen.
Je nach Energie hat so ein Unternehmen, wenn es übermäßig von vielen genutzt wird, schon ein Interesse das rechtlich zu verfolgen, da kostenpflichtige Informationen (finanzen.net bekommt diese Informationen ja nicht umsonst, sondern müssen von Reutters, den Börsen oder anderen Informationsanbietern gekauft werden)
zwar kostenlos anbietet, aber auf der Seite Werbung mit angezeigt wird oder der ein oder andere dann auch die kostenpflichtigen Angebote von finanzen.net nutzt.
Bei automatischem Abruf passiert das alles nicht.Wenn die das rechtlich verfolgen wollten, dann könnten die schon Anzeige erheben. Dann würde die IP-Adresse zu einem bestimmten Zeitpunkt festgehalten werden und euer Provider müsste dann eure Anschriften mitteilen.
(Aktueller Status ist mir nicht bekannt, da ich aber auch von Fällen in den letzten 2 Jahren erfahren habe, das so ermittelt wurde, geh ich davon aus, das es immer noch gespeichert wird) -
@villarriba
Ich wundere mich regelmäßig über die Vorstellung, alles im Internet hat gefälligst kostenlos zu sein.
Ich bin mir ziemlich sicher, dass es durchaus Dienste gibt, die das auch automatisiert zur Verfügung stellen … allerdings dann gegen einen gewissen Obulus.
Wenn Du die Kurse wirklich benötigst und das keine reine Spielerei ist, solltest Du vielleicht mal überlegen, wie viel Dir das Wert ist. -
https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro Minutehttps://leeway.tech/payment/plans
70€, viele Kurseund weitere
https://geekflare.com/de/best-stock-market-api/ -
@oliverio sagte in Parser wird Seitenzugriff verweigert:
und darüber hinaus bitte auch die Nutzungsbedingungen Kapitel 6 (3) beachten:
damit war zu rechnen.
Ich habe immer wieder auf solche Passus hingewiesen und aufgerufen, wenn man es trotzdem macht dies sparsam und unregelmäßig zu tun.Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.
-
@homoran sagte in Parser wird Seitenzugriff verweigert:
Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.
Aufgrund welcher Grundlage? Nur weil jemand schreibt "automatisch auslesen verboten" ist es das noch lange nicht. Dazu hat auch der BGH (30.04.2014, Az. I ZR 224/12) klargestellt, dass screen scraping zulässig ist, wenn man keine technischen Schutzvorrichtung umgeht.
Ich behaupte einfach mal, wenn man die Daten nur für die eigenen Zwecke nutzt, und / oder sie nicht als eigene verkauft ist es legal, egal was andere schreiben oder meinen verbieten zu können.
-
@hagst sagte in Parser wird Seitenzugriff verweigert:
Aufgrund welcher Grundlage?
Vorbereitung einer dDoS Attacke!
hat es schon gegeben. -
@homoran said in Parser wird Seitenzugriff verweigert:
Vorbereitung einer dDoS Attacke!
hat es schon gegeben.Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte, solange das jemand für den Eigengebrauch macht. Aber den Ärger hat man natürlich erst mal am Hals.
Anders sieht es natürlich aus, wenn jemand Software wie einen ioBroker Adapter implementiert, der Daten einer Seite engegen deren AGB abruft.
-
Meint Ihr nicht, dass hier das Wasser ein wenig zu heiss gekocht wird?
Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.
Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?Und ich muss hagst zustimmen, nur weil ich alle 3h einen Onlinekurs für Privatzwecke abrufe, sollte sich eigentlich keine Staatsanwaltschaft für mich interessieren...
Ich werd heut einfach den Adapter einmal neu installieren und schauen ob's dann wieder funktioniert. Ich hab auch kein Problem einen vernünftigen Obolus an einen Dienst abzugeben. Der Abruf im iobroker war halt praktisch, da ich mir automatisiert immer nur relevante Stände per Nachricht zuschicken lassen konnte oder im VIS anzeigen.
Sorry, wollte hier keine Panik auslösen
-
@villarriba said in Parser wird Seitenzugriff verweigert:
Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr alle das gleiche Problem mit Finanzen-net?
Ich würde vermuten, dass Finanzen-net eine Erkennung implementiert hat, ob das ein automatisierter Zugriff ist oder nicht. Wenn man jetzt versucht, das zu umgehen (indem sich der Adapter z.B. für einen Web-Browser ausgibt), wäre das u.U. schon das Umgehen einer "technischen Schutzvorrichtung".
Ich denke nicht, dass du jetzt gleich mit einem Polizeiaufgebot vor deiner Haustür rechnen müsstest, aber mal von der rechtlichen Seite abgesehen: Moralisch so ganz sauber ist die Sache nicht. -
@oliverio said in Parser wird Seitenzugriff verweigert:
https://www.lemon.markets/de-de/preise
0€ für 10 Werte mit 10 requests pro Minute
10€ für 20 Werte mit 20 requests pro MinuteDa bin ich vorhin auch drüber gestolpert. Vom Bezahlmodell her wäre das ja prädestiniert für einen Adapter. Wer sich mit wenigen Daten begnügt zahlt nix, wer mehr braucht nimmt halt ein kostenpflichtiges Angebot. Und legal wäre es auch.
Leider gibt's da soweit ich sehe halt derzeit (noch?) nur Börse München und außerdem keine Indizes.
