Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. Parser wird Seitenzugriff verweigert

    NEWS

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    • Monatsrückblick - April 2025

    Parser wird Seitenzugriff verweigert

    This topic has been deleted. Only users with topic management privileges can see it.
    • Homoran
      Homoran Global Moderator Administrators @OliverIO last edited by

      @oliverio sagte in Parser wird Seitenzugriff verweigert:

      und darüber hinaus bitte auch die Nutzungsbedingungen Kapitel 6 (3) beachten:

      damit war zu rechnen.
      Ich habe immer wieder auf solche Passus hingewiesen und aufgerufen, wenn man es trotzdem macht dies sparsam und unregelmäßig zu tun.

      Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.

      H 1 Reply Last reply Reply Quote 0
      • H
        hagst @Homoran last edited by hagst

        @homoran sagte in Parser wird Seitenzugriff verweigert:

        Post vom Anwalt oder gleich der Staatsanwaltschaft wäre die nächste Stufe.

        Aufgrund welcher Grundlage? Nur weil jemand schreibt "automatisch auslesen verboten" ist es das noch lange nicht. Dazu hat auch der BGH (30.04.2014, Az. I ZR 224/12) klargestellt, dass screen scraping zulässig ist, wenn man keine technischen Schutzvorrichtung umgeht.

        Ich behaupte einfach mal, wenn man die Daten nur für die eigenen Zwecke nutzt, und / oder sie nicht als eigene verkauft ist es legal, egal was andere schreiben oder meinen verbieten zu können.

        Homoran Villarriba OliverIO 3 Replies Last reply Reply Quote 0
        • Homoran
          Homoran Global Moderator Administrators @hagst last edited by

          @hagst sagte in Parser wird Seitenzugriff verweigert:

          Aufgrund welcher Grundlage?

          Vorbereitung einer dDoS Attacke!
          hat es schon gegeben.

          Gaspode 1 Reply Last reply Reply Quote 0
          • Gaspode
            Gaspode @Homoran last edited by Gaspode

            @homoran said in Parser wird Seitenzugriff verweigert:

            Vorbereitung einer dDoS Attacke!
            hat es schon gegeben.

            Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte, solange das jemand für den Eigengebrauch macht. Aber den Ärger hat man natürlich erst mal am Hals.

            Anders sieht es natürlich aus, wenn jemand Software wie einen ioBroker Adapter implementiert, der Daten einer Seite engegen deren AGB abruft.

            Homoran 1 Reply Last reply Reply Quote 0
            • Villarriba
              Villarriba @hagst last edited by Villarriba

              Meint Ihr nicht, dass hier das Wasser ein wenig zu heiss gekocht wird?
              Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.
              Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?

              Und ich muss hagst zustimmen, nur weil ich alle 3h einen Onlinekurs für Privatzwecke abrufe, sollte sich eigentlich keine Staatsanwaltschaft für mich interessieren...

              Ich werd heut einfach den Adapter einmal neu installieren und schauen ob's dann wieder funktioniert. Ich hab auch kein Problem einen vernünftigen Obolus an einen Dienst abzugeben. Der Abruf im iobroker war halt praktisch, da ich mir automatisiert immer nur relevante Stände per Nachricht zuschicken lassen konnte oder im VIS anzeigen.

              Sorry, wollte hier keine Panik auslösen 🙃

              Gaspode H 2 Replies Last reply Reply Quote 0
              • Gaspode
                Gaspode @Villarriba last edited by

                @villarriba said in Parser wird Seitenzugriff verweigert:

                Da ich von allen Seiten die ich anfrage diese Meldung bekomme, nicht nur Finanzen-net, könnte doch wohl eher ein technisches Problem auf meiner Seite vorliegen. Oder habt ihr alle das gleiche Problem mit Finanzen-net?

                Ich würde vermuten, dass Finanzen-net eine Erkennung implementiert hat, ob das ein automatisierter Zugriff ist oder nicht. Wenn man jetzt versucht, das zu umgehen (indem sich der Adapter z.B. für einen Web-Browser ausgibt), wäre das u.U. schon das Umgehen einer "technischen Schutzvorrichtung".
                Ich denke nicht, dass du jetzt gleich mit einem Polizeiaufgebot vor deiner Haustür rechnen müsstest, aber mal von der rechtlichen Seite abgesehen: Moralisch so ganz sauber ist die Sache nicht.

                1 Reply Last reply Reply Quote 2
                • Gaspode
                  Gaspode @OliverIO last edited by

                  @oliverio said in Parser wird Seitenzugriff verweigert:

                  https://www.lemon.markets/de-de/preise
                  0€ für 10 Werte mit 10 requests pro Minute
                  10€ für 20 Werte mit 20 requests pro Minute

                  Da bin ich vorhin auch drüber gestolpert. Vom Bezahlmodell her wäre das ja prädestiniert für einen Adapter. Wer sich mit wenigen Daten begnügt zahlt nix, wer mehr braucht nimmt halt ein kostenpflichtiges Angebot. Und legal wäre es auch.
                  Leider gibt's da soweit ich sehe halt derzeit (noch?) nur Börse München und außerdem keine Indizes. 😞

                  1 Reply Last reply Reply Quote 0
                  • Homoran
                    Homoran Global Moderator Administrators @Gaspode last edited by

                    @gaspode sagte in Parser wird Seitenzugriff verweigert:

                    Ich kann mir nicht vorstellen, dass ein Seitenbetreiber damit Erfolg hat bzw. hatte,

                    ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.

                    Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird.

                    Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.

                    der Rest ist Juristerei.

                    Gaspode H Villarriba 4 Replies Last reply Reply Quote 1
                    • Gaspode
                      Gaspode @Homoran last edited by Gaspode

                      @homoran said in Parser wird Seitenzugriff verweigert:

                      ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.

                      Ja klar, das kann ich mir gut vorstellen. Die Frage ist nur, wie das am Schluss ausgeht. Oder ist derjenige damals wirklich verurteilt worden?
                      Aber wie schon geschrieben: Den Ärger (und auch ggfs. Anwaltskosten) hat man natürlich trotzdem.
                      Also am Besten: Nicht machen. 🙂

                      1 Reply Last reply Reply Quote 1
                      • H
                        hagst @Villarriba last edited by

                        @villarriba sagte in Parser wird Seitenzugriff verweigert:

                        Oder habt ihr auch alle das gleiche Problem mit Finanzen-net?

                        Ich wette, finanzen.net filtert einfach nach dem user agent, denn der parser überträgt keinen. Demnach sollten alle, die mit dem Parser bei finanzen.net daten sammeln, vor der geschlossenen Tür stehen.

                        So meldet sich der Parser

                        **.***.118.188 - - [11/Jan/2023:08:36:53 +0100] "GET / HTTP/1.1" 200 7309 "-" "-"
                        

                        z.B. bei meinem Server an .

                        1 Reply Last reply Reply Quote 0
                        • H
                          hagst @Homoran last edited by hagst

                          @homoran sagte in Parser wird Seitenzugriff verweigert:

                          Als Hausherr hat er Regeln aufgestellt, die mit der Nutzung akzeptiert werden.

                          Dann hat man ja richtiges Glück, wenn er nicht geschrieben hat "Die Nutzung verpflichtet dazu, das Erbe der Oma in Alkohol umzusetzen" oder? Schreiben kann man viel und "Papier ist geduldig". Ich habe mich beim screen scraping zu nichts verpflichtet. Es ist nunmal erlaubt und fertig. Ich glaube, dass der BGH nicht so einfach überstimmt werden kann, nur weil irgendjemand irgendwo, irgendwas in irgendwelche Nutzungsbedingungen geschrieben hat.

                          1 Reply Last reply Reply Quote 0
                          • Gaspode
                            Gaspode @Homoran last edited by

                            @homoran said in Parser wird Seitenzugriff verweigert:

                            ist hier im Forum dokumentiert! Incl. Beschlagnahme des RasPi.

                            Hab gerade den entsprechenden Thread gelesen. Da hat der Gute ja nochmal Glück gehabt.
                            Der Fall ist gut, um sich immer mal wieder klar zu machen, was für Folgen so ein einfaches Script o.ä. haben kann, sei es aus Absicht oder wegen eines dummen Fehlers. Immer schön aufpassen, besonders wenn auch noch Regierungsseiten im Spiel sind. 😆
                            Danke für den Hinweis auf das Beispiel.

                            1 Reply Last reply Reply Quote 1
                            • Villarriba
                              Villarriba @Homoran last edited by Villarriba

                              @homoran sagte in Parser wird Seitenzugriff verweigert:

                              Natürlich ist eine häufige automatische Abfrage von vielen Usern mit mehr Traffic auf dem Server verbunden, was dem Seitenbetreiber bestenfalls nicht gefallen wird

                              ....da kommt ja noch hinzu, dass der Parser auch nicht die ganze Werbung dort liest und auch keine cookies frist 😁

                              1 Reply Last reply Reply Quote 0
                              • OliverIO
                                OliverIO @hagst last edited by OliverIO

                                @hagst sagte in Parser wird Seitenzugriff verweigert:

                                BGH (30.04.2014, Az. I ZR 224/12)

                                Da hast du Recht,

                                Aber ein Skript oder Adapter würde ich trotzdem nicht entwickeln wollen.
                                So wie du auch geschrieben hast, in der nächsten Runde geht es dann darum,
                                was eine "technische Schutzmaßnahme" (Auswertung user agent id) ist.

                                Aber man kann ja relativ einfach die funktionsweise des parser-adapters zusammen mit ein wenig regex in javascript nachbilden. da kann man ja dann den user agent string entsprechend richtig mitgeben oder man routet die Anfrage durch das tor-Netzwerk https://www.npmjs.com/package/tor-request
                                🙂

                                1 Reply Last reply Reply Quote 0
                                • OliverIO
                                  OliverIO last edited by

                                  @villarriba sagte in Parser wird Seitenzugriff verweigert:

                                  Vielleicht ist das ja wirklich nur ein internes Problem in meinem System oder im iobroker oder im Adapter, dass der Zugriff verweigert wird.

                                  Nein,
                                  ich habe es gerade hier probiert. Da kommt die selbe Fehlermeldung.

                                  Villarriba 1 Reply Last reply Reply Quote 0
                                  • Villarriba
                                    Villarriba @OliverIO last edited by Villarriba

                                    @oliverio
                                    Ja, ein internes Problem kann ich jetzt auch ausschließen.
                                    Ich bin mir sicher, dass eine unglaubliche Anzahl an Usern über RegEx die Kurse automatisch abrufen. Sicherlich ist das so aus besagten Gründen nicht gerne von den Betreibern gesehen, aber wenn ich diese Daten frei zugänglich anbiete, sollte ich davon ausgehen das diese Werte auch automatisch abgefragt werden.
                                    Was ja eigentlich nur für informative Zwecke genutzt werden kann, da die Daten alles andere als "Live" sind und fürs trading nicht zu gebrauchen sind. Da gibts Zeitverschiebungen von 5 - 15 Minuten.

                                    Ich hab jetzt bei boerse-de probiert und da funktioniert es noch ohne Probleme. 😊
                                    Ich frag da jetzt nur 3x pro Tag ab, mehr brauche ich ja nicht und werte die Daten für Pushnachrichten aus.

                                    Also da jetzt kein Technisches Problem meiner Seits vorliegt, kann ich das Thema ja auf gelöst setzen, oder? (..wo mach ich das schnell wieder?!)
                                    Sorry, dass ich hier fast eine Lawine losgetreten hätte 😀

                                    Codierknecht OliverIO 2 Replies Last reply Reply Quote 0
                                    • Codierknecht
                                      Codierknecht Developer Most Active @Villarriba last edited by

                                      @villarriba sagte in Parser wird Seitenzugriff verweigert:

                                      Sorry, dass ich hier fast eine Lawine losgetreten hätte

                                      Darüber zerbrech' Dir mal nicht den Kopf.
                                      Ich denke es ist für den Einen oder Anderen durchaus interessant, mal wieder (oder überhaupt mal) über das Thema "Nutzungsbedingungen" und andere rechtliche Dinge nachzudenken.

                                      Wenn der Thread dann für Dich erledigt ist, setze bitte ein "[gelöst] - " vor den Titel des Eingangspost.

                                      1 Reply Last reply Reply Quote 1
                                      • OliverIO
                                        OliverIO @Villarriba last edited by

                                        @villarriba

                                        jeder der das gleiche Problem mit finanzen hat wird ebenfalls auf diesen
                                        thread stoßen.
                                        Dann wissen alle Bescheid.

                                        1 Reply Last reply Reply Quote 1
                                        • First post
                                          Last post

                                        Support us

                                        ioBroker
                                        Community Adapters
                                        Donate
                                        FAQ Cloud / IOT
                                        HowTo: Node.js-Update
                                        HowTo: Backup/Restore
                                        Downloads
                                        BLOG

                                        1.0k
                                        Online

                                        31.7k
                                        Users

                                        79.6k
                                        Topics

                                        1.3m
                                        Posts

                                        parser adapter
                                        7
                                        31
                                        1824
                                        Loading More Posts
                                        • Oldest to Newest
                                        • Newest to Oldest
                                        • Most Votes
                                        Reply
                                        • Reply as topic
                                        Log in to reply
                                        Community
                                        Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                        The ioBroker Community 2014-2023
                                        logo