HttpGet liefert 403

David G.

Hallo,

in meinem Script zum auflösen von GPS-Koordinaten über OSM habe ich seit dem 14.06 Probleme.

Anbei der Bereich mit dem HttpGet Block

Ich meine es lief erstmal, seit ich von request umgestellt hatte.

Nun wird die Adresse nicht mehr aufgelöst. Als response kommt der Status Code 403 (forbidden).

Wenn ich die generierte URL im Browser aufrufe erhalte ich sofort die json.
https://nominatim.openstreetmap.org/reverse?lat=51.169926&lon=7.079132&format=json

Der Test hat im selben Netz stattgefunden, glaube also nicht, dass meine IP geblockt wurde.

Homoran

@david-g sagte in HttpGet liefert 403:

Status Code 403 (forbidden)

braucht die Seite (jetzt) ein login?
wie oft rufst du ab?

edit:
bei mir im Browser funktionierts.
Falls du die Adresse nicht öffentlich machen willst, bitte Link entfernen

David G.

@homoran

Nein, ein Login wird nicht benötigt.
Wenn ich die gepostete URL am PC oder Smartphone öffne erscheint sofort die json.

Alle 5min 2 Adressen. Lauft so eigentlich schon mehrere Jahre. Nur bisher eben per request (aber httpget hat schon funktioniert).

Die Adresse liegt mehre KM von meinem Wohnsitz entfernt.
Habe die URL trotzdem mal angepasst.

Marc Berg

@david-g sagte in HttpGet liefert 403:

Wenn ich die generierte URL im Browser aufrufe erhalte ich sofort die json.
https://nominatim.openstreetmap.org/reverse?lat=50.902266&lon=8.021895&format=json

Wahrscheinlich gibst Du keinen passenden User-Agent mit. Ist in den Policies gefordert:

https://operations.osmfoundation.org/policies/nominatim/

Der Test hat im selben Netz stattgefunden, glaube also nicht, dass meine IP geblockt wurde.

In Zeiten von IPv6 muss das nichts mehr heißen, da hat jedes Gerät eine eigene Adresse.

Homoran

@david-g sagte in HttpGet liefert 403:

Wenn ich die gepostete URL am PC oder Smartphone öffne erscheint sofort die json.

siehe edit.

@david-g sagte in HttpGet liefert 403:

Die Adresse liegt mehre KM von meinem Wohnsitz entfernt.

hatte mir schon gedacht, dass das eine Testadresse war

dann bliebe nur noch, dass kein Useragent mitgegeben wird und die Anfrage als Bot erkannt und gesperrt wird.

David G.

@marc-berg sagte in HttpGet liefert 403:

In Zeiten von IPv6 muss das nichts mehr heißen, da hat jedes Gerät eine eigene Adresse.

Das stimmt natürlich, so weit habe ich nicht gedacht.

@marc-berg sagte in HttpGet liefert 403:

Wahrscheinlich gibst Du keinen passenden User-Agent mit. Ist in den Policies gefordert:

Das kann sein.
Dann wäre es aber noch recht frisch, dass dies geprüft wird.
Der Request-Baustein hat diesen auch nicht mitgegeben.

Dann bleibt mir vermutlich nur die Option, das über eine JS Funktion zu lösen?
(Wo ich dann Unterstützung bräuchte^^)
Oder @haus-automatisierung baut die Option ein^^. Wobei das vermutlich nciht wirklich oft benötigt würde ......

EDIT:
Hab mir jetzt mal Data ausgeben lassen vom httpget:

script.js.Eigene_Scripte.GPS.Adresse_David: <html> <head> <title>Access blocked</title> </head> <body> <h1>Access blocked</h1> <p>You have been blocked because you have violated the <a href="https://operations.osmfoundation.org/policies/nominatim/">usage policy</a> of OSM's Nominatim geocoding service. Please be aware that OSM's resources are limited and shared between many users. The usage policy is there to ensure that the service remains usable for everybody.</p> <p>Please review the terms and make sure that your software adheres to the terms. You should in particular verify that you have set a <b>custom HTTP referrer or HTTP user agent</b> that identifies your application, and that you are not overusing the service with massive bulk requests.</p> <p>If you feel that this block is unjustified or remains after you have adopted your usage, you may contact the Nominatim system administrator at nominatim@openstreetmap.org to have this block lifted.</p> </body> </head>

Homoran

@david-g sagte in HttpGet liefert 403:

that you have set a <b>custom HTTP referrer or HTTP user agent</b> that identifies your application, and that you are not overusing the service with massive bulk requests

passt also zu den Vermutungen

Bulk Geocoding

As a general rule, bulk geocoding of larger amounts of data is not encouraged. If you have regular geocoding tasks, please, look into alternatives below. Smaller one-time bulk tasks may be permissible, if these additional rules are followed

limit your requests to a single thread
limited to 1 machine only, no distributed scripts (including multiple Amazon EC2 instances or similar)
Results must be cached on your side. Clients sending repeatedly the same query may be classified as faulty and blocked.

Unacceptable Use

The following uses are strictly forbidden and will get you banned:

Auto-complete search This is not yet supported by Nominatim and you must not implement such a service on the client side using the API.
Systematic queries This includes reverse queries in a grid, searching for complete lists of postcodes, towns etc. and downloading all POIs in an area. If you need complete sets of data, get it from the OSM planet or an extract.
Scraping of details The details page is there for debugging only and may not be downloaded automatically.

Ro75

@david-g ich hatte das selbe Problem und die Lösung. Da kommen mehrere Faktoren.

Rate-Limit von 2500 pro Tag
User-Agent: dieser sollte nicht zu "eindeutig" sein.

Habe mein Skript umgebaut und ein Random User-Agent eingebaut in Verbindung mit httpget. Und nun geht alles wieder.

Ro75.

Homoran

@ro75 sagte in HttpGet liefert 403:

Rate-Limit von 2500 pro Tag

das wäre aber schon heftig, wenn das überschritten würde!
Das sind 1.7 Anfragen pro Minute rund um die Uhr

David G.

@ro75

Das hört sich ja gut an.
Die 2500 habe ich nicht. Bei 2 Adressen alle 5min komme ich auf 576.

Dann wird es der Useragend sein.
Ich warte mal, ob @haus-automatisierung einen Vorschlag für eine Lösung mittels Blockly hat.

Sonst wird es wohl eine JS Funktion werden müssen an die ich die Koordinaten übergebe.

Edit
Ich sehe grad, ich aktualisiere doch jede Minute den Standort. Trigger aber nur auf Veränderung.
Mal sehen, ob ich das minimiert bekomme. Zb Nur wenn die Änderung größer als x Meter ist.

Ro75

@homoran ja so ist es. Und wenn man weiter googelt kommt der User-Agent ins spiel.

Hier mal mein Code:

function GeoState(lat, lon, sDP='') {
    httpGet('https://nominatim.openstreetmap.org/reverse?format=geojson&lat='+lat+'&lon='+lon, { timeout: 15000,"headers":{"User-Agent":"'" + RUA() + "'"}}, (error, response) => {
        if (!error  && response.statusCode == 200) {
            var info = JSON.parse(response.data);
            var dummy = JSON.stringify(info);
            dummy = JSON.parse(dummy).features[0].properties.address;
            setState(sDP, JSON.stringify(dummy), true);
            info = '';
            dummy = '';
        } else {
            console.error('Nominatim: '+response.statusCode);
        }    
    })
}

//Aufruf:
GeoState (getState('owntracks.0.users.XXXXX.latitude').val, getState('owntracks.0.users.XXXXX.longitude').val, XXXXXZIEL_JSONDPXXXXX);

function UAChrome() {
    const Plattform = Math.floor(Math.random() * 2)
    const chromeVersion = Math.floor(Math.random() * 20) + 60;
    const webkitVersion = Math.floor(Math.random() * 700) + 500;
    const osPlatform = Plattform == 1 ? 'Win64; x64' : 'Macintosh; Intel Mac OS X 10_15_0';
    const userAgent = `Mozilla/5.0 (${osPlatform}) AppleWebKit/${webkitVersion}.36 (KHTML, like Gecko) Chrome/${chromeVersion}.0.3163.100 Safari/${webkitVersion}.36`;
    return userAgent;
}

function UAFirefox() {
    const Plattform = Math.floor(Math.random() * 2)
    const firefoxVersion = Math.floor(Math.random() * 5) + 55;
    const geckoVersion = Math.floor(Math.random() * 30) + 20100101;
    const osPlatform = Plattform == 1 ? 'Win64; x64' : 'Macintosh; Intel Mac OS X 10_15_0';
    const userAgent = `Mozilla/5.0 (${osPlatform}; rv: ${firefoxVersion}.0) Gecko/${geckoVersion} Firefox/${firefoxVersion}.0`;
    return userAgent;
}

function UASafari() {
    const Plattform = Math.floor(Math.random() * 2)
    const safariVersion = Math.floor(Math.random() * 5) + 10;
    const osPlatform = Plattform == 1 ? 'Win64; x64' : 'Macintosh; Intel Mac OS X 10_15_0';
    const userAgent = `Mozilla/5.0 (${osPlatform}) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/${safariVersion}.1.15 Safari/605.1.15`;
    return userAgent;
  }

function UAAndroid() {
    const androidVersion = Math.floor(Math.random() * 5) + 5;
    const chromeVersion = Math.floor(Math.random() * 20) + 60;
    const webkitVersion = Math.floor(Math.random() * 700) + 500;
    const osPlatform = `Linux; Android ${androidVersion}.${Math.floor(Math.random() * 10)}; en-us; Nexus 6 Build/LYZ28M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/${chromeVersion}.0.3163.98 Mobile Safari/${webkitVersion}.36`;
    const userAgent = `Mozilla/5.0 (${osPlatform}`;
    return userAgent;
}

function UAIos() {
    const iosVersion = Math.floor(Math.random() * 5) + 9;
    const safariVersion = Math.floor(Math.random() * 5) + 600;
    const webkitVersion = Math.floor(Math.random() * 700) + 500;
    const osPlatform = `CPU iPhone OS ${iosVersion}_${Math.floor(Math.random() * 10)} like Mac OS X) AppleWebKit/${webkitVersion}.60 (KHTML, like Gecko) Version/${safariVersion}.0 Mobile/15E148 Safari/${webkitVersion}.60`;
    const userAgent = `Mozilla/5.0 (${osPlatform}`;
    return userAgent;
}

function RUA() {
    const UA = Math.floor(Math.random() * 4)
    var UserAgent = '';

    if (UA == 0) {
        UserAgent = UAChrome();
    } else if (UA == 1) {
        UserAgent = UAFirefox();
    } else if (UA == 2) {
        UserAgent = UASafari();
    } else if (UA == 3) {
        UserAgent = UAAndroid();
    } else if (UA == 4) {
        UserAgent = UAIos();
    }
    return UserAgent;
}

In diesem Beispiel kommt immer ein neuer User-Agent ins spiel. Ich habe das bei mir noch geändert, dass aller 6 Stunden nur ein neuer Agent zum tragen kommt.

Ro75.

haus-automatisierung

@david-g sagte in HttpGet liefert 403:

Ich warte mal, ob @haus-automatisierung einen Vorschlag für eine Lösung mittels Blockly hat.

Ich habe lange überlegt, ob ich eigene HTTP-Header auch im Blockly-Baustein erlaube. Aber nach den letzten Wochen hier, sind die meisten schon mit den einfachsten Bautein-Kombinationen überfordert. Selbst der neue http POST-Baustein überfordert schon die meisten...

Also ich möchte den erstmal nicht noch komplexer machen.

Ro75

@david-g sagte in HttpGet liefert 403:

Der Test hat im selben Netz stattgefunden, glaube also nicht, dass meine IP geblockt wurde.

Die Beobachtung ist korrekt. Nominatim blockt nicht eine spezielle IP, sondern einen IP-Adressbereich in Verbindung mit dem User-Agent.

Daher läuft der Aufruf vom PC ohne Probleme und der Linux-Server mit ioBroker (httpget mit vermutlich immer dem gleichen User-Agent - sofern nichts übergeben) wird geblockt.

Ro75.

David G.

@ro75

Weist du, ob man von selber freigegeben wird nach einer gewissen Zeit oder man es beantragen muss?

Ro75

@david-g brauchst gar nichts machen. Einfach mal ne Stunde pausieren und zukünftig aber mit dem User-Agent in httpget arbeiten!

Ro75.

David G.

@ro75

Bist du auch ein wenig fit in Blockly?

Kannst du mir sagen, wie deine beiden Scripte aussehen müssten, um die beiden Funktionen zu befüllen?

Ro75

@david-g Blockly nicht mein Ding. Nur JS.

Ro75.

haus-automatisierung

@david-g sagte in HttpGet liefert 403:

um die beiden Funktionen zu befüllen

Warum zwei Funktionen? Eine reicht doch?!

David G.

@haus-automatisierung

Darf auch gerne eine sein wo ich nur Koordinaten übergebe, hatte es nur so aufgeteilt da es von @Ro75 2 Teile waren.

Ro75

@david-g der erste Teil war die eigentliche Abfrage von Nominatim. Der zweite Teil ist der zufällige User-Agent, der von der ersten mit aufgerufen wird. Nur bessere Übersicht.

Ro75.

Community Forum

NEWS

HttpGet liefert 403

Bulk Geocoding

Unacceptable Use

Support us

356

32.7k

82.4k

1.3m