Daten aus PW geschützte Website

Dr. Bakterius

@latzi Leider wurde die Seite wieder verändert und mein primitives Skript funktioniert nicht mehr. Ich nutze jetzt das Skript von @OliverIO, das funktioniert derzeit perfekt. Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.

Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.

Negalein

@dr-bakterius sagte in Daten aus PW geschützte Website:

das Skript von @OliverIO,

das funktioniert super.

Oliver würde sich bestimmt über noch mehr Kaffee oder Bierchen freuen. ;)

Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.

bei uns wird nur 1x/Woche aktualisiert. Das mach ich dann immer Dienstags um 00:05 Uhr.

Latzi

@dr-bakterius sagte in Daten aus PW geschützte Website:

Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.

ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.

Negalein

@latzi sagte in Daten aus PW geschützte Website:

ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.

mit Alias

Latzi

@negalein
Dankeschön, auf die Syntax wär ich vermutlich nie gekommen

Negalein

@latzi sagte in Daten aus PW geschützte Website:

auf die Syntax wär ich vermutlich nie gekommen

ich auch nicht

hab damals hier nachgefragt.

Dr. Bakterius

@latzi Oder mit einem Blockly:
Screenshot 2024-07-03 190110.png

In der Javascript-Funktion befindet sich das Skript. Das wird über den Zeitplan aufgerufen. Wenn sich im angegebenen Datenpunkt etwas geändert hat (neue Preise) wird das JSON zerlegt und in die entsprechenden Datenpunkte geladen. Im Datum entferne ich aus Platzgründen die Leerzeichen und bei den Preisen werden die Kommata durch einen Dezimalpunkt ersetzt damit der Wert in eine Zahl umgewandelt werden kann. Da kann man dann auch eine Verlaufsgrafik aus den Daten erstellen.

Negalein

@dr-bakterius sagte in Daten aus PW geschützte Website:

Oder mit einem Blockly:

cool, das muss ich mir auch anschaun.

Dr. Bakterius

@OliverIO

Leider hat IQ Card mal wieder an der Seite gebastelt und dein Skript will nicht mehr. Kannst du das vielleicht wieder anpassen?

Negalein

@dr-bakterius sagte in Daten aus PW geschützte Website:

Kannst du das vielleicht wieder anpassen?

@OliverIO

Ja, das wäre mega lieb!

Edit: die haben gerade Probleme mit der Seite. Mal gehts, mal nicht. Mal schaun obs morgen funktioniert.

PS:: zum FF-Script komm ich erst morgen. Hatten FF-Fest ;)
Dann kommt wieder ein Pott Kaffee ;)

Negalein

@OliverIO

Website funktioniert wieder.

Aber habe gerade gesehen, dass die Preise seit mind. 1 Woche nicht mehr aktualisiert werden.

Hast du noch mein User & PWD?
Sonst schick ich dir eine PN wenn du sie nochmal benötigst.

OliverIO

@negalein

ja habe ich.
es sieht so aus, als ob der webserver von denen falsch konfiguriert wurde und nicht alle zertifikate im zertifikatenbaum für node verfügbar sind. (habs auch nur nachgelesen)

der browser funktioniert einwandfrei, da dort zusätzliche maßnahmen getroffen werden um die fehlenden zertifikate zu laden. das geht allerdings über die fähigkeiten eines skripts hinaus.
evtl gibt dafür auch eine bibliothek, muss ich aber mal noch schauen.

als workaraound funktioniert das hier bei vscode. allerdings lässt der javascript adapter einen nicht an die process variable ran. damit wird einfach die ganze zertifikatsüberprüfung abgeschaltet.

genauere beschreibung hier
https://stackoverflow.com/questions/31673587/error-unable-to-verify-the-first-certificate-in-nodejs

fehlermeldung in vscode 'UNABLE_TO_VERIFY_LEAF_SIGNATURE'
fehlermesafge in vscode 'unable to verify the first certificate'

//ab hier nix verändern
process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0;
const axios = require('axios');

informationssammlung
https://github.com/node-fetch/node-fetch/discussions/1702

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

als workaraound funktioniert das hier bei vscode

Oh, hoffe die beheben den Fehler.

Das kannn ich in JS also nicht verwenden, oder hab ich das falsch verstanden?

//ab hier nix verändern
process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0;
const axios = require('axios');

OliverIO

@negalein

ja leider

fastfoot

@oliverio sagte in Daten aus PW geschützte Website:

@negalein

ja leider

doch, geht grundsätzlich

let p=require('node:process');
//p.env.TZ='Europe/Berlin';
p.env.TZ='America/New_York';
log(new Date().toString())

OliverIO

@fastfoot

super, danke, funktioniert

OliverIO

@negalein

die folgenden 2 Zeilen an der angegebenen Stelle einfügen

//ab hier nix verändern
let p=require('node:process');
p.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0;
const axios = require('axios');

dann müsste es wieder laufen.
bitte belegentlich mal das skript komplett stoppen,
dann die Zeile p.env auskommentieren und neu starten
um zu schauen ob der fehler weg ist.

fastfoot

@oliverio sagte in Daten aus PW geschützte Website:

um zu schauen ob der fehler weg ist.

das wird nicht reichen, das environment verändert sich durch Stoppen nicht mehr(vorhin mit der TZ getestet). Ein restart des JS-Adapters sollte es aber tun

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

let p=require('node:process');
p.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0;

kommt nichts aktuelles an

OliverIO

@negalein

hier mal nochmal das ganze skript

//hier bitte konfigurieren
//datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
let user = "xxx";
let pass = "xxx";

//ab hier nix verändern
let p=require('node:process');
p.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0;
const axios = require('axios');
const cheerio = require("cheerio");
const tough = require('tough-cookie');
const { wrapper } = require('axios-cookiejar-support');

const cookieJar = new tough.CookieJar();
const client = wrapper(axios.create({
    jar: cookieJar,
    withCredentials: true,
}));

let $;
async function main() {

    const optionsStart = {
        method: 'GET',
        url: 'https://netservice.iqcard.at/de/Kunden',
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "none",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            "Referrer-Policy": "strict-origin-when-cross-origin"
        }
    };

    const optionsPreisinfo = {
        method: 'GET',
        url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            'Referer': 'https://netservice.iqcard.at/de/Kunden',
            "Referrer-Policy": "strict-origin-when-cross-origin"
        }
    };

    let responseStart, responseLogin, responsePreis;
    try {
        responseStart = await client(optionsStart);
        responseLogin = await client(getLoginOptions(responseStart));
        responsePreis = await client(optionsPreisinfo);

    } catch (error) {
        console.error('Error making the request:');
        console.error(error);
        return;
    }
    const data = analyze(responsePreis.data);
    writeDatapoint(data)
}

function getLoginOptions(response) {
    //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
    $ = cheerio.load(response.data);
    let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
    return {
        method: 'POST',
        url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
        data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "content-type": "application/x-www-form-urlencoded",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            'Referer': 'https://netservice.iqcard.at/de/Kunden',
            "Referrer-Policy": "strict-origin-when-cross-origin"
        },
        maxRedirects: 5, // Anzahl der zu folgenden Redirects
        withCredentials: true // für das Cookie-Handling
    };
}

function writeDatapoint(data) {
    log("write dpPrices");
    log(data);
    setState(dpPrices, JSON.stringify(data));
}

function analyze(body) {
    $ = cheerio.load(body);
    let countrys = $(".row > div > fieldset");
    let data = {}
    for (var i = 1; i < countrys.length; i++) {
        let country = getCountry(countrys[i]);
        data[country.countryname] = country;
    }
    return data;
}
function getCountry(country) {
    let data = {};
    data.services = {};
    data.info = "";
    data.countryname = $(country).find("> legend").text().trim();
    let sections = $(country).find(".accordion-item");
    for (var i = 0; i < sections.length; i++) {
        let section = $(sections[i]);

        let fields = $(section.find("fieldset div"));
        if (fields.length > 0) {
            let title = section.find("legend").text().trim();
            data.services[title] = getGasPrices(fields);
        } else {
            let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
            data.services[title] = getOtherServices(section);
        }
    }
    if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
    return data;
}
function getGasPrices(fields) {
    let data = [];
    for (var i = 0; i < fields.length; i++) {
        let field = $(fields[i]).contents();
        let date = $(field[0]).text().trim();
        let price = $(field[1]).text().trim();
        data.push({ date: date, price: price });
    }
    return data;
}
function getOtherServices(fields) {
    return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
}

main();

das produziert folgenden output. in zeile 4 sind die daten drin

javascript.0	19:18:27.139	info	Start JavaScript script.js.netservice (Javascript/js)
javascript.0	19:18:27.170	info	script.js.netservice: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions
javascript.0	19:18:29.730	info	script.js.netservice: write dpPrices
javascript.0	19:18:29.731	info	script.js.netservice: { 'ÖSTERREICH': { services: { 'Super Plus Preise': [Array], 'Super Preise': [Array], 'Normal Preise': [Array], 'Diesel Preise': [Array], 'Premium Diesel Preise': [Array], 'IQ Motoröle und Chemie': '10 % Rabatt', 'Autowäsche': '10 % Rabatt' }, info: '', countryname: 'ÖSTERREICH' }, 'BOSNIEN UND HERZEGOWINA': { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'BOSNIEN UND HERZEGOWINA' }, BELGIEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'BELGIEN' }, BULGARIEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'BULGARIEN' }, TSCHECHIEN: { services: { 'Diesel Preise': [Array] }, info: '', countryname: 'TSCHECHIEN' }, DEUTSCHLAND: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'DEUTSCHLAND' }, 'DÄNEMARK': { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'DÄNEMARK' }, SPANIEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'SPANIEN' }, FRANKREICH: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'FRANKREICH' }, 'GROßBRITANNIEN': { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'GROßBRITANNIEN' }, UNGARN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'UNGARN' }, ITALIEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'ITALIEN' }, LITAUEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'LITAUEN' }, LUXEMBURG: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'LUXEMBURG' }, NIEDERLANDE: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'NIEDERLANDE' }, NORWEGEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'NORWEGEN' }, POLEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'POLEN' }, 'RUMÄNIEN': { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'RUMÄNIEN' }, SCHWEDEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'SCHWEDEN' }, SLOWENIEN: { services: {}, info: 'Sie tanken zum aktuellen Pumpenabgabepreis', countryname: 'SLOWENIEN' } }
javascript.0	19:18:29.735	warn	at writeDatapoint (script.js.netservice:117:5)
javascript.0	19:18:29.736	warn	at main (script.js.netservice:80:5)

aktiviere dazu auch bitte mal in den skript einstellungen die beiden häkchen DEBUG und verbose

Community Forum

NEWS

Daten aus PW geschützte Website

Support us

517

32.8k

82.7k

1.3m