Daten aus PW geschützte Website

Dr. Bakterius

Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:

Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

#!/bin/bash

# Einloggen und Cookie speichern
 wget --save-cookies cookies.txt \
     --keep-session-cookies \
     --post-data 'BENUID={username}&PASSWT={password}' \
     --delete-after \
     https://netservice.iqcard.at/de/login

# Seite mit den Preisen speichern
 wget --load-cookies cookies.txt \
     https://netservice.iqcard.at/de/netservice_preisinfo

# gespeicherte Seite in Variable einlesen
 IQWeb=$(<netservice_preisinfo)
	
# Daten auslesen
 Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
 Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)

# in ioBroker Datenpunkte schreiben
 if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
 fi

# gespeicherte Seite löschen
 rm netservice_preisinfo

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

ok, warum auch immer diese bibliothek rausgeflogen ist.

Hallo Oliver!

Durch meinen Thread ist @liv-in-sky gerade dabei, das Script von request auf axios für mich umzustellen.
Allerdings klappt nicht alles.

Könntest du da behilflich sein, oder hier helfen?

Latzi

@dr-bakterius
offenbar hat IQ die website geändert, läuft bei dir das script noch?

Negalein

@latzi sagte in Daten aus PW geschützte Website:

offenbar hat IQ die website geändert, läuft bei dir das script noch?

gerade gesehn. Läuft bei mir nicht mehr.

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

dann muss da immer auf ein skript zurückgegriffen werden

Hallo Oliver!

Die haben jetzt die Seite etwas verändert.
Könntest du dir das nochmals anschaun?

Ich schick dir per PN die benötigten Daten.

LG

Dr. Bakterius

@latzi @Negalein

Ich habe das Skript an die geänderte Seite angepasst:

#!/bin/bash

# Einloggen und Cookie speichern
 wget --save-cookies cookies.txt \
     --keep-session-cookies \
	 --post-data="Username={username}&Password={password}" \
     --delete-after \
	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb

# Seite mit den Preisen speichern
 wget --load-cookies cookies.txt \
	 https://netservice.iqcard.at/de/netservice/Preisinfo

# gespeicherte Seite in Variable einlesen
 IQWeb=$(<Preisinfo)
	
# Daten auslesen
 Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
 Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)

# in ioBroker Datenpunkte schreiben
 if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
	echo $Datum
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
	echo $Diesel
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
	echo $Benzin
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
	echo $Super
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
	echo $SuperPlus
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
 else
	echo "Datenabfrage fehlerhaft!"
 fi

# gespeicherte Seite löschen
 rm Preisinfo

Latzi

@dr-bakterius
Super, vielen Dank

OliverIO

stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau

testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.

//hier bitte konfigurieren
//datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
let user = "xxx";
let pass = "xxx";

//ab hier nix verändern
const axios = require('axios');
const cheerio = require("cheerio");
const tough = require('tough-cookie');
const { wrapper } = require('axios-cookiejar-support');

const cookieJar = new tough.CookieJar();
const client = wrapper(axios.create({
    jar: cookieJar,
    withCredentials: true,
}));

let $;
async function main() {

    const optionsStart = {
        method: 'GET',
        url: 'https://netservice.iqcard.at/de/Kunden',
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "none",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            "Referrer-Policy": "strict-origin-when-cross-origin"
        }
    };

    const optionsPreisinfo = {
        method: 'GET',
        url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            'Referer': 'https://netservice.iqcard.at/de/Kunden',
            "Referrer-Policy": "strict-origin-when-cross-origin"
        }
    };

    let responseStart, responseLogin, responsePreis;
    try {
        responseStart = await client(optionsStart);
        responseLogin = await client(getLoginOptions(responseStart));
        responsePreis = await client(optionsPreisinfo);

    } catch (error) {
        console.error('Error making the request:', error);
        return;
    }
    const data = analyze(responsePreis.data);
    writeDatapoint(data)
}

function getLoginOptions(response) {
    //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
    $ = cheerio.load(response.data);
    let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
    return {
        method: 'POST',
        url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
        data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "content-type": "application/x-www-form-urlencoded",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            'Referer': 'https://netservice.iqcard.at/de/Kunden',
            "Referrer-Policy": "strict-origin-when-cross-origin"
        },
        maxRedirects: 5, // Anzahl der zu folgenden Redirects
        withCredentials: true // für das Cookie-Handling
    };
}

function writeDatapoint(data) {
    //   log("write dpPrices");
    setState(dpPrices, JSON.stringify(data));
}

function analyze(body) {
    $ = cheerio.load(body);
    let countrys = $(".row > div > fieldset");
    let data = {}
    for (var i = 1; i < countrys.length; i++) {
        let country = getCountry(countrys[i]);
        data[country.countryname] = country;
    }
    return data;
}
function getCountry(country) {
    let data = {};
    data.services = {};
    data.info = "";
    data.countryname = $(country).find("> legend").text().trim();
    let sections = $(country).find(".accordion-item");
    for (var i = 0; i < sections.length; i++) {
        let section = $(sections[i]);

        let fields = $(section.find("fieldset div"));
        if (fields.length > 0) {
            let title = section.find("legend").text().trim();
            data.services[title] = getGasPrices(fields);
        } else {
            let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
            data.services[title] = getOtherServices(section);
        }
    }
    if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
    return data;
}
function getGasPrices(fields) {
    let data = [];
    for (var i = 0; i < fields.length; i++) {
        let field = $(fields[i]).contents();
        let date = $(field[0]).text().trim();
        let price = $(field[1]).text().trim();
        data.push({ date: date, price: price });
    }
    return data;
}
function getOtherServices(fields) {
    return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
}

main();

OliverIO

@dr-bakterius

ach, der server interessiert sich für __RequestVerificationToken
gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

läuft seit gestern Nacht einwandfrei.

Danke nochmals. Kaffee kommt demnächst.

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

ach

lass ihn dir schmecken

OliverIO

@negalein Vielen Dank, da kann ich mir ein paar Kaffee holen. Sogar den vom Blauen Berg

Latzi

@dr-bakterius
läuft bei dir das script? Ich bekomme keine Daten mehr, finde jedoch das Problem nicht. Hier meine Ausgabe des scripts:

--2024-07-02 14:03:55--  https://netservice.iqcard.at/de/Kunden?handler=SignInDb
Auflösen des Hostnamens netservice.iqcard.at (netservice.iqcard.at)… 213.33.74.115
Verbindungsaufbau zu netservice.iqcard.at (netservice.iqcard.at)|213.33.74.115|:443 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 400 Bad Request
2024-07-02 14:03:55 FEHLER 400: Bad Request.

--2024-07-02 14:03:55--  https://netservice.iqcard.at/de/netservice/Preisinfo
Auflösen des Hostnamens netservice.iqcard.at (netservice.iqcard.at)… 213.33.74.115
Verbindungsaufbau zu netservice.iqcard.at (netservice.iqcard.at)|213.33.74.115|:443 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 302 Found
Platz: https://netservice.iqcard.at/de/Kunden [folgend]
--2024-07-02 14:03:55--  https://netservice.iqcard.at/de/Kunden
Wiederverwendung der bestehenden Verbindung zu netservice.iqcard.at:443.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
Länge: nicht spezifiziert [text/html]
Wird in »Preisinfo« gespeichert.

Preisinfo                         [ <=>                                              ]  21,78K  --.-KB/s    in 0,01s

2024-07-02 14:03:55 (1,43 MB/s) - »Preisinfo« gespeichert [22304]

Datenabfrage fehlerhaft!

Dr. Bakterius

@latzi Leider wurde die Seite wieder verändert und mein primitives Skript funktioniert nicht mehr. Ich nutze jetzt das Skript von @OliverIO, das funktioniert derzeit perfekt. Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.

Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.

Negalein

@dr-bakterius sagte in Daten aus PW geschützte Website:

das Skript von @OliverIO,

das funktioniert super.

Oliver würde sich bestimmt über noch mehr Kaffee oder Bierchen freuen.

Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.

bei uns wird nur 1x/Woche aktualisiert. Das mach ich dann immer Dienstags um 00:05 Uhr.

Latzi

@dr-bakterius sagte in Daten aus PW geschützte Website:

Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.

ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.

Negalein

@latzi sagte in Daten aus PW geschützte Website:

ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.

mit Alias

Latzi

@negalein
Dankeschön, auf die Syntax wär ich vermutlich nie gekommen

Negalein

@latzi sagte in Daten aus PW geschützte Website:

auf die Syntax wär ich vermutlich nie gekommen

ich auch nicht

hab damals hier nachgefragt.

Dr. Bakterius

@latzi Oder mit einem Blockly:
Screenshot 2024-07-03 190110.png

In der Javascript-Funktion befindet sich das Skript. Das wird über den Zeitplan aufgerufen. Wenn sich im angegebenen Datenpunkt etwas geändert hat (neue Preise) wird das JSON zerlegt und in die entsprechenden Datenpunkte geladen. Im Datum entferne ich aus Platzgründen die Leerzeichen und bei den Preisen werden die Kommata durch einen Dezimalpunkt ersetzt damit der Wert in eine Zahl umgewandelt werden kann. Da kann man dann auch eine Verlaufsgrafik aus den Daten erstellen.

NEWS

Daten aus PW geschützte Website

Support us

1.3k
Online

30.7k
Users

77.4k
Topics

1.2m
Posts

NEWS

Daten aus PW geschützte Website

Support us

1.3kOnline

30.7kUsers

77.4kTopics

1.2mPosts

1.3k
Online

30.7k
Users

77.4k
Topics

1.2m
Posts