Daten aus PW geschützte Website

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

DieselPreis">(.*)<

ich komm nicht weiter.
Habe jetzt bemerkt, dass im Quelltext, den der Parser ausliest, der DieselPreis nicht enthalten ist.

Warum liest der Parser den Quelltext anders aus?

Codierknecht

@negalein sagte in Daten aus PW geschützte Website:

Habe jetzt bemerkt, dass im Quelltext, den der Parser ausliest, der DieselPreis nicht enthalten ist.

Das ist die Anmeldeseite. Offenbar kommt man über Benutzername/Kennwort als Teil des URL nicht rein.

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

Das ist die Anmeldeseite. Offenbar kommt man über Benutzername/Kennwort als Teil des URL nicht rein.

schade :slightly_frowning_face:

OliverIO

@codierknecht sagte in Daten aus PW geschützte Website:

https://user:password@adresse.de

das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll. manche seiten unterstützen das zwar noch, ist aber bei modernen seiten eher unüblich.
meist wird oauth genommen (aber es gibt glaube ich noch 2-3 andere relevante)
aber all dies kann der parser adapter nicht, dann muss da immer auf ein skript zurückgegriffen werden.

warum sind diese Preise nicht im adapter tankerkönig enthalten?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

dann muss da immer auf ein skript zurückgegriffen werden.

also mit einem Script würde es funktionieren?

@oliverio sagte in Daten aus PW geschützte Website:

warum sind diese Preise nicht im adapter tankerkönig enthalten?

dies sind Spezialpreise von einem Verein ausgehandelt.

OliverIO

@negalein
ich denke schon. das skript muss genau das machen, was der anwender macht.
das kann auch etwas aufwändiger sein, also nicht nur 2-3 zeilen.
wenn der anbieter es einem noch schwerer machen will kann er auch dinge einbauen, die es nicht mehr mit vertretbaren aufwand rechtfertigt.
ggfs kann man auch mit pupettier arbeiten, darüber den anmelde vorgang durchführen und dann erst die ergebnisseite auswerten.
allerdings ist das resourcentechnisch auch aufwändig (kompletter browser wird im hintergrund geladen)

daher: gibt es die preise nicht auch noch woanders?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

das kann auch etwas aufwändiger sein, also nicht nur 2-3 zeilen.

ich hab von JS leider 0 Ahnung.
Könntest du sowas? Natürlich nicht umsonst.

daher: gibt es die preise nicht auch noch woanders?

genau.
Diese Preise gelten österreichweit von Montag bis Sonntag

OliverIO

@negalein

ich könnte mal reinschauen und eine vorabanalyse machen.
dazu würde ich aber den Zugang benötigen oder gibt es einen demo-zugang?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

dazu würde ich aber den Zugang benötigen oder gibt es einen demo-zugang?

PN

Codierknecht

@oliverio sagte in Daten aus PW geschützte Website:

das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll

Ist aber noch nicht bei allen Seitenbetreibern angekommen ... hier offenbar schon ;.)

Security sucks :grin:

OliverIO

@negalein

so hier ist das script.
allerdings war es doch eine kleine Herausforderung, da ich 3 Bibliotheken (node-fetch,axios,cURL) probieren musste und dann doch am alten request/request hängen geblieben bin.
Diese bibliothek ist zwar deprecated (weil zu Ende entwickelt), aber die einzige
die sogenannte cookie-jars unterstützt, bzw wo es auch funktioniert.
Da hier die Anmeldung über mehrere Seitenaufrufe realisiert wird und die SessionID sozusagen als Authentifizierungs-Token dient, müssen die cookies hier bei jedem request mitgeführt werden.
OK es wäre auch anders gegangen, aber ich war faul.

du musst nur noch deinen user und passwort wieder ins skript eintragen und laufen lassen.
der datenpunktname ebenfalls noch anpassen und er muss vor start existieren.
da ich alle werte (alle treibstoffarten+gültigkeit+preis) auslese, habe ich diese in ein json gesammelt und das landet dann im datenpunkt.

wenn die richtige seite dann geladen ist, wird mit cheerio (dies bildet jquery ausserhalb des browsers nach), wird die html-dom gelesen, die werte extrahiert und noch ein wenig bereinigt.

es ist jetzt alles sehr kompakt, wer fragen hat, weil er was nicht lesen oder verstehen kann, kann gerne fragen.

dieser Lösungsansatz wäre für alle Formular+Session basierten Authentifizierungen möglich.

const dpPrices = "javascript.0.test1";
var user = "xxx";
var pass = "xxx";


const request = require("request");
const cheerio = require("cheerio");

async function main() {

  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };
  request.jar();
  request.post(optionsLogin,()=>{
    request.get(optionsPriceinfo,(error, response, body)=>{
      const $ = cheerio.load(body);
      let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
      let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
        return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
      }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
      let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());
      if (titles.length==dates.length && titles.length==prices.length) {
        console.debug("website structure OK, found matching elements");
      } else {
        console.debug("website structure is not OK, elements doesnt match");
        return;
      }
      let data={};
      for (var i=0;i<titles.length;i++) {
        data[titles[i]]={
          title:titles[i],
          date:dates[i],
          price:prices[i]
        };
      };
      console.debug(data);
      writeDatapoint(data);
    });
  });
  function writeDatapoint(data) {
    console.debug("write dpPrices");
    setState(dpPrices,JSON.stringify(data));
  }
}
main()

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

so hier ist das script.

Cool
DANKE
Du bist Mega!

dpPrices = "javascript.0.test1";

Dieser DP muss vor Scriptstart existieren?
Bzw. Kann ich dort auch userdata.0 verwenden?

OliverIO

@negalein

wie du magst. da kannst du auch userdata.0 verwenden

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

@negalein

wie du magst. da kannst du auch userdata.0 verwenden

probiere es gleich :)

OliverIO

@negalein

ach ich vergaß,
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
request nicht, da es schon im iobroker enthalten ist

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen

mach ich

body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",

Wo gehören hier die Zugangsdaten?
Bei BENUID= und &PASSWT=? Oder bei user und pass?

OliverIO

@negalein

die xxx jeweils in Zeile 2+3 ersetzen

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

die xxx jeweils in Zeile 2+3 ersetzen

gefunden :)

Negalein

@OliverIO

Ich seh im DP zwar Werte

aber klick ich den Wert an, kommt nur

in VIS im JSON-Widget kommt auch nur

OliverIO

@negalein
welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

Community Forum

NEWS

Daten aus PW geschützte Website

Support us

482

32.4k

81.5k

1.3m