Daten aus PW geschützte Website

Codierknecht

@negalein
Vielleicht klappt das:

https://user:password@adresse.de

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

Vielleicht klappt das:

ich möchte gern nur den Preis auslesen und in einen DP schreiben.
Leider hab ich von JS 0 Ahnung.

Codierknecht

@negalein sagte in Daten aus PW geschützte Website:

Leider hab ich von JS 0 Ahnung

Das ist ja auch der URL - hat mit JS nix zu tun.
Zum Auslesen kannst Du dann den Parser-Adapter verwenden.

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

Zum Auslesen kannst Du dann den Parser-Adapter verwenden.

wüsstest du vielleicht noch, was dann ins Feld RegEx kommt?

So kommt die komplette Seite

Im Quelltext kommt dies vor.

<div class="preismast hidden-xs">
										<div style="color:#FEFEFE; text-align:center">05.12.2022-11.12.2022</div>
										<div class="preismastDieselPreis">1,685</div>
										<div class="preismastBenzinPreis">1,498</div>
										<div class="preismastSuperPreis">1,498</div>
										<div class="preismastSuperplusPreis">1,642</div>
										</div>

Benötigen würde ich den Preis von preismastDieselPreis

Codierknecht

@negalein sagte in Daten aus PW geschützte Website:

wüsstest du vielleicht noch, was dann ins Feld RegEx kommt?

(?<=DieselPreis\"\>)(.*?)(?=\<)

https://letmegooglethat.com/?q=regex+match+between+two+strings

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

(?<=DieselPreis">)(.*?)(?=<)

im Log kommt dann Cannot find number in answer for parser.0.IQ

https://letmegooglethat.com/?q=regex+match+between+two+strings

Hihi, die Tante hab ich gefragt. Aber nur auf deutsch.

Negalein

@codierknecht

PS: ich würde den Preis benötigen. Aktuell sind es die 1,685

Codierknecht

@negalein

DieselPreis\"\>(.*)\<

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

DieselPreis">(.*)<

ich komm nicht weiter.
Habe jetzt bemerkt, dass im Quelltext, den der Parser ausliest, der DieselPreis nicht enthalten ist.

Warum liest der Parser den Quelltext anders aus?

Codierknecht

@negalein sagte in Daten aus PW geschützte Website:

Habe jetzt bemerkt, dass im Quelltext, den der Parser ausliest, der DieselPreis nicht enthalten ist.

Das ist die Anmeldeseite. Offenbar kommt man über Benutzername/Kennwort als Teil des URL nicht rein.

Negalein

@codierknecht sagte in Daten aus PW geschützte Website:

Das ist die Anmeldeseite. Offenbar kommt man über Benutzername/Kennwort als Teil des URL nicht rein.

schade :slightly_frowning_face:

OliverIO

@codierknecht sagte in Daten aus PW geschützte Website:

https://user:password@adresse.de

das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll. manche seiten unterstützen das zwar noch, ist aber bei modernen seiten eher unüblich.
meist wird oauth genommen (aber es gibt glaube ich noch 2-3 andere relevante)
aber all dies kann der parser adapter nicht, dann muss da immer auf ein skript zurückgegriffen werden.

warum sind diese Preise nicht im adapter tankerkönig enthalten?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

dann muss da immer auf ein skript zurückgegriffen werden.

also mit einem Script würde es funktionieren?

@oliverio sagte in Daten aus PW geschützte Website:

warum sind diese Preise nicht im adapter tankerkönig enthalten?

dies sind Spezialpreise von einem Verein ausgehandelt.

OliverIO

@negalein
ich denke schon. das skript muss genau das machen, was der anwender macht.
das kann auch etwas aufwändiger sein, also nicht nur 2-3 zeilen.
wenn der anbieter es einem noch schwerer machen will kann er auch dinge einbauen, die es nicht mehr mit vertretbaren aufwand rechtfertigt.
ggfs kann man auch mit pupettier arbeiten, darüber den anmelde vorgang durchführen und dann erst die ergebnisseite auswerten.
allerdings ist das resourcentechnisch auch aufwändig (kompletter browser wird im hintergrund geladen)

daher: gibt es die preise nicht auch noch woanders?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

das kann auch etwas aufwändiger sein, also nicht nur 2-3 zeilen.

ich hab von JS leider 0 Ahnung.
Könntest du sowas? Natürlich nicht umsonst.

daher: gibt es die preise nicht auch noch woanders?

genau.
Diese Preise gelten österreichweit von Montag bis Sonntag

OliverIO

@negalein

ich könnte mal reinschauen und eine vorabanalyse machen.
dazu würde ich aber den Zugang benötigen oder gibt es einen demo-zugang?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

dazu würde ich aber den Zugang benötigen oder gibt es einen demo-zugang?

PN

Codierknecht

@oliverio sagte in Daten aus PW geschützte Website:

das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll

Ist aber noch nicht bei allen Seitenbetreibern angekommen ... hier offenbar schon ;.)

Security sucks :grin:

OliverIO

@negalein

so hier ist das script.
allerdings war es doch eine kleine Herausforderung, da ich 3 Bibliotheken (node-fetch,axios,cURL) probieren musste und dann doch am alten request/request hängen geblieben bin.
Diese bibliothek ist zwar deprecated (weil zu Ende entwickelt), aber die einzige
die sogenannte cookie-jars unterstützt, bzw wo es auch funktioniert.
Da hier die Anmeldung über mehrere Seitenaufrufe realisiert wird und die SessionID sozusagen als Authentifizierungs-Token dient, müssen die cookies hier bei jedem request mitgeführt werden.
OK es wäre auch anders gegangen, aber ich war faul.

du musst nur noch deinen user und passwort wieder ins skript eintragen und laufen lassen.
der datenpunktname ebenfalls noch anpassen und er muss vor start existieren.
da ich alle werte (alle treibstoffarten+gültigkeit+preis) auslese, habe ich diese in ein json gesammelt und das landet dann im datenpunkt.

wenn die richtige seite dann geladen ist, wird mit cheerio (dies bildet jquery ausserhalb des browsers nach), wird die html-dom gelesen, die werte extrahiert und noch ein wenig bereinigt.

es ist jetzt alles sehr kompakt, wer fragen hat, weil er was nicht lesen oder verstehen kann, kann gerne fragen.

dieser Lösungsansatz wäre für alle Formular+Session basierten Authentifizierungen möglich.

const dpPrices = "javascript.0.test1";
var user = "xxx";
var pass = "xxx";


const request = require("request");
const cheerio = require("cheerio");

async function main() {

  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };
  request.jar();
  request.post(optionsLogin,()=>{
    request.get(optionsPriceinfo,(error, response, body)=>{
      const $ = cheerio.load(body);
      let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
      let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
        return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
      }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
      let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());
      if (titles.length==dates.length && titles.length==prices.length) {
        console.debug("website structure OK, found matching elements");
      } else {
        console.debug("website structure is not OK, elements doesnt match");
        return;
      }
      let data={};
      for (var i=0;i<titles.length;i++) {
        data[titles[i]]={
          title:titles[i],
          date:dates[i],
          price:prices[i]
        };
      };
      console.debug(data);
      writeDatapoint(data);
    });
  });
  function writeDatapoint(data) {
    console.debug("write dpPrices");
    setState(dpPrices,JSON.stringify(data));
  }
}
main()

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

so hier ist das script.

Cool
DANKE
Du bist Mega!

dpPrices = "javascript.0.test1";

Dieser DP muss vor Scriptstart existieren?
Bzw. Kann ich dort auch userdata.0 verwenden?

Community Forum

NEWS

Daten aus PW geschützte Website

Support us

472

32.4k

81.5k

1.3m