Skip to content
  • Home
  • Aktuell
  • Tags
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. ioBroker Allgemein
  4. Daten aus PW geschützte Website

NEWS

  • UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?
    apollon77A
    apollon77
    48
    3
    8.9k

  • Monatsrückblick – September 2025
    BluefoxB
    Bluefox
    13
    1
    2.3k

  • Neues Video "KI im Smart Home" - ioBroker plus n8n
    BluefoxB
    Bluefox
    16
    1
    3.6k

Daten aus PW geschützte Website

Geplant Angeheftet Gesperrt Verschoben ioBroker Allgemein
126 Beiträge 7 Kommentatoren 12.6k Aufrufe 7 Watching
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • NegaleinN Negalein

    @johgre sagte in Daten aus PW geschützte Website:

    aber noch viele Europäische Länder mit unterschiedlichen Preisen

    interessant wie unterschiedlich mit IQ verhandelt wird.
    Wir (Siedlerverein) können nur in Österreich billiger tanken.

    OliverIOO Offline
    OliverIOO Offline
    OliverIO
    schrieb am zuletzt editiert von OliverIO
    #79

    @negalein
    @Latzi

    So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

    //hier bitte konfigurieren
    //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
    const dpPrices = "javascript.0.test1";
    let user = "xxx";
    let pass = "xxx";
    
    //ab hier nix verändern
    const request = require("request");
    const cheerio = require("cheerio");
    
    let $;
    async function main() {
    
      var optionsLogin = {
        method: 'POST',
        url: "https://netservice.iqcard.at/de/login",
        body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
        jar: true,
        followRedirect: true,
        followAllRedirects: true,
        headers: {
          "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
          "accept-encoding": "gzip, deflate, br",
          "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
          "cache-control": "no-cache",
          "content-type": "application/x-www-form-urlencoded",
          "dnt": "1",
          "origin": "https://netservice.iqcard.at",
          "pragma": "no-cache",
          "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
          "sec-ch-ua-mobile": "?0",
          "sec-ch-ua-platform": "\"Windows\"",
          "sec-fetch-dest": "empty",
          "sec-fetch-mode": "cors",
          "sec-fetch-site": "same-origin",
          "upgrade-insecure-requests": "1",
          "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
          "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
          "Referer": "https://netservice.iqcard.at/de/kunden"
        }
      };
      var optionsPriceinfo = {
        method: 'GET',
        url: "https://netservice.iqcard.at/de/netservice_preisinfo",
        jar: true,
        followRedirect: true,
        followAllRedirects: true,
        headers: {
          "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
          "accept-encoding": "gzip, deflate, br",
          "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
          "cache-control": "no-cache",
          "dnt": "1",
          "origin": "https://netservice.iqcard.at",
          "pragma": "no-cache",
          "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
          "sec-ch-ua-mobile": "?0",
          "sec-ch-ua-platform": "\"Windows\"",
          "sec-fetch-dest": "empty",
          "sec-fetch-mode": "cors",
          "sec-fetch-site": "same-origin",
          "sec-fetch-user": "?1",
          "upgrade-insecure-requests": "1",
          "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
          "Referer": "https://netservice.iqcard.at/de/netservice"
        }
      };
    
      request.jar();
      request.post(optionsLogin, () => {
        request.get(optionsPriceinfo, (error, response, body) => {
          let data = analyze(body);
          log(data);
          writeDatapoint(data);
        });
      });
     function writeDatapoint(data) {
       log("write dpPrices");
       setState(dpPrices,JSON.stringify(data));
     }
    }
    main()
    
    function analyze(body) {
      $ = cheerio.load(body);
      let countrys = $(".row > div > fieldset");
      let data = {}
      for (var i = 1; i < countrys.length; i++) {
        let country = getCountry(countrys[i]);
        data[country.countryname] = country;
      }
      return data;
    }
    function getCountry(country) {
      let data = {};
      data.services = {};
      data.info = "";
      data.countryname = $(country).find("> legend").text().trim();
      let sections = $(country).find(".panel .panel-heading");
      for (var i = 0; i < sections.length; i++) {
        let section = $(sections[i]);
        let title = section.text().trim();
        let fields = $(section.next().find("fieldset"));
        if (fields.length > 0) {
          data.services[title] = getGasPrices(fields);
        } else {
          data.services[title] = getOtherServices(section.next());
        }
      }
      if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
      return data;
    }
    function getGasPrices(fields) {
      let data = [];
      for (var i = 0; i < fields.contents().length; i++) {
        let field = fields.contents()[i];
        if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
          let date = field.data.replace(/\s/gm, "");
          let price = $(field).next().text();
          data.push({ date: date, price: price });
        }
      }
      return data;
    }
    function getOtherServices(fields) {
      return fields.text().trim();
    }  
    

    die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

    {
     "ÖSTERREICH": {
       "services": {
         "Super Plus": [
           {
             "date": "05.12.2022-11.12.2022:",
             "price": "1,642 EUR"
           }
         ],
         "Super": [
           {
             "date": "05.12.2022-11.12.2022:",
             "price": "1,498 EUR"
           }
         ],
         "Normal": [
           {
             "date": "05.12.2022-11.12.2022:",
             "price": "1,498 EUR"
           }
         ],
         "Diesel": [
           {
             "date": "05.12.2022-11.12.2022:",
             "price": "1,685 EUR"
           }
         ],
         "Premium Diesel": [
           {
             "date": "05.12.2022-11.12.2022:",
             "price": "1,919 EUR"
           }
         ],
         "IQ Motoröle und Chemie": "10 % Rabatt",
         "Autowäsche": "10 % Rabatt"
       },
       "info": "",
       "countryname": "ÖSTERREICH"
     },
     "BOSNIEN UND HERZEGOWINA": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "BOSNIEN UND HERZEGOWINA"
     },
     "BELGIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "BELGIEN"
     },
     "BULGARIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "BULGARIEN"
     },
     "DEUTSCHLAND": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "DEUTSCHLAND"
     },
     "DÄNEMARK": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "DÄNEMARK"
     },
     "SPANIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "SPANIEN"
     },
     "FRANKREICH": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "FRANKREICH"
     },
     "GROßBRITANNIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "GROßBRITANNIEN"
     },
     "UNGARN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "UNGARN"
     },
     "ITALIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "ITALIEN"
     },
     "LITAUEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "LITAUEN"
     },
     "LUXEMBURG": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "LUXEMBURG"
     },
     "NIEDERLANDE": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "NIEDERLANDE"
     },
     "NORWEGEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "NORWEGEN"
     },
     "POLEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "POLEN"
     },
     "RUMÄNIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "RUMÄNIEN"
     },
     "SLOWENIEN": {
       "services": {},
       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
       "countryname": "SLOWENIEN"
     }
    }
    

    Meine Adapter und Widgets
    TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
    Links im Profil

    LatziL NegaleinN 3 Antworten Letzte Antwort
    2
    • OliverIOO OliverIO

      @negalein
      @Latzi

      So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

      //hier bitte konfigurieren
      //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
      const dpPrices = "javascript.0.test1";
      let user = "xxx";
      let pass = "xxx";
      
      //ab hier nix verändern
      const request = require("request");
      const cheerio = require("cheerio");
      
      let $;
      async function main() {
      
        var optionsLogin = {
          method: 'POST',
          url: "https://netservice.iqcard.at/de/login",
          body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
          jar: true,
          followRedirect: true,
          followAllRedirects: true,
          headers: {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
            "accept-encoding": "gzip, deflate, br",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "content-type": "application/x-www-form-urlencoded",
            "dnt": "1",
            "origin": "https://netservice.iqcard.at",
            "pragma": "no-cache",
            "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "empty",
            "sec-fetch-mode": "cors",
            "sec-fetch-site": "same-origin",
            "upgrade-insecure-requests": "1",
            "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
            "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
            "Referer": "https://netservice.iqcard.at/de/kunden"
          }
        };
        var optionsPriceinfo = {
          method: 'GET',
          url: "https://netservice.iqcard.at/de/netservice_preisinfo",
          jar: true,
          followRedirect: true,
          followAllRedirects: true,
          headers: {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
            "accept-encoding": "gzip, deflate, br",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "dnt": "1",
            "origin": "https://netservice.iqcard.at",
            "pragma": "no-cache",
            "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "empty",
            "sec-fetch-mode": "cors",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
            "Referer": "https://netservice.iqcard.at/de/netservice"
          }
        };
      
        request.jar();
        request.post(optionsLogin, () => {
          request.get(optionsPriceinfo, (error, response, body) => {
            let data = analyze(body);
            log(data);
            writeDatapoint(data);
          });
        });
       function writeDatapoint(data) {
         log("write dpPrices");
         setState(dpPrices,JSON.stringify(data));
       }
      }
      main()
      
      function analyze(body) {
        $ = cheerio.load(body);
        let countrys = $(".row > div > fieldset");
        let data = {}
        for (var i = 1; i < countrys.length; i++) {
          let country = getCountry(countrys[i]);
          data[country.countryname] = country;
        }
        return data;
      }
      function getCountry(country) {
        let data = {};
        data.services = {};
        data.info = "";
        data.countryname = $(country).find("> legend").text().trim();
        let sections = $(country).find(".panel .panel-heading");
        for (var i = 0; i < sections.length; i++) {
          let section = $(sections[i]);
          let title = section.text().trim();
          let fields = $(section.next().find("fieldset"));
          if (fields.length > 0) {
            data.services[title] = getGasPrices(fields);
          } else {
            data.services[title] = getOtherServices(section.next());
          }
        }
        if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
        return data;
      }
      function getGasPrices(fields) {
        let data = [];
        for (var i = 0; i < fields.contents().length; i++) {
          let field = fields.contents()[i];
          if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
            let date = field.data.replace(/\s/gm, "");
            let price = $(field).next().text();
            data.push({ date: date, price: price });
          }
        }
        return data;
      }
      function getOtherServices(fields) {
        return fields.text().trim();
      }  
      

      die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

      {
       "ÖSTERREICH": {
         "services": {
           "Super Plus": [
             {
               "date": "05.12.2022-11.12.2022:",
               "price": "1,642 EUR"
             }
           ],
           "Super": [
             {
               "date": "05.12.2022-11.12.2022:",
               "price": "1,498 EUR"
             }
           ],
           "Normal": [
             {
               "date": "05.12.2022-11.12.2022:",
               "price": "1,498 EUR"
             }
           ],
           "Diesel": [
             {
               "date": "05.12.2022-11.12.2022:",
               "price": "1,685 EUR"
             }
           ],
           "Premium Diesel": [
             {
               "date": "05.12.2022-11.12.2022:",
               "price": "1,919 EUR"
             }
           ],
           "IQ Motoröle und Chemie": "10 % Rabatt",
           "Autowäsche": "10 % Rabatt"
         },
         "info": "",
         "countryname": "ÖSTERREICH"
       },
       "BOSNIEN UND HERZEGOWINA": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "BOSNIEN UND HERZEGOWINA"
       },
       "BELGIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "BELGIEN"
       },
       "BULGARIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "BULGARIEN"
       },
       "DEUTSCHLAND": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "DEUTSCHLAND"
       },
       "DÄNEMARK": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "DÄNEMARK"
       },
       "SPANIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "SPANIEN"
       },
       "FRANKREICH": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "FRANKREICH"
       },
       "GROßBRITANNIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "GROßBRITANNIEN"
       },
       "UNGARN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "UNGARN"
       },
       "ITALIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "ITALIEN"
       },
       "LITAUEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "LITAUEN"
       },
       "LUXEMBURG": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "LUXEMBURG"
       },
       "NIEDERLANDE": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "NIEDERLANDE"
       },
       "NORWEGEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "NORWEGEN"
       },
       "POLEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "POLEN"
       },
       "RUMÄNIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "RUMÄNIEN"
       },
       "SLOWENIEN": {
         "services": {},
         "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
         "countryname": "SLOWENIEN"
       }
      }
      

      LatziL Offline
      LatziL Offline
      Latzi
      schrieb am zuletzt editiert von
      #80

      @oliverio
      klappt perfekt :clap: :clap:
      Ergebnis-JSON mit 270 Zeilen ist eine Ansage ;-)

      1 Antwort Letzte Antwort
      0
      • OliverIOO OliverIO

        @negalein
        @Latzi

        So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

        //hier bitte konfigurieren
        //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
        const dpPrices = "javascript.0.test1";
        let user = "xxx";
        let pass = "xxx";
        
        //ab hier nix verändern
        const request = require("request");
        const cheerio = require("cheerio");
        
        let $;
        async function main() {
        
          var optionsLogin = {
            method: 'POST',
            url: "https://netservice.iqcard.at/de/login",
            body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
            jar: true,
            followRedirect: true,
            followAllRedirects: true,
            headers: {
              "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
              "accept-encoding": "gzip, deflate, br",
              "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
              "cache-control": "no-cache",
              "content-type": "application/x-www-form-urlencoded",
              "dnt": "1",
              "origin": "https://netservice.iqcard.at",
              "pragma": "no-cache",
              "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
              "sec-ch-ua-mobile": "?0",
              "sec-ch-ua-platform": "\"Windows\"",
              "sec-fetch-dest": "empty",
              "sec-fetch-mode": "cors",
              "sec-fetch-site": "same-origin",
              "upgrade-insecure-requests": "1",
              "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
              "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
              "Referer": "https://netservice.iqcard.at/de/kunden"
            }
          };
          var optionsPriceinfo = {
            method: 'GET',
            url: "https://netservice.iqcard.at/de/netservice_preisinfo",
            jar: true,
            followRedirect: true,
            followAllRedirects: true,
            headers: {
              "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
              "accept-encoding": "gzip, deflate, br",
              "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
              "cache-control": "no-cache",
              "dnt": "1",
              "origin": "https://netservice.iqcard.at",
              "pragma": "no-cache",
              "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
              "sec-ch-ua-mobile": "?0",
              "sec-ch-ua-platform": "\"Windows\"",
              "sec-fetch-dest": "empty",
              "sec-fetch-mode": "cors",
              "sec-fetch-site": "same-origin",
              "sec-fetch-user": "?1",
              "upgrade-insecure-requests": "1",
              "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
              "Referer": "https://netservice.iqcard.at/de/netservice"
            }
          };
        
          request.jar();
          request.post(optionsLogin, () => {
            request.get(optionsPriceinfo, (error, response, body) => {
              let data = analyze(body);
              log(data);
              writeDatapoint(data);
            });
          });
         function writeDatapoint(data) {
           log("write dpPrices");
           setState(dpPrices,JSON.stringify(data));
         }
        }
        main()
        
        function analyze(body) {
          $ = cheerio.load(body);
          let countrys = $(".row > div > fieldset");
          let data = {}
          for (var i = 1; i < countrys.length; i++) {
            let country = getCountry(countrys[i]);
            data[country.countryname] = country;
          }
          return data;
        }
        function getCountry(country) {
          let data = {};
          data.services = {};
          data.info = "";
          data.countryname = $(country).find("> legend").text().trim();
          let sections = $(country).find(".panel .panel-heading");
          for (var i = 0; i < sections.length; i++) {
            let section = $(sections[i]);
            let title = section.text().trim();
            let fields = $(section.next().find("fieldset"));
            if (fields.length > 0) {
              data.services[title] = getGasPrices(fields);
            } else {
              data.services[title] = getOtherServices(section.next());
            }
          }
          if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
          return data;
        }
        function getGasPrices(fields) {
          let data = [];
          for (var i = 0; i < fields.contents().length; i++) {
            let field = fields.contents()[i];
            if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
              let date = field.data.replace(/\s/gm, "");
              let price = $(field).next().text();
              data.push({ date: date, price: price });
            }
          }
          return data;
        }
        function getOtherServices(fields) {
          return fields.text().trim();
        }  
        

        die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

        {
         "ÖSTERREICH": {
           "services": {
             "Super Plus": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,642 EUR"
               }
             ],
             "Super": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,498 EUR"
               }
             ],
             "Normal": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,498 EUR"
               }
             ],
             "Diesel": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,685 EUR"
               }
             ],
             "Premium Diesel": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,919 EUR"
               }
             ],
             "IQ Motoröle und Chemie": "10 % Rabatt",
             "Autowäsche": "10 % Rabatt"
           },
           "info": "",
           "countryname": "ÖSTERREICH"
         },
         "BOSNIEN UND HERZEGOWINA": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "BOSNIEN UND HERZEGOWINA"
         },
         "BELGIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "BELGIEN"
         },
         "BULGARIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "BULGARIEN"
         },
         "DEUTSCHLAND": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "DEUTSCHLAND"
         },
         "DÄNEMARK": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "DÄNEMARK"
         },
         "SPANIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "SPANIEN"
         },
         "FRANKREICH": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "FRANKREICH"
         },
         "GROßBRITANNIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "GROßBRITANNIEN"
         },
         "UNGARN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "UNGARN"
         },
         "ITALIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "ITALIEN"
         },
         "LITAUEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "LITAUEN"
         },
         "LUXEMBURG": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "LUXEMBURG"
         },
         "NIEDERLANDE": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "NIEDERLANDE"
         },
         "NORWEGEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "NORWEGEN"
         },
         "POLEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "POLEN"
         },
         "RUMÄNIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "RUMÄNIEN"
         },
         "SLOWENIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "SLOWENIEN"
         }
        }
        

        NegaleinN Offline
        NegaleinN Offline
        Negalein
        Global Moderator
        schrieb am zuletzt editiert von
        #81

        @oliverio sagte in Daten aus PW geschützte Website:

        So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

        Merci! Werde ich gleich tauschen!

        ° Node.js: 20.17.0 NPM: 10.8.2
        ° Proxmox, Ubuntu 22.04.3 LTS
        ° Fixer ---> iob fix

        1 Antwort Letzte Antwort
        0
        • OliverIOO OliverIO

          @negalein
          @Latzi

          So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

          //hier bitte konfigurieren
          //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
          const dpPrices = "javascript.0.test1";
          let user = "xxx";
          let pass = "xxx";
          
          //ab hier nix verändern
          const request = require("request");
          const cheerio = require("cheerio");
          
          let $;
          async function main() {
          
            var optionsLogin = {
              method: 'POST',
              url: "https://netservice.iqcard.at/de/login",
              body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
              jar: true,
              followRedirect: true,
              followAllRedirects: true,
              headers: {
                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                "accept-encoding": "gzip, deflate, br",
                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                "cache-control": "no-cache",
                "content-type": "application/x-www-form-urlencoded",
                "dnt": "1",
                "origin": "https://netservice.iqcard.at",
                "pragma": "no-cache",
                "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                "sec-ch-ua-mobile": "?0",
                "sec-ch-ua-platform": "\"Windows\"",
                "sec-fetch-dest": "empty",
                "sec-fetch-mode": "cors",
                "sec-fetch-site": "same-origin",
                "upgrade-insecure-requests": "1",
                "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
                "Referer": "https://netservice.iqcard.at/de/kunden"
              }
            };
            var optionsPriceinfo = {
              method: 'GET',
              url: "https://netservice.iqcard.at/de/netservice_preisinfo",
              jar: true,
              followRedirect: true,
              followAllRedirects: true,
              headers: {
                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                "accept-encoding": "gzip, deflate, br",
                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                "cache-control": "no-cache",
                "dnt": "1",
                "origin": "https://netservice.iqcard.at",
                "pragma": "no-cache",
                "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                "sec-ch-ua-mobile": "?0",
                "sec-ch-ua-platform": "\"Windows\"",
                "sec-fetch-dest": "empty",
                "sec-fetch-mode": "cors",
                "sec-fetch-site": "same-origin",
                "sec-fetch-user": "?1",
                "upgrade-insecure-requests": "1",
                "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                "Referer": "https://netservice.iqcard.at/de/netservice"
              }
            };
          
            request.jar();
            request.post(optionsLogin, () => {
              request.get(optionsPriceinfo, (error, response, body) => {
                let data = analyze(body);
                log(data);
                writeDatapoint(data);
              });
            });
           function writeDatapoint(data) {
             log("write dpPrices");
             setState(dpPrices,JSON.stringify(data));
           }
          }
          main()
          
          function analyze(body) {
            $ = cheerio.load(body);
            let countrys = $(".row > div > fieldset");
            let data = {}
            for (var i = 1; i < countrys.length; i++) {
              let country = getCountry(countrys[i]);
              data[country.countryname] = country;
            }
            return data;
          }
          function getCountry(country) {
            let data = {};
            data.services = {};
            data.info = "";
            data.countryname = $(country).find("> legend").text().trim();
            let sections = $(country).find(".panel .panel-heading");
            for (var i = 0; i < sections.length; i++) {
              let section = $(sections[i]);
              let title = section.text().trim();
              let fields = $(section.next().find("fieldset"));
              if (fields.length > 0) {
                data.services[title] = getGasPrices(fields);
              } else {
                data.services[title] = getOtherServices(section.next());
              }
            }
            if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
            return data;
          }
          function getGasPrices(fields) {
            let data = [];
            for (var i = 0; i < fields.contents().length; i++) {
              let field = fields.contents()[i];
              if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
                let date = field.data.replace(/\s/gm, "");
                let price = $(field).next().text();
                data.push({ date: date, price: price });
              }
            }
            return data;
          }
          function getOtherServices(fields) {
            return fields.text().trim();
          }  
          

          die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

          {
           "ÖSTERREICH": {
             "services": {
               "Super Plus": [
                 {
                   "date": "05.12.2022-11.12.2022:",
                   "price": "1,642 EUR"
                 }
               ],
               "Super": [
                 {
                   "date": "05.12.2022-11.12.2022:",
                   "price": "1,498 EUR"
                 }
               ],
               "Normal": [
                 {
                   "date": "05.12.2022-11.12.2022:",
                   "price": "1,498 EUR"
                 }
               ],
               "Diesel": [
                 {
                   "date": "05.12.2022-11.12.2022:",
                   "price": "1,685 EUR"
                 }
               ],
               "Premium Diesel": [
                 {
                   "date": "05.12.2022-11.12.2022:",
                   "price": "1,919 EUR"
                 }
               ],
               "IQ Motoröle und Chemie": "10 % Rabatt",
               "Autowäsche": "10 % Rabatt"
             },
             "info": "",
             "countryname": "ÖSTERREICH"
           },
           "BOSNIEN UND HERZEGOWINA": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "BOSNIEN UND HERZEGOWINA"
           },
           "BELGIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "BELGIEN"
           },
           "BULGARIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "BULGARIEN"
           },
           "DEUTSCHLAND": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "DEUTSCHLAND"
           },
           "DÄNEMARK": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "DÄNEMARK"
           },
           "SPANIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "SPANIEN"
           },
           "FRANKREICH": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "FRANKREICH"
           },
           "GROßBRITANNIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "GROßBRITANNIEN"
           },
           "UNGARN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "UNGARN"
           },
           "ITALIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "ITALIEN"
           },
           "LITAUEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "LITAUEN"
           },
           "LUXEMBURG": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "LUXEMBURG"
           },
           "NIEDERLANDE": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "NIEDERLANDE"
           },
           "NORWEGEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "NORWEGEN"
           },
           "POLEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "POLEN"
           },
           "RUMÄNIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "RUMÄNIEN"
           },
           "SLOWENIEN": {
             "services": {},
             "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
             "countryname": "SLOWENIEN"
           }
          }
          

          NegaleinN Offline
          NegaleinN Offline
          Negalein
          Global Moderator
          schrieb am zuletzt editiert von
          #82

          @oliverio

          Guten Morgen!

          Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
          Bekomme folgende Meldung.

          09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
          09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
          09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
          09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
          09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
          09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
          09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions
          

          cheerio hab ich aber in den Modulen hinzugefügt.

          Kannst du mal drüberschaun?

          Danke

          ° Node.js: 20.17.0 NPM: 10.8.2
          ° Proxmox, Ubuntu 22.04.3 LTS
          ° Fixer ---> iob fix

          OliverIOO 1 Antwort Letzte Antwort
          0
          • NegaleinN Negalein

            @oliverio

            Guten Morgen!

            Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
            Bekomme folgende Meldung.

            09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
            09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
            09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
            09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
            09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
            09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
            09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions
            

            cheerio hab ich aber in den Modulen hinzugefügt.

            Kannst du mal drüberschaun?

            Danke

            OliverIOO Offline
            OliverIOO Offline
            OliverIO
            schrieb am zuletzt editiert von
            #83

            @negalein

            Cannot find module cheerio.
            Schau mal in den Einstellungen des JavaScript Adapters,
            Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

            Meine Adapter und Widgets
            TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
            Links im Profil

            NegaleinN 1 Antwort Letzte Antwort
            0
            • OliverIOO OliverIO

              @negalein

              Cannot find module cheerio.
              Schau mal in den Einstellungen des JavaScript Adapters,
              Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

              NegaleinN Offline
              NegaleinN Offline
              Negalein
              Global Moderator
              schrieb am zuletzt editiert von
              #84

              @oliverio sagte in Daten aus PW geschützte Website:

              Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

              Danke
              musste es 2x machen. Jetzt funktionierts wieder.

              ° Node.js: 20.17.0 NPM: 10.8.2
              ° Proxmox, Ubuntu 22.04.3 LTS
              ° Fixer ---> iob fix

              OliverIOO 1 Antwort Letzte Antwort
              0
              • NegaleinN Negalein

                @oliverio sagte in Daten aus PW geschützte Website:

                Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                Danke
                musste es 2x machen. Jetzt funktionierts wieder.

                OliverIOO Offline
                OliverIOO Offline
                OliverIO
                schrieb am zuletzt editiert von
                #85

                @negalein

                ok, warum auch immer diese bibliothek rausgeflogen ist.
                muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden)

                Meine Adapter und Widgets
                TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                Links im Profil

                NegaleinN 1 Antwort Letzte Antwort
                1
                • Dr. BakteriusD Online
                  Dr. BakteriusD Online
                  Dr. Bakterius
                  Most Active
                  schrieb am zuletzt editiert von Dr. Bakterius
                  #86

                  Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

                  Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
                  Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:
                  iq.png

                  Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

                  Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

                  #!/bin/bash
                  
                  # Einloggen und Cookie speichern
                   wget --save-cookies cookies.txt \
                       --keep-session-cookies \
                       --post-data 'BENUID={username}&PASSWT={password}' \
                       --delete-after \
                       https://netservice.iqcard.at/de/login
                  
                  # Seite mit den Preisen speichern
                   wget --load-cookies cookies.txt \
                       https://netservice.iqcard.at/de/netservice_preisinfo
                  
                  # gespeicherte Seite in Variable einlesen
                   IQWeb=$(<netservice_preisinfo)
                  	
                  # Daten auslesen
                   Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
                   Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                   Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                   Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                   SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                  
                  # in ioBroker Datenpunkte schreiben
                   if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                    Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                    Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                    Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                    Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                    Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                   fi
                  
                  # gespeicherte Seite löschen
                   rm netservice_preisinfo
                  
                  LatziL 1 Antwort Letzte Antwort
                  1
                  • OliverIOO OliverIO

                    @negalein

                    ok, warum auch immer diese bibliothek rausgeflogen ist.
                    muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden)

                    NegaleinN Offline
                    NegaleinN Offline
                    Negalein
                    Global Moderator
                    schrieb am zuletzt editiert von
                    #87

                    @oliverio sagte in Daten aus PW geschützte Website:

                    ok, warum auch immer diese bibliothek rausgeflogen ist.

                    Hallo Oliver!

                    Durch meinen Thread ist @liv-in-sky gerade dabei, das Script von request auf axios für mich umzustellen.
                    Allerdings klappt nicht alles.

                    Könntest du da behilflich sein, oder hier helfen?

                    ° Node.js: 20.17.0 NPM: 10.8.2
                    ° Proxmox, Ubuntu 22.04.3 LTS
                    ° Fixer ---> iob fix

                    1 Antwort Letzte Antwort
                    0
                    • Dr. BakteriusD Dr. Bakterius

                      Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

                      Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
                      Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:
                      iq.png

                      Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

                      Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

                      #!/bin/bash
                      
                      # Einloggen und Cookie speichern
                       wget --save-cookies cookies.txt \
                           --keep-session-cookies \
                           --post-data 'BENUID={username}&PASSWT={password}' \
                           --delete-after \
                           https://netservice.iqcard.at/de/login
                      
                      # Seite mit den Preisen speichern
                       wget --load-cookies cookies.txt \
                           https://netservice.iqcard.at/de/netservice_preisinfo
                      
                      # gespeicherte Seite in Variable einlesen
                       IQWeb=$(<netservice_preisinfo)
                      	
                      # Daten auslesen
                       Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
                       Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                       Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                       Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                       SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                      
                      # in ioBroker Datenpunkte schreiben
                       if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                       fi
                      
                      # gespeicherte Seite löschen
                       rm netservice_preisinfo
                      
                      LatziL Offline
                      LatziL Offline
                      Latzi
                      schrieb am zuletzt editiert von
                      #88

                      @dr-bakterius
                      offenbar hat IQ die website geändert, läuft bei dir das script noch?

                      NegaleinN Dr. BakteriusD 2 Antworten Letzte Antwort
                      0
                      • LatziL Latzi

                        @dr-bakterius
                        offenbar hat IQ die website geändert, läuft bei dir das script noch?

                        NegaleinN Offline
                        NegaleinN Offline
                        Negalein
                        Global Moderator
                        schrieb am zuletzt editiert von
                        #89

                        @latzi sagte in Daten aus PW geschützte Website:

                        offenbar hat IQ die website geändert, läuft bei dir das script noch?

                        gerade gesehn. Läuft bei mir nicht mehr. :(

                        ° Node.js: 20.17.0 NPM: 10.8.2
                        ° Proxmox, Ubuntu 22.04.3 LTS
                        ° Fixer ---> iob fix

                        1 Antwort Letzte Antwort
                        0
                        • OliverIOO OliverIO

                          @codierknecht sagte in Daten aus PW geschützte Website:

                          https://user:password@adresse.de

                          das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll. manche seiten unterstützen das zwar noch, ist aber bei modernen seiten eher unüblich.
                          meist wird oauth genommen (aber es gibt glaube ich noch 2-3 andere relevante)
                          aber all dies kann der parser adapter nicht, dann muss da immer auf ein skript zurückgegriffen werden.

                          warum sind diese Preise nicht im adapter tankerkönig enthalten?

                          NegaleinN Offline
                          NegaleinN Offline
                          Negalein
                          Global Moderator
                          schrieb am zuletzt editiert von
                          #90

                          @oliverio sagte in Daten aus PW geschützte Website:

                          dann muss da immer auf ein skript zurückgegriffen werden

                          Hallo Oliver!

                          Die haben jetzt die Seite etwas verändert.
                          Könntest du dir das nochmals anschaun?

                          Ich schick dir per PN die benötigten Daten.

                          LG

                          ° Node.js: 20.17.0 NPM: 10.8.2
                          ° Proxmox, Ubuntu 22.04.3 LTS
                          ° Fixer ---> iob fix

                          1 Antwort Letzte Antwort
                          0
                          • LatziL Latzi

                            @dr-bakterius
                            offenbar hat IQ die website geändert, läuft bei dir das script noch?

                            Dr. BakteriusD Online
                            Dr. BakteriusD Online
                            Dr. Bakterius
                            Most Active
                            schrieb am zuletzt editiert von
                            #91

                            @latzi @Negalein

                            Ich habe das Skript an die geänderte Seite angepasst:

                            #!/bin/bash
                            
                            # Einloggen und Cookie speichern
                             wget --save-cookies cookies.txt \
                                 --keep-session-cookies \
                            	 --post-data="Username={username}&Password={password}" \
                                 --delete-after \
                            	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                            
                            # Seite mit den Preisen speichern
                             wget --load-cookies cookies.txt \
                            	 https://netservice.iqcard.at/de/netservice/Preisinfo
                            
                            # gespeicherte Seite in Variable einlesen
                             IQWeb=$(<Preisinfo)
                            	
                            # Daten auslesen
                             Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                             Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                             Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                             Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                             SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                            
                            # in ioBroker Datenpunkte schreiben
                             if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                            	echo $Datum
                            	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                            	echo $Diesel
                            	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                            	echo $Benzin
                            	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                            	echo $Super
                            	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                            	echo $SuperPlus
                            	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                             else
                            	echo "Datenabfrage fehlerhaft!"
                             fi
                            
                            # gespeicherte Seite löschen
                             rm Preisinfo
                            
                            LatziL OliverIOO 3 Antworten Letzte Antwort
                            1
                            • Dr. BakteriusD Dr. Bakterius

                              @latzi @Negalein

                              Ich habe das Skript an die geänderte Seite angepasst:

                              #!/bin/bash
                              
                              # Einloggen und Cookie speichern
                               wget --save-cookies cookies.txt \
                                   --keep-session-cookies \
                              	 --post-data="Username={username}&Password={password}" \
                                   --delete-after \
                              	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                              
                              # Seite mit den Preisen speichern
                               wget --load-cookies cookies.txt \
                              	 https://netservice.iqcard.at/de/netservice/Preisinfo
                              
                              # gespeicherte Seite in Variable einlesen
                               IQWeb=$(<Preisinfo)
                              	
                              # Daten auslesen
                               Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                               Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                               Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                               Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                               SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                              
                              # in ioBroker Datenpunkte schreiben
                               if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                              	echo $Datum
                              	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                              	echo $Diesel
                              	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                              	echo $Benzin
                              	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                              	echo $Super
                              	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                              	echo $SuperPlus
                              	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                               else
                              	echo "Datenabfrage fehlerhaft!"
                               fi
                              
                              # gespeicherte Seite löschen
                               rm Preisinfo
                              
                              LatziL Offline
                              LatziL Offline
                              Latzi
                              schrieb am zuletzt editiert von
                              #92

                              @dr-bakterius
                              Super, vielen Dank 👏 💪

                              1 Antwort Letzte Antwort
                              0
                              • OliverIOO Offline
                                OliverIOO Offline
                                OliverIO
                                schrieb am zuletzt editiert von OliverIO
                                #93

                                stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

                                gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau

                                testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.

                                //hier bitte konfigurieren
                                //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                                const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
                                let user = "xxx";
                                let pass = "xxx";
                                
                                //ab hier nix verändern
                                const axios = require('axios');
                                const cheerio = require("cheerio");
                                const tough = require('tough-cookie');
                                const { wrapper } = require('axios-cookiejar-support');
                                
                                const cookieJar = new tough.CookieJar();
                                const client = wrapper(axios.create({
                                    jar: cookieJar,
                                    withCredentials: true,
                                }));
                                
                                let $;
                                async function main() {
                                
                                    const optionsStart = {
                                        method: 'GET',
                                        url: 'https://netservice.iqcard.at/de/Kunden',
                                        "headers": {
                                            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                            "cache-control": "no-cache",
                                            "pragma": "no-cache",
                                            "priority": "u=0, i",
                                            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                            "sec-ch-ua-mobile": "?0",
                                            "sec-ch-ua-platform": "\"Windows\"",
                                            "sec-fetch-dest": "document",
                                            "sec-fetch-mode": "navigate",
                                            "sec-fetch-site": "none",
                                            "sec-fetch-user": "?1",
                                            "upgrade-insecure-requests": "1",
                                            "Referrer-Policy": "strict-origin-when-cross-origin"
                                        }
                                    };
                                
                                    const optionsPreisinfo = {
                                        method: 'GET',
                                        url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
                                        "headers": {
                                            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                            "cache-control": "no-cache",
                                            "pragma": "no-cache",
                                            "priority": "u=0, i",
                                            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                            "sec-ch-ua-mobile": "?0",
                                            "sec-ch-ua-platform": "\"Windows\"",
                                            "sec-fetch-dest": "document",
                                            "sec-fetch-mode": "navigate",
                                            "sec-fetch-site": "same-origin",
                                            "sec-fetch-user": "?1",
                                            "upgrade-insecure-requests": "1",
                                            'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                            "Referrer-Policy": "strict-origin-when-cross-origin"
                                        }
                                    };
                                
                                    let responseStart, responseLogin, responsePreis;
                                    try {
                                        responseStart = await client(optionsStart);
                                        responseLogin = await client(getLoginOptions(responseStart));
                                        responsePreis = await client(optionsPreisinfo);
                                
                                    } catch (error) {
                                        console.error('Error making the request:', error);
                                        return;
                                    }
                                    const data = analyze(responsePreis.data);
                                    writeDatapoint(data)
                                }
                                
                                function getLoginOptions(response) {
                                    //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
                                    $ = cheerio.load(response.data);
                                    let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
                                    return {
                                        method: 'POST',
                                        url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
                                        data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
                                        "headers": {
                                            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                            "cache-control": "no-cache",
                                            "content-type": "application/x-www-form-urlencoded",
                                            "pragma": "no-cache",
                                            "priority": "u=0, i",
                                            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                            "sec-ch-ua-mobile": "?0",
                                            "sec-ch-ua-platform": "\"Windows\"",
                                            "sec-fetch-dest": "document",
                                            "sec-fetch-mode": "navigate",
                                            "sec-fetch-site": "same-origin",
                                            "sec-fetch-user": "?1",
                                            "upgrade-insecure-requests": "1",
                                            'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                            "Referrer-Policy": "strict-origin-when-cross-origin"
                                        },
                                        maxRedirects: 5, // Anzahl der zu folgenden Redirects
                                        withCredentials: true // für das Cookie-Handling
                                    };
                                }
                                
                                function writeDatapoint(data) {
                                    //   log("write dpPrices");
                                    setState(dpPrices, JSON.stringify(data));
                                }
                                
                                function analyze(body) {
                                    $ = cheerio.load(body);
                                    let countrys = $(".row > div > fieldset");
                                    let data = {}
                                    for (var i = 1; i < countrys.length; i++) {
                                        let country = getCountry(countrys[i]);
                                        data[country.countryname] = country;
                                    }
                                    return data;
                                }
                                function getCountry(country) {
                                    let data = {};
                                    data.services = {};
                                    data.info = "";
                                    data.countryname = $(country).find("> legend").text().trim();
                                    let sections = $(country).find(".accordion-item");
                                    for (var i = 0; i < sections.length; i++) {
                                        let section = $(sections[i]);
                                
                                        let fields = $(section.find("fieldset div"));
                                        if (fields.length > 0) {
                                            let title = section.find("legend").text().trim();
                                            data.services[title] = getGasPrices(fields);
                                        } else {
                                            let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
                                            data.services[title] = getOtherServices(section);
                                        }
                                    }
                                    if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                                    return data;
                                }
                                function getGasPrices(fields) {
                                    let data = [];
                                    for (var i = 0; i < fields.length; i++) {
                                        let field = $(fields[i]).contents();
                                        let date = $(field[0]).text().trim();
                                        let price = $(field[1]).text().trim();
                                        data.push({ date: date, price: price });
                                    }
                                    return data;
                                }
                                function getOtherServices(fields) {
                                    return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
                                }
                                
                                main();
                                

                                Meine Adapter und Widgets
                                TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                                Links im Profil

                                NegaleinN 1 Antwort Letzte Antwort
                                1
                                • Dr. BakteriusD Dr. Bakterius

                                  @latzi @Negalein

                                  Ich habe das Skript an die geänderte Seite angepasst:

                                  #!/bin/bash
                                  
                                  # Einloggen und Cookie speichern
                                   wget --save-cookies cookies.txt \
                                       --keep-session-cookies \
                                  	 --post-data="Username={username}&Password={password}" \
                                       --delete-after \
                                  	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                                  
                                  # Seite mit den Preisen speichern
                                   wget --load-cookies cookies.txt \
                                  	 https://netservice.iqcard.at/de/netservice/Preisinfo
                                  
                                  # gespeicherte Seite in Variable einlesen
                                   IQWeb=$(<Preisinfo)
                                  	
                                  # Daten auslesen
                                   Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                                   Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                   Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                   Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                   SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                  
                                  # in ioBroker Datenpunkte schreiben
                                   if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                                  	echo $Datum
                                  	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                                  	echo $Diesel
                                  	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                                  	echo $Benzin
                                  	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                                  	echo $Super
                                  	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                                  	echo $SuperPlus
                                  	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                                   else
                                  	echo "Datenabfrage fehlerhaft!"
                                   fi
                                  
                                  # gespeicherte Seite löschen
                                   rm Preisinfo
                                  
                                  OliverIOO Offline
                                  OliverIOO Offline
                                  OliverIO
                                  schrieb am zuletzt editiert von
                                  #94

                                  @dr-bakterius

                                  ach, der server interessiert sich für __RequestVerificationToken
                                  gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.

                                  Meine Adapter und Widgets
                                  TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                                  Links im Profil

                                  NegaleinN 1 Antwort Letzte Antwort
                                  0
                                  • OliverIOO OliverIO

                                    stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

                                    gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau

                                    testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.

                                    //hier bitte konfigurieren
                                    //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                                    const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
                                    let user = "xxx";
                                    let pass = "xxx";
                                    
                                    //ab hier nix verändern
                                    const axios = require('axios');
                                    const cheerio = require("cheerio");
                                    const tough = require('tough-cookie');
                                    const { wrapper } = require('axios-cookiejar-support');
                                    
                                    const cookieJar = new tough.CookieJar();
                                    const client = wrapper(axios.create({
                                        jar: cookieJar,
                                        withCredentials: true,
                                    }));
                                    
                                    let $;
                                    async function main() {
                                    
                                        const optionsStart = {
                                            method: 'GET',
                                            url: 'https://netservice.iqcard.at/de/Kunden',
                                            "headers": {
                                                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                "cache-control": "no-cache",
                                                "pragma": "no-cache",
                                                "priority": "u=0, i",
                                                "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                "sec-ch-ua-mobile": "?0",
                                                "sec-ch-ua-platform": "\"Windows\"",
                                                "sec-fetch-dest": "document",
                                                "sec-fetch-mode": "navigate",
                                                "sec-fetch-site": "none",
                                                "sec-fetch-user": "?1",
                                                "upgrade-insecure-requests": "1",
                                                "Referrer-Policy": "strict-origin-when-cross-origin"
                                            }
                                        };
                                    
                                        const optionsPreisinfo = {
                                            method: 'GET',
                                            url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
                                            "headers": {
                                                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                "cache-control": "no-cache",
                                                "pragma": "no-cache",
                                                "priority": "u=0, i",
                                                "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                "sec-ch-ua-mobile": "?0",
                                                "sec-ch-ua-platform": "\"Windows\"",
                                                "sec-fetch-dest": "document",
                                                "sec-fetch-mode": "navigate",
                                                "sec-fetch-site": "same-origin",
                                                "sec-fetch-user": "?1",
                                                "upgrade-insecure-requests": "1",
                                                'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                                "Referrer-Policy": "strict-origin-when-cross-origin"
                                            }
                                        };
                                    
                                        let responseStart, responseLogin, responsePreis;
                                        try {
                                            responseStart = await client(optionsStart);
                                            responseLogin = await client(getLoginOptions(responseStart));
                                            responsePreis = await client(optionsPreisinfo);
                                    
                                        } catch (error) {
                                            console.error('Error making the request:', error);
                                            return;
                                        }
                                        const data = analyze(responsePreis.data);
                                        writeDatapoint(data)
                                    }
                                    
                                    function getLoginOptions(response) {
                                        //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
                                        $ = cheerio.load(response.data);
                                        let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
                                        return {
                                            method: 'POST',
                                            url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
                                            data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
                                            "headers": {
                                                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                "cache-control": "no-cache",
                                                "content-type": "application/x-www-form-urlencoded",
                                                "pragma": "no-cache",
                                                "priority": "u=0, i",
                                                "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                "sec-ch-ua-mobile": "?0",
                                                "sec-ch-ua-platform": "\"Windows\"",
                                                "sec-fetch-dest": "document",
                                                "sec-fetch-mode": "navigate",
                                                "sec-fetch-site": "same-origin",
                                                "sec-fetch-user": "?1",
                                                "upgrade-insecure-requests": "1",
                                                'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                                "Referrer-Policy": "strict-origin-when-cross-origin"
                                            },
                                            maxRedirects: 5, // Anzahl der zu folgenden Redirects
                                            withCredentials: true // für das Cookie-Handling
                                        };
                                    }
                                    
                                    function writeDatapoint(data) {
                                        //   log("write dpPrices");
                                        setState(dpPrices, JSON.stringify(data));
                                    }
                                    
                                    function analyze(body) {
                                        $ = cheerio.load(body);
                                        let countrys = $(".row > div > fieldset");
                                        let data = {}
                                        for (var i = 1; i < countrys.length; i++) {
                                            let country = getCountry(countrys[i]);
                                            data[country.countryname] = country;
                                        }
                                        return data;
                                    }
                                    function getCountry(country) {
                                        let data = {};
                                        data.services = {};
                                        data.info = "";
                                        data.countryname = $(country).find("> legend").text().trim();
                                        let sections = $(country).find(".accordion-item");
                                        for (var i = 0; i < sections.length; i++) {
                                            let section = $(sections[i]);
                                    
                                            let fields = $(section.find("fieldset div"));
                                            if (fields.length > 0) {
                                                let title = section.find("legend").text().trim();
                                                data.services[title] = getGasPrices(fields);
                                            } else {
                                                let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
                                                data.services[title] = getOtherServices(section);
                                            }
                                        }
                                        if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                                        return data;
                                    }
                                    function getGasPrices(fields) {
                                        let data = [];
                                        for (var i = 0; i < fields.length; i++) {
                                            let field = $(fields[i]).contents();
                                            let date = $(field[0]).text().trim();
                                            let price = $(field[1]).text().trim();
                                            data.push({ date: date, price: price });
                                        }
                                        return data;
                                    }
                                    function getOtherServices(fields) {
                                        return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
                                    }
                                    
                                    main();
                                    

                                    NegaleinN Offline
                                    NegaleinN Offline
                                    Negalein
                                    Global Moderator
                                    schrieb am zuletzt editiert von
                                    #95

                                    @oliverio sagte in Daten aus PW geschützte Website:

                                    stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

                                    läuft seit gestern Nacht einwandfrei.

                                    Danke nochmals. Kaffee kommt demnächst. ;)

                                    ° Node.js: 20.17.0 NPM: 10.8.2
                                    ° Proxmox, Ubuntu 22.04.3 LTS
                                    ° Fixer ---> iob fix

                                    1 Antwort Letzte Antwort
                                    1
                                    • OliverIOO OliverIO

                                      @dr-bakterius

                                      ach, der server interessiert sich für __RequestVerificationToken
                                      gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.

                                      NegaleinN Offline
                                      NegaleinN Offline
                                      Negalein
                                      Global Moderator
                                      schrieb am zuletzt editiert von
                                      #96

                                      @oliverio sagte in Daten aus PW geschützte Website:

                                      ach

                                      lass ihn dir schmecken ;)

                                      ° Node.js: 20.17.0 NPM: 10.8.2
                                      ° Proxmox, Ubuntu 22.04.3 LTS
                                      ° Fixer ---> iob fix

                                      OliverIOO 1 Antwort Letzte Antwort
                                      1
                                      • NegaleinN Negalein

                                        @oliverio sagte in Daten aus PW geschützte Website:

                                        ach

                                        lass ihn dir schmecken ;)

                                        OliverIOO Offline
                                        OliverIOO Offline
                                        OliverIO
                                        schrieb am zuletzt editiert von
                                        #97

                                        @negalein Vielen Dank, da kann ich mir ein paar Kaffee holen. Sogar den vom Blauen Berg

                                        Meine Adapter und Widgets
                                        TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                                        Links im Profil

                                        1 Antwort Letzte Antwort
                                        1
                                        • Dr. BakteriusD Dr. Bakterius

                                          @latzi @Negalein

                                          Ich habe das Skript an die geänderte Seite angepasst:

                                          #!/bin/bash
                                          
                                          # Einloggen und Cookie speichern
                                           wget --save-cookies cookies.txt \
                                               --keep-session-cookies \
                                          	 --post-data="Username={username}&Password={password}" \
                                               --delete-after \
                                          	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                                          
                                          # Seite mit den Preisen speichern
                                           wget --load-cookies cookies.txt \
                                          	 https://netservice.iqcard.at/de/netservice/Preisinfo
                                          
                                          # gespeicherte Seite in Variable einlesen
                                           IQWeb=$(<Preisinfo)
                                          	
                                          # Daten auslesen
                                           Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                                           Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                           Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                           Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                           SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                          
                                          # in ioBroker Datenpunkte schreiben
                                           if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                                          	echo $Datum
                                          	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                                          	echo $Diesel
                                          	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                                          	echo $Benzin
                                          	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                                          	echo $Super
                                          	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                                          	echo $SuperPlus
                                          	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                                           else
                                          	echo "Datenabfrage fehlerhaft!"
                                           fi
                                          
                                          # gespeicherte Seite löschen
                                           rm Preisinfo
                                          
                                          LatziL Offline
                                          LatziL Offline
                                          Latzi
                                          schrieb am zuletzt editiert von
                                          #98

                                          @dr-bakterius
                                          läuft bei dir das script? Ich bekomme keine Daten mehr, finde jedoch das Problem nicht. Hier meine Ausgabe des scripts:

                                          --2024-07-02 14:03:55--  https://netservice.iqcard.at/de/Kunden?handler=SignInDb
                                          Auflösen des Hostnamens netservice.iqcard.at (netservice.iqcard.at)… 213.33.74.115
                                          Verbindungsaufbau zu netservice.iqcard.at (netservice.iqcard.at)|213.33.74.115|:443 … verbunden.
                                          HTTP-Anforderung gesendet, auf Antwort wird gewartet … 400 Bad Request
                                          2024-07-02 14:03:55 FEHLER 400: Bad Request.
                                          
                                          --2024-07-02 14:03:55--  https://netservice.iqcard.at/de/netservice/Preisinfo
                                          Auflösen des Hostnamens netservice.iqcard.at (netservice.iqcard.at)… 213.33.74.115
                                          Verbindungsaufbau zu netservice.iqcard.at (netservice.iqcard.at)|213.33.74.115|:443 … verbunden.
                                          HTTP-Anforderung gesendet, auf Antwort wird gewartet … 302 Found
                                          Platz: https://netservice.iqcard.at/de/Kunden [folgend]
                                          --2024-07-02 14:03:55--  https://netservice.iqcard.at/de/Kunden
                                          Wiederverwendung der bestehenden Verbindung zu netservice.iqcard.at:443.
                                          HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
                                          Länge: nicht spezifiziert [text/html]
                                          Wird in »Preisinfo« gespeichert.
                                          
                                          Preisinfo                         [ <=>                                              ]  21,78K  --.-KB/s    in 0,01s
                                          
                                          2024-07-02 14:03:55 (1,43 MB/s) - »Preisinfo« gespeichert [22304]
                                          
                                          Datenabfrage fehlerhaft!
                                          
                                          1 Antwort Letzte Antwort
                                          0
                                          Antworten
                                          • In einem neuen Thema antworten
                                          Anmelden zum Antworten
                                          • Älteste zuerst
                                          • Neuste zuerst
                                          • Meiste Stimmen


                                          Support us

                                          ioBroker
                                          Community Adapters
                                          Donate
                                          FAQ Cloud / IOT
                                          HowTo: Node.js-Update
                                          HowTo: Backup/Restore
                                          Downloads
                                          BLOG

                                          784

                                          Online

                                          32.5k

                                          Benutzer

                                          81.6k

                                          Themen

                                          1.3m

                                          Beiträge
                                          Community
                                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                                          ioBroker Community 2014-2025
                                          logo
                                          • Anmelden

                                          • Du hast noch kein Konto? Registrieren

                                          • Anmelden oder registrieren, um zu suchen
                                          • Erster Beitrag
                                            Letzter Beitrag
                                          0
                                          • Home
                                          • Aktuell
                                          • Tags
                                          • Ungelesen 0
                                          • Kategorien
                                          • Unreplied
                                          • Beliebt
                                          • GitHub
                                          • Docu
                                          • Hilfe