Skip to content
  • Home
  • Recent
  • Tags
  • 0 Unread 0
  • Categories
  • Unreplied
  • Popular
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Default (No Skin)
  • No Skin
Collapse
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. ioBroker Allgemein
  4. Daten aus PW geschützte Website

NEWS

  • Monatsrückblick Januar/Februar 2026 ist online!
    BluefoxB
    Bluefox
    18
    1
    836

  • Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨
    BluefoxB
    Bluefox
    18
    1
    6.3k

  • Neuer Blogbeitrag: Monatsrückblick - Dezember 2025 🎄
    BluefoxB
    Bluefox
    13
    1
    1.6k

Daten aus PW geschützte Website

Scheduled Pinned Locked Moved ioBroker Allgemein
126 Posts 7 Posters 13.7k Views 7 Watching
  • Oldest to Newest
  • Newest to Oldest
  • Most Votes
Reply
  • Reply as topic
Log in to reply
This topic has been deleted. Only users with topic management privileges can see it.
  • OliverIOO OliverIO

    @fastfoot sagte in Daten aus PW geschützte Website:

    ist hier auch so, console.info etc. funktionieren in iobroker nicht. Einfach durch log(text) ersetzen

    und bei mir funktioniert console.debug, aber console.info nicht.
    warum ist das inkonsistent?
    auch in der doku steht nix.
    ja log ist beschrieben, aber dennoch seltsam

    LatziL Online
    LatziL Online
    Latzi
    wrote on last edited by
    #74

    @oliverio
    ich hab´s mal quick & dirty gelöst und die 3 Array´s umkopiert, da mich nur die österreichischen Preise interessieren, also titles von i =0 .. 4 durchlaufen und von prices sowie dates 3*i dazu gestellt (auch die Preise der Vorwochen sind für mich nicht interessant).
    Sieht dann so aus:

    for (var i=0;i<5;i++) {
         titles_n[i]=titles[i];
         dates_n[i]=dates[3*i];
         prices_n[i]=prices[3*i];
    };
    

    Vielen herzlichen Dank nochmals für deine Mühe! 👏 👏

    JohGreJ 1 Reply Last reply
    0
    • LatziL Latzi

      @oliverio
      ich hab´s mal quick & dirty gelöst und die 3 Array´s umkopiert, da mich nur die österreichischen Preise interessieren, also titles von i =0 .. 4 durchlaufen und von prices sowie dates 3*i dazu gestellt (auch die Preise der Vorwochen sind für mich nicht interessant).
      Sieht dann so aus:

      for (var i=0;i<5;i++) {
           titles_n[i]=titles[i];
           dates_n[i]=dates[3*i];
           prices_n[i]=prices[3*i];
      };
      

      Vielen herzlichen Dank nochmals für deine Mühe! 👏 👏

      JohGreJ Offline
      JohGreJ Offline
      JohGre
      wrote on last edited by
      #75

      @latzi Kannst du mir bitte dein vollständiges Script schicken, ich bekomm das mit den 3 Arrays irgendwie nicht hin.

      nuc i5: RaspberryMatic, ioBroker, pi-hole, SQL-Server, OMV-NAS, Influx-DB & Grafana, OpenHab, tasmoadmin

      LatziL 1 Reply Last reply
      0
      • JohGreJ JohGre

        @latzi Kannst du mir bitte dein vollständiges Script schicken, ich bekomm das mit den 3 Arrays irgendwie nicht hin.

        LatziL Online
        LatziL Online
        Latzi
        wrote on last edited by
        #76

        @johgre
        bitte sehr...

        Ich hab auch die JSON-Ausgabe verändert, damit das Inventwo-JSON-widget damit klarkommt.

        const dpPrices = "javascript.0.IQ.Treibstoff_Preis";
        var user = "xxx";
        var pass = "xxx";
        var titles_n=[];
        var dates_n=[];
        var prices_n=[];
         
        const request = require("request");
        const cheerio = require("cheerio");
         
        async function main() {
         
          var optionsLogin = {
            method: 'POST',
            url: "https://netservice.iqcard.at/de/login",
            body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
            jar: true,
            followRedirect:true,
            followAllRedirects :true,
            headers: {
              "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
              "accept-encoding": "gzip, deflate, br",
              "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
              "cache-control": "no-cache",
              "content-type": "application/x-www-form-urlencoded",
              "dnt": "1",
              "origin": "https://netservice.iqcard.at",
              "pragma": "no-cache",
              "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
              "sec-ch-ua-mobile": "?0",
              "sec-ch-ua-platform": "\"Windows\"",
              "sec-fetch-dest": "empty",
              "sec-fetch-mode": "cors",
              "sec-fetch-site": "same-origin",
              "upgrade-insecure-requests": "1",
              "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
              "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
              "Referer": "https://netservice.iqcard.at/de/kunden"
            }
          };
          var optionsPriceinfo = {
            method: 'GET',
            url: "https://netservice.iqcard.at/de/netservice_preisinfo",
            jar: true,
            followRedirect:true,
            followAllRedirects :true,
            headers: {
              "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
              "accept-encoding": "gzip, deflate, br",
              "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
              "cache-control": "no-cache",
              "dnt": "1",
              "origin": "https://netservice.iqcard.at",
              "pragma": "no-cache",
              "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
              "sec-ch-ua-mobile": "?0",
              "sec-ch-ua-platform": "\"Windows\"",
              "sec-fetch-dest": "empty",
              "sec-fetch-mode": "cors",
              "sec-fetch-site": "same-origin",
              "sec-fetch-user": "?1",
              "upgrade-insecure-requests": "1",
              "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
              "Referer": "https://netservice.iqcard.at/de/netservice"
            }
          };
          request.jar();
          request.post(optionsLogin,()=>{
            request.get(optionsPriceinfo,(error, response, body)=>{
              const $ = cheerio.load(body);            
              let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
              let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
                return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
              }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
              let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());
        
              for (var i=0;i<5;i++) {
                   titles_n[i]=titles[i];
                   dates_n[i]=dates[3*i];
                   prices_n[i]=prices[3*i];
              }    
              if (titles_n.length==dates_n.length && titles_n.length==prices_n.length) {
                //console.log("website structure OK, found matching elements");
              } else {
                console.log("website structure is not OK, elements doesnt match");
                return;
              }
              let data=JSON.parse('[]');
              for (var i=0;i<titles_n.length;i++) {
                data.push({
                  "Sorte": titles_n[i],
                  "Datum": dates_n[i],
                  "Preis": prices_n[i]         
            });
              };
              //console.log(data);
              writeDatapoint(data);
            });
          });
          function writeDatapoint(data) {
            //console.debug("write dpPrices");
            setState(dpPrices,JSON.stringify(data));
          }
        }
        
        schedule("5 21 * * 1", async function () {
           main();   
        }); 
        

        Hast du auch die 3-Wochen-Ansicht?

        JohGreJ 1 Reply Last reply
        0
        • LatziL Latzi

          @johgre
          bitte sehr...

          Ich hab auch die JSON-Ausgabe verändert, damit das Inventwo-JSON-widget damit klarkommt.

          const dpPrices = "javascript.0.IQ.Treibstoff_Preis";
          var user = "xxx";
          var pass = "xxx";
          var titles_n=[];
          var dates_n=[];
          var prices_n=[];
           
          const request = require("request");
          const cheerio = require("cheerio");
           
          async function main() {
           
            var optionsLogin = {
              method: 'POST',
              url: "https://netservice.iqcard.at/de/login",
              body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
              jar: true,
              followRedirect:true,
              followAllRedirects :true,
              headers: {
                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                "accept-encoding": "gzip, deflate, br",
                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                "cache-control": "no-cache",
                "content-type": "application/x-www-form-urlencoded",
                "dnt": "1",
                "origin": "https://netservice.iqcard.at",
                "pragma": "no-cache",
                "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                "sec-ch-ua-mobile": "?0",
                "sec-ch-ua-platform": "\"Windows\"",
                "sec-fetch-dest": "empty",
                "sec-fetch-mode": "cors",
                "sec-fetch-site": "same-origin",
                "upgrade-insecure-requests": "1",
                "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
                "Referer": "https://netservice.iqcard.at/de/kunden"
              }
            };
            var optionsPriceinfo = {
              method: 'GET',
              url: "https://netservice.iqcard.at/de/netservice_preisinfo",
              jar: true,
              followRedirect:true,
              followAllRedirects :true,
              headers: {
                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                "accept-encoding": "gzip, deflate, br",
                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                "cache-control": "no-cache",
                "dnt": "1",
                "origin": "https://netservice.iqcard.at",
                "pragma": "no-cache",
                "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                "sec-ch-ua-mobile": "?0",
                "sec-ch-ua-platform": "\"Windows\"",
                "sec-fetch-dest": "empty",
                "sec-fetch-mode": "cors",
                "sec-fetch-site": "same-origin",
                "sec-fetch-user": "?1",
                "upgrade-insecure-requests": "1",
                "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                "Referer": "https://netservice.iqcard.at/de/netservice"
              }
            };
            request.jar();
            request.post(optionsLogin,()=>{
              request.get(optionsPriceinfo,(error, response, body)=>{
                const $ = cheerio.load(body);            
                let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
                let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
                  return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
                }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
                let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());
          
                for (var i=0;i<5;i++) {
                     titles_n[i]=titles[i];
                     dates_n[i]=dates[3*i];
                     prices_n[i]=prices[3*i];
                }    
                if (titles_n.length==dates_n.length && titles_n.length==prices_n.length) {
                  //console.log("website structure OK, found matching elements");
                } else {
                  console.log("website structure is not OK, elements doesnt match");
                  return;
                }
                let data=JSON.parse('[]');
                for (var i=0;i<titles_n.length;i++) {
                  data.push({
                    "Sorte": titles_n[i],
                    "Datum": dates_n[i],
                    "Preis": prices_n[i]         
              });
                };
                //console.log(data);
                writeDatapoint(data);
              });
            });
            function writeDatapoint(data) {
              //console.debug("write dpPrices");
              setState(dpPrices,JSON.stringify(data));
            }
          }
          
          schedule("5 21 * * 1", async function () {
             main();   
          }); 
          

          Hast du auch die 3-Wochen-Ansicht?

          JohGreJ Offline
          JohGreJ Offline
          JohGre
          wrote on last edited by
          #77

          @latzi Super Danke, jetzt bekomm ich auch die Daten rein. Nein, hab eigentlich auch nur eine Woche zur Ansicht, aber noch viele Europäische Länder mit unterschiedlichen Preisen.

          nuc i5: RaspberryMatic, ioBroker, pi-hole, SQL-Server, OMV-NAS, Influx-DB & Grafana, OpenHab, tasmoadmin

          NegaleinN 1 Reply Last reply
          0
          • JohGreJ JohGre

            @latzi Super Danke, jetzt bekomm ich auch die Daten rein. Nein, hab eigentlich auch nur eine Woche zur Ansicht, aber noch viele Europäische Länder mit unterschiedlichen Preisen.

            NegaleinN Offline
            NegaleinN Offline
            Negalein
            Global Moderator
            wrote on last edited by
            #78

            @johgre sagte in Daten aus PW geschützte Website:

            aber noch viele Europäische Länder mit unterschiedlichen Preisen

            interessant wie unterschiedlich mit IQ verhandelt wird.
            Wir (Siedlerverein) können nur in Österreich billiger tanken.

            ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
            ° Node.js Fixer ---> iob nodejs-update
            ° Fixer ---> iob fix

            OliverIOO 1 Reply Last reply
            0
            • NegaleinN Negalein

              @johgre sagte in Daten aus PW geschützte Website:

              aber noch viele Europäische Länder mit unterschiedlichen Preisen

              interessant wie unterschiedlich mit IQ verhandelt wird.
              Wir (Siedlerverein) können nur in Österreich billiger tanken.

              OliverIOO Offline
              OliverIOO Offline
              OliverIO
              wrote on last edited by OliverIO
              #79

              @negalein
              @Latzi

              So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

              //hier bitte konfigurieren
              //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
              const dpPrices = "javascript.0.test1";
              let user = "xxx";
              let pass = "xxx";
              
              //ab hier nix verändern
              const request = require("request");
              const cheerio = require("cheerio");
              
              let $;
              async function main() {
              
                var optionsLogin = {
                  method: 'POST',
                  url: "https://netservice.iqcard.at/de/login",
                  body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
                  jar: true,
                  followRedirect: true,
                  followAllRedirects: true,
                  headers: {
                    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                    "accept-encoding": "gzip, deflate, br",
                    "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                    "cache-control": "no-cache",
                    "content-type": "application/x-www-form-urlencoded",
                    "dnt": "1",
                    "origin": "https://netservice.iqcard.at",
                    "pragma": "no-cache",
                    "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                    "sec-ch-ua-mobile": "?0",
                    "sec-ch-ua-platform": "\"Windows\"",
                    "sec-fetch-dest": "empty",
                    "sec-fetch-mode": "cors",
                    "sec-fetch-site": "same-origin",
                    "upgrade-insecure-requests": "1",
                    "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                    "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
                    "Referer": "https://netservice.iqcard.at/de/kunden"
                  }
                };
                var optionsPriceinfo = {
                  method: 'GET',
                  url: "https://netservice.iqcard.at/de/netservice_preisinfo",
                  jar: true,
                  followRedirect: true,
                  followAllRedirects: true,
                  headers: {
                    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                    "accept-encoding": "gzip, deflate, br",
                    "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                    "cache-control": "no-cache",
                    "dnt": "1",
                    "origin": "https://netservice.iqcard.at",
                    "pragma": "no-cache",
                    "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                    "sec-ch-ua-mobile": "?0",
                    "sec-ch-ua-platform": "\"Windows\"",
                    "sec-fetch-dest": "empty",
                    "sec-fetch-mode": "cors",
                    "sec-fetch-site": "same-origin",
                    "sec-fetch-user": "?1",
                    "upgrade-insecure-requests": "1",
                    "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                    "Referer": "https://netservice.iqcard.at/de/netservice"
                  }
                };
              
                request.jar();
                request.post(optionsLogin, () => {
                  request.get(optionsPriceinfo, (error, response, body) => {
                    let data = analyze(body);
                    log(data);
                    writeDatapoint(data);
                  });
                });
               function writeDatapoint(data) {
                 log("write dpPrices");
                 setState(dpPrices,JSON.stringify(data));
               }
              }
              main()
              
              function analyze(body) {
                $ = cheerio.load(body);
                let countrys = $(".row > div > fieldset");
                let data = {}
                for (var i = 1; i < countrys.length; i++) {
                  let country = getCountry(countrys[i]);
                  data[country.countryname] = country;
                }
                return data;
              }
              function getCountry(country) {
                let data = {};
                data.services = {};
                data.info = "";
                data.countryname = $(country).find("> legend").text().trim();
                let sections = $(country).find(".panel .panel-heading");
                for (var i = 0; i < sections.length; i++) {
                  let section = $(sections[i]);
                  let title = section.text().trim();
                  let fields = $(section.next().find("fieldset"));
                  if (fields.length > 0) {
                    data.services[title] = getGasPrices(fields);
                  } else {
                    data.services[title] = getOtherServices(section.next());
                  }
                }
                if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                return data;
              }
              function getGasPrices(fields) {
                let data = [];
                for (var i = 0; i < fields.contents().length; i++) {
                  let field = fields.contents()[i];
                  if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
                    let date = field.data.replace(/\s/gm, "");
                    let price = $(field).next().text();
                    data.push({ date: date, price: price });
                  }
                }
                return data;
              }
              function getOtherServices(fields) {
                return fields.text().trim();
              }  
              

              die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

              {
               "ÖSTERREICH": {
                 "services": {
                   "Super Plus": [
                     {
                       "date": "05.12.2022-11.12.2022:",
                       "price": "1,642 EUR"
                     }
                   ],
                   "Super": [
                     {
                       "date": "05.12.2022-11.12.2022:",
                       "price": "1,498 EUR"
                     }
                   ],
                   "Normal": [
                     {
                       "date": "05.12.2022-11.12.2022:",
                       "price": "1,498 EUR"
                     }
                   ],
                   "Diesel": [
                     {
                       "date": "05.12.2022-11.12.2022:",
                       "price": "1,685 EUR"
                     }
                   ],
                   "Premium Diesel": [
                     {
                       "date": "05.12.2022-11.12.2022:",
                       "price": "1,919 EUR"
                     }
                   ],
                   "IQ Motoröle und Chemie": "10 % Rabatt",
                   "Autowäsche": "10 % Rabatt"
                 },
                 "info": "",
                 "countryname": "ÖSTERREICH"
               },
               "BOSNIEN UND HERZEGOWINA": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "BOSNIEN UND HERZEGOWINA"
               },
               "BELGIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "BELGIEN"
               },
               "BULGARIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "BULGARIEN"
               },
               "DEUTSCHLAND": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "DEUTSCHLAND"
               },
               "DÄNEMARK": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "DÄNEMARK"
               },
               "SPANIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "SPANIEN"
               },
               "FRANKREICH": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "FRANKREICH"
               },
               "GROßBRITANNIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "GROßBRITANNIEN"
               },
               "UNGARN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "UNGARN"
               },
               "ITALIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "ITALIEN"
               },
               "LITAUEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "LITAUEN"
               },
               "LUXEMBURG": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "LUXEMBURG"
               },
               "NIEDERLANDE": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "NIEDERLANDE"
               },
               "NORWEGEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "NORWEGEN"
               },
               "POLEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "POLEN"
               },
               "RUMÄNIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "RUMÄNIEN"
               },
               "SLOWENIEN": {
                 "services": {},
                 "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                 "countryname": "SLOWENIEN"
               }
              }
              

              Meine Adapter und Widgets
              TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
              Links im Profil

              LatziL NegaleinN 3 Replies Last reply
              2
              • OliverIOO OliverIO

                @negalein
                @Latzi

                So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

                //hier bitte konfigurieren
                //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                const dpPrices = "javascript.0.test1";
                let user = "xxx";
                let pass = "xxx";
                
                //ab hier nix verändern
                const request = require("request");
                const cheerio = require("cheerio");
                
                let $;
                async function main() {
                
                  var optionsLogin = {
                    method: 'POST',
                    url: "https://netservice.iqcard.at/de/login",
                    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
                    jar: true,
                    followRedirect: true,
                    followAllRedirects: true,
                    headers: {
                      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                      "accept-encoding": "gzip, deflate, br",
                      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                      "cache-control": "no-cache",
                      "content-type": "application/x-www-form-urlencoded",
                      "dnt": "1",
                      "origin": "https://netservice.iqcard.at",
                      "pragma": "no-cache",
                      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                      "sec-ch-ua-mobile": "?0",
                      "sec-ch-ua-platform": "\"Windows\"",
                      "sec-fetch-dest": "empty",
                      "sec-fetch-mode": "cors",
                      "sec-fetch-site": "same-origin",
                      "upgrade-insecure-requests": "1",
                      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
                      "Referer": "https://netservice.iqcard.at/de/kunden"
                    }
                  };
                  var optionsPriceinfo = {
                    method: 'GET',
                    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
                    jar: true,
                    followRedirect: true,
                    followAllRedirects: true,
                    headers: {
                      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                      "accept-encoding": "gzip, deflate, br",
                      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                      "cache-control": "no-cache",
                      "dnt": "1",
                      "origin": "https://netservice.iqcard.at",
                      "pragma": "no-cache",
                      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                      "sec-ch-ua-mobile": "?0",
                      "sec-ch-ua-platform": "\"Windows\"",
                      "sec-fetch-dest": "empty",
                      "sec-fetch-mode": "cors",
                      "sec-fetch-site": "same-origin",
                      "sec-fetch-user": "?1",
                      "upgrade-insecure-requests": "1",
                      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                      "Referer": "https://netservice.iqcard.at/de/netservice"
                    }
                  };
                
                  request.jar();
                  request.post(optionsLogin, () => {
                    request.get(optionsPriceinfo, (error, response, body) => {
                      let data = analyze(body);
                      log(data);
                      writeDatapoint(data);
                    });
                  });
                 function writeDatapoint(data) {
                   log("write dpPrices");
                   setState(dpPrices,JSON.stringify(data));
                 }
                }
                main()
                
                function analyze(body) {
                  $ = cheerio.load(body);
                  let countrys = $(".row > div > fieldset");
                  let data = {}
                  for (var i = 1; i < countrys.length; i++) {
                    let country = getCountry(countrys[i]);
                    data[country.countryname] = country;
                  }
                  return data;
                }
                function getCountry(country) {
                  let data = {};
                  data.services = {};
                  data.info = "";
                  data.countryname = $(country).find("> legend").text().trim();
                  let sections = $(country).find(".panel .panel-heading");
                  for (var i = 0; i < sections.length; i++) {
                    let section = $(sections[i]);
                    let title = section.text().trim();
                    let fields = $(section.next().find("fieldset"));
                    if (fields.length > 0) {
                      data.services[title] = getGasPrices(fields);
                    } else {
                      data.services[title] = getOtherServices(section.next());
                    }
                  }
                  if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                  return data;
                }
                function getGasPrices(fields) {
                  let data = [];
                  for (var i = 0; i < fields.contents().length; i++) {
                    let field = fields.contents()[i];
                    if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
                      let date = field.data.replace(/\s/gm, "");
                      let price = $(field).next().text();
                      data.push({ date: date, price: price });
                    }
                  }
                  return data;
                }
                function getOtherServices(fields) {
                  return fields.text().trim();
                }  
                

                die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

                {
                 "ÖSTERREICH": {
                   "services": {
                     "Super Plus": [
                       {
                         "date": "05.12.2022-11.12.2022:",
                         "price": "1,642 EUR"
                       }
                     ],
                     "Super": [
                       {
                         "date": "05.12.2022-11.12.2022:",
                         "price": "1,498 EUR"
                       }
                     ],
                     "Normal": [
                       {
                         "date": "05.12.2022-11.12.2022:",
                         "price": "1,498 EUR"
                       }
                     ],
                     "Diesel": [
                       {
                         "date": "05.12.2022-11.12.2022:",
                         "price": "1,685 EUR"
                       }
                     ],
                     "Premium Diesel": [
                       {
                         "date": "05.12.2022-11.12.2022:",
                         "price": "1,919 EUR"
                       }
                     ],
                     "IQ Motoröle und Chemie": "10 % Rabatt",
                     "Autowäsche": "10 % Rabatt"
                   },
                   "info": "",
                   "countryname": "ÖSTERREICH"
                 },
                 "BOSNIEN UND HERZEGOWINA": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "BOSNIEN UND HERZEGOWINA"
                 },
                 "BELGIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "BELGIEN"
                 },
                 "BULGARIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "BULGARIEN"
                 },
                 "DEUTSCHLAND": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "DEUTSCHLAND"
                 },
                 "DÄNEMARK": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "DÄNEMARK"
                 },
                 "SPANIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "SPANIEN"
                 },
                 "FRANKREICH": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "FRANKREICH"
                 },
                 "GROßBRITANNIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "GROßBRITANNIEN"
                 },
                 "UNGARN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "UNGARN"
                 },
                 "ITALIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "ITALIEN"
                 },
                 "LITAUEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "LITAUEN"
                 },
                 "LUXEMBURG": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "LUXEMBURG"
                 },
                 "NIEDERLANDE": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "NIEDERLANDE"
                 },
                 "NORWEGEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "NORWEGEN"
                 },
                 "POLEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "POLEN"
                 },
                 "RUMÄNIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "RUMÄNIEN"
                 },
                 "SLOWENIEN": {
                   "services": {},
                   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                   "countryname": "SLOWENIEN"
                 }
                }
                

                LatziL Online
                LatziL Online
                Latzi
                wrote on last edited by
                #80

                @oliverio
                klappt perfekt 👏 👏
                Ergebnis-JSON mit 270 Zeilen ist eine Ansage ;-)

                1 Reply Last reply
                0
                • OliverIOO OliverIO

                  @negalein
                  @Latzi

                  So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

                  //hier bitte konfigurieren
                  //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                  const dpPrices = "javascript.0.test1";
                  let user = "xxx";
                  let pass = "xxx";
                  
                  //ab hier nix verändern
                  const request = require("request");
                  const cheerio = require("cheerio");
                  
                  let $;
                  async function main() {
                  
                    var optionsLogin = {
                      method: 'POST',
                      url: "https://netservice.iqcard.at/de/login",
                      body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
                      jar: true,
                      followRedirect: true,
                      followAllRedirects: true,
                      headers: {
                        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                        "accept-encoding": "gzip, deflate, br",
                        "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                        "cache-control": "no-cache",
                        "content-type": "application/x-www-form-urlencoded",
                        "dnt": "1",
                        "origin": "https://netservice.iqcard.at",
                        "pragma": "no-cache",
                        "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                        "sec-ch-ua-mobile": "?0",
                        "sec-ch-ua-platform": "\"Windows\"",
                        "sec-fetch-dest": "empty",
                        "sec-fetch-mode": "cors",
                        "sec-fetch-site": "same-origin",
                        "upgrade-insecure-requests": "1",
                        "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                        "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
                        "Referer": "https://netservice.iqcard.at/de/kunden"
                      }
                    };
                    var optionsPriceinfo = {
                      method: 'GET',
                      url: "https://netservice.iqcard.at/de/netservice_preisinfo",
                      jar: true,
                      followRedirect: true,
                      followAllRedirects: true,
                      headers: {
                        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                        "accept-encoding": "gzip, deflate, br",
                        "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                        "cache-control": "no-cache",
                        "dnt": "1",
                        "origin": "https://netservice.iqcard.at",
                        "pragma": "no-cache",
                        "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                        "sec-ch-ua-mobile": "?0",
                        "sec-ch-ua-platform": "\"Windows\"",
                        "sec-fetch-dest": "empty",
                        "sec-fetch-mode": "cors",
                        "sec-fetch-site": "same-origin",
                        "sec-fetch-user": "?1",
                        "upgrade-insecure-requests": "1",
                        "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                        "Referer": "https://netservice.iqcard.at/de/netservice"
                      }
                    };
                  
                    request.jar();
                    request.post(optionsLogin, () => {
                      request.get(optionsPriceinfo, (error, response, body) => {
                        let data = analyze(body);
                        log(data);
                        writeDatapoint(data);
                      });
                    });
                   function writeDatapoint(data) {
                     log("write dpPrices");
                     setState(dpPrices,JSON.stringify(data));
                   }
                  }
                  main()
                  
                  function analyze(body) {
                    $ = cheerio.load(body);
                    let countrys = $(".row > div > fieldset");
                    let data = {}
                    for (var i = 1; i < countrys.length; i++) {
                      let country = getCountry(countrys[i]);
                      data[country.countryname] = country;
                    }
                    return data;
                  }
                  function getCountry(country) {
                    let data = {};
                    data.services = {};
                    data.info = "";
                    data.countryname = $(country).find("> legend").text().trim();
                    let sections = $(country).find(".panel .panel-heading");
                    for (var i = 0; i < sections.length; i++) {
                      let section = $(sections[i]);
                      let title = section.text().trim();
                      let fields = $(section.next().find("fieldset"));
                      if (fields.length > 0) {
                        data.services[title] = getGasPrices(fields);
                      } else {
                        data.services[title] = getOtherServices(section.next());
                      }
                    }
                    if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                    return data;
                  }
                  function getGasPrices(fields) {
                    let data = [];
                    for (var i = 0; i < fields.contents().length; i++) {
                      let field = fields.contents()[i];
                      if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
                        let date = field.data.replace(/\s/gm, "");
                        let price = $(field).next().text();
                        data.push({ date: date, price: price });
                      }
                    }
                    return data;
                  }
                  function getOtherServices(fields) {
                    return fields.text().trim();
                  }  
                  

                  die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

                  {
                   "ÖSTERREICH": {
                     "services": {
                       "Super Plus": [
                         {
                           "date": "05.12.2022-11.12.2022:",
                           "price": "1,642 EUR"
                         }
                       ],
                       "Super": [
                         {
                           "date": "05.12.2022-11.12.2022:",
                           "price": "1,498 EUR"
                         }
                       ],
                       "Normal": [
                         {
                           "date": "05.12.2022-11.12.2022:",
                           "price": "1,498 EUR"
                         }
                       ],
                       "Diesel": [
                         {
                           "date": "05.12.2022-11.12.2022:",
                           "price": "1,685 EUR"
                         }
                       ],
                       "Premium Diesel": [
                         {
                           "date": "05.12.2022-11.12.2022:",
                           "price": "1,919 EUR"
                         }
                       ],
                       "IQ Motoröle und Chemie": "10 % Rabatt",
                       "Autowäsche": "10 % Rabatt"
                     },
                     "info": "",
                     "countryname": "ÖSTERREICH"
                   },
                   "BOSNIEN UND HERZEGOWINA": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "BOSNIEN UND HERZEGOWINA"
                   },
                   "BELGIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "BELGIEN"
                   },
                   "BULGARIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "BULGARIEN"
                   },
                   "DEUTSCHLAND": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "DEUTSCHLAND"
                   },
                   "DÄNEMARK": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "DÄNEMARK"
                   },
                   "SPANIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "SPANIEN"
                   },
                   "FRANKREICH": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "FRANKREICH"
                   },
                   "GROßBRITANNIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "GROßBRITANNIEN"
                   },
                   "UNGARN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "UNGARN"
                   },
                   "ITALIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "ITALIEN"
                   },
                   "LITAUEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "LITAUEN"
                   },
                   "LUXEMBURG": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "LUXEMBURG"
                   },
                   "NIEDERLANDE": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "NIEDERLANDE"
                   },
                   "NORWEGEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "NORWEGEN"
                   },
                   "POLEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "POLEN"
                   },
                   "RUMÄNIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "RUMÄNIEN"
                   },
                   "SLOWENIEN": {
                     "services": {},
                     "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                     "countryname": "SLOWENIEN"
                   }
                  }
                  

                  NegaleinN Offline
                  NegaleinN Offline
                  Negalein
                  Global Moderator
                  wrote on last edited by
                  #81

                  @oliverio sagte in Daten aus PW geschützte Website:

                  So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

                  Merci! Werde ich gleich tauschen!

                  ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
                  ° Node.js Fixer ---> iob nodejs-update
                  ° Fixer ---> iob fix

                  1 Reply Last reply
                  0
                  • OliverIOO OliverIO

                    @negalein
                    @Latzi

                    So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

                    //hier bitte konfigurieren
                    //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                    const dpPrices = "javascript.0.test1";
                    let user = "xxx";
                    let pass = "xxx";
                    
                    //ab hier nix verändern
                    const request = require("request");
                    const cheerio = require("cheerio");
                    
                    let $;
                    async function main() {
                    
                      var optionsLogin = {
                        method: 'POST',
                        url: "https://netservice.iqcard.at/de/login",
                        body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
                        jar: true,
                        followRedirect: true,
                        followAllRedirects: true,
                        headers: {
                          "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                          "accept-encoding": "gzip, deflate, br",
                          "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                          "cache-control": "no-cache",
                          "content-type": "application/x-www-form-urlencoded",
                          "dnt": "1",
                          "origin": "https://netservice.iqcard.at",
                          "pragma": "no-cache",
                          "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                          "sec-ch-ua-mobile": "?0",
                          "sec-ch-ua-platform": "\"Windows\"",
                          "sec-fetch-dest": "empty",
                          "sec-fetch-mode": "cors",
                          "sec-fetch-site": "same-origin",
                          "upgrade-insecure-requests": "1",
                          "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                          "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
                          "Referer": "https://netservice.iqcard.at/de/kunden"
                        }
                      };
                      var optionsPriceinfo = {
                        method: 'GET',
                        url: "https://netservice.iqcard.at/de/netservice_preisinfo",
                        jar: true,
                        followRedirect: true,
                        followAllRedirects: true,
                        headers: {
                          "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                          "accept-encoding": "gzip, deflate, br",
                          "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                          "cache-control": "no-cache",
                          "dnt": "1",
                          "origin": "https://netservice.iqcard.at",
                          "pragma": "no-cache",
                          "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
                          "sec-ch-ua-mobile": "?0",
                          "sec-ch-ua-platform": "\"Windows\"",
                          "sec-fetch-dest": "empty",
                          "sec-fetch-mode": "cors",
                          "sec-fetch-site": "same-origin",
                          "sec-fetch-user": "?1",
                          "upgrade-insecure-requests": "1",
                          "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                          "Referer": "https://netservice.iqcard.at/de/netservice"
                        }
                      };
                    
                      request.jar();
                      request.post(optionsLogin, () => {
                        request.get(optionsPriceinfo, (error, response, body) => {
                          let data = analyze(body);
                          log(data);
                          writeDatapoint(data);
                        });
                      });
                     function writeDatapoint(data) {
                       log("write dpPrices");
                       setState(dpPrices,JSON.stringify(data));
                     }
                    }
                    main()
                    
                    function analyze(body) {
                      $ = cheerio.load(body);
                      let countrys = $(".row > div > fieldset");
                      let data = {}
                      for (var i = 1; i < countrys.length; i++) {
                        let country = getCountry(countrys[i]);
                        data[country.countryname] = country;
                      }
                      return data;
                    }
                    function getCountry(country) {
                      let data = {};
                      data.services = {};
                      data.info = "";
                      data.countryname = $(country).find("> legend").text().trim();
                      let sections = $(country).find(".panel .panel-heading");
                      for (var i = 0; i < sections.length; i++) {
                        let section = $(sections[i]);
                        let title = section.text().trim();
                        let fields = $(section.next().find("fieldset"));
                        if (fields.length > 0) {
                          data.services[title] = getGasPrices(fields);
                        } else {
                          data.services[title] = getOtherServices(section.next());
                        }
                      }
                      if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                      return data;
                    }
                    function getGasPrices(fields) {
                      let data = [];
                      for (var i = 0; i < fields.contents().length; i++) {
                        let field = fields.contents()[i];
                        if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
                          let date = field.data.replace(/\s/gm, "");
                          let price = $(field).next().text();
                          data.push({ date: date, price: price });
                        }
                      }
                      return data;
                    }
                    function getOtherServices(fields) {
                      return fields.text().trim();
                    }  
                    

                    die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

                    {
                     "ÖSTERREICH": {
                       "services": {
                         "Super Plus": [
                           {
                             "date": "05.12.2022-11.12.2022:",
                             "price": "1,642 EUR"
                           }
                         ],
                         "Super": [
                           {
                             "date": "05.12.2022-11.12.2022:",
                             "price": "1,498 EUR"
                           }
                         ],
                         "Normal": [
                           {
                             "date": "05.12.2022-11.12.2022:",
                             "price": "1,498 EUR"
                           }
                         ],
                         "Diesel": [
                           {
                             "date": "05.12.2022-11.12.2022:",
                             "price": "1,685 EUR"
                           }
                         ],
                         "Premium Diesel": [
                           {
                             "date": "05.12.2022-11.12.2022:",
                             "price": "1,919 EUR"
                           }
                         ],
                         "IQ Motoröle und Chemie": "10 % Rabatt",
                         "Autowäsche": "10 % Rabatt"
                       },
                       "info": "",
                       "countryname": "ÖSTERREICH"
                     },
                     "BOSNIEN UND HERZEGOWINA": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "BOSNIEN UND HERZEGOWINA"
                     },
                     "BELGIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "BELGIEN"
                     },
                     "BULGARIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "BULGARIEN"
                     },
                     "DEUTSCHLAND": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "DEUTSCHLAND"
                     },
                     "DÄNEMARK": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "DÄNEMARK"
                     },
                     "SPANIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "SPANIEN"
                     },
                     "FRANKREICH": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "FRANKREICH"
                     },
                     "GROßBRITANNIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "GROßBRITANNIEN"
                     },
                     "UNGARN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "UNGARN"
                     },
                     "ITALIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "ITALIEN"
                     },
                     "LITAUEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "LITAUEN"
                     },
                     "LUXEMBURG": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "LUXEMBURG"
                     },
                     "NIEDERLANDE": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "NIEDERLANDE"
                     },
                     "NORWEGEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "NORWEGEN"
                     },
                     "POLEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "POLEN"
                     },
                     "RUMÄNIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "RUMÄNIEN"
                     },
                     "SLOWENIEN": {
                       "services": {},
                       "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
                       "countryname": "SLOWENIEN"
                     }
                    }
                    

                    NegaleinN Offline
                    NegaleinN Offline
                    Negalein
                    Global Moderator
                    wrote on last edited by
                    #82

                    @oliverio

                    Guten Morgen!

                    Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
                    Bekomme folgende Meldung.

                    09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
                    09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
                    09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
                    09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
                    09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
                    09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
                    09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions
                    

                    cheerio hab ich aber in den Modulen hinzugefügt.

                    Kannst du mal drüberschaun?

                    Danke

                    ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
                    ° Node.js Fixer ---> iob nodejs-update
                    ° Fixer ---> iob fix

                    OliverIOO 1 Reply Last reply
                    0
                    • NegaleinN Negalein

                      @oliverio

                      Guten Morgen!

                      Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
                      Bekomme folgende Meldung.

                      09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
                      09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
                      09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
                      09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
                      09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
                      09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
                      09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions
                      

                      cheerio hab ich aber in den Modulen hinzugefügt.

                      Kannst du mal drüberschaun?

                      Danke

                      OliverIOO Offline
                      OliverIOO Offline
                      OliverIO
                      wrote on last edited by
                      #83

                      @negalein

                      Cannot find module cheerio.
                      Schau mal in den Einstellungen des JavaScript Adapters,
                      Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                      Meine Adapter und Widgets
                      TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                      Links im Profil

                      NegaleinN 1 Reply Last reply
                      0
                      • OliverIOO OliverIO

                        @negalein

                        Cannot find module cheerio.
                        Schau mal in den Einstellungen des JavaScript Adapters,
                        Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                        NegaleinN Offline
                        NegaleinN Offline
                        Negalein
                        Global Moderator
                        wrote on last edited by
                        #84

                        @oliverio sagte in Daten aus PW geschützte Website:

                        Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                        Danke
                        musste es 2x machen. Jetzt funktionierts wieder.

                        ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
                        ° Node.js Fixer ---> iob nodejs-update
                        ° Fixer ---> iob fix

                        OliverIOO 1 Reply Last reply
                        0
                        • NegaleinN Negalein

                          @oliverio sagte in Daten aus PW geschützte Website:

                          Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                          Danke
                          musste es 2x machen. Jetzt funktionierts wieder.

                          OliverIOO Offline
                          OliverIOO Offline
                          OliverIO
                          wrote on last edited by
                          #85

                          @negalein

                          ok, warum auch immer diese bibliothek rausgeflogen ist.
                          muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden)

                          Meine Adapter und Widgets
                          TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                          Links im Profil

                          NegaleinN 1 Reply Last reply
                          1
                          • Dr. BakteriusD Online
                            Dr. BakteriusD Online
                            Dr. Bakterius
                            Most Active
                            wrote on last edited by Dr. Bakterius
                            #86

                            Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

                            Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
                            Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:
                            iq.png

                            Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

                            Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

                            #!/bin/bash
                            
                            # Einloggen und Cookie speichern
                             wget --save-cookies cookies.txt \
                                 --keep-session-cookies \
                                 --post-data 'BENUID={username}&PASSWT={password}' \
                                 --delete-after \
                                 https://netservice.iqcard.at/de/login
                            
                            # Seite mit den Preisen speichern
                             wget --load-cookies cookies.txt \
                                 https://netservice.iqcard.at/de/netservice_preisinfo
                            
                            # gespeicherte Seite in Variable einlesen
                             IQWeb=$(<netservice_preisinfo)
                            	
                            # Daten auslesen
                             Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
                             Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                             Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                             Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                             SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                            
                            # in ioBroker Datenpunkte schreiben
                             if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                              Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                              Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                              Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                              Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                              Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                             fi
                            
                            # gespeicherte Seite löschen
                             rm netservice_preisinfo
                            
                            LatziL 1 Reply Last reply
                            1
                            • OliverIOO OliverIO

                              @negalein

                              ok, warum auch immer diese bibliothek rausgeflogen ist.
                              muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden)

                              NegaleinN Offline
                              NegaleinN Offline
                              Negalein
                              Global Moderator
                              wrote on last edited by
                              #87

                              @oliverio sagte in Daten aus PW geschützte Website:

                              ok, warum auch immer diese bibliothek rausgeflogen ist.

                              Hallo Oliver!

                              Durch meinen Thread ist @liv-in-sky gerade dabei, das Script von request auf axios für mich umzustellen.
                              Allerdings klappt nicht alles.

                              Könntest du da behilflich sein, oder hier helfen?

                              ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
                              ° Node.js Fixer ---> iob nodejs-update
                              ° Fixer ---> iob fix

                              1 Reply Last reply
                              0
                              • Dr. BakteriusD Dr. Bakterius

                                Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

                                Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
                                Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:
                                iq.png

                                Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

                                Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

                                #!/bin/bash
                                
                                # Einloggen und Cookie speichern
                                 wget --save-cookies cookies.txt \
                                     --keep-session-cookies \
                                     --post-data 'BENUID={username}&PASSWT={password}' \
                                     --delete-after \
                                     https://netservice.iqcard.at/de/login
                                
                                # Seite mit den Preisen speichern
                                 wget --load-cookies cookies.txt \
                                     https://netservice.iqcard.at/de/netservice_preisinfo
                                
                                # gespeicherte Seite in Variable einlesen
                                 IQWeb=$(<netservice_preisinfo)
                                	
                                # Daten auslesen
                                 Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
                                 Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                 Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                 Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                 SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                
                                # in ioBroker Datenpunkte schreiben
                                 if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                                  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                                  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                                  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                                  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                                  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                                 fi
                                
                                # gespeicherte Seite löschen
                                 rm netservice_preisinfo
                                
                                LatziL Online
                                LatziL Online
                                Latzi
                                wrote on last edited by
                                #88

                                @dr-bakterius
                                offenbar hat IQ die website geändert, läuft bei dir das script noch?

                                NegaleinN Dr. BakteriusD 2 Replies Last reply
                                0
                                • LatziL Latzi

                                  @dr-bakterius
                                  offenbar hat IQ die website geändert, läuft bei dir das script noch?

                                  NegaleinN Offline
                                  NegaleinN Offline
                                  Negalein
                                  Global Moderator
                                  wrote on last edited by
                                  #89

                                  @latzi sagte in Daten aus PW geschützte Website:

                                  offenbar hat IQ die website geändert, läuft bei dir das script noch?

                                  gerade gesehn. Läuft bei mir nicht mehr. :(

                                  ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
                                  ° Node.js Fixer ---> iob nodejs-update
                                  ° Fixer ---> iob fix

                                  1 Reply Last reply
                                  0
                                  • OliverIOO OliverIO

                                    @codierknecht sagte in Daten aus PW geschützte Website:

                                    https://user:password@adresse.de

                                    das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll. manche seiten unterstützen das zwar noch, ist aber bei modernen seiten eher unüblich.
                                    meist wird oauth genommen (aber es gibt glaube ich noch 2-3 andere relevante)
                                    aber all dies kann der parser adapter nicht, dann muss da immer auf ein skript zurückgegriffen werden.

                                    warum sind diese Preise nicht im adapter tankerkönig enthalten?

                                    NegaleinN Offline
                                    NegaleinN Offline
                                    Negalein
                                    Global Moderator
                                    wrote on last edited by
                                    #90

                                    @oliverio sagte in Daten aus PW geschützte Website:

                                    dann muss da immer auf ein skript zurückgegriffen werden

                                    Hallo Oliver!

                                    Die haben jetzt die Seite etwas verändert.
                                    Könntest du dir das nochmals anschaun?

                                    Ich schick dir per PN die benötigten Daten.

                                    LG

                                    ° Node.js & System Update ---> sudo apt update, iob stop, sudo apt full-upgrade
                                    ° Node.js Fixer ---> iob nodejs-update
                                    ° Fixer ---> iob fix

                                    1 Reply Last reply
                                    0
                                    • LatziL Latzi

                                      @dr-bakterius
                                      offenbar hat IQ die website geändert, läuft bei dir das script noch?

                                      Dr. BakteriusD Online
                                      Dr. BakteriusD Online
                                      Dr. Bakterius
                                      Most Active
                                      wrote on last edited by
                                      #91

                                      @latzi @Negalein

                                      Ich habe das Skript an die geänderte Seite angepasst:

                                      #!/bin/bash
                                      
                                      # Einloggen und Cookie speichern
                                       wget --save-cookies cookies.txt \
                                           --keep-session-cookies \
                                      	 --post-data="Username={username}&Password={password}" \
                                           --delete-after \
                                      	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                                      
                                      # Seite mit den Preisen speichern
                                       wget --load-cookies cookies.txt \
                                      	 https://netservice.iqcard.at/de/netservice/Preisinfo
                                      
                                      # gespeicherte Seite in Variable einlesen
                                       IQWeb=$(<Preisinfo)
                                      	
                                      # Daten auslesen
                                       Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                                       Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                       Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                       Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                       SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                      
                                      # in ioBroker Datenpunkte schreiben
                                       if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                                      	echo $Datum
                                      	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                                      	echo $Diesel
                                      	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                                      	echo $Benzin
                                      	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                                      	echo $Super
                                      	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                                      	echo $SuperPlus
                                      	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                                       else
                                      	echo "Datenabfrage fehlerhaft!"
                                       fi
                                      
                                      # gespeicherte Seite löschen
                                       rm Preisinfo
                                      
                                      LatziL OliverIOO 3 Replies Last reply
                                      1
                                      • Dr. BakteriusD Dr. Bakterius

                                        @latzi @Negalein

                                        Ich habe das Skript an die geänderte Seite angepasst:

                                        #!/bin/bash
                                        
                                        # Einloggen und Cookie speichern
                                         wget --save-cookies cookies.txt \
                                             --keep-session-cookies \
                                        	 --post-data="Username={username}&Password={password}" \
                                             --delete-after \
                                        	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                                        
                                        # Seite mit den Preisen speichern
                                         wget --load-cookies cookies.txt \
                                        	 https://netservice.iqcard.at/de/netservice/Preisinfo
                                        
                                        # gespeicherte Seite in Variable einlesen
                                         IQWeb=$(<Preisinfo)
                                        	
                                        # Daten auslesen
                                         Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                                         Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                         Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                         Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                         SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                        
                                        # in ioBroker Datenpunkte schreiben
                                         if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                                        	echo $Datum
                                        	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                                        	echo $Diesel
                                        	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                                        	echo $Benzin
                                        	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                                        	echo $Super
                                        	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                                        	echo $SuperPlus
                                        	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                                         else
                                        	echo "Datenabfrage fehlerhaft!"
                                         fi
                                        
                                        # gespeicherte Seite löschen
                                         rm Preisinfo
                                        
                                        LatziL Online
                                        LatziL Online
                                        Latzi
                                        wrote on last edited by
                                        #92

                                        @dr-bakterius
                                        Super, vielen Dank 👏 💪

                                        1 Reply Last reply
                                        0
                                        • OliverIOO Offline
                                          OliverIOO Offline
                                          OliverIO
                                          wrote on last edited by OliverIO
                                          #93

                                          stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

                                          gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau

                                          testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.

                                          //hier bitte konfigurieren
                                          //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                                          const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
                                          let user = "xxx";
                                          let pass = "xxx";
                                          
                                          //ab hier nix verändern
                                          const axios = require('axios');
                                          const cheerio = require("cheerio");
                                          const tough = require('tough-cookie');
                                          const { wrapper } = require('axios-cookiejar-support');
                                          
                                          const cookieJar = new tough.CookieJar();
                                          const client = wrapper(axios.create({
                                              jar: cookieJar,
                                              withCredentials: true,
                                          }));
                                          
                                          let $;
                                          async function main() {
                                          
                                              const optionsStart = {
                                                  method: 'GET',
                                                  url: 'https://netservice.iqcard.at/de/Kunden',
                                                  "headers": {
                                                      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                      "cache-control": "no-cache",
                                                      "pragma": "no-cache",
                                                      "priority": "u=0, i",
                                                      "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                      "sec-ch-ua-mobile": "?0",
                                                      "sec-ch-ua-platform": "\"Windows\"",
                                                      "sec-fetch-dest": "document",
                                                      "sec-fetch-mode": "navigate",
                                                      "sec-fetch-site": "none",
                                                      "sec-fetch-user": "?1",
                                                      "upgrade-insecure-requests": "1",
                                                      "Referrer-Policy": "strict-origin-when-cross-origin"
                                                  }
                                              };
                                          
                                              const optionsPreisinfo = {
                                                  method: 'GET',
                                                  url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
                                                  "headers": {
                                                      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                      "cache-control": "no-cache",
                                                      "pragma": "no-cache",
                                                      "priority": "u=0, i",
                                                      "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                      "sec-ch-ua-mobile": "?0",
                                                      "sec-ch-ua-platform": "\"Windows\"",
                                                      "sec-fetch-dest": "document",
                                                      "sec-fetch-mode": "navigate",
                                                      "sec-fetch-site": "same-origin",
                                                      "sec-fetch-user": "?1",
                                                      "upgrade-insecure-requests": "1",
                                                      'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                                      "Referrer-Policy": "strict-origin-when-cross-origin"
                                                  }
                                              };
                                          
                                              let responseStart, responseLogin, responsePreis;
                                              try {
                                                  responseStart = await client(optionsStart);
                                                  responseLogin = await client(getLoginOptions(responseStart));
                                                  responsePreis = await client(optionsPreisinfo);
                                          
                                              } catch (error) {
                                                  console.error('Error making the request:', error);
                                                  return;
                                              }
                                              const data = analyze(responsePreis.data);
                                              writeDatapoint(data)
                                          }
                                          
                                          function getLoginOptions(response) {
                                              //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
                                              $ = cheerio.load(response.data);
                                              let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
                                              return {
                                                  method: 'POST',
                                                  url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
                                                  data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
                                                  "headers": {
                                                      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                      "cache-control": "no-cache",
                                                      "content-type": "application/x-www-form-urlencoded",
                                                      "pragma": "no-cache",
                                                      "priority": "u=0, i",
                                                      "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                      "sec-ch-ua-mobile": "?0",
                                                      "sec-ch-ua-platform": "\"Windows\"",
                                                      "sec-fetch-dest": "document",
                                                      "sec-fetch-mode": "navigate",
                                                      "sec-fetch-site": "same-origin",
                                                      "sec-fetch-user": "?1",
                                                      "upgrade-insecure-requests": "1",
                                                      'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                                      "Referrer-Policy": "strict-origin-when-cross-origin"
                                                  },
                                                  maxRedirects: 5, // Anzahl der zu folgenden Redirects
                                                  withCredentials: true // für das Cookie-Handling
                                              };
                                          }
                                          
                                          function writeDatapoint(data) {
                                              //   log("write dpPrices");
                                              setState(dpPrices, JSON.stringify(data));
                                          }
                                          
                                          function analyze(body) {
                                              $ = cheerio.load(body);
                                              let countrys = $(".row > div > fieldset");
                                              let data = {}
                                              for (var i = 1; i < countrys.length; i++) {
                                                  let country = getCountry(countrys[i]);
                                                  data[country.countryname] = country;
                                              }
                                              return data;
                                          }
                                          function getCountry(country) {
                                              let data = {};
                                              data.services = {};
                                              data.info = "";
                                              data.countryname = $(country).find("> legend").text().trim();
                                              let sections = $(country).find(".accordion-item");
                                              for (var i = 0; i < sections.length; i++) {
                                                  let section = $(sections[i]);
                                          
                                                  let fields = $(section.find("fieldset div"));
                                                  if (fields.length > 0) {
                                                      let title = section.find("legend").text().trim();
                                                      data.services[title] = getGasPrices(fields);
                                                  } else {
                                                      let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
                                                      data.services[title] = getOtherServices(section);
                                                  }
                                              }
                                              if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                                              return data;
                                          }
                                          function getGasPrices(fields) {
                                              let data = [];
                                              for (var i = 0; i < fields.length; i++) {
                                                  let field = $(fields[i]).contents();
                                                  let date = $(field[0]).text().trim();
                                                  let price = $(field[1]).text().trim();
                                                  data.push({ date: date, price: price });
                                              }
                                              return data;
                                          }
                                          function getOtherServices(fields) {
                                              return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
                                          }
                                          
                                          main();
                                          

                                          Meine Adapter und Widgets
                                          TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                                          Links im Profil

                                          NegaleinN 1 Reply Last reply
                                          1

                                          Hello! It looks like you're interested in this conversation, but you don't have an account yet.

                                          Getting fed up of having to scroll through the same posts each visit? When you register for an account, you'll always come back to exactly where you were before, and choose to be notified of new replies (either via email, or push notification). You'll also be able to save bookmarks and upvote posts to show your appreciation to other community members.

                                          With your input, this post could be even better 💗

                                          Register Login
                                          Reply
                                          • Reply as topic
                                          Log in to reply
                                          • Oldest to Newest
                                          • Newest to Oldest
                                          • Most Votes


                                          Support us

                                          ioBroker
                                          Community Adapters
                                          Donate
                                          FAQ Cloud / IOT
                                          HowTo: Node.js-Update
                                          HowTo: Backup/Restore
                                          Downloads
                                          BLOG

                                          435

                                          Online

                                          32.8k

                                          Users

                                          82.7k

                                          Topics

                                          1.3m

                                          Posts
                                          Community
                                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                                          ioBroker Community 2014-2025
                                          logo
                                          • Login

                                          • Don't have an account? Register

                                          • Login or register to search.
                                          • First post
                                            Last post
                                          0
                                          • Home
                                          • Recent
                                          • Tags
                                          • Unread 0
                                          • Categories
                                          • Unreplied
                                          • Popular
                                          • GitHub
                                          • Docu
                                          • Hilfe