NEWS
Daten aus PW geschützte Website
-
so hier ist das script.
allerdings war es doch eine kleine Herausforderung, da ich 3 Bibliotheken (node-fetch,axios,cURL) probieren musste und dann doch am alten request/request hängen geblieben bin.
Diese bibliothek ist zwar deprecated (weil zu Ende entwickelt), aber die einzige
die sogenannte cookie-jars unterstützt, bzw wo es auch funktioniert.
Da hier die Anmeldung über mehrere Seitenaufrufe realisiert wird und die SessionID sozusagen als Authentifizierungs-Token dient, müssen die cookies hier bei jedem request mitgeführt werden.
OK es wäre auch anders gegangen, aber ich war faul.du musst nur noch deinen user und passwort wieder ins skript eintragen und laufen lassen.
der datenpunktname ebenfalls noch anpassen und er muss vor start existieren.
da ich alle werte (alle treibstoffarten+gültigkeit+preis) auslese, habe ich diese in ein json gesammelt und das landet dann im datenpunkt.wenn die richtige seite dann geladen ist, wird mit cheerio (dies bildet jquery ausserhalb des browsers nach), wird die html-dom gelesen, die werte extrahiert und noch ein wenig bereinigt.
es ist jetzt alles sehr kompakt, wer fragen hat, weil er was nicht lesen oder verstehen kann, kann gerne fragen.
dieser Lösungsansatz wäre für alle Formular+Session basierten Authentifizierungen möglich.
const dpPrices = "javascript.0.test1"; var user = "xxx"; var pass = "xxx"; const request = require("request"); const cheerio = require("cheerio"); async function main() { var optionsLogin = { method: 'POST', url: "https://netservice.iqcard.at/de/login", body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login", jar: true, followRedirect:true, followAllRedirects :true, headers: { "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", "accept-encoding": "gzip, deflate, br", "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7", "cache-control": "no-cache", "content-type": "application/x-www-form-urlencoded", "dnt": "1", "origin": "https://netservice.iqcard.at", "pragma": "no-cache", "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"", "sec-ch-ua-mobile": "?0", "sec-ch-ua-platform": "\"Windows\"", "sec-fetch-dest": "empty", "sec-fetch-mode": "cors", "sec-fetch-site": "same-origin", "upgrade-insecure-requests": "1", "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36", "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ", "Referer": "https://netservice.iqcard.at/de/kunden" } }; var optionsPriceinfo = { method: 'GET', url: "https://netservice.iqcard.at/de/netservice_preisinfo", jar: true, followRedirect:true, followAllRedirects :true, headers: { "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", "accept-encoding": "gzip, deflate, br", "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7", "cache-control": "no-cache", "dnt": "1", "origin": "https://netservice.iqcard.at", "pragma": "no-cache", "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"", "sec-ch-ua-mobile": "?0", "sec-ch-ua-platform": "\"Windows\"", "sec-fetch-dest": "empty", "sec-fetch-mode": "cors", "sec-fetch-site": "same-origin", "sec-fetch-user": "?1", "upgrade-insecure-requests": "1", "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36", "Referer": "https://netservice.iqcard.at/de/netservice" } }; request.jar(); request.post(optionsLogin,()=>{ request.get(optionsPriceinfo,(error, response, body)=>{ const $ = cheerio.load(body); let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim()); let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() { return this.nodeType == 3 && this.data.replace(/\s/gm,"")!="" }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1)); let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text()); if (titles.length==dates.length && titles.length==prices.length) { console.debug("website structure OK, found matching elements"); } else { console.debug("website structure is not OK, elements doesnt match"); return; } let data={}; for (var i=0;i<titles.length;i++) { data[titles[i]]={ title:titles[i], date:dates[i], price:prices[i] }; }; console.debug(data); writeDatapoint(data); }); }); function writeDatapoint(data) { console.debug("write dpPrices"); setState(dpPrices,JSON.stringify(data)); } } main()@oliverio sagte in Daten aus PW geschützte Website:
so hier ist das script.
Cool
DANKE
Du bist Mega!dpPrices = "javascript.0.test1";
Dieser DP muss vor Scriptstart existieren?
Bzw. Kann ich dort auch userdata.0 verwenden?° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
so hier ist das script.
Cool
DANKE
Du bist Mega!dpPrices = "javascript.0.test1";
Dieser DP muss vor Scriptstart existieren?
Bzw. Kann ich dort auch userdata.0 verwenden? -
@oliverio sagte in Daten aus PW geschützte Website:
wie du magst. da kannst du auch userdata.0 verwenden
probiere es gleich :)
° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
wie du magst. da kannst du auch userdata.0 verwenden
probiere es gleich :)
ach ich vergaß,
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
request nicht, da es schon im iobroker enthalten ist -
ach ich vergaß,
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
request nicht, da es schon im iobroker enthalten ist@oliverio sagte in Daten aus PW geschützte Website:
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
mach ich
body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
Wo gehören hier die Zugangsdaten?
BeiBENUID=und&PASSWT=? Oder beiuserundpass?° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
mach ich
body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
Wo gehören hier die Zugangsdaten?
BeiBENUID=und&PASSWT=? Oder beiuserundpass? -
@oliverio sagte in Daten aus PW geschützte Website:
die xxx jeweils in Zeile 2+3 ersetzen
gefunden :)
-
Ich seh im DP zwar Werte
aber klick ich den Wert an, kommt nur
in VIS im JSON-Widget kommt auch nur
-
@oliverio sagte in Daten aus PW geschützte Website:
welchen typ hat der datenpunkt?
bei mir hat er ZeichenketteAh, hab JSON genommen.
° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
welchen typ hat der datenpunkt?
bei mir hat er ZeichenketteAh, hab JSON genommen.
@negalein sagte in Daten aus PW geschützte Website:
@oliverio sagte in Daten aus PW geschützte Website:
welchen typ hat der datenpunkt?
bei mir hat er ZeichenketteAh, hab JSON genommen.
° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@negalein sagte in Daten aus PW geschützte Website:
@oliverio sagte in Daten aus PW geschützte Website:
welchen typ hat der datenpunkt?
bei mir hat er ZeichenketteAh, hab JSON genommen.
bei mir sieht das anders aus
Einstellungen des Datenpunkts
So der Bearbeitungsmodus für den Wert des Datenpunkts
-
bei mir sieht das anders aus
Einstellungen des Datenpunkts
So der Bearbeitungsmodus für den Wert des Datenpunkts
@oliverio sagte in Daten aus PW geschützte Website:
Einstellungen des Datenpunkts
So der Bearbeitungsmodus für den Wert des Datenpunkts
Da kommt nur das
obwohl ich sehe dass im DP was sein muss
Hättest event. Nachmittag Zeit für eine Anydesk Session?
° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
Einstellungen des Datenpunkts
So der Bearbeitungsmodus für den Wert des Datenpunkts
Da kommt nur das
obwohl ich sehe dass im DP was sein muss
Hättest event. Nachmittag Zeit für eine Anydesk Session?
tausche mal bitte noch Zeile 94 gegen. als zeilenreferenz nehm ich die vom geposteten skript
du hast eine ältere Version von iobroker und ich kann mich erinnern,
das das umgestellt wurde, das objekte von iobroker automatisch umgewandelt werden.
das passiert bei dir noch nicht.
Das machen wir mit der folgenden angepassten Zeile selbersetState(dpPrices,JSON.stringify(data));ansonsten dann auch anydesk. könnte von 13-14 uhr
-
tausche mal bitte noch Zeile 94 gegen. als zeilenreferenz nehm ich die vom geposteten skript
du hast eine ältere Version von iobroker und ich kann mich erinnern,
das das umgestellt wurde, das objekte von iobroker automatisch umgewandelt werden.
das passiert bei dir noch nicht.
Das machen wir mit der folgenden angepassten Zeile selbersetState(dpPrices,JSON.stringify(data));ansonsten dann auch anydesk. könnte von 13-14 uhr
@oliverio sagte in Daten aus PW geschützte Website:
du hast eine ältere Version von iobroker
eigentlich nicht. Bin da aktuell auf 4.0.23
Das machen wir mit der folgenden angepassten Zeile selber
funktioniert
Jetzt muss ich noch rausfinden, wie ich
titeldateundpricevom Diesel in die VIS bringe.
Wollte das gerne als 3 DP machen.° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
du hast eine ältere Version von iobroker
eigentlich nicht. Bin da aktuell auf 4.0.23
Das machen wir mit der folgenden angepassten Zeile selber
funktioniert
Jetzt muss ich noch rausfinden, wie ich
titeldateundpricevom Diesel in die VIS bringe.
Wollte das gerne als 3 DP machen.iobroker.admin ist in stable auf 6.2.23
und habe selbst noch 5.3.8zur darstellung.
leider können json datenpunkte in vis nicht verwendet werden.
das wurde kaputt verbessertich schlag hierfür das widget JSON template im adapter rssfeed (da gehört es eigentlich nicht hin, nutzt aber die gleiche technik wie rssfeed
du platzierst das widget
trägst in json_id dein datenpunkt ein
und traägst in das feld json_template das folgende ein<%= data["Super Plus"].title %><br> <%= data["Super Plus"].date %><br> <%= data["Super Plus"].price %><br>das widget macht den datenpunkt dann unter data verfügbar.
alles was zwischen <% und %> ist als platzhalter zu sehen und wird dann durch die anweisung innerhalb dessen ersetzt.
alles ausserhalb wird als html interpretiert.
man kann da sogar mit javascript programmieren.probier mal ob du damit zurecht kommst
wenn du weißt wie du es darstellen willst, kann ich helfen.
wahrscheinlich in einer tabelle?Meine Adapter und Widgets
TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
Links im Profil -
iobroker.admin ist in stable auf 6.2.23
und habe selbst noch 5.3.8zur darstellung.
leider können json datenpunkte in vis nicht verwendet werden.
das wurde kaputt verbessertich schlag hierfür das widget JSON template im adapter rssfeed (da gehört es eigentlich nicht hin, nutzt aber die gleiche technik wie rssfeed
du platzierst das widget
trägst in json_id dein datenpunkt ein
und traägst in das feld json_template das folgende ein<%= data["Super Plus"].title %><br> <%= data["Super Plus"].date %><br> <%= data["Super Plus"].price %><br>das widget macht den datenpunkt dann unter data verfügbar.
alles was zwischen <% und %> ist als platzhalter zu sehen und wird dann durch die anweisung innerhalb dessen ersetzt.
alles ausserhalb wird als html interpretiert.
man kann da sogar mit javascript programmieren.probier mal ob du damit zurecht kommst
wenn du weißt wie du es darstellen willst, kann ich helfen.
wahrscheinlich in einer tabelle?@oliverio sagte in Daten aus PW geschützte Website:
iobroker.admin ist in stable auf 6.2.23
da bin ich schon :)
probier mal ob du damit zurecht kommst
wenn du weißt wie du es darstellen willst, kann ich helfen.
wahrscheinlich in einer tabelle?werde ich testen.
Ich hab derzeit 3 eigene DP (PLZ, Name,, Preis)
Hab das mit Alias gefunden. Da kann man das JSON in eigene DP aufteilen. Das werde ich versuchen.
-
iobroker.admin ist in stable auf 6.2.23
und habe selbst noch 5.3.8zur darstellung.
leider können json datenpunkte in vis nicht verwendet werden.
das wurde kaputt verbessertich schlag hierfür das widget JSON template im adapter rssfeed (da gehört es eigentlich nicht hin, nutzt aber die gleiche technik wie rssfeed
du platzierst das widget
trägst in json_id dein datenpunkt ein
und traägst in das feld json_template das folgende ein<%= data["Super Plus"].title %><br> <%= data["Super Plus"].date %><br> <%= data["Super Plus"].price %><br>das widget macht den datenpunkt dann unter data verfügbar.
alles was zwischen <% und %> ist als platzhalter zu sehen und wird dann durch die anweisung innerhalb dessen ersetzt.
alles ausserhalb wird als html interpretiert.
man kann da sogar mit javascript programmieren.probier mal ob du damit zurecht kommst
wenn du weißt wie du es darstellen willst, kann ich helfen.
wahrscheinlich in einer tabelle? -
@OliverIO
ich nutze auch diesen Dienst, bei mir kommt jedoch im Datenpunkt nichts an (DP ist als JSON angelegt). Es werden auch keine "debug"-Meldungen aus dem Skript ausgegeben (cheerio habe ich im Adapter eingetragen).
Selbst wenn ich testweise falsche Zugangsdaten eingebe, kommt auch keine Meldungen im log.
Hast du eine Idee, woran es liegt kann?Mein System:
Admin: 6.2.23
js-controller: 4.0.23
javascript: 6.1.4
Node.js: v16.18.1
NPM: 8.19.2Edit:
Ich hab mal
responsevon Zeile 66 ausgegeben (siehe unten), Daten kommen zumindest an. Persönliche Daten habe ich mitxxxxxmaskiert
402
Online32.4k
Benutzer81.5k
Themen1.3m
Beiträge