NEWS
Daten aus PW geschützte Website
-
@latzi Super Danke, jetzt bekomm ich auch die Daten rein. Nein, hab eigentlich auch nur eine Woche zur Ansicht, aber noch viele Europäische Länder mit unterschiedlichen Preisen.
-
@johgre sagte in Daten aus PW geschützte Website:
aber noch viele Europäische Länder mit unterschiedlichen Preisen
interessant wie unterschiedlich mit IQ verhandelt wird.
Wir (Siedlerverein) können nur in Österreich billiger tanken. -
-
@oliverio
klappt perfekt
Ergebnis-JSON mit 270 Zeilen ist eine Ansage -
@oliverio sagte in Daten aus PW geschützte Website:
So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.
Merci! Werde ich gleich tauschen!
-
Guten Morgen!
Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
Bekomme folgende Meldung.09:04:25.313 info javascript.0 (1025547) Stop script script.js.common.IQ-Sprit 09:04:25.313 info javascript.1 (1025554) Stop script script.js.common.IQ-Sprit 09:04:26.352 info javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit 09:04:26.364 error javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio' 09:04:26.366 error javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17 09:04:26.366 error javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3 09:04:26.387 info javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions
cheerio
hab ich aber in den Modulen hinzugefügt.Kannst du mal drüberschaun?
Danke
-
Cannot find module cheerio.
Schau mal in den Einstellungen des JavaScript Adapters,
Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.) -
@oliverio sagte in Daten aus PW geschützte Website:
Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)
Danke
musste es 2x machen. Jetzt funktionierts wieder. -
ok, warum auch immer diese bibliothek rausgeflogen ist.
muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden) -
Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.
Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:
Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.
Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.
#!/bin/bash # Einloggen und Cookie speichern wget --save-cookies cookies.txt \ --keep-session-cookies \ --post-data 'BENUID={username}&PASSWT={password}' \ --delete-after \ https://netservice.iqcard.at/de/login # Seite mit den Preisen speichern wget --load-cookies cookies.txt \ https://netservice.iqcard.at/de/netservice_preisinfo # gespeicherte Seite in Variable einlesen IQWeb=$(<netservice_preisinfo) # Daten auslesen Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs) Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) # in ioBroker Datenpunkte schreiben if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum) Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel) Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin) Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super) Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus) fi # gespeicherte Seite löschen rm netservice_preisinfo
-
@oliverio sagte in Daten aus PW geschützte Website:
ok, warum auch immer diese bibliothek rausgeflogen ist.
Hallo Oliver!
Durch meinen Thread ist @liv-in-sky gerade dabei, das Script von
request
aufaxios
für mich umzustellen.
Allerdings klappt nicht alles.Könntest du da behilflich sein, oder hier helfen?
-
@dr-bakterius
offenbar hat IQ die website geändert, läuft bei dir das script noch? -
@latzi sagte in Daten aus PW geschützte Website:
offenbar hat IQ die website geändert, läuft bei dir das script noch?
gerade gesehn. Läuft bei mir nicht mehr.
-
@oliverio sagte in Daten aus PW geschützte Website:
dann muss da immer auf ein skript zurückgegriffen werden
Hallo Oliver!
Die haben jetzt die Seite etwas verändert.
Könntest du dir das nochmals anschaun?Ich schick dir per PN die benötigten Daten.
LG
-
Ich habe das Skript an die geänderte Seite angepasst:
#!/bin/bash # Einloggen und Cookie speichern wget --save-cookies cookies.txt \ --keep-session-cookies \ --post-data="Username={username}&Password={password}" \ --delete-after \ https://netservice.iqcard.at//de/Kunden?handler=SignInDb # Seite mit den Preisen speichern wget --load-cookies cookies.txt \ https://netservice.iqcard.at/de/netservice/Preisinfo # gespeicherte Seite in Variable einlesen IQWeb=$(<Preisinfo) # Daten auslesen Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs) Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) # in ioBroker Datenpunkte schreiben if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then echo $Datum Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum) echo $Diesel Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel) echo $Benzin Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin) echo $Super Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super) echo $SuperPlus Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus) else echo "Datenabfrage fehlerhaft!" fi # gespeicherte Seite löschen rm Preisinfo
-
@dr-bakterius
Super, vielen Dank -
stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet
gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau
testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.
-
ach, der server interessiert sich für __RequestVerificationToken
gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt. -
@oliverio sagte in Daten aus PW geschützte Website:
stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet
läuft seit gestern Nacht einwandfrei.
Danke nochmals. Kaffee kommt demnächst.
-