NEWS
Daten aus PW geschützte Website
-
Ich habe das Skript an die geänderte Seite angepasst:
#!/bin/bash # Einloggen und Cookie speichern wget --save-cookies cookies.txt \ --keep-session-cookies \ --post-data="Username={username}&Password={password}" \ --delete-after \ https://netservice.iqcard.at//de/Kunden?handler=SignInDb # Seite mit den Preisen speichern wget --load-cookies cookies.txt \ https://netservice.iqcard.at/de/netservice/Preisinfo # gespeicherte Seite in Variable einlesen IQWeb=$(<Preisinfo) # Daten auslesen Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs) Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) # in ioBroker Datenpunkte schreiben if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then echo $Datum Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum) echo $Diesel Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel) echo $Benzin Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin) echo $Super Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super) echo $SuperPlus Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus) else echo "Datenabfrage fehlerhaft!" fi # gespeicherte Seite löschen rm Preisinfo@dr-bakterius
ach, der server interessiert sich für __RequestVerificationToken
gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.Meine Adapter und Widgets
TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
Links im Profil -
stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet
gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau
testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.
@oliverio sagte in Daten aus PW geschützte Website:
stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet
läuft seit gestern Nacht einwandfrei.
Danke nochmals. Kaffee kommt demnächst. ;)
-
@dr-bakterius
ach, der server interessiert sich für __RequestVerificationToken
gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
-
Ich habe das Skript an die geänderte Seite angepasst:
#!/bin/bash # Einloggen und Cookie speichern wget --save-cookies cookies.txt \ --keep-session-cookies \ --post-data="Username={username}&Password={password}" \ --delete-after \ https://netservice.iqcard.at//de/Kunden?handler=SignInDb # Seite mit den Preisen speichern wget --load-cookies cookies.txt \ https://netservice.iqcard.at/de/netservice/Preisinfo # gespeicherte Seite in Variable einlesen IQWeb=$(<Preisinfo) # Daten auslesen Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs) Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs) # in ioBroker Datenpunkte schreiben if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then echo $Datum Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum) echo $Diesel Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel) echo $Benzin Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin) echo $Super Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super) echo $SuperPlus Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus) else echo "Datenabfrage fehlerhaft!" fi # gespeicherte Seite löschen rm Preisinfo@dr-bakterius
läuft bei dir das script? Ich bekomme keine Daten mehr, finde jedoch das Problem nicht. Hier meine Ausgabe des scripts:--2024-07-02 14:03:55-- https://netservice.iqcard.at/de/Kunden?handler=SignInDb Auflösen des Hostnamens netservice.iqcard.at (netservice.iqcard.at)… 213.33.74.115 Verbindungsaufbau zu netservice.iqcard.at (netservice.iqcard.at)|213.33.74.115|:443 … verbunden. HTTP-Anforderung gesendet, auf Antwort wird gewartet … 400 Bad Request 2024-07-02 14:03:55 FEHLER 400: Bad Request. --2024-07-02 14:03:55-- https://netservice.iqcard.at/de/netservice/Preisinfo Auflösen des Hostnamens netservice.iqcard.at (netservice.iqcard.at)… 213.33.74.115 Verbindungsaufbau zu netservice.iqcard.at (netservice.iqcard.at)|213.33.74.115|:443 … verbunden. HTTP-Anforderung gesendet, auf Antwort wird gewartet … 302 Found Platz: https://netservice.iqcard.at/de/Kunden [folgend] --2024-07-02 14:03:55-- https://netservice.iqcard.at/de/Kunden Wiederverwendung der bestehenden Verbindung zu netservice.iqcard.at:443. HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK Länge: nicht spezifiziert [text/html] Wird in »Preisinfo« gespeichert. Preisinfo [ <=> ] 21,78K --.-KB/s in 0,01s 2024-07-02 14:03:55 (1,43 MB/s) - »Preisinfo« gespeichert [22304] Datenabfrage fehlerhaft! -
@latzi Leider wurde die Seite wieder verändert und mein primitives Skript funktioniert nicht mehr. Ich nutze jetzt das Skript von @OliverIO, das funktioniert derzeit perfekt. Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.
Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.
-
@latzi Leider wurde die Seite wieder verändert und mein primitives Skript funktioniert nicht mehr. Ich nutze jetzt das Skript von @OliverIO, das funktioniert derzeit perfekt. Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.
Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.
@dr-bakterius sagte in Daten aus PW geschützte Website:
das Skript von @OliverIO,
das funktioniert super.
Oliver würde sich bestimmt über noch mehr Kaffee oder Bierchen freuen. ;)
Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.
bei uns wird nur 1x/Woche aktualisiert. Das mach ich dann immer Dienstags um 00:05 Uhr.
-
@latzi Leider wurde die Seite wieder verändert und mein primitives Skript funktioniert nicht mehr. Ich nutze jetzt das Skript von @OliverIO, das funktioniert derzeit perfekt. Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.
Ich lasse es nur an Montagen jede Stunde von 6 bis 23 Uhr laufen damit nicht zu viele Anfragen erfolgen.
@dr-bakterius sagte in Daten aus PW geschützte Website:
Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.
ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.
-
@dr-bakterius sagte in Daten aus PW geschützte Website:
Das Skript erstellt ein JSON mit allen Daten von der IQ-Seite und die gewünschten Daten lassen sich daraus leicht extrahieren.
ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.
@latzi sagte in Daten aus PW geschützte Website:
ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.
mit Alias
° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@latzi sagte in Daten aus PW geschützte Website:
ich stell mich zu dumm an, wie bekomme ich die aktuellen Preise für Österreich aus der riesigen Liste raus - kannst du mir bitte unter die Arme greifen.
mit Alias
-
@latzi sagte in Daten aus PW geschützte Website:
auf die Syntax wär ich vermutlich nie gekommen
ich auch nicht :grin:
hab damals hier nachgefragt.
-
@latzi Oder mit einem Blockly:
In der Javascript-Funktion befindet sich das Skript. Das wird über den Zeitplan aufgerufen. Wenn sich im angegebenen Datenpunkt etwas geändert hat (neue Preise) wird das JSON zerlegt und in die entsprechenden Datenpunkte geladen. Im Datum entferne ich aus Platzgründen die Leerzeichen und bei den Preisen werden die Kommata durch einen Dezimalpunkt ersetzt damit der Wert in eine Zahl umgewandelt werden kann. Da kann man dann auch eine Verlaufsgrafik aus den Daten erstellen.
-
@latzi Oder mit einem Blockly:
In der Javascript-Funktion befindet sich das Skript. Das wird über den Zeitplan aufgerufen. Wenn sich im angegebenen Datenpunkt etwas geändert hat (neue Preise) wird das JSON zerlegt und in die entsprechenden Datenpunkte geladen. Im Datum entferne ich aus Platzgründen die Leerzeichen und bei den Preisen werden die Kommata durch einen Dezimalpunkt ersetzt damit der Wert in eine Zahl umgewandelt werden kann. Da kann man dann auch eine Verlaufsgrafik aus den Daten erstellen.
@dr-bakterius sagte in Daten aus PW geschützte Website:
Oder mit einem Blockly:
cool, das muss ich mir auch anschaun.
-
Leider hat IQ Card mal wieder an der Seite gebastelt und dein Skript will nicht mehr. Kannst du das vielleicht wieder anpassen? :pray:
-
Leider hat IQ Card mal wieder an der Seite gebastelt und dein Skript will nicht mehr. Kannst du das vielleicht wieder anpassen? :pray:
@dr-bakterius sagte in Daten aus PW geschützte Website:
Kannst du das vielleicht wieder anpassen?
Ja, das wäre mega lieb!
Edit: die haben gerade Probleme mit der Seite. Mal gehts, mal nicht. Mal schaun obs morgen funktioniert.
PS:: zum FF-Script komm ich erst morgen. Hatten FF-Fest ;)
Dann kommt wieder ein Pott Kaffee ;) -
Website funktioniert wieder.
Aber habe gerade gesehen, dass die Preise seit mind. 1 Woche nicht mehr aktualisiert werden.
Hast du noch mein User & PWD?
Sonst schick ich dir eine PN wenn du sie nochmal benötigst.° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
Website funktioniert wieder.
Aber habe gerade gesehen, dass die Preise seit mind. 1 Woche nicht mehr aktualisiert werden.
Hast du noch mein User & PWD?
Sonst schick ich dir eine PN wenn du sie nochmal benötigst.ja habe ich.
es sieht so aus, als ob der webserver von denen falsch konfiguriert wurde und nicht alle zertifikate im zertifikatenbaum für node verfügbar sind. (habs auch nur nachgelesen)der browser funktioniert einwandfrei, da dort zusätzliche maßnahmen getroffen werden um die fehlenden zertifikate zu laden. das geht allerdings über die fähigkeiten eines skripts hinaus.
evtl gibt dafür auch eine bibliothek, muss ich aber mal noch schauen.als workaraound funktioniert das hier bei vscode. allerdings lässt der javascript adapter einen nicht an die process variable ran. damit wird einfach die ganze zertifikatsüberprüfung abgeschaltet.
genauere beschreibung hier
https://stackoverflow.com/questions/31673587/error-unable-to-verify-the-first-certificate-in-nodejsfehlermeldung in vscode 'UNABLE_TO_VERIFY_LEAF_SIGNATURE'
fehlermesafge in vscode 'unable to verify the first certificate'//ab hier nix verändern process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0; const axios = require('axios');informationssammlung
https://github.com/node-fetch/node-fetch/discussions/1702 -
ja habe ich.
es sieht so aus, als ob der webserver von denen falsch konfiguriert wurde und nicht alle zertifikate im zertifikatenbaum für node verfügbar sind. (habs auch nur nachgelesen)der browser funktioniert einwandfrei, da dort zusätzliche maßnahmen getroffen werden um die fehlenden zertifikate zu laden. das geht allerdings über die fähigkeiten eines skripts hinaus.
evtl gibt dafür auch eine bibliothek, muss ich aber mal noch schauen.als workaraound funktioniert das hier bei vscode. allerdings lässt der javascript adapter einen nicht an die process variable ran. damit wird einfach die ganze zertifikatsüberprüfung abgeschaltet.
genauere beschreibung hier
https://stackoverflow.com/questions/31673587/error-unable-to-verify-the-first-certificate-in-nodejsfehlermeldung in vscode 'UNABLE_TO_VERIFY_LEAF_SIGNATURE'
fehlermesafge in vscode 'unable to verify the first certificate'//ab hier nix verändern process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0; const axios = require('axios');informationssammlung
https://github.com/node-fetch/node-fetch/discussions/1702@oliverio sagte in Daten aus PW geschützte Website:
als workaraound funktioniert das hier bei vscode
Oh, hoffe die beheben den Fehler.
Das kannn ich in JS also nicht verwenden, oder hab ich das falsch verstanden?
//ab hier nix verändern process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0; const axios = require('axios');° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@oliverio sagte in Daten aus PW geschützte Website:
als workaraound funktioniert das hier bei vscode
Oh, hoffe die beheben den Fehler.
Das kannn ich in JS also nicht verwenden, oder hab ich das falsch verstanden?
//ab hier nix verändern process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0; const axios = require('axios'); -
@oliverio sagte in Daten aus PW geschützte Website:
ja leider
doch, geht grundsätzlich
let p=require('node:process'); //p.env.TZ='Europe/Berlin'; p.env.TZ='America/New_York'; log(new Date().toString())iobroker läuft unter Docker auf QNAP TS-451+
SkriptRecovery: https://forum.iobroker.net/post/930558
391
Online32.4k
Benutzer81.5k
Themen1.3m
Beiträge