Kalender von Website auslesen

[andrenaether]

... Ich Bräuchte mal euer Schwarmwissen, und zwar möchte ich einen Belegungskalender aus einer Website auslesen.

die Idee soll sein, das man die Termine in Blockly übergibt und Blockly meldet Veränderungen (Ps. Immer nur für die Aktuelle Woche) die ausgelesenen Daten sollen über den Adapter Ical in den Jeweiligen Kalender als Termin Eingetragen werden.

Ich Habe noch keine Ahnung wie ich das Projekt am Besten umsetzen kann... ich denke mal das der Parser da schnell an seine Grenzen kommen kann.
wenn jemand eine Idee (Lösung) für das Projekt hat wäre ich mega dankbar.

die Website um die es Geht---- > https://irs.indico.ch/bodenseearena/views/Graphical?location=Bodenseearena

[andrenaether]

@andrenaether ...Ps ist es überhaupt möglich sowas umzusetzen ???

[liv-in-sky]

@andrenaether

extrem aufwendig, wenn überhaupt richtig möglich

das auslesen der seite wäre wohl mit cheerio möglich um damit die daten zu holen. diese müßten dann noch richtig zusammensortiert werden und dann kommt das problem, das du das ganze in google eintragen willst - ich weiß nicht, ob der webcal adapter das kann - wenn nicht müßte da auch noch was programmiert werden

gibt es auf der webseite eine style änderung, muss das ganze überarbeitet werden

ruf doch beim ersteller mal an und frage ob sie etwas bereitstellen könnten, um die daten zu bekommen

interessant wäre evtl diesen block (am ende der webseite) auszulesen und zu analysieren - darin findet man alle daten : tag , zeit und ereignis

new Date(2023,7,7,7,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager"

Spoiler

this.AddAppointment("18288", new Date(2023,7,7,7,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18289", new Date(2023,7,7,9), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18290", new Date(2023,7,7,10,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18291", new Date(2023,7,7,12), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18292", new Date(2023,7,7,13,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18293", new Date(2023,7,7,15), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18294", new Date(2023,7,7,16,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18295", new Date(2023,7,7,18), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18320", new Date(2023,7,7,19,30), 3600000, ['1'], "HCT YL U17\r\nTraining", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U17\r\nTraining'}));
this.AddAppointment("18324", new Date(2023,7,7,20,45), 5400000, ['1'], "EHCKK 2. Liga\r\nTraining", "00000001", "Normal", 14, 0, 0,({'cpSubject':'EHCKK 2. Liga\r\nTraining'}));
this.AddAppointment("18296", new Date(2023,7,8,7,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18297", new Date(2023,7,8,9), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18298", new Date(2023,7,8,10,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18299", new Date(2023,7,8,12), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18300", new Date(2023,7,8,13,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18301", new Date(2023,7,8,15), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18302", new Date(2023,7,8,16,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18303", new Date(2023,7,8,18), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18321", new Date(2023,7,8,19,30), 3600000, ['1'], "HCT YL U17\r\nTraining", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U17\r\nTraining'}));
this.AddAppointment("18323", new Date(2023,7,8,20,45), 5400000, ['1'], "HCT YL U20\r\nTraining", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U20\r\nTraining'}));
this.AddAppointment("18304", new Date(2023,7,9,7,30), 3600000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18305", new Date(2023,7,9,8,45), 3600000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18306", new Date(2023,7,9,10), 3600000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18307", new Date(2023,7,9,11,15), 3600000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18319", new Date(2023,7,9,12,30), 3600000, ['1'], "RSP\r\nTraining", "00000001", "Normal", 1, 0, 0,({'cpSubject':'RSP\r\nTraining'}));
this.AddAppointment("18308", new Date(2023,7,9,13,45), 5400000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18309", new Date(2023,7,9,15,30), 5400000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18310", new Date(2023,7,9,17,15), 5400000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18311", new Date(2023,7,9,19), 5400000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18325", new Date(2023,7,9,20,45), 5400000, ['1'], "EHCKK 2. Liga\r\nTraining", "00000001", "Normal", 14, 0, 0,({'cpSubject':'EHCKK 2. Liga\r\nTraining'}));
this.AddAppointment("18312", new Date(2023,7,10,7,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18313", new Date(2023,7,10,9), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18314", new Date(2023,7,10,10,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18315", new Date(2023,7,10,12), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18316", new Date(2023,7,10,13,30), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18317", new Date(2023,7,10,15), 7200000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18318", new Date(2023,7,10,17,15), 7200000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18322", new Date(2023,7,10,19,30), 3600000, ['1'], "HCT YL U17\r\nTraining", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U17\r\nTraining'}));
this.AddAppointment("18326", new Date(2023,7,10,20,45), 5400000, ['1'], "EHCKK 2. Liga\r\nTraining", "00000001", "Normal", 14, 0, 0,({'cpSubject':'EHCKK 2. Liga\r\nTraining'}));
this.AddAppointment("18327", new Date(2023,7,11,8,15), 5400000, ['1'], "Pikes\r\nTrainingslager", "00000001", "Normal", 8, 0, 0,({'cpSubject':'Pikes\r\nTrainingslager'}));
this.AddAppointment("16521", new Date(2023,7,11,10), 3600000, ['1'], "TIL FRLZ\r\nTrainingslager", "00000001", "Normal", 15, 0, 0,({'cpSubject':'TIL FRLZ\r\nTrainingslager'}));
this.AddAppointment("16524", new Date(2023,7,11,13,30), 3600000, ['1'], "TIL FRLZ\r\nTrainingslager", "00000001", "Normal", 15, 0, 0,({'cpSubject':'TIL FRLZ\r\nTrainingslager'}));
this.AddAppointment("18328", new Date(2023,7,11,14,45), 4500000, ['1'], "Pikes\r\nTrainingslager", "00000001", "Normal", 8, 0, 0,({'cpSubject':'Pikes\r\nTrainingslager'}));
this.AddAppointment("18333", new Date(2023,7,11,16,15), 4500000, ['1'], "HCT YL U13\r\nTraining", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U13\r\nTraining'}));
this.AddAppointment("18337", new Date(2023,7,11,18), 7200000, ['1'], "KREC\r\nTraining\r\nPATCH-Eis", "00000001", "Normal", 5, 0, 0,({'cpSubject':'KREC\r\nTraining\r\nPATCH-Eis'}));
this.AddAppointment("18335", new Date(2023,7,12,9), 4500000, ['1'], "HCT YL U17\r\nIntern", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U17\r\nIntern'}));
this.AddAppointment("16522", new Date(2023,7,12,10,30), 3600000, ['1'], "TIL FRLZ\r\nTrainingslager", "00000001", "Normal", 15, 0, 0,({'cpSubject':'TIL FRLZ\r\nTrainingslager'}));
this.AddAppointment("18329", new Date(2023,7,12,11,45), 5400000, ['1'], "Pikes\r\nTrainingslager", "00000001", "Normal", 8, 0, 0,({'cpSubject':'Pikes\r\nTrainingslager'}));
this.AddAppointment("16525", new Date(2023,7,12,13,30), 3600000, ['1'], "TIL FRLZ\r\nTrainingslager", "00000001", "Normal", 15, 0, 0,({'cpSubject':'TIL FRLZ\r\nTrainingslager'}));
this.AddAppointment("18330", new Date(2023,7,12,15), 5400000, ['1'], "Pikes\r\nTrainingslager", "00000001", "Normal", 8, 0, 0,({'cpSubject':'Pikes\r\nTrainingslager'}));
this.AddAppointment("18334", new Date(2023,7,12,16,45), 8100000, ['1'], "HCT YL U13\r\nMatch\r\nvs. ??", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U13\r\nMatch\r\nvs. ??'}));
this.AddAppointment("18336", new Date(2023,7,12,19,15), 8100000, ['1'], "HCT YL U17\r\nMatch\r\nvs. EHC Basel", "00000001", "Normal", 2, 0, 0,({'cpSubject':'HCT YL U17\r\nMatch\r\nvs. EHC Basel'}));
this.AddAppointment("18331", new Date(2023,7,13,8,15), 5400000, ['1'], "Pikes\r\nTrainingslager", "00000001", "Normal", 8, 0, 0,({'cpSubject':'Pikes\r\nTrainingslager'}));
this.AddAppointment("16523", new Date(2023,7,13,10), 3600000, ['1'], "TIL FRLZ\r\nTrainingslager", "00000001", "Normal", 15, 0, 0,({'cpSubject':'TIL FRLZ\r\nTrainingslager'}));
this.AddAppointment("18332", new Date(2023,7,13,11,15), 7200000, ['1'], "Pikes\r\nMatch\r\nintern", "00000001", "Normal", 8, 0, 0,({'cpSubject':'Pikes\r\nMatch\r\nintern'}));
this.AddAppointment("18338", new Date(2023,7,13,14), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18339", new Date(2023,7,13,15,30), 5400000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18340", new Date(2023,7,13,17,15), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));
this.AddAppointment("18341", new Date(2023,7,13,18,45), 4500000, ['1'], "GCK/ZSC\r\nTrainingslager", "00000001", "Normal", 5, 0, 0,({'cpSubject':'GCK/ZSC\r\nTrainingslager'}));

wenn du daraus ein array machst, könntest du das verarbeiten

[dirkhe]

@liv-in-sky sagte in Kalender von Website auslesen:

ob der webcal adapter das kann - wenn nicht müßte da auch noch was programmiert werden

Man könnte einzelneEvents per "addEvent" hinzufügen, ich könnte mir aber auch vorstellen, ein sendTo einzubauen, der auch ein array verarbeiten kann. Müsste dann aber auch sehen, wie man da mit fehlern umgeht.
Wenn das benötigt wird, wöre ein issue auf github gut

[liv-in-sky]

@dirkhe müßte mir deinen adapter nochmal ansehen - damals habe ich das mit google nicht hinbekommen (ich hasse diese google api anmeldung )

aber etwas in google calender einzutragen (über script und adapter) wollte ich schon immer haben

[liv-in-sky]

@andrenaether

also soweit auf die schnelle zusammengeschustert - könnte sicher verbessert werden - habe kurz ein paar sachen zusammenkopiert

Spoiler

let url="https://irs.indico.ch/bodenseearena/views/Graphical?location=Bodenseearena"
let gesucht;
let theJson=[];
const myDP="0_userdata.0.CONTROL-OWN.AAATEST.testJSON"

async function doit(){
await getData();
log(gesucht[0])
log(String(gesucht.length))
for(let i=0;i<gesucht.length;i++){
   let mytime=gesucht[i].replace(/.*new Date\((.*?)\).*/,"$1").split(",")
   let mydatum=mytime[2]+"."+String(Number(mytime[1])+1)+"."+mytime[0];
   let myzeit;
   mytime.length==4 ? myzeit=mytime[3]+":"+"00" : myzeit=mytime[3]+":"+mytime[4];
   
 theJson.push({
     "zeit":myzeit,
     "datum":mydatum,
     "ereignis":gesucht[i].replace(/.*[\'1\']\, \"(.*?)\"\, \"00000001\"\,.*/,"$1").replace(/\\r\\n/," "),
 })

}
log(JSON.stringify(theJson))
setState(myDP,JSON.stringify(theJson))
}


async function getData(){
   return new Promise(async (resolve, reject) => {

  await request(url, async function (error, response, result) {
 
  gesucht="";
   const myregex = /^this\.AddAppointment.*$/gm;
  gesucht=result.match(myregex);  
 
    if (gesucht!="" && error==null) {resolve()} else {reject()}
;  }).on("error", function (e) {console.error(e);});

  
 });

}

doit();

[dirkhe]

@liv-in-sky aber wenn man die jetzt in den calender eintragen würde, müsste man noch sicherstellen, dass die nicht doppelt eingetragen werden. Das macht das ganze natürlich einiges schwieriger.... würde ich dann auch in der verantwortung des scriptes sehen.
Die frage wäre dann, müssen die in den kalender eingetragen werde, oder nutzt man das als quelle für den adapter, also dass diese ereignisse quasi in die struktur des adapters eingetragen werden.

[dirkhe]

@liv-in-sky sagte in Kalender von Website auslesen:

ich hasse diese google api anmeldung

Ich auch, hatte das ja auf Anfrage eingebaut, ich selber nutze einen nextcloud adapter

[liv-in-sky]

@dirkhe

sollte eigentlich nur einmal pro woche laufen - ds kann man dann einfach überprüfen, ob man die aktuelle woche bekommen hat und nicht doppelt schreibt

@dirkhe sagte in Kalender von Website auslesen:

Die frage wäre dann, müssen die in den kalender eingetragen werde, oder nutzt man das als quelle für den adapter, also dass diese ereignisse quasi in die struktur des adapters eingetragen werden.

bin mir nicht sicher, ob ich dich verstehe - ich weiß ja noch nicht, ob alle eingetragen werden sollen, oder ob was gefiltert wird - daher bräuchte das script eine art sendto zum adapter, welches eine evtl. json annimmt und an den kalender weiterleitet

[dirkhe]

@liv-in-sky das mit dem sento sollte nicht das problem sein und das man das als json übergibt, sollte auch klar sein.
Die sendto schnittste habe ich eh schon drin, weil ich darüber die testfunktion abgebildet habe.
Nur über die rückgabe, ggf. Incl. Fehler müsste ich mir was überlegen.

[liv-in-sky]

@dirkhe

ich werde mir morgen nochmal das mit der google api und deinem adapter ansehen - beim letzten mal habe ich frustriert aufgegeben

ich sag dir dann bescheid, wie weit ich gekommen bin

[andrenaether]

@liv-in-sky

Mega ..... wow ich hätte nicht gedacht das man das aus der Website bekommt. wie ist es wenn man die Website mehrmals in der woch abfragt nach (Änderungen)
würde man dann jedes mal alles doppelt schreiben ??

Ps. Ich habe auch erst seid Kurzen den ical Adapter gefunden ( Weil viele das Problem Hatten mit anmelden und Co)

Die Idee von mir ist halt zb. Am Sonntag oder Montag (Aktuelle Woche ) die Daten in den Kalender zu schreiben. ( Oder ist es sinnvoller die gesamten Daten einmal von januar bis Dezember zu schreiben und auf veränderungen Reagieren .....

[liv-in-sky]

@andrenaether sagte in Kalender von Website auslesen:

Die Idee von mir ist halt zb. Am Sonntag oder Montag (Aktuelle Woche ) die Daten in den Kalender zu schreiben. ( Oder ist es sinnvoller die gesamten Daten einmal von januar bis Dezember zu schreiben und auf veränderungen Reagieren

ne - jede woche einmal - ansonsten musst du immer zuerst im kalender nach den einträgen suchen . aber zuerst muss ich noch rausfinden, wie genau man in den g-cal shreibt

https://forum.iobroker.net/post/1027448

[liv-in-sky]

@andrenaether

hi - um das mal erreichen zu können, mussst du dir den webcal adapter installieren und dich bei deinem google calender anmelden - das könntest du schon mal vorbereiten

diese seite ist dafür sehr wichtig https://github.com/dirkhe/ioBroker.webcal/blob/master/doc/google.md

[liv-in-sky]

@andrenaether

das habe ich bis jetzt hinbekommen

[andrenaether]

@liv-in-sky Ohh wow ich habe mich inzwischen auch damit befasst aber habe es nicht hinbekommen...
Kannst du mir das zeigen, erklären .... bin da echt am verzweifeln .....
aber mega das es Leute wie dich gibt die da eine Ahnung haben

[liv-in-sky]

@andrenaether sagte in Kalender von Website auslesen:

aber habe es nicht hinbekommen

was genau - den webcal adapter ?

[andrenaether]

@liv-in-sky Und wie du die daten aus der website geholt hast .... Ich habe noch keinen Richtigen Plan wie das alles umsetzen und zusammenbauen ...

[liv-in-sky]

@andrenaether sagte in Kalender von Website auslesen:

Und wie du die daten aus der website geholt hast

das kommt noch - ich nutze ein script, welches du dann bekommst - zuerst muss aber der webcal adapter richtig eingerichtet werden

[liv-in-sky]

@andrenaether sagte in Kalender von Website auslesen:

mega das es Leute wie dich gibt die da eine Ahnung haben

bei diesen ganzen google anmelde-kram habe ich nicht wirklich eine ahnung habe nach anleitung solange geklickt, bis es lief