Skip to content
  • Home
  • Aktuell
  • Tags
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. Skripten / Logik
  4. JavaScript
  5. Wie kann ich mehrere Webseiten über eine Schleife parsen?

NEWS

  • Weihnachtsangebot 2025! 🎄
    BluefoxB
    Bluefox
    22
    1
    1.1k

  • UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?
    apollon77A
    apollon77
    48
    3
    9.1k

  • Monatsrückblick – September 2025
    BluefoxB
    Bluefox
    14
    1
    2.4k

Wie kann ich mehrere Webseiten über eine Schleife parsen?

Geplant Angeheftet Gesperrt Verschoben JavaScript
javascript
25 Beiträge 5 Kommentatoren 1.9k Aufrufe 4 Watching
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • liv-in-skyL liv-in-sky

    @OliverIO vielleicht braucht es kein eigenes widget - mittlerweile gibt es bessere json widgets wie früher, somit müßte der adapter nur für die zusammenstellung der json sorgen ?

    OliverIOO Offline
    OliverIOO Offline
    OliverIO
    schrieb am zuletzt editiert von
    #15

    @liv-in-sky
    ja könnte man machen, dann würde ich aber eine proxy noch dazu programmieren.
    hab gerade gesehen, die cache-controls sind gesetzt und liegen bei 30 Tagen oder gar 90 Tagen.
    Dürfte reichen.

    Meine Adapter und Widgets
    TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
    Links im Profil

    liv-in-skyL 1 Antwort Letzte Antwort
    0
    • OliverIOO OliverIO

      @liv-in-sky
      ja könnte man machen, dann würde ich aber eine proxy noch dazu programmieren.
      hab gerade gesehen, die cache-controls sind gesetzt und liegen bei 30 Tagen oder gar 90 Tagen.
      Dürfte reichen.

      liv-in-skyL Offline
      liv-in-skyL Offline
      liv-in-sky
      schrieb am zuletzt editiert von
      #16

      @OliverIO cooool

      @Oli sorry, dass wir deinen thread "missbraucht" haben

      nach einem gelösten Thread wäre es sinnvoll dies in der Überschrift des ersten Posts einzutragen [gelöst]-... Bitte benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat. Forum-Tools: PicPick https://picpick.app/en/download/ und ScreenToGif https://www.screentogif.com/downloads.html

      O 1 Antwort Letzte Antwort
      0
      • liv-in-skyL liv-in-sky

        @OliverIO cooool

        @Oli sorry, dass wir deinen thread "missbraucht" haben

        O Online
        O Online
        Oli
        schrieb am zuletzt editiert von
        #17

        @liv-in-sky , @OliverIO ,

        wenn solche Ideen dabei herauskommen, könnt ihr den thread so oft missbrauchen wie ihr wollt :-)

        Ich teste bei den Adapter auch sehr gerne mit, momentan verwende ich ja ebenfalls das Hoerzu-Script.

        Extra Widgets finde ich auch, dass es die nicht unbedingt braucht.

        Gruß
        Oliver

        OliverIOO 1 Antwort Letzte Antwort
        1
        • O Oli

          @liv-in-sky , @OliverIO ,

          wenn solche Ideen dabei herauskommen, könnt ihr den thread so oft missbrauchen wie ihr wollt :-)

          Ich teste bei den Adapter auch sehr gerne mit, momentan verwende ich ja ebenfalls das Hoerzu-Script.

          Extra Widgets finde ich auch, dass es die nicht unbedingt braucht.

          OliverIOO Offline
          OliverIOO Offline
          OliverIO
          schrieb am zuletzt editiert von
          #18

          @Oli
          Ich lege die Anzeigelogik immer in Widgets. Der Adapter macht da eigentlich nicht viel, außer regelmäßig die Daten abrufen.

          Meine Adapter und Widgets
          TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
          Links im Profil

          1 Antwort Letzte Antwort
          0
          • liv-in-skyL liv-in-sky

            @OliverIO

            wegnehmen gibt's da nicht - ich weiß jetzt, da gibt es jmd. der sich mal gedanken macht - adapter wäre immer besser wie script - ich mache keine adapter und nach sylvester ist doch völlig ok

            ich werd mal überlegen, wie ich die daten aus dem json bekomme, um meine tabellen weiterhin zu nutzen - die letzte war eine anzeige von 3 hintereinander folgenden sendungen (pro sender) ab einer frei definierbaren zeit - die nutze ich eigentlich sehr gerne - mal sehen ob ich das json so zerlegen kann

            wenn du einen tester brauchst, gib einfach bescheid - bin mir sicher da werden einige mitmachen

            ps: vielleicht könntest du jeweils einen datenpunkt für einen sender mit den wichtigen daten (uhrzeit, sendung, bild oder url zu bild) einplanen - der müßte dann auch nur einmal geholt werden und kann dann gut weiterverarbeitet werden ... oje jetzt habe ich deine anforderungsliste auch noch aufgefüllt :-)

            F Offline
            F Offline
            fastfoot
            schrieb am zuletzt editiert von
            #19

            @liv-in-sky sagte in Wie kann ich mehrere Webseiten über eine Schleife parsen?:

            ich werd mal überlegen, wie ich die daten aus dem json bekomme, um meine tabellen weiterhin zu nutzen - die letzte war eine anzeige von 3 hintereinander folgenden sendungen (pro sender) ab einer frei definierbaren zeit - die nutze ich eigentlich sehr gerne - mal sehen ob ich das json so zerlegen kann

            wenn ich da etwas behilflich sein darf :-) ich schwöre voll auf jsonata, hier ein kleines Beispiel:
            die Daten werden alle geholt und in einen State geschrieben. Jetzt kann man mit der jsonata Expression spielen, ohne jedesmal die Daten zu ziehen, das Ergebnis wird wieder in einen State geschrieben. Die beiden States manuell anlegen, war ich jetzt zu faul dazu...

            /**
             * Zweck:   Holt TV-Programminformationen
             * Datum:   21.12.2020
             * Author:  @fastfoot
             * Forum:   https://forum.iobroker.net/topic/39896/wie-kann-ich-mehrere-webseiten-%C3%BCber-eine-schleife-parsen/11
             * 
             */
            let axios = require('axios').default;
            let jsonata = require('jsonata');
            
            let url= 'https://tvfueralle.de/api/broadcasts/1012';
            let idBase = '0_userdata.0.TV';
            let sender = '.'   // beliebig
            let expr = `
                $.events[eventId.$match(/^${sender}/) and 
                    startTime >= "2020-12-21T20:00" and 
                    startTime <= "2020-12-21T20:15"]^(startTime).{
                    "title": title,
                    "eventId": eventId,
                    "startTime": startTime,
                    "endTime": endTime,
                    "duration": duration / 60
                }`
            async function getData(url) {
                const res = await axios.get(url);
                if(res.status == 200) {
                    await setStateAsync(`${idBase}.TVProgramm`,JSON.stringify(res.data))
                }
            }
            
            async function main(refresh = false) {
                if(refresh){
                    await getData(url);
                }
                let test = JSON.parse((await getStateAsync(`${idBase}.TVProgramm`)).val);
                let json = jsonata(expr).evaluate(test);
                setState(`${idBase}.json`,JSON.stringify(json));
                log(JSON.stringify(json))
            }
            
            main(!true);
            

            Die erzeugten Daten in einem json-Widget
            TVProgramm.PNG

            iobroker läuft unter Docker auf QNAP TS-451+
            SkriptRecovery: https://forum.iobroker.net/post/930558

            liv-in-skyL OliverIOO 2 Antworten Letzte Antwort
            0
            • F fastfoot

              @liv-in-sky sagte in Wie kann ich mehrere Webseiten über eine Schleife parsen?:

              ich werd mal überlegen, wie ich die daten aus dem json bekomme, um meine tabellen weiterhin zu nutzen - die letzte war eine anzeige von 3 hintereinander folgenden sendungen (pro sender) ab einer frei definierbaren zeit - die nutze ich eigentlich sehr gerne - mal sehen ob ich das json so zerlegen kann

              wenn ich da etwas behilflich sein darf :-) ich schwöre voll auf jsonata, hier ein kleines Beispiel:
              die Daten werden alle geholt und in einen State geschrieben. Jetzt kann man mit der jsonata Expression spielen, ohne jedesmal die Daten zu ziehen, das Ergebnis wird wieder in einen State geschrieben. Die beiden States manuell anlegen, war ich jetzt zu faul dazu...

              /**
               * Zweck:   Holt TV-Programminformationen
               * Datum:   21.12.2020
               * Author:  @fastfoot
               * Forum:   https://forum.iobroker.net/topic/39896/wie-kann-ich-mehrere-webseiten-%C3%BCber-eine-schleife-parsen/11
               * 
               */
              let axios = require('axios').default;
              let jsonata = require('jsonata');
              
              let url= 'https://tvfueralle.de/api/broadcasts/1012';
              let idBase = '0_userdata.0.TV';
              let sender = '.'   // beliebig
              let expr = `
                  $.events[eventId.$match(/^${sender}/) and 
                      startTime >= "2020-12-21T20:00" and 
                      startTime <= "2020-12-21T20:15"]^(startTime).{
                      "title": title,
                      "eventId": eventId,
                      "startTime": startTime,
                      "endTime": endTime,
                      "duration": duration / 60
                  }`
              async function getData(url) {
                  const res = await axios.get(url);
                  if(res.status == 200) {
                      await setStateAsync(`${idBase}.TVProgramm`,JSON.stringify(res.data))
                  }
              }
              
              async function main(refresh = false) {
                  if(refresh){
                      await getData(url);
                  }
                  let test = JSON.parse((await getStateAsync(`${idBase}.TVProgramm`)).val);
                  let json = jsonata(expr).evaluate(test);
                  setState(`${idBase}.json`,JSON.stringify(json));
                  log(JSON.stringify(json))
              }
              
              main(!true);
              

              Die erzeugten Daten in einem json-Widget
              TVProgramm.PNG

              liv-in-skyL Offline
              liv-in-skyL Offline
              liv-in-sky
              schrieb am zuletzt editiert von
              #20

              @fastfoot

              natürlich darfst du helfen - freu mich sogar - jsonata hatte ich schon mal gehört - werd ich mal ansehen, vielleicht kann ich es gut gebrauchen für meine "überlegungen" - weihnachten haben wir ja viel zeit

              falls du eine gute beschreibung hast oder ein gutes video kennst - wenn nicht, find ich schon was

              nach einem gelösten Thread wäre es sinnvoll dies in der Überschrift des ersten Posts einzutragen [gelöst]-... Bitte benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat. Forum-Tools: PicPick https://picpick.app/en/download/ und ScreenToGif https://www.screentogif.com/downloads.html

              F 1 Antwort Letzte Antwort
              0
              • F fastfoot

                @liv-in-sky sagte in Wie kann ich mehrere Webseiten über eine Schleife parsen?:

                ich werd mal überlegen, wie ich die daten aus dem json bekomme, um meine tabellen weiterhin zu nutzen - die letzte war eine anzeige von 3 hintereinander folgenden sendungen (pro sender) ab einer frei definierbaren zeit - die nutze ich eigentlich sehr gerne - mal sehen ob ich das json so zerlegen kann

                wenn ich da etwas behilflich sein darf :-) ich schwöre voll auf jsonata, hier ein kleines Beispiel:
                die Daten werden alle geholt und in einen State geschrieben. Jetzt kann man mit der jsonata Expression spielen, ohne jedesmal die Daten zu ziehen, das Ergebnis wird wieder in einen State geschrieben. Die beiden States manuell anlegen, war ich jetzt zu faul dazu...

                /**
                 * Zweck:   Holt TV-Programminformationen
                 * Datum:   21.12.2020
                 * Author:  @fastfoot
                 * Forum:   https://forum.iobroker.net/topic/39896/wie-kann-ich-mehrere-webseiten-%C3%BCber-eine-schleife-parsen/11
                 * 
                 */
                let axios = require('axios').default;
                let jsonata = require('jsonata');
                
                let url= 'https://tvfueralle.de/api/broadcasts/1012';
                let idBase = '0_userdata.0.TV';
                let sender = '.'   // beliebig
                let expr = `
                    $.events[eventId.$match(/^${sender}/) and 
                        startTime >= "2020-12-21T20:00" and 
                        startTime <= "2020-12-21T20:15"]^(startTime).{
                        "title": title,
                        "eventId": eventId,
                        "startTime": startTime,
                        "endTime": endTime,
                        "duration": duration / 60
                    }`
                async function getData(url) {
                    const res = await axios.get(url);
                    if(res.status == 200) {
                        await setStateAsync(`${idBase}.TVProgramm`,JSON.stringify(res.data))
                    }
                }
                
                async function main(refresh = false) {
                    if(refresh){
                        await getData(url);
                    }
                    let test = JSON.parse((await getStateAsync(`${idBase}.TVProgramm`)).val);
                    let json = jsonata(expr).evaluate(test);
                    setState(`${idBase}.json`,JSON.stringify(json));
                    log(JSON.stringify(json))
                }
                
                main(!true);
                

                Die erzeugten Daten in einem json-Widget
                TVProgramm.PNG

                OliverIOO Offline
                OliverIOO Offline
                OliverIO
                schrieb am zuletzt editiert von
                #21

                @fastfoot
                und wer gern mit json spielt, kann hier mein noch flexibleres json widget mal betrachten.
                Darüber kann man beliebige json-Daten über eine Templatesprache in eine beliebige Ansicht bringen.
                für diejenigen, denen json table zu unflexibel ist.

                https://forum.iobroker.net/topic/31521/test-widget-json-template

                Meine Adapter und Widgets
                TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                Links im Profil

                F 1 Antwort Letzte Antwort
                0
                • liv-in-skyL liv-in-sky

                  @fastfoot

                  natürlich darfst du helfen - freu mich sogar - jsonata hatte ich schon mal gehört - werd ich mal ansehen, vielleicht kann ich es gut gebrauchen für meine "überlegungen" - weihnachten haben wir ja viel zeit

                  falls du eine gute beschreibung hast oder ein gutes video kennst - wenn nicht, find ich schon was

                  F Offline
                  F Offline
                  fastfoot
                  schrieb am zuletzt editiert von
                  #22

                  @liv-in-sky sagte in Wie kann ich mehrere Webseiten über eine Schleife parsen?:

                  @fastfoot

                  natürlich darfst du helfen - freu mich sogar - jsonata hatte ich schon mal gehört - werd ich mal ansehen, vielleicht kann ich es gut gebrauchen für meine "überlegungen" - weihnachten haben wir ja viel zeit

                  falls du eine gute beschreibung hast oder ein gutes video kennst - wenn nicht, find ich schon was

                  Hier ein Link zur Doku, wollte dir ein Beispiel auf try.jsonata.org erstellen, aber bekomme keinen Link zum sharen erstellt, wahrscheinlich zuviele Daten im Beispiel. Das json links rein pasten, rechts der Ausdruck aus dem Skript, ${sender} ersetzen durch zB ard

                  Hat jetzt doch geklappt, hab einiges an Daten gelöscht: https://try.jsonata.org/hz-my_j6Z

                  Ansonsten fragen, bin aber blutiger Anfänger :-)

                  iobroker läuft unter Docker auf QNAP TS-451+
                  SkriptRecovery: https://forum.iobroker.net/post/930558

                  1 Antwort Letzte Antwort
                  0
                  • OliverIOO OliverIO

                    @fastfoot
                    und wer gern mit json spielt, kann hier mein noch flexibleres json widget mal betrachten.
                    Darüber kann man beliebige json-Daten über eine Templatesprache in eine beliebige Ansicht bringen.
                    für diejenigen, denen json table zu unflexibel ist.

                    https://forum.iobroker.net/topic/31521/test-widget-json-template

                    F Offline
                    F Offline
                    fastfoot
                    schrieb am zuletzt editiert von
                    #23

                    @OliverIO sagte in Wie kann ich mehrere Webseiten über eine Schleife parsen?:

                    @fastfoot
                    und wer gern mit json spielt, kann hier mein noch flexibleres json widget mal betrachten.
                    Darüber kann man beliebige json-Daten über eine Templatesprache in eine beliebige Ansicht bringen.
                    für diejenigen, denen json table zu unflexibel ist.

                    https://forum.iobroker.net/topic/31521/test-widget-json-template

                    omg, das sieht gar nicht nach plug n' play aus. Werde ich mal mit den Daten hier testen, spart vlt jsonata zum Transformieren. Ansonsten werde ich dadurch wohl auch meine bescheidenen html-Kenntnisse erweitern können, scheints. Danke!

                    iobroker läuft unter Docker auf QNAP TS-451+
                    SkriptRecovery: https://forum.iobroker.net/post/930558

                    OliverIOO 1 Antwort Letzte Antwort
                    0
                    • F fastfoot

                      @OliverIO sagte in Wie kann ich mehrere Webseiten über eine Schleife parsen?:

                      @fastfoot
                      und wer gern mit json spielt, kann hier mein noch flexibleres json widget mal betrachten.
                      Darüber kann man beliebige json-Daten über eine Templatesprache in eine beliebige Ansicht bringen.
                      für diejenigen, denen json table zu unflexibel ist.

                      https://forum.iobroker.net/topic/31521/test-widget-json-template

                      omg, das sieht gar nicht nach plug n' play aus. Werde ich mal mit den Daten hier testen, spart vlt jsonata zum Transformieren. Ansonsten werde ich dadurch wohl auch meine bescheidenen html-Kenntnisse erweitern können, scheints. Danke!

                      OliverIOO Offline
                      OliverIOO Offline
                      OliverIO
                      schrieb am zuletzt editiert von
                      #24

                      @fastfoot
                      ne plug n play nicht.

                      aber wer beliebige json daten als widget anzeigen möchte, ohne ein eigenes widget erstellen zu wollen
                      bietet dieses hier höchste flexibilität, da es im templatesystem html, css und javascript vereinigen lässt

                      Meine Adapter und Widgets
                      TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                      Links im Profil

                      OliverIOO 1 Antwort Letzte Antwort
                      0
                      • OliverIOO OliverIO

                        @fastfoot
                        ne plug n play nicht.

                        aber wer beliebige json daten als widget anzeigen möchte, ohne ein eigenes widget erstellen zu wollen
                        bietet dieses hier höchste flexibilität, da es im templatesystem html, css und javascript vereinigen lässt

                        OliverIOO Offline
                        OliverIOO Offline
                        OliverIO
                        schrieb am zuletzt editiert von OliverIO
                        #25

                        Wer es weiterverfolgen möchte, hier ein kleines Preview zum TV Program Adapter
                        https://forum.iobroker.net/topic/40168/test-adapter-tvprogram

                        Meine Adapter und Widgets
                        TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                        Links im Profil

                        1 Antwort Letzte Antwort
                        0
                        Antworten
                        • In einem neuen Thema antworten
                        Anmelden zum Antworten
                        • Älteste zuerst
                        • Neuste zuerst
                        • Meiste Stimmen


                        Support us

                        ioBroker
                        Community Adapters
                        Donate

                        838

                        Online

                        32.5k

                        Benutzer

                        81.6k

                        Themen

                        1.3m

                        Beiträge
                        Community
                        Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                        ioBroker Community 2014-2025
                        logo
                        • Anmelden

                        • Du hast noch kein Konto? Registrieren

                        • Anmelden oder registrieren, um zu suchen
                        • Erster Beitrag
                          Letzter Beitrag
                        0
                        • Home
                        • Aktuell
                        • Tags
                        • Ungelesen 0
                        • Kategorien
                        • Unreplied
                        • Beliebt
                        • GitHub
                        • Docu
                        • Hilfe