Neues YouTube-Video: Visualisierung im Devices-Adapter

[looxer01]

@oliverio sagte in Preis von Propellets.at mittels Parser auslesen:

die seite wird nun dynamisch erzeugt.

das hatte ich schon befürchtet. Nicht so gut.

@oliverio sagte in Preis von Propellets.at mittels Parser auslesen:

hast du eine andere quelle für diese informationen?

hab jetzt mal nachgesehen aber ich bin nicht so richtig fündig geworden. Die einzige Alternative, die ich gesehen habe, ist mit Sicherheit noch schwieriger, da Preise bzw die Lieferanten erst per manuellen klick erzeugt werden.

dann schauts nicht so gut aus.

Vielleicht hat aber noch ein Mitleser einen Tipp, ob es gute alternative Seiten gibt ?

vG Looxer

[OliverIO]

@looxer01

Nenne die Seite bitte.
Manueller Klick ist kein schwieriges Kriterium

[looxer01]

@oliverio
hatte die Seite holzpellets.net im Blick. Allerdings wird dort immer nur ein Lieferant angezeigt.
Die Auswahl nach dem günstigsten Lieferanten kann also nicht wirklich getroffen werden.
Mit anderen Worten: Ich bin nicht fündig geworden :(

[looxer01]

ich habe jetzt nochmal auf die Seite Heizpellets24 geguckt.
Da wird ja auf der ersten Seite schon ein Preis angezeigt.
Aber auch der scheint dynamisch ermittelt zu werden, nämlich von dem was in den Feldern PLZ und KG enthalten ist.
Man sieht auch im Seitenaufbau, dass der Preis sich während des Aufbaus der Seite ändert.
Das scheint also auch nicht zu gehen.

[looxer01]

Hi, ich habe eine Loesung fuer das Problem mit der Seite fuer heizpellets24-de gefunden. Hat jemand Interesse an den Fix ?
Ist ein Script, dass auf Puppeteer (NPM Module) zurückgreift.

[pepe12ooo]

Hallo, ich hätte auf jeden Fall Interesse daran.

[OliverIO]

@looxer01

was ist da nochmal das problem das man mit pupeteer was machen muss?

• wenn man das folgende formular ausfüllt,
  https://www.heizpellets24.de/
• die dev-tools des browsers mit F12 öffnet,
• auf starten geht und dann
• im networktab sich die ergebnisse anschaut

sieht man den folgenden post request: berechnen

unter payload findet man das kodierte formular und noch ein paar mehr parameter und unter preview findet man das json mit allen ergebnissen und ziemlich viel weitere parameter die gar nicht alle im html suchergebnis erscheinen.

puppeteer verbrauch ziemlich viel ressourcen, weil da ein kompletter browser geladen wird. wenn man aber alles in einem json findet, dürfte das eigentlich kein problem sein.

[pepe12ooo]

Ich für meinen Teil hab keine Ahnung, wie ich das post request: berechnen im ioBroker verarbeiten kann. Auch wenn ich mich jetzt etwas mit dem verarbeiten von json in Blockly auseinandergesetzt habe. 😅

<xml xmlns="https://developers.google.com/blockly/xml">
  <block type="http_post" id="?1~uV]ta^W:PT=uVY=0O" x="-512" y="63">
    <field name="TIMEOUT">2000</field>
    <field name="UNIT">ms</field>
    <field name="TYPE">text</field>
    <value name="URL">
      <shadow type="text" id="ri_Z5SRj9HsM4m|Wf-Y2">
        <field name="TEXT">http://</field>
      </shadow>
      <block type="text" id="CJ9V+!we::-^n%.hQMk,">
        <field name="TEXT">https://www.heizpellets24.de/holzpellets-lose/angebotsliste?zipCode=12305&amp;amount=4600&amp;stations=1&amp;product=20&amp;options=108,131,-18,129,159&amp;ap=0&amp;pcert=4,2,6,1&amp;lbp=0</field>
      </block>
    </value>
    <value name="DATA">
      <shadow type="logic_null" id="-M}E#4.Qr/9O9pnS,c_H"></shadow>
    </value>
    <statement name="STATEMENT">
      <block type="controls_if" id="!,JgMofSD2s4%OATm#Y/">
        <mutation else="1"></mutation>
        <value name="IF0">
          <block type="logic_compare" id="Lg1v?x0O`oHmH;0xbMva">
            <field name="OP">EQ</field>
            <value name="A">
              <block type="http_response" id="*pdEOY-DN/ldpqq*FAu7">
                <field name="ATTR">response.statusCode</field>
              </block>
            </value>
            <value name="B">
              <block type="text" id="21:Ls`+-R4cDwlsqPL|2">
                <field name="TEXT">200</field>
              </block>
            </value>
          </block>
        </value>
        <statement name="DO0">
          <block type="debug" id="eU.[mIK1ul`Z93hZ{,p*">
            <field name="Severity">info</field>
            <value name="TEXT">
              <shadow type="text" id="[I?^X?ha|_FCFS#FI7d.">
                <field name="TEXT">test</field>
              </shadow>
              <block type="http_response" id=",fD5?D766B~E;wi;)E(-">
                <field name="ATTR">response.data</field>
              </block>
            </value>
          </block>
        </statement>
        <statement name="ELSE">
          <block type="debug" id="R_jHmT#vH_l4`4/d7VE:">
            <field name="Severity">info</field>
            <value name="TEXT">
              <shadow type="text" id="zE1JpQaU461xf;Dv`z3u">
                <field name="TEXT">test</field>
              </shadow>
              <block type="http_response" id="Q)W:WJdX0DxwFKTib;[J">
                <field name="ATTR">err</field>
              </block>
            </value>
          </block>
        </statement>
      </block>
    </statement>
  </block>
</xml>

weiter bin ich nicht gekommen und ich habe keine Ahnung ob das überhaupt die richtige Richtung ist.

[looxer01]

@OliverIO sagte:

puppeteer verbrauch ziemlich viel ressourcen, weil da ein kompletter browser geladen wird. wenn man aber alles in einem json findet, dürfte das eigentlich kein problem sein.

ich habe es nicht hinbekommen. Ist ja jetzt schon wieder eine Zeit her und ich kann momentan nicht auf mein System zugreifen.
Es war so, dass

• das laden aller Karten nicht in einem Rutsch erfolgte. Irgendwann ist der load dann abgeschlossen. (Eine Karte entspricht einem Angebot eines Lieferanten)
  edit: ich vermute, dass das was du im JSON siehst ist genau eine Karte.
• es verschiedene PopUps gab, die bestätigt werden mussten.

So weit aus der Erinnerung.

Pupeteer braucht Ressourcen, ja aber es funktioniert. Wäre schön, wenn es eine schlankere Lösung gäbe.

vG Looxer