Mal wieder Webseite auslesen

Homoran

@arteck sagte in Mal wieder Webseite auslesen:

@homoran die kriegst du so nicht abgegriffen.. die werden dynamisch ohne id generiert

du köntest dir aus dem Source mal evtl. die Daten ausziehen
view-source:https://www.lzg.nrw.de/covid19/covid19.html
dann siehst du was die Seite liefert..vor allem oben in den .js Dateien

das habe ich bereits gemacht - ohne Erfolg :-(

gerade habe ich im code gefunden : daten/covid19_5.csv

wenn ich das an https://www.lzg.nrw.de/covid19/ dranhänge bekomme ich eine excel-Liste, in der ich bisher nur die aktuelle ITS-Belegung direkt gefunden habe.
Ob ich damit die anderen Daten berechnen könnte wäre vielleicht noch möglich.

https://www.lzg.nrw.de/covid19/daten/covid19_5.csv

Homoran

Bin inzwischen etwas weiter.
Die Daten sehen so aus:

kreis,datumstd,datum,anzahlM,anzahlE,anzahlEM,verstorben,verstorbenE,verstorbenM,verstorbenMOhneSterbedatum,hospitalisiert,genesen,r,anzahlMKumuliert,anzahlEKumuliert,hospitalisiertKumuliert,verstorbenKumuliert,verstorbenEKumuliert,verstorbenMKumuliert,verstorbenMOhneSterbedatumKumuliert,genesenKumuliert,krankKumuliert,anzahlM7Tage,anzahlE7Tage,verstorben7Tage,verstorbenE7Tage,verstorbenM7Tage,hospitalisiert7Tage,rateMKumuliert,rateEKumuliert,anteilVerstorbenM,rateHospitalisiertKumuliert,rateVerstorbenKumuliert,anteilVerstorbenEKumuliert,anteilVerstorbenMKumuliert,rateM7Tage,rateE7Tage,rateHospitalisiert7Tage,rateVerstorben7Tage,anteilVerstorbenE7Tage,anteilVerstorbenM7Tage,anzahlMKumuliertVortag,rateM7TageVortag,verstorbenKumuliertVortag,anzahlEA70,anzahlEA80,anzahlEA90,verstorbenA70,verstorbenA80,verstorbenA90,genesenA70,genesenA80,genesenA90,anzahlEA70Kumuliert,anzahlEA80Kumuliert,anzahlEA90Kumuliert,verstorbenA70Kumuliert,verstorbenA80Kumuliert,verstorbenA90Kumuliert,genesenA70Kumuliert,genesenA80Kumuliert,genesenA90Kumuliert,krankA70Kumuliert,krankA80Kumuliert,krankA90Kumuliert,anteilITSBetten
5,2021-09-12,12.09.2021,869,712,522,12,0,1,0,37,1539,,929353,932889,66232,17613,17719,17713,28,859800,55500,18591,17401,79,44,55,615,5184.510,5204.236,0.115,369.483,98.256,1.899,1.906,103.712,97.074,3.431,0.000,0.253,0.296,928488,105.815,17601,21,25,5,4,1,1,13,6,2,41059,41345,14159,3872,7385,3409,36246,33100,10521,940,860,230,0.0789572393098275
5,2021-09-13,13.09.2021,1781,1128,912,14,5,6,0,79,2509,,931134,934929,66311,17627,17724,17719,28,862300,55000,18503,16944,84,37,47,614,5194.446,5215.617,0.337,369.924,98.334,1.896,1.903,103.221,94.524,3.425,0.000,0.218,0.254,929358,103.723,17613,42,40,11,3,3,3,36,27,5,41101,41385,14170,3875,7388,3412,36282,33127,10526,940,870,230,0.0788888888888889
5,2021-09-14,14.09.2021,2790,986,1359,10,5,5,0,101,2815,,933924,937274,66412,17637,17729,17724,28,865100,54500,17754,16166,84,37,46,598,5210.010,5228.698,0.179,370.488,98.390,1.892,1.898,99.043,90.184,3.336,0.000,0.229,0.259,931138,103.227,17627,39,53,18,3,4,3,33,31,10,41140,41438,14188,3878,7392,3415,36315,33158,10536,950,890,240,0.0809462206616152
5,2021-09-15,15.09.2021,2409,843,1159,11,5,6,0,76,3374,,936333,939276,66488,17648,17734,17730,28,868500,53100,16355,14910,86,31,45,576,5223.449,5239.867,0.249,370.911,98.452,1.888,1.894,91.238,83.177,3.213,0.000,0.208,0.275,933927,99.043,17637,43,28,11,1,4,1,54,45,8,41183,41466,14199,3879,7396,3416,36369,33203,10544,940,870,240,0.080534421970681
5,2021-09-16,16.09.2021,2267,726,1150,15,3,3,0,72,3161,,938600,941152,66560,17663,17737,17733,28,871600,51800,15305,14085,86,28,36,537,5236.096,5250.332,0.132,371.313,98.535,1.885,1.889,85.381,78.575,2.996,0.000,0.199,0.235,936335,91.227,17648,53,57,25,5,5,3,46,34,7,41236,41523,14224,3884,7401,3419,36415,33237,10551,940,890,250,0.0807257915200889
5,2021-09-17,17.09.2021,2014,639,1026,10,2,3,0,79,3314,,940614,942817,66639,17673,17739,17736,28,875000,50200,14445,13218,87,25,32,515,5247.331,5259.621,0.149,371.754,98.591,1.881,1.886,80.583,73.738,2.873,0.000,0.189,0.222,938603,85.375,17663,31,35,9,1,3,2,39,42,6,41267,41558,14233,3885,7404,3421,36454,33279,10557,930,880,260,0.0799249530956848
5,2021-09-18,18.09.2021,1538,600,767,11,2,4,0,46,2737,,942152,944184,66685,17684,17741,17740,28,877700,48800,13668,12529,83,22,28,490,5255.911,5267.247,0.260,372.010,98.652,1.879,1.883,76.249,69.895,2.734,0.000,0.176,0.205,940617,80.578,17673,28,25,7,2,0,6,29,22,5,41295,41583,14240,3887,7404,3427,36483,33301,10562,930,880,250,0.0780598711633194
5,2021-09-19,19.09.2021,655,549,352,12,2,0,0,28,1705,,942807,945085,66713,17696,17743,17740,28,879400,48000,13454,12196,83,24,27,481,5259.565,5272.273,0.000,372.167,98.719,1.877,1.882,75.055,68.037,2.683,0.000,0.197,0.201,942157,76.254,17684,18,17,14,0,3,4,18,29,7,41313,41600,14254,3887,7407,3431,36501,33330,10569,930,860,250,0.0789523991588606
5,2021-09-20,20.09.2021,1195,649,635,10,1,2,0,41,2623,,944002,946369,66754,17706,17744,17742,28,882000,46600,12868,11440,79,20,23,443,5266.231,5279.436,0.167,372.395,98.775,1.875,1.879,71.786,63.819,2.471,0.000,0.175,0.179,942810,75.044,17696,28,33,4,0,5,0,33,50,12,41341,41633,14258,3887,7412,3431,36534,33380,10581,920,840,250,0.07687959299039
5,2021-09-21,21.09.2021,2148,465,1096,12,1,1,0,42,3146,,946150,947930,66796,17718,17745,17743,28,885200,45000,12226,10656,81,16,19,384,5278.214,5288.144,0.047,372.630,98.842,1.872,1.875,68.204,59.446,2.142,0.000,0.150,0.155,944004,71.775,17706,35,36,17,2,6,2,65,54,11,41376,41669,14275,3889,7418,3433,36599,33434,10592,890,820,250,0.0726423902894491
5,2021-09-22,22.09.2021,2127,388,1195,9,1,1,0,32,3356,,948277,949513,66828,17727,17746,17744,28,888500,43300,11944,10237,79,12,14,340,5290.080,5296.975,0.047,372.808,98.892,1.869,1.871,66.631,57.108,1.897,0.000,0.117,0.117,946153,68.204,17718,29,22,7,5,1,0,53,47,13,41405,41691,14282,3894,7419,3433,36652,33481,10605,860,790,240,0.0717614165890028
5,2021-09-23,23.09.2021,1655,265,951,11,0,2,0,41,3059,,949932,950729,66869,17738,17746,17746,28,891600,41400,11332,9577,75,9,13,309,5299.313,5303.759,0.121,373.037,98.954,1.867,1.868,63.217,53.426,1.724,0.000,0.094,0.115,948283,66.653,17727,25,42,7,4,0,0,57,56,14,41430,41733,14289,3898,7419,3433,36709,33537,10619,820,780,240,0.072078766487089
5,2021-09-24,24.09.2021,1581,110,1040,7,0,0,0,26,2851,,951513,951879,66895,17745,17746,17746,28,894400,39700,10899,9062,72,7,10,256,5308.132,5310.174,0.000,373.182,98.993,1.864,1.865,60.801,50.553,1.428,0.000,0.077,0.092,949933,63.206,17738,32,27,11,3,3,0,50,41,16,41462,41760,14300,3901,7422,3433,36759,33578,10635,800,760,230,0.0693253820350354
5,2021-09-25,25.09.2021,1236,19,935,1,0,0,0,26,2318,,952749,952833,66921,17746,17746,17746,28,896700,38300,10597,8649,62,5,6,236,5315.028,5315.496,0.000,373.327,98.998,1.862,1.863,59.117,48.250,1.317,0.000,0.058,0.057,951492,60.668,17744,25,15,6,0,0,0,35,30,7,41487,41775,14306,3901,7422,3433,36794,33608,10642,790,750,230,0.0700331736085514
5,2021-09-26,26.09.2021,363,2,277,0,0,0,0,3,3784,,953112,953112,66924,17746,17746,17746,28,900500,34800,10305,8027,50,3,6,211,5317.053,5317.053,0.000,373.344,98.998,1.862,1.862,57.488,44.780,1.177,0.000,0.037,0.058,952600,58.258,17744,7,11,1,0,0,0,70,62,18,41494,41786,14307,3901,7422,3433,36864,33670,10660,730,690,210,0.0714285714285714

im Prinzip ist alles vorhanden

Leider schaffe ich es nicht an die Daten mit dem Parser Adapter zu kommen, so dass es auch automatisch funktionieren würde, wenn die Tabelle länger wird oder die Stellen der Zahlen sich ändern.

liv-in-sky

@homoran

denke, da musst du mit https://www.npmjs.com/package/csv arbeiten, damit du die daten bekommst

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

denke, da musst du mit https://www.npmjs.com/package/csv arbeiten, damit du die daten bekommst

Ja, das habe ich auch befürchtet.
Nix Parser - js!!

Auch wenn du mir das mit replace schon mal versucht hast beizubringen ist das noch nicht durchgeschaltet

liv-in-sky

@homoran

habe mal das file auf den iobroker server kopiert und ausgelesen - das auszuwerten ist vieeeeeeel aufwand

zum testen
csv-parse und fs muss installiert sein im javascript-adapter setting
die datei habe ich unter /Daten/covid19_5.csv gespeichert

var parse = require('csv-parse');
var input = require('fs').readFileSync('/Daten/covid19_5.csv').toString();


parse(input, {comment: '#'}, function(err, output){
	// show result
	console.log(JSON.stringify(output));
for(let r=0;r<output.length;r++){
    log(output[r][6])
}
});



});

im log sind zuerst die daten als json zu sehen und anschliessend alle verstorbene pro eintrag

Image 5.png

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

anschliessend alle verstorbene pro eintrag

r=6

ich brauche u.a. die Spalte BN, das wäre IMHO 46???

liv-in-sky

@homoran

welche meinst du - das sind die spalten

Image 6.png

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

welche meinst du - das sind die spalten

65 :flushed:

wie im ersten Screenshot die neuen Leitindikatoren: (7T-Inzidenz, 7T-Hospitalisierung, Anteil belegte Intensivbetten)
letzteres ist die letzte Spalte

liv-in-sky

@homoran

und was genau brauchst du - die summe ? der jeweiligen spalten ?

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

@homoran

und was genau brauchst du - die summe ? der jeweiligen spalten ?

Jetzt wird's "einfach"
immer den aktuellen Wert des Tages, damit es geloggt und über eCharts grafisch dargestellt werden kann.
wie ich dann die bisherigen Datenpunkte in die Reihe bekomme ist dann meine zweite Aufgabe

7T-Hospitalisierung wäre rateHospitalisiert7Tage/1000 =1,18% (Spalte 37)
7T Inzidenz: rateM7Tage/1000=57,5 (Spalte 35)
Intensivbelegung: anteilITSBetten*100
frag mich nicht warum die ersten beiden durch 1000 geteilt werden müssen

liv-in-sky

@homoran sagte in Mal wieder Webseite auslesen:

(7T-Inzidenz, 7T-Hospitalisierung

bitte die genaue nummer der beiden - die 65 ist klar - ist der letzte wert

was du genau brauchst, habe ich immer noch nicht gecheckt - brauchst du 3 werte eines bestimmten landkreises oder eine summe aller landkreise

ich weiß auch nicht wirklich, welcher kreis , welche zeile ist - es steht ja überall 5 unter dem wert kreis

liv-in-sky

@homoran

das sehe ich doch richtig - du brauchst nur die daten einer bestimmten zeile/eines landkreises

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

du brauchst nur die daten einer bestimmten zeile/eines landkreises

die Zeilen sind die Tage - und da den jeweiligen Tag, an dem das Skript läuft.
Müsste immer die letzte Zeile sein, resp. nach Datum=date() (Spalte2/3)
(ich würde einmal am Tag (0 10 * * *) oder zweimal (0 10,22 * * *) abrufen

Warum oben "Kreis" steht habe ich noch nicht rausgefunden, da die gefundenen Zahlen bis auf den jeweiligen Faktor die Werte auf der Website für NRW ergeben.

@liv-in-sky sagte in Mal wieder Webseite auslesen:

bitte die genaue nummer der beiden

hab oben editiert

liv-in-sky

@homoran ok - mach mich mal an die arbeit

liv-in-sky

@homoran

bitte testen- du mußt die datenpunkte im blockly noch richtig eintragen

die webseite wird direkt ausgelesen - die datei wird mit request geholt

die berechnungen sind schon im script

Image 7.png

<xml xmlns="https://developers.google.com/blockly/xml">
 <variables>
   <variable id="W3q,ZUH:5Q6saMtf{AUA">s65</variable>
   <variable id="T%=$W;0kK#gD_`r(}o:9">s35</variable>
   <variable id="Yr7zlPOZj)6N*k!]cQvq">s37</variable>
 </variables>
 <block type="procedures_defcustomnoreturn" id="]33#,HkQS%bDF`vB`P^q" x="337" y="212">
   <mutation statements="false">
     <arg name="s65" varid="W3q,ZUH:5Q6saMtf{AUA"></arg>
     <arg name="s35" varid="T%=$W;0kK#gD_`r(}o:9"></arg>
     <arg name="s37" varid="Yr7zlPOZj)6N*k!]cQvq"></arg>
   </mutation>
   <field name="NAME">etwas tun</field>
   <field name="SCRIPT">DQp2YXIgcGFyc2UgPSByZXF1aXJlKCdjc3YtcGFyc2UnKTsNCnZhciBpbnB1dCA9IHJlcXVpcmUoJ2ZzJykucmVhZEZpbGVTeW5jKCcvRGF0ZW4vY292aWQxOV81LmNzdicpLnRvU3RyaW5nKCk7DQoNCg0KDQp0cnkgew0KICByZXF1aXJlKCJyZXF1ZXN0IikoJ2h0dHBzOi8vd3d3Lmx6Zy5ucncuZGUvY292aWQxOS9kYXRlbi9jb3ZpZDE5XzUuY3N2JywgYXN5bmMgZnVuY3Rpb24gKGVycm9yLCByZXNwb25zZSwgcmVzdWx0KSB7DQogICAvLyBjb25zb2xlLmxvZyhyZXN1bHQpOw0KICAgDQpwYXJzZShyZXN1bHQsIHtjb21tZW50OiAnIyd9LCBmdW5jdGlvbihlcnIsIG91dHB1dCl7DQoJLy8gc2hvdyByZXN1bHQNCgkvL2NvbnNvbGUubG9nKEpTT04uc3RyaW5naWZ5KG91dHB1dCkpOw0KZm9yKGxldCByPTA7cjxvdXRwdXQubGVuZ3RoO3IrKyl7DQogICAvLyBsb2cob3V0cHV0W3JdWzQ2XSkNCn0NCmxvZyhvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVs2NV0pDQpkNjU9TnVtYmVyKG91dHB1dFtvdXRwdXQubGVuZ3RoLTFdWzY1XSkqMTAwDQpsb2cob3V0cHV0W291dHB1dC5sZW5ndGgtMV1bMzddKQ0KZDM3PU51bWJlcihvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVszN10pLzEwMDANCmxvZyhvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVszNV0pDQpkMzU9TnVtYmVyKG91dHB1dFtvdXRwdXQubGVuZ3RoLTFdWzM1XSkvMTAwMA0Kc2V0U3RhdGUoczY1LGQ2NSkNCnNldFN0YXRlKHMzNSxkMzUpDQpzZXRTdGF0ZShzMzcsZDM3KQ0KDQp9KTsNCiAgDQogfSkub24oImVycm9yIiwgZnVuY3Rpb24gKGUpIHtjb25zb2xlLmVycm9yKGUpO30pOw0KfSBjYXRjaCAoZSkgeyBjb25zb2xlLmVycm9yKGUpOyB9ICAgDQoNCg0KDQo=</field>
   <comment pinned="false" h="80" w="160">Beschreibe diese Funktion …</comment>
 </block>
 <block type="procedures_callcustomnoreturn" id="VtDoZ,@!?HK~J,vK;+*R" x="238" y="287">
   <mutation name="etwas tun">
     <arg name="s65"></arg>
     <arg name="s35"></arg>
     <arg name="s37"></arg>
   </mutation>
   <value name="ARG0">
     <block type="text" id="7#PKlzH+`3;Z9]dS(cEB">
       <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s65</field>
     </block>
   </value>
   <value name="ARG1">
     <block type="text" id="vlrWSNU/ZNiILFfr(E|E">
       <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s35</field>
     </block>
   </value>
   <value name="ARG2">
     <block type="text" id="F[Nb@+#:(/JyXaX-uQyl">
       <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s37</field>
     </block>
   </value>
 </block>
</xml>

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

die berechnungen sind schon im script

Supi, dann habe ich mich wohl geirrt und die Werte müssen nicht durch 1000 geteilt werden :-(

Ich teste mal - DANKE :open_mouth:

Homoran

@liv-in-sky sagte in Mal wieder Webseite auslesen:

du mußt die datenpunkte im blockly noch richtig eintragen

werden die dann angelegt???
oder muss ich erst welche (Number) anlegen?

liv-in-sky

@homoran

musst du selbst anlegen :-(

liv-in-sky

@homoran number !!! ist der type

Homoran

@liv-in-sky Ja doch ;-)

Hab ich alles - passiert nix
müsste dann doch bei Skriptstart einmalig funktionieren, oder?

{
  "from": "system.adapter.admin.0",
  "user": "system.user.admin",
  "ts": 1632744780482,
  "common": {
    "name": "Hospitalisierung",
    "role": "value",
    "type": "number",
    "desc": "Manuell erzeugt",
    "read": true,
    "write": true,
    "def": 0
  },
  "native": {},
  "acl": {
    "object": 1636,
    "owner": "system.user.admin",
    "ownerGroup": "system.group.administrator",
    "state": 1636
  },
  "_id": "0_userdata.0.Gesundheit.Hospitalisierung",
  "type": "state"
}

Community Forum

NEWS

Mal wieder Webseite auslesen

Support us

690

32.7k

82.4k

1.3m