Parser Corona Fallzahlen

[RKBroker]

Hallo Zusammen,
Parse seit einigen Tagen ebefalls die Fallzahlen. Meine Quellen:

https://gisanddata.maps.arcgis.com/apps/opsdashboard/index.html#/bda7594740fd40299423467b48e9ecf6

https://interaktiv.otz.de/corona-virus-karte-infektionen-deutschland-weltweit

https://github.com/open-covid-19/data

und

https://github.com/CSSEGISandData/COVID-19/tree/master/csse_covid_19_data

Schubste das Ganze dann aber in eine influxDB...
Gruß
Rüdiger

[Coffeelover]

@OliverIO : Das RKI hat die Tabelle schon wieder geändert. Die "Gesamtzahlen" werden nicht mehr angezogen. Die Fallzahl für die Bundesländer passt noch. Die Anzahl der Toten leider auch nicht mehr.

[OliverIO]

@Coffeelover
Nutzt ihr alle nicht jetzt den Adapter?

[Coffeelover]

Für die Länderzahlen hilft mir der Adapter nicht. Ich finde tatsächlich Stadt, Landkreis und Bundesland wichtig.

Für allgemein nutze ich den Adapter derzeit parallel, deswegen ist es mir aufgefallen.

[Homoran]

@Coffeelover sagte in Parser Corona Fallzahlen:

Ich finde tatsächlich Stadt, Landkreis und Bundesland wichtig.

das gibt das RKI doch gar nicht an

@Coffeelover sagte in Parser Corona Fallzahlen:

Das RKI hat die Tabelle schon wieder geändert

[Coffeelover]

@Homoran Jein. Bundesland gibts schon beim RKI.

[Homoran]

@Coffeelover auch Landkreise.
Aber nicht in der geparsten Tabelle - abgesehen davon, dass das RKI wegen Überlastung da absolut nicht aktuell ist

[OliverIO]

@Coffeelover
Die Regexens wurden aktualisiert

[Brati]

Hallo,

wenn jemand eine API für die Zahlen finden, könnte man sie auch hier mit einbauen lassen:

https://forum.iobroker.net/topic/31245/test-coronavirus-statistics-for-iobroker

(Test Coronavirus Statistics for ioBroker) läuft auf Landesebene ohne Probleme.

Grüße

Brati

[hagst]

Kann mir jemand den RegEx verraten, wenn ich eine Zahl habe, welche z.B. so aussieht?

123.123,65 also mit Punkt und Komma
Z.B.

<div class="col-xs-5 col-sm-4 text-sm-right text-nowrap">
					9.074,53<span>PKT</span>

Mit ([\d,]+) bekomme ich nur die 9 raus

[OliverIO]

@hagst sagte in Parser Corona Fallzahlen:

9.074,53

([\d,\.]+)

\d = 1 digit
Im eckigen Kasten steht di Auswahl der möglichen Zeichen, also Zahl und Punkt und Komma.
Punkt muss escaped werden, da Punkt allein eine andere Bedeutung hat
Das + ist der Quantifizierer der aussagt, das zeichen zwischen ein und unendlich oft vorkommen kann.
Das suchen endet, sobald ein zeichen nicht mehr passt
Die Klammer drumrum ist die CapturingGroup, die dafür sorgt, das du den Wert auch im parser zurückbekommst.
Hier dein Fall zum rumspielen mit Erklärung auf der rechten Seite
https://regex101.com/r/h65UrW/1

[hagst]

@OliverIO said in Parser Corona Fallzahlen:

([\d,.]+)

Vielen Dank für die Hilfe und die Erklärung. Hilft mir sehr weiter. Habe deine Erklärung gleich lokal gespeichert zum nachlesen

Danke!

[Homoran]

@Homoran sagte in Parser Corona Fallzahlen:

Das RegEx am Beispiel Heinsberg:

funktioniert wohl nicht

Habe es gestern für Köln endlich selber implementieren wollen.
Man muss für bekannte Fälle und Todesfälle zwei verschiedenen RegExes machen:

Fälle:
ung",[^,]+,"(\d?)[^H]+Heins

Todefälle:
Heins[^[]+["(\d+)

natürlich entsprechend des gesuchten Land/Stadtkreises

[OliverIO]

@hagst sagte in Parser Corona Fallzahlen:

Vielen Dank für die Hilfe und die Erklärung. Hilft mir sehr weiter. Habe deine Erklärung gleich lokal gespeichert zum nachlesen

Das hilft dir halt nur genau für dieses Suchpattern.
am besten mal ein anfängertutorial machen
https://danielfett.de/2006/03/20/regulaere-ausdruecke-tutorial/

Allerdings warne ich: Regex ist einer der tollsten Suchmechanismen die ich kenne. Ich habe damit auch schon beruflich Probleme lösen können, die ansonsten in stundenlanger Kleinarbeit und manuelle Bearbeitung geendet hätte und für manche Dinge immer ein programm zu schreiben ist noch aufwändiger.
Allerdings beiße ich mir auch immer wieder die Zähne aus und verzweifle, weil die Logik nicht immer geradeaus ist.
(bspw +-lookahead,etc., oder warum will er das jetzt nicht erkennen.)

http://Reg101.com ist ebenfalls einer der besten Onlineseiten um Regex zu testen und mal kurz ein komplexeres suchen und ersetzen durchzuführen.

[OliverIO]

Das RKI lässt sich auch jeden Tag was neues einfallen.
Diesmal kam in einem Bundesland ein zusätzliches Zeichen rein.
Wer weiß, ab morgen verwenden die auch noch die richtigen Notationen für Umlaute in HTML

Um solchen Dingen vorzubeugen haben die Regexens nun eine Alternativschaltung.
Mit dem senkrechten Strich | werden die Alternativen voneinander getrennt. Es muss darauf geachtet werden, das bestimmte Zeichen, wie zB ein dash (-) escaped werden muss (-)

zur Info das ?: verhindert, das trotz der Klammer, der Begriff als Ergebnis zurückgegeben wird (Non-Capturing Group) wer es nachlesen möchte.
Ich glaub das wird hier noch zu einem Grundkurs in Regex

[a200]

@OliverIO Icg glaube man sollte sich eher auf die Daten von JHU verlassen. Die sind unter https://github.com/CSSEGISandData/COVID-19/tree/master/csse_covid_19_data zu finden.

Vorteil: Format ist unveränderlich
Nachteil: Updates 1 Täglich

[OliverIO]

@a200 dann schau mal in den quellen wo die ihre Daten her haben.
Wahrscheinlich verwenden die auch noch weitere quellen.
Aber das Thema was ist aktuell oder besser hatten wir hier schon.
Ich denke, viele interpretieren höher mit aktueller.
Dabei ist es relativ Wurst wie hoch die absolute Zahl an sich ist.
Die wichtigste Zahl ist die Steigerungsrate und ab wann sich diese wieder abflacht.

Jeder darf die Zahlen verwenden, die er möchte

Nachtrag: Das Rober Koch Institut wird dort nicht mehr explizit genannt.
Jetzt steht nur noch

national government health department

[OliverIO]

Die Regexe wurden aktualisiert

[Homoran]

@OliverIO sagte in Parser Corona Fallzahlen:

Wahrscheinlich verwenden die auch noch weitere quellen.

erstens das, und zweitens schreibt ja auch das RKI, dass sie wegen der Überlastung nur noch die Daten übernehmen können, die ihnen auf einem bestimmten Wege elektronisch übermittelt werden und daher die Werte eine zeitlang hinterherhinken

[Nashra]

Moin, Parser installiert, Daten aus dem ersten Post eingefügt. Kann machen was ich will, da kommt einfach nix.