Gedanken zur Feinstaubmessung

Homoran

Ist das das passende Skript zum Auslesen

Ja!

Du musst einmal die Abfrage der Stationen manuell machen und "deine" Station irgendwie finden. Da dann die ID raussuchen und in dem Skript eintragen.

klassisch

@Homoran Habe ich gemacht, funktioniert aber nicht wirklich. Die Messwerte sind 1 Tag alt und kommen im Bundle und ein Messwert wird als "null" geschickt.
Frage ich die Station manuell über die Webseite des LandesUmweltamtes ab, kommen die Daten im Klartext auf der Webseite eingebettet an. Also man kann sie als Mensch lesen und es gibt alle Meßwerte, die die Station kann. einigermaßen aktuell. Jetzt, um 11:40 werden die 11:00 Werte angezeigt.
Von der Bundesamt-Seite gezogen kommen die Werte von gestern und das auch noch lückenhaft.
Wahrscheinlich gibt es da einen Großrechner Nachtlauf, der die Daten vom Vortag überträgt.
Das Suchen der Station ging am besten so: Über die Karte eine Station picken und dann gabs bei mir irgendwann die Site des Landesamtes. Dort kann man auch auf Diagramm klicken und dann weren Meßstelleninformationen angezeigt. Darunter eine EU-Kennung.
Dann öffnet man den Suchlink, der im Skript referenziert ist, wartet ewig und sucht dann nach dieser EU-Kennung. Dann sieht man auch die Zahl.

Homoran

@klassisch
Das ist mir noch nicht aufgefallen!

Habe mich gestern wegen der Skalierung der Flot-Achsen ein wenig mit dem BImSchG beschäftigt.
Die angegeben Grenzen beziehen sich immer auf das maximale Tagesmittel, das wiederum maximal x mal im Jahr überschritten werden darf und einem maximalen Jahresmittel.

Deshalb erstelle ich jetzt auch einen fließenden Mittelwert über den Tag und trage diesen zum Tagesende in einen anderen Datenpunkt ein.

Daher ergibt es schon einen Sinn, wenn nur das Tagesmittel angegeben wird. Das geht natürlich erst am Folgetag.

Ich sehe mir das gleich nochmal an!
Hatte auch schon versucht die Seite des UBA über den parser zauszulesen . auf die Schnelle ohne Erfolg

klassisch

@Homoran Neinein, bekommen kein Tagesmittel. Ich bekomme 10 Arrays mit gestrigem Datum und zwar von 00:00 bis 09:00 Uhr. In den Arrays stecken nochmals Arrays drin und da drin Daten. Ich vergleiche das mal mit dem Format der "633" aus dem Thread.

Homoran

@klassisch

Habe gerade das log der Daten angesehen:

Da kommen mit dem Skript regelmäßig Daten

klassisch

@Homoran Also bei mir hat die "633" ein ähnlicher Format wie meine. Und auch die Daten sind ein Tag alt. Irgendwas mache ich also falsch.

Homoran

@klassisch
Nur das wir vom gleichen reden.

Hier das Skript:

/* Luftdaten
-
Liest Daten eines Luftdaten-Sensors
von https://www.umweltbundesamt.de/api aus
-
https://www.umweltbundesamt.de/api/air_data/v2/xxx
Request all stations (to find the station code for your region):
https://www.umweltbundesamt.de/api/air_data/v2/meta/json?use=airquality&date_from=2019-01-01&date_to=2019-01-01&time_from=1&time_to=2
-
todo: Optin
-
20.09.2019 erstellt auf Vorlage von von Pix
*/


var sensorid = "1114";

var logging       = false;
var instanz       = 'javascript.' + instance + '.';
var pfad          = 'Luftdaten.' + sensorid + '.';
var cronStr       = "14,29,44,59 * * * *";
//var cronStr       = "* * * * *";

function createStates () {

// Allgemein   
   createState(pfad + 'json', {
       name: 'JSON',
       desc: 'JSON Ausgabe',
       type: 'string',
       role: 'json'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'json erstellt');
   });

   createState(pfad + 'sensor_id', {
       name: 'ID',
       desc: 'ID-Nummer des Sensors',
       type: 'string',
       role: 'text'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'sensor_id erstellt');
   });
   
   createState(pfad + 'sensor_type', {
       name: 'Typ',
       desc: 'Type des Sensors',
       type: 'string',
       role: 'text'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'sensor_type erstellt');
   });

   createState(pfad + 'location', {
       name: 'Ort',
       desc: 'Location des Sensors',
       type: 'string',
       role: 'text'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'location erstellt');
   });
   
   createState(pfad + 'lat', {
       name: 'Latitude',
       desc: 'Geographische Lage des Sensors - Breite',
       type: 'number',
       unit: '°',
       role: 'val'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'latitude erstellt');
   });
   
   createState(pfad + 'lon', {
       name: 'Longitude',
       desc: 'Geographische Lage des Sensors - Länge',
       type: 'number',
       unit: '°',
       role: 'val'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'longitude erstellt');
   });
   
   createState(pfad + 'country', {
       name: 'Country Code',
       desc: 'Geographische Lage des Sensors - Landeskürzel',
       type: 'string',
       role: 'text'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'country erstellt');
   });
   
   createState(pfad + 'Messung.timestamp', {
       name: 'Zeitstempel',
       desc: 'Zeitstempel der Messung',
       type: 'string',
       role: 'text'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'timestamp erstellt');
   });
   
   createState(pfad + 'Messung.PM10', {
       name: 'PM10',
       desc: 'Messung PM10',
       type: 'number',
       role: 'val',
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'Messung.PM10 erstellt');
   });

   createState(pfad + 'Messung.O3', {
       name: 'O3',
       desc: 'Messung O3',
       type: 'number',
       role: 'val',
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'Messung.O3 erstellt');
   });

   createState(pfad + 'Messung.NO2', {
       name: 'NO2',
       desc: 'Messung NO2',
       type: 'number',
       role: 'val',
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'Messung.NO2 erstellt');
   });

   createState(pfad + 'forceRefresh', {
       name: 'aktualisieren',
       desc: 'Werte neu einlesen',
       type: 'boolean',
       def:  false,
       role: 'indicator'
   }, function () {
       if (logging) log('Objekt ' + instanz + pfad + 'forceRefresh erstellt');
   });
}


function readData() {
   var Today, Now, DateString;
   var request = require('request');
   Today = new Date();
   DateString = Today.getFullYear() + '-' + (Today.getMonth()+1) + '-' + (Today.getDate()-1);
   Now = Today.getHours();
   var url= 'https://www.umweltbundesamt.de/api/air_data/v2/airquality/json?date_from=' + DateString + '&date_to=' + DateString + '&time_from=1' + '&time_to=' + (Now-1) + '&station=' + sensorid;
   //log(url);
   var options = {
       url: 'https://www.umweltbundesamt.de/api/air_data/v2/airquality/json?date_from=' + DateString + '&date_to=' + DateString + '&time_from=1' + '&time_to=' + (Now-1) + '&station=' + sensorid,
       headers: {
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1'
       }
   };  
   try {
       request(options, function (error, response, body) {
           if (!error && response.statusCode == 200) {              // kein Fehler, Inhalt in body
               var p1, p2;
               var json = JSON.parse(body);
               var Station = json.data[sensorid];
               var allPropertyNames = Object.keys(Station);
               setState(pfad + 'json',JSON.stringify(json.data));
               if (logging) {
                   for (var j=0; j<allPropertyNames.length; j++) {
                       var name = allPropertyNames[j];
                       var value = Station[name];
                       log('name: ' + name + '; value: ' + value);
                   }
               }
               //log(allPropertyNames.length);
               //Use only the last entry, because this is the latest: that's what we want to add
               name = allPropertyNames[allPropertyNames.length-1];
               value = Station[name];

               if (logging) {
                   //log('JSON: ' + JSON.stringify(json.data));
                   //log('Station: ' + JSON.stringify(Station));
                   //log('JSON: ' + JSON.stringify(json.indices.data));
                   log(name + 'value[0]: ' + value[0]);
                   log(name + 'value[1]: ' + value[1]);
                   log(name + 'value[2]: ' + value[2]);
                   log(name + 'value[3]: ' + value[3]);
                   log(name + 'value[4]: ' + value[4]);
                   log(name + 'value[5]: ' + value[5]);
                   log(name + 'value[6]: ' + value[6]);
                   //var xx = value[3][0];
                   //log(xx);
               }
               var PM10,O3, NO2;
               for (var count=3; count<value.length; count++) {
                   //log(parseInt(value[count][0]));
                   //log(value.length);
                   switch(parseInt(value[count][0])) {
                       case 1:
                           // PM10
                           PM10 = value[count][1];
                           //log('PM10: ' + PM10);
                           setState(pfad + 'Messung.PM10', parseFloat(PM10),true);
                           break;
                       case 3:
                               // O3
                               O3 = value[count][1];
                               //log('O3: ' + O3);
                               setState(pfad + 'Messung.O3', parseFloat(O3),true);
                               break;
                           case 5:
                               // NO2
                               NO2 = value[count][1];
                               //log('NO2: ' + NO2);
                               setState(pfad + 'Messung.NO2', parseFloat(NO2),true);
                               break;
                           default:
                               // code block
                   } 
               }
 /*
               setState(pfad + 'sensor_id', json[0].sensor.id.toString());
               setState(pfad + 'sensor_type', json[0].sensor.sensor_type.name + ' by ' + json[0].sensor.sensor_type.manufacturer);
               
               setState(pfad + 'location', json[0].location.id.toString());
               setState(pfad + 'lat', parseFloat(json[0].location.latitude));
               setState(pfad + 'lon', parseFloat(json[0].location.longitude));
               setState(pfad + 'country', json[0].location.country);
               
               setState(pfad + 'Messung.timestamp', json[0].timestamp);
               p1 = json[0].sensordatavalues[0].value;
               p2 = json[0].sensordatavalues[1].value;
               
               setState(pfad + 'Messung.P1', parseFloat(p1));
               setState(pfad + 'Messung.P2', parseFloat(p2));
               */
           } else {
               log("StatusCode = "+response.statusCode);
               log(error,'error');                               // Error beim Einlesen
           }
       });
       log('Luftdaten aktualisiert');
   } catch (e) {
       log('Fehler (try) Luftdaten.info: ' + e, 'error');
   }
}

// regelmässige Wiederholungen
schedule(cronStr, readData);

// einmaliger Start bei Skriptstart
createStates();
setTimeout(readData, 1500);

// Start beim Setzen auf true
on(instanz + pfad + 'forceRefresh', function (obj) {
   if (!obj.state.ack && obj.state.val) readData();
});

In Zeile 7 steht ein Link.

Diesen aufrufen - und ja, das dauert ewig - dann in der Liste (ARRAY) die Nummer deiner Station suchen.
Dazu uf der Karte des UmweltBUNDESamtes https://www.umweltbundesamt.de/daten/luft/luftdaten/luftqualitaet/eJzrWJSSuMrIwNBS19BI18h8UUnmIkODRXmpCw0XFZcsNjIyWZziVoRQYLA4JSQfWX1uFcei3OSmxTmJJacdPPxn1vE1PF6ck5d-2kFxFf-EabvnAQCejCSu

Deine Station suchen und den Stationsnamen in dem Array suchen.

Die dort befindliche Stationsnummer im Skript in Zeile 16 eintragen

Homoran

Bin ein wenig weiter.
Habe noch die Seite vom LANUV (Landesamt für Natur, Umwelt und Verkehr, NRW) über den Parser ausgelesen.
Hier neben PM10 auch die Werte für NO2 und O3, was das Skript über die API vom UBA auch ermittelt.

Langsam glaube ich an nichts mehr:

Da passt nichts zusammen

klassisch

@Homoran So, jetzt habe ich auch wieder her gefunden. Ja, bei mir passt das auch nicht. Die Webseite des Landes sagt etwas anderes als das Skript.
Habe jetzt das Skript neu geladen - und er holt wieder Werte von gestern.
Vielleicht mittelt das Skript, ich habe es nicht verstanden. Ausserdem zeigt es nicht alle Werte an.
Wie hast Du die Seite Deines Landes geparst?
Ich habe mal als Beispiel die Meßstation in der Nähe des ioBroker Headquarter genommen. Da gibt es z.B. diese "Karlsruhe Reinhold Frank-Straße":

https://www.umweltbundesamt.de/daten/luft/luftdaten/luftqualitaet

https://www.lubw.baden-wuerttemberg.de/luft/messwerte-immissionswerte#karte

Aber da muß man noch irgendwelche Menues bedienen. Das wird wohl nichts.

Homoran

@klassisch
habe mich gerade zdurch den Code gewühlt und @piForscher in dem Thread zum Skript angepingt:
https://forum.iobroker.net/topic/6777/luftdate-info-per-skript-einlesen/26

Ich sehe mir mal deine Links an, ob ich da was machen kann.
Auch in der Website des LANUV muss man den Quelltext des Tabellen-Frames analysieren.

Homoran

@klassisch sagte in Gedanken zur Feinstaubmessung:

Wie hast Du die Seite Deines Landes geparst?

Nachdem ich die Seiten des Landesamts BaWü gesehen habe muss ich sagen ich habe Glück:
https://www.lanuv.nrw.de/umwelt/luft/immissionen/aktuelle-luftqualitaet

Im linken Menü dann den Parameter auswählen und mit der rechten Maustaste in der Tabelle den frame-Quelltext anzeigen.
Da kann man dann parsen.

z.B. PM10:
Frame-Link: https://www.lanuv.nrw.de/fileadmin/lanuv/luft/immissionen/aktluftqual/eu_pm10_akt.htm
RegEx: RODE<\/td><td class="eins">[<\d]*<\/td><td class="zwei">([<\d]*)<

klassisch

@Homoran Oder mit https://www.lanuv.nrw.de/fileadmin/lanuv/luft/immissionen/aktluftqual/eu_luftqualitaet.csv alle aktuellen Werte als CSV bekommen. Ganz praktisch.

Homoran

@klassisch
Ja, aber für den laufenden Betrieb wollte ich die Seite parsen.

Inzwischen habe ich festgestellt, dass sich da die Classes "eins" und "zwei" wohl immer mal wechseln, hab es zwar im Griff, sehe mir die csv aber später auch noch an.

Bundesweit oder für dich in BaWü habe ich noch nichts gefunden

klassisch

@Homoran Vielen Dank für Deine Bemühungen! Ich habe ja noch meine eigenen Meßwerte.
Habe den Sketch jetzt mal so geändert, daß ich das gültig/ungültig Flag mit zum ioBroker schicke und auch wahlweise ungültige Werte zum ioBroker schicken kann. Mit FLOT kann man dann über "Füllen" des INVALID Flags die unültigen Daten schön deutlich machen. Hat auch was.

Das gelbe Overlay markiert die Daten als ungültig.
Wenn die Luftfeuchte mal wieder <70% wird, sollte das gelbe Overlay dann verschwinden.
Dann sehen wir mal, was in der Sylvesternacht "gemessen" oder besser angezeigt wird...

Homoran

@klassisch
Bei mir sieht es im Moment so aus:

Die Grenzen jeweils markiert und die rH als Graph.
Dann kann man die rH jedem aktuellen Messwert zuordnen und nicht den ganzen Graph als ungültig markieren

Die blauen Linien sind die kumulierten Tagesmittelwerte (0:00 - 24:00, dann wieder von neuem)

klassisch

@Homoran Da erkennt man eben den Profi. Weil ich auf die ganz Schnelle keine Grenzlinien einziehen konnte, habe ich die Grenzwerte in die Legende geschrieben.
Ok, Grenzlinien kann ich jetzt auch, habe es mal mit "Markierungen" gemacht.
Die 70% Grenze gilt für das Chinesische Billigmeßgerät . Ich nehme an, daß die amtlichen Stationen eine validierte Trockung eingebaut haben und deshalb nicht an diese Grenzen gebunden sind. Das ist auch mein Hautptinteresse an den offiziellen Daten. Wie gesagt, die sind eigentlich viel zu weit weg und auch an Orten, die nicht zu meinem Wohnort vergleichbar sind.
Apropos Feinstaub an Sylvester: Dazu gibt es eine Broschüre https://www.umweltbundesamt.de/sites/default/files/medien/479/publikationen/hgp_wenn_die_luft_zum_schneiden_ist_2019.pdf

4200 Tonnen Feinstaub PM10 jährlich durch Feuerwerk
Entspricht 25% der Menge aus Holzfeuerungen
Entspricht 2% der deutschlandweit gesamten jährlichen Feinstaubmenge
Hoffe, daß das Zitat jetzt noch gesetzeskonform ist

Homoran

@klassisch
Na dann guten Rutsch!

Homoran

@klassisch
Es hat mir keine Ruhe gelassen.
Jetzt habe ich mir die Seiten des UBA nochmal angesehen und habe nur die Karten gefunden.

Bei PM10 wird immer nur der Tagesmittelwert angeboten und das ist der vom Vortag.
Ich denke dass ist genau dem BImSchG geschuldet, das immer von Tagesmitteln ausgeht. Kurzfristige Kontaminationen werden damit ausgeblendet.

Ich habe mir wieder meine nächste Station ausgesucht und auf Daten herunterladen geklickt. Da kam der Wert für gestern.
Der Link dafür kam mir merkwürdig bekannt vor https://www.umweltbundesamt.de/api/air_data/v2/measures/csv?date_from=2019-12-26&time_from=12&date_to=2019-12-26&time_to=12&data%5B0%5D%5Bco%5D=1&data%5B0%5D%5Bsc%5D=1&data%5B0%5D%5Bst%5D=1114&lang=de

Das ist so ziemlich genau das, was das Script von @piForscher macht.

Aber im Nahbereich der Petrochemie, die immer wieder etwas abfackelt, ist gerade der aktuelle Wert (Fenster schließen!) für mich interessant.

Daher ist es genau so wenig akzeptabel, wie die Werte mit dem SDS011 bei rF > 70% zu hoch messen, dass Werte erst nach der (gesetzlich vorgeschriebenen??) Glättung am nächsten Tag als Average herausgegegeben werden.

Ich werde mir dann wohl doch eine eigene Station bauen oder die Luftdaten.info-Werte als Verlauf sehen.
Es geht mir da weniger darum ob der PMx jetzt bei 40 oder 45 liegt sondern wenn der auf einmal bei 200 (oder noch höher) liegt ist mir die Messungenauigkeit von 30 oder gar 50% auf den wahren Wert egal. Die Belastung läge dann immer noch >130 µg/m³

Homoran

@Homoran sagte in Gedanken zur Feinstaubmessung:

https://www.umweltbundesamt.de/api/air_data/v2/measures/csv?

Was ich noch bei früheren Suchen gefunden habe und auch immer wieder in den Karten auftritt ist der AQI.
Das ist derAir Quality Index. Dieser enthält mehrere Daten, u.a. NO2, PMx, SOx und O3.

Vielleicht lässt sich dieser Parameter besser monitoren - ich suche mal und fange hier an:

https://waqi.info/de/

Bei den Messstellen scheint es sich um die üblichen Verdächtigen zu handeln:

klassisch

@Homoran Habe einige Stichproben gezogen. Z.B. die o.g. Station nache dem ioBroker Headquarter. Die Meßstation sind die offiziellen, die wir bereits oben diskutiert haben. Einzig wird jetzt aus den Einzelwerte eine "Gesamtampel" gemacht. Ähnlich wie bei Nahrungsmitteln.
Ich ziehe die differenzierte Betrachtungsweise vor. Feinstaub kann man in den Lungen nachweisen, wenn er zum vorzeitigen Tod geführt oder beigetragen hat. Ähnlich wie Zigarettenrauch. Bei NOx ist das eher eine statistische Berechnung.
Raucher brauchen sich also um NOx gar keine Gedanken mehr zu machen.

NEWS

Gedanken zur Feinstaubmessung

Support us

777
Online

30.6k
Users

77.0k
Topics

1.2m
Posts

NEWS

Gedanken zur Feinstaubmessung

Support us

777Online

30.6kUsers

77.0kTopics

1.2mPosts

777
Online

30.6k
Users

77.0k
Topics

1.2m
Posts