[gelöst] Meteohub Daten, XML parsen, JSON durchsuchen

[OliverIO]

@steinche

da ist der code mit axios abruf nicht mehr drin.
lese den link oben durch, dann kennst du den grund, warum der fehler geworfen wurde.
funktioniert den der curl aufruf aus dem skript heraus?
da könnten evtl noch berechtigungsprobleme anstehen.
der nutzer iobroker muss curl benutzen dürfen
skripte werden immer als benutzer iobroker auf dem system durchgeführt

[ticaki]

@oliverio
Hallo Oliver,

das ursprüngliche Skript verwendete Request und warf diesen Fehler:

3.8.2023, 12:31:23.341	[error]: javascript.0 (1584787) script.js.common.WetterdatenEinlesen: Fehler beim Herunterladen Meteohub XML: Error: Parse Error: Invalid header value char

Da ich request nie wirklich genutzt habe habe ich das auf axios geändert das diesen Fehler produzierte

3.8.2023, 22:45:34.282	[error]: javascript.0 (830120) script.js.common.WetterdatenEinlesen: Fehler beim Herunterladen Meteohub XML: Error: Parse Error: Invalid header value char

Ist http sollte also nicht mit der axios option zu beheben sein oder?
Das ist die Abrufadresse:

http://192.168.75.9/meteograph.cgi?text=allxml

Ein curl auf der Console hat dieses Ergebnis gebracht:

root@ioBroker-Master-51:~# curl http://192.168.75.9/meteograph.cgi?text=allxml
<?xml version="1.0" encoding="ISO-8859-1" standalone="yes"?>
<meteohub>
  <config>
    <language>de</language>
    <temp_sensor unit="c" print="°C">th0</temp_sensor>
    <hum_sensor unit="rel" print="%">th0</hum_sensor>
    <dew_sensor unit="c" print="°C">th0</dew_sensor>
snip

Daher meine Vorschlag das mit curl zu lösen.

Vielleicht kanns du ihm ja helfen

[steinche]

@oliverio said in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

@steinche

da ist der code mit axios abruf nicht mehr drin.

@ticaki hat ziemlich viel versucht.

lese den link oben durch, dann kennst du den grund, warum der fehler geworfen wurde.
Habe es auf axios umgebaut und um ', { insecureHTTPParser: true }' ergänzt -> ERFOLGREICH!!

funktioniert den der curl aufruf aus dem skript heraus?
da könnten evtl noch berechtigungsprobleme anstehen.
der nutzer iobroker muss curl benutzen dürfen
skripte werden immer als benutzer iobroker auf dem system durchgeführt

Berechtigungen für alle auf ausführen gesetzt, ohne Erfolg.

[OliverIO]

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Habe es auf axios umgebaut und um ', { insecureHTTPParser: true }' ergänzt -> ERFOLGREICH!!

Na dann kann es ja weitergehen.
Dann braucht man den curl-Aufruf nicht mehr.

Wenn du schreibst das etwas nicht tut, dann musst du auch irgenwie mal noch das ergebnis/fehlermeldung liefern.
ferndiagnose ist an sich schon nicht so einfach. aber mit glaskugel unmöglich
auch den curl-aufruf hätten wir noch zum laufen bekommen.
aber der abruf aus dem skript direkt heraus ist besser

[OliverIO]

@ticaki sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Daher meine Vorschlag das mit curl zu lösen

das ist schon klar.
nur hat niemand mal nach dem Grund für die fehlermeldung gesucht.
und er hat seinen code versteckt. so geht man von falschen voraussetzungen aus und verschendet ungern zeit. das ist bspw bei mir so ein lust-killer

[ticaki]

@oliverio sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Habe es auf axios umgebaut und um ', { insecureHTTPParser: true }' ergänzt -> ERFOLGREICH!!

Na dann kann es ja weitergehen.

und wieder was gelernt, hatte das mit dem insecure zwar auch mal gelesen auf auf https bezogen.

[steinche]

@oliverio said in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

und er hat seinen code versteckt. so geht man von falschen voraussetzungen aus und verschendet ungern zeit. das ist bspw bei mir so ein lust-killer

Ich hatte die Teile "eingebaut", die @ticaki so versucht hat, daher hatte ich nicht jedes mal den komplette Code gepostet.

Die original Funktion:

function getXML(do_init) {
    // loads full meteohub xml file from the mh_URL and calls the parse function.
    // on very first execution do_init is true and all states are created. Each successive call only sets the state values.
    log('meteohub query data from '+mh_URL); // Debug output
    request(mh_URL, function (error, response, body) {
        if (error) log("Fehler beim Herunterladen Meteohub XML: " + error, 'error');
        else {
            //var start = new Date();
            parseXML(body,do_init);
            //var time = new Date() - start;            
            //log('Meteohub XML2JS Durchlaufzeit: '+time); 
        };
    });
}

bringt den Fehler:

23:47:04.347	error	javascript.0 (77182) script.js.common.WetterdatenEinlesen: Fehler beim Herunterladen Meteohub XML: Error: Parse Error: Invalid header value char

Das muss doch daran liegen, dass dem request etwas nicht passt?

Abschließend noch mal vielen Dank an alle für die Unterstützung, dass die Daten jetzt abgerufen werden!

Die Verarbeitung der Daten muss ich noch anpassen, aber das bekomme ich hoffentlich alleine hin. Inzwischen weiß ich etwas mehr zu JavaScript als nur, wie man es schreibt

[OliverIO]

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Das muss doch daran liegen, dass dem request etwas nicht passt?

@oliverio sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Mit der oben besagten Version 12.15 wurde eingeführt, das der response header einer http anfrage strikter geprüft wird. wenn nun der server ein nicht erlaubtes zeichen sendet, dann wird dieser fehler geworfen.

Hast du den Artikel gelesen, den ich oben verlinkt habe?
Das setzen der Option unterdrückt diese strikte Prüfung.
Das Beispiel ist halt nur für axios.
wenn man unbedingt das auch für request lösen will muss man im Internet suchen.
allerdings ist axios neuer und request ist deprecated. also reicht die eine funktionierende Lösung ja aus.

dein aktueller code:
jetzt hast du axios wieder zu request zurückgebaut?
verstehst du den unterschied zwischen request und axios überhaupt?

wer hat den jetzt das folgende geschrieben? Ich blick da nicht mehr durch

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Habe es auf axios umgebaut und um ', { insecureHTTPParser: true }' ergänzt -> ERFOLGREICH!!

[steinche]

@oliverio said in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Das muss doch daran liegen, dass dem request etwas nicht passt?

@oliverio sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Mit der oben besagten Version 12.15 wurde eingeführt, das der response header einer http anfrage strikter geprüft wird. wenn nun der server ein nicht erlaubtes zeichen sendet, dann wird dieser fehler geworfen.

Sorry, ich bin von Hause aus SPS Programmierer und dementsprechend eher in anderen Sprachen unterwegs.

Hast du den Artikel gelesen, den ich oben verlinkt habe?

Den Artikel habe ich gelesen, bin aber davon ausgegangen, dass es sich auf axios bezieht.

Das setzen der Option unterdrückt diese strikte Prüfung.

Das habe ich festgestellt

wenn man unbedingt das auch für request lösen will muss man im Internet suchen.
allerdings ist axios neuer und request ist deprecated. also reicht die eine funktionierende Lösung ja aus.

dein aktueller code:
jetzt hast du axios wieder zu request zurückgebaut?

Nein, das war nur eine Frage, weil im ursprünglichen Code von @wberger mit request gearbeitet wurde.

verstehst du den unterschied zwischen request und axios überhaupt?

Nein, ich kann erkennen, dass die beiden Funktionen(?) Daten holen sollen, damit hört es bei mir schon auf.

wer hat den jetzt das folgende geschrieben? Ich blick da nicht mehr durch

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

Habe es auf axios umgebaut und um ', { insecureHTTPParser: true }' ergänzt -> ERFOLGREICH!!

Den Abruf mittels axios hat @ticaki hier geschrieben und ich habe bei mir eingesetzt. Danach haben wir viel hin und her probiert, auch mit curl und mein obiger Kommentar bezog sich auf den Code von @ticaki , den ich um den Parameter aus Deinem Link ergänzt habe. Da habe ich dann selbst hinbekommen. Aber das ist so das Level, auf dem ich mich bewege - also Grundschule addieren im Zahlenbereich 1-10

Den Bereich, der die Daten parst konnte ich auch entsprechend der noch für mich wichtigen Daten erweitern. Allerdings ging es bei mir dann über den Zahlenbereich von 10 hinaus, da im Log von ioBroker beim schreiben der Werte bei jedem Wert eine Warnung kommt.

2023-08-05 07:38:02.034	warn	Read-only state "javascript.0.meteohub.alltime.sol0.radiation" has been written without ack-flag with value "153.9"

Ich versuche immer erst mal selbst zu schauen und nicht, dass man mir den Arm bei jeder Kleinigkeit aus der Sonne legen muss. Die Suche hat folgendes gefunden Klick
Daraufhin die Eingträge

else { setState(id,parseFloat(item[j].$t)) }

gegen:

else { setState(id,parseFloat(item[j].$t), true) }

ersetzt. "Problem" selbst gelöst und autodidaktisch den Zahlenbereich bis 20 erschlossen
Ich werde den aktuellen Code noch etwas um Kommentare ergänzen, auch den Teil, der die Daten parst um ein paar Standardwerte und in dann hier rein stellen, falls noch jemand Meteohub verwendet direkt, ohne Umweg über Wetterdiente, auch seine Daten zugreifen möchte.

Und man kann es nicht oft genug sagen DANKE !!!

[ticaki]

@steinche sagte in [gelöst] Meteohub Daten, XML parsen, JSON durchsuchen:

ersetzt. "Problem" selbst gelöst und autodidaktisch den Zahlenbereich bis 20 erschlossen

https://github.com/ioBroker/ioBroker.javascript/blob/master/docs/en/javascript.md#best-practice

als referenze