Weatherunderground Adapter Reborn 3.0

[apollon77]

@abg0002 sagte in Weatherunderground Adapter Reborn 3.0:

weatherunderground.0 2019-05-26 20:51:54.526 error Unable to get WU weather page: 403/null

Bitte mal Debug Log schicken

[abg0002]

weatherunderground.0 2019-05-26 23:48:03.129 error TypeError: Cannot read property 'replace' of undefined at modifyExtractedUrl (/opt/iobroker/node_modules/iobroker.weatherunderground/main.js:1464:15) at getNewWuDataDailyForcast (/opt/iobroker
weatherunderground.0 2019-05-26 23:48:03.129 error uncaught exception: Cannot read property 'replace' of undefined
weatherunderground.0 2019-05-26 23:48:03.128 error Key rejected, reset webkey and try again
weatherunderground.0 2019-05-26 23:48:03.043 debug get current observation data: https://api.weather.com/v2/pws/observations/current?stationId=IHORN16&format=json&units=m&apiKey=
weatherunderground.0 2019-05-26 23:48:03.043 debug Use new API Key
weatherunderground.0 2019-05-26 23:48:03.043 debug Use New API
weatherunderground.0 2019-05-26 23:48:03.041 error Unable to get WU weather page: 403/null
weatherunderground.0 2019-05-26 23:48:02.903 debug get WU weather page: https://www.wunderground.com/hourly/DE/Hamburg
weatherunderground.0 2019-05-26 23:48:02.903 error Unable to get PWS dashboard page: null
weatherunderground.0 2019-05-26 23:48:02.775 debug get PWS dashboard page: https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
weatherunderground.0 2019-05-26 23:48:02.774 error Key rejected, reset webkey and try again
weatherunderground.0 2019-05-26 23:48:02.683 debug get current observation data: https://api.weather.com/v2/pws/observations/current?stationId=IHORN16&format=json&units=m&apiKey=
weatherunderground.0 2019-05-26 23:48:02.683 debug Use new API Key
weatherunderground.0 2019-05-26 23:48:02.683 debug Use New API
weatherunderground.0 2019-05-26 23:48:02.682 error Unable to get WU weather page: 403/null
weatherunderground.0 2019-05-26 23:48:02.560 debug get WU weather page: https://www.wunderground.com/hourly/DE/Hamburg
weatherunderground.0 2019-05-26 23:48:02.559 error Unable to get PWS dashboard page: null
weatherunderground.0 2019-05-26 23:48:02.433 debug get PWS dashboard page: https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
weatherunderground.0 2019-05-26 23:48:02.432 error Key rejected, reset webkey and try again
weatherunderground.0 2019-05-26 23:48:02.231 debug get current observation data: https://api.weather.com/v2/pws/observations/current?stationId=IHORN16&format=json&units=m&apiKey=undefined
weatherunderground.0 2019-05-26 23:48:02.231 debug Use new API Key undefined
weatherunderground.0 2019-05-26 23:48:02.231 debug Use New API
weatherunderground.0 2019-05-26 23:48:02.230 error Unable to get WU weather page: 403/null
weatherunderground.0 2019-05-26 23:48:02.104 debug get WU weather page: https://www.wunderground.com/hourly/DE/Hamburg
weatherunderground.0 2019-05-26 23:48:02.103 error Unable to get PWS dashboard page: null
weatherunderground.0 2019-05-26 23:48:01.843 debug get PWS dashboard page: https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
weatherunderground.0 2019-05-26 23:48:01.841 debug location has not changed, reuse extracted URLs
weatherunderground.0 2019-05-26 23:48:01.710 debug init forecast objects
weatherunderground.0 2019-05-26 23:48:01.710 debug init conditions objects
weatherunderground.0 2019-05-26 23:48:01.710 debug on ready: DL true true true true
weatherunderground.0 2019-05-26 23:48:01.710 info starting. Version 3.0.9 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v8.16.0

[abg0002]

crazy scheint mir, dass er bereits diese Seiten nicht abrufen kann
https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
https://www.wunderground.com/hourly/DE/Hamburg

[v522533]

bei mir das gleiche, bekomme auch die Fehlermeldung, egal was ich eingebe. Ort Koordinaten, Stations-ID, nächstgrößerer Ort, Geokoordinaten. Funktioniert leider nicht.

[abg0002]

Habe mal mit wget auf dem Host, auf dem ioBroker läuft, versucht die Seite abzurufen.
Da schau her, es erfolgt ein Redirect (301) zu einer anderen Adresse:

https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
wird per 301 weitergeleitet zu
https://www.wunderground.com/dashboard/pws/IHORN16

wget https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
--2019-05-27 20:39:24-- https://www.wunderground.com/personal-weather-station/dashboard?ID=IHORN16
Auflösen des Hostnamens »www.wunderground.com (www.wunderground.com)« … 23.51.108.33
Verbindungsaufbau zu www.wunderground.com (www.wunderground.com)|23.51.108.33|:443 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 301 Moved Permanently
Platz: https://www.wunderground.com/dashboard/pws/IHORN16 [folgend]
--2019-05-27 20:39:24-- https://www.wunderground.com/dashboard/pws/IHORN16
Wiederverwendung der bestehenden Verbindung zu www.wunderground.com:443.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
Länge: nicht spezifiziert [text/html]
Wird in »»dashboard?ID=IHORN16«« gespeichert.

[apollon77]

Der Adapter folgt an sich genau diesen Redirects. Ok, kann es nachvollziehen. Ich schaue mal

[apollon77]

WU ist etwas schärfer bei den Abfragen geworden. Habe eine 3.0.10 auf GitHub die bei mir wieder tut. Bitte mal testen und Feedback geben.

[Negalein]

@apollon77 sagte in Weatherunderground Adapter Reborn 3.0:

Habe eine 3.0.10 auf GitHub die bei mir wieder tut. Bitte mal testen und Feedback geben.

Ich komm nur auf die 3.0.9

Habs über die Katze mit https://github.com/dschaedl/ioBroker.weatherunderground versucht.

[apollon77]

https://github.com/iobroker-community-adapters/ioBroker.weatherunderground (wobei sollten beide URLs gleich funktionieren).
ggf danach manuell ein iobroker upload weatherundergound? Bei mir tat das update auf einem zweiten System auch per dschaedl URL ...

[Negalein]

@apollon77 sagte in Weatherunderground Adapter Reborn 3.0:

https://github.com/iobroker-community-adapters/ioBroker.weatherunderground (wobei sollten beide URLs gleich funktionieren).
ggf danach manuell ein iobroker upload weatherundergound? Bei mir tat das update auf einem zweiten System auch per dschaedl URL ...

Bleibt auch auf 3.0.9

Bekomme NPM Errors

$ ./iobroker url "https://github.com/iobroker-community-adapters/ioBroker.weatherunderground"
install https://github.com/iobroker-community-adapters/ioBroker.weatherunderground/tarball/master
npm install https://github.com/iobroker-community-adapters/ioBroker.weatherunderground/tarball/master --production --save --prefix "/opt/iobroker" (System call)
npm
 WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/arr-swap/package.json'npm WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/choices-separator/package.json'
npm WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/clone-deep/package.json'
npm WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/prompt-actions/package.json'
npm WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/prompt-choices/package.json'

npm WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/prompt-question/package.json'npm WARN enoent ENOENT: no such file or directory, open '/opt/iobroker/node_modules/iobroker.discovery/node_modules/shallow-clone/package.json'


npm ERR! path /opt/iobroker/node_modules/iobroker.weatherunderground/node_modules/.bin/uuidnpm ERR! 
code EEXISTnpm ERR! Refusing to delete /opt/iobroker/node_modules/iobroker.weatherunderground/node_modules/.bin/uuid: is outside /opt/iobroker/node_modules/iobroker.weatherunderground/node_modules/uuid and not a link
npm ERR! File exists: /opt/iobroker/node_modules/iobroker.weatherunderground/node_modules/.bin/uuid
npm ERR! Move it away, and try again.


npm ERR! A complete log of this run can be found in:npm ERR!     /home/iobroker/.npm/_logs/2019-05-27T22_10_15_876Z-debug.log

process exited with code 0

Upload danach läuft ohne Fehler durch

$ ./iobroker upload weatherunderground
got /opt/iobroker/node_modules/iobroker.weatherunderground/admin
upload [2] weatherunderground.admin /opt/iobroker/node_modules/iobroker.weatherunderground/admin/wu.png wu.png image/png
upload [1] weatherunderground.admin /opt/iobroker/node_modules/iobroker.weatherunderground/admin/words.js words.js application/javascript
upload [0] weatherunderground.admin /opt/iobroker/node_modules/iobroker.weatherunderground/admin/index_m.html index_m.html text/html
process exited with code 0

[apollon77]

Naja der NPM Fehler bedeutet das er nichts installiert hat. Lösch mal das File was er anmeckert. Kann es sein das Du irgendwie dinge aus nem Backup zurückgespielt hast oder sowas? Oder durch die Gegend kopiert hast mit "cp"?

Ich hatte diesen Fehler als ich mal was mit cp kopiert habe ohne symbolische Links zu beachten und damit hat er alle Links in Files verwandelt und genau das führte zu diesem Fehler weil er an der Stelle nur Links erwartet!

Hat mit dem Adapter nix zu tun ... da ist irgendwas in deiner Verzeichnisstruktur komisch

[abg0002]

@apollon77
Klasse, das funktioniert jetzt! Super Arbeit!
Was mich nur wundert, dass es auf dem anderen System nach wie vor läuft mit der 3.0.9

[apollon77]

Der Adapter holt sich API keys aus den Webseiten falls keine da sind und genau bei dem Schritt gab es Probleme. Wenn die API Keys extrahiert sind werden Sie gespeichert und dann direkt genutzt um die Daten abzuholen. Nur falls da ein Fehler zurückkommen würde, würden die Keys neu geholt.
Von daher sind primär neuinstallationen betroffen.

[abg0002]

@apollon77
hab mir grad mal die Änderungen angesehen. Mit dem Header hätte ich auch drauf kommen können....
Zeigt ja aber auf, das WU da weiter die Zugriffe eindämmen will, oder?

[apollon77]

We will see ... The fight has started

[padrino]

Kann mir jemand sagen, wie man dan Adapter nutzt bzw. gibt es eine Anleitung dafür?
Hab ihn und eine Instanz installiert, aber eine Objektstruktur legt er nicht an und auch bei Instanzen hat er keine "Status LED"?
Bin also ratlos...

[apollon77]

Alles einstellen, dann hat der Adapter eine "Schedule" (denke im normalfall läuft der einmal die Stunde zu Minute 12, siehe Info unter Instanzen da gibt es eine Spalte mit "12 * * * *" Kannst Du ändern). Die Objekte werden angelegt sobald er das erste mal Daten liesst, kann also dann "verspätet" kommen.

[padrino]

@apollon77

Danke, alles klar, damit (also Warten ;)) wurden die Objekte erzeugt.
Leider läuft es nicht

ohne "Ältere WU-APIs nutzen" spuckt das log

2019-06-03 17:56:01.833 - info: weatherunderground.0 starting. Version 3.0.10 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v8.11.4
2019-06-03 17:56:05.100 - error: weatherunderground.0 Unable to get PWS dashboard page: null / 503
2019-06-03 17:56:05.645 - error: weatherunderground.0 exception in : body.daily_forecast2TypeError: original.lastIndexOf is not a function

aus, mit "Ältere WU-APIs nutzen"

2019-06-03 17:58:01.823 - info: weatherunderground.0 starting. Version 3.0.10 in /opt/iobroker/node_modules/iobroker.weatherunderground, node: v8.11.4
2019-06-03 17:58:05.016 - error: weatherunderground.0 Unable to get PWS dashboard page: null / 503
2019-06-03 17:58:05.266 - error: weatherunderground.0 Wunderground reported an error: null, 401

[apollon77]

Einstellunegn bzw Debug Log bitte.

[sigi234]

@apollon77

Leider auch bei mir.............Es kommen keine Daten mehr.

weatherunderground.0	2019-06-04 11:43:03.870	error	Wunderground reported an error: null, 401
weatherunderground.0	2019-06-04 11:43:03.609	debug	get WU legacy data: http://api.wunderground.com/api/undefined/forecast/hourly/conditions/units:m/lang:DL/q/xx.xxxxxxxxx%xxxxxxxxxxx.json
weatherunderground.0	2019-06-04 11:43:03.609	debug	Use legacy API Key undefined
weatherunderground.0	2019-06-04 11:43:03.609	debug	Use Legacy API
weatherunderground.0	2019-06-04 11:43:03.608	error	Unable to get PWS dashboard page: null / 503
weatherunderground.0	2019-06-04 11:43:00.928	debug	get PWS dashboard page: https://www.wunderground.com/personal-weather-station/dashboard
weatherunderground.0	2019-06-04 11:43:00.927	debug	location has not changed, reuse extracted URLs
weatherunderground.0	2019-06-04 11:43:00.924	debug	initialize Hourly Forecast Url: https://api.weather.com/v1/geocode/48.15/14.24/forecast/hourly/240hour.json?apiKey=xxxxxxxxxxxxxxxxx&units=e&language=en-US
weatherunderground.0	2019-06-04 11:43:00.921	debug	initialize Daily Forecast Url: https://api.weather.com/v1/geocode/xx.xx/forecast/daily/5day.json?apiKey=xxxxxxxxxxxxxxxx&units=e&language=en-US
weatherunderground.0	2019-06-04 11:43:00.918	debug	initialize Current Observation url: https://api.weather.com/v2/pws/observations/current?apiKey=xxxxxxxxxxxxxxxxxx&units=e&stationId=xxxxxxxxxxxx&format=json
weatherunderground.0	2019-06-04 11:43:00.916	debug	initialize Web Key: xxxxxxxxxxxxxxxxxxxxxxx
weatherunderground.0	2019-06-04 11:43:00.589	debug	init forecast objects
weatherunderground.0	2019-06-04 11:43:00.587	debug	init conditions objects
weatherunderground.0	2019-06-04 11:43:00.585	debug	on ready: DL true true true true
weatherunderground.0	2019-06-04 11:43:00.573	info	starting. Version 3.0.10 in C:/ioBroker/node_modules/iobroker.weatherunderground, node: v10.16.0
weatherunderground.0	2019-06-04 11:43:00.561	debug	statesDB connected
weatherunderground.0	2019-06-04 11:43:00.551	debug	objectDB connected
weatherunderground.0	2019-06-04 11:41:05.571	error	Wunderground reported an error: null, 401
weatherunderground.0	2019-06-04 11:41:05.312	error	Unable to get PWS dashboard page: null / 503
weatherunderground.0	2019-06-04 11:41:01.628	info	starting. Version 3.0.10 in C:/ioBroker/node_modules/iobroker.weatherunderground, node: v10.16.0

Platform: Windows
Architecture: x64
RAM: 7.9 GB
Node.js: v10.16.0
NPM: 6.9.0
Admin: 3.6.3
JS: 1.5.12
Active instances: 45

WU.log