Test Adapter drops-weather 1.2.x

? Offline

@mcm1957 @arteck

Fragt mal @foxriver76 zu puppeteer, er maintained ja den Puppeteer-Adapter und kennt die Probleme mit Arm CPU's.. der lief ne zeitlang auch nicht auf Raspi's, bis es irgendein command - flag gab, das das kompatibel machte..

mcm1957

@neuschwansteini
Danke für den Hinweis.

Das Problem ist z.B. DA (https://github.com/foxriver76/ioBroker.puppeteer/issues/7) beschrieben. Im puppeteer Adapter wurde das so gelöst dass ein externer Browser erlaubt wird. Na ja- so richtig zum Jubeln ist die Lösung nicht. User sollten für einen 0815 Adapter nichts extra installieren müssen

Daher die Frage an @arteck
Warum hast du auf puppeteer umgestellt? An sich hat der Adapter ja mit axios auch funktioniert?

mcm1957

@arteck

Es liegt definitiv ein Problem mit dem von puppeteer installieren chrome image auf arm vor.

Ich habe jetzt mal so wie im puppetteer Adapter beschrieben (https://github.com/foxriver76/ioBroker.puppeteer/issues/13) chromium manuell installiert, d.h. sudo apt install chromium ausgeführt und dann im drops Adapter das chrome Image explizit angegeben. (Code im branch mcm195-work: https://github.com/iobroker-community-adapters/ioBroker.drops-weather/tree/mcm1957-work)

Der Adapter startet nun - ABER leider liefert er keinerlei Daten

Bitte melde dich damit wir entscheiden können ob es nun sinnvoller ist das puppeteer Problem für arm zu lösen oder generell auf axios zurückzuwechseln.

icebear

@mcm1957
@arteck

Wenn ich mich dazu auch mal kurz melden darf, ich hatte erst den Adapter in der alten Version und hab dann den fix von @arteck drüber gebügelt, mit dem Erfolg das ich die die Meldung 'module puppeteer' not found bekam.

Ich hab dann den Adapter 'puppeteer' installiert, der aber bei mir (Synology NAS DS220+, Docker) direkt jede menge Browser-Fehler produzierte.
Hab dann den 'puppeteer' Adapter deaktiviert!!

Dann kam ja eure Version 1.0 vom drops-Adapter, die hab ich dann auch drüber gebügelt.
Der Adapter läuft jetzt bei mir ohne Fehlermeldung (puppeteer deaktiviert), aber ob er wirklich Daten empfängt kann ich noch nicht beurteilen, da weit und breit kein Regen in Sicht ist.

Er aktualisiert jeden Tag das Datum und meldet mir das es trocken bleibt. Deswegen kann ich halt noch nicht sagen ob es wirklich funktioniert.

mcm1957

@icebear said in Test Adapter drops-weather 1.0.x:

@mcm1957
@arteck

Wenn ich mich dazu auch mal kurz melden darf, ich hatte erst den Adapter in der alten Version und hab dann den fix von @arteck drüber gebügelt, mit dem Erfolg das ich die die Meldung 'module puppeteer' not found bekam.

Das lässt sich damit erklären dass in arteck's GitHUb repo die dependency eine Zeit lang gefehlt hat.

Ich hab dann den Adapter 'puppeteer' installiert, der aber bei mir (Synology NAS DS220+, Docker) direkt jede menge Browser-Fehler produzierte.
Hab dann den 'puppeteer' Adapter deaktiviert!!

Dann kam ja eure Version 1.0 vom drops-Adapter, die hab ich dann auch drüber gebügelt.
Der Adapter läuft jetzt bei mir ohne Fehlermeldung (puppeteer deaktiviert), aber ob er wirklich Daten empfängt kann ich noch nicht beurteilen, da weit und breit kein Regen in Sicht ist.

Welche CPU Type hat die Synology? Ich vermute x86 - dann sollte er laufen.

Er aktualisiert jeden Tag das Datum und meldet mir das es trocken bleibt. Deswegen kann ich halt noch nicht sagen ob es wirklich funktioniert.

Das spricht dafür dass er läuft. Bei mir bleiben auf dem Pi alle Datenpunkte auf "null".,

Der Adapter ioBroker.puppeteer spielt an sich nicht mit. Wenn du den nicht brauchst, dann kannst du ihn m.E: auch wieder deinstallieren.

Jedenfalls DANKE für dein feedback.

Winni

@icebear sagte in Test Adapter drops-weather 1.0.x:

Er aktualisiert jeden Tag das Datum und meldet mir das es trocken bleibt. Deswegen kann ich halt noch nicht sagen ob es wirklich funktioniert.

Es gibt doch auch den Datenpunkt "chartTemperature", da müsste doch auch was drin stehen wenn kein Regen zu erwarten ist.

arteck

@icebear

schau nach dem timestamp

@mcm1957 mit axios bekam ich einen 403.. die Seite erlaubt nicht diese zu scrapen.. mit puppeteer funktioniert es..
und könnten wir uns auf ein Kanal einigen.. also entweder hier oder GIT oder Telegramm.. ich mag nicht 1000 mal das gleiche schreiben

aber du kannst ja den alten stand nehmen.. der mit axios und selber schauen
https://github.com/arteck/ioBroker.drops-weather/tree/608ed1fcbbde3f59b6a09f2f188b92823481ae90

das ist der letzte Stand vor meinen Umbau...

mcm1957

@arteck
gern u danke f i fo. dann ist puppeteer mal gesetzt.

welcher kanal ist dir am liebsten?

Chris76e

auf meinem System läuft der auch nicht

drops-weather.0
	2025-03-18 17:09:17.166	error	Failed to launch the browser process! /home/iobroker/.cache/puppeteer/chrome/linux-134.0.6998.35/chrome-linux64/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory TROUBLESHOOTING: https://pptr.dev/troubleshooting
drops-weather.0
	2025-03-18 17:09:17.165	error	Error: Failed to launch the browser process! /home/iobroker/.cache/puppeteer/chrome/linux-134.0.6998.35/chrome-linux64/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory TROUBLESHOOTING: https://pptr.dev/troubleshooting at Interface.onClose (/opt/iobroker/node_modules/@puppeteer/browsers/lib/cjs/launch.js:318:24) at Interface.emit (node:events:530:35) at Interface.close (node:internal/readline/interface:527:10) at Socket.onend (node:internal/readline/interface:253:10) at Socket.emit (node:events:530:35) at endReadableNT (node:internal/streams/readable:1698:12) at process.processTicksAndRejections (node:internal/process/task_queues:82:21)
drops-weather.0
	2025-03-18 17:09:17.165	error	unhandled promise rejection: Failed to launch the browser process! /home/iobroker/.cache/puppeteer/chrome/linux-134.0.6998.35/chrome-linux64/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory TROUBLESHOOTING: https://pptr.dev/troubleshooting
drops-weather.0
	2025-03-18 17:09:17.164	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().

Habe ein IntelNuc i5-8259U

Alte Version deinstalliert und neue Installiert

mcm1957

@chris76e
intel nuc
dürfte ja x86 sein -oder?
welches os?

Thomas Braun

@chris76e sagte in Test Adapter drops-weather 1.0.x:

auf meinem System läuft der auch nicht

Da dürfte das Paket libnss3 fehlen.
Nachinstallieren:

sudo apt update
sudo apt install libnss3

inbux

@thomas-braun sagte in Test Adapter drops-weather 1.0.x:

Da dürfte das Paket libnss3 fehlen.

War bei mir auch so, zusätzlich musste ich noch weitere Pakete nachinstallieren - wird jedesmal angezeigt, was fehlt (libatk1.0-0,libatk-bridge2.0-0,libcups2,libgbm1,libxkbcommon0,libasound2)- danach lief es...

DIe 403 Fehler von Axios kommt wegen Cloudflare, damit erkennen die Scraper und sperren die aus. Scheint erst kürzlich geändert worden zu sein.

Chris76e

@mcm1957 sagte in Test Adapter drops-weather 1.0.x:

@chris76e
intel nuc
dürfte ja x86 sein -oder?
welches os?

PlatformBetriebssystem:linux
Architektur:x64
CPUs:3
Geschwindigkeit:0 MHz
Modell:Common KVM processor
RAM:22.9 GB
System-Betriebszeit:132 T. 00:09:27
Node.js:v20.18.1
time:1742319256524
timeOffset:-60
NPM:10.8.2
Adapter-Anzahl:557
Datenträgergröße:30.4 GB
Freier Festplattenspeicher:7.6 GB
Aktive Instanzen:64
Pfad:/opt/iobroker/
Betriebszeit:79 T. 04:35:14
aktiv:true
_nodeCurrent:20.18.1
_nodeNewest:20.19.0
_nodeNewestNext:20.19.0
_npmCurrent:10.8.2
_npmNewest:10.8.2
_npmNewestNext:10.8.2

läuft auf Debian 12 unter Proxmox

@thomas-braun sagte in Test Adapter drops-weather 1.0.x:

Da dürfte das Paket libnss3 fehlen.
Nachinstallieren:
sudo apt update
sudo apt install libnss3

Reichte nicht, musste noch die Pakete von

@inbux sagte in Test Adapter drops-weather 1.0.x:

War bei mir auch so, zusätzlich musste ich noch weitere Pakete nachinstallieren - wird jedesmal angezeigt, was fehlt (libatk1.0-0,libatk-bridge2.0-0,libcups2,libgbm1,libxkbcommon0,libasound2)- danach lief es...

Und noch zusätzlich

libxdamage1
libxrandr2

Jetzt läuft es

mcm1957

Danke mal für die Infos.

a) Da @arteck bisher nicht geschrieben hat welcher Kanel ihm am liebsten ist würde ich mal vorschlagen hier zu diskutieren. Parallele Diskussionen machen ja fast nie einen Sinn.

b) Da puppeteer das 403er Problem löst sieht es ehr vernünftig aus dieses beizubehalten. (Danke an arteck für die Anpassung / Umstellung

c) Also müssen "wir" es nur noch auf Pi / Arm zum Laufen bringen

mcm1957

An alle potenziellen Tester auf RASPBERRY PI / ARM:

Ich habe den Adapter jetzt mal - so woe es aussieht - auf arm / raspberry Pi zum Laufen gebracht. Dazu sind folegdne Schritte notwendig:

Installation von chromium browser mittels
sudo apt install chromium-browser
Installation einer Arbeitsversion (ALPHA Version) des Adapters via Katze ("benutzerdefiniert") von
https://github.com/iobroker-community-adapters/ioBroker.drops-weather/tree/mcm1957-work

ACHTUNG:
Die Version mcm1957-work funktioniert NUR mit installiertem chromium-browser auf arm Systemen und NICHT auf windows, mac, ...

Wer also Lust zum Risiko hat (aka masochistisch veranlagt ist ) mag das geren testen.

Ich werde in der nächsten Zeit überlegen wie das Ganze für User handhabbar zu machen ist, also am besten auf allen Platformen geeignetfunktioniert und wenn möglich manuelle Installation via apt vermeidet. Das Ergebnis kann hier aber ein wenig dauern da zig andere priore Dinge auch aufs Erledigen warten.

EDIT - ACHTUNG
Die Github Release https://github.com/iobroker-community-adapters/ioBroker.drops-weather/tree/mcm1957-work ist ein ARBEITSVERSION und daher zeitweise auch nicht brauchbar. Ich ziehe eine x.x.x-alpha.x ein sobald das Ganze ein wenig stabiler ist.

Thomas Braun

@mcm1957

Ich würde das allerdings wenn möglich nicht gegen chromium-browser sondern gegen

/usr/bin/chromium-headless-shell

aus dem Paket chromium-headless-shell laufen lassen. Der volle Browser schleppt ja den halben Desktop-Kram auf die Kiste.

mcm1957

@thomas-braun
Danke - werd ich testen

arteck

@mcm1957 ja hier, hier... genau hier ist OK

@thomas-braun weisst du welches Paket man angeben muss um den zu ziehen

Thomas Braun

@arteck

aus dem Paket chromium-headless-shell

Obacht! Die Versionierung ist hier etwas ungewöhnlich:

echad@chet:~ $ apt policy chromium-browser chromium-headless-shell 
chromium-browser:
  Installed: 1:130.0.6723.116-1~deb12u1+rpt1
  Candidate: 1:130.0.6723.116-1~deb12u1+rpt1
  Version table:
 *** 1:130.0.6723.116-1~deb12u1+rpt1 500
        500 http://archive.raspberrypi.com/debian bookworm/main arm64 Packages
        500 http://archive.raspberrypi.com/debian bookworm/main armhf Packages
        100 /var/lib/dpkg/status
chromium-headless-shell:
  Installed: (none)
  Candidate: 134.0.6998.88-1~deb12u1
  Version table:
     134.0.6998.88-1~deb12u1 500
        500 http://deb.debian.org/debian-security bookworm-security/main arm64 Packages
     134.0.6998.35-1~deb12u1 500
        500 http://deb.debian.org/debian bookworm/main arm64 Packages
echad@chet:~ $

Kann bei der Installation zu Trouble führen. Das Paket 'chromium-browser' ist ein Sonderstrick für RaspberryOS, das gibt es in einem reinen Debian nicht!

mcm1957

@thomas-braun
Sorry - was heißt das nun für mich?

Auf einem x86 System (oder windows und vermutloch mac) braucht nix extra installiert zu werden. Da funktioniert puppetteer aus der Box.

Am Raspberry Pi (arm) nicht.

-) Wie wahrscheinlich sind arm basierende ioBroker System die nicht auf einem Pi laufen ?
-) Welche O/S sind auf arm sonst noch üblich außer Raspberry O/S ?
-) Was soll da deiner Meinung nach optimaler Weise am Raspberry Pi installiert werden?

Oder anders gefragt:
Mit welchem Statement sollte abgefragt werden ob was extra zu installieren ist und wenn ja was sollte da installiert werden? Derzeit würde ich von os.arch==='arm' als Kriterium für das Installationsscript ausgehen und mttels 'apt instal xxx' dann installieren. Ob nun chromium-browser oder chromium-headless-shell wär noch zu testen / klären.

NEWS

Test Adapter drops-weather 1.2.x

Support us

689

32.4k

81.4k

1.3m