Wartung am 15.11. – Forum ab 22:00 Uhr nicht erreichbar

[arteck]

@icebear

schau nach dem timestamp

@mcm1957 mit axios bekam ich einen 403.. die Seite erlaubt nicht diese zu scrapen.. mit puppeteer funktioniert es..
und könnten wir uns auf ein Kanal einigen.. also entweder hier oder GIT oder Telegramm.. ich mag nicht 1000 mal das gleiche schreiben

aber du kannst ja den alten stand nehmen.. der mit axios und selber schauen
https://github.com/arteck/ioBroker.drops-weather/tree/608ed1fcbbde3f59b6a09f2f188b92823481ae90

das ist der letzte Stand vor meinen Umbau...

[mcm1957]

@arteck
gern u danke f i fo. dann ist puppeteer mal gesetzt.

welcher kanal ist dir am liebsten?

[Chris76e]

auf meinem System läuft der auch nicht

drops-weather.0
	2025-03-18 17:09:17.166	error	Failed to launch the browser process! /home/iobroker/.cache/puppeteer/chrome/linux-134.0.6998.35/chrome-linux64/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory TROUBLESHOOTING: https://pptr.dev/troubleshooting
drops-weather.0
	2025-03-18 17:09:17.165	error	Error: Failed to launch the browser process! /home/iobroker/.cache/puppeteer/chrome/linux-134.0.6998.35/chrome-linux64/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory TROUBLESHOOTING: https://pptr.dev/troubleshooting at Interface.onClose (/opt/iobroker/node_modules/@puppeteer/browsers/lib/cjs/launch.js:318:24) at Interface.emit (node:events:530:35) at Interface.close (node:internal/readline/interface:527:10) at Socket.onend (node:internal/readline/interface:253:10) at Socket.emit (node:events:530:35) at endReadableNT (node:internal/streams/readable:1698:12) at process.processTicksAndRejections (node:internal/process/task_queues:82:21)
drops-weather.0
	2025-03-18 17:09:17.165	error	unhandled promise rejection: Failed to launch the browser process! /home/iobroker/.cache/puppeteer/chrome/linux-134.0.6998.35/chrome-linux64/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory TROUBLESHOOTING: https://pptr.dev/troubleshooting
drops-weather.0
	2025-03-18 17:09:17.164	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().

Habe ein IntelNuc i5-8259U

Alte Version deinstalliert und neue Installiert

[mcm1957]

@chris76e
intel nuc
dürfte ja x86 sein -oder?
welches os?

[Thomas Braun]

@chris76e sagte in Test Adapter drops-weather 1.0.x:

auf meinem System läuft der auch nicht

Da dürfte das Paket libnss3 fehlen.
Nachinstallieren:

sudo apt update
sudo apt install libnss3

[inbux]

@thomas-braun sagte in Test Adapter drops-weather 1.0.x:

Da dürfte das Paket libnss3 fehlen.

War bei mir auch so, zusätzlich musste ich noch weitere Pakete nachinstallieren - wird jedesmal angezeigt, was fehlt (libatk1.0-0,libatk-bridge2.0-0,libcups2,libgbm1,libxkbcommon0,libasound2)- danach lief es...

DIe 403 Fehler von Axios kommt wegen Cloudflare, damit erkennen die Scraper und sperren die aus. Scheint erst kürzlich geändert worden zu sein.

[Chris76e]

@mcm1957 sagte in Test Adapter drops-weather 1.0.x:

@chris76e
intel nuc
dürfte ja x86 sein -oder?
welches os?

PlatformBetriebssystem:linux
Architektur:x64
CPUs:3
Geschwindigkeit:0 MHz
Modell:Common KVM processor
RAM:22.9 GB
System-Betriebszeit:132 T. 00:09:27
Node.js:v20.18.1
time:1742319256524
timeOffset:-60
NPM:10.8.2
Adapter-Anzahl:557
Datenträgergröße:30.4 GB
Freier Festplattenspeicher:7.6 GB
Aktive Instanzen:64
Pfad:/opt/iobroker/
Betriebszeit:79 T. 04:35:14
aktiv:true
_nodeCurrent:20.18.1
_nodeNewest:20.19.0
_nodeNewestNext:20.19.0
_npmCurrent:10.8.2
_npmNewest:10.8.2
_npmNewestNext:10.8.2

läuft auf Debian 12 unter Proxmox

@thomas-braun sagte in Test Adapter drops-weather 1.0.x:

Da dürfte das Paket libnss3 fehlen.
Nachinstallieren:

sudo apt update
sudo apt install libnss3

Reichte nicht, musste noch die Pakete von

@inbux sagte in Test Adapter drops-weather 1.0.x:

War bei mir auch so, zusätzlich musste ich noch weitere Pakete nachinstallieren - wird jedesmal angezeigt, was fehlt (libatk1.0-0,libatk-bridge2.0-0,libcups2,libgbm1,libxkbcommon0,libasound2)- danach lief es...

Und noch zusätzlich

libxdamage1
libxrandr2

Jetzt läuft es

[mcm1957]

Danke mal für die Infos.

a) Da @arteck bisher nicht geschrieben hat welcher Kanel ihm am liebsten ist würde ich mal vorschlagen hier zu diskutieren. Parallele Diskussionen machen ja fast nie einen Sinn.

b) Da puppeteer das 403er Problem löst sieht es ehr vernünftig aus dieses beizubehalten. (Danke an arteck für die Anpassung / Umstellung

c) Also müssen "wir" es nur noch auf Pi / Arm zum Laufen bringen

[mcm1957]

An alle potenziellen Tester auf RASPBERRY PI / ARM:

Ich habe den Adapter jetzt mal - so woe es aussieht - auf arm / raspberry Pi zum Laufen gebracht. Dazu sind folegdne Schritte notwendig:

• Installation von chromium browser mittels
  sudo apt install chromium-browser

• Installation einer Arbeitsversion (ALPHA Version) des Adapters via Katze ("benutzerdefiniert") von
  https://github.com/iobroker-community-adapters/ioBroker.drops-weather/tree/mcm1957-work

ACHTUNG:
Die Version mcm1957-work funktioniert NUR mit installiertem chromium-browser auf arm Systemen und NICHT auf windows, mac, ...

Wer also Lust zum Risiko hat (aka masochistisch veranlagt ist ) mag das geren testen.

Ich werde in der nächsten Zeit überlegen wie das Ganze für User handhabbar zu machen ist, also am besten auf allen Platformen geeignetfunktioniert und wenn möglich manuelle Installation via apt vermeidet. Das Ergebnis kann hier aber ein wenig dauern da zig andere priore Dinge auch aufs Erledigen warten.

EDIT - ACHTUNG
Die Github Release https://github.com/iobroker-community-adapters/ioBroker.drops-weather/tree/mcm1957-work ist ein ARBEITSVERSION und daher zeitweise auch nicht brauchbar. Ich ziehe eine x.x.x-alpha.x ein sobald das Ganze ein wenig stabiler ist.

[Thomas Braun]

@mcm1957

Ich würde das allerdings wenn möglich nicht gegen chromium-browser sondern gegen

/usr/bin/chromium-headless-shell

aus dem Paket chromium-headless-shell laufen lassen. Der volle Browser schleppt ja den halben Desktop-Kram auf die Kiste.

[mcm1957]

@thomas-braun
Danke - werd ich testen

[arteck]

@mcm1957 ja hier, hier... genau hier ist OK

@thomas-braun weisst du welches Paket man angeben muss um den zu ziehen

[Thomas Braun]

@arteck

aus dem Paket chromium-headless-shell

Obacht! Die Versionierung ist hier etwas ungewöhnlich:

echad@chet:~ $ apt policy chromium-browser chromium-headless-shell 
chromium-browser:
  Installed: 1:130.0.6723.116-1~deb12u1+rpt1
  Candidate: 1:130.0.6723.116-1~deb12u1+rpt1
  Version table:
 *** 1:130.0.6723.116-1~deb12u1+rpt1 500
        500 http://archive.raspberrypi.com/debian bookworm/main arm64 Packages
        500 http://archive.raspberrypi.com/debian bookworm/main armhf Packages
        100 /var/lib/dpkg/status
chromium-headless-shell:
  Installed: (none)
  Candidate: 134.0.6998.88-1~deb12u1
  Version table:
     134.0.6998.88-1~deb12u1 500
        500 http://deb.debian.org/debian-security bookworm-security/main arm64 Packages
     134.0.6998.35-1~deb12u1 500
        500 http://deb.debian.org/debian bookworm/main arm64 Packages
echad@chet:~ $ 

Kann bei der Installation zu Trouble führen. Das Paket 'chromium-browser' ist ein Sonderstrick für RaspberryOS, das gibt es in einem reinen Debian nicht!

[mcm1957]

@thomas-braun
Sorry - was heißt das nun für mich?

Auf einem x86 System (oder windows und vermutloch mac) braucht nix extra installiert zu werden. Da funktioniert puppetteer aus der Box.

Am Raspberry Pi (arm) nicht.

-) Wie wahrscheinlich sind arm basierende ioBroker System die nicht auf einem Pi laufen ?
-) Welche O/S sind auf arm sonst noch üblich außer Raspberry O/S ?
-) Was soll da deiner Meinung nach optimaler Weise am Raspberry Pi installiert werden?

Oder anders gefragt:
Mit welchem Statement sollte abgefragt werden ob was extra zu installieren ist und wenn ja was sollte da installiert werden? Derzeit würde ich von os.arch==='arm' als Kriterium für das Installationsscript ausgehen und mttels 'apt instal xxx' dann installieren. Ob nun chromium-browser oder chromium-headless-shell wär noch zu testen / klären.

[Thomas Braun]

@mcm1957 sagte in Test Adapter drops-weather 1.0.x:

Sorry - was heißt das nun für mich?

Hab das noch nicht richtig testen können. Mach ich die Tage mal.

-) Wie wahrscheinlich sind arm basierende ioBroker System die nicht auf einem Pi laufen ?

Die ganze Riege der anderen ähnlich positionierten SBC-Dinger (odroid, BananaPi usw)

-) Welche O/S sind auf arm sonst noch üblich außer Raspberry O/S ?

Armbian für die ganzen Alternativen-SBC. Und DietPi habe ich z. B. auch schon gesehen. Aber 'üblich' ist natürlich RaspberryOS.

-) Was soll da deiner Meinung nach optimaler Weise am Raspberry Pi installiert werden?

Ich schau mal am WE, ob der Adapter überhaupt mit der headless-Version zum fliegen kommt.

[Thomas Braun]

@mcm1957 sagte in Test Adapter drops-weather 1.0.x:

Sorry - was heißt das nun für mich?

Hab das noch nicht richtig testen können. Mach ich die Tage mal.

-) Wie wahrscheinlich sind arm basierende ioBroker System die nicht auf einem Pi laufen ?

Die ganze Riege der anderen ähnlich positionierten SBC-Dinger (odroid, BananaPi usw)

-) Welche O/S sind auf arm sonst noch üblich außer Raspberry O/S ?

DietPi habe ich z. B. schon gesehen. Aber 'üblich' ist natürlich RaspberryOS.

-) Was soll da deiner Meinung nach optimaler Weise am Raspberry Pi installiert werden?

Ich schau mal am WE, ob der Adapter überhaupt mit der headless-Version zum fliegen kommt.

[mcm1957]

@thomas-braun
Hallo Thomas,

Hol dir mal nen Kaffee Dein PC postet eh von alleine weiter

(Und für die dies nach der Bereinigung lesen - gab ein paar Dopple bis x-fach Posts)

[Thomas Braun]

@mcm1957 sagte in Test Adapter drops-weather 1.0.x:

Dein PC postet eh von alleine weiter

Ja, das Forum hat bei mir geklemmt. Mit einer 'Fehler'-Meldung. Kein weiterer Text.

[mcm1957]

@mcm1957
Ok mein Posting wurde auch gleich mit gesäubert

Also ich mach jetzt mal Folgendes:
Ich schau wie das mit einem (pre)install Script funktioniert. Dazu trigger ich mal auf os.arch===arm udn nehem an dass apt xxx zum Installieren verfügbar ist. Das sollte auf dem Pi gehen.

Wenn das funktioniert kann man das dann anpassen und sowohl Kriterien, Paket und Installationsbefehl anpassen.

[mcm1957]

@thomas-braun said in Test Adapter drops-weather 1.0.x:

@mcm1957 sagte in Test Adapter drops-weather 1.0.x:

Dein PC postet eh von alleine weiter

Ja, das Forum hat bei mir geklemmt. Mit einer 'Fehler'-Meldung. Kein weiterer Text.

Einfach überlastet. Mehr als 10 Posts pro Sekunde von einem User gehn nicht