Puppeteer Adapter

Jensen

@OliverIO
mit angehaltenem ioBroker sieht's so aus

c:\ioBroker>npm uninstall puppeteer
npm warn deprecated dgram@1.0.1: npm is holding this package for security reasons. As it's a core Node module, we will not transfer it over to other users. You may safely remove the package from your dependencies.
npm warn deprecated @npmcli/move-file@1.1.2: This functionality has been moved to @npmcli/fs
npm warn deprecated inflight@1.0.6: This module is not supported, and leaks memory. Do not use it. Check out lru-cache if you want a good and tested way to coalesce async requests by a key value, which is much more comprehensive and powerful.
npm warn deprecated npmlog@5.0.1: This package is no longer supported.
npm warn deprecated npmlog@6.0.2: This package is no longer supported.
npm warn deprecated rimraf@3.0.2: Rimraf versions prior to v4 are no longer supported
npm warn deprecated har-validator@5.1.5: this library is no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@8.1.0: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated abab@2.0.6: Use your platform's native atob() and btoa() methods instead
npm warn deprecated are-we-there-yet@2.0.0: This package is no longer supported.
npm warn deprecated are-we-there-yet@3.0.1: This package is no longer supported.
npm warn deprecated node-inspect@2.0.0: This module is part of Node.js core and does not need to be installed separately. It is now unmaintained.
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm warn deprecated domexception@4.0.0: Use your platform's native DOMException instead
npm warn deprecated phantomjs-prebuilt@2.1.16: this package is now deprecated
npm warn deprecated gauge@4.0.4: This package is no longer supported.
npm warn deprecated gauge@3.0.2: This package is no longer supported.
npm warn deprecated uuid@3.4.0: Please upgrade  to version 7 or higher.  Older versions may use Math.random() in certain circumstances, which is known to be problematic.  See https://v8.dev/blog/math-random for details.
npm warn deprecated request@2.88.2: request has been deprecated, see https://github.com/request/request/issues/3142
npm warn deprecated sinon@15.2.0: 16.1.1

changed 1360 packages, and audited 1362 packages in 1m

170 packages are looking for funding
  run `npm fund` for details

57 vulnerabilities (6 low, 30 moderate, 20 high, 1 critical)

To address issues that do not require attention, run:
  npm audit fix

To address all issues possible (including breaking changes), run:
  npm audit fix --force

Some issues need review, and may require choosing
a different dependency.

Run `npm audit` for details.

c:\ioBroker>npm ls puppeteer
iobroker.inst@3.0.0 c:\ioBroker
`-- iobroker.puppeteer@0.3.0
  `-- puppeteer@22.15.0

OliverIO

@jensen

ah ok,
hab selbst was übersehen.
siehst du im iobroker noch den adapter pupeteer?
dann dort über die oberfläche den adapter entfernen.

Jensen

@oliverio
direkt aus der Adapterseite aufgerufen

$ iobroker del puppeteer --custom --debug
Delete adapter "puppeteer"
host.IpsServerWB Deleting 1 object(s).
You might have to delete it yourself!
Process exited with code 0

dann auf der Console

c:\ioBroker>npm ls puppeteer
iobroker.inst@3.0.0 c:\ioBroker
`-- iobroker.puppeteer@0.3.0
  `-- puppeteer@22.15.0

OliverIO

@jensen

ok, dann mal mit gewalt
du gehst direkt in das hauptverzeichnis von iobroker
auf linux /opt/iobroker
auf windows weiß ich nicht genau, aber in diesem verzeichnis muss
sich eine datei package.json befinden.

in diesem verzeichnis führst du den folgenden befehl aus

npm uninstall iobroker.puppeteer

und dann wieder den ls befehl und im iobroker in der adapter seite schauen ob der adapter weg ist.

wenn das auch nicht richtig funktioniert, dann gebe ich die installation als verloren auf
und du musst neu installieren. wahrscheinlich hat sich da was verrannt, was mit den normalen mitteln nicht auflösbar ist.

evtl weiß dann noch jemand anderes was.

Jensen

@oliverio

c:\ioBroker>npm uninstall iobroker.puppeteer
npm warn deprecated dgram@1.0.1: npm is holding this package for security reasons. As it's a core Node module, we will not transfer it over to other users. You may safely remove the package from your dependencies.
npm warn deprecated @npmcli/move-file@1.1.2: This functionality has been moved to @npmcli/fs
npm warn deprecated inflight@1.0.6: This module is not supported, and leaks memory. Do not use it. Check out lru-cache if you want a good and tested way to coalesce async requests by a key value, which is much more comprehensive and powerful.
npm warn deprecated npmlog@5.0.1: This package is no longer supported.
npm warn deprecated npmlog@6.0.2: This package is no longer supported.
npm warn deprecated rimraf@3.0.2: Rimraf versions prior to v4 are no longer supported
npm warn deprecated har-validator@5.1.5: this library is no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@8.1.0: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated abab@2.0.6: Use your platform's native atob() and btoa() methods instead
npm warn deprecated are-we-there-yet@2.0.0: This package is no longer supported.
npm warn deprecated are-we-there-yet@3.0.1: This package is no longer supported.
npm warn deprecated node-inspect@2.0.0: This module is part of Node.js core and does not need to be installed separately. It is now unmaintained.
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm warn deprecated domexception@4.0.0: Use your platform's native DOMException instead
npm warn deprecated phantomjs-prebuilt@2.1.16: this package is now deprecated
npm warn deprecated gauge@4.0.4: This package is no longer supported.
npm warn deprecated gauge@3.0.2: This package is no longer supported.
npm warn deprecated uuid@3.4.0: Please upgrade  to version 7 or higher.  Older versions may use Math.random() in certain circumstances, which is known to be problematic.  See https://v8.dev/blog/math-random for details.
npm warn deprecated request@2.88.2: request has been deprecated, see https://github.com/request/request/issues/3142
npm warn deprecated sinon@15.2.0: 16.1.1

added 1 package, removed 64 packages, changed 1296 packages, and audited 1299 packages in 1m

165 packages are looking for funding
  run `npm fund` for details

57 vulnerabilities (6 low, 30 moderate, 20 high, 1 critical)

To address issues that do not require attention, run:
  npm audit fix

To address all issues possible (including breaking changes), run:
  npm audit fix --force

Some issues need review, and may require choosing
a different dependency.

Run `npm audit` for details.

Jensen

@OliverIO
das ist jetzt mal neu

c:\ioBroker>npm ls puppeteer
iobroker.inst@3.0.0 c:\ioBroker
`-- (empty)

OliverIO

@jensen

und ist er in der adapter sicht des iobrokers auch weg?

wenn ja, kannst ihn wieder über die adaptersicht des iobrokers wieder installieren
und schauen ob alles funktioniert

und bitte nur noch die iobroker befehle und die iobroker oberfläche verwenden.
npm ist für dich tabu, ausser jemand der sich auskennt sagt es ausdrücklich.
dann aber auch immer nur mit vorhergehendem backup

Jensen

@oliverio
In der Adapteransicht wird er auch nicht mehr als installiert gelistet, sieht alles sehr gut aus.
Ich lasse es bis morgen ruhen, damit heute Nacht erst mal das Backup durchläuft.
Dann ein neuer Versuch, ohne npm

Danke für die Hilfe und die Geduld mit mir.

Jensen

Wie versprochen werde ich jetzt alle Schritte dokumentieren, die ich unternehme um den Puppeteer Adapter wieder ins System zu bringen.

Adapter installieren
Eigentlich denke ich, man sollte über die Adapterseite jeden Adapter bei laufendem System installieren können. Der Versuch, den Puppeteer Adapter zu installieren gibt mir folgende Rückmeldung:

$ iobroker add puppeteer auto --host IpsServerWB --debug
NPM version: 10.8.2
Installing iobroker.puppeteer@0.3.0... (System call)
npm error code EBUSY
npm error A complete log of this run can be found in: C:\WINDOWS\system32\config\systemprofile\AppData\Local\npm-cache\_logs\2024-09-06T05_46_44_817Z-debug-0.log
host.IpsServerWB Cannot install iobroker.puppeteer@0.3.0: 4294963214
ERROR: Process exited with code 25

Der komplette Log umfasst über 8000 Zeilen, ich hänge ihn hier als Datei ran.
2024-09-06T05_46_44_817Z-debug-0.log

Wenn ich mir die Log Datei anschaue, dann verstehe ich meistens nur Bahnhof, aber irgendwie beschleicht mich das Gefühl, an meinem System ist immer noch was im Argen.

OliverIO

@jensen

hm, der konkrete fehler ist der

7083 verbose stack Error: EBUSY: resource busy or locked, rename 'C:\ioBroker\node_modules\iobroker.admin' -> 'C:\ioBroker\node_modules\.iobroker.admin-GBn0lhRQ'

da wird versucht das verzeichnis umzubenennen. jetzt bin ich nicht firm im detailprozess der adapter installation. umgehen kannst du das, indem du den iobroker stoppst, prüfst ob iobroker wirklich beendet ist und dann von der kommandozeile aus installierst.
ich hab mal noch das fix kommando hinzugefügt, das prüft deine installation ob die richtigen berechtigungen überall gesetzt sind.
durch deine wilden npm befehle hast du sicherlich auch mal mit sudo gearbeitet, weil linux wegen berechtigung gemeckert hat?

iobroker stop
iobroker fix
iobroker isrun
iobroker install iobroker.puppeteer
iobroker start

der adapter ist dann installiert, eine neue instanz musst du dann noch selbst von der adapterseite aus erzeugen

Jensen

@oliverio
Ist ein Windows System, nix sudo.
Die Variante mit Anhalten des Systems habe ich ja bereits mehrmals gemacht.
Ich würde gerne erst mal klären, warum sich der Adapter nicht mit laufendem System installieren läßt, ich denke, das ist nicht normal.
Es sei denn, jemand kann erklären, warum das so ist.
Ein iob fix kann ich aber morgen mal machen, mal sehen, was da so passiert.
Und falls jemand erklären kann, ob die vielen Meldungen im npm Log so ihre Richtigkeit haben, das wäre auch eine prima Sache.

OliverIO

@jensen

Im npm log wird detailliert berichtet was
Alles bei der Installation gemacht wird.
Von daher erstmal alles ok, bis auf die eine Fehlermeldung

Das ebusy sagt das ein Prozess aktuell in diesem Verzeichnis läuft und daher das umbenennen der Verzeichnisses nicht funktioniert.
Daher iobroker stoppen.

Das sollte normalerweise schon funktionieren.
Deine Installation hat wahrscheinlich schon einen hau.
Besser wäre es schon alles komplett neu zu installieren.
Die Abfolge ist um aktuell weiterzukommen

Jensen

@oliverio
Ok, dann mal mit stoppen

c:\ioBroker>npm install iobroker.puppeteer
npm warn deprecated dgram@1.0.1: npm is holding this package for security reasons. As it's a core Node module, we will not transfer it over to other users. You may safely remove the package from your dependencies.
npm warn deprecated @npmcli/move-file@1.1.2: This functionality has been moved to @npmcli/fs
npm warn deprecated inflight@1.0.6: This module is not supported, and leaks memory. Do not use it. Check out lru-cache if you want a good and tested way to coalesce async requests by a key value, which is much more comprehensive and powerful.
npm warn deprecated npmlog@5.0.1: This package is no longer supported.
npm warn deprecated npmlog@6.0.2: This package is no longer supported.
npm warn deprecated rimraf@3.0.2: Rimraf versions prior to v4 are no longer supported
npm warn deprecated har-validator@5.1.5: this library is no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@7.2.3: Glob versions prior to v9 are no longer supported
npm warn deprecated glob@8.1.0: Glob versions prior to v9 are no longer supported
npm warn deprecated abab@2.0.6: Use your platform's native atob() and btoa() methods instead
npm warn deprecated are-we-there-yet@2.0.0: This package is no longer supported.
npm warn deprecated are-we-there-yet@3.0.1: This package is no longer supported.
npm warn deprecated node-inspect@2.0.0: This module is part of Node.js core and does not need to be installed separately. It is now unmaintained.
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (github.com/visionmedia/debug/issues/797)
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (github.com/visionmedia/debug/issues/797)
npm warn deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (github.com/visionmedia/debug/issues/797)
npm warn deprecated domexception@4.0.0: Use your platform's native DOMException instead
npm warn deprecated phantomjs-prebuilt@2.1.16: this package is now deprecated
npm warn deprecated gauge@4.0.4: This package is no longer supported.
npm warn deprecated gauge@3.0.2: This package is no longer supported.
npm warn deprecated uuid@3.4.0: Please upgrade  to version 7 or higher.  Older versions may use Math.random() in certain circumstances, which is known to be problematic.  See v8.dev/blog/math-random for details.
npm warn deprecated request@2.88.2: request has been deprecated, see github.com/request/request/issues/3142
npm warn deprecated sinon@15.2.0: 16.1.1

added 64 packages, removed 2 packages, changed 1295 packages, and audited 1361 packages in 3m

170 packages are looking for funding
  run `npm fund` for details

57 vulnerabilities (6 low, 30 moderate, 20 high, 1 critical)

To address issues that do not require attention, run:
  npm audit fix

To address all issues possible (including breaking changes), run:
  npm audit fix --force

Some issues need review, and may require choosing
a different dependency.

Run `npm audit` for details.

jetzt sieht das wieder so aus

c:\ioBroker>npm ls puppeteer
iobroker.inst@3.0.0 c:\ioBroker
`-- iobroker.puppeteer@0.3.0
  `-- puppeteer@22.15.0

Bei dem Versuch, über die Adapterseite eine Instanz zu erzeugen, kommt dann das

$ iobroker add puppeteer auto --host IpsServerWB --debug

node:internal/modules/cjs/loader:1225 const err = new Error(message); ^ Error: Cannot find module 'C:\ioBroker\node_modules\deep-clone\index.js' at Module._resolveFilename (node:internal/modules/cjs/loader:1225:15) at Module._load (node:internal/modules/cjs/loader:1051:27) at cjsLoader (node:internal/modules/esm/translators:346:17) at ModuleWrap.<anonymous> (node:internal/modules/esm/translators:286:7) at ModuleJob.run (node:internal/modules/esm/module_job:234:25) at async ModuleLoader.import (node:internal/modules/esm/loader:473:24) { code: 'MODULE_NOT_FOUND', requireStack: [] } Node.js v20.17.0

ERROR: Process exited with code 1

Ich glaube, das ist alles zwecklos.
Eine Neuinstallation muß her.

Jensen

Ich habe also den Puppeteer Adapter über die Console wieder deinstalliert.
Bei der Vorbereitung einer Neuinstallation wollte ich alle Scripte exportieren, da kommt dann sowas:

Jensen

iob fix

c:\ioBroker>iob fix
Need to install the following packages:
@iobroker/fix@6.0.1
Ok to proceed? (y) y

Windows installation starting... (fixing = true)
NPM version: 10.8.3
No path given, using c:\ioBroker\iobroker-data
Compressing c:\ioBroker\iobroker-data\states.jsonl
Cannot compress states.jsonl: Error: Failed to lock DB file "c:\ioBroker\iobroker-data\states.jsonl"!
    at JsonlDB.open (C:\Users\IpsJensen\AppData\Local\npm-cache\_npx\36bee06d4228a674\node_modules\@alcalzone\jsonl-db\build\lib\db.js:185:19)
    at async compressDB (C:\Users\IpsJensen\AppData\Local\npm-cache\_npx\36bee06d4228a674\node_modules\@iobroker\jsonltool\index.js:37:9)
    at async main (C:\Users\IpsJensen\AppData\Local\npm-cache\_npx\36bee06d4228a674\node_modules\@iobroker\jsonltool\index.js:78:17)
Compressing c:\ioBroker\iobroker-data\objects.jsonl
Cannot compress objects.jsonl: Error: Failed to lock DB file "c:\ioBroker\iobroker-data\objects.jsonl"!
    at JsonlDB.open (C:\Users\IpsJensen\AppData\Local\npm-cache\_npx\36bee06d4228a674\node_modules\@alcalzone\jsonl-db\build\lib\db.js:185:19)
    at async compressDB (C:\Users\IpsJensen\AppData\Local\npm-cache\_npx\36bee06d4228a674\node_modules\@iobroker\jsonltool\index.js:37:9)
    at async main (C:\Users\IpsJensen\AppData\Local\npm-cache\_npx\36bee06d4228a674\node_modules\@iobroker\jsonltool\index.js:93:17)
No relevant JSONL files found to compress, skip
NPM version: 10.8.3
Write "iobroker start" to start the ioBroker
npm install dotenv@^16.4.5 --force --loglevel error --production --save --prefix "c:/ioBroker"
npm error code EBUSY
npm error syscall rename
npm error path c:\ioBroker\node_modules\iobroker.admin
npm error dest c:\ioBroker\node_modules\.iobroker.admin-FjHuUvU7
npm error errno -4082
npm error EBUSY: resource busy or locked, rename 'c:\ioBroker\node_modules\iobroker.admin' -> 'c:\ioBroker\node_modules\.iobroker.admin-FjHuUvU7'
npm error A complete log of this run can be found in: C:\Users\IpsJensen\AppData\Local\npm-cache\_logs\2024-09-07T06_21_00_662Z-debug-0.log
Error when installing dotenv Library: Error: Command failed: npm install dotenv@^16.4.5 --force --loglevel error --production --save --prefix "c:/ioBroker"

sieht auch nicht berauschend aus

Jensen

Und was mir noch auffällt, ich habe kein admin.0, sondern nur ein admin.1
Das ist doch auch nicht normal, oder?

Jensen

Nach Einrichten der Istanz admin.0 und Löschen von admin.1 kann ich die Skripte jetzt wieder problemlos exportieren.

OliverIO

@jensen
Schon seltsam.
Er meckert das ein bestimmtes Modul nicht gefunden worden ist.
Neuinstallation macht Sinn. Es sind Zuviel kleinklein Probleme
Und ob das dann später noch stabil läuft ist auch keine Garantie.
Was für Hardware und Festplatte hast du im Einsatz?

Jensen

@oliverio
NUC i5 mit SSD

OliverIO

@jensen
Ne dann ist es eher unwahrscheinlich das die Platte was hat

NEWS

Puppeteer Adapter

Support us

652

32.4k

81.4k

1.3m