Parser-Adapter funktioniert nicht mehr

GregorS

Hallo,

ich habe mein System vor einigen Tagen aktualisiert.

NPM: v 8.11.0
NODE v 16.16.0
js-controller 4.0.23

Dabei ist mir aufgefallen, dass die Werte vom Parser nicht mehr aktuell sein können.
Habe darauf den Adapter gelöscht und neu installiert.
Alle Ausgaben in den Objekten = NULL

2022-08-18 11:49:56.283	debug	analyseData CHECK for parser.0.Test, old=null
parser.0
	2022-08-18 11:49:56.283	debug	Process ["parser.0.Test"] for link https://www.finanzen.net/aktien/biontech-aktie
parser.0
	2022-08-18 11:49:56.122	debug	Request URL: https://www.finanzen.net/aktien/biontech-aktie
parser.0
	2022-08-18 11:49:56.121	debug	Do Link: https://www.finanzen.net/aktien/biontech-aktie
parser.0
	2022-08-18 11:49:56.120	debug	States for current Interval (5000): ["parser.0.Test"]
parser.0
	2022-08-18 11:49:52.270	debug	Cannot find number in answer for parser.0.Temp_M
parser.0
	2022-08-18 11:49:52.268	debug	analyseData CHECK for parser.0.Temp_M, old=null
parser.0
	2022-08-18 11:49:52.267	debug	Process ["parser.0.Temp_M"] for link https://darksky.net/forecast/48.1371,11.5754/si24/de
parser.0
	2022-08-18 11:49:51.938	debug	Cannot find number in answer for parser.0.Drillisch_AG
parser.0
	2022-08-18 11:49:51.932	debug	analyseData CHECK for parser.0.Drillisch_AG, old=null
parser.0
	2022-08-18 11:49:51.928	debug	Cannot find number in answer for parser.0.Flughafen_Zürich
parser.0
	2022-08-18 11:49:51.920	debug	analyseData CHECK for parser.0.Flughafen_Zürich, old=null
parser.0
	2022-08-18 11:49:51.912	debug	Cannot find number in answer for parser.0.Drillisch_AG.Änderung
parser.0
	2022-08-18 11:49:51.906	debug	analyseData CHECK for parser.0.Drillisch_AG.Änderung, old=null
parser.0
	2022-08-18 11:49:51.906	debug	Process ["parser.0.Drillisch_AG.Änderung","parser.0.Drillisch_AG"] for link https://www.finanzen.net/aktien/1_und_1-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.893	debug	Cannot find number in answer for parser.0.Flughafen_Zürich.Änderung
parser.0
	2022-08-18 11:49:51.888	debug	analyseData CHECK for parser.0.Flughafen_Zürich.Änderung, old=null
parser.0
	2022-08-18 11:49:51.887	debug	Process ["parser.0.Flughafen_Zürich.Änderung","parser.0.Flughafen_Zürich"] for link https://www.finanzen.net/aktien/flughafen_zuerich-aktie
parser.0
	2022-08-18 11:49:51.879	debug	Cannot find number in answer for parser.0.Daimler_Truck
parser.0
	2022-08-18 11:49:51.870	debug	analyseData CHECK for parser.0.Daimler_Truck, old=null
parser.0
	2022-08-18 11:49:51.868	debug	Cannot find number in answer for parser.0.Daimler_Truck.Änderung
parser.0
	2022-08-18 11:49:51.861	debug	analyseData CHECK for parser.0.Daimler_Truck.Änderung, old=null
parser.0
	2022-08-18 11:49:51.860	debug	Process ["parser.0.Daimler_Truck.Änderung","parser.0.Daimler_Truck"] for link https://www.finanzen.net/aktien/daimler_truck-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.819	debug	Cannot find number in answer for parser.0.Test
parser.0
	2022-08-18 11:49:51.813	debug	analyseData CHECK for parser.0.Test, old=null
parser.0
	2022-08-18 11:49:51.813	debug	Process ["parser.0.Test"] for link https://www.finanzen.net/aktien/biontech-aktie
parser.0
	2022-08-18 11:49:51.801	debug	Cannot find number in answer for parser.0.Aurelius_AG.Änderung
parser.0
	2022-08-18 11:49:51.795	debug	analyseData CHECK for parser.0.Aurelius_AG.Änderung, old=null
parser.0
	2022-08-18 11:49:51.788	debug	Cannot find number in answer for parser.0.Aurelius_AG
parser.0
	2022-08-18 11:49:51.783	debug	analyseData CHECK for parser.0.Aurelius_AG, old=null
parser.0
	2022-08-18 11:49:51.780	debug	Process ["parser.0.Aurelius_AG","parser.0.Aurelius_AG.Änderung"] for link https://www.finanzen.net/aktien/aurelius-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.478	debug	Request URL: https://www.finanzen.net/aktien/daimler_truck-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.478	debug	Do Link: https://www.finanzen.net/aktien/daimler_truck-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.477	debug	Request URL: https://www.finanzen.net/aktien/1_und_1-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.477	debug	Do Link: https://www.finanzen.net/aktien/1_und_1-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.476	debug	Request URL: https://www.finanzen.net/aktien/flughafen_zuerich-aktie
parser.0
	2022-08-18 11:49:51.475	debug	Do Link: https://www.finanzen.net/aktien/flughafen_zuerich-aktie
parser.0
	2022-08-18 11:49:51.474	debug	Request URL: https://www.finanzen.net/aktien/aurelius-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.473	debug	Do Link: https://www.finanzen.net/aktien/aurelius-aktie@stBoerse_TGT
parser.0
	2022-08-18 11:49:51.472	debug	States for current Interval (60000): ["parser.0.Aurelius_AG","parser.0.Aurelius_AG.Änderung","parser.0.Flughafen_Zürich.Änderung","parser.0.Flughafen_Zürich","parser.0.Drillisch_AG.Änderung","parser.0.Drillisch_AG","parser.0.Daimler_Truck.Änderung","parser.0.Daimler_Truck"

Auch eine 2. Instanz funktioniert nicht.
Habe dann mal versucht stockmarket zu installieren, aber die Installation bricht mit Code25 ab

Homoran

@gregors sagte in Parser-Adapter funktioniert nicht mehr:

aber die Installation bricht mit Code25 ab

stockmarket ist ein Adapter?
iobroker add stockmarket --debug bringt?

GregorS

@homoran

Stockmarket ist ein Adapter (Beta)
Wollte ich zwar nicht unbedingt haben, aber da der Parser nicht mehr funktioniert, wäre er vielleicht eine Alternative.

pi@TinkerboardS:~$ iobroker add stockmarket --debug
NPM version: 8.11.0
Installing iobroker.stockmarket@0.0.2... (System call)
npm ERR! code ENOTEMPTY
npm ERR! syscall rename
npm ERR! path /opt/iobroker/node_modules/abbrev
npm ERR! dest /opt/iobroker/node_modules/.abbrev-5eNud0FY
npm ERR! errno -39
npm ERR! ENOTEMPTY: directory not empty, rename '/opt/iobroker/node_modules/abbrev' -> '/opt/iobroker/node_modules/.abbrev-5eNud0FY'

npm ERR! A complete log of this run can be found in:
npm ERR!     /home/iobroker/.npm/_logs/2022-08-18T10_58_06_358Z-debug-0.log
host.TinkerboardS Cannot install iobroker.stockmarket@0.0.2: 217

Habe den Fehler gerade gesehen.

rm -r /opt/iobroker/node_modules/.abbrev-5eNud0FY

Diesen Fehler habe ich bei der Installation von sourceanalytix auch gehabt.
Kommt dann mehrfach.

Kann man nicht alle .xxx im System auf einem Rutsch löschen?

Thomas Braun

@gregors

Kann man nicht alle .xxx im System auf einem Rutsch löschen?

Zumindest im aktuellen Verzeichnis. Schau in meinem Node-HowTo im zweiten Teil, erster Eintrag.

cd /opt/iobroker/node_modules
for i in $(ls -d .[^.]*-*/); do rm -rf ${i%%/}; done

Muss ggf. für weitere Verzeichnisse in diesen wiederholt werden.

GregorS

@thomas-braun

Hab mal deinen Befehl genutzt. Einen so schönen Baum wie in deinem How-To hab ich leider nicht

pi@TinkerboardS:~$ cd /opt/iobroker/node_modules
pi@TinkerboardS:/opt/iobroker/node_modules$ for i in $(ls -d .[^.]*-*/); do rm -rf ${i%%/}; done
pi@TinkerboardS:/opt/iobroker/node_modules$ cd
pi@TinkerboardS:~$ cd /opt/iobroker
pi@TinkerboardS:/opt/iobroker$ npm ls | grep -E 'github|ERR'
├── iobroker.sourceanalytix@0.4.14 invalid: "github:iobroker-community-adapters/ioBroker.sourceanalytix#bfd12939309018d9bbd496fdd75ac1a84ed45afa" from the root project
npm ERR! code ELSPROBLEMS
npm ERR! extraneous: @serialport/binding-abstract@9.2.3 /opt/iobroker/node_modules/@serialport/binding-abstract
npm ERR! extraneous: @serialport/bindings@9.2.8 /opt/iobroker/node_modules/@serialport/bindings
npm ERR! extraneous: @types/caseless@0.12.2 /opt/iobroker/node_modules/@types/caseless
npm ERR! extraneous: @types/request@2.48.8 /opt/iobroker/node_modules/@types/request
npm ERR! extraneous: @types/tough-cookie@4.0.2 /opt/iobroker/node_modules/@types/tough-cookie
npm ERR! extraneous: coffee-compiler@0.3.2 /opt/iobroker/node_modules/coffee-compiler
npm ERR! extraneous: coffee-script@1.12.7 /opt/iobroker/node_modules/coffee-script
npm ERR! extraneous: form-data@2.5.1 /opt/iobroker/node_modules/form-data
npm ERR! invalid: iobroker.sourceanalytix@0.4.14 /opt/iobroker/node_modules/iobroker.sourceanalytix
npm ERR! extraneous: jsonata@1.8.6 /opt/iobroker/node_modules/jsonata
npm ERR! extraneous: node-inspect@2.0.0 /opt/iobroker/node_modules/node-inspect
npm ERR! extraneous: picocolors@1.0.0 /opt/iobroker/node_modules/picocolors
npm ERR! extraneous: suncalc2@1.8.1 /opt/iobroker/node_modules/suncalc2
npm ERR! extraneous: typescript@4.7.4 /opt/iobroker/node_modules/typescript
npm ERR! extraneous: virtual-tsc@0.6.2 /opt/iobroker/node_modules/virtual-tsc
npm ERR! extraneous: vm2@3.9.10 /opt/iobroker/node_modules/vm2
npm ERR! extraneous: wake_on_lan@1.0.0 /opt/iobroker/node_modules/wake_on_lan

npm ERR! A complete log of this run can be found in:
npm ERR!     /home/iobroker/.npm/_logs/2022-08-18T11_42_39_415Z-debug-0.log

Thomas Braun

@gregors sagte in Parser-Adapter funktioniert nicht mehr:

Bis auf den iobroker.sourceanalytix ist das nur extraneous.
Sollte mit npm prune zu beseitigen sein. Den sourceanalytix musst du dir aber noch mal anschauen, der ist irgendwie falsch drin.

GregorS

@thomas-braun said in Parser-Adapter funktioniert nicht mehr:

extraneous

Was ist extraneous?

bei npm prune tauchen auch wieder unzählige .xx Verzeichnisse auf.

Thomas Braun

@gregors sagte in Parser-Adapter funktioniert nicht mehr:

Was ist extraneous?

(An der Stelle im tree) überflüssige Module.

bei npm prune tauchen auch wieder unzählige .xx Verzeichnisse auf.

Ausgabe geheim?

GregorS

@thomas-braun

pi@TinkerboardS:/opt/iobroker$ npm prune
npm ERR! code ENOTEMPTY
npm ERR! syscall rename
npm ERR! path /opt/iobroker/node_modules/jsonwebtoken/node_modules/jws
npm ERR! dest /opt/iobroker/node_modules/jsonwebtoken/node_modules/.jws-WhF8BUKA
npm ERR! errno -39
npm ERR! ENOTEMPTY: directory not empty, rename '/opt/iobroker/node_modules/jsonwebtoken/node_modules/jws' -> '/opt/iobroker/node_modules/jsonwebtoken/node_modules/.jws-WhF8BUKA'

npm ERR! A complete log of this run can be found in:
npm ERR!     /home/iobroker/.npm/_logs/2022-08-19T16_59_01_587Z-debug-0.log

Natürlich nicht

Thomas Braun

@gregors

Dann lösch die Dinger im jeweiligen Verzeichnis mit dieser for-Schleife:
Hier also

cd /opt/iobroker/node_modules/jsonwebtoken/node_modules/
for i in $(ls -d .[^.]*-*/); do rm -rf ${i%%/}; done

GregorS

@thomas-braun

Hab eich gemacht, kommen immer wieder andere Verzeichnisse.
Mache mal weiter.
Irgendwann müssen die ja alle weg sein

GregorS

@thomas-braun

Ist nun durchgelaufen.
WARN kann ich ignorieren?
Was ist mit den ERR

pi@TinkerboardS:/opt/iobroker$ npm prune
npm WARN skipping integrity check for git dependency ssh://git@github.com/iobroker-community-adapters/ioBroker.sourceanalytix.git
npm WARN deprecated dgram@1.0.1: npm is holding this package for security reasons. As it's a core Node module, we will not transfer it over to other users. You may safely remove the package from your dependencies.
npm WARN deprecated har-validator@5.1.5: this library is no longer supported
npm WARN deprecated request-promise@4.2.6: request-promise has been deprecated because it extends the now deprecated request package, see https://github.com/request/request/issues/3142
npm WARN deprecated querystring@0.2.1: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated node-inspect@2.0.0: This module is part of Node.js core and does not need to be installed separately. It is now unmaintained.
npm WARN deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm WARN deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm WARN deprecated debug@4.1.1: Debug versions >=3.2.0 <3.2.7 || >=4 <4.3.1 have a low-severity ReDos regression when used in a Node.js environment. It is recommended you upgrade to 3.2.7 or 4.3.1. (https://github.com/visionmedia/debug/issues/797)
npm WARN deprecated uuid@3.4.0: Please upgrade  to version 7 or higher.  Older versions may use Math.random() in certain circumstances, which is known to be problematic.  See https://v8.dev/blog/math-random for details.
npm WARN deprecated request@2.88.2: request has been deprecated, see https://github.com/request/request/issues/3142
npm WARN deprecated coffee-script@1.12.7: CoffeeScript on NPM has moved to "coffeescript" (no hyphen)
npm ERR! code ENOMEM
npm ERR! syscall spawn
npm ERR! errno -12
npm ERR! spawn ENOMEM

mikeal created this issue in request/request

open Request’s Past, Present and Future #3142

Qix- created this issue in visionmedia/debug

closed ReDos Vulnerability Regression Visibility Notice #797

Qix- created this issue in visionmedia/debug

closed ReDos Vulnerability Regression Visibility Notice #797

Qix- created this issue in visionmedia/debug

closed ReDos Vulnerability Regression Visibility Notice #797

mikeal created this issue in request/request

open Request’s Past, Present and Future #3142

Homoran

@gregors sagte in Parser-Adapter funktioniert nicht mehr:

spawn ENOMEM

RAM ist aus!

Thomas Braun

@gregors sagte in Parser-Adapter funktioniert nicht mehr:

WARN kann ich ignorieren?

I.d.R. schon. Ich würde mir aber den sourceanalytix nochmal anschauen. Der scheint noch aus git zu kommen. Installier den aus dem Beta-Repository.

GregorS

@thomas-braun
ok. werde ich machen.
Den alten voher entsorgen, oder drüber bügeln?

Thomas Braun

@gregors

Versuch mal

iobroker upgrade sourceanalytix@0.4.14 --debug

GregorS

@thomas-braun

Klappt nicht.

Would you like to upgrade sourceanalytix from @0.4.8 to @0.4.14 now? [(y)es, (n)o]: y
Update sourceanalytix from @0.4.8 to @0.4.14
NPM version: 8.11.0
Installing iobroker.sourceanalytix@0.4.14... (System call)
npm ERR! code ENOTEMPTY
npm ERR! syscall rename
npm ERR! path /opt/iobroker/node_modules/abab
npm ERR! dest /opt/iobroker/node_modules/.abab-bvmibCm3
npm ERR! errno -39
npm ERR! ENOTEMPTY: directory not empty, rename '/opt/iobroker/node_modules/abab' -> '/opt/iobroker/node_modules/.abab-bvmibCm3'

Versuche jetzt mal wieder alle . Verzeichnisse zu löschen.

Thomas Braun

@gregors sagte in Parser-Adapter funktioniert nicht mehr:

from @0.4.8 to @0.4.14

Warum ist der überhaupt in so einer alten Version installiert? Der hätte schon längst per regulärem Update auf die aktuelle Version hochgezogen worden sein.

GregorS

@thomas-braun
Ich habe meine Adapter immer zeitnah aktualisiert.
Bis auf den VIS-Adapter. da ich noch 2 ältere Tabletts nutze.
Wenn ich auf "Beta" umstelle, bekomme ich 20 Adapter zum updaten angeboten

GregorS

@thomas-braun

Du schreibst in deinem How-To Teil 2, Teil 2: Installationen geradeziehen

Ist das ein Bug?
Sollte ich wenn es geht wieder downgraden?

Habe gerade mal versucht über "Adapter" ein Upgrade des Parsers auszuführen. Ist mit dem üblichen Fehler abgebrochen.
Das Upgrade wurde mir in der Stable angeboten (+4 Weitere)

iobroker upgrade parser@1.1.8 --debug

Es kommt wie Üblich

Installing iobroker.parser@1.1.8... (System call)
npm ERR! code ENOTEMPTY
npm ERR! syscall rename
npm ERR! path /opt/iobroker/node_modules/acorn
npm ERR! dest /opt/iobroker/node_modules/.acorn-zHERliMH
npm ERR! errno -39
npm ERR! ENOTEMPTY: directory not empty, rename '/opt/iobroker/node_modules/acorn' -> '/opt/iobroker/node_modules/.acorn-zHERliMH'

Hbe mir dann mal die Log-Datei angeschaut:
2022-08-20T05_34_08_125Z-debug-0.log

Wenn ich das richtig interpretiere, dann muss ich ja noch unzählige Verzeichnisse händisch löschen.
Vor dem Upgrade von Node und NPM hat alles funktioniert.

NEWS

Parser-Adapter funktioniert nicht mehr

open Request’s Past, Present and Future #3142

closed ReDos Vulnerability Regression Visibility Notice #797

closed ReDos Vulnerability Regression Visibility Notice #797

closed ReDos Vulnerability Regression Visibility Notice #797

open Request’s Past, Present and Future #3142

Support us

707
Online

31.1k
Users

78.4k
Topics

1.2m
Posts

NEWS

Parser-Adapter funktioniert nicht mehr

open Request’s Past, Present and Future #3142

closed ReDos Vulnerability Regression Visibility Notice #797

closed ReDos Vulnerability Regression Visibility Notice #797

closed ReDos Vulnerability Regression Visibility Notice #797

open Request’s Past, Present and Future #3142

Support us

707Online

31.1kUsers

78.4kTopics

1.2mPosts

707
Online

31.1k
Users

78.4k
Topics

1.2m
Posts