iobroker fix, diag und nodejs-update startet nicht mehr

Ralf 2

Hallo zusammen,

ich benötige einmal eure Hilfe.

Mein Problem:

HTTP Request von Nodered wirft Fehlermeldung "invalid chunk size"
iob fix startet nicht mehr
iob diag startet nicht mehr
iob nodejs-update startet nicht mehr
Einige Adapter werfen nur noch Fehlermeldung

Alle Fehler haben irgendetwas mit Web-Abfragen zu tuen.
Ich weiß jetzt nicht, ob es an IO-Broker oder an der Debian-Buster installation liegt.
IOB kenne ich mich noch recht gut aus, aber bei Linux habe ich doch einige Wissenslücken.

Was habe ich gemacht:
Ich hatte Probleme mit der neuen Version von Justgage, hier werden bei mir nicht mehr die Farben angezeigt. Aus dem Grunde habe ich mir die IOB Installation einmal mit diag genauer angesehen.
Auffällig waren in der Konsolenausgabe zwei Dinge:

nodejs is NOT correctly installed
The repository of ...mariadb... buster Release no longer has a release...

Dachte ich mir, gehst du erst einmal das nodejs an:

iob stop
iob fix
iob nodejs-update V18 durch V20 ersetzt
iob fix
iob start

iob nodejs-update hat recht lange gedauert und viele Dateien heruntergeladen und ersetzt.
Nach dem Start bekam ich im Log etliche Fehlermeldungen, die alle auf irgendeine Web-Geschichte hinwiesen. (HTTP-Request auf eine interne Wetterstation mit json als Ergebnis, Yahoo-Finanzen, Shelly über Web,...)
Darauf hin habe ich mir mit iob nodejs-update wieder die Version V18 aufgespielt, aber die Probleme blieben.

bzw nun kamen noch die Probleme hinzu, das iob fix und iob diag ohne Fehlermeldung einfach ohne etwas zu tuen mit dem Prompt beendet wurden.

Nun versuchte ich mit iob upgrade und iob upgrade self das system noch einmal auf den aktuellen Stand zu bringen, auch das Linux noch einmal mit apt-get update apt-get upgrade zu aktualisieren.

Keine Änderung, nun weiß ich nicht mehr weiter:-(

Die Konsolenausgabe der ersten beiden nodejs-update habe ich als Textfile, wenn es irgendwie hilfreich ist, kann ich die einstellen.
Auszug:

Skript v.2024-05-22

*** BASE SYSTEM ***
   Static hostname: home-server
         Icon name: computer-desktop
           Chassis: desktop
  Operating System: Debian GNU/Linux 11 (bullseye)
            Kernel: Linux 5.10.0-28-amd64
      Architecture: x86-64

model name      : Intel(R) Core(TM) i5-8400 CPU @ 2.80GHz
Docker          : false
Virtualization  : none
Kernel          : x86_64
Userland        : 64 bit

Systemuptime and Load:
 19:18:47 up 13:49,  1 user,  load average: 0.83, 0.82, 0.82
CPU threads: 6

Punkt mit der Fehlerhaften nodejs vom ersten diag:

*** NodeJS-Installation ***

nodejs:                 N/A
/usr/bin/node           v18.17.1
/usr/bin/npm            9.6.7
/usr/bin/npx            9.6.7
/usr/bin/corepack       0.18.0
*** nodejs is NOT correctly installed ***

nodejs:
  Installed: 18.17.1-deb-1nodesource1
  Candidate: 18.17.1-deb-1nodesource1
  Version table:
 *** 18.17.1-deb-1nodesource1 500
        500 https://deb.nodesource.com/node_18.x bullseye/main amd64 Packages
        100 /var/lib/dpkg/status
     12.22.12~dfsg-1~deb11u4 500
        500 http://deb.debian.org/debian bullseye/main amd64 Packages
        500 http://security.debian.org/debian-security bullseye-security/main amd64 Packages

Temp directories causing npm8 problem: 0
No problems detected

Errors in npm tree:

*** ioBroker-Installation ***

Bei Linux: mit journalctl bekomme ich sehr viele folgender Meldungen:

Sep 20 06:24:46 home-server bash[1238]: (node:1449848) TimeoutOverflowWarning: 86400000000 does not fit into a 32-bit signed integer.
Sep 20 06:24:46 home-server bash[1238]: Timeout duration was set to 1.
Sep 20 06:24:46 home-server bash[1238]: (node:1449848) TimeoutOverflowWarning: 86400000000 does not fit into a 32-bit signed integer.
Sep 20 06:24:46 home-server bash[1238]: Timeout duration was set to 1.

Für weitere Linux ausgaben müßt ihr mir helfen.

Fagen:
liegt es eher an IOB oder eher an der Linuxinstallation?
wie bekomme ich fix und diag wieder ans laufen?
gibt es bei Linux etwas, wo ich ein Problem erkennen kann?

Latzi

@ralf-2
siehe Beitrag!

Ralf 2

@latzi Danke, das habe ich auch gerade gefunden
ich werde das einmal erst mit dem Post versuchen, mal schauen, wie weit ich komme.

mcm1957

An sich sollte iobroker.net wieder online sein

Ralf 2

@mcm1957 Ja, jetzt läuft es wieder, nachdem ich den Fixer und diag anderweitig aufgerufen hatte

Ist natürlich blöde, wenn mehrere Fehler gleichzueitig vorkommen.
Bei mir bleibt leider noch zwei Probleme zurück:

Ich kann meine Wetterstation nicht mehr abrufen und Yahoo-stocks-market macht noch Probleme.
Wichtig ist mir momentan nur der Abruf des json aus der Wetterstation:
In nodered benutze ich den http-Request um das json-file abzurufen, bekomme aber eine Fehlermeldung wegen invalidem Character im Chucksize
Ich habe es jetzt einmal mit dem Parser im iobroker versucht, aber auch hier gibt es die selbe Fehlermeldung:

parser.0
2024-06-07 07:18:36.414	info	Cannot read link "http://weatherstation/data.json": Error: Parse Error: Invalid character in chunk size

im Prinzip wird es nur aufgerufen mit: http://weatherstation/data.json
es kommt eigentlich nur ein normales json verpackt in einem pre-Block zurück.
Andere Webseiten wie google kann ich aufrufen.
Kann es sein, das ich http seiten nicht mehr mit node.js aufrufen kann, sondern nur noch https?

Ich stehe gerade komplett auf dem Schlauch

Thomas Braun

@ralf-2

Auf welchem Stand bist du denn nun insgesamt?

Ralf 2

@thomas-braun
iob fix läuft auch wieder online
iob diag läuft auch wieder online
iob nodejs-update nicht getestet

yahoo-stock-market wirft fehler
nodered wirf fehler
parser wirft weiterhin fehler wegen invalid character in chunk size

2024-06-07 08:49:08.148  - [31merror[39m: node-red.0 (6199) Node-RED: 7 Jun 08:49:08 - [error] [http request:test] RequestError: Parse Error: Invalid character in chunk size
    at ClientRequest.<anonymous> (file:///opt/iobroker/node_modules/@node-red/nodes/node_modules/got/dist/source/core/index.js:789:107)
    at Object.onceWrapper (node:events:634:26)
    at ClientRequest.emit (node:events:531:35)
    at Socket.socketOnData (node:_http_client:549:9)
    at Socket.emit (node:events:519:28)
    at addChunk (node:internal/streams/readable:559:12)
    at readableAddChunkPushByteMode (node:internal/streams/readable:510:3)
    at Socket.Readable.push (node:internal/streams/readable:390:5)
    at Socket.socketOnData (node:_http_client:540:22)
    at Socket.emit (node:events:519:28)
    at addChunk (node:internal/streams/readable:559:12)
    at readableAddChunkPushByteMode (node:internal/streams/readable:510:3)
    at Socket.Readable.push (node:internal/streams/readable:390:5)
    at TCP.onStreamRead (node:internal/stream_base_commons:191:23)
2024-06-07 08:51:55.937  - [31merror[39m: node-red.0 (6199) Node-RED: 7 Jun 08:51:55 - [error] [http request:test] RequestError: Parse Error: Invalid character in chunk size
    at ClientRequest.<anonymous> (file:///opt/iobroker/node_modules/@node-red/nodes/node_modules/got/dist/source/core/index.js:789:107)
    at Object.onceWrapper (node:events:634:26)
    at ClientRequest.emit (node:events:531:35)
    at Socket.socketOnData (node:_http_client:549:9)
    at Socket.emit (node:events:519:28)
    at addChunk (node:internal/streams/readable:559:12)
    at readableAddChunkPushByteMode (node:internal/streams/readable:510:3)
    at Socket.Readable.push (node:internal/streams/readable:390:5)
    at Socket.socketOnData (node:_http_client:540:22)
    at Socket.emit (node:events:519:28)
    at addChunk (node:internal/streams/readable:559:12)
    at readableAddChunkPushByteMode (node:internal/streams/readable:510:3)
    at Socket.Readable.push (node:internal/streams/readable:390:5)
    at TCP.onStreamRead (node:internal/stream_base_commons:191:23)
2024-06-07 09:00:13.944  - [33mwarn[39m: pegelalarm.1 (9629) get state error: Connection is closed.
2024-06-07 09:00:14.801  - [33mwarn[39m: pegelalarm.0 (9614) get state error: Connection is closed.
2024-06-07 09:00:21.560  - [31merror[39m: yahoo-stock-market.0 (9644) Error on APi Call for symbol: ^GDAXI
2024-06-07 09:00:21.560  - [31merror[39m: yahoo-stock-market.0 (9644) Error: Unsupported redirect to https://finance.yahoo.com/quote/AAPL/, please report.
2024-06-07 09:00:21.561  - [31merror[39m: yahoo-stock-market.0 (9644) Error on APi Call for symbol: NG=F
2024-06-07 09:00:21.561  - [31merror[39m: yahoo-stock-market.0 (9644) Error: Unsupported redirect to https://finance.yahoo.com/quote/AAPL/, please report.
2024-06-07 09:00:21.561  - [31merror[39m: yahoo-stock-market.0 (9644) Error on APi Call for symbol: BZ=F
2024-06-07 09:00:21.561  - [31merror[39m: yahoo-stock-market.0 (9644) Error: Unsupported redirect to https://finance.yahoo.com/quote/AAPL/, please report.
2024-06-07 09:00:21.561  - [31merror[39m: yahoo-stock-market.0 (9644) Error on APi Call for symbol: BAYN.F
2024-06-07 09:00:21.561  - [31merror[39m: yahoo-stock-market.0 (9644) Error: Unsupported redirect to https://finance.yahoo.com/quote/AAPL/, please report.

Es ärgert mich, das ich das JSON nicht mehr abholen kann.

Thomas Braun

@ralf-2

In dem Auszug oben bist du auf einer falschen nodejs-Version. Deswegen die Frage, wie es da nun ausschaut.

Ralf 2

@thomas-braun
Mit der nodeversion bin ich wieder auf die V20 gegangen

*** NodeJS-Installation ***

/usr/bin/nodejs         v20.14.0
/usr/bin/node           v20.14.0
/usr/bin/npm            10.7.0
/usr/bin/npx            10.7.0
/usr/bin/corepack       0.28.1


nodejs:
  Installed: 20.14.0-1nodesource1
  Candidate: 20.14.0-1nodesource1
  Version table:
 *** 20.14.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main amd64 Packages
        100 /var/lib/dpkg/status
     20.13.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main amd64 Packages
     20.13.0-1nodesource1 1001

Ist die V20 noch nicht brauchbar?
War ja der Vorschlag von nodejs-update

Thomas Braun

@ralf-2 sagte in iobroker fix, diag und nodejs-update startet nicht mehr:

Ist die V20 noch nicht brauchbar?

Doch, das ist sogar die momentan für den ioBroker vorgesehene Version. Alles gut.

Ralf 2

@thomas-braun
danke an alle für die Hilfe.
Dann muss ich mal schauen wie ich mein restliches Problem gelöst bekomme.
Leider gibt das Netz hierzu keine Hilfestellung.
Mal sehen was mir noch einfällt
Im Grunde benötige ich nur das json von der Webseite der Wetterstation um es auswerten zu können

mcm1957

@ralf-2
Was hast du denn für eine Wetterstation?
Spricht sie ev ein Protokoll dass der sainlogic kann?
https://github.com/phifogg/ioBroker.sainlogic

Im Prinzip solltest die http://weatherstation/data.json auch per javascript und ggF Blockly ausführen können und den returnierten String selbst zerlegen können. Würd ich aber eher als letzte Alternative einstufen.

Ralf 2

@mcm1957
klar js kann man noch nehmen.
auf die schnelle getestet, aber

script.js.Test.wetterstation: Error: Parse Error: Invalid character in chunk size at Socket.socketOnData (node:_http_client:540:22) at Socket.emit (node:events:519:28) at Socket.emit (node:domain:488:12) at addChunk (node:internal/streams/readable:559:12) at readableAddChunkPushByteMode (node:internal/streams/readable:510:3) at Socket.Readable.push (node:internal/streams/readable:390:5) at TCP.onStreamRead (node:internal/stream_base_commons:191:23) { bytesParsed: 173, code: 'HPE_INVALID_CHUNK_SIZE', reason: 'Invalid character in chunk size', rawPacket: <Buffer 48 54 54 50 2f 31 2e 31 20 32 30 30 20 4f 4b 0d 0a 43 6f 6e 74 65 6e 74 2d 54 79 70 65 3a 20 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6a 73 6f 6e 0d 0a 43 ... 486 more bytes> }

So kommt es im Browser:

{
	"mac": "c8c9a30e0dd9",	
	"ssid": "914707",
	"bssid": "2c3afd0fafe0",
	"ip": "192.168.176.185",
	"firmversion": "1.6",
	"dcftime": "10:23",
	"dcfdate": "07.06.2024",
	"windspeed": "1",
	"winddir": "112",
	"rain": "828",
	"rainh": "0.0",
	"rain1": "0.0",
	"rain10": "0.0",
	"raind": "0.0",
	"rainw": "0.7",
	"temperature1": "18.9",
	"temperature2": "23.5",
	"temperature3": "21.4",
	"humidity1": "50",
	"humidity2": "58",
	"humidity3": "55",
	"lowbat1": "0",
	"lowbat2": "0",
	"lowbat3": "0",
	"id1": "BC",
	"id2": "56",
	"id3": "C1",
	"targeturl": []	
}

Das ist diese Wetterstation: SMARTHOME WETTERSTATION MIT SHELLY STEUERUNG

Hat bisher ja auch lange funktioniert

Ich muss den blöden Fehler finden. Workarround scheint nicht möglich.
Im Browser kein Problem, nur alles was ich im Umkreis von IOBroker benutze wirft mir den Fehler.
ich habe jetzt noch einmal auf die V18 migriert. Hier taucht auch das Problem mit mariadb auf.
Wie kann ich hier das Repository ändern? Warum überhaupt Buster? Ich habe Bullseye installiert

Err:10 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster InRelease
  502  Bad Gateway [IP: 104.18.135.24 443]
Err:11 https://dlm.mariadb.com/repo/maxscale/latest/apt buster InRelease
  Connection failed [IP: 104.17.191.14 443]
Fetched 55.2 kB in 1min 36s (572 B/s)
Reading package lists... Done
W: Failed to fetch https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian/dists/buster/InRelease  502  Bad Gateway [IP: 104.18.135.24 443]
W: Failed to fetch https://dlm.mariadb.com/repo/maxscale/latest/apt/dists/buster/InRelease  Connection failed [IP: 104.17.191.14 443]
W: Some index files failed to download. They have been ignored, or old ones used instead.

Thomas Braun

@ralf-2 sagte in iobroker fix, diag und nodejs-update startet nicht mehr:

Wie kann ich hier das Repository ändern? Warum überhaupt Buster?

Ich frag mich eher, warum überhaupt ein Third-Party-Repo?
Liegt doch auch in den hauseigenen Debian-Repos bereit?

sudo apt update
apt policy mariadb

sagt?

Ralf 2

@thomas-braun

iobroker@home-server:~$ sudo apt update
OK:1 http://security.debian.org/debian-security bullseye-security InRelease
OK:2 http://deb.debian.org/debian bullseye InRelease
OK:3 http://deb.debian.org/debian bullseye-updates InRelease
OK:4 http://phoscon.de/apt/deconz bullseye InRelease
OK:5 https://packages.grafana.com/oss/deb stable InRelease
OK:6 https://repos.influxdata.com/debian bullseye InRelease
OK:8 https://deb.nodesource.com/node_20.x nodistro InRelease
OK:9 https://packages.sury.org/php bullseye InRelease
Holen:10 https://packages.microsoft.com/repos/azure-cli bullseye InRelease [3.608 B]
OK:7 https://downloads.mariadb.com/Tools/debian buster InRelease
Holen:11 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster InRelease [4.635 B]
Ign:12 https://dlm.mariadb.com/repo/maxscale/latest/apt buster InRelease
Fehl:13 https://dlm.mariadb.com/repo/maxscale/latest/apt buster Release
  404  Not Found [IP: 104.17.191.14 443]
Paketlisten werden gelesen… Fertig
E: Das Depot »https://dlm.mariadb.com/repo/maxscale/latest/apt buster Release« enthält keine Release-Datei mehr.
N: Eine Aktualisierung von solch einem Depot kann nicht auf eine sichere Art durchgeführt werden, daher ist es standardmäßig deaktiviert.
N: Weitere Details zur Erzeugung von Paketdepots sowie zu deren Benutzerkonfiguration finden Sie in der Handbuchseite apt-secure(8).
iobroker@home-server:~$ apt policy mariadb
N: Paket mariadb kann nicht gefunden werden.
iobroker@home-server:~$

Thomas Braun

@ralf-2

apt policy mariadb-server

Und mal schauen wo das Ding liegt:

grep -R buster /etc/apt/sources.list.d/

Ralf 2

@thomas-braun

iobroker@home-server:~$ apt policy mariadb-server
mariadb-server:
  Installiert:           1:10.6.18+maria~deb10
  Installationskandidat: 1:10.6.18+maria~deb10
  Versionstabelle:
 *** 1:10.6.18+maria~deb10 1000
       1000 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster/main amd64 Packages
       1000 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster/main arm64 Packages
        100 /var/lib/dpkg/status
     1:10.6.17+maria~deb10 1000
       1000 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster/main amd64 Packages
       1000 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster/main arm64 Packages
     1:10.6.16+maria~deb10 1000
       1000 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster/main amd64 Packages
       1000 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster/main arm64 Packages
     1:10.5.23-0+deb11u1 500
        500 http://deb.debian.org/debian bullseye/main amd64 Packages

iobroker@home-server:~$ grep -R buster /etc/apt/sources.list.d/
/etc/apt/sources.list.d/mariadb.list.save:deb [arch=amd64,arm64] https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster main
/etc/apt/sources.list.d/mariadb.list.save:deb [arch=amd64,arm64] https://dlm.mariadb.com/repo/maxscale/latest/apt buster main
/etc/apt/sources.list.d/mariadb.list.save:deb [arch=amd64] http://downloads.mariadb.com/Tools/debian buster main
/etc/apt/sources.list.d/mariadb.list:deb [arch=amd64,arm64] https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian buster main
/etc/apt/sources.list.d/mariadb.list:deb [arch=amd64,arm64] https://dlm.mariadb.com/repo/maxscale/latest/apt buster main
/etc/apt/sources.list.d/mariadb.list:deb [arch=amd64] http://downloads.mariadb.com/Tools/debian buster main

Jetzt hast du mich ein wenig abgehängt, muss ich in dieser Datei ein anderes Repo eintragen?

Thomas Braun

@ralf-2 sagte in iobroker fix, diag und nodejs-update startet nicht mehr:

sudo rm /etc/apt/sources.list.d/mariadb.list.save

Und in der /etc/apt/sources.list.d/mariadb.list tausch mal den Eintrag 'buster' gegen 'bullseye' aus.

Benötigst du den anderen Krempel (php/sury und azure-cli) auch? Wenn nicht, raus mit der entsprechenden .list-Datei.

Ralf 2

@thomas-braun

Danke!!

    Installing prerequisites (1/5)
==========================================================================

OK:1 http://deb.debian.org/debian bullseye InRelease
OK:2 http://deb.debian.org/debian bullseye-updates InRelease
OK:3 http://security.debian.org/debian-security bullseye-security InRelease
OK:4 http://phoscon.de/apt/deconz bullseye InRelease
OK:5 https://repos.influxdata.com/debian bullseye InRelease
OK:6 https://packages.grafana.com/oss/deb stable InRelease
Holen:7 https://packages.microsoft.com/repos/azure-cli bullseye InRelease [3.608 B]
OK:9 https://deb.nodesource.com/node_20.x nodistro InRelease
OK:10 https://packages.sury.org/php bullseye InRelease
Holen:8 https://downloads.mariadb.com/Tools/debian bullseye InRelease [2.164 B]
Holen:11 https://downloads.mariadb.com/Tools/debian bullseye/main amd64 Packages [2.039 B]
Holen:12 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian bullseye InRelease [4.637 B]
Holen:13 https://dlm.mariadb.com/repo/maxscale/latest/apt bullseye InRelease [9.341 B]
Holen:14 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian bullseye/main arm64 Packages [30,9 kB]
Holen:15 https://dlm.mariadb.com/repo/mariadb-server/10.6/repo/debian bullseye/main amd64 Packages [37,4 kB]
Holen:16 https://dlm.mariadb.com/repo/maxscale/latest/apt bullseye/main amd64 Packages [549 B]
Holen:17 https://dlm.mariadb.com/repo/maxscale/latest/apt bullseye/main arm64 Packages [550 B]
Es wurden 91,2 kB in 8 s geholt (10,8 kB/s).
Paketlisten werden gelesen… Fertig

Ob ich php/sury und azure-cli noch brauche, kann ich momentan gar nicht sagen. Ich kann mich erinnern das für die Solaranlage und den Zugriff auf die Cloud installiert zu haben.

Die Webzugriffe klappen momentan noch nicht, aber ich boote das System erst noch mal neu.
Da kümmere ich micht später noch einmal drum.

Erst einmal recht herzlichen Dank!
Ralf

Thomas Braun

@ralf-2

sudo apt update
apt policy mariadb-server

sagt nun?

NEWS

iobroker fix, diag und nodejs-update startet nicht mehr

Support us

797
Online

31.0k
Users

78.1k
Topics

1.2m
Posts

NEWS

iobroker fix, diag und nodejs-update startet nicht mehr

Support us

797Online

31.0kUsers

78.1kTopics

1.2mPosts

797
Online

31.0k
Users

78.1k
Topics

1.2m
Posts