npm&Node Probs -wie alles NeuInstall?

[Fitti]

Hi zusammen,

Vorab: Frage wird dahingehen, wie kann ich alles neu installieren.
Env: Ubuntu 16.04LTS. Iobroker immer bis vorgestern aktuell gehalten. ioB Basisinstallation ist aber schon älter als 1Jahr.
Was ist geschehen:
Ein Adapter machte mit node 6 Probleme, laut Dev soll ich updaten. Geschehen auf Node 12.5 (67).
Dieser Adapter läuft - dafür SQL nicht mehr. Obwohl SQL ja in der letzten Version Node12 unterstützen sollte.

• SQL deinstalliert, neuinstalliert: Fehler bleibt.
• Node deinstalliert und Version 10 installiert. Fehler bleibt
• npm rebuild (Log sagte das): Fehler bleibt.

Nun zeigt aber ioBroker admin in der Versionsübersicht in der Spalte "Verfügbar" in den Adaptern auch noch "npm Error" an.

iobroker Log sagt:

Spoiler

host.nubroker 2019-07-01 17:56:56.059 info Restart adapter system.adapter.sql.0 because enabled
host.nubroker 2019-07-01 17:56:56.059 error instance system.adapter.sql.0 terminated with code 1 ()
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Module.load (internal/modules/cjs/loader.js:653:32)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Object.Module._extensions..js (internal/modules/cjs/loader.js:787:10)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Module._compile (internal/modules/cjs/loader.js:776:30)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Object.<anonymous> (/opt/iobroker/node_modules/iobroker.sql/node_modules/mmmagic/lib/index.js:1:13)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at require (internal/modules/cjs/helpers.js:25:18)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Module.require (internal/modules/cjs/loader.js:690:17)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Function.Module._load (internal/modules/cjs/loader.js:585:3)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at tryModuleLoad (internal/modules/cjs/loader.js:593:12)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Module.load (internal/modules/cjs/loader.js:653:32)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: at Object.Module._extensions..node (internal/modules/cjs/loader.js:805:18)
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: the module (for instance, using npm rebuild or npm install).
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: NODE_MODULE_VERSION 64. Please try re-compiling or re-installing
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: NODE_MODULE_VERSION 48. This version of Node.js requires
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: was compiled against a different Node.js version using
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: Error: The module '/opt/iobroker/node_modules/iobroker.sql/node_modules/mmmagic/build/Release/magic.node'
host.nubroker 2019-07-01 17:56:56.059 error Caught by controller[0]: ^
host.nubroker 2019-07-01 17:56:56.058 error Caught by controller[0]: return process.dlopen(module, path.toNamespacedPath(filename));
host.nubroker 2019-07-01 17:56:56.058 error Caught by controller[0]: internal/modules/cjs/loader.js:805
host.nubroker 2019-07-01 17:56:55.478 info instance system.adapter.sql.0 started with pid 27897

node log sagt:

Spoiler

npm ERR! path ../lib/node_modules/npm-upgrade/lib/bin/cli.js
npm ERR! code EACCES
npm ERR! errno -13
npm ERR! syscall symlink
npm ERR! Error: EACCES: permission denied, symlink '../lib/node_modules/npm-upgrade/lib/bin/cli.js' -> '/usr/bin/npm-upgrade'
npm ERR! { [Error: EACCES: permission denied, symlink '../lib/node_modules/npm-upgrade/lib/bin/cli.js' -> '/usr/bin/npm-upgrade']
npm ERR! cause:
npm ERR! { Error: EACCES: permission denied, symlink '../lib/node_modules/npm-upgrade/lib/bin/cli.js' -> '/usr/bin/npm-upgrade'
npm ERR! errno: -13,
npm ERR! code: 'EACCES',
npm ERR! syscall: 'symlink',
npm ERR! path: '../lib/node_modules/npm-upgrade/lib/bin/cli.js',
npm ERR! dest: '/usr/bin/npm-upgrade' },
npm ERR! stack:
npm ERR! 'Error: EACCES: permission denied, symlink '../lib/node_modules/npm-upgrade/lib/bin/cli.js' -> '/usr/bin/npm-upgrade'',
npm ERR! errno: -13,
npm ERR! code: 'EACCES',
npm ERR! syscall: 'symlink',
npm ERR! path: '../lib/node_modules/npm-upgrade/lib/bin/cli.js',
npm ERR! dest: '/usr/bin/npm-upgrade' }
npm ERR!
npm ERR! The operation was rejected by your operating system.
npm ERR! It is likely you do not have the permissions to access this file as the current user
npm ERR!
npm ERR! If you believe this might be a permissions issue, please double-check the
npm ERR! permissions of the file and its containing directories, or try running
npm ERR! the command again as root/Administrator (though this is not recommended).

Nachdem ich eine Weile gesucht, einige Links, die nicht gehen oder alte oder nicht ausgefüllte Seiten, gefunden habe, habe ich die Bitte mir kurz den besten Weg zu skizzieren, wie ich denn nun idealerweise unter Ubuntu iobroker neu installiere und meine Konfigs Übernehme.

Unter https://www.iobroker.net/#de/documentation/trouble/RunsNoMore.md steht,
das node -v und npm -v die selbe Version sein sollen. Ist das so? Kann nirgends npm version 10 finden.

Hier am gepinnten Thread gehen die Links zur Installationsanleitung nicht:
https://forum.iobroker.net/topic/17159/neue-installationsroutine-und-neue-anleitungen-für-linux-basierte-systeme

Hier ist alles leer:
https://www.iobroker.net/#de/documentation/install/README.md

Das brachte auch keine Hilfe:
https://forum.iobroker.net/topic/17109/wichtige-hinweise-bei-neueren-npm-versionen-und-sudo

Hilfe also: Nach welcher Anleitung darf ich gehen, was ist die richtige Anleitung? Es soll ja alles neu sein und ein neues Installationsskript existieren - aber wo und wie?
Und wie sollte ich dann meine Updates/Setting zurücksichern, ohne gleich wieder die ganzen Module zu überschreiben.

Danke im Voraus!

Fitti

[Homoran]

@Fitti
Hallo fitti und Welcome Back!

Du bist auf eine automatisch generierte Seite geraten

Hier bist du richtig
https://www.iobroker.net/#de/documentation/install/linux.md

[F-A-L]

@Fitti said in npm&Node Probs -wie alles NeuInstall?:

Unter https://www.iobroker.net/#de/documentation/trouble/RunsNoMore.md steht,
das node -v und npm -v die selbe Version sein sollen. Ist das so? Kann nirgends npm version 10 finden.

node und nodejs müssen die gleiche Version haben, npm -v zeigt eine andere Versionsnummer. Eine npm Version 10 gibt es in der Tat noch nicht.

edit:

Und wie sollte ich dann meine Updates/Setting zurücksichern, ohne gleich wieder die ganzen Module zu überschreiben.

Das Problem habe ich übrigens auch gerade, siehe Probleme bei ioBroker-Umzug mit backup/restore. Mal schauen, was die Experten raten...

[Homoran]

@Fitti
Sorry, ich wurde eben unterbrochen.

Vorgehen für Neuanfang :

Backup auf der alten Installation durchführen.
Am besten minimal mit backitup, oder über die Konsole mitiobroker backup.
Diese backup datei auf dem pc oder nas oder cloud oder... wegsichern.
Zusätzlich die history daten sichern, und bei konsolenbackup auch noch die vis-views.json

Neuen Server ausetzen, siehe Link in meinem letzten post.
Nur Admin und ggf. Backitup installieren

Restore des backups
Die weggesicherte Datei in ein noch anzulegedes verzeichnis /opt/iobroker/backups zurückspielen.

Mit backitup oder über die Konsole mit iobroker restore das Backup wiederherstellen

• warten
  Sämtliche benötigte Adapter werden neu installiert, ggf. für das neue System kompiliert und die Instanzen angelegt.

Das kann man schön im log verfolgen.

Vorher sind die Instanzen nicht konfigurierbar.

Ggf. Noch Historydaten und views zurückkopieren.

Alle Konfigurationen der Instanzen überprüfen, ggf. anpassen (z.B. geänderte IPs) und starten

Glücklich sein!

[Fitti]

Danke Dir Rainer!
Trotz vieler sehr vorsichtiger Versuche funktionierte es nicht gut - weder total noch minimal BackUp.
Letztendlcih scheinen die Adapter nicht richtig hochzukommen, es gibt Anzeigeverzögerungen, beim Restoren scheint sich iobroker aufgehangen zu haben - habe eine weile gewartet, aber weder der iobroker Prozess noch das Log aktualsierten/starteten.
Erst nachdem ich manuell systemctl start iobroker NACH dem Starten der Wiederherstellung mittels Backitup durchführte, ging es. Das heißt, im Log konnte ch nun schön beobachten, wie ein nach dem anderen Adapter installiert wurden und so langsam losliefen.
Backitup zog also das ganz neu installierte und leere iobroker runter und ließ es da.

Dieses nodegeraffel ist in der Version v8.16.0 drauf.

Ein Fehler kommt bei einigen Adaptern, wenn man in den Instanzen die Konfiguration aufrufen möchte
Z. B. beim milight 0.3.6

File index_m.html not found

Entweder durch Backitup Widerherstellung instalölierte Adapter oder per Hand installierte Adapter.
Meist hilft es eine zweite Instant zu installieren und dann wieder zu löschen.

Was kann das sein?

Danke ganz herzlich im Voraus!
Fitti

[Homoran]

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

Trotz vieler sehr vorsichtiger Versuche funktionierte es nicht gut

Hast du da etwas mehr Infos?

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

weder total noch minimal BackUp.

für das Restore bitte nur minimal nehmen, für total musst du anders vorgehen, ich hab es allerdings im Moment auch nicht präsent.

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

Letztendlcih scheinen die Adapter nicht richtig hochzukommen, es gibt Anzeigeverzögerungen, beim Restoren scheint sich iobroker aufgehangen zu haben - habe eine weile gewartet, aber weder der iobroker Prozess noch das Log aktualsierten/starteten.

Dass ein Restore bis zu zwei Stunden dauern kann und schrittweise abläuft schreibst du ja später selber.
Da alle Adapter neu installiert und teilweise kompiliert werden kann es auch je nach Hardware so scheinen, als ob der RasPi et al. hängt, weil das make viel Leistung zieht.

Wenn es jedoch gar nicht laufen will kann das Backup defekt sein, die neue Installation Rechteprobleme haben, oder...??

Auf Rechteprobleme deutet das sudo systemctlt start iobroker hin.
In solchen Fällen hiolft der Installationsfixer (siehe Signatur)

Die Meldung File index_m.html not found deutet auch darauf hin, dass ein Adapter nicht orrekt installiert wurde. Näheres müsste im log stehen.
Meist hilft da eine Upload der Adapterdaten (was beim Anlegen einer zweiten Instanz automatisch passiert)

Wie kann ich dir weiter helfen?
Ich habe gerade die letzten Tage wegen des Testens des RPi4 mehrere Installationen mit einem Restore meines Produktivsystems auf die genannte Weise durchgeführt - ohne Probleme.

[Fitti]

Hi Rainer,

@Homoran sagte in npm&Node Probs -wie alles NeuInstall?:

Hast du da etwas mehr Infos?

Es ist ja so, dass ich als Admin den ganzen Tag Unix Maschinen verwalte, Software installiere, aktualisiere, Daten verschiebe usw. u. sofort.
Bei iobroker ist es halt immer wieder hakelig im Fehlerfall. Nachdem ich nun alles neu installierte, fehlen dann die icons, plötzlich funktionieren ein paar Adapter nicht mehr (mache dazu eigene Threads auf), Daten kann ich nicht migrieren, und irgendwie funktionieren immer mind. 20% nicht. Die sind immer unterschiedlich. Ich habe iob bestimmt schon 50x installiert.
Diese File index_m.html not found Meldungen kommen andauernd bei einigen Adaptern und verschwinden dann durch irgendwelche anderen Installationen...
Möchte hier jetzt nicht alles aufzählen.

@Homoran sagte in npm&Node Probs -wie alles NeuInstall?:

Da alle Adapter neu installiert und teilweise kompiliert werden kann es auch je nach Hardware so scheinen, als ob der RasPi et al. hängt, weil das make viel Leistung zieht.

Meine Hardware/OS ist schnell: intel Nuc 8GB Ram , SSD und alles auf einem gepflegten Ubuntu16.04 lts.

Ich denke dass dieses node eine Diva ist. Fluch und Segen zugleich. Was ich wegen diesem node an Stunden geopfert habe,... naja.
Andererseits bietet es wirklich eine Menge an Lösungsmöglichkeiten.

@Homoran sagte in npm&Node Probs -wie alles NeuInstall?:

für das Restore bitte nur minimal nehmen, für total musst du anders vorgehen, ich hab es allerdings im Moment auch nicht präsent.

blöd ist halt, dass man sorgenfrei ein total zurückspielen kann. Wäre ja gut, wenn der Adapter dass dann unterbinden würde.

@Homoran sagte in npm&Node Probs -wie alles NeuInstall?:

In solchen Fällen hiolft der Installationsfixer (siehe Signatur)

Tja, auch so eine Sache. Als user oder als root starten? Zuerst als user gestartet - ohne sudo kamen dann ganz viele Fehlermeldungen. also noch einmal als root lief dann...
War das nun richtig?
Das Script beendet sich dann mit der bitte iobroker start aufzurufen. in der Installationsanleitung steht aber, dass man nun wegen node/linux (und nicht wegen iob) den Dienst so wie es sich gehört mittels systemctl start iobroker.service starten soll.

Ich stoße also leider andauernd an Grenzen, wo ich alles richtig machen möchte, aber wegen fehlender oder zu vielen unterschiedlichen Aussagen/Beschreibungen auf den offiziellen Seiten verunsichert bin.

Du weißt was aktuell ist und machst daher das Richtige an der richtigen Stelle.

Ich kann nur vorbeischauen, wenn etwas nicht geht - da schaffe ich es nicht zu verstehen, was obsolet oder aktuell ist. Dazu gibt es einfach viel zu viele nach außen scheinbare offizielle Seiten oder Veränderungen. Beispiel hatte ich ja im ersten Thread geschrieben.
Ich meine damit nicht irgendwelche Blogs, youtubes oder sonstwas.
Sondern wirklich nur die hier aufgeführten Docus oder die von der Webseite iobroker oder bei den GIT-Adaptern selber.

Ich denke an dieser Stelle können wir dieses Thread als erledigt ansehen. Du hast mir sehr geholfen, danke noch einmal!

Zu den einzelnen Problemen mache ich nun eigene Threads auf oder klinke mich in bestzehende lesend und/oder schreibend.

Fitti

[Homoran]

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

Nachdem ich nun alles neu installierte, fehlen dann die icons, plötzlich funktionieren ein paar Adapter nicht mehr

Wie ich bereits schrieb ist das die Beschreibung eines Zustands, der nach dem Start des restores und vor dem vollständigen Reinstall vollkommen normal ist.

In der Zeit darf nicht versucht werden in das System einzugreifen.

Dieser Zustand soll selbstverständlich nicht dauerhaft anhalten.
Ist mir bei meinen >100 Installationen mit restore auch noch nie passiert.

Wenn es bei dir wie du beschreibst persistiert ist etwas faul.
Das ist nicht der normale Zustand und kommt meines Wissens äußerst selten vor.

---

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

Tja, auch so eine Sache. Als user oder als root starten?

Die komplette Installation von ioBroker geht seit einiger Zeit von einem normalen User aus.
Ein root ist nicht notwendig, aus Sicherheitsgründen sogar unerwünscht.

Wenn es bei dir nur als root lief besteht die Vermutung dass bereits die Installation des neuen Systems noch ordnungsgemäß durchgeführt wurde.

---

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

in der Installationsanleitung steht aber, dass man nun wegen node/linux (und nicht wegen iob) den Dienst so wie es sich gehört mittels systemctl start iobroker.service starten soll.

Das sollte in der aktuellen Anleitung nicht drin stehen, zumindest nicht so, höchstens zur fehlereingrenzung.

---

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

zu vielen unterschiedlichen Aussagen/Beschreibungen auf den offiziellen Seiten verunsichert bin.

Das ist in der Tat zur Zeit ein mögliches Problem.

Die aktuelle Doku ist noch nicht fertig und befindet sich unter

www.iobroker.net

Hier bitten wir im jegliches Feedback um die Seiten fertig zu stellen.

@Fitti sagte in npm&Node Probs -wie alles NeuInstall?:

Zu den einzelnen Problemen mache ich nun eigene Threads auf oder klinke mich in bestzehende lesend und/oder schreibend.

Ich bitte darum!
Nur so können wir die Doku in den Zustand bringen, dass sie den notwendigen Zustand erreicht.