Update Node-js V4.x auf V6.x

[olifre]

@apollon77:

Laut Bluefox reicht das hier aus:

https://github.com/ioBroker/ioBroker.js … install.sh

Müsste an sich in jeder Installation irgendwo sein ... müsste man mal testen Und dann ne Windows-Version bauen `

Danke für den Tipp…

an sich eine gute Idee, bei mir ist nur die re-Installation eines Adapters fehlgeschlagen. Da das Script keinerlei Fehlerbehandlung macht, stand das System dann am Ende in "/" und hat dort

chmod 777 * -R

ausgeführt, rekursiv auf alle Dateien im gesamten Dateisystem.

Super Idee, jetzt darf ich mein Raspbian neu aufsetzen…

Ich hab' meine Lektion gelernt: Nicht blind das Skript ausführen, sondern in Zukunft lieber per Hand die Adapter reinstallieren.

[apollon77]

Uuups … dann muss man da wohl nochmal ran

[Homoran]

Das liegt IMHO daran, dass dieses skript als reinstall.sh im Ordner/ opt/iobroker liegt. Wenn es da ausgeführt wird geht das -R nur innerhalb von iobroker.

Gruß

Rainer

[apollon77]

ne nicht ganz.

wenn in dem Skript ein "npm install" fehlschlägt und damit auch das Verzeichnis "node_modules" nicht existiert dann schlägt das "cd node_modules" fehl. Damit bleibt man im gleichen verzeichnis. Dann macht das Skript aber ein "cd .." … und das macht dann gaaaanz dumme dinge

[olifre]

@Homoran:

Das liegt IMHO daran, dass dieses skript als reinstall.sh im Ordner/ opt/iobroker liegt. Wenn es da ausgeführt wird geht das -R nur innerhalb von iobroker. `
Genau da liegt es bei mir. Und da habe ich es auch ausgeführt.

Im Skript steht:

while read in; do npm install $in --production; cd node_modules/$in/; npm install --production; cd ../..; done < list.txt

Der Haken: Wennnpm install $in --productionfür einen Adapter fehlschlägt, wird der Unterordner````
node_modules/$in/

Daraufhin klappt das````
cd node_modules/$in/
````nicht, das````
npm install --production;
````tut nichts, und das````
cd ../..
````, das ja dennoch ausgeführt wird,

wechselt in den toplevel, also````
/
````.

Die Schleife läuft munter weiter. Weitere Adapter werden also jetzt statt in````
/opt/iobroker/node_modules
````lustig in````
/node_modules
````installiert.

Und zu guter Letzt läuft dann````
chmod 777 * -R
````auf das ganze Dateisystem.

Habe mein System erstmal kurz repariert, indem ich die ssh-Host-Keys mit ordenlichen Permissions versehen habe, und reinstalliere jetzt alles.

Meiner Meinung nach sollte:

while read in; do npm install $in --production && cd node_modules/$in/ && npm install --production && cd ../..; done < list.txt

gehen, dann wird das jeweils nächste Kommando nur dann ausgeführt, wenn das davor geklappt hat.

Das kann natürlich immer noch schief gehen, wenn das````
npm install --production
````fehlschlägt. Ein ordentlicheres Error-Handling evtl. mit trap, oder mit pushd / popd wäre sicher besser, wenn jemand Zeit und Lust hat, das mal zu reparieren…

Oder sich vorher PWD merken und immer dahin zurückgehen, statt "cd ../.." zu benutzen.

Mein Problem war übrigens, dass sich der Adapter "iobroker.js-controller" nicht installieren ließ, gleiches Problem wie hier:

[http://forum.iobroker.net/viewtopic.php?t=3345](http://forum.iobroker.net/viewtopic.php?t=3345)

Abhilfe hätte ein:

cd /opt/iobroker
sudo chmod 777 * -R

****vorher**** gebracht. Das sollte man also auch ins Skript vorher einbauen, zusätzlich zum "nachher".

[frankjoke]

Ich habe das original-script für Linux etwas abgeändert:

Zuerst gehe ich natürlich ins /opt/iobroker oder wo ihr das sonst habt

Dann erzeuge ich mit````
ls -1 ./node_modules | grep iobroker. > list.txt

eine Liste der Adapter. Kann sie dann noch bearbeiten um etwaige Adapter die ich nur für tests drinnen hatte wieder zu entfernen.

Dann starte ich das script mit:

sudo iobroker stop
sudo rm node_modules/* -R
sudo rm iobroker
sudo npm install iobroker --unsafe-perm
chmod 777 * -R
while read in; do npm install $in --production ; done < list.txt
chmod 777 * -R
iobroker upload all
sudo iobroker start

Vielleicht ist ein chmod überfällig aber sonst hat es bis jetzt funktioniert. Leider werden die original npm-versionen geladen aber man kann ja list.txt ändern um sie durch git-versionen zu ersetzten.

Wenn ein adapter mucken macht dann versuch ich ihn mit sudo npm nachzuinstallieren aber sonst installiere ich nur iobroker selbst als sudo.

In Windows mach ich im Prinzip das selbe aber ohne sudo und und chmod, habe mir 'ne Liste mit adapter-npm-commandos (npm install adapter xxxx –production) angelegt anstatt die list.txt zu erzeugen.

[apollon77]

@olifre:

Meiner Meinung nach sollte: `

Super Ideen. Vor allem auch anstelle dem "cd .." kram direkt den Pfad zu merken, das chmod am Anfang ist auch sinnvoll.

Wenn Du magst pass es an und liefere es als Pull-Request ein oder schreib es im Forum, dann übernehme ich es.

Ich würde Sonntag da nochmal reinschauen (bin jetzt 2 Tage unterwegs) oder Bluefox ist schneller.

Ingo F

[aquapro]

EDIT sagt: Frage nicht mehr relevant.

Gruß

Tino

[Fitti]

Jaja, die immer und überall geführten Diskussionen… 8-)
@apollon77:

Ich denke ein Adapter zu haben der nur unter 6.x läuft bedeutet das Ihn aktuell fast niemand nutzen kann/nutzt, damit istdie Frage ob der ENtwickler damit zufrieden ist Ich glaube es ist noch zu früh. `
Das sehe ich genauso.
@apollon77:

Also danach ist node 4.x bis April 2017 noch im "kriegt regelmäßige Updates"-Modus und dann bis April 2018 noch im Maintenance (=Bugfixing) Support. `
Und selbst danach… viele nutzen überhaupt nicht die aktuellsten Patche, da auch überhaupt nicht notwendig. Wer sein System frei macht ist selber schuld. Mein ioBroker läuft stark abgeschirmt.
@apollon77:

Ich denke ab April sollten wir die 6.x als "Empfehlung" setzen und die 4.x als "geht auch noch für mind 1 Jahr) `
Macht mir natürlich sorgen. Mein ioBroker will einfach nicht vernünftig auf einem Raspi, Banana oder Cubi laufen. Wahrscheinlich zu viel drauf. Vor allem Speichernutzung und CPU Takt sind Primärprobleme. Aber auch schlechte Images von Herstellern.

I. d. Tat habe ich noch nie eine solch problemlose Installation wie auf der Synolgie gehabt. Hier bin ich aber eingeschränkter in den Versionen.

Und dennoch laufen große Videokonverter, CMS-Systeme, Datenbanken usw.. Und ein ioBroker Adapter, der zumeist nur einfache Aufgaben erledigt, benötigt nun das allerneueste?

Aus wirtschaftlichen Gründen ist es auch ideal,da diese die ganze Zeit läuft.

Ich bitte es nochmal wirklich zu durchdenken, ob nun der eine neue gute Befehl, der mit 10 weiteren Codezeilen auch so erledigt werden kann, das rechtfertigt. Es steigt auch nicht jeder gleich auf Windows 10 um.

Oft ist es doch nur die Detailverliebtheit von Programmierern und nicht die technische Notwendigkeit. Das kenne ich aus vielen beruflichen Situationen genauso. Admins und Entwicklung streiten oft über die Ansichten.

Letztendlich verliert immer nur der User/Kunde.

Ich wollte einfach mal eine andere Sichtweise aufbringen.

Fitti

[apollon77]

@Fitti:

@apollon77:

Ich denke ab April sollten wir die 6.x als "Empfehlung" setzen und die 4.x als "geht auch noch für mind 1 Jahr) `
Macht mir natürlich sorgen.

…

Ich bitte es nochmal wirklich zu durchdenken, ob nun der eine neue gute Befehl, der mit 10 weiteren Codezeilen auch so erledigt werden kann, das rechtfertigt. Es steigt auch nicht jeder gleich auf Windows 10 um.

Oft ist es doch nur die Detailverliebtheit von Programmierern und nicht die technische Notwendigkeit. Das kenne ich aus vielen beruflichen Situationen genauso. Admins und Entwicklung streiten oft über die Ansichten.

Letztendlich verliert immer nur der User/Kunde. `

Valide Sichtweise und ich kann Dir versichern das denke keiner der Entwickler absichtlich Nutzer aussperren wird - vor allem nicht für bestehende Funktionen. Auch wenn die "Empfehlung für neue Installation" (so bezeichne ich es mal) höher ist ändert sich nicht so viel.

Man muss aber auch sagen das halt node 0.x im Speichermanagement einige Probleme hatte, es mit 4.x besser ist und 6.x nochmal besser sein soll.

Als Entwickler im nodejs-Umfeld muss man aber auch die Abhängigkeiten berücksichtigen. Man baut nicht alles selbst sondern nutzt Libraries. Wenn man also Funktionen nicht selbst bauen will und eine Library findet kann es sein das diese schon eine node-Limitierung vorgibt. Ich baue gerade einen Adapter um Smartmeter per SML auszulesen und da gibt es eine Library die ich nutzen kann für das Protokoll. Diese ist aber erst ab node 4.x funktionsfähig … und schon ist das Limit da ... entweder ich baue das jetzt selbst nochmal nach oder ich überzeuge den Library-Entwickler das umzubauen oder ich akzeptiere es ... Schwierig ...

Naja, wir schauen einfach mal wie es weitergeht und nehmen jedes Feedback von "falschen" Abhängigkeiten und versuchen Sie weg zu machen ,,,

[apollon77]

@fsjoke:

Ich habe das original-script für Linux etwas abgeändert: `

Ich habe auch mal ein bissl gespielt und komme mit den Ideen aus dem Thread hier zu folgendem:

iobroker stop
BASE=$(pwd)

if [ -d ./node_modules ]
then
    ls -1 ./node_modules | grep iobroker. > reinstall.list.txt
    chmod 777 * -R
    cd node_modules
    rm -R *
    pwd

    while read IN
    do
        npm install $IN --production
        if [ $? -eq 0 ]
        then
            if [ -d ./node_modules/$IN ]
            then
                cd node_modules/$IN/
                npm install --production
                cd "$PWD"
            fi
            echo "DONE $IN"

        else
            echo "FAIL $IN"
        fi

    done < "$BASE/reinstall.list.txt"
    chmod 777 * -R
    rm "$BASE/reinstall.list.txt"
    iobroker upload all
fi

bisher trocken auf meinem Rechner mit nem projekt getestet … muss ich heute Abend mal auf meinen iobroker-Testhost loslassen.

Andere Tester wilkommen

Ingo F

[frankjoke]

Nur 'ne Frage Ingo,

warum rufst du install 2x auf?

! ````
npm install $IN --production
if [ $? -eq 0 ]
then
if [ -d ./node_modules/$IN ]
then
cd node_modules/$IN/
npm install --production

Das 1\. install installiert schon alles und man muss nicht nochmal ins Verzeichnis des Modules reingehen um es nochmal zu installieren!

Der effekt (bei älteren npm's) ist nur dass module 2x heruntergeladen werden, einmal in ioboker/node_modules und einmal in iobroker/node_modules/iobroker.adapter/node_modules

Der Sinn von Node/npm ist alle Modulversionen in einem Projekt nur einmal lokal zu speichern.

Egal, ich weiß nicht wann damit angefangen wurde, aber es war wahrscheinlich als jemand Probleme hatte unterschiedliche Versionen auf unterschiedliche Weise zu installieren (einmnal im iobroker Hauptverzeichnis und einmal im Adapter) was dann dazu führt dass die falschen Module geladen werden!

Deshalb verwende ich falls ich in einem anderen Verzeichnis als /opt/iobroker installiere immer  ` > –prefix "/opt/iobroker" `  um nicht ein neues node_modules anzufangen.

[apollon77]

Diese Frage kann wohl nur Bluefox beantworten. Ich hab an der Stelle das gleiche gemacht wie das Skript davor. Ich habe es nur etwas "Fehlersicherer" gemacht … Die Frage ist aber komplett gerechtfertigt. Ich sehe es auch eher unnötig das doppelt zu machen.

@Bluefox: Any comment to this?

[Bluefox]

@apollon77:

Diese Frage kann wohl nur Bluefox beantworten. Ich hab an der Stelle das gleiche gemacht wie das Skript davor. Ich habe es nur etwas "Fehlersicherer" gemacht … Die Frage ist aber komplett gerechtfertigt. Ich sehe es auch eher unnötig das doppelt zu machen.

@Bluefox: Any comment to this? `
Mit npm 3,4 ist es nicht mehr nötig, aber mit npm 1 es war ein Hacken da, ich kann aber mich nicht mehr daran erinnern

[apollon77]

bei node 0.10, 0.12 und 4.x ist ein npm 2.x "dabei". Das 3er npm erst ab node 6.x

Da nopm 1 damit nirgends mehr relevant ist das doppelte rauswerfen?

@Bluefox: habs mal geändert. Siehe js-controller Pull Request

[greyhound]

Habe wegen diverser Probleme meine node-Version von 7.4 (siehe http://forum.iobroker.net/viewtopic.php?f=8&t=4953auf 6.9.5 zurückgestellt und dann das reinstall.sh durchlaufen lassen.

Dabei laufe ich bei mehreren Adaptern/Modulen auf folgenden Fehler:

   SUCCES iobroker.owntracks
iobroker.core@0.1.0 /opt/iobroker
└── iobroker.ping@1.2.0

   SUCCES iobroker.ping

> usb@1.2.0 install /opt/iobroker/node_modules/usb
> node-pre-gyp install --fallback-to-build

node-pre-gyp ERR! Tried to download: https://github.com/tessel/node-usb/releases/download/1.2.0/usb_bindings-v1.2.0-node-v48-linux-arm.tar.gz
node-pre-gyp ERR! Pre-built binaries not found for usb@1.2.0 and node@6.9.5 (node-v48 ABI) (falling back to source compile with node-gyp)
make: Entering directory '/opt/iobroker/node_modules/usb/build'
. . . 

Aber auch ein build aus den Sourcen schlägt fehl.

Ursache ist, dass es in dem Repo kein Paket für node v6.9 gibt?

Ist euch das Problem bekannt und habt ihr einen Workaround dafür?

Anderseits frage ich mich, warum so viele Adapter eine Abhängigkeit zu USB haben. Z. B. bekomme ich selbigen Fehler auch beim heutigen Update von icons-open-icon-library-png

npm install https://github.com/ioBroker/ioBroker.icons-open-icon-library-png/tarball/master --production --prefix "/opt/iobroker" (System call)
node-pre-gyp
 ERR! Tried to download: https://github.com/tessel/node-usb/releases/download/1.2.0/usb_bindings-v1.2.0-node-v48-linux-arm.tar.gz node-pre-gyp ERR! Pre-built binaries not found for usb@1.2.0 and node@6.9.5 (node-v48 ABI) (falling back to source compile with node-gyp) 

../libusb/libusb/os/linux_udev.c:40:21: fatal error: libudev.h: No such file or directory #include <libudev.h>^
compilation terminated.
...</libudev.h> 

[frankjoke]

greyhound,

Ich würde 7 nur für Tests einsetzten aber hatte mit 4 und 6 auch schon ähnliche Probleme.

Die Probleme verschwanden bei mir sobald ich Adapter nur von den npm-repos (also npm install iobroker.adapter und nicht npm install von_git…..) gemacht habe.

Noch schlechter war's wenn ich git clones gemacht habe um die Adapter lokal zu bearbeiten/debuggen/und wieder auf upzudaten, dann konnte ich nichts mehr installieren bis ich das Verzeichnis in node_modules gelöscht hab.

Habe nach downgrade von 6 auf 4 auch noch ein Problem gehabt dass ich alle npm caches löschen musste und auch ioBroker+Adapter neu installieren musste (komplettes node_modules löschen).

[apollon77]

@greyhound:

../libusb/libusb/os/linux_udev.c:40:21: fatal error: libudev.h: No such file or directory #include <libudev.h>^

compilation terminated.

…</libudev.h> `

Das liegt an sich nicht an node 6.x/7.x … installiere mal

apt-get install libusb-1.0-0.dev libudev-dev

Dann sollte das Problem weg sein!

[greyhound]

Danke für den Hinweis, das hatte ich schon probiert, es kommt aber immer folgender Fehler:

The following packages have unmet dependencies:
 libudev-dev : Depends: libudev1 (= 215-17+deb8u6) but 230-7~bpo8+2 is to be installed
E: Unable to correct problems, you have held broken packages.

Aber

apt-get remove libudev1

und ein anschließendes

apt-get install libudev-dev

Haben das Problem zumindest gelöst.

[greyhound]

@greyhound:

Aber

apt-get remove libudev1

und ein anschließendes

apt-get install libudev-dev

Haben das Problem zumindest gelöst. `
aber leider nur bis zum nächsten reboot. Musste dann ziemlich umständlich wieder die alten Packages auf das Image kopieren und neu installieren.

Gruß

GH