UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[apollon77]

Ok, mit letzten kleineren Optimierungen rollte die 4.0.12 an (Stable RC3):

4.0.12 (2022-02-17)

• (Apollon77) make sure to really end CLI process when they should end in error cases
• (Apollon77) catch error when streaming data to stdout and this is closed already

Also alle "stoppedList"-Fehler bei CLI Kommandos sollten jetzt weg sein, bitte generell gern nochmal CLI Kommandos testen

[Dolomiti]

@apollon77 sagte in js-controller 4.0 jetzt im BETA/LATEST!:

@dolomiti Das hat nichts mit dem Controller zu tun. Das liegt an Nodejs 14 und scheinbar einer "alten" version von node-red der eine buggy mongodb version enthalten hat und diese verursacht diese Fejhler. ALso bitte node-red aktualisieren

Node-Red war aktuell bei 2.4.2. Habe es jetzt mal deinstalliert, dann war der Fehler weg. Nach Neuinstallation von 2.4.2 aus dem latest-Zweig, als auch 2.4.1 aus dem stable-Zweig ist die Meldung wieder da.
Soll ich ein Issue bei Node-Red-Adapter machen?

Gruß

Dolomiti

[Diginix]

@apollon77 Update lief ohne OOM oder ähnliches durch. Danach noch backitup Adapter in der GUI aktualisiert, aber auch das ohne Auffälligkeiten.

[apollon77]

@dolomiti Hm ... mach mal bitte im ioBroker dir ein npm list mongodb Was kommt da raus?

[Feuersturm]

@apollon77 sagte in js-controller 4.0 jetzt im BETA/LATEST!:

Ok, mit letzten kleineren Optimierungen rollte die 4.0.12 an (Stable RC3):

4.0.12 auf Master und Slave erfolgreich aktualisiert und keine Probleme beim starten.

[crunchip]

@apollon77 verlief fehlerfrei incl. backitup update:wink:
nur das ich jetzt wieder die doppelt CPU Auslastung habe

[apollon77]

@crunchip und welcher Prozess ist es? Vllt solltest du dich mal einige Host und Adapter States mit History mitloggen das du genauer sagen kannst was sich wann wie anders verhält.

[crunchip]

@apollon77 glaub ich hab das Problem schon gefunden, scheint an javascript zu liegen, bzw eher ein Script, das Wetterwarn Script https://forum.iobroker.net/topic/30616/script-dwd-uwz-nina-warnungen-als-push-sprachnachrichten/
das war das einzige was ich die Tage aktualisiert hatte. Wenn ich das deaktiviere, geht die CPU runter
Edit
Bei der Javascript Instanz lagen die Ein/Ausgänge bei ~3500/~1000 nach dem iobroker gestartet wurde

[apollon77]

@crunchip ok. Na dann viel Spaß beim weiter forschen ;-)

Eingehend JavaScript ist immer seh hoch weil ja alles rein geht bei Standard Konfiguration. Aber 1000 ausgehende ist ne Menge ;-) (ist eine 15s Messung) ;-)

[crunchip]

@apollon77 script ist in arbeit,
wenns normal läuft liegt die Instanz im Schnitt bei 1000/14

[homecineplexx]

@crunchip said in js-controller 4.0 jetzt im BETA/LATEST!:

@apollon77 script ist in arbeit,
wenns normal läuft liegt die Instanz im Schnitt bei 1000/14

ich hab 3 JavaScript Instanzen. bei 2 davon geb ich dir recht mit
-) 5680/11
-) 5702/11
aber bei der dritten
-) 5386/2642

[Diginix]

@alcalzone sagte in js-controller 4.0 jetzt im BETA/LATEST!:

Naja gut, sieht jetzt aber nicht überlastet aus... Bin mal auf den RAM gespannt.

iobroker start nach js-controller Update auf 4.0.12. Wobei die Ver. wahrs. egal ist. Aber der js-controller nimmt sich da fast 3min 2 GB RAM. Da ist klar warum der bei sonst <1GB freien RAM der VM vom OOM abgeschossen wurde.

States in/out ist dabei unspektakulär.

[apollon77]

@homecineplexx sagte in js-controller 4.0 jetzt im BETA/LATEST!:

-) 5386/2642

Naja dann hast Du in der dritten ein Skript laufen was sehr viele "setState" oder andere Aktionen macht ... Wenn das so soll ist ja alles in Ordnung :-)

[AlCalzone]

@diginix sagte in js-controller 4.0 jetzt im BETA/LATEST!:

iobroker start nach js-controller Update auf 4.0.12. Wobei die Ver. wahrs. egal ist. Aber der js-controller nimmt sich da fast 3min 2 GB RAM. Da ist klar warum der bei sonst <1GB freien RAM der VM vom OOM abgeschossen wurde.

D.h. der Peak ist der Controller-Start? Wenn ja, magst du mir mal deine objects.jsonl, states.jsonl und iobroker.json schicken, dass ich das nachstellen kann? Schick dir nen Upload-Link per PN.

[apollon77]

@diginix Hm ... Was war denn in dem Zeitraum? Ist das ein Start oder zwischendrin? Ein Backup? Oder was ist da gewesen? Habe solche "Ausschläge" noch nie gesehen :-)

[Diginix]

@alcalzone sagte in js-controller 4.0 jetzt im BETA/LATEST!:

@diginix sagte in js-controller 4.0 jetzt im BETA/LATEST!:

iobroker start nach js-controller Update auf 4.0.12. Wobei die Ver. wahrs. egal ist. Aber der js-controller nimmt sich da fast 3min 2 GB RAM. Da ist klar warum der bei sonst <1GB freien RAM der VM vom OOM abgeschossen wurde.

D.h. der Peak ist der Controller-Start? Wenn ja, magst du mir mal deine objects.jsonl, states.jsonl und iobroker.json schicken, dass ich das nachstellen kann? Schick dir nen Upload-Link per PN.

Ja der peak war bei/ab "iobroker start" nach dem js-controller Update auf 4.0.12.

Dateien sende ich dir.

[apollon77]

@diginix Kannst Du denn Peak mit einem einfachen "neuen" Start reproduzieren?

[homecineplexx]

@apollon77 said in js-controller 4.0 jetzt im BETA/LATEST!:

@homecineplexx sagte in js-controller 4.0 jetzt im BETA/LATEST!:

-) 5386/2642

Naja dann hast Du in der dritten ein Skript laufen was sehr viele "setState" oder andere Aktionen macht ... Wenn das so soll ist ja alles in Ordnung :-)

ich hab hier einfach viele solcher Skripte am laufen, die mir quasi einen Alias machen und bissl mehr noch.
Vielleicht könnte man diese ja auch vereinfachen...?

var preNameSpace = 'VirtualDevice.0.';

//generic virtual device        
function VirtualDevice(config) {
    //sanity check
    if (typeof config !== 'object' || typeof config.namespace !== 'string' || typeof config.name !== 'string' || typeof config.states !== 'object') {
        log('sanity check failed, no device created', 'warn');
        return;
    }
 
    this.config = config;
    this.namespace = preNameSpace + config.namespace + '.' + config.name;
    this.name = config.name;
 
    //create virtual device
    log('creating virtual device ' + this.namespace);
    this.createDevice(function () {
        this.createStates(function () {
            log('created virtual device ' + this.namespace);
        }.bind(this));
    }.bind(this));
}
 
VirtualDevice.prototype.createDevice = function (callback) {
    log('creating object for device ' + this.namespace, 'debug');
    //create device object
    var obj = this.config.copy ? getObject(this.config.copy) : {common: {}, native: {}};
    delete obj.common.custom;
    if (typeof this.config.common === 'object') {
        obj.common = Object.assign(obj.common, this.config.common);
    }
    if (typeof this.config.native === 'object') {
        obj.native = Object.assign(obj.native, this.config.native);
    }
    extendObject(this.namespace, {
        //type: "device",
        type: "channel",
        common: obj.common,
        native: obj.native
    }, function (err) {
        if (err) {
            log('could not create virtual device: ' + this.namespace, 'warn');
            return;
        }
        log('created object for device ' + this.namespace, 'debug');
        if (typeof this.config.onCreate === 'function') {
            this.config.onCreate(this, callback);
        } else {
            callback();
        }
    }.bind(this));
};
  
VirtualDevice.prototype.createStates = function (callback) {
    "use strict";
    log('creating states for device ' + this.namespace, 'debug');
    var stateIds = Object.keys(this.config.states);
    log('creating states ' + JSON.stringify(stateIds), 'debug');
    var countCreated = 0;
    for (var i = 0; i < stateIds.length; i++) {
        let stateId = stateIds[i];
        this.normalizeState(stateId);
        var id = this.namespace + '.' + stateId;
        log('creating state ' + id, 'debug');
        var obj = this.config.states[stateId].copy ? getObject(this.config.states[stateId].copy) : {
            type: "state",
            common: {},
            native: {}
        };
        delete obj.common.custom;
        if (typeof this.config.states[stateId].common === 'object') {
            obj.common = Object.assign(obj.common, this.config.states[stateId].common);
        }
        if (typeof this.config.states[stateId].native === 'object') {
            obj.native = Object.assign(obj.native, this.config.states[stateId].native);
        }

		setObject(id, obj, function(err, checkObj) {
			if (err) {
                log('skipping creation of state ' + id, 'debug');
            } else {
                log('created state ' + id, 'debug');
            }
            if (!err && checkObj) {
                //setTimeout(function(){
                    this.connectState(stateId);
                    countCreated++;
                    if (countCreated >= stateIds.length) {
                        log('created ' + countCreated + ' states for device ' + this.namespace, 'debug');
                        callback();
                    }

                    var newId = checkObj.id;
                    var helper = newId.substr(newId.lastIndexOf('.') + 1, newId.length);
                    
                    var stateValueNew = this.config.states[helper].stateValue;
                    
                    if (stateValueNew !== undefined) {
                        setStateDelayed(newId, stateValueNew, true, 1000);
                        log('set default: ' + stateValueNew + ' for ' + newId);
                    }
                //}.bind(this), 500);
            }
		}.bind(this)); 
    }
};
 
VirtualDevice.prototype.normalizeState = function (state) {
    log('normalizing state ' + state, 'debug');
    if (typeof this.config.states[state].read !== 'object') {
        this.config.states[state].read = {};
    }
    if (typeof this.config.states[state].write !== 'object') {
        this.config.states[state].write = {};
    }
 
    var readIds = Object.keys(this.config.states[state].read);
    for (var i = 0; i < readIds.length; i++) {
        var readId = this.config.states[state].read[readIds[i]];
        if (typeof readId.before !== 'function') {
            this.config.states[state].read[readIds[i]].before = function (device, value, callback) {
                callback();
            };
        }
        if (typeof readId.after !== 'function') {
            this.config.states[state].read[readIds[i]].after = function (device, value) {
            };
        }
    }
    var writeIds = Object.keys(this.config.states[state].write);
    for (i = 0; i < writeIds.length; i++) {
        var writeId = this.config.states[state].write[writeIds[i]];
        if (typeof writeId.before !== 'function') {
            this.config.states[state].write[writeIds[i]].before = function (device, value, callback) {
                callback()
            };
        }
        if (typeof writeId.after !== 'function') {
            this.config.states[state].write[writeIds[i]].after = function (device, value) {
            };
        }
    }
    log('normalized state ' + state, 'debug');
};
 

VirtualDevice.prototype.connectState = function (state) {
    setTimeout(function(){
        log('connecting state ' + state, 'debug');
        var id = this.namespace + '.' + state;
    
        //subscribe to read ids
        var readIds = Object.keys(this.config.states[state].read);
        for (var i = 0; i < readIds.length; i++) {
            if (readIds[i] === null || readIds[i] === undefined || readIds[i] === '') {
                continue;
            }
            if (getState(readIds[i]).notExist === true) { //check if state exists
                log('cannot connect to not existing state: ' + readIds[i], 'warn');
                continue;
            }
            var readObj = this.config.states[state].read[readIds[i]];
            var trigger = readObj.trigger || {change: 'any'};
            trigger.ack = true;
            trigger.id = readIds[i];
            this.subRead(trigger, readObj, state);
            log('connected ' + readIds[i] + ' to ' + id, 'debug');
        }
    
        //subscribe to this state and write to write ids
        var writeIds = Object.keys(this.config.states[state].write);
        var trigger = {id: this.namespace + '.' + state, change: 'any', ack: false};

        on(trigger, function (obj) {
            "use strict";
            log('detected change of ' + state, 'debug');
            for (var i = 0; i < writeIds.length; i++) {
                let writeObj = this.config.states[state].write[writeIds[i]];
                let val = this.convertValue(obj.state.val, writeObj.convert);
                let writeId = writeIds[i];
                log('executing function before for ' + writeId, 'debug');
                writeObj.before(this, val, function (newVal, newDelay) {
                    if (newVal !== undefined && newVal !== null) val = newVal;
                    var delay = writeObj.delay;
                    if (newDelay !== undefined && newDelay !== null) delay = newDelay;
                    log(newVal + 'writing value ' + val + ' to ' + writeId + ' with delay ' + delay, 'debug');
                    setStateDelayed(writeId, val, false, delay || 0, true, function () {
                        log('executing function after for ' + writeId, 'debug');
                        writeObj.after(this, val);
                    }.bind(this));
                }.bind(this));
            }
        }.bind(this));

        log('connected ' + state + ' to ' + JSON.stringify(writeIds), 'debug');
    }.bind(this), 500);
};
  
VirtualDevice.prototype.subRead = function (trigger, readObj, state) {
    var func = function (obj) {
        var val = this.convertValue(obj.state.val, readObj.convert);
 
        log('executing function before for ' + trigger.id, 'debug');
        readObj.before(this, val, function (newVal, newDelay) {
            if (newVal !== undefined && newVal !== null) val = newVal;
            if (newDelay !== undefined && newDelay !== null) writeObj.delay = newDelay;
            log('reading value ' + val + ' to ' + this.namespace + '.' + state, 'debug');
            setStateDelayed(this.namespace + '.' + state, val, true, readObj.delay || 0, true, function () {
                log('executing function after for ' + trigger.id, 'debug');
                readObj.after(this, val);
            }.bind(this));
        }.bind(this));
    }.bind(this);
    func({state: getState(trigger.id)});
    on(trigger, func);
};
 
VirtualDevice.prototype.convertValue = function (val, func) {
    if (typeof func !== 'function') {
        return val;
    }
    return func(val);
};

var deviceId = 'Deckenlicht';
var namespace = 'Ankleide';
var path = preNameSpace + namespace + '.' + deviceId;

new VirtualDevice({
    namespace: namespace,
    name: deviceId,
    states: {
        'name': {
            common: {name: 'name', role: 'text', type: 'string', desc: 'name', read: true, write: false, def: namespace + ' - ' + deviceId},
            stateValue: namespace + ' - ' + deviceId
        },
        'isTelegramInfo': {
            common: {name: 'TelegramInfo wird durch JavaScript gesetzt', role: 'state', type: 'boolean', desc: 'TelegramInfo', read: true, write: true, def: true},
            stateValue: true
        },
        'isTelegramInfoSwitch': {
            common: {name: 'TelegramInfo wird durch JavaScript gesetzt', role: 'state', type: 'boolean', desc: 'TelegramInfo', read: true, write: true, def: true},
            stateValue: true
        },
        'switch': {
            common: {name: 'switch', role: 'switch', type: 'boolean', desc: 'switch', def: false, read: true, write: true,
                custom: {
                    'influxdb.0': {
                        'enabled': true,
                        'changesOnly': true,
                        'debounce': 0,
                        'maxLength': 10,
                        'retention': 0,
                        'changesRelogInterval': 30,
                        'changesMinDelta': 0,
                        'storageType': '',
                        'aliasId': ''
                    }
                }
            },
            read: {
                'mqtt.0.shellies.shelly1-555EDB.relay.0': {
                    convert: function (val) {
                        if (val == 'on') {
                            val = true;
                        } else {
                            val = false;
                        }
                        return val;
                    },
                    trigger: setTimeout(function(){
                                on({id:path + '.switch', change: 'ne'}, function (obj) {
                                    if (getState(path + '.isTelegramInfoSwitch').val === true) {
                                        var value = obj.state.val;
                                        var name = getState(path + '.name').val;

                                        _sendLogToTelegram(_findCorrectEmoji(name + ' wurde ' + (value === true ? 'eingeschaltet.' : 'ausgeschaltet.')));
                                    } 
                                })
                            }, 500)
                },
            },
            write: {
                'mqtt.0.shellies.shelly1-555EDB.relay.0.command': {
                    convert: function (val) {
                        if (val === true) {
                            val ='on';
                        } else {
                            val = 'off';
                        }
                        return val;
                    },
                },
            }
        },
        'online': {
            common: {name: 'online', role: 'variable', type: 'boolean', desc: 'online', read: true, write: false, def: false,
                custom: {
                    'influxdb.0': {
                        'enabled': true,
                        'changesOnly': true,
                        'debounce': 0,
                        'maxLength': 10,
                        'retention': 0,
                        'changesRelogInterval': 30,
                        'changesMinDelta': 0,
                        'storageType': '',
                        'aliasId': ''
                    }
                }
            },
            read: {
                'mqtt.0.shellies.shelly1-555EDB.online': {
                    trigger: setTimeout(function(){
                            on({id:path + '.online', change: 'ne'}, function (obj) {
                                var value = obj.state.val;

                                if (value === false) {
                                    setState('AllOwnCreated.0.shelly.isWrongState', true);
                                }

                                if (getState(path + '.isTelegramInfo').val === true) {
                                    var name = getState(path + '.name').val;

                                    _sendLogToTelegram(_findCorrectEmoji('OnlineStatus: ' + name + ' ist ' + (value === true ? 'wieder' : 'nicht') + ' erreichbar.'));
                                } 
                            })
                        }, 500)
                },
            },
            write: {}
        },
        'command': {
            common: {name: 'command', role: 'variable',  type: 'string', desc: 'command', read: true, write: true, def: ''},
            read: {
                'mqtt.0.shellies.shelly1-555EDB.command': {},
            },
            write: {
                'mqtt.0.shellies.shelly1-555EDB.command': {
                },
            }
        },
        'announce': {
            common: {name: 'announce', role: 'variable',  type: 'string', desc: 'announce', read: true, write: false, def: ''},
            read: {
                'mqtt.0.shellies.shelly1-555EDB.announce': {
                    convert: function (val) {
                       var jsonValue = JSON.parse(val);
                       
                        calculateJson(jsonValue, 'Info');

                        return val;
                    },
                },
            },
        },
        'info': {
            common: {name: 'info', role: 'variable',  type: 'string', desc: 'info', read: true, write: false, def: ''},
            read: {
                'mqtt.0.shellies.shelly1-555EDB.info': {},
            },
        },      
    }
}); 

function calculateJson(jsonValue, subFolder) {
    for (var key in jsonValue) {
        if (jsonValue.hasOwnProperty(key)) {
            try {  
                var jsonNewValue = JSON.parse(jsonValue[key]);  

                calculateJson(jsonNewValue)
            } catch (e) {
                if (typeof jsonValue[key] == 'object') {
                    for (var item in jsonValue[key]) {
                        //var commonType = getCommonType(item);
                        var commonType = null;
                        doCreateStates(path + '.' + subFolder +'.' + item, item, jsonValue[key][item], commonType) 
                    }
                } else {
                    doCreateStates(path + '.' + subFolder + '.' + key, key, jsonValue[key])    
                }    
            }
        }
    }
}

function doCreateStates(newObject, name, value, commonType) {
    var obj = getObject(newObject);

    if (commonType == undefined) {
        commonType = {'name': name, 'role': 'state', 'type': 'string', desc: name, read: true, write: false, def: ''};
    }

    if (commonType['type'] == 'number') {
        
    } else {
        value = '' + value;
    }

	if (!obj) {
		setObject(newObject, {
			type: 'state',
			common: commonType,
			native: {}
		}, function(err, obj) {
			if (!err && obj) {
				console.log('Object for ' + obj.id + ' created');
                setState(newObject, value, true);
			}
		});
	} else {
        setState(newObject, value, true);    
    }

    if (name == 'LWT') {
        setTimeout(function() {
            on({id:newObject, change: 'ne'}, function (obj) {
                if (getState(path + '.isTelegramInfo').val === true) {
                    var value = obj.state.val;
                    var name = getState(path + '.name').val;

                    _sendLogToTelegram(_findCorrectEmoji(name + ' wurde neu gestartet. Grund: ' + value));
                } 
            })
        }, 500)    
    }
}

[apollon77]

@homecineplexx naja wenn duhier mit einem JavaScript sehr viele "States mirrorst" dann ist das ja alles "Ok" dasdie Zahl so hoch ist - was willst Du da noch optimieren :-) (Ausser es auf echte Aliases umzubauen, dann brauchst Du solche Skripte nicht) ...

[Diginix]

@apollon77 Vermute mal ja. Das Update war ja nur der Auslöser für den Neustart. Ich warte mal was @AlCalzone zu meinen Dateien sagt und dann kann ich das auch noch mal testen ohne Updates oder sonstige Änderungen.