Shelly 1 pm, Influx und Grafana Logging Unterbrechung

apollon77

@rebel85neee keine Unterbrechung. Fängt bei 0 wieder an. Denke shelly rebooted?

Shelly zählt die Gesamtzahl nur bei sich in der Cloud und nicht lokal im Gerät. Kannst du mit einem JavaScript Skript nachbauen.

rebel85

@crunchip eine shelly instanz mit mehreren shelly

crunchip

@rebel85 dann sollte es auch laufen

rebel85

@crunchip

ich muss nichts umstellen oder so?
warum schmiert dann mein iobroker ab?
hmmmm

apollon77

@rebel85 definiere „iobroker schmiert ab“? Was genau? Logfile? Details?

rebel85

@apollon77 sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

@rebel85 definiere „iobroker schmiert ab“? Was genau? Logfile? Details?

wie nen reboot und das skript ist wieder aus
sobald das skript läuft, erst kommt der runde ladebalken und dann ne iobroker neu anmeldung.
log hatte ich in der zeit keinen gefunden.

apollon77

@rebel85 ok nochmal was passiert wie wann? Das Was du beschreibst ist das der Browser die Seite neu lädt. Nichts anderes. Also mal ganz genau. Was hast du im Browser offen. Was passiert dann das der Browser neu lädt. Weil nen „restart vom iobroker“ würdest du im logfile sehen.

crunchip

@rebel85 sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

wie nen reboot und das skript ist wieder aus

Wie schon geschrieben, den Logauszug dazu

crunchip

@rebel85 sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

ich muss nichts umstellen oder so

Nein, starten dann werden nach und nach die Datenpunkte angelegt.( und das müsste auch im log auftauchen)
Ausser es hat sich zwischendrin was eingeschlichen/Änderung am Script so wie ich das auf die schnelle auf der Seite gesehen habe, zwecks shelly 3em.

rebel85

@crunchip sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

@rebel85 sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

ich muss nichts umstellen oder so

Nein, starten dann werden nach und nach die Datenpunkte angelegt.( und das müsste auch im log auftauchen)
Ausser es hat sich zwischendrin was eingeschlichen/Änderung am Script so wie ich das auf die schnelle auf der Seite gesehen habe, zwecks shelly 3em.

könntest du mir dann mal bitte dein skript posten?

crunchip

@rebel85 kann ich machen, gib mir ne viertel Std

rebel85

@crunchip sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

@rebel85 kann ich machen, gib mir ne viertel Std

bin heute abend erst wieder online, Danke, have a nice day

crunchip

@rebel85

/*
* @copyright 2021 Stephan Kreyenborg <stephan@kreyenborg.koeln>
*
* @author 2021 Stephan Kreyenborg <stephan@kreyenborg.koeln>
*
* Dieses Skript dient zur freien Verwendung in ioBroker zur Verbrauchserfassung der Shelly Geräte.
* Jegliche Verantwortung liegt beim Benutzer. Das Skript wurde unter Berücksichtigung der bestmöglichen Nutzung
* und Performance entwickelt.
* Der Entwickler versichert, das keine böswilligen Systemeingriffe im originalen Skript vorhanden sind.
*
* Sollte das Skript wider Erwarten nicht korrekt funktionieren, so hast Du jederzeit die Möglichkeit, Dich auf
* https://www.kreyenborg.koeln
* für Unterstützung zu melden. Jedes Skript besitzt seine eigene Kommentarseite, auf der,
* nach zeitlicher Möglichkeit des Autors, Hilfe angeboten wird. Ein Anrecht hierauf besteht nicht!
*
* Ansprüche gegenüber Dritten bestehen nicht.
*
* Skript Name: Shelly-Verbrauch
* Skript Version: 1.60
* Erstell-Datum: 08. Oktober 2021 | Update: 21. April 2022
*
*/

// Datenpunkte neu erstellen
var ueberschreiben = false;

// Hauptdatenpunkt unterhalb javascript
var datenpunkt = "ShellyVerbrauch."; // Abschließender Punkt !!! WICHTIG !!!

// Verbrauchs Objekte der einzelnen Shelly
var objekt = ["gesamt", "dieses_jahr", "letztes_jahr", "letzter_monat", "dieser_monat", "letzte_woche",
"diese_woche", "gestern", "heute", "alter_wert", "aktueller_wert"];

// Beschreibung der Objekte
var beschreibung = ["Gesamter Vebrauch des Shelly", "Verbrauch aktuelles Jahr", "Verbrauch letztes Jahr",
"Verbrauch letzten Monat", "Verbrauch aktueller Monat", "Verbrauch letzte Woche", "Verbrauch diese Woche",
"Verbrauch gestern", "Verbrauch heute", "Messwert alt", "Messwert neu"];

// Datenpunkt der Shelly (Standard: shelly.0)
var shelly_dp = "shelly.0";

// Datenpunkte der Shelly (!!! Bitte nicht ändern !!!)
var shellyDps = $('state[id=' + shelly_dp + '.*.*.Energy]');

// Datenpunkte der Shelly 3EM DP
var shelly3EMDps = $('state[id=' + shelly_dp + '.*.*.Total]');

// Datenpunkte der Shelly 3EM DP - Total
var shelly3EMTotalDps = $('state[id=' + shelly_dp + '.*.*.ConsumedPower]');

// Datenpunkte der Shelly Namen (!!! Bitte nicht ändern !!!)
var shellyDpsName = $('state[id=' + shelly_dp + '.*.name]');

// Shelly Verbrauch aktualisieren - nachts um 00:00 Uhr
function shelly_vebrauch_tag() {
// Nochmals das Tagesupdate durchlaufen, damit die restlichen Werte gelesen werden
shelly_verbrauch_update();

// Datumsvariable
var heute = new Date();

// Heute zu Gestern verschieben. Täglich um 00:00 Uhr
verschiebe_verbrauch_objekt("heute", "gestern");
log("Shelly Verbrauch: Werte für gestern und heute aktualisiert!");

// aktuelle Woche in letzte Woche verschieben. Am Montag um 00:00 Uhr
if (heute.getDay() === 1) {
verschiebe_verbrauch_objekt("diese_woche", "letzte_woche");
log("Shelly Verbrauch: Werte für diese und letzte Woche aktualisiert!");
}

// aktueller Monat in letzten Monat verschieben. Am 1. des Monats um 00:00 Uhr
if (heute.getDate() === 1) {
verschiebe_verbrauch_objekt("dieser_monat", "letzter_monat");
log("Shelly Verbrauch: Werte für diesen und letzten Monat aktualisiert!");
}

// aktuelles Jahr in letztes Jahr verschieben. Am 1. des Monats am 1. Monat um 00:00 Uhr
if (heute.getDate() === 1 && heute.getMonth() === 0) {
verschiebe_verbrauch_objekt("dieses_jahr", "letztes_jahr");
log("Shelly Verbrauch: Werte für dieses und letztes Jahr aktualisiert!");
}
}

// Tagesverbrauch alle 15 Min von der Original Variable des Shelly in eigene Variable kopieren
function shelly_verbrauch_update() {
var anzahl_updates = 0;
var anzahl_reboots = 0;
var anzahl_gleich = 0;
shellyDps.each(function (id, i) {
var shelly_verbrauch = getState(id).val;
// Einige Shelly haben keine Verbrauchswerte (noch nicht)
if (shelly_verbrauch != null) {
// Hole aktuellen Wert, um zu kontrollieren, ob ein Reboot stattgefunden hat
var aktueller_wert = getState(shelly_DP(id) + "aktueller_wert").val;
var alter_wert = 0;
// Prüfe alten und neuen Wert
if (shelly_verbrauch > aktueller_wert) {
// Verbrauchswert ist größer als alter Wert -> es wurde kein Reboot durchgeführt
setState(shelly_DP(id) + "alter_wert", aktueller_wert, true);
alter_wert = aktueller_wert;
anzahl_updates++;
}
if (aktueller_wert > shelly_verbrauch) {
// Verbrauchswert ist kleiner als alter Wert -> es wurde ein Reboot durchgeführt
setState(shelly_DP(id) + "alter_wert", 0, true);
alter_wert = 0;
anzahl_reboots++;
}
if (shelly_verbrauch == aktueller_wert) {
// Verbrauchswert ist gleich wie alter Wert -> kein Update notwendig
alter_wert = aktueller_wert;
anzahl_gleich++;
}

setState(shelly_DP(id) + "aktueller_wert", shelly_verbrauch, true);
// Alter und neuer Wert -> aktuelle Differenz

var verbrauch = parseFloat(shelly_verbrauch) - alter_wert;
// Tagesverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "heute", verbrauch);

// Wochenverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "diese_woche", verbrauch);

// Monatsverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "dieser_monat", verbrauch);

// Jahresverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "dieses_jahr", verbrauch);

// Gesamten Vebrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "gesamt", verbrauch);
}
});
shelly3EMDps.each(function (id, i) {
var shelly_verbrauch = getState(id).val;
// Einige Shelly haben keine Verbrauchswerte (noch nicht)
if (shelly_verbrauch != null) {
// Hole aktuellen Wert, um zu kontrollieren, ob ein Reboot stattgefunden hat
var aktueller_wert = getState(shelly_DP(id) + "aktueller_wert").val;
var alter_wert = 0;
// Prüfe alten und neuen Wert
if (shelly_verbrauch > aktueller_wert) {
// Verbrauchswert ist größer als alter Wert -> es wurde kein Reboot durchgeführt
setState(shelly_DP(id) + "alter_wert", aktueller_wert, true);
alter_wert = aktueller_wert;
anzahl_updates++;
}
if (aktueller_wert > shelly_verbrauch) {
// Verbrauchswert ist kleiner als alter Wert -> es wurde ein Reboot durchgeführt
setState(shelly_DP(id) + "alter_wert", 0, true);
alter_wert = 0;
anzahl_reboots++;
}
if (shelly_verbrauch == aktueller_wert) {
// Verbrauchswert ist gleich wie alter Wert -> kein Update notwendig
alter_wert = aktueller_wert;
anzahl_gleich++;
}

setState(shelly_DP(id) + "aktueller_wert", shelly_verbrauch, true);
// Alter und neuer Wert -> aktuelle Differenz

var verbrauch = parseFloat(shelly_verbrauch) - alter_wert;
// Tagesverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "heute", verbrauch);

// Wochenverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "diese_woche", verbrauch);

// Monatsverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "dieser_monat", verbrauch);

// Jahresverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "dieses_jahr", verbrauch);

// Gesamten Vebrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "gesamt", verbrauch);
}
});
shelly3EMTotalDps.each(function (id, i) {
var shelly_verbrauch = getState(id).val;
// Einige Shelly haben keine Verbrauchswerte (noch nicht)
if (shelly_verbrauch != null) {
// Hole aktuellen Wert, um zu kontrollieren, ob ein Reboot stattgefunden hat
var aktueller_wert = getState(shelly_DP(id) + "aktueller_wert").val;
var alter_wert = 0;
// Prüfe alten und neuen Wert
if (shelly_verbrauch > aktueller_wert) {
// Verbrauchswert ist größer als alter Wert -> es wurde kein Reboot durchgeführt
setState(shelly_DP(id) + "alter_wert", aktueller_wert, true);
alter_wert = aktueller_wert;
anzahl_updates++;
}
if (aktueller_wert > shelly_verbrauch) {
// Verbrauchswert ist kleiner als alter Wert -> es wurde ein Reboot durchgeführt
setState(shelly_DP(id) + "alter_wert", 0, true);
alter_wert = 0;
anzahl_reboots++;
}
if (shelly_verbrauch == aktueller_wert) {
// Verbrauchswert ist gleich wie alter Wert -> kein Update notwendig
alter_wert = aktueller_wert;
anzahl_gleich++;
}

setState(shelly_DP(id) + "aktueller_wert", shelly_verbrauch, true);
// Alter und neuer Wert -> aktuelle Differenz

var verbrauch = parseFloat(shelly_verbrauch) - alter_wert;
// Tagesverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "heute", verbrauch);

// Wochenverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "diese_woche", verbrauch);

// Monatsverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "dieser_monat", verbrauch);

// Jahresverbrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "dieses_jahr", verbrauch);

// Gesamten Vebrauch aktualisieren
aktualisiere_vebrauch_objekt(id, "gesamt", verbrauch);
}
});
aktualisiere_namen();
log("Shelly Verbrauch: Verbrauchswerte aktualisiert: " + anzahl_updates + " | Reboots korrigiert: " + anzahl_reboots + " | Unveränderte Werte: " + anzahl_gleich);
}

// aktualisiert das jeweilige Verbrauchs-Objekt und addiert den Verbrauch dazu
function aktualisiere_vebrauch_objekt(dp, objekt, wert) {
// Hole alten Verbrauch
let alter_verbrauch = getState(shelly_DP(dp) + objekt).val;
let verbrauch = 0;
// Kein Wert vorhanden - nutze den übermittelten Wert
if (alter_verbrauch<1 || alter_verbrauch==null) {
verbrauch = parseFloat(wert)
} else {
verbrauch = parseFloat(alter_verbrauch) + parseFloat(wert);
}
setState(shelly_DP(dp) + objekt, parseFloat(verbrauch.toFixed(2)), true);
}

// Verschiebt das jeweilige Verbrauchs-Objekt und nullt den Ursprung (Tag, Woche, Monat, Jahr)
function verschiebe_verbrauch_objekt(von, nach) {
$('state[id=*.' + datenpunkt + '*.*.' + von + ']').each(function (id, i) {
// Temporärer Gruppen-Datenpunkt
var tmp_dp = id.slice(0, -(von.length));
var verbrauch = getState(id).val;
if (verbrauch != null) {
setState(tmp_dp + nach, verbrauch, true);
}
// Setze "von" zurück
setState(id, 0, true);
});
}

// Funktion um die aktuellen Namen des Shelly abzuholen
function aktualisiere_namen() {
if (typeof extendObject === "function") {
shellyDpsName.each(function (id, i) {
if (existsState(id)) {
setState(shelly_DP_Name(id), String(getState(id).val), true);
extendObject("javascript.0." + shelly_DP_Name_Main(id), {
common: {
name: String(getState(id).val),
desc: String(getState(id).val)
}, type: "channel"
});
}
});
}
}

// Erstelle die benötigten Datenpunkte
function datenpunkte_erstellen() {
// Anzahl der gefundenen Shelly
var anzahl = shellyDps.length;

shellyDps.each(function (id, j) {
var initial_wert = 0.0;
for (var i = 0; i < objekt.length; i++) {
// Startwerte werden nur bei alter_wert und aktueller_wert eingetragen
if (i > 8) {
initial_wert = getState(id).val;
}
createState(shelly_DP(id) + objekt[i], initial_wert, ueberschreiben, {
name: beschreibung[i],
desc: beschreibung[i],
type: "number",
role: "value.power",
unit: "Wh"
});
}
});

// Anzahl der gefundenen Shelly 3EM
var anzahl_3em = shelly3EMDps.length;

shelly3EMDps.each(function (id, j) {
var initial_wert = 0.0;
for (var i = 0; i < objekt.length; i++) {
// Startwerte werden nur bei alter_wert und aktueller_wert eingetragen
if (i > 8) {
initial_wert = getState(id).val;
}
createState(shelly_DP(id) + objekt[i], initial_wert, ueberschreiben, {
name: beschreibung[i],
desc: beschreibung[i],
type: "number",
role: "value.power",
unit: "Wh"
});
}
});

// Anzahl der gefundenen Shelly 3EM - Total
var anzahl_3em_total = shelly3EMTotalDps.length;

shelly3EMTotalDps.each(function (id, j) {
var initial_wert = 0.0;
for (var i = 0; i < objekt.length; i++) {
// Startwerte werden nur bei alter_wert und aktueller_wert eingetragen
if (i > 8) {
initial_wert = getState(id).val;
}
createState(shelly_DP(id) + objekt[i], initial_wert, ueberschreiben, {
name: beschreibung[i],
desc: beschreibung[i],
type: "number",
role: "value.power",
unit: "Wh"
});
}
});

// Alle Datenpunkte erstellt. Frage ersten Verbrauch ab!
log("Shelly Verbrauch: Datenpunkte erstellt! Erster Verbrauch steht nach 30 Sekunden zur Verfügung! Anzahl gefundener Shelly Datenpunkte: " + (anzahl_3em + anzahl + anzahl_3em_total));
setTimeout(shelly_verbrauch_update, 30000);

// Datenpunkte für die Namen der Shelly erstellen
shellyDpsName.each(function (id, j) {
createState(shelly_DP_Name(id), "", ueberschreiben, {
name: "Name des Shelly",
desc: "Name des Shelly",
type: "string",
role: "value",
unit: ""
});
});
}

function shelly_DP(dp) {
dp = dp.split(".");
dp = datenpunkt + dp[2] + "." + dp[3] + ".";
return dp;
}

function shelly_DP_Name(dp) {
dp = dp.split(".");
dp = datenpunkt + dp[2] + "." + dp[3];
return dp;
}

function shelly_DP_Name_Main(dp) {
dp = dp.split(".");
dp = datenpunkt + dp[2];
return dp;
}

function shelly_verbrauch_erster_start() {
log("Shelly Verbrauch: Erster Start des Skriptes! Datenpunkte werden erstellt!");
// Datenpunkte werden erstellt
datenpunkte_erstellen();
}

// Erster Start und Initialisierung
shelly_verbrauch_erster_start();

// Alle 15 Minuten das Skript für den Tagesverbrauch ausführen
schedule('*/15 * * * *', shelly_verbrauch_update);

// Nachts um 24 Uhr werden die Werte in andere Variablen gespeichert, um den Verlauf zu erstellen
schedule('0 0 * * *', shelly_vebrauch_tag);

rebel85

@crunchip
wieder ein reset
komisch, nur wenn ich das skript starte

meine JS instanz

rebel85

@crunchip
muss ich noch irgendwas manuel anlegen?
oder macht es das skript automatisch?

ist dafür evtl. eine bestimmte npm version fällig?
ich habeb 6.14.xx irgendwie

crunchip

@rebel85 nein anlegen musst du nix, das macht das Script automatisch. Steht ja auch im Log unterhalb des Scriptes und gefundene Datenpunkte 22

Npm6, dann solltest du mal im Forum nach dem passenden Thread suchen, node update und dein System mal auf aktuellen Stand bringen.

rebel85

hier mal der log von heute, vllt. ist da ja was zu finden.
habe heute auf die aktuelle admin version geupdatet

iobroker.2022-08-24.log

apollon77

@rebel85 Bitte poste das log direkt von der Platte ... /opt/iobroker/log/... ... Du hast aktuell irgendwelchem HTML Zeug drin. Das kann ja einer lesen.

Was aber scheinbar passiert ist das das Skript den js-controller zum crashen bringt und damit alles neu startet. Diese Art crash haben wir bisher 2 mal gesehen und ist meega selten - wird im nächsten js-controller gefixt sein.

Poste nochmal das gescheite log das ich meine vermutung verifizieren kann

rebel85

@apollon77 sagte in Shelly 1 pm, Influx und Grafana Logging Unterbrechung:

@rebel85 Bitte poste das log direkt von der Platte ... /opt/iobroker/log/... ... Du hast aktuell irgendwelchem HTML Zeug drin. Das kann ja einer lesen.

Was aber scheinbar passiert ist das das Skript den js-controller zum crashen bringt und damit alles neu startet. Diese Art crash haben wir bisher 2 mal gesehen und ist meega selten - wird im nächsten js-controller gefixt sein.

Poste nochmal das gescheite log das ich meine vermutung verifizieren kann

hi,
hier bitte
iobroker.2022-08-24.log
iobroker.2022-08-22.log

apollon77

@rebel85 Also erstmal generell ... solltest Dir mal die ganzen Fehler im Log ansehen.

getaddrinfo EAI_AGAIN <domainname> sagt das dieser DNS Technisch nicht aufgelöst werden kann. Und damit tuen adapter halt nicht!
EHOSTUNREACH sagt das da eine IP angegeben ist aber der Host nicht erreichbar ist

Und jupp dann legt das Skript scheinbar massenhaft Objekte an und dabei kommt es zu

2022-08-22 20:42:51.631  - [31merror[39m: host.iobroker uncaught exception: null must be RESP Buffer value
2022-08-22 20:42:51.632  - [31merror[39m: host.iobroker TypeError: null must be RESP Buffer value
    at Function.encodeArray (/opt/iobroker/node_modules/respjs/index.js:62:45)
    at RedisHandler._sendExecResponse (/opt/iobroker/node_modules/@iobroker/db-base/lib/redisHandler.js:452:62)
    at RedisHandler._handleMultiResponse (/opt/iobroker/node_modules/@iobroker/db-base/lib/redisHandler.js:472:18)
    at RedisHandler.sendString (/opt/iobroker/node_modules/@iobroker/db-base/lib/redisHandler.js:292:22)
    at RedisHandler.<anonymous> (/opt/iobroker/node_modules/@iobroker/db-objects-jsonl/lib/objects/objectsInMemServerRedis.js:568:25)
    at RedisHandler.emit (events.js:400:28)
    at RedisHandler.emit (domain.js:475:12)
    at Immediate.<anonymous> (/opt/iobroker/node_modules/@iobroker/db-base/lib/redisHandler.js:145:37)
    at processImmediate (internal/timers.js:464:21)

Damit restarted der js-controller. Man kann jetzt das Skript umbauen und "langsamer" machen oder du baust den workaround ein den wir mal mit einem user erarbeitet haben.

Der Workaround ist:

iobroker stoppen:
Editieren der /opt/iobroker/node_modules/@iobroker/db-base/lib/redisHandler.js (vorher kopie anlegen!)
Füge bei Zeile 33 (https://github.com/ioBroker/ioBroker.js-controller/blob/4.0.x/packages/db-base/lib/redisHandler.js#L33) eine Zeile ein mit

this.responseId = 0;

Ersetze Zeile 103 (https://github.com/ioBroker/ioBroker.js-controller/blob/4.0.x/packages/db-base/lib/redisHandler.js#L103) durch die folgenden 2 Zeilen

        if (this.responseId === Number.MAX_VALUE) this.responseId = 0;
        const responseId = ++this.responseId;

Dann schau mit "iob status" ob es generell tut. Wenn ja ioBroker wieder starten.
Nochmal Dein Skript versuchen

NEWS

Shelly 1 pm, Influx und Grafana Logging Unterbrechung

Support us

577
Online

31.9k
Users

80.1k
Topics

1.3m
Posts

NEWS

Shelly 1 pm, Influx und Grafana Logging Unterbrechung

Support us

577Online

31.9kUsers

80.1kTopics

1.3mPosts

577
Online

31.9k
Users

80.1k
Topics

1.3m
Posts