Daten aus der Fritzbox visualisieren

fastfoot

@werners genau, MySql verlangt den DB Namen vor den Tabellen. Es gibt eig. keinen Grund die DB anders zu benennen, und auch keinen den dann zu verheimlichen

WernerS

@fastfoot

Also er hat jetzt was gerechnet aber die Werte sind die vom 30.09. Ich habe mal in der Datenbank geschaut und die Werte gecheckt. Die sind nicht 100% gleich. Irgendwas stimmt da noch nicht. Kann es sein er hat was gerechnet und der Unterschied ist ein Rundungsfehler?

0_userdata.0.FritzBox.Traffic.Monat_IN 38509464882
0_userdata.0.FritzBox.Traffic.Tag_IN 38509510547

Gruß
Werner

fastfoot

@werners ich kenne weder dein Skript noch deine Daten, wie soll ich da helfen? Hast du denn die Änderungen von Ro75 eingepflegt?

Ro75

@werners hast du den Code von Post 62 übernommen?

Ro75

WernerS

@ro75
@fastfoot

Sorry fastfoot das wusste ich nicht. Also mit Post 62 kann ich hier nichts finden.
Ich hänge mal mein Script an vielleicht hilft das weiter

const Traffic_IN            = '0_userdata.0.FritzBox.Traffic.Traffic_IN';  // protokollieren mit SQL! Ggfs. zusätzlich mit Influx
const Traffic_OUT           = '0_userdata.0.FritzBox.Traffic.Traffic_OUT';  // protokollieren mit SQL! Ggfs. zusätzlich mit Influx
const Traffic_Tag_IN        = '0_userdata.0.FritzBox.Traffic.Tag_IN';  // protokollieren mit SQL! Ggfs. zusätzlich mit Influx
const Traffic_Tag_OUT       = '0_userdata.0.FritzBox.Traffic.Tag_OUT';  // protokollieren mit SQL! Ggfs. zusätzlich mit Influx
const Traffic_Monat_IN      = '0_userdata.0.FritzBox.Traffic.Monat_IN';  // protokollieren mit SQL! Ggfs. zusätzlich mit Influx
const Traffic_Monat_OUT     = '0_userdata.0.FritzBox.Traffic.Monat_OUT';  // protokollieren mit SQL! Ggfs. zusätzlich mit Influx

// die oberen 6 DP müssen protokolliert werden!

const sTraffic_Monat_IN     = '0_userdata.0.FritzBox.Traffic.Traffic_Monat_IN';
const sTraffic_Monat_OUT    = '0_userdata.0.FritzBox.Traffic.Traffic_Monat_OUT';

createState(Traffic_IN, 0, {type: 'number', read: true, write: true});
createState(Traffic_OUT, 0, {type: 'number', read: true, write: true});
createState(Traffic_Tag_IN, 0, {type: 'number', read: true, write: true});
createState(Traffic_Tag_OUT, 0, {type: 'number', read: true, write: true});
createState(Traffic_Monat_IN, 0, {type: 'number', read: true, write: true});
createState(Traffic_Monat_OUT, 0, {type: 'number', read: true, write: true});

createState(sTraffic_Monat_IN, 0, {type: 'number', read: true, write: true});
createState(sTraffic_Monat_OUT, 0, {type: 'number', read: true, write: true});

var IPV4='';
var IPV4I='';

var tIN_NEW = 0;
var tIN_OLD = 0;
var tIN_DIFF = 0;
var tIN_SUM = 0;

var tOUT_NEW = 0;
var tOUT_OLD = 0;
var tOUT_DIFF = 0;
var tOUT_SUM = 0;

//Summierung der Tageswerte via SQL für Monatsergebnis

function TrafficlfdMonat() {
    const moment = require("moment");
    let dateX=moment().format();
    var Stunden = ((parseFloat(formatDate(dateX, "TT"))-1)*24)*-1;
    
    var Ergebnis = ErstelleZahl(getState(Traffic_IN).val);
    sendTo('sql.0', 'query', 'SELECT id FROM iobrokerslave02.datapoints WHERE name="0_userdata.0.FritzBox.Traffic.Tag_IN"', function (result) {
        if (!result.error) {
            var now = new Date();
            now.setHours(Stunden);
            sendTo('sql.0', 'query', 'SELECT SUM(val) AS val FROM iobrokerslave02.ts_number WHERE ts >= ' + now.getTime() + ' AND id=' + result.result[0].id, function (result) {
                Ergebnis = Ergebnis + ErstelleZahl(parseFloat(result.result[0].val));
            });
        }
    });
    setTimeout(function(){
        setState(sTraffic_Monat_IN, Ergebnis, true);
    },100);
 
    var ErgebnisII = ErstelleZahl(getState(Traffic_OUT).val);
    sendTo('sql.0', 'query', 'SELECT id FROM iobrokerslave02.datapoints WHERE name="0_userdata.0.FritzBox.Traffic.Tag_OUT"', function (result) {
        if (!result.error) {
            var now = new Date();
            now.setHours(Stunden);
            sendTo('sql.0', 'query', 'SELECT SUM(val) AS val FROM iobrokerslave02.ts_number WHERE ts >= ' + now.getTime() + ' AND id=' + result.result[0].id, function (result) {
                ErgebnisII = ErgebnisII + ErstelleZahl(parseFloat(result.result[0].val));
            });
        }
    });
    setTimeout(function(){
        setState(sTraffic_Monat_OUT, ErgebnisII, true);
    },100);
}

//um die Monatssumme "laufend" zu halten
schedule('*/2 * * * *', function Auswertung7() {
    TrafficlfdMonat();
});

// Berechnung Empfangsrichtung
on({id: 'upnp.0.WANDevice_-_FRITZ!Box_7490.WANDevice.WANCommonInterfaceConfig.TotalBytesReceived', change: 'any'}, function(dp) { //DP ggfs. anpassen
    if (IPV4 == '') {
        IPV4 = getState('tr-064.0.states.externalIP').val;
    }

    tIN_OLD=tIN_NEW;
    tIN_NEW = parseFloat(dp.state.val);
    if (tIN_OLD == 0) {
        tIN_OLD=tIN_NEW;
    } else {
        if (IPV4 == getState('tr-064.0.states.externalIP').val) {
            tIN_DIFF=tIN_NEW-tIN_OLD;
        } else {
            IPV4 = getState('tr-064.0.states.externalIP').val;
            tIN_DIFF=tIN_NEW;
        }

        if (tIN_DIFF < 0) {
            tIN_DIFF=(4294967295-tIN_OLD)+tIN_NEW; //der Counter geht nur bis 4294967295, danach wieder ab 0 >> Berechnung
        }
        tIN_SUM=tIN_SUM+tIN_DIFF;
        var oIn = parseFloat(getState(Traffic_IN).val);
        setState(Traffic_IN, (oIn+tIN_DIFF)*1);
    }
});

// Berechnung Senderichtung

on({id: 'upnp.0.WANDevice_-_FRITZ!Box_7490.WANDevice.WANCommonInterfaceConfig.TotalBytesSent', change: 'any'}, function(dp) {

    if (IPV4I == '') {

        IPV4I = getState('tr-064.0.states.externalIP').val;

    }

 

    tOUT_OLD=tOUT_NEW;

    tOUT_NEW = parseFloat(dp.state.val);

 

    if (tOUT_OLD == 0) {

        tOUT_OLD=tOUT_NEW;

    } else {

        if (IPV4I == getState('tr-064.0.states.externalIP').val) {

            tOUT_DIFF=tOUT_NEW-tOUT_OLD;

        } else {

            IPV4I = getState('tr-064.0.states.externalIP').val;

            tOUT_DIFF=tOUT_NEW;

        }

 

        if (tOUT_DIFF < 0) {

            tOUT_DIFF=(4294967295-tOUT_OLD)+tOUT_NEW; //der Counter geht nur bis 4294967295, danach wieder ab 0 >> Berechnung

        }

        tOUT_SUM=tOUT_SUM+tOUT_DIFF;

        var oOUT = parseFloat(getState(Traffic_OUT).val);

        setState(Traffic_OUT, (oOUT+tOUT_DIFF)*1);

    }

});

 

//Tages und Monatswert in DP schreiben

schedule('30 59 23 * * *', function TrafficTagesWert() {

    setState(Traffic_Tag_IN, getState(Traffic_IN).val);

    setState(Traffic_Tag_OUT, getState(Traffic_OUT).val);

 

    //Reset für neuen Tag

    tOUT_SUM=0;

    tIN_SUM=0;

    setState(Traffic_IN, 0);

    setState(Traffic_OUT, 0);

 

    //herausfinden ob +- 10 Minuten immer noch den selben Monat oder letzter Tag im Monat ist

    const moment = require("moment");

    let datePlus=moment().add(10, 'm').format();

    let dateMinus=moment().subtract(10, 'm').format();

 

    if (formatDate(datePlus, "MM") != formatDate(dateMinus, "MM")) {

        //jetzt ist noch der letzte Tag des Monat

 

        TrafficlfdMonat();

 

        setState(Traffic_Monat_IN, getState('0_userdata.0.FritzBox.Traffic.Traffic_Monat_IN').val, true);

        setState(Traffic_Monat_OUT, getState('0_userdata.0.FritzBox.Traffic.Traffic_Monat_OUT').val, true);

 

    }

});



function ErstelleZahl(wert) {
    if(isNaN(wert)) {
        wert = 0;
    }
    return wert;
}

Gruß
Werner

Ro75

@WernerS

Das Skript ist so schon OK. Es gibt 2 Timeout-Bereiche mit je ",100".

    setTimeout(function(){
        xxxxxxxx
    },100);

Möglicherweise (ich habe da was mit SLAVE gesehen) ist dieser Wert zu gering. Ändere es mal so - ACHTUNG 2 Stellen ändern.

    setTimeout(function(){
        xxxxxxxx
    },500);

Ro75.

WernerS

@ro75

Ja Javascript läuft auf einem slave und die Sql auf einem anderen. habe die lasten etwas verteilen müssen.
Ich ändere das mal ab und dann warten wir mal vier Wochen
Danke für die Hilfe

Gruß
Werner

fastfoot

@werners sagte in Daten aus der Fritzbox visualisieren:

und dann warten wir mal vier Wochen

wozu? hiermit kannst du dir Monats- oder Tageswerte abrufen

const db = 'iobrokerslave02'
const stateID = '0_userdata.0.FritzBox.Traffic.Tag';

//summe(8, 3); // Der 3. September

summe(8); // Der gesamte September

function summe(monat = null, tag = null) {
   const monatsStart = new Date();
   const monatsEnde = new Date();

   monatsStart.setDate(tag || 1);
   monatsStart.setHours(0, 0, 0, 0);
   monatsStart.setMonth(monat || new Date().getMonth());

   monatsEnde.setMonth(monatsStart.getMonth() + (tag ? 0 : 1));
   monatsEnde.setDate(tag || 0);
   monatsEnde.setHours(23, 59, 59, 999);

   log(monatsStart.toString());
   log(monatsEnde.toString());

   const query = `
       SELECT b.name, sum(a.val) AS summe
         FROM ${db}.ts_number a
         JOIN ${db}.datapoints b ON a.id = b.id AND b.name LIKE "${stateID}%"
         WHERE a.ts BETWEEN ${monatsStart.getTime()} AND ${monatsEnde.getTime()}
         GROUP BY b.name`

   sendTo('sql.0', 'query', query, (res) => {
       if (/*!res.error &&*/ res.result?.length) {
           log(res.result[0].name.split('.')[4] + ' : ' + res.result[0].summe)
           log(res.result[1].name.split('.')[4] + ' : ' + res.result[1].summe)
       } else {
           log('Keine Daten!', 'warn');
           res.error && log(res.error, 'error')
       }
   })
}

WernerS

@fastfoot

Danke für das Script wusste nicht dass das auch nachträglich geht
Allerdings bringt das Script bei mir einen Fehler

javascript.0
	2024-10-04 10:20:12.837	error	at processImmediate (node:internal/timers:476:21)
javascript.0
	2024-10-04 10:20:12.836	error	at Immediate._onImmediate (file:///opt/iobroker/node_modules/@iobroker/db-states-redis/src/lib/states/statesInRedisClient.ts:381:37)
javascript.0
	2024-10-04 10:20:12.835	error	at change (/opt/iobroker/node_modules/@iobroker/js-controller-adapter/src/lib/adapter/adapter.ts:10886:45)
javascript.0
	2024-10-04 10:20:12.835	error	at Object.cb (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:3097:38)
javascript.0
	2024-10-04 10:20:12.834	error	at Object.<anonymous> (script.js.common.FritzBox_Daten_nachträglich_neuberechnen:33:23)
javascript.0
	2024-10-04 10:20:12.833	error	Error in callback: TypeError: Cannot read properties of undefined (reading 'length')
javascript.0
	2024-10-04 10:20:12.829	error	at processImmediate (node:internal/timers:476:21)
javascript.0
	2024-10-04 10:20:12.829	error	at Immediate._onImmediate (file:///opt/iobroker/node_modules/@iobroker/db-states-redis/src/lib/states/statesInRedisClient.ts:381:37)
javascript.0
	2024-10-04 10:20:12.829	error	at change (/opt/iobroker/node_modules/@iobroker/js-controller-adapter/src/lib/adapter/adapter.ts:10886:45)
javascript.0
	2024-10-04 10:20:12.829	error	at Object.cb (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:3097:38)
javascript.0
	2024-10-04 10:20:12.828	error	at Object.<anonymous> (script.js.common.FritzBox_Daten_nachträglich_neuberechnen:33:23)
javascript.0
	2024-10-04 10:20:12.827	error	Error in callback: TypeError: Cannot read properties of undefined (reading 'length')

fastfoot

@werners Das kommt davon wenn man keine Fehlerbehandlung einbaut, my bad!

Kopiere bitte nochmal das verbesserte Skript und achte darauf dass der Datenbankname in Zeile 1 richtig ist. Dass der Statename in Zeile 2 verkürzt scheint ist Absicht, nicht abändern!

const db = 'iobrokerslave02'
const stateID = '0_userdata.0.FritzBox.Traffic.Tag';

//summe(8, 3); // Der 3. September

summe(8); // Der gesamte September

function summe(monat = null, tag = null) {
    const monatsStart = new Date();
    const monatsEnde = new Date();

    monatsStart.setDate(tag || 1);
    monatsStart.setHours(0, 0, 0, 0);
    monatsStart.setMonth(monat || new Date().getMonth());

    monatsEnde.setMonth(monatsStart.getMonth() + (tag ? 0 : 1));
    monatsEnde.setDate(tag || 0);
    monatsEnde.setHours(23, 59, 59, 999);

    log(monatsStart.toString());
    log(monatsEnde.toString());

    const query = `
        SELECT b.name, sum(a.val) AS summe
          FROM ${db}.ts_number a
          JOIN ${db}.datapoints b ON a.id = b.id AND b.name LIKE "${stateID}%"
          WHERE a.ts BETWEEN ${monatsStart.getTime()} AND ${monatsEnde.getTime()}
          GROUP BY b.name`

    sendTo('sql.0', 'query', query, (res) => {
        if (/*!res.error &&*/ res.result?.length) {
            log(res.result[0].name.split('.')[4] + ' : ' + res.result[0].summe)
            log(res.result[1].name.split('.')[4] + ' : ' + res.result[1].summe)
        } else {
            log('Keine Daten!', 'warn');
            res.error && log(res.error, 'error')
        }
    })
}

danwir

@ro75 entschuldige, kannst du mir sagen wo ich den Code reinkopieren muss ? Stehe da gerade ein wenig auf dem Schlauch. Hab iobroker drauf und den Adapter avm 64, welcher auch verbunden ist, aber nichts anzeigt.

Danke
Grüße
Daniel

WernerS

@fastfoot

habe ich gemacht.

Beim Script kommt das unten

javascript.0	16:03:13.360	info	Start JavaScript script.js.common.FritzBox_Daten_nachträglich_neuberechnen (Javascript/js)
javascript.0	16:03:13.411	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Sun Sep 01 2024 00:00:00 GMT+0200 (Central European Summer Time)
javascript.0	16:03:13.412	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Mon Sep 30 2024 23:59:59 GMT+0200 (Central European Summer Time)
javascript.0	16:03:13.412	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions
javascript.0	16:03:13.423	warn	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Keine Daten!
javascript.0	16:03:13.424	error	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Error: SELECT command denied to user 'iobroker'@'Iobroker.fritz.box' for table `iobrokerslave02`.`ts_number`

In den Protokollen steht das drin

avascript.0
	2024-10-07 16:05:50.482	info	Stopping script script.js.common.FritzBox_Daten_nachträglich_neuberechnen
javascript.0
	2024-10-07 16:05:45.756	error	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Error: SELECT command denied to user 'iobroker'@'Iobroker.fritz.box' for table `iobrokerslave02`.`ts_number`
javascript.0
	2024-10-07 16:05:45.755	warn	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Keine Daten!
javascript.0
	2024-10-07 16:05:45.746	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions
javascript.0
	2024-10-07 16:05:45.745	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Mon Sep 30 2024 23:59:59 GMT+0200 (Central European Summer Time)
javascript.0
	2024-10-07 16:05:45.745	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Sun Sep 01 2024 00:00:00 GMT+0200 (Central European Summer Time)
javascript.0
	2024-10-07 16:05:45.689	info	Start JavaScript script.js.common.FritzBox_Daten_nachträglich_neuberechnen (Javascript/js)

fastfoot

@werners demnach dürfte das 'Originalscript' auch nicht mehr funktionieren! Hast Du an den Settings im SQL-Adapter oder in der Datenbank rumgespielt?

WernerS

@fastfoot

nein da ist alles wie es war. Also das andere Script das läuft und berechnet die aktuelle und die Tagesrate.

fastfoot

@werners sagte in Daten aus der Fritzbox visualisieren:

@fastfoot

nein da ist alles wie es war. Also das andere Script das läuft und berechnet die aktuelle und die Tagesrate.

das Skript nutzt dieselbe Instanz von SQL wie das originale, somit auch die gleichen Berechtigungen! Läuft es denn auf einer anderen Instanz als das Original?

WernerS

@fastfoot sagte in Daten aus der Fritzbox visualisieren:

@werners sagte in Daten aus der Fritzbox visualisieren:

@fastfoot

nein da ist alles wie es war. Also das andere Script das läuft und berechnet die aktuelle und die Tagesrate.

das Skript nutzt dieselbe Instanz von SQL wie das originale, somit auch die gleichen Berechtigungen! Läuft es denn auf einer anderen Instanz als das Original?

Nein ich habe nur eine Javascript Instanz auf meinem slave01

WernerS

@fastfoot

ih glaube ich habe was gefunden. muss es nicht
0_userdata.0.FritzBox.Traffic.Tag_IN heißen?
Aber der Fehler kommt trotzdem

WernerS

@fastfoot
Da ist mir nochwas aufgefallen. Bei dem Datenpunkt geht es ja um einen Tag, aber er 3.09. ist auskommentiert.
Ist das so gewollt?

WernerS

@fastfoot

so und noch was. Im script steht sql.0. Das habe ich übersehen denn ich habe auf allen 3 Raspis mit iobroker eine SQL Datenbank. Die vom Slave 2 heißt dann sql.2
Aber das andere Script läuft und berechnet ja die Daten da steht auch sql.0 drin
Ich habe mal versuchhalber das auf sql.2 geändert und das so gemacht
summe(8, 3); // Der 3. September
//summe(8); // Der gesamte September

dann bekomme ich

javascript.0	17:51:52.131	info	Start JavaScript script.js.common.FritzBox_Daten_nachträglich_neuberechnen (Javascript/js)
javascript.0	17:51:52.162	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Tue Sep 03 2024 00:00:00 GMT+0200 (Central European Summer Time)
javascript.0	17:51:52.162	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Tue Sep 03 2024 23:59:59 GMT+0200 (Central European Summer Time)
javascript.0	17:51:52.163	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions
javascript.0	17:51:52.179	info	script.js.common.FritzBox_Daten_nachträglich_neuberechnen: Tag_IN : 32828971246
javascript.0	17:51:52.181	error	at Object.<anonymous> (script.js.common.FritzBox_Daten_nachträglich_neuberechnen:66:31)

Ich hoffe ich habe jetzt nicht alles durcheinander gemacht
Danke für deine Geduld

docsnyder7

@ro75 erstmal herzlichen Dank für das zur Verfügung gestelltes Script...
ein Frage dazu... als command result steht hier code:500
ist das korrekt oder eher nicht... denn ich bekomme alle DP´s angelegt, aber keine Daten darin?

NEWS

Daten aus der Fritzbox visualisieren

Support us

431
Online

31.9k
Users

80.2k
Topics

1.3m
Posts

NEWS

Daten aus der Fritzbox visualisieren

Support us

431Online

31.9kUsers

80.2kTopics

1.3mPosts

431
Online

31.9k
Users

80.2k
Topics

1.3m
Posts