Hilfe bei Skripte von request auf httpGet umbauen

[Homoran]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

eigentlich sind 2000-4000 schon zu lange -

ehrlich?
ich hatte mit dem Wiffi bei 2000 auch einige timeout exceeded, nach Erhöhung auf 4000 bisher keinen einzigen mehr.
Später hab ich gesehen, dass im Originalskript 3000 msec timeout eingestellt waren.

ich denke dass es u.a. auch auf das Netzwerk und das angesprochene Gerät ankommt.
Beim Wiffi ist WLAN und ESP im Spiel.

[liv-in-sky]

@homoran

ja ehrlich - ein device , dass solange braucht ist seltsam

wobei ich auch bei den sonoffs mit httpget immer auf 4000 gehe, da ich sonst fehler habe -

ich bin mir nicht sicher, ob diese 2000 wirklich 2 sekunden reine abfrage sind oder ob das irgendwie mehr beinhaltet

selbst das auslesen eines unifi controllers mit massig daten dauert keine 2 sekunden (wenn das netwerk in ordnung ist)

[liv-in-sky]

@homoran sagte in Hilfe bei Skripte von request auf httpGet umbauen:

WLAN und ESP i

das vermute ich auch - da ist aber dann die frage, ob es mit dem alten request auch immer zu fehlern gekommen ist (das script war auf "alle 2 sekunde abfrage" gestellt

[haus-automatisierung]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

ich bin mir nicht sicher, ob diese 2000 wirklich 2 sekunden reine abfrage sind oder ob das irgendwie mehr beinhaltet

  // `timeout` specifies the number of milliseconds before the request times out.
  // If the request takes longer than `timeout`, the request will be aborted.

Was meinst Du mit "reine Abfrage"? Es geht einfach um die Zeit, in welcher auf eine Antwort vom Server gewartet wird. 2 Sekunden ist ja schon eine Ewigkeit.

[liv-in-sky]

@haus-automatisierung das dachte ich auch - aber irgendwie sind doch diese zeiten zu lange - was war den ein timeout bei dem request ? weißt du das

[Negalein]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

kommt der fehler immer? wenn ja, funktioniert es ein paarmal und ab einem zeitpunkt dann nicht mehr - oder funktioniert es immer wieder mal ?

alle 10 Minuten. Und zur vollen Stunde 1x in 1 Minute.

wenn es so bleibt, kann ich mit den 336 Warns in 24 Std. leben!

Werde den Timeout mal etwas runtersetzen und beobachten.

kannst du mal den volkszähler neustarten

schon gdemacht, ohne Auswirkung

@homoran sagte in Hilfe bei Skripte von request auf httpGet umbauen:

ich denke dass es u.a. auch auf das Netzwerk und das angesprochene Gerät ankommt.

Der Pi hängt mit LAN im Netz.
Meldungen kommen erst seit httpGet.

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

das vermute ich auch - da ist aber dann die frage, ob es mit dem alten request auch immer zu fehlern gekommen ist (das script war auf "alle 2 sekunde abfrage" gestellt

siehe oben

[liv-in-sky]

@negalein

bitte testen CCu3 script

Spoiler

var logging = true; 
var debugging = false; 
var debugging_response = false;       //nur im Fehlerfall auf true. Hiermit wird die Antwort der Internetadresse protokolliert
var CCU_Version = 3;                  //Hier eine Zahl eintragen: 2 = CCU2 // 3 = CCU3 // 4 = Rasperrymatic
//Datenpunkt auswählen wo die installierte Version ersichtlich ist (aus Homematic.Rega Adapter)
const id_Version_installiert = "hm-rega.0.QEQ1301545.0.FIRMWARE_VERSION";
//Datenpunkt muss manuell angelegt werden. Kann irgendwo angelegt werden. Anschließend hier ersetzen
const id_Version_Internet = '0_userdata.0.CCU3.Servicemeldungen.Verfuegbare_CCU-Firmware';
const id_Update_Internet = '0_userdata.0.CCU3.Servicemeldungen.Update_verfuegbar';


var observation = true;         //Dauerhafte Überwachung der Firmware (true = aktiv // false =inaktiv)
var onetime = true;             //Prüft beim Scriptstart auf aktuelle Firmware

//Prio für Pushover
var prio_Firmware = 0;


//Variablen für Pushover
var sendpush = false;            //true = verschickt per Pushover Nachrchten // false = Pushover wird nicht benutzt
var pushover_Instanz0 =  'pushover.0';     // Pushover instance für Pio = 0
var pushover_Instanz1 =  'pushover.1';     // Pushover instance für Pio = 1
var pushover_Instanz2 =  'pushover.2';     // Pushover instance für Pio = 2
var pushover_Instanz3 =  'pushover.3';     // Pushover instance für Pio = -1 oder -2
let _prio;
let _titel;
let _message;
var _device = 'TPhone';         //Welches Gerät soll die Nachricht bekommen
//var _device = 'All'; 

//Variablen für Telegram
var sendtelegram = true;            //true = verschickt per Telegram Nachrchten // false = Telegram wird nicht benutzt
var user_telegram = '';             //User der die Nachricht bekommen soll

//Variable zum verschicken der Servicemeldungen per eMail
var sendmail = false;            //true = verschickt per email Nachrchten // false = email wird nicht benutzt


// ab hier keine Änderung

let _message_tmp;
//var request = require('request');

function send_pushover_V4 (_device, _message, _titel, _prio) {
       if (_prio === 0){let pushover_Instanz =  pushover_Instanz0}
       else if (_prio == 1){pushover_Instanz =  pushover_Instanz1}
       else if (_prio == 2){pushover_Instanz =  pushover_Instanz2}
       else {pushover_Instanz =  pushover_Instanz3}
       sendTo(pushover_Instanz, { 
       device: _device,
       message: _message, 
       title: _titel, 
       priority: _prio,
       retry: 60,
       expire: 600,
       html: 1
   }); 
}

function send_telegram (_message, user_telegram) {
   sendTo('telegram.0', { 
       text: _message,
       user: user_telegram,
       parse_mode: 'HTML'
   }); 
}

function send_mail (_message) {
   sendTo("email", {
       //from:    "iobroker@mydomain.com",
       //to:      "aabbcc@gmail.com",
       subject: "Servicemeldung",
       text:    _message
   });
}

function func_Version(){
   var Version_Internet = getState(id_Version_Internet).val;
   var ccu2 = 'http://update.homematic.com/firmware/download?cmd=js_check_version&version=12345&product=HM-CCU2&serial=12345';
   var ccu3 = 'http://update.homematic.com/firmware/download?cmd=js_check_version&version=12345&product=HM-CCU3&serial=9A499D4429';
   var Raspi = 'https://gitcdn.xyz/repo/jens-maus/RaspberryMatic/master/release/LATEST-VERSION.js?_version_=CURRENT_VERSION';
   let ccu;
   if(CCU_Version == 3){ccu = ccu3;}
   else if(CCU_Version == 4){ccu = Raspi;}
   else {ccu = ccu2;}
   let url = ccu;

  // request({url : url},
   httpGet(url,  function (error, response) {
           var Version_installiert = (getState(id_Version_installiert).val).trim();
           var Version = response.data.split("'");
           if(error){
               log('error: ' + error);
           } else {
               if(Version_Internet === ''){
                   if(logging){
                       log('ausgewähltes Objekt leer. Firmware wird erstmalig gesetzt.');
                   }
                   setState(id_Version_Internet,Version[1]);
               }
               
               if(Version_installiert == Version[1]){
                   setState(id_Update_Internet,false);
                   if(logging){
                       log('Installierte Firmware '+Version_installiert  +' der CCU ist aktuell');
                   }
               }
               else{
                   setState(id_Update_Internet,true);
                   if(logging){
                       log('Installierte Firmware '+Version_installiert  +' der CCU ist nicht aktuell. Aktuell verfügbare Version: '+Version[1]);
                   }
                   
                   if(Version_Internet == Version[1]){
                       if(debugging){
                           log('[DEBUG] ' +'Version Internet hat sich nicht verändert');
                       }
                   } else {
                       if(debugging){
                           log('[DEBUG] ' +'Installierte Firmware der CCU ist nicht aktuell.');
                       }
                       setState(id_Version_Internet,Version[1]);
                        _message_tmp = 'Installierte Firmware der CCU ist nicht aktuell. Installiert: ' +Version_installiert +' --- Verfügbare Version: '+Version[1];
                       
                        //Push verschicken
                       if(sendpush){
                           _prio = prio_Firmware;
                           _titel = 'CCU-Firmware';
                           _message = _message_tmp;
                           send_pushover_V4(_device, _message, _titel, _prio);
                       }
                       if(sendtelegram){
                           _message = _message_tmp;
                           send_telegram(_message, user_telegram);
                       }
                       if(sendmail){
                           _message = _message_tmp;
                           send_mail(_message);
                       }
                   }         
               }
       
               if(debugging_response){
                   log('body: ' + response.data);
                   log('Länge ' + Version.length + ' --- Version: ' + Version[1]);
                   log('response: ' + JSON.stringify(response.data));
               }
           }
       }
   );
}

if(observation){
   //Nachts einmalig ausführen 00:30 Schaltzeiten berechnen
   schedule("54 05 * * *", func_Version);
}

if(onetime){
   //beim Starten
   func_Version();
}

[haus-automatisierung]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

aber irgendwie sind doch diese zeiten zu lange

Kannst Du ja mal mit curl o.ä. messen wie lange die Antwort dauert. Default bei request war glaube ich 0. Aber alleine für die asynchronen Funktionen (mit Promises) muss ich ja einen default Timeout angeben, da sonst ein Script ggf. "für immer" hängen bleibt und wartet.

[liv-in-sky]

@negalein sagte in Hilfe bei Skripte von request auf httpGet umbauen:

Der Pi hängt mit LAN im Netz.
Meldungen kommen erst seit httpGet.

@haus-automatisierung

wenn das vorher lief und jetzt nicht - was könnte das sein - leider keine ahnung

[Negalein]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

bitte testen CCu3 script

Danke, perfekt.
Infos wurden sofort ausgelesen.

[liv-in-sky]

@haus-automatisierung sagte in Hilfe bei Skripte von request auf httpGet umbauen:

Aber alleine für die asynchronen Funktionen (mit Promises) muss ich ja einen default Timeout angeben, da sonst ein Script ggf. "für immer" hängen bleibt und wartet.

absolut verständlich !

kann es sein, das bei den 2 sekunden irgendwie der ganze npm modul zeitraum gemessen wird ?

[Negalein]

@haus-automatisierung sagte in Hilfe bei Skripte von request auf httpGet umbauen:

curl

curl -v http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365

oder ist das so falsch?

[haus-automatisierung]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

ganze npm modul zeitraum gemessen

Was ist ein "npm modul zeitraum" ? Das ist ein Parameter, welcher intern einfach 1:1 an axios weitergereicht wird. Keine Magie.

[liv-in-sky]

@negalein
@haus-automatisierung

hierm la ein test mit einem sonoff, der bei 2000 "ab und an spinnt"

curl -w "@curl-format.txt"  -s 'http://192.168.178.159/cm?cmnd=Dimmer%2010'
{"POWER":"ON","Dimmer":10,"Color":"041A0D","HSBColor":"144,83,10","Channel":[2,10,5]}  time_namelookup:  0.000020s
        time_connect:  0.004704s
     time_appconnect:  0.000000s
    time_pretransfer:  0.004749s
       time_redirect:  0.000000s
  time_starttransfer:  0.068009s
                     ----------
          time_total:  0.077903s
root@iobroker59 12:13:05  ~   >

[haus-automatisierung]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

ab und an

Dann mal öfter abfragen und gucken wie sich die Zeiten verhalten.

[liv-in-sky]

@negalein sagte in Hilfe bei Skripte von request auf httpGet umbauen:

@haus-automatisierung sagte in Hilfe bei Skripte von request auf httpGet umbauen:

curl

curl -v http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365

oder ist das so falsch?

erzeuge mal eine datei: curl-format.txt in dem ordner, wo du curl ausfühst - der inhalt ist der:

  time_namelookup:  %{time_namelookup}s\n
        time_connect:  %{time_connect}s\n
     time_appconnect:  %{time_appconnect}s\n
    time_pretransfer:  %{time_pretransfer}s\n
       time_redirect:  %{time_redirect}s\n
  time_starttransfer:  %{time_starttransfer}s\n
                     ----------\n
          time_total:  %{time_total}s\n

dann den befehl

curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'

einfach mal ein paar mal hintereinander ausführen und die anschliessend zeiten ansehen

[liv-in-sky]

@haus-automatisierung sagte in Hilfe bei Skripte von request auf httpGet umbauen:

Dann mal öfter abfragen und gucken wie sich die Zeiten verhalten.

bei mir ist das so selten -dass ich davon ausgegangen bin, das gerade ein backitup oder sonnst ein copy traffic im netz ist - daher sah ich das nicht als problem

hier jedoch stimmt was nicht - muss ja nicht der httpGet sein

[Negalein]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

einfach mal ein paar mal hintereinander ausführen und die anschliessend zeiten ansehen

die passen mMn sehr gut.

pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805229000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805169000,"to":1716805229000,"min":[1716805229000,0],"max":[1716805229000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805229000,8400,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805199000,"to":1716805229000,"min":[1716805229000,8400],"max":[1716805229000,8400],"average":8400,"consumption":70,"rows":2}]}  time_namelookup:  0,000261s
        time_connect:  0,000887s
     time_appconnect:  0,000000s
    time_pretransfer:  0,003283s
       time_redirect:  0,000000s
  time_starttransfer:  0,021065s
                     ----------
          time_total:  0,021236s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805229000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805169000,"to":1716805229000,"min":[1716805229000,0],"max":[1716805229000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805259000,7920,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805229000,"to":1716805259000,"min":[1716805259000,7920],"max":[1716805259000,7920],"average":7920,"consumption":66,"rows":2}]}  time_namelookup:  0,000277s
        time_connect:  0,000763s
     time_appconnect:  0,000000s
    time_pretransfer:  0,000973s
       time_redirect:  0,000000s
  time_starttransfer:  0,031154s
                     ----------
          time_total:  0,031370s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805229000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805169000,"to":1716805229000,"min":[1716805229000,0],"max":[1716805229000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805259000,7920,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805229000,"to":1716805259000,"min":[1716805259000,7920],"max":[1716805259000,7920],"average":7920,"consumption":66,"rows":2}]}  time_namelookup:  0,000259s
        time_connect:  0,000740s
     time_appconnect:  0,000000s
    time_pretransfer:  0,001072s
       time_redirect:  0,000000s
  time_starttransfer:  0,021727s
                     ----------
          time_total:  0,021896s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805229000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805169000,"to":1716805229000,"min":[1716805229000,0],"max":[1716805229000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805259000,7920,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805229000,"to":1716805259000,"min":[1716805259000,7920],"max":[1716805259000,7920],"average":7920,"consumption":66,"rows":2}]}  time_namelookup:  0,000254s
        time_connect:  0,000949s
     time_appconnect:  0,000000s
    time_pretransfer:  0,003313s
       time_redirect:  0,000000s
  time_starttransfer:  0,021195s
                     ----------
          time_total:  0,021383s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805229000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805169000,"to":1716805229000,"min":[1716805229000,0],"max":[1716805229000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805259000,7920,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805229000,"to":1716805259000,"min":[1716805259000,7920],"max":[1716805259000,7920],"average":7920,"consumption":66,"rows":2}]}  time_namelookup:  0,000158s
        time_connect:  0,000439s
     time_appconnect:  0,000000s
    time_pretransfer:  0,000551s
       time_redirect:  0,000000s
  time_starttransfer:  0,012400s
                     ----------
          time_total:  0,012527s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805229000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805169000,"to":1716805229000,"min":[1716805229000,0],"max":[1716805229000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805259000,7920,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805229000,"to":1716805259000,"min":[1716805259000,7920],"max":[1716805259000,7920],"average":7920,"consumption":66,"rows":2}]}  time_namelookup:  0,000253s
        time_connect:  0,000882s
     time_appconnect:  0,000000s
    time_pretransfer:  0,001625s
       time_redirect:  0,000000s
  time_starttransfer:  0,021581s
                     ----------
          time_total:  0,021680s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805289000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805229000,"to":1716805289000,"min":[1716805289000,0],"max":[1716805289000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805289000,8040,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805259000,"to":1716805289000,"min":[1716805289000,8040],"max":[1716805289000,8040],"average":8040,"consumption":67,"rows":2}]}  time_namelookup:  0,000256s
        time_connect:  0,000902s
     time_appconnect:  0,000000s
    time_pretransfer:  0,001658s
       time_redirect:  0,000000s
  time_starttransfer:  0,021660s
                     ----------
          time_total:  0,021821s
pi@raspberrypi:~ $ curl -w "@curl-format.txt"  -s 'http://10.0.1.93/middleware.php/data.json?from=now&uuid[]=bc3edcd0-24c4-11ea-b257-bdbd9553c516&uuid[]=deda8550-24c4-11ea-b402-275ee0956365'
{"version":"0.3","data":[{"tuples":[[1716805289000,0,1]],"uuid":"bc3edcd0-24c4-11ea-b257-bdbd9553c516","from":1716805229000,"to":1716805289000,"min":[1716805289000,0],"max":[1716805289000,0],"average":0,"consumption":0,"rows":2},{"tuples":[[1716805289000,8040,1]],"uuid":"deda8550-24c4-11ea-b402-275ee0956365","from":1716805259000,"to":1716805289000,"min":[1716805289000,8040],"max":[1716805289000,8040],"average":8040,"consumption":67,"rows":2}]}  time_namelookup:  0,000254s
        time_connect:  0,000700s
     time_appconnect:  0,000000s
    time_pretransfer:  0,000928s
       time_redirect:  0,000000s
  time_starttransfer:  0,021411s
                     ----------
          time_total:  0,021578s

[liv-in-sky]

@negalein

hast du denn irgendeinen traffic im netz, der immer wieder kommt - oder server am anschlag und braucht ab und zu etwas zu lange, so das der httpGet ein problem bekommt

[Negalein]

@liv-in-sky sagte in Hilfe bei Skripte von request auf httpGet umbauen:

hast du denn irgendeinen traffic im netz, der immer wieder kommt - oder server am anschlag und braucht ab und zu etwas zu lange, so das der httpGet ein problem bekommt

regelmäßige Traffics hab ich schon.
Aber die dürften dem System nicht auffallen.

Server hat noch sehr viel Luft frei.