Skip to content
  • Home
  • Aktuell
  • Tags
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. Off Topic
  4. Rhasspy Offline Sprachsteuerung

NEWS

  • UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?
    apollon77A
    apollon77
    48
    3
    8.7k

  • Monatsrückblick – September 2025
    BluefoxB
    Bluefox
    13
    1
    2.2k

  • Neues Video "KI im Smart Home" - ioBroker plus n8n
    BluefoxB
    Bluefox
    16
    1
    3.2k

Rhasspy Offline Sprachsteuerung

Geplant Angeheftet Gesperrt Verschoben Off Topic
403 Beiträge 30 Kommentatoren 100.5k Aufrufe 47 Watching
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • D DerT

    @jwerlsdf
    Hi,
    kannst du mir kurz sagen auf welches Skript du dich beziehst? Hast du mehrere rhasspys oder nur einen?

    Gruß
    T

    J Offline
    J Offline
    jwerlsdf
    schrieb am zuletzt editiert von jwerlsdf
    #358

    @dert
    danke für deine Rückmeldung.
    Ich habe bisher nur einen Rhasspy. Dieser läuft aber auf einem anderen Raspberry 4 als iobroker läuft. Die Verbindung mit dem iobroker steht (Adapter ist grün)
    Ich beziehen mich auf das Skript, welches du auf Seite 315 gepostet hast.

    Noch ein Hinweis:
    @LichtAn hat auf Seite 290 ein Bild gepostet, bei dem darauf einen Ordner mit Intents mit den entsprechenden Einträgen zu sehen sind. Diese fehlen mir. Werden diese automatisch erstellt oder muss ich diese manuell anlegen?

    OK. Es scheint, jetzt zu gehen. Musste im MQTT-Adapter folgendes ändern:

    #hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized,hermes/intent/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#
    

    Damit werden nun die intents angezeigt und ich kann nun die Befehle per Sprache absetzen. Schaue mir jetzt noch mal deinen code an. Ggf. habe ich noch ein paar Fragen dazu.

    Eine andere Frage hätte ich noch: Wie kann ich die Sprachausgabe über Sonos API ausgeben? Hat da jemand eine Idee?

    1 Antwort Letzte Antwort
    0
    • D DerT

      Wie bereits angekündigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.

      Die Übergabe der JSON an ioBroker erfolgt nun doch wieder über MQTT.
      (Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr :grimacing: )

      Das Skript kann aktuell die folgenden Aufgaben übernehmen

      • Objekt in einem bestimmten Raum schalten
      • Objekt ohne den Raum schalten.
        In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
        Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
        Wenn es global nur ein Objekt gibt wird dieses geschalten.

      sentences.ini

      [changeLightRoom]
      ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}
      
      [changeState]
      ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}
      

      sentences.ini

      [changeLightRoom]
      ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}
      
      [changeState]
      ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}
      

      slot - objects

      Highboard 
      Stehlampe
      Bett
      Herd
      Licht
      Spiegel
      Wohnwand
      Indirekte Licht
      Spüle
      Schrank
      blablabla
      

      slot - rooms

      Schlafzimmer
      Küche
      Klo
      Büro
      Esszimmer
      Bad
      Wohnzimmer
      

      slot - states

      ein
      an
      aus
      

      Durch diese Definition sind alle Daten die später vom Skript verarbeitet werden in Slots.

      Das Herzstück des ganzen ist das Javascript.
      Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.

      //##########################################################################
      // Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten
      //##########################################################################
      let http = require('http');
      
      /*
      Definition meiner Räume und der jeweiligen Objekte darin
      Die Struktur sieht dabei wie folgt aus.
      Im Intent der übermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten.
      Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden.
      */
      const rooms = {
          "Büro": {
              "Licht": "sonoff.0.ShellyV1_13.POWER",
          },
          "Wohnzimmer": {
              "Licht": "sonoff.0.ShellyV1_06.POWER",
              "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC",
              "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB",
              "Rollo": ""
          },
          "Bad": {
              "Licht": "sonoff.0.ShellyV1_05.POWER",
              "Spiegel": "sonoff.0.ShellyV1_11.POWER",
              "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER"
          },
          "Esszimmer": {
              "Licht": "sonoff.0.ShellyV1_03.POWER",
              "Highboard": "sonoff.0.SonoffS26_3.POWER"
          },
          "Küche": {
              "Licht": "hm-rpc.1.000858A9960E7A.4.STATE",
              "Spüle": "sonoff.0.ShellyV1_02.POWER",
              "Herd": "sonoff.0.ShellyV1_01.POWER"
          },
          "Schlafzimmer": {
              "Licht": "sonoff.0.ShellyV1_09.POWER",
              "Schrank": "sonoff.0.ShellyV1_10.POWER",
              "Bett": "sonoff.0.SonoffBasic_01.POWER",
              "Rollo": ""
          },
          "Klo": {
              "Licht": "sonoff.0.ShellyV1_04.POWER"
          }
      }
      
      //In diesem  json werden nötige Informationen zu allen rhasspys abgelget.
      const rhasspySites = {
          "testpi": {
              room: "Büro",
              host: "testpi.angl.loc",
              httpPort: "12101"
          }
      }
      
      
      //************************ Functions *********************
      //Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt
      //Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurückgegeben. 
      //Wenn nicht, wird 'false' zurückgegeben
      function convertStateToBool(state) {
          const trueValues = ['ein', 'an'];
          return trueValues.includes(state);
      }
      
      //Reukursives durchsuchen eines JSON Objektes
      //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
      function findValues(obj, key) {
          return findValuesHelper(obj, key, []);
      }
      
      //Reukursives durchsuchen eines JSON Objektes
      //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
      function findValuesHelper(obj, key, list) {
          if (!obj) return list;
          if (obj instanceof Array) {
              for (var i in obj) {
                  list = list.concat(findValuesHelper(obj[i], key, []));
              }
              return list;
          }
          if (obj[key]) list.push(obj[key]);
      
          if ((typeof obj == "object") && (obj !== null)) {
              var children = Object.keys(obj);
              if (children.length > 0) {
                  for (i = 0; i < children.length; i++) {
                      list = list.concat(findValuesHelper(obj[children[i]], key, []));
                  }
              }
          }
          return list;
      }
      
      //Generiert ein JSON-Objekt mit allen wichtigen Informationen für die Funktionen im Skript.
      //Dies dient vor allem dazu den späteren Code lesbarer zu machen.
      //Beisipel Ergebnis
      /*
      {
         "slots":{
            "objectName":"Stehlampe",
            "state":"aus"
         },
         "intentName":"changeState",
         "siteId":"testpi"
      }
      */
      function extractIntentData(message) {
          const parsedMessage = JSON.parse(message);
          let extractedJSON = {};
          extractedJSON.slots = {};
          extractedJSON.intentName = parsedMessage.intent.intentName;
          extractedJSON.siteId = parsedMessage.siteId;
      
          parsedMessage.slots.forEach(slot => {
              extractedJSON.slots[slot.slotName] = slot.value.value;
          });
      
          return extractedJSON;
      }
      
      //Damit kann jeder Rhasspy sprechen
      function speakRhasspy(text, rhasspySiteId) {
          console.log(rhasspySiteId);
          const rhasspy = rhasspySites[rhasspySiteId];
          const options = {
              host: rhasspy.host,
              port: rhasspy.httpPort,
              path: "/api/text-to-speech",
              method: 'POST',
              headers: {
                  'User-Agent': 'ioBroker',
                  'Content-Type': 'text/plain',
              }
          }
      
          let req = http.request(options);
          req.on('error', function (e) {
              console.error('ERROR: ' + e.message, "warn");
          });
          req.write(text);
          req.end();
      }
      
      
      //In dieser Variablen werden alle Funktionen gepsiechert die später aufgerufen werden.
      //Dies dient dazu den anfallenden Code zu minimieren.
      //Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen.
      const callFunctions = {
          //Ändert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum.
          changeLightRoom: function (json) {
              const objectName = json.slots.objectName;
              const roomName = json.slots.room;
              const state = convertStateToBool(json.slots.state);
      
      
              //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geändert
              if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') {
                  const room = rooms[roomName];
      
                  if (typeof room != 'undefined') {
                      const lightId = room[objectName];
                      if (typeof lightId != 'undefined') {
                          setState(lightId, state);
                      }
                      else {
                          speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                          console.warn(`can not find object '${objectName}' in room '${roomName}'`);
                      }
                  }
                  else {
                      speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId);
                      console.warn(`can not find room '${roomName}' in list of rooms`);
                  }
      
              }
              else {
                  speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
                  console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`);
              }
          },
          //Ändert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet.
          //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen Räumen danach geuscht.
          //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten.
          changeState: function (json) {
              const objectName = json.slots.objectName;
              const state = convertStateToBool(json.slots.state);
              const site = rhasspySites[json.siteId];
              const room = rooms[site.room];
              let lightId = room[objectName];
      
              if (typeof lightId === 'undefined') {
                  //Prüfen ob es mehr als ein Objekt mit diesem Namen gibt
                  const objects = findValues(rooms, objectName);
      
                  if (objects.length === 1) {
                      lightId = objects[0];
                  }
                  else if (objects.length > 1) {
                      speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId);
                      console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`);
                  }
                  else {
                      speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                      console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`);
                  }
              }
      
              if (typeof lightId != 'undefined' && typeof state != 'undefined') {
                  setState(lightId, state);
              }
              else {
                  speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
                  console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`);
              }
          }
      }
      //************************ Functions *********************
      
      //************************ Events ************************
      //Wird beim auslösen jedes Intents getriggert
      on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) {
          const extractedJSON = extractIntentData(obj.state.val);
          const intentName = extractedJSON.intentName;
          const callFunction = callFunctions[intentName];
      
          if (typeof callFunction != 'undefined') {
              callFunction(extractedJSON);
          }
          else {
              console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`);
          }
      });
      //************************ Events ************************
      

      Würde mich freuen wenn Ihr mal eure Meinung dazu sagt :)

      Außerdem habe ich noch ein paar Fragen.

      1. Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen :(
      2. Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
      3. Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?

      Liebe Grüße und schöne Wochenende

      CarstenDerGroßeC Offline
      CarstenDerGroßeC Offline
      CarstenDerGroße
      schrieb am zuletzt editiert von
      #359

      @dert
      @dert

      WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen würde und zwar die tts ausgaben. Statt über die api würde ich dies ebenfalls über mqtt zu erledigen um nicht zwei protokolle zu vermischen.

      in etwa so:

      
      function extractIntentData(message) {
      
          const parsedMessage = JSON.parse(message);
      
          let extractedJSON = {};
      
          extractedJSON.slots = {};
      
          extractedJSON.intentName = parsedMessage.intent.intentName;
      
          extractedJSON.siteId = parsedMessage.siteId;
      
      	extractedJSON.Id = parsedMessage.SessionId;
       
          parsedMessage.slots.forEach(slot => {
      
              extractedJSON.slots[slot.slotName] = slot.value.value;
      
          });
      
          return extractedJSON;
      
      }
      
       
      
      //Damit kann jeder Rhasspy sprechen
      
      function speakRhasspy(text, rhasspySiteId ,sid) {
      
          console.log(rhasspySiteId);
      	
      	let sendData = {
              sessionId: sid,
              siteId: site,
              text: msg
      	
      	};
      
      	let jsonObj = JSON.stringify(sendData);
      	
      	if(sid != "0") {
      	
      		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
          
      	}
      	else {
      		
      		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
      	
      	}
      
      }
      
      

      lässt sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
      Übrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.

      Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
      Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
      Zu 3. Da mein Produktives Rhasspy noch unter FHEM läuft habe ich meinen Logitechmediaserver über rhasspy angebunden und dies funktioniert recht gut ich weiß nur noch nicht wie ich das über iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))

      einen schönen abend gewünscht

      Carsten

      K 2 Antworten Letzte Antwort
      0
      • J Offline
        J Offline
        jwerlsdf
        schrieb am zuletzt editiert von
        #360

        Hallo,
        folgendes Szenario würde ich gerne umsetzen:
        Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wäre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen?

        joergeliJ 1 Antwort Letzte Antwort
        0
        • J jwerlsdf

          Hallo,
          folgendes Szenario würde ich gerne umsetzen:
          Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wäre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen?

          joergeliJ Offline
          joergeliJ Offline
          joergeli
          schrieb am zuletzt editiert von
          #361

          @jwerlsdf
          Hi,
          Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
          https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8

          Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen müssen angepasst werden.
          Ist zwar kein blockly, aber evtl. hilft es Dir weiter?

          J 1 Antwort Letzte Antwort
          0
          • joergeliJ joergeli

            @jwerlsdf
            Hi,
            Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
            https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8

            Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen müssen angepasst werden.
            Ist zwar kein blockly, aber evtl. hilft es Dir weiter?

            J Offline
            J Offline
            jwerlsdf
            schrieb am zuletzt editiert von jwerlsdf
            #362

            @joergeli
            danke für deine Rückmeldung. In der Zwischenzeit habe ich es noch mal mit dem Skript von @DerT probiert (315). Habe es damit nun hinbekommen. Ich schalte damit einen Datenpunkt, der wiederrum dann ein anderes Skript (Blockly) schaltet. Sind zwar längere Wege, aber für jemanden wie mich einfacher umzusetzen.

            Jetzt hoffe noch, dass mir jemand beim bring-Adapter helfen könnte. Dort bekomme ich den Intent-befehl nicht in den Bring adapter geschrieben...


            https://forum.iobroker.net/topic/31110/rhasspy-sprachsteuerung-für-bring-adapter/2?_=1615936753622

            LichtAnL 1 Antwort Letzte Antwort
            0
            • J jwerlsdf

              @joergeli
              danke für deine Rückmeldung. In der Zwischenzeit habe ich es noch mal mit dem Skript von @DerT probiert (315). Habe es damit nun hinbekommen. Ich schalte damit einen Datenpunkt, der wiederrum dann ein anderes Skript (Blockly) schaltet. Sind zwar längere Wege, aber für jemanden wie mich einfacher umzusetzen.

              Jetzt hoffe noch, dass mir jemand beim bring-Adapter helfen könnte. Dort bekomme ich den Intent-befehl nicht in den Bring adapter geschrieben...


              https://forum.iobroker.net/topic/31110/rhasspy-sprachsteuerung-für-bring-adapter/2?_=1615936753622

              LichtAnL Offline
              LichtAnL Offline
              LichtAn
              schrieb am zuletzt editiert von
              #363

              @jwerlsdf
              @tobetobe

              Das mit der Bring Liste werde ich mir die nächste Zeit mal austesten. Vielen Dank schonmal.

              1 Antwort Letzte Antwort
              1
              • CarstenDerGroßeC CarstenDerGroße

                @dert
                @dert

                WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen würde und zwar die tts ausgaben. Statt über die api würde ich dies ebenfalls über mqtt zu erledigen um nicht zwei protokolle zu vermischen.

                in etwa so:

                
                function extractIntentData(message) {
                
                    const parsedMessage = JSON.parse(message);
                
                    let extractedJSON = {};
                
                    extractedJSON.slots = {};
                
                    extractedJSON.intentName = parsedMessage.intent.intentName;
                
                    extractedJSON.siteId = parsedMessage.siteId;
                
                	extractedJSON.Id = parsedMessage.SessionId;
                 
                    parsedMessage.slots.forEach(slot => {
                
                        extractedJSON.slots[slot.slotName] = slot.value.value;
                
                    });
                
                    return extractedJSON;
                
                }
                
                 
                
                //Damit kann jeder Rhasspy sprechen
                
                function speakRhasspy(text, rhasspySiteId ,sid) {
                
                    console.log(rhasspySiteId);
                	
                	let sendData = {
                        sessionId: sid,
                        siteId: site,
                        text: msg
                	
                	};
                
                	let jsonObj = JSON.stringify(sendData);
                	
                	if(sid != "0") {
                	
                		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
                    
                	}
                	else {
                		
                		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
                	
                	}
                
                }
                
                

                lässt sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
                Übrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.

                Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
                Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
                Zu 3. Da mein Produktives Rhasspy noch unter FHEM läuft habe ich meinen Logitechmediaserver über rhasspy angebunden und dies funktioniert recht gut ich weiß nur noch nicht wie ich das über iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))

                einen schönen abend gewünscht

                Carsten

                K Offline
                K Offline
                kuumaur
                schrieb am zuletzt editiert von kuumaur
                #364

                @carstendergroße
                Hier mal ein Beispiel von mir:
                (Ist nicht schön gelöst, aber funktioniert. JScript ist nicht meine Welt)
                Vorraussetzung:

                • slots anlegen

                • Adapter Squeezeboxrpc installieren

                • ich verwende das Basis-Script von @DerT, glaube ich.

                  radiostation: function (json){
                  const objectName = json.slots.objectName;
                  const StateFriendly = json.slots.state;
                  const state = convertStateToBool(json.slots.state);
                  const roomName = json.slots.room;
                  const room = rooms[roomName];
                  if (typeof roomName == 'undefined') {
                  roomName = rhasspySites[json.siteId].room;
                  room = rooms[roomName];
                  console.warn(1) Object='${objectName}' | roomName='${roomName}' | room='${room}' | rhasspy='${rhasspySites[json.siteId].room}');
                  }
                  if (roomName == "küche") {
                  if (objectName == "ndr twei") {
                  speakRhasspy(ok, der Sender '${objectName}' ist bei '${roomName}' zu hören, json.siteId);
                  setState("squeezeboxrpc.0.Players.esprimomobilev6505.Power", 1);
                  setState("squeezeboxrpc.0.Players.esprimomobilev6505.cmdPlayFavorite", 1)
                  }
                  }
                  if (roomName == "büro") {
                  if (objectName == "sputnik") {
                  speakRhasspy(ok, der Sender '${objectName}' ist bei '${roomName}' zu hören, json.siteId);
                  setState("squeezeboxrpc.0.Players.pi1.Power", 1);
                  setState("squeezeboxrpc.0.Players.pi1.cmdPlayFavorite", 1)
                  }
                  }
                  ---snip---
                  PS: Beim "pasten" sind einige Steuer- Klammer- und Anführungszeihen zeichen entfernt worden.

                Proxmox | IoBroker LXC Container | Zigbee | Rhasspy Voice | SqueezeBox | Frigate CCTV | Jarvis Vis |

                1 Antwort Letzte Antwort
                0
                • CarstenDerGroßeC CarstenDerGroße

                  @dert
                  @dert

                  WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen würde und zwar die tts ausgaben. Statt über die api würde ich dies ebenfalls über mqtt zu erledigen um nicht zwei protokolle zu vermischen.

                  in etwa so:

                  
                  function extractIntentData(message) {
                  
                      const parsedMessage = JSON.parse(message);
                  
                      let extractedJSON = {};
                  
                      extractedJSON.slots = {};
                  
                      extractedJSON.intentName = parsedMessage.intent.intentName;
                  
                      extractedJSON.siteId = parsedMessage.siteId;
                  
                  	extractedJSON.Id = parsedMessage.SessionId;
                   
                      parsedMessage.slots.forEach(slot => {
                  
                          extractedJSON.slots[slot.slotName] = slot.value.value;
                  
                      });
                  
                      return extractedJSON;
                  
                  }
                  
                   
                  
                  //Damit kann jeder Rhasspy sprechen
                  
                  function speakRhasspy(text, rhasspySiteId ,sid) {
                  
                      console.log(rhasspySiteId);
                  	
                  	let sendData = {
                          sessionId: sid,
                          siteId: site,
                          text: msg
                  	
                  	};
                  
                  	let jsonObj = JSON.stringify(sendData);
                  	
                  	if(sid != "0") {
                  	
                  		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
                      
                  	}
                  	else {
                  		
                  		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
                  	
                  	}
                  
                  }
                  
                  

                  lässt sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
                  Übrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.

                  Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
                  Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
                  Zu 3. Da mein Produktives Rhasspy noch unter FHEM läuft habe ich meinen Logitechmediaserver über rhasspy angebunden und dies funktioniert recht gut ich weiß nur noch nicht wie ich das über iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))

                  einen schönen abend gewünscht

                  Carsten

                  K Offline
                  K Offline
                  kuumaur
                  schrieb am zuletzt editiert von
                  #365

                  @carstendergroße said in Rhasspy Offline Sprachsteuerung:

                  function speakRhasspy(text, rhasspySiteId ,sid) {

                  Moin, was muss für die Funktion bei "sid" übergeben werden?
                  Danke und Gruß

                  Proxmox | IoBroker LXC Container | Zigbee | Rhasspy Voice | SqueezeBox | Frigate CCTV | Jarvis Vis |

                  CarstenDerGroßeC 1 Antwort Letzte Antwort
                  0
                  • K kuumaur

                    @carstendergroße said in Rhasspy Offline Sprachsteuerung:

                    function speakRhasspy(text, rhasspySiteId ,sid) {

                    Moin, was muss für die Funktion bei "sid" übergeben werden?
                    Danke und Gruß

                    CarstenDerGroßeC Offline
                    CarstenDerGroßeC Offline
                    CarstenDerGroße
                    schrieb am zuletzt editiert von
                    #366

                    @kuumaur das soll die sessionId darstellen 😅 bin etwas schreibfaul.

                    K 1 Antwort Letzte Antwort
                    0
                    • CarstenDerGroßeC CarstenDerGroße

                      @kuumaur das soll die sessionId darstellen 😅 bin etwas schreibfaul.

                      K Offline
                      K Offline
                      kuumaur
                      schrieb am zuletzt editiert von
                      #367

                      @carstendergroße
                      Ja, das habe ich mir auch schon gedacht. Mir ist nur nicht klar wo für diese ist. Bei mir funktioniert das Ganze leider nicht. Ich bekomme zwar keinen Fehler, aber es erfolgt auch keine Sprachausgabe. Wenn es funktioniert könnte ich mir den Webserver auf dem Satelliten sparen.

                      Proxmox | IoBroker LXC Container | Zigbee | Rhasspy Voice | SqueezeBox | Frigate CCTV | Jarvis Vis |

                      CarstenDerGroßeC 1 Antwort Letzte Antwort
                      0
                      • K kuumaur

                        @carstendergroße
                        Ja, das habe ich mir auch schon gedacht. Mir ist nur nicht klar wo für diese ist. Bei mir funktioniert das Ganze leider nicht. Ich bekomme zwar keinen Fehler, aber es erfolgt auch keine Sprachausgabe. Wenn es funktioniert könnte ich mir den Webserver auf dem Satelliten sparen.

                        CarstenDerGroßeC Offline
                        CarstenDerGroßeC Offline
                        CarstenDerGroße
                        schrieb am zuletzt editiert von
                        #368

                        @kuumaur ich teste das selber nochmal bei mir wenn ich Zeit habe. Die sessionId ist notwendig um die aktuelle Session nach Sprachausgabe zu beenden soweit ich das verstanden habe

                        1 Antwort Letzte Antwort
                        0
                        • CarstenDerGroßeC Offline
                          CarstenDerGroßeC Offline
                          CarstenDerGroße
                          schrieb am zuletzt editiert von
                          #369

                          So ich habe den fehler gefunden :)

                          folgende funktion hab ich geändert:

                          function extractIntentData(message) {
                          
                              const parsedMessage = JSON.parse(message);
                          
                              let extractedJSON = {};
                          
                              extractedJSON.slots = {};
                          
                              extractedJSON.intentName = parsedMessage.intent.intentName;
                          
                              extractedJSON.siteId = parsedMessage.siteId;
                          
                          	extractedJSON.Id = parsedMessage.sessionId;
                          
                              parsedMessage.slots.forEach(slot => {
                          
                                  extractedJSON.slots[slot.slotName] = slot.value.value;
                          
                              });
                          
                              return extractedJSON;
                          
                          }
                          

                          Nach einer ausgeführten aktion wird folgendes aufgerufen:

                          speakRhasspy(`Gewünschter TTS text`,json.Id, json.siteId);
                          
                          K 1 Antwort Letzte Antwort
                          0
                          • CarstenDerGroßeC CarstenDerGroße

                            So ich habe den fehler gefunden :)

                            folgende funktion hab ich geändert:

                            function extractIntentData(message) {
                            
                                const parsedMessage = JSON.parse(message);
                            
                                let extractedJSON = {};
                            
                                extractedJSON.slots = {};
                            
                                extractedJSON.intentName = parsedMessage.intent.intentName;
                            
                                extractedJSON.siteId = parsedMessage.siteId;
                            
                            	extractedJSON.Id = parsedMessage.sessionId;
                            
                                parsedMessage.slots.forEach(slot => {
                            
                                    extractedJSON.slots[slot.slotName] = slot.value.value;
                            
                                });
                            
                                return extractedJSON;
                            
                            }
                            

                            Nach einer ausgeführten aktion wird folgendes aufgerufen:

                            speakRhasspy(`Gewünschter TTS text`,json.Id, json.siteId);
                            
                            K Offline
                            K Offline
                            kuumaur
                            schrieb am zuletzt editiert von
                            #370

                            @carstendergroße said in Rhasspy Offline Sprachsteuerung:

                            function extractIntentData(message) {

                            mmmh,
                            bei mir klappt das noch nicht.
                            Das Script läuft zwar fehlerfrei durch, aber es findet keine Sprachausgabe statt.
                            javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"siteId":"pi2","msg":"Dieser Text sollte gesprochen werden!"}"})

                            // Speak over mqtt (Test)
                            function speakRhasspyMqtt(text, rhasspySiteId, sid) {
                                if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);}
                            	let sendData = {
                                    sessionId: sid,
                                    siteId: rhasspySiteId,
                                    msg: text
                            	};
                            	let jsonObj = JSON.stringify(sendData);
                            	if(sid != 0) {
                            		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
                            	}
                            	else {
                            		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
                            	}
                            }
                            

                            @carstendergroße said in Rhasspy Offline Sprachsteuerung:

                            So ich habe den fehler gefunden :)

                            folgende funktion hab ich geändert:

                            function extractIntentData(message) {
                            
                                const parsedMessage = JSON.parse(message);
                            
                                let extractedJSON = {};
                            
                                extractedJSON.slots = {};
                            
                                extractedJSON.intentName = parsedMessage.intent.intentName;
                            
                                extractedJSON.siteId = parsedMessage.siteId;
                            
                            	extractedJSON.Id = parsedMessage.sessionId;
                            
                                parsedMessage.slots.forEach(slot => {
                            
                                    extractedJSON.slots[slot.slotName] = slot.value.value;
                            
                                });
                            
                                return extractedJSON;
                            
                            }
                            

                            Nach einer ausgeführten aktion wird folgendes aufgerufen:

                            speakRhasspy(`Gewünschter TTS text`,json.Id, json.siteId);
                            

                            mmmh,
                            das klappt bei mir noch nicht. Irgendetwas mache ich falsch.
                            Das Script läuft sauber ohne Fehler durch.
                            Kannst Du mal einen Blick darüber werfen?
                            Danke.

                            javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})

                            // Speak over mqtt (Test)
                            function speakRhasspyMqtt(text, rhasspySiteId, sid) {
                                if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);}
                            	let sendData = {
                                    sessionId: sid,
                                    siteId: rhasspySiteId,
                                    msg: text
                            	};
                            	let jsonObj = JSON.stringify(sendData);
                            	if(sid != 0) {
                            		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
                            	}
                            	else {
                            		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
                            	}
                            }
                            

                            Proxmox | IoBroker LXC Container | Zigbee | Rhasspy Voice | SqueezeBox | Frigate CCTV | Jarvis Vis |

                            CarstenDerGroßeC 1 Antwort Letzte Antwort
                            0
                            • K kuumaur

                              @carstendergroße said in Rhasspy Offline Sprachsteuerung:

                              function extractIntentData(message) {

                              mmmh,
                              bei mir klappt das noch nicht.
                              Das Script läuft zwar fehlerfrei durch, aber es findet keine Sprachausgabe statt.
                              javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"siteId":"pi2","msg":"Dieser Text sollte gesprochen werden!"}"})

                              // Speak over mqtt (Test)
                              function speakRhasspyMqtt(text, rhasspySiteId, sid) {
                                  if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);}
                              	let sendData = {
                                      sessionId: sid,
                                      siteId: rhasspySiteId,
                                      msg: text
                              	};
                              	let jsonObj = JSON.stringify(sendData);
                              	if(sid != 0) {
                              		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
                              	}
                              	else {
                              		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
                              	}
                              }
                              

                              @carstendergroße said in Rhasspy Offline Sprachsteuerung:

                              So ich habe den fehler gefunden :)

                              folgende funktion hab ich geändert:

                              function extractIntentData(message) {
                              
                                  const parsedMessage = JSON.parse(message);
                              
                                  let extractedJSON = {};
                              
                                  extractedJSON.slots = {};
                              
                                  extractedJSON.intentName = parsedMessage.intent.intentName;
                              
                                  extractedJSON.siteId = parsedMessage.siteId;
                              
                              	extractedJSON.Id = parsedMessage.sessionId;
                              
                                  parsedMessage.slots.forEach(slot => {
                              
                                      extractedJSON.slots[slot.slotName] = slot.value.value;
                              
                                  });
                              
                                  return extractedJSON;
                              
                              }
                              

                              Nach einer ausgeführten aktion wird folgendes aufgerufen:

                              speakRhasspy(`Gewünschter TTS text`,json.Id, json.siteId);
                              

                              mmmh,
                              das klappt bei mir noch nicht. Irgendetwas mache ich falsch.
                              Das Script läuft sauber ohne Fehler durch.
                              Kannst Du mal einen Blick darüber werfen?
                              Danke.

                              javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})

                              // Speak over mqtt (Test)
                              function speakRhasspyMqtt(text, rhasspySiteId, sid) {
                                  if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);}
                              	let sendData = {
                                      sessionId: sid,
                                      siteId: rhasspySiteId,
                                      msg: text
                              	};
                              	let jsonObj = JSON.stringify(sendData);
                              	if(sid != 0) {
                              		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj});	
                              	}
                              	else {
                              		sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj});	
                              	}
                              }
                              
                              CarstenDerGroßeC Offline
                              CarstenDerGroßeC Offline
                              CarstenDerGroße
                              schrieb am zuletzt editiert von
                              #371

                              @kuumaur

                              msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})

                              Eigentlich müsste bei sessionId die vom Dialogmanager generierte ID stehen verstehe nur gerade nicht wieso das nicht der Fall ist

                              K 1 Antwort Letzte Antwort
                              0
                              • CarstenDerGroßeC CarstenDerGroße

                                @kuumaur

                                msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})

                                Eigentlich müsste bei sessionId die vom Dialogmanager generierte ID stehen verstehe nur gerade nicht wieso das nicht der Fall ist

                                K Offline
                                K Offline
                                kuumaur
                                schrieb am zuletzt editiert von
                                #372

                                @carstendergroße
                                Kann das an den mqtt Abos liegen?
                                Hier meine abonnierten Kanäle:
                                hermes/intent/#,hermes/leds/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#,hermes/tts/#

                                Proxmox | IoBroker LXC Container | Zigbee | Rhasspy Voice | SqueezeBox | Frigate CCTV | Jarvis Vis |

                                CarstenDerGroßeC 1 Antwort Letzte Antwort
                                0
                                • K kuumaur

                                  @carstendergroße
                                  Kann das an den mqtt Abos liegen?
                                  Hier meine abonnierten Kanäle:
                                  hermes/intent/#,hermes/leds/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#,hermes/tts/#

                                  CarstenDerGroßeC Offline
                                  CarstenDerGroßeC Offline
                                  CarstenDerGroße
                                  schrieb am zuletzt editiert von
                                  #373

                                  @kuumaur Eigentlich nicht. Da ich aktuell mein rhasspy über fhem laufen habe kann ich leider nicht produktiv testen

                                  1 Antwort Letzte Antwort
                                  0
                                  • I Offline
                                    I Offline
                                    ignis-draco
                                    schrieb am zuletzt editiert von ignis-draco
                                    #374

                                    Hi,

                                    ich habe vor ein paar Tagen auch angefangen mit Rhasspy und IoBroker zu spielen.

                                    Da ich die Version mit dem Externen MQTT Broker und auch die Version mit Node-Red nicht gut finde habe ich versucht es mit Javascript (bzw. TypeScript) umzusetzen.

                                    Aktuell läuft es und ich kann Anfangen den Funktionsumfang weiter aufzubauen.

                                    Mein Weg ist aktuell.

                                    1. Websocket zum intent des Rhasspy Server aufbauen.
                                    • Um doppel Auslösungen werden Mesagge nur ausgewertet wenn mehr als 8 Sekunden zwischen zwei Nachrichten liegen.
                                    • Unter "0_userdata.0.offline_speak" werden Datenpunkte angelegt in denen die Infos aus der Nachricht gespeichert werden (Es kann sein das dort noch welche fehlen.)

                                    const WebSocket = require('ws');
                                    const ws = new WebSocket('ws://192.168.3.203:12101/api/events/intent');
                                    
                                    ws.onmessage = function(event){
                                        let stamp = new Date(new Date(getState('0_userdata.0.offline_speak.intent.name').ts).getTime() + 8000)
                                        let now = new Date()
                                    
                                        if(now > stamp){
                                            //console.log("raw: " + event.data);  
                                            let intent : string = event.data.match( /"intent":.*?}/)[0];
                                            let slots : string = event.data.match( /"slots":.*?}/)[0];
                                            //console.log("intent: " + intent); 
                                            //console.log("slots: " + slots); 
                                            let parts : string[] = intent.match( /{.*?}/ )[0].split(",")
                                            for ( let i of parts){
                                                let values : string[] = i.split(":");
                                                let id :string = values[0].match(/".*"/)[0].slice(1,-1).trim();
                                    
                                                let value : string;
                                                if (values[1].indexOf('"') != -1){
                                                    value = values[1].match(/".*"/)[0].slice(1,-1).trim();
                                                }else{
                                                    value = values[1].slice(0,-1).trim();
                                                }
                                                if(existsState('0_userdata.0.offline_speak.intent.'+id)){
                                                    setState('0_userdata.0.offline_speak.intent.'+id,value);
                                                }else{
                                                    createState(('0_userdata.0.offline_speak.intent.'+id), value, {name: 'Rhasspy '+id});
                                                }
                                            }
                                    
                                            if(slots.length > 25){
                                                parts  = slots.match( /{.*?}/ )[0].split(",")
                                                for ( let i of parts){
                                                    let values : string[] = i.split(":");
                                                    let id :string = values[0].match(/".*"/)[0].slice(1,-1).trim();
                                    
                                                    let value : string;
                                                    if (values[1].indexOf('"') != -1){
                                                        value = values[1].match(/".*"/)[0].slice(1,-1).trim();
                                                    }else{
                                                        value = values[1].slice(0,-1).trim();
                                                    }
                                                    if(existsState('0_userdata.0.offline_speak.slots.'+id)){
                                                        setState('0_userdata.0.offline_speak.slots.'+id,value);
                                                    }else{
                                                        createState(('0_userdata.0.offline_speak.slots.'+id), value, {name: 'Rhasspy '+id});
                                                    }
                                                }
                                            }
                                        }
                                    }
                                    
                                    

                                    1. Wenn das die Infos in den Datenpunkte sind können diese mittels eines zweiten Scripts verarbeitet werden.

                                    Mein Script sieht bis jetzt so aus.
                                    Die Rückantwort passiert wie hier schon beschriebene über den HTTP Post request.

                                    function sendText(text : string):void{
                                       var options = {
                                           method: 'POST',
                                           url: "http://192.168.3.203:12101/api/text-to-speech"
                                       }
                                       console.log("Sende: "+text);
                                       var post_req = request(options, function (error, res, body) { });
                                       post_req.write(text);
                                       post_req.end();
                                    }
                                    
                                    
                                    on({id: '0_userdata.0.offline_speak.intent.name', change: "any"} , function (obj){
                                       console.log("neuer wert "+ obj.state.val);
                                       let command :string = obj.state.val
                                       var date  = new Date();
                                    
                                       switch(command){
                                           case "GetTime":
                                               let time : string = " Es ist ";
                                               time +=date.toLocaleTimeString([],{hour: "2-digit", minute: "2-digit",hour12: false})
                                               sendText(time);
                                               break;
                                           case "GetTemperature":
                                               let temp : string = " Es sind ";
                                               temp += getState('daswetter.0.NextDaysDetailed.Location_1.Day_1.Hour_'+date.getHours()+'.temp_value').val + "°C.";
                                               sendText(temp);
                                               break;
                                           case "GetGarageState":
                                               break;
                                           case "ChangeLightState":
                                               let lamp : string = getState('0_userdata.0.offline_speak.slots.name').val
                                               let state : number = (getState('0_userdata.0.offline_speak.slots.state').val === "ein") ? 100 :0 ; 
                                               setState('zigbee.0.00158d0003882c5c.brightness', state);
                                                sendText("okay");
                                               break; 
                                           case "GetFuel":
                                               let text:string= "Es ist am günstigsten bei "
                                               text += getState('tankerkoenig.0.stations.cheapest.e5.name').val
                                               text += " mit "
                                               text += getState('tankerkoenig.0.stations.cheapest.e5.short').val + "€"
                                               sendText(text);
                                               break;
                                       }   
                                    });
                                    
                                    

                                    Ich weiß noch nicht ob dies der "bessere" oder "schlechter" weg ist als über MQTT.

                                    [EDIT]
                                    Mir ist gerade aufgefallen das es zu einem Problem kommt wenn jemand versucht das script zu starten wenn der Datenpunkt "'0_userdata.0.offline_speak.intent.name'" nicht vorher per Hand angelegt wurde.
                                    Bei Interesse werde ich das Problem noch beheben.

                                    Gruß
                                    Ignis-draco

                                    Proxmox [DMAF5] = LXC [Debian 12]
                                    ioBroker – apt-cacher – Semaphore – NGINX Proxy Manager – gitolite – LMS – tandoor – DokuWiki - paperless-ngx - unifi - mumble - wireguard - heimdall - planka - rustDesk - adguard

                                    1 Antwort Letzte Antwort
                                    0
                                    • T Offline
                                      T Offline
                                      tazdevil20
                                      schrieb am zuletzt editiert von
                                      #375

                                      Hi,
                                      habe mich mal wieder mit Rhasspy beschäftigt. Vor einem halben Jahr bin ich gescheitert wegen der Erkennung der Audio-HW (Respeaker 2). Jetzt hat es nach vielen Installationen mal funktioniert. Musste jedoch feststellen, dass wenn ich auf den externen MQTT umstelle die Audio-HW nicht erkannt wird.
                                      Da ich ohne Docker arbeite komme ich jedoch ohne Probleme an den MQTT-Server ran und kann diesen subscriben.

                                      Ich möchte hauptsächlich einen/mehrere Timer realisieren (für die Küche). Irgendwo in dem Thread hat jemand geschrieben, dass das direkt im Rhasspy möglich ist. Ich finde jedoch keine Möglichkeit. Könnte mir da jemand auf die Sprünge helfen?

                                      System 9S 1 Antwort Letzte Antwort
                                      0
                                      • T tazdevil20

                                        Hi,
                                        habe mich mal wieder mit Rhasspy beschäftigt. Vor einem halben Jahr bin ich gescheitert wegen der Erkennung der Audio-HW (Respeaker 2). Jetzt hat es nach vielen Installationen mal funktioniert. Musste jedoch feststellen, dass wenn ich auf den externen MQTT umstelle die Audio-HW nicht erkannt wird.
                                        Da ich ohne Docker arbeite komme ich jedoch ohne Probleme an den MQTT-Server ran und kann diesen subscriben.

                                        Ich möchte hauptsächlich einen/mehrere Timer realisieren (für die Küche). Irgendwo in dem Thread hat jemand geschrieben, dass das direkt im Rhasspy möglich ist. Ich finde jedoch keine Möglichkeit. Könnte mir da jemand auf die Sprünge helfen?

                                        System 9S Offline
                                        System 9S Offline
                                        System 9
                                        schrieb am zuletzt editiert von System 9
                                        #376

                                        Hallo,
                                        ich habe folgendes Problem.
                                        Sobald ich den externen MQTT verwende, funktioniert leider das Intent Reconize nicht mehr, schalte ich ihn auf Intern, ist das ergebniss ruckzug da.
                                        Auch spricht leider mein Node-Red skript nicht auf das MQTT an(nur über die WS schnittstelle).
                                        Woran könnte das liegen

                                        als MQTT Server verwende ich den Iobroker.

                                        [ERROR:2021-08-03 10:56:08,454] root: parse_mqtt_message (topic=hermes/audioServer/Rhasspy/audioSummary)
                                        Traceback (most recent call last):
                                          File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message
                                            json_payload = json.loads(payload)
                                          File "/usr/lib/python3.7/json/__init__.py", line 348, in loads
                                            return _default_decoder.decode(s)
                                          File "/usr/lib/python3.7/json/decoder.py", line 337, in decode
                                            obj, end = self.raw_decode(s, idx=_w(s, 0).end())
                                          File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode
                                            raise JSONDecodeError("Expecting value", s, err.value) from None
                                        json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
                                        [DEBUG:2021-08-03 10:56:08,455] rhasspyserver_hermes: Sent 370 char(s) to websocket
                                        [ERROR:2021-08-03 10:56:08,456] root: parse_mqtt_message (topic=hermes/nlu/intentNotRecognized)
                                        Traceback (most recent call last):
                                          File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message
                                            json_payload = json.loads(payload)
                                          File "/usr/lib/python3.7/json/__init__.py", line 348, in loads
                                            return _default_decoder.decode(s)
                                          File "/usr/lib/python3.7/json/decoder.py", line 337, in decode
                                            obj, end = self.raw_decode(s, idx=_w(s, 0).end())
                                          File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode
                                            raise JSONDecodeError("Expecting value", s, err.value) from None
                                        json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
                                        [DEBUG:2021-08-03 10:56:08,456] rhasspyserver_hermes: Sent 370 char(s) to websocket
                                        [ERROR:2021-08-03 10:56:08,458] root: parse_mqtt_message (topic=hermes/asr/textCaptured)
                                        Traceback (most recent call last):
                                          File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message
                                            json_payload = json.loads(payload)
                                          File "/usr/lib/python3.7/json/__init__.py", line 348, in loads
                                            return _default_decoder.decode(s)
                                          File "/usr/lib/python3.7/json/decoder.py", line 337, in decode
                                            obj, end = self.raw_decode(s, idx=_w(s, 0).end())
                                          File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode
                                            raise JSONDecodeError("Expecting value", s, err.value) from None
                                        json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
                                        [DEBUG:2021-08-03 10:56:10,283] rhasspyserver_hermes: <- NluIntent(input='what time is it', intent=Intent(intent_name='GetTime', confidence_score=1.0), site_id='Rhasspy', id='847230fc-e4ee-4bf6-807e-f1c69ca6b4f7', slots=[], session_id='847230fc-e4ee-4bf6-807e-f1c69ca6b4f7', custom_data=None, asr_tokens=[[AsrToken(value='what', confidence=1.0, range_start=0, range_end=4, time=None), AsrToken(value='time', confidence=1.0, range_start=5, range_end=9, time=None), AsrToken(value='is', confidence=1.0, range_start=10, range_end=12, time=None), AsrToken(value='it', confidence=1.0, range_start=13, range_end=15, time=None)]], asr_confidence=None, raw_input='what time is it', wakeword_id=None, lang=None)
                                        [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=761ebd35-f529-4b47-8d0b-e8ead13fad28)
                                        [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=2716ba16-42ba-46cd-9efa-f9731b34e82e)
                                        [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=39d1735e-c7cd-42ea-b1d8-ca2cd5f4d1c9)
                                        [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=c8b73a1b-b644-47ac-b017-92fff677fa27)
                                        [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=5dc4f052-7faa-4563-b7de-5d75965be31b)
                                        [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=aa45f176-bce0-4017-ad65-a6786a903eb2)
                                        [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=0411fd43-3d79-4c64-b9cd-26e2b66ae661)
                                        [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=5a95257a-ea83-4709-8879-f6fa16c1bf5d)
                                        [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=b8098ce6-0856-4b46-9d99-90baac7f7954)
                                        [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=8780f6ed-acd4-44db-b995-a7a19e94742b)
                                        [DEBUG:2021-08-03 10:56:10,287] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=c8d2995a-d1a6-48e3-a5ba-d55cc3e0de1e)
                                        
                                        1 Antwort Letzte Antwort
                                        0
                                        • D DerT

                                          Wie bereits angekündigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.

                                          Die Übergabe der JSON an ioBroker erfolgt nun doch wieder über MQTT.
                                          (Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr :grimacing: )

                                          Das Skript kann aktuell die folgenden Aufgaben übernehmen

                                          • Objekt in einem bestimmten Raum schalten
                                          • Objekt ohne den Raum schalten.
                                            In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
                                            Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
                                            Wenn es global nur ein Objekt gibt wird dieses geschalten.

                                          sentences.ini

                                          [changeLightRoom]
                                          ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}
                                          
                                          [changeState]
                                          ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}
                                          

                                          sentences.ini

                                          [changeLightRoom]
                                          ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}
                                          
                                          [changeState]
                                          ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}
                                          

                                          slot - objects

                                          Highboard 
                                          Stehlampe
                                          Bett
                                          Herd
                                          Licht
                                          Spiegel
                                          Wohnwand
                                          Indirekte Licht
                                          Spüle
                                          Schrank
                                          blablabla
                                          

                                          slot - rooms

                                          Schlafzimmer
                                          Küche
                                          Klo
                                          Büro
                                          Esszimmer
                                          Bad
                                          Wohnzimmer
                                          

                                          slot - states

                                          ein
                                          an
                                          aus
                                          

                                          Durch diese Definition sind alle Daten die später vom Skript verarbeitet werden in Slots.

                                          Das Herzstück des ganzen ist das Javascript.
                                          Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.

                                          //##########################################################################
                                          // Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten
                                          //##########################################################################
                                          let http = require('http');
                                          
                                          /*
                                          Definition meiner Räume und der jeweiligen Objekte darin
                                          Die Struktur sieht dabei wie folgt aus.
                                          Im Intent der übermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten.
                                          Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden.
                                          */
                                          const rooms = {
                                              "Büro": {
                                                  "Licht": "sonoff.0.ShellyV1_13.POWER",
                                              },
                                              "Wohnzimmer": {
                                                  "Licht": "sonoff.0.ShellyV1_06.POWER",
                                                  "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC",
                                                  "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB",
                                                  "Rollo": ""
                                              },
                                              "Bad": {
                                                  "Licht": "sonoff.0.ShellyV1_05.POWER",
                                                  "Spiegel": "sonoff.0.ShellyV1_11.POWER",
                                                  "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER"
                                              },
                                              "Esszimmer": {
                                                  "Licht": "sonoff.0.ShellyV1_03.POWER",
                                                  "Highboard": "sonoff.0.SonoffS26_3.POWER"
                                              },
                                              "Küche": {
                                                  "Licht": "hm-rpc.1.000858A9960E7A.4.STATE",
                                                  "Spüle": "sonoff.0.ShellyV1_02.POWER",
                                                  "Herd": "sonoff.0.ShellyV1_01.POWER"
                                              },
                                              "Schlafzimmer": {
                                                  "Licht": "sonoff.0.ShellyV1_09.POWER",
                                                  "Schrank": "sonoff.0.ShellyV1_10.POWER",
                                                  "Bett": "sonoff.0.SonoffBasic_01.POWER",
                                                  "Rollo": ""
                                              },
                                              "Klo": {
                                                  "Licht": "sonoff.0.ShellyV1_04.POWER"
                                              }
                                          }
                                          
                                          //In diesem  json werden nötige Informationen zu allen rhasspys abgelget.
                                          const rhasspySites = {
                                              "testpi": {
                                                  room: "Büro",
                                                  host: "testpi.angl.loc",
                                                  httpPort: "12101"
                                              }
                                          }
                                          
                                          
                                          //************************ Functions *********************
                                          //Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt
                                          //Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurückgegeben. 
                                          //Wenn nicht, wird 'false' zurückgegeben
                                          function convertStateToBool(state) {
                                              const trueValues = ['ein', 'an'];
                                              return trueValues.includes(state);
                                          }
                                          
                                          //Reukursives durchsuchen eines JSON Objektes
                                          //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
                                          function findValues(obj, key) {
                                              return findValuesHelper(obj, key, []);
                                          }
                                          
                                          //Reukursives durchsuchen eines JSON Objektes
                                          //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
                                          function findValuesHelper(obj, key, list) {
                                              if (!obj) return list;
                                              if (obj instanceof Array) {
                                                  for (var i in obj) {
                                                      list = list.concat(findValuesHelper(obj[i], key, []));
                                                  }
                                                  return list;
                                              }
                                              if (obj[key]) list.push(obj[key]);
                                          
                                              if ((typeof obj == "object") && (obj !== null)) {
                                                  var children = Object.keys(obj);
                                                  if (children.length > 0) {
                                                      for (i = 0; i < children.length; i++) {
                                                          list = list.concat(findValuesHelper(obj[children[i]], key, []));
                                                      }
                                                  }
                                              }
                                              return list;
                                          }
                                          
                                          //Generiert ein JSON-Objekt mit allen wichtigen Informationen für die Funktionen im Skript.
                                          //Dies dient vor allem dazu den späteren Code lesbarer zu machen.
                                          //Beisipel Ergebnis
                                          /*
                                          {
                                             "slots":{
                                                "objectName":"Stehlampe",
                                                "state":"aus"
                                             },
                                             "intentName":"changeState",
                                             "siteId":"testpi"
                                          }
                                          */
                                          function extractIntentData(message) {
                                              const parsedMessage = JSON.parse(message);
                                              let extractedJSON = {};
                                              extractedJSON.slots = {};
                                              extractedJSON.intentName = parsedMessage.intent.intentName;
                                              extractedJSON.siteId = parsedMessage.siteId;
                                          
                                              parsedMessage.slots.forEach(slot => {
                                                  extractedJSON.slots[slot.slotName] = slot.value.value;
                                              });
                                          
                                              return extractedJSON;
                                          }
                                          
                                          //Damit kann jeder Rhasspy sprechen
                                          function speakRhasspy(text, rhasspySiteId) {
                                              console.log(rhasspySiteId);
                                              const rhasspy = rhasspySites[rhasspySiteId];
                                              const options = {
                                                  host: rhasspy.host,
                                                  port: rhasspy.httpPort,
                                                  path: "/api/text-to-speech",
                                                  method: 'POST',
                                                  headers: {
                                                      'User-Agent': 'ioBroker',
                                                      'Content-Type': 'text/plain',
                                                  }
                                              }
                                          
                                              let req = http.request(options);
                                              req.on('error', function (e) {
                                                  console.error('ERROR: ' + e.message, "warn");
                                              });
                                              req.write(text);
                                              req.end();
                                          }
                                          
                                          
                                          //In dieser Variablen werden alle Funktionen gepsiechert die später aufgerufen werden.
                                          //Dies dient dazu den anfallenden Code zu minimieren.
                                          //Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen.
                                          const callFunctions = {
                                              //Ändert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum.
                                              changeLightRoom: function (json) {
                                                  const objectName = json.slots.objectName;
                                                  const roomName = json.slots.room;
                                                  const state = convertStateToBool(json.slots.state);
                                          
                                          
                                                  //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geändert
                                                  if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') {
                                                      const room = rooms[roomName];
                                          
                                                      if (typeof room != 'undefined') {
                                                          const lightId = room[objectName];
                                                          if (typeof lightId != 'undefined') {
                                                              setState(lightId, state);
                                                          }
                                                          else {
                                                              speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                                                              console.warn(`can not find object '${objectName}' in room '${roomName}'`);
                                                          }
                                                      }
                                                      else {
                                                          speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId);
                                                          console.warn(`can not find room '${roomName}' in list of rooms`);
                                                      }
                                          
                                                  }
                                                  else {
                                                      speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
                                                      console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`);
                                                  }
                                              },
                                              //Ändert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet.
                                              //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen Räumen danach geuscht.
                                              //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten.
                                              changeState: function (json) {
                                                  const objectName = json.slots.objectName;
                                                  const state = convertStateToBool(json.slots.state);
                                                  const site = rhasspySites[json.siteId];
                                                  const room = rooms[site.room];
                                                  let lightId = room[objectName];
                                          
                                                  if (typeof lightId === 'undefined') {
                                                      //Prüfen ob es mehr als ein Objekt mit diesem Namen gibt
                                                      const objects = findValues(rooms, objectName);
                                          
                                                      if (objects.length === 1) {
                                                          lightId = objects[0];
                                                      }
                                                      else if (objects.length > 1) {
                                                          speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId);
                                                          console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`);
                                                      }
                                                      else {
                                                          speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                                                          console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`);
                                                      }
                                                  }
                                          
                                                  if (typeof lightId != 'undefined' && typeof state != 'undefined') {
                                                      setState(lightId, state);
                                                  }
                                                  else {
                                                      speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
                                                      console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`);
                                                  }
                                              }
                                          }
                                          //************************ Functions *********************
                                          
                                          //************************ Events ************************
                                          //Wird beim auslösen jedes Intents getriggert
                                          on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) {
                                              const extractedJSON = extractIntentData(obj.state.val);
                                              const intentName = extractedJSON.intentName;
                                              const callFunction = callFunctions[intentName];
                                          
                                              if (typeof callFunction != 'undefined') {
                                                  callFunction(extractedJSON);
                                              }
                                              else {
                                                  console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`);
                                              }
                                          });
                                          //************************ Events ************************
                                          

                                          Würde mich freuen wenn Ihr mal eure Meinung dazu sagt :)

                                          Außerdem habe ich noch ein paar Fragen.

                                          1. Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen :(
                                          2. Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
                                          3. Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?

                                          Liebe Grüße und schöne Wochenende

                                          J Offline
                                          J Offline
                                          jwerlsdf
                                          schrieb am zuletzt editiert von jwerlsdf
                                          #377

                                          @dert
                                          hi,
                                          ich habe jetzt schon länger dein Skript am Laufen. Jetzt habe ich einen weiteren Rhasspy in einem weiteren Raum installiert. Wo muss ich nun genau im Skript diesen eintragen?
                                          Bei


                                          const rhasspySites = {
                                          "Wohnzimmer": {
                                          room: "Wohnzimmer",
                                          host: "192.168.178.40",
                                          httpPort: "12101"
                                          }
                                          "Esszimmer": {
                                          room: "Esszimmer",
                                          host: "192.168.178.34",
                                          httpPort: "12101"
                                          }
                                          }

                                          Funktioniert dies leider nicht.

                                          Edit:
                                          hat funktioniert. Ich habe ein Komma vergessen...:expressionless:

                                          D 1 Antwort Letzte Antwort
                                          0
                                          Antworten
                                          • In einem neuen Thema antworten
                                          Anmelden zum Antworten
                                          • Älteste zuerst
                                          • Neuste zuerst
                                          • Meiste Stimmen


                                          Support us

                                          ioBroker
                                          Community Adapters
                                          Donate

                                          741

                                          Online

                                          32.4k

                                          Benutzer

                                          81.5k

                                          Themen

                                          1.3m

                                          Beiträge
                                          Community
                                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                                          ioBroker Community 2014-2025
                                          logo
                                          • Anmelden

                                          • Du hast noch kein Konto? Registrieren

                                          • Anmelden oder registrieren, um zu suchen
                                          • Erster Beitrag
                                            Letzter Beitrag
                                          0
                                          • Home
                                          • Aktuell
                                          • Tags
                                          • Ungelesen 0
                                          • Kategorien
                                          • Unreplied
                                          • Beliebt
                                          • GitHub
                                          • Docu
                                          • Hilfe