NEWS
Rhasspy Offline Sprachsteuerung
-
@dert
hallo ich habe soweit alles eingefĂŒgt. Leider ohne Erfolg. Wenn ich snowboy mit dem Befehl Stehlampe aus sage, dann wird es im Rhasspy webif erkannt, aber ansonsten passiert nichts.
Habe im Skript bei Stehlampe den homematic-Pfad angepasst, ansonsten habe ich nichts im Skript verÀndert.
Wo könnte der Fehler liegen?
AuĂerdem werden bei mir die hermes/intents nicht angezeigt. Woran könnte das liegen? -
@jwerlsdf
Hi,
kannst du mir kurz sagen auf welches Skript du dich beziehst? Hast du mehrere rhasspys oder nur einen?GruĂ
T@dert
danke fĂŒr deine RĂŒckmeldung.
Ich habe bisher nur einen Rhasspy. Dieser lĂ€uft aber auf einem anderen Raspberry 4 als iobroker lĂ€uft. Die Verbindung mit dem iobroker steht (Adapter ist grĂŒn)
Ich beziehen mich auf das Skript, welches du auf Seite 315 gepostet hast.Noch ein Hinweis:
@LichtAn hat auf Seite 290 ein Bild gepostet, bei dem darauf einen Ordner mit Intents mit den entsprechenden EintrÀgen zu sehen sind. Diese fehlen mir. Werden diese automatisch erstellt oder muss ich diese manuell anlegen?OK. Es scheint, jetzt zu gehen. Musste im MQTT-Adapter folgendes Àndern:
#hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized,hermes/intent/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#Damit werden nun die intents angezeigt und ich kann nun die Befehle per Sprache absetzen. Schaue mir jetzt noch mal deinen code an. Ggf. habe ich noch ein paar Fragen dazu.
Eine andere Frage hĂ€tte ich noch: Wie kann ich die Sprachausgabe ĂŒber Sonos API ausgeben? Hat da jemand eine Idee?
-
Wie bereits angekĂŒndigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.
Die Ăbergabe der JSON an ioBroker erfolgt nun doch wieder ĂŒber MQTT.
(Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr
)Das Skript kann aktuell die folgenden Aufgaben ĂŒbernehmen
- Objekt in einem bestimmten Raum schalten
- Objekt ohne den Raum schalten.
In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
Wenn es global nur ein Objekt gibt wird dieses geschalten.
sentences.ini
[changeLightRoom] ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state} [changeState] ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}sentences.ini
[changeLightRoom] ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state} [changeState] ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}slot - objects
Highboard Stehlampe Bett Herd Licht Spiegel Wohnwand Indirekte Licht SpĂŒle Schrank blablablaslot - rooms
Schlafzimmer KĂŒche Klo BĂŒro Esszimmer Bad Wohnzimmerslot - states
ein an ausDurch diese Definition sind alle Daten die spÀter vom Skript verarbeitet werden in Slots.
Das HerzstĂŒck des ganzen ist das Javascript.
Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.//########################################################################## // Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten //########################################################################## let http = require('http'); /* Definition meiner RĂ€ume und der jeweiligen Objekte darin Die Struktur sieht dabei wie folgt aus. Im Intent der ĂŒbermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten. Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden. */ const rooms = { "BĂŒro": { "Licht": "sonoff.0.ShellyV1_13.POWER", }, "Wohnzimmer": { "Licht": "sonoff.0.ShellyV1_06.POWER", "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC", "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB", "Rollo": "" }, "Bad": { "Licht": "sonoff.0.ShellyV1_05.POWER", "Spiegel": "sonoff.0.ShellyV1_11.POWER", "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER" }, "Esszimmer": { "Licht": "sonoff.0.ShellyV1_03.POWER", "Highboard": "sonoff.0.SonoffS26_3.POWER" }, "KĂŒche": { "Licht": "hm-rpc.1.000858A9960E7A.4.STATE", "SpĂŒle": "sonoff.0.ShellyV1_02.POWER", "Herd": "sonoff.0.ShellyV1_01.POWER" }, "Schlafzimmer": { "Licht": "sonoff.0.ShellyV1_09.POWER", "Schrank": "sonoff.0.ShellyV1_10.POWER", "Bett": "sonoff.0.SonoffBasic_01.POWER", "Rollo": "" }, "Klo": { "Licht": "sonoff.0.ShellyV1_04.POWER" } } //In diesem json werden nötige Informationen zu allen rhasspys abgelget. const rhasspySites = { "testpi": { room: "BĂŒro", host: "testpi.angl.loc", httpPort: "12101" } } //************************ Functions ********************* //Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt //Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurĂŒckgegeben. //Wenn nicht, wird 'false' zurĂŒckgegeben function convertStateToBool(state) { const trueValues = ['ein', 'an']; return trueValues.includes(state); } //Reukursives durchsuchen eines JSON Objektes //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d function findValues(obj, key) { return findValuesHelper(obj, key, []); } //Reukursives durchsuchen eines JSON Objektes //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d function findValuesHelper(obj, key, list) { if (!obj) return list; if (obj instanceof Array) { for (var i in obj) { list = list.concat(findValuesHelper(obj[i], key, [])); } return list; } if (obj[key]) list.push(obj[key]); if ((typeof obj == "object") && (obj !== null)) { var children = Object.keys(obj); if (children.length > 0) { for (i = 0; i < children.length; i++) { list = list.concat(findValuesHelper(obj[children[i]], key, [])); } } } return list; } //Generiert ein JSON-Objekt mit allen wichtigen Informationen fĂŒr die Funktionen im Skript. //Dies dient vor allem dazu den spĂ€teren Code lesbarer zu machen. //Beisipel Ergebnis /* { "slots":{ "objectName":"Stehlampe", "state":"aus" }, "intentName":"changeState", "siteId":"testpi" } */ function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId) { console.log(rhasspySiteId); const rhasspy = rhasspySites[rhasspySiteId]; const options = { host: rhasspy.host, port: rhasspy.httpPort, path: "/api/text-to-speech", method: 'POST', headers: { 'User-Agent': 'ioBroker', 'Content-Type': 'text/plain', } } let req = http.request(options); req.on('error', function (e) { console.error('ERROR: ' + e.message, "warn"); }); req.write(text); req.end(); } //In dieser Variablen werden alle Funktionen gepsiechert die spĂ€ter aufgerufen werden. //Dies dient dazu den anfallenden Code zu minimieren. //Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen. const callFunctions = { //Ăndert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum. changeLightRoom: function (json) { const objectName = json.slots.objectName; const roomName = json.slots.room; const state = convertStateToBool(json.slots.state); //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geĂ€ndert if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') { const room = rooms[roomName]; if (typeof room != 'undefined') { const lightId = room[objectName]; if (typeof lightId != 'undefined') { setState(lightId, state); } else { speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId); console.warn(`can not find object '${objectName}' in room '${roomName}'`); } } else { speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId); console.warn(`can not find room '${roomName}' in list of rooms`); } } else { speakRhasspy(`Etwas ist schief gelaufen`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`); } }, //Ăndert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet. //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen RĂ€umen danach geuscht. //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten. changeState: function (json) { const objectName = json.slots.objectName; const state = convertStateToBool(json.slots.state); const site = rhasspySites[json.siteId]; const room = rooms[site.room]; let lightId = room[objectName]; if (typeof lightId === 'undefined') { //PrĂŒfen ob es mehr als ein Objekt mit diesem Namen gibt const objects = findValues(rooms, objectName); if (objects.length === 1) { lightId = objects[0]; } else if (objects.length > 1) { speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`); } else { speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`); } } if (typeof lightId != 'undefined' && typeof state != 'undefined') { setState(lightId, state); } else { speakRhasspy(`Etwas ist schief gelaufen`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`); } } } //************************ Functions ********************* //************************ Events ************************ //Wird beim auslösen jedes Intents getriggert on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) { const extractedJSON = extractIntentData(obj.state.val); const intentName = extractedJSON.intentName; const callFunction = callFunctions[intentName]; if (typeof callFunction != 'undefined') { callFunction(extractedJSON); } else { console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`); } }); //************************ Events ************************WĂŒrde mich freuen wenn Ihr mal eure Meinung dazu sagt :)
AuĂerdem habe ich noch ein paar Fragen.
- Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen :(
- Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
- Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?
Liebe GrĂŒĂe und schöne Wochenende
WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen wĂŒrde und zwar die tts ausgaben. Statt ĂŒber die api wĂŒrde ich dies ebenfalls ĂŒber mqtt zu erledigen um nicht zwei protokolle zu vermischen.
in etwa so:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.SessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId ,sid) { console.log(rhasspySiteId); let sendData = { sessionId: sid, siteId: site, text: msg }; let jsonObj = JSON.stringify(sendData); if(sid != "0") { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }lÀsst sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
Ăbrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
Zu 3. Da mein Produktives Rhasspy noch unter FHEM lĂ€uft habe ich meinen Logitechmediaserver ĂŒber rhasspy angebunden und dies funktioniert recht gut ich weiĂ nur noch nicht wie ich das ĂŒber iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))einen schönen abend gewĂŒnscht
Carsten
-
Hallo,
folgendes Szenario wĂŒrde ich gerne umsetzen:
Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wÀre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen? -
Hallo,
folgendes Szenario wĂŒrde ich gerne umsetzen:
Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wÀre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen?@jwerlsdf
Hi,
Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen mĂŒssen angepasst werden.
Ist zwar kein blockly, aber evtl. hilft es Dir weiter? -
@jwerlsdf
Hi,
Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen mĂŒssen angepasst werden.
Ist zwar kein blockly, aber evtl. hilft es Dir weiter?@joergeli
danke fĂŒr deine RĂŒckmeldung. In der Zwischenzeit habe ich es noch mal mit dem Skript von @DerT probiert (315). Habe es damit nun hinbekommen. Ich schalte damit einen Datenpunkt, der wiederrum dann ein anderes Skript (Blockly) schaltet. Sind zwar lĂ€ngere Wege, aber fĂŒr jemanden wie mich einfacher umzusetzen.Jetzt hoffe noch, dass mir jemand beim bring-Adapter helfen könnte. Dort bekomme ich den Intent-befehl nicht in den Bring adapter geschrieben...
-
@joergeli
danke fĂŒr deine RĂŒckmeldung. In der Zwischenzeit habe ich es noch mal mit dem Skript von @DerT probiert (315). Habe es damit nun hinbekommen. Ich schalte damit einen Datenpunkt, der wiederrum dann ein anderes Skript (Blockly) schaltet. Sind zwar lĂ€ngere Wege, aber fĂŒr jemanden wie mich einfacher umzusetzen.Jetzt hoffe noch, dass mir jemand beim bring-Adapter helfen könnte. Dort bekomme ich den Intent-befehl nicht in den Bring adapter geschrieben...
-
WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen wĂŒrde und zwar die tts ausgaben. Statt ĂŒber die api wĂŒrde ich dies ebenfalls ĂŒber mqtt zu erledigen um nicht zwei protokolle zu vermischen.
in etwa so:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.SessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId ,sid) { console.log(rhasspySiteId); let sendData = { sessionId: sid, siteId: site, text: msg }; let jsonObj = JSON.stringify(sendData); if(sid != "0") { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }lÀsst sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
Ăbrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
Zu 3. Da mein Produktives Rhasspy noch unter FHEM lĂ€uft habe ich meinen Logitechmediaserver ĂŒber rhasspy angebunden und dies funktioniert recht gut ich weiĂ nur noch nicht wie ich das ĂŒber iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))einen schönen abend gewĂŒnscht
Carsten
@carstendergroĂe
Hier mal ein Beispiel von mir:
(Ist nicht schön gelöst, aber funktioniert. JScript ist nicht meine Welt)
Vorraussetzung:-
slots anlegen
-
Adapter Squeezeboxrpc installieren
-
ich verwende das Basis-Script von @DerT, glaube ich.
radiostation: function (json){
const objectName = json.slots.objectName;
const StateFriendly = json.slots.state;
const state = convertStateToBool(json.slots.state);
const roomName = json.slots.room;
const room = rooms[roomName];
if (typeof roomName == 'undefined') {
roomName = rhasspySites[json.siteId].room;
room = rooms[roomName];
console.warn(1) Object='${objectName}' | roomName='${roomName}' | room='${room}' | rhasspy='${rhasspySites[json.siteId].room}');
}
if (roomName == "kĂŒche") {
if (objectName == "ndr twei") {
speakRhasspy(ok, der Sender '${objectName}' ist bei '${roomName}' zu hören, json.siteId);
setState("squeezeboxrpc.0.Players.esprimomobilev6505.Power", 1);
setState("squeezeboxrpc.0.Players.esprimomobilev6505.cmdPlayFavorite", 1)
}
}
if (roomName == "bĂŒro") {
if (objectName == "sputnik") {
speakRhasspy(ok, der Sender '${objectName}' ist bei '${roomName}' zu hören, json.siteId);
setState("squeezeboxrpc.0.Players.pi1.Power", 1);
setState("squeezeboxrpc.0.Players.pi1.cmdPlayFavorite", 1)
}
}
---snip---
PS: Beim "pasten" sind einige Steuer- Klammer- und AnfĂŒhrungszeihen zeichen entfernt worden.
-
-
WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen wĂŒrde und zwar die tts ausgaben. Statt ĂŒber die api wĂŒrde ich dies ebenfalls ĂŒber mqtt zu erledigen um nicht zwei protokolle zu vermischen.
in etwa so:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.SessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId ,sid) { console.log(rhasspySiteId); let sendData = { sessionId: sid, siteId: site, text: msg }; let jsonObj = JSON.stringify(sendData); if(sid != "0") { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }lÀsst sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
Ăbrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
Zu 3. Da mein Produktives Rhasspy noch unter FHEM lĂ€uft habe ich meinen Logitechmediaserver ĂŒber rhasspy angebunden und dies funktioniert recht gut ich weiĂ nur noch nicht wie ich das ĂŒber iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))einen schönen abend gewĂŒnscht
Carsten
@carstendergroĂe said in Rhasspy Offline Sprachsteuerung:
function speakRhasspy(text, rhasspySiteId ,sid) {
Moin, was muss fĂŒr die Funktion bei "sid" ĂŒbergeben werden?
Danke und GruĂ -
@carstendergroĂe said in Rhasspy Offline Sprachsteuerung:
function speakRhasspy(text, rhasspySiteId ,sid) {
Moin, was muss fĂŒr die Funktion bei "sid" ĂŒbergeben werden?
Danke und GruĂ@kuumaur das soll die sessionId darstellen đ bin etwas schreibfaul.
-
@kuumaur das soll die sessionId darstellen đ bin etwas schreibfaul.
@carstendergroĂe
Ja, das habe ich mir auch schon gedacht. Mir ist nur nicht klar wo fĂŒr diese ist. Bei mir funktioniert das Ganze leider nicht. Ich bekomme zwar keinen Fehler, aber es erfolgt auch keine Sprachausgabe. Wenn es funktioniert könnte ich mir den Webserver auf dem Satelliten sparen. -
@carstendergroĂe
Ja, das habe ich mir auch schon gedacht. Mir ist nur nicht klar wo fĂŒr diese ist. Bei mir funktioniert das Ganze leider nicht. Ich bekomme zwar keinen Fehler, aber es erfolgt auch keine Sprachausgabe. Wenn es funktioniert könnte ich mir den Webserver auf dem Satelliten sparen.@kuumaur ich teste das selber nochmal bei mir wenn ich Zeit habe. Die sessionId ist notwendig um die aktuelle Session nach Sprachausgabe zu beenden soweit ich das verstanden habe
-
So ich habe den fehler gefunden :)
folgende funktion hab ich geÀndert:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.sessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; }Nach einer ausgefĂŒhrten aktion wird folgendes aufgerufen:
speakRhasspy(`GewĂŒnschter TTS text`,json.Id, json.siteId); -
So ich habe den fehler gefunden :)
folgende funktion hab ich geÀndert:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.sessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; }Nach einer ausgefĂŒhrten aktion wird folgendes aufgerufen:
speakRhasspy(`GewĂŒnschter TTS text`,json.Id, json.siteId);@carstendergroĂe said in Rhasspy Offline Sprachsteuerung:
function extractIntentData(message) {
mmmh,
bei mir klappt das noch nicht.
Das Script lÀuft zwar fehlerfrei durch, aber es findet keine Sprachausgabe statt.
javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"siteId":"pi2","msg":"Dieser Text sollte gesprochen werden!"}"})// Speak over mqtt (Test) function speakRhasspyMqtt(text, rhasspySiteId, sid) { if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);} let sendData = { sessionId: sid, siteId: rhasspySiteId, msg: text }; let jsonObj = JSON.stringify(sendData); if(sid != 0) { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }@carstendergroĂe said in Rhasspy Offline Sprachsteuerung:
So ich habe den fehler gefunden :)
folgende funktion hab ich geÀndert:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.sessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; }Nach einer ausgefĂŒhrten aktion wird folgendes aufgerufen:
speakRhasspy(`GewĂŒnschter TTS text`,json.Id, json.siteId);mmmh,
das klappt bei mir noch nicht. Irgendetwas mache ich falsch.
Das Script lÀuft sauber ohne Fehler durch.
Kannst Du mal einen Blick darĂŒber werfen?
Danke.javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})
// Speak over mqtt (Test) function speakRhasspyMqtt(text, rhasspySiteId, sid) { if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);} let sendData = { sessionId: sid, siteId: rhasspySiteId, msg: text }; let jsonObj = JSON.stringify(sendData); if(sid != 0) { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } } -
@carstendergroĂe said in Rhasspy Offline Sprachsteuerung:
function extractIntentData(message) {
mmmh,
bei mir klappt das noch nicht.
Das Script lÀuft zwar fehlerfrei durch, aber es findet keine Sprachausgabe statt.
javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"siteId":"pi2","msg":"Dieser Text sollte gesprochen werden!"}"})// Speak over mqtt (Test) function speakRhasspyMqtt(text, rhasspySiteId, sid) { if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);} let sendData = { sessionId: sid, siteId: rhasspySiteId, msg: text }; let jsonObj = JSON.stringify(sendData); if(sid != 0) { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }@carstendergroĂe said in Rhasspy Offline Sprachsteuerung:
So ich habe den fehler gefunden :)
folgende funktion hab ich geÀndert:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.sessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; }Nach einer ausgefĂŒhrten aktion wird folgendes aufgerufen:
speakRhasspy(`GewĂŒnschter TTS text`,json.Id, json.siteId);mmmh,
das klappt bei mir noch nicht. Irgendetwas mache ich falsch.
Das Script lÀuft sauber ohne Fehler durch.
Kannst Du mal einen Blick darĂŒber werfen?
Danke.javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})
// Speak over mqtt (Test) function speakRhasspyMqtt(text, rhasspySiteId, sid) { if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);} let sendData = { sessionId: sid, siteId: rhasspySiteId, msg: text }; let jsonObj = JSON.stringify(sendData); if(sid != 0) { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})
Eigentlich mĂŒsste bei sessionId die vom Dialogmanager generierte ID stehen verstehe nur gerade nicht wieso das nicht der Fall ist
-
msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})
Eigentlich mĂŒsste bei sessionId die vom Dialogmanager generierte ID stehen verstehe nur gerade nicht wieso das nicht der Fall ist
@carstendergroĂe
Kann das an den mqtt Abos liegen?
Hier meine abonnierten KanÀle:
hermes/intent/#,hermes/leds/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#,hermes/tts/# -
@carstendergroĂe
Kann das an den mqtt Abos liegen?
Hier meine abonnierten KanÀle:
hermes/intent/#,hermes/leds/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#,hermes/tts/#@kuumaur Eigentlich nicht. Da ich aktuell mein rhasspy ĂŒber fhem laufen habe kann ich leider nicht produktiv testen
-
Hi,
ich habe vor ein paar Tagen auch angefangen mit Rhasspy und IoBroker zu spielen.
Da ich die Version mit dem Externen MQTT Broker und auch die Version mit Node-Red nicht gut finde habe ich versucht es mit Javascript (bzw. TypeScript) umzusetzen.
Aktuell lÀuft es und ich kann Anfangen den Funktionsumfang weiter aufzubauen.
Mein Weg ist aktuell.
- Websocket zum intent des Rhasspy Server aufbauen.
- Um doppel Auslösungen werden Mesagge nur ausgewertet wenn mehr als 8 Sekunden zwischen zwei Nachrichten liegen.
- Unter "0_userdata.0.offline_speak" werden Datenpunkte angelegt in denen die Infos aus der Nachricht gespeichert werden (Es kann sein das dort noch welche fehlen.)
- Wenn das die Infos in den Datenpunkte sind können diese mittels eines zweiten Scripts verarbeitet werden.
Mein Script sieht bis jetzt so aus.
Die RĂŒckantwort passiert wie hier schon beschriebene ĂŒber den HTTP Post request.
Ich weiĂ noch nicht ob dies der "bessere" oder "schlechter" weg ist als ĂŒber MQTT.
[EDIT]
Mir ist gerade aufgefallen das es zu einem Problem kommt wenn jemand versucht das script zu starten wenn der Datenpunkt "'0_userdata.0.offline_speak.intent.name'" nicht vorher per Hand angelegt wurde.
Bei Interesse werde ich das Problem noch beheben.GruĂ
Ignis-draco -
Hi,
habe mich mal wieder mit Rhasspy beschÀftigt. Vor einem halben Jahr bin ich gescheitert wegen der Erkennung der Audio-HW (Respeaker 2). Jetzt hat es nach vielen Installationen mal funktioniert. Musste jedoch feststellen, dass wenn ich auf den externen MQTT umstelle die Audio-HW nicht erkannt wird.
Da ich ohne Docker arbeite komme ich jedoch ohne Probleme an den MQTT-Server ran und kann diesen subscriben.Ich möchte hauptsĂ€chlich einen/mehrere Timer realisieren (fĂŒr die KĂŒche). Irgendwo in dem Thread hat jemand geschrieben, dass das direkt im Rhasspy möglich ist. Ich finde jedoch keine Möglichkeit. Könnte mir da jemand auf die SprĂŒnge helfen?
-
Hi,
habe mich mal wieder mit Rhasspy beschÀftigt. Vor einem halben Jahr bin ich gescheitert wegen der Erkennung der Audio-HW (Respeaker 2). Jetzt hat es nach vielen Installationen mal funktioniert. Musste jedoch feststellen, dass wenn ich auf den externen MQTT umstelle die Audio-HW nicht erkannt wird.
Da ich ohne Docker arbeite komme ich jedoch ohne Probleme an den MQTT-Server ran und kann diesen subscriben.Ich möchte hauptsĂ€chlich einen/mehrere Timer realisieren (fĂŒr die KĂŒche). Irgendwo in dem Thread hat jemand geschrieben, dass das direkt im Rhasspy möglich ist. Ich finde jedoch keine Möglichkeit. Könnte mir da jemand auf die SprĂŒnge helfen?
Hallo,
ich habe folgendes Problem.
Sobald ich den externen MQTT verwende, funktioniert leider das Intent Reconize nicht mehr, schalte ich ihn auf Intern, ist das ergebniss ruckzug da.
Auch spricht leider mein Node-Red skript nicht auf das MQTT an(nur ĂŒber die WS schnittstelle).
Woran könnte das liegenals MQTT Server verwende ich den Iobroker.
[ERROR:2021-08-03 10:56:08,454] root: parse_mqtt_message (topic=hermes/audioServer/Rhasspy/audioSummary) Traceback (most recent call last): File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message json_payload = json.loads(payload) File "/usr/lib/python3.7/json/__init__.py", line 348, in loads return _default_decoder.decode(s) File "/usr/lib/python3.7/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) [DEBUG:2021-08-03 10:56:08,455] rhasspyserver_hermes: Sent 370 char(s) to websocket [ERROR:2021-08-03 10:56:08,456] root: parse_mqtt_message (topic=hermes/nlu/intentNotRecognized) Traceback (most recent call last): File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message json_payload = json.loads(payload) File "/usr/lib/python3.7/json/__init__.py", line 348, in loads return _default_decoder.decode(s) File "/usr/lib/python3.7/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) [DEBUG:2021-08-03 10:56:08,456] rhasspyserver_hermes: Sent 370 char(s) to websocket [ERROR:2021-08-03 10:56:08,458] root: parse_mqtt_message (topic=hermes/asr/textCaptured) Traceback (most recent call last): File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message json_payload = json.loads(payload) File "/usr/lib/python3.7/json/__init__.py", line 348, in loads return _default_decoder.decode(s) File "/usr/lib/python3.7/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) [DEBUG:2021-08-03 10:56:10,283] rhasspyserver_hermes: <- NluIntent(input='what time is it', intent=Intent(intent_name='GetTime', confidence_score=1.0), site_id='Rhasspy', id='847230fc-e4ee-4bf6-807e-f1c69ca6b4f7', slots=[], session_id='847230fc-e4ee-4bf6-807e-f1c69ca6b4f7', custom_data=None, asr_tokens=[[AsrToken(value='what', confidence=1.0, range_start=0, range_end=4, time=None), AsrToken(value='time', confidence=1.0, range_start=5, range_end=9, time=None), AsrToken(value='is', confidence=1.0, range_start=10, range_end=12, time=None), AsrToken(value='it', confidence=1.0, range_start=13, range_end=15, time=None)]], asr_confidence=None, raw_input='what time is it', wakeword_id=None, lang=None) [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=761ebd35-f529-4b47-8d0b-e8ead13fad28) [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=2716ba16-42ba-46cd-9efa-f9731b34e82e) [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=39d1735e-c7cd-42ea-b1d8-ca2cd5f4d1c9) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=c8b73a1b-b644-47ac-b017-92fff677fa27) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=5dc4f052-7faa-4563-b7de-5d75965be31b) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=aa45f176-bce0-4017-ad65-a6786a903eb2) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=0411fd43-3d79-4c64-b9cd-26e2b66ae661) [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=5a95257a-ea83-4709-8879-f6fa16c1bf5d) [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=b8098ce6-0856-4b46-9d99-90baac7f7954) [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=8780f6ed-acd4-44db-b995-a7a19e94742b) [DEBUG:2021-08-03 10:56:10,287] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=c8d2995a-d1a6-48e3-a5ba-d55cc3e0de1e)
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen BeitrĂ€ge zu scrollen? Wenn du dich fĂŒr ein Konto anmeldest, kommst du immer genau dorthin zurĂŒck, wo du zuvor warst, und kannst dich ĂŒber neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und BeitrĂ€ge positiv bewerten, um anderen Community-Mitgliedern deine WertschĂ€tzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden đ
Registrieren Anmelden