NEWS
Rhasspy Offline Sprachsteuerung
-
@dert
danke für deine Rückmeldung.
Ich habe bisher nur einen Rhasspy. Dieser läuft aber auf einem anderen Raspberry 4 als iobroker läuft. Die Verbindung mit dem iobroker steht (Adapter ist grün)
Ich beziehen mich auf das Skript, welches du auf Seite 315 gepostet hast.Noch ein Hinweis:
@LichtAn hat auf Seite 290 ein Bild gepostet, bei dem darauf einen Ordner mit Intents mit den entsprechenden Einträgen zu sehen sind. Diese fehlen mir. Werden diese automatisch erstellt oder muss ich diese manuell anlegen?OK. Es scheint, jetzt zu gehen. Musste im MQTT-Adapter folgendes ändern:
#hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized,hermes/intent/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#
Damit werden nun die intents angezeigt und ich kann nun die Befehle per Sprache absetzen. Schaue mir jetzt noch mal deinen code an. Ggf. habe ich noch ein paar Fragen dazu.
Eine andere Frage hätte ich noch: Wie kann ich die Sprachausgabe über Sonos API ausgeben? Hat da jemand eine Idee?
-
WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen würde und zwar die tts ausgaben. Statt über die api würde ich dies ebenfalls über mqtt zu erledigen um nicht zwei protokolle zu vermischen.
in etwa so:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.SessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId ,sid) { console.log(rhasspySiteId); let sendData = { sessionId: sid, siteId: site, text: msg }; let jsonObj = JSON.stringify(sendData); if(sid != "0") { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }
lässt sich sicher auch eleganter lösen bin in JS noch nicht so gut.
Übrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
Zu 3. Da mein Produktives Rhasspy noch unter FHEM läuft habe ich meinen Logitechmediaserver über rhasspy angebunden und dies funktioniert recht gut ich weiß nur noch nicht wie ich das über iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt )einen schönen abend gewünscht
Carsten
-
Hallo,
folgendes Szenario würde ich gerne umsetzen:
Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wäre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen? -
@jwerlsdf
Hi,
Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen müssen angepasst werden.
Ist zwar kein blockly, aber evtl. hilft es Dir weiter? -
@joergeli
danke für deine Rückmeldung. In der Zwischenzeit habe ich es noch mal mit dem Skript von @DerT probiert (315). Habe es damit nun hinbekommen. Ich schalte damit einen Datenpunkt, der wiederrum dann ein anderes Skript (Blockly) schaltet. Sind zwar längere Wege, aber für jemanden wie mich einfacher umzusetzen.Jetzt hoffe noch, dass mir jemand beim bring-Adapter helfen könnte. Dort bekomme ich den Intent-befehl nicht in den Bring adapter geschrieben...
-
-
@carstendergroße
Hier mal ein Beispiel von mir:
(Ist nicht schön gelöst, aber funktioniert. JScript ist nicht meine Welt)
Vorraussetzung:-
slots anlegen
-
Adapter Squeezeboxrpc installieren
-
ich verwende das Basis-Script von @DerT, glaube ich.
radiostation: function (json){
const objectName = json.slots.objectName;
const StateFriendly = json.slots.state;
const state = convertStateToBool(json.slots.state);
const roomName = json.slots.room;
const room = rooms[roomName];
if (typeof roomName == 'undefined') {
roomName = rhasspySites[json.siteId].room;
room = rooms[roomName];
console.warn(1) Object='${objectName}' | roomName='${roomName}' | room='${room}' | rhasspy='${rhasspySites[json.siteId].room}'
);
}
if (roomName == "küche") {
if (objectName == "ndr twei") {
speakRhasspy(ok, der Sender '${objectName}' ist bei '${roomName}' zu hören
, json.siteId);
setState("squeezeboxrpc.0.Players.esprimomobilev6505.Power", 1);
setState("squeezeboxrpc.0.Players.esprimomobilev6505.cmdPlayFavorite", 1)
}
}
if (roomName == "büro") {
if (objectName == "sputnik") {
speakRhasspy(ok, der Sender '${objectName}' ist bei '${roomName}' zu hören
, json.siteId);
setState("squeezeboxrpc.0.Players.pi1.Power", 1);
setState("squeezeboxrpc.0.Players.pi1.cmdPlayFavorite", 1)
}
}
---snip---
PS: Beim "pasten" sind einige Steuer- Klammer- und Anführungszeihen zeichen entfernt worden.
-
-
@carstendergroße said in Rhasspy Offline Sprachsteuerung:
function speakRhasspy(text, rhasspySiteId ,sid) {
Moin, was muss für die Funktion bei "sid" übergeben werden?
Danke und Gruß -
@kuumaur das soll die sessionId darstellen bin etwas schreibfaul.
-
@carstendergroße
Ja, das habe ich mir auch schon gedacht. Mir ist nur nicht klar wo für diese ist. Bei mir funktioniert das Ganze leider nicht. Ich bekomme zwar keinen Fehler, aber es erfolgt auch keine Sprachausgabe. Wenn es funktioniert könnte ich mir den Webserver auf dem Satelliten sparen. -
@kuumaur ich teste das selber nochmal bei mir wenn ich Zeit habe. Die sessionId ist notwendig um die aktuelle Session nach Sprachausgabe zu beenden soweit ich das verstanden habe
-
So ich habe den fehler gefunden
folgende funktion hab ich geändert:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.sessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; }
Nach einer ausgeführten aktion wird folgendes aufgerufen:
speakRhasspy(`Gewünschter TTS text`,json.Id, json.siteId);
-
@carstendergroße said in Rhasspy Offline Sprachsteuerung:
function extractIntentData(message) {
mmmh,
bei mir klappt das noch nicht.
Das Script läuft zwar fehlerfrei durch, aber es findet keine Sprachausgabe statt.
javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"siteId":"pi2","msg":"Dieser Text sollte gesprochen werden!"}"})// Speak over mqtt (Test) function speakRhasspyMqtt(text, rhasspySiteId, sid) { if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);} let sendData = { sessionId: sid, siteId: rhasspySiteId, msg: text }; let jsonObj = JSON.stringify(sendData); if(sid != 0) { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }
@carstendergroße said in Rhasspy Offline Sprachsteuerung:
So ich habe den fehler gefunden
folgende funktion hab ich geändert:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.sessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; }
Nach einer ausgeführten aktion wird folgendes aufgerufen:
speakRhasspy(`Gewünschter TTS text`,json.Id, json.siteId);
mmmh,
das klappt bei mir noch nicht. Irgendetwas mache ich falsch.
Das Script läuft sauber ohne Fehler durch.
Kannst Du mal einen Blick darüber werfen?
Danke.javascript.0 (15225) script.js.common.RemoteControl_VoiceAssistant: sendTo(adapter=mqtt.0, cmd=sendMessage2Client, msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})
// Speak over mqtt (Test) function speakRhasspyMqtt(text, rhasspySiteId, sid) { if(debug_mode==true){console.log("speakRhasspyMqtt | rhasspySiteId=" + rhasspySiteId);} let sendData = { sessionId: sid, siteId: rhasspySiteId, msg: text }; let jsonObj = JSON.stringify(sendData); if(sid != 0) { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }
-
msg={"topic":"hermes/dialogueManager/endSession","message":"{"sessionId":"pi2","siteId":"pi2-jarvis_raspberry-pi-0047de6a-17bb-47ae-9a8e-1ee238b71077","msg":"Dieser Text wird gesprochen."}"})
Eigentlich müsste bei sessionId die vom Dialogmanager generierte ID stehen verstehe nur gerade nicht wieso das nicht der Fall ist
-
@carstendergroße
Kann das an den mqtt Abos liegen?
Hier meine abonnierten Kanäle:
hermes/intent/#,hermes/leds/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#,hermes/tts/# -
@kuumaur Eigentlich nicht. Da ich aktuell mein rhasspy über fhem laufen habe kann ich leider nicht produktiv testen
-
Hi,
ich habe vor ein paar Tagen auch angefangen mit Rhasspy und IoBroker zu spielen.
Da ich die Version mit dem Externen MQTT Broker und auch die Version mit Node-Red nicht gut finde habe ich versucht es mit Javascript (bzw. TypeScript) umzusetzen.
Aktuell läuft es und ich kann Anfangen den Funktionsumfang weiter aufzubauen.
Mein Weg ist aktuell.
- Websocket zum intent des Rhasspy Server aufbauen.
- Um doppel Auslösungen werden Mesagge nur ausgewertet wenn mehr als 8 Sekunden zwischen zwei Nachrichten liegen.
- Unter "0_userdata.0.offline_speak" werden Datenpunkte angelegt in denen die Infos aus der Nachricht gespeichert werden (Es kann sein das dort noch welche fehlen.)
- Wenn das die Infos in den Datenpunkte sind können diese mittels eines zweiten Scripts verarbeitet werden.
Mein Script sieht bis jetzt so aus.
Die Rückantwort passiert wie hier schon beschriebene über den HTTP Post request.
Ich weiß noch nicht ob dies der "bessere" oder "schlechter" weg ist als über MQTT.
[EDIT]
Mir ist gerade aufgefallen das es zu einem Problem kommt wenn jemand versucht das script zu starten wenn der Datenpunkt "'0_userdata.0.offline_speak.intent.name'" nicht vorher per Hand angelegt wurde.
Bei Interesse werde ich das Problem noch beheben.Gruß
Ignis-draco -
Hi,
habe mich mal wieder mit Rhasspy beschäftigt. Vor einem halben Jahr bin ich gescheitert wegen der Erkennung der Audio-HW (Respeaker 2). Jetzt hat es nach vielen Installationen mal funktioniert. Musste jedoch feststellen, dass wenn ich auf den externen MQTT umstelle die Audio-HW nicht erkannt wird.
Da ich ohne Docker arbeite komme ich jedoch ohne Probleme an den MQTT-Server ran und kann diesen subscriben.Ich möchte hauptsächlich einen/mehrere Timer realisieren (für die Küche). Irgendwo in dem Thread hat jemand geschrieben, dass das direkt im Rhasspy möglich ist. Ich finde jedoch keine Möglichkeit. Könnte mir da jemand auf die Sprünge helfen?
-
Hallo,
ich habe folgendes Problem.
Sobald ich den externen MQTT verwende, funktioniert leider das Intent Reconize nicht mehr, schalte ich ihn auf Intern, ist das ergebniss ruckzug da.
Auch spricht leider mein Node-Red skript nicht auf das MQTT an(nur über die WS schnittstelle).
Woran könnte das liegenals MQTT Server verwende ich den Iobroker.
[ERROR:2021-08-03 10:56:08,454] root: parse_mqtt_message (topic=hermes/audioServer/Rhasspy/audioSummary) Traceback (most recent call last): File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message json_payload = json.loads(payload) File "/usr/lib/python3.7/json/__init__.py", line 348, in loads return _default_decoder.decode(s) File "/usr/lib/python3.7/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) [DEBUG:2021-08-03 10:56:08,455] rhasspyserver_hermes: Sent 370 char(s) to websocket [ERROR:2021-08-03 10:56:08,456] root: parse_mqtt_message (topic=hermes/nlu/intentNotRecognized) Traceback (most recent call last): File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message json_payload = json.loads(payload) File "/usr/lib/python3.7/json/__init__.py", line 348, in loads return _default_decoder.decode(s) File "/usr/lib/python3.7/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) [DEBUG:2021-08-03 10:56:08,456] rhasspyserver_hermes: Sent 370 char(s) to websocket [ERROR:2021-08-03 10:56:08,458] root: parse_mqtt_message (topic=hermes/asr/textCaptured) Traceback (most recent call last): File "/usr/lib/rhasspy/rhasspy-hermes/rhasspyhermes/client.py", line 303, in parse_mqtt_message json_payload = json.loads(payload) File "/usr/lib/python3.7/json/__init__.py", line 348, in loads return _default_decoder.decode(s) File "/usr/lib/python3.7/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.7/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) [DEBUG:2021-08-03 10:56:10,283] rhasspyserver_hermes: <- NluIntent(input='what time is it', intent=Intent(intent_name='GetTime', confidence_score=1.0), site_id='Rhasspy', id='847230fc-e4ee-4bf6-807e-f1c69ca6b4f7', slots=[], session_id='847230fc-e4ee-4bf6-807e-f1c69ca6b4f7', custom_data=None, asr_tokens=[[AsrToken(value='what', confidence=1.0, range_start=0, range_end=4, time=None), AsrToken(value='time', confidence=1.0, range_start=5, range_end=9, time=None), AsrToken(value='is', confidence=1.0, range_start=10, range_end=12, time=None), AsrToken(value='it', confidence=1.0, range_start=13, range_end=15, time=None)]], asr_confidence=None, raw_input='what time is it', wakeword_id=None, lang=None) [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=761ebd35-f529-4b47-8d0b-e8ead13fad28) [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=2716ba16-42ba-46cd-9efa-f9731b34e82e) [DEBUG:2021-08-03 10:56:10,284] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=39d1735e-c7cd-42ea-b1d8-ca2cd5f4d1c9) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=c8b73a1b-b644-47ac-b017-92fff677fa27) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=5dc4f052-7faa-4563-b7de-5d75965be31b) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=aa45f176-bce0-4017-ad65-a6786a903eb2) [DEBUG:2021-08-03 10:56:10,285] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=0411fd43-3d79-4c64-b9cd-26e2b66ae661) [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=5a95257a-ea83-4709-8879-f6fa16c1bf5d) [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=b8098ce6-0856-4b46-9d99-90baac7f7954) [DEBUG:2021-08-03 10:56:10,286] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=8780f6ed-acd4-44db-b995-a7a19e94742b) [DEBUG:2021-08-03 10:56:10,287] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/GetTime, id=c8d2995a-d1a6-48e3-a5ba-d55cc3e0de1e)
-
@dert
hi,
ich habe jetzt schon länger dein Skript am Laufen. Jetzt habe ich einen weiteren Rhasspy in einem weiteren Raum installiert. Wo muss ich nun genau im Skript diesen eintragen?
Bei
Funktioniert dies leider nicht.Edit:
hat funktioniert. Ich habe ein Komma vergessen...