NEWS
Rhasspy Offline Sprachsteuerung
-
@LichtAn
Ich habe mich nun endlich auch an die Installation des Rhasspy gemacht. Zunächst war es etwas mühsam, aber mit der Anleitung https://rhasspy.readthedocs.io/en/latest/tutorials/#from-scratch-on-a-raspberry-pi und Dank der Hilfe in Post 301 hat es funktioniert, sodass ich nun die Befehle im iobroker sehen kann.
Dabei bin ich auf einen möglichen Fehler im Befehl zum Starten des docker in Post 301 gestoßen. Meiner Meinung nach fehlt dort der MQTT-start, sodass der Startbefehl (auch nach Restart des Raspi) wie folgt lauten müsste (aktuelle Rhasspy-Version 2.5.8):docker run -d -p 12101:12101 \ --name rhasspy \ --restart unless-stopped \ -v "$HOME/.config/rhasspy/profiles:/profiles" \ -v "/etc/localtime:/etc/localtime:ro" \ --device /dev/snd:/dev/snd \ rhasspy/rhasspy \ --user-profiles /profiles \ --profile de \ --local-mqtt-port 13183 -
@LichtAn
Ich habe mich nun endlich auch an die Installation des Rhasspy gemacht. Zunächst war es etwas mühsam, aber mit der Anleitung https://rhasspy.readthedocs.io/en/latest/tutorials/#from-scratch-on-a-raspberry-pi und Dank der Hilfe in Post 301 hat es funktioniert, sodass ich nun die Befehle im iobroker sehen kann.
Dabei bin ich auf einen möglichen Fehler im Befehl zum Starten des docker in Post 301 gestoßen. Meiner Meinung nach fehlt dort der MQTT-start, sodass der Startbefehl (auch nach Restart des Raspi) wie folgt lauten müsste (aktuelle Rhasspy-Version 2.5.8):docker run -d -p 12101:12101 \ --name rhasspy \ --restart unless-stopped \ -v "$HOME/.config/rhasspy/profiles:/profiles" \ -v "/etc/localtime:/etc/localtime:ro" \ --device /dev/snd:/dev/snd \ rhasspy/rhasspy \ --user-profiles /profiles \ --profile de \ --local-mqtt-port 13183Der MQTT läuft ja auf dem Debian System nicht im Docker deshalb musst du den nicht mit dem Docker Start Befehl starten.
In der Config von 301wird ja auch auf external gestellt. Früher gab es nämlich Probeme mit dem internen MQTT Server wenn du nicht den Standard Port verwendet hast.
MQTT -> External
Host -> IP Rhasspy
Port -> 1883 -
Moin zusammen,
ich experimentiere gerade mit Rhasspy weiter.
Ich bin weiterhin mit dem Gehäuse unzufrieden und habe jetzt mal etwas ausprobiert:
Ich habe mir das offizielle Raspberry 7" Display mit einem passenden Gehäuse bestellt.
In dem Gehäuse ist noch genug Platz für den Reespeaker2 und einem Lautsprecher:
Der Deckel hinten lässt einen Luftspalt für die Mikrofone... Bin noch am experimentieren, aber erste Tests waren ganz brauchbar.
Auf dem Pi3 b+ läuft jetzt Rhasspy 2.5.9 im Docker und der ioBroker als slave mit einem Browser im Kioskmode.
Ganz nebenbei habe ich so auch mein Bluetooth-Probleme mit den Xiaomi Pflanzensensoren gelöst, denn der Raspberry steht näher an den Sensoren.Leider ist das Display vom Blickwinkel nicht das beste, aber man steht ja selten direkt davor, oder man muss es noch etwas nach hinten kippen.
VG
LeifioBroker auf Synology DS920+ (SSD Raid / 20GB RAM) im VMM
-
Moin zusammen,
ich experimentiere gerade mit Rhasspy weiter.
Ich bin weiterhin mit dem Gehäuse unzufrieden und habe jetzt mal etwas ausprobiert:
Ich habe mir das offizielle Raspberry 7" Display mit einem passenden Gehäuse bestellt.
In dem Gehäuse ist noch genug Platz für den Reespeaker2 und einem Lautsprecher:Der Deckel hinten lässt einen Luftspalt für die Mikrofone... Bin noch am experimentieren, aber erste Tests waren ganz brauchbar.
Auf dem Pi3 b+ läuft jetzt Rhasspy 2.5.9 im Docker und der ioBroker als slave mit einem Browser im Kioskmode.
Ganz nebenbei habe ich so auch mein Bluetooth-Probleme mit den Xiaomi Pflanzensensoren gelöst, denn der Raspberry steht näher an den Sensoren.Leider ist das Display vom Blickwinkel nicht das beste, aber man steht ja selten direkt davor, oder man muss es noch etwas nach hinten kippen.
VG
LeifWenn die Micro Schlitze nur nach hinten raus gehen hast du da keine Probleme mit der Akustik Versteht dich der jetzt genauso wie vorher.
mal eine andere Frage. Hat einer von euch schon die Bring Liste erfolgreich integriert. Kämpfe grade ein bisschen das Json so auszulesen das es Anständig mit 2,3 oder 4 Parametern funktioniert je nachdem was man sagt.
-
Hallo,
hat von euch schon jemand Rhasspy in einem Proxmox LXC Container
zum Laufen bekommen?Ich wäre für einen kurze Anleitung sehr dankbar. Denn wenn ich ehrlich bin, verstehe ich von der offiziellen Install Anleitung nur Bahnhof und weiß nicht, was ich machen muss. :thinking_face: :disappointed:
z.B. Welches CT Template muss ich nehmen und dann welche Installationsanleitung (Docker, Debian oder Virtual Environment).
Hoffe ihr helft mir weiter. :+1:
Ich wünsche euch ein sonniges Wochenende. :relaxed:
Liebe Grüße
Peter -
Hallo,
hat von euch schon jemand Rhasspy in einem Proxmox LXC Container
zum Laufen bekommen?Ich wäre für einen kurze Anleitung sehr dankbar. Denn wenn ich ehrlich bin, verstehe ich von der offiziellen Install Anleitung nur Bahnhof und weiß nicht, was ich machen muss. :thinking_face: :disappointed:
z.B. Welches CT Template muss ich nehmen und dann welche Installationsanleitung (Docker, Debian oder Virtual Environment).
Hoffe ihr helft mir weiter. :+1:
Ich wünsche euch ein sonniges Wochenende. :relaxed:
Liebe Grüße
PeterHi,
ich hab das ganze vor langem mal in einem Container zum laufen gebracht. Allerdings hat das mehr Probleme gemacht als es am Ende gebracht. Ich würde dir empfehlen eine VM aufzusetzen in der du docker betreibst. Dort kannst du dann alle Container betreiben die du brauchst.
Wen. Du Koch paar Infos dazu brauchst sag einfach Bescheid.
Gruß
T -
Hi,
ich hab das ganze vor langem mal in einem Container zum laufen gebracht. Allerdings hat das mehr Probleme gemacht als es am Ende gebracht. Ich würde dir empfehlen eine VM aufzusetzen in der du docker betreibst. Dort kannst du dann alle Container betreiben die du brauchst.
Wen. Du Koch paar Infos dazu brauchst sag einfach Bescheid.
Gruß
T@dert
Hallo,Rhasspy läuft im Docker und ich kann auf das Web-Interface zugreifen.
Gibt es jetzt eine detaillierte Anleitung, wie es weiter geht, den die 349 Seiten, sind wirklich sehr unübersichtlich.:cry:Wie muss ich den MQTT-Adapter in iobroker und in Rhasspy einrichten. Könntes du einen Screenshot hochladen?
Liebe Grüße
Peter -
@dert
Hallo,Rhasspy läuft im Docker und ich kann auf das Web-Interface zugreifen.
Gibt es jetzt eine detaillierte Anleitung, wie es weiter geht, den die 349 Seiten, sind wirklich sehr unübersichtlich.:cry:Wie muss ich den MQTT-Adapter in iobroker und in Rhasspy einrichten. Könntes du einen Screenshot hochladen?
Liebe Grüße
PeterSchau mal meinen Post 301 auf der Seite 16 an da wirst du geholfen.
-
Moin,
ich lese hier nun schon eine ganze Weile still mit.
Bin begeistert von euch.
Mein Iobroker und Rhasspy Projekt wäre eigentlich schon beendet, wenn ich nicht Schwierigkeiten mit den Mikrofonen der Satelliten hätte.
Mein Setup besteht aus einem zentralen Rhasspy Server v2.5.9, unter Proxmox LXC/Docker.- MQTT = external
- Speech to Text = Kaldi
- Intent Recognition = Fsticuffs
- Text to Speech = NanoTTS
- Dialog Management = Rhasspy
also alles weitestgehend Standard.
Meine Satelliten bestehen derzeit aus Raspberry Pi Zero WH + 2-Mic-HAT mit Seeed Treiber und Kernel 5.4.51+.
- MQTT = external
- Audio Recording = PyAudio
- Wake Word = Porqupine
-
- Keyword File = jarvis...
-
- Sensivity = 0.5
- Speech to Text = Hermes MQTT
- Intent Recognition = Hermes MQTT
- Text to Speech = Hermes MQTT
- Audio Playing = aplay
- Dialog Management = Disabled
- Intent Handling = Disabled
Lustige Gehäuse habe ich mir natürlich auch ausgedacht.
Also die Technik funktioniert.
Mein Problem sind bislang immer mal wieder die Mikrofone. Sofern es in dem Raum leise ist, funktioniert die Spracherkennung wunderbar.
Sofern Radio, TV oder eine Unterhaltung in dem Raum stattfindet, wird die Trefferquote schnell schlechter.
Das haben ja auch schon andere hier Erkannt.
Ich habe mit der Sensivity schon ein bisschen experimentiert, aber ohne großen Erfolg.
Hat jemand die Problematik mit den Nebengeräuschen schon gelöst oder eingegrenzt?
Hab mit jetzt zum Testen noch einen Rock Pi S bestellt. Der hat eine Soundkarte bereits Onboard.
Ich bin mir bei den Mikrofonen aber nicht sicher, welche und vor allem welche Technik da die bessere Wahl ist.
Hat hier jemand schon Erfahrung damit?
Danke und Gruß
Kuumaur -
Wenn die Micro Schlitze nur nach hinten raus gehen hast du da keine Probleme mit der Akustik Versteht dich der jetzt genauso wie vorher.
mal eine andere Frage. Hat einer von euch schon die Bring Liste erfolgreich integriert. Kämpfe grade ein bisschen das Json so auszulesen das es Anständig mit 2,3 oder 4 Parametern funktioniert je nachdem was man sagt.
@lichtan sagte in Rhasspy Offline Sprachsteuerung:
Hat einer von euch schon die Bring Liste erfolgreich integriert.
Hallo, ich hatte dazu mal einen Beitrag gepostet. Such mal in meinem Account. Komme leider gerade nicht dazu, dir das rauszusuchen. Bei Fragen: fragen...
-
Wenn die Micro Schlitze nur nach hinten raus gehen hast du da keine Probleme mit der Akustik Versteht dich der jetzt genauso wie vorher.
mal eine andere Frage. Hat einer von euch schon die Bring Liste erfolgreich integriert. Kämpfe grade ein bisschen das Json so auszulesen das es Anständig mit 2,3 oder 4 Parametern funktioniert je nachdem was man sagt.
@lichtan sagte in Rhasspy Offline Sprachsteuerung:
Hat einer von euch schon die Bring Liste erfolgreich integriert.
Hallo, ich habe dir meine Beschreibung vom 11.3.20, 23:39 herausgeucht. Falls noch interessant, schau mal hier:
https://forum.iobroker.net/topic/31110/rhasspy-sprachsteuerung-für-bring-adapter?_=1615936753622
-
Hallo zusammen
Da Alexa bei mir immer mal wieder Ärger macht und nicht ganz so zuverlässig funktioniert wie gewünscht, würde ich ebenfalls gerne Rhasspy eine Chance geben um die Sprachsteuerung ohne Online-Zwang und Einschränkungen zum Laufen zu bekommen.
Ich möchte mich entschuldigen, falls die folgenden Fragen weiter oben schon beantwortet wurde, es hat aber inzwischen doch schon so einige Posts hier.
Wie funktioniert Rhasspy mit diversen Standorten in einem Haus?
Ich würde gerne wirklich alle Räume mit einer Spracherkennung abdecken können, bin mir aber nicht sicher, ob das zuverlässig funktioniert.Wenn ich also z.B. im Eingangsbereich und im Wohnzimmer Rhasspy am Laufen habe, ich irgendwo zwischendrin stehe und das Wakeword sage, erkennt Rhasspy automatisch, wo die beste Aufnahme ist?
Wie ist zudem generell eure Langzeiterfahrung betreffend Stabilität? Unabhängig von der Überwachung geht es mir beim Wechsel vor allem darum, dass ich ein System habe, welches ich einmalig aufsetzen kann und welches dann auch zuverlässig macht, was es soll.
-
Wie bereits angekündigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.
Die Übergabe der JSON an ioBroker erfolgt nun doch wieder über MQTT.
(Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr :grimacing: )Das Skript kann aktuell die folgenden Aufgaben übernehmen
- Objekt in einem bestimmten Raum schalten
- Objekt ohne den Raum schalten.
In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
Wenn es global nur ein Objekt gibt wird dieses geschalten.
sentences.ini
[changeLightRoom] ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state} [changeState] ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}sentences.ini
[changeLightRoom] ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state} [changeState] ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}slot - objects
Highboard Stehlampe Bett Herd Licht Spiegel Wohnwand Indirekte Licht Spüle Schrank blablablaslot - rooms
Schlafzimmer Küche Klo Büro Esszimmer Bad Wohnzimmerslot - states
ein an ausDurch diese Definition sind alle Daten die später vom Skript verarbeitet werden in Slots.
Das Herzstück des ganzen ist das Javascript.
Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.//########################################################################## // Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten //########################################################################## let http = require('http'); /* Definition meiner Räume und der jeweiligen Objekte darin Die Struktur sieht dabei wie folgt aus. Im Intent der übermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten. Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden. */ const rooms = { "Büro": { "Licht": "sonoff.0.ShellyV1_13.POWER", }, "Wohnzimmer": { "Licht": "sonoff.0.ShellyV1_06.POWER", "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC", "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB", "Rollo": "" }, "Bad": { "Licht": "sonoff.0.ShellyV1_05.POWER", "Spiegel": "sonoff.0.ShellyV1_11.POWER", "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER" }, "Esszimmer": { "Licht": "sonoff.0.ShellyV1_03.POWER", "Highboard": "sonoff.0.SonoffS26_3.POWER" }, "Küche": { "Licht": "hm-rpc.1.000858A9960E7A.4.STATE", "Spüle": "sonoff.0.ShellyV1_02.POWER", "Herd": "sonoff.0.ShellyV1_01.POWER" }, "Schlafzimmer": { "Licht": "sonoff.0.ShellyV1_09.POWER", "Schrank": "sonoff.0.ShellyV1_10.POWER", "Bett": "sonoff.0.SonoffBasic_01.POWER", "Rollo": "" }, "Klo": { "Licht": "sonoff.0.ShellyV1_04.POWER" } } //In diesem json werden nötige Informationen zu allen rhasspys abgelget. const rhasspySites = { "testpi": { room: "Büro", host: "testpi.angl.loc", httpPort: "12101" } } //************************ Functions ********************* //Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt //Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurückgegeben. //Wenn nicht, wird 'false' zurückgegeben function convertStateToBool(state) { const trueValues = ['ein', 'an']; return trueValues.includes(state); } //Reukursives durchsuchen eines JSON Objektes //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d function findValues(obj, key) { return findValuesHelper(obj, key, []); } //Reukursives durchsuchen eines JSON Objektes //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d function findValuesHelper(obj, key, list) { if (!obj) return list; if (obj instanceof Array) { for (var i in obj) { list = list.concat(findValuesHelper(obj[i], key, [])); } return list; } if (obj[key]) list.push(obj[key]); if ((typeof obj == "object") && (obj !== null)) { var children = Object.keys(obj); if (children.length > 0) { for (i = 0; i < children.length; i++) { list = list.concat(findValuesHelper(obj[children[i]], key, [])); } } } return list; } //Generiert ein JSON-Objekt mit allen wichtigen Informationen für die Funktionen im Skript. //Dies dient vor allem dazu den späteren Code lesbarer zu machen. //Beisipel Ergebnis /* { "slots":{ "objectName":"Stehlampe", "state":"aus" }, "intentName":"changeState", "siteId":"testpi" } */ function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId) { console.log(rhasspySiteId); const rhasspy = rhasspySites[rhasspySiteId]; const options = { host: rhasspy.host, port: rhasspy.httpPort, path: "/api/text-to-speech", method: 'POST', headers: { 'User-Agent': 'ioBroker', 'Content-Type': 'text/plain', } } let req = http.request(options); req.on('error', function (e) { console.error('ERROR: ' + e.message, "warn"); }); req.write(text); req.end(); } //In dieser Variablen werden alle Funktionen gepsiechert die später aufgerufen werden. //Dies dient dazu den anfallenden Code zu minimieren. //Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen. const callFunctions = { //Ändert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum. changeLightRoom: function (json) { const objectName = json.slots.objectName; const roomName = json.slots.room; const state = convertStateToBool(json.slots.state); //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geändert if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') { const room = rooms[roomName]; if (typeof room != 'undefined') { const lightId = room[objectName]; if (typeof lightId != 'undefined') { setState(lightId, state); } else { speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId); console.warn(`can not find object '${objectName}' in room '${roomName}'`); } } else { speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId); console.warn(`can not find room '${roomName}' in list of rooms`); } } else { speakRhasspy(`Etwas ist schief gelaufen`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`); } }, //Ändert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet. //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen Räumen danach geuscht. //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten. changeState: function (json) { const objectName = json.slots.objectName; const state = convertStateToBool(json.slots.state); const site = rhasspySites[json.siteId]; const room = rooms[site.room]; let lightId = room[objectName]; if (typeof lightId === 'undefined') { //Prüfen ob es mehr als ein Objekt mit diesem Namen gibt const objects = findValues(rooms, objectName); if (objects.length === 1) { lightId = objects[0]; } else if (objects.length > 1) { speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`); } else { speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`); } } if (typeof lightId != 'undefined' && typeof state != 'undefined') { setState(lightId, state); } else { speakRhasspy(`Etwas ist schief gelaufen`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`); } } } //************************ Functions ********************* //************************ Events ************************ //Wird beim auslösen jedes Intents getriggert on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) { const extractedJSON = extractIntentData(obj.state.val); const intentName = extractedJSON.intentName; const callFunction = callFunctions[intentName]; if (typeof callFunction != 'undefined') { callFunction(extractedJSON); } else { console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`); } }); //************************ Events ************************Würde mich freuen wenn Ihr mal eure Meinung dazu sagt :)
Außerdem habe ich noch ein paar Fragen.
- Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen :(
- Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
- Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?
Liebe Grüße und schöne Wochenende
@dert
hallo ich habe soweit alles eingefügt. Leider ohne Erfolg. Wenn ich snowboy mit dem Befehl Stehlampe aus sage, dann wird es im Rhasspy webif erkannt, aber ansonsten passiert nichts.
Habe im Skript bei Stehlampe den homematic-Pfad angepasst, ansonsten habe ich nichts im Skript verändert.
Wo könnte der Fehler liegen?
Außerdem werden bei mir die hermes/intents nicht angezeigt. Woran könnte das liegen? -
@dert
hallo ich habe soweit alles eingefügt. Leider ohne Erfolg. Wenn ich snowboy mit dem Befehl Stehlampe aus sage, dann wird es im Rhasspy webif erkannt, aber ansonsten passiert nichts.
Habe im Skript bei Stehlampe den homematic-Pfad angepasst, ansonsten habe ich nichts im Skript verändert.
Wo könnte der Fehler liegen?
Außerdem werden bei mir die hermes/intents nicht angezeigt. Woran könnte das liegen? -
@jwerlsdf
Hi,
kannst du mir kurz sagen auf welches Skript du dich beziehst? Hast du mehrere rhasspys oder nur einen?Gruß
T@dert
danke für deine Rückmeldung.
Ich habe bisher nur einen Rhasspy. Dieser läuft aber auf einem anderen Raspberry 4 als iobroker läuft. Die Verbindung mit dem iobroker steht (Adapter ist grün)
Ich beziehen mich auf das Skript, welches du auf Seite 315 gepostet hast.Noch ein Hinweis:
@LichtAn hat auf Seite 290 ein Bild gepostet, bei dem darauf einen Ordner mit Intents mit den entsprechenden Einträgen zu sehen sind. Diese fehlen mir. Werden diese automatisch erstellt oder muss ich diese manuell anlegen?OK. Es scheint, jetzt zu gehen. Musste im MQTT-Adapter folgendes ändern:
#hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized,hermes/intent/#,hermes/asr/#,hermes/dialogueManager/#,hermes/nlu/#Damit werden nun die intents angezeigt und ich kann nun die Befehle per Sprache absetzen. Schaue mir jetzt noch mal deinen code an. Ggf. habe ich noch ein paar Fragen dazu.
Eine andere Frage hätte ich noch: Wie kann ich die Sprachausgabe über Sonos API ausgeben? Hat da jemand eine Idee?
-
Wie bereits angekündigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.
Die Übergabe der JSON an ioBroker erfolgt nun doch wieder über MQTT.
(Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr :grimacing: )Das Skript kann aktuell die folgenden Aufgaben übernehmen
- Objekt in einem bestimmten Raum schalten
- Objekt ohne den Raum schalten.
In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
Wenn es global nur ein Objekt gibt wird dieses geschalten.
sentences.ini
[changeLightRoom] ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state} [changeState] ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}sentences.ini
[changeLightRoom] ([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state} [changeState] ([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}slot - objects
Highboard Stehlampe Bett Herd Licht Spiegel Wohnwand Indirekte Licht Spüle Schrank blablablaslot - rooms
Schlafzimmer Küche Klo Büro Esszimmer Bad Wohnzimmerslot - states
ein an ausDurch diese Definition sind alle Daten die später vom Skript verarbeitet werden in Slots.
Das Herzstück des ganzen ist das Javascript.
Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.//########################################################################## // Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten //########################################################################## let http = require('http'); /* Definition meiner Räume und der jeweiligen Objekte darin Die Struktur sieht dabei wie folgt aus. Im Intent der übermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten. Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden. */ const rooms = { "Büro": { "Licht": "sonoff.0.ShellyV1_13.POWER", }, "Wohnzimmer": { "Licht": "sonoff.0.ShellyV1_06.POWER", "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC", "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB", "Rollo": "" }, "Bad": { "Licht": "sonoff.0.ShellyV1_05.POWER", "Spiegel": "sonoff.0.ShellyV1_11.POWER", "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER" }, "Esszimmer": { "Licht": "sonoff.0.ShellyV1_03.POWER", "Highboard": "sonoff.0.SonoffS26_3.POWER" }, "Küche": { "Licht": "hm-rpc.1.000858A9960E7A.4.STATE", "Spüle": "sonoff.0.ShellyV1_02.POWER", "Herd": "sonoff.0.ShellyV1_01.POWER" }, "Schlafzimmer": { "Licht": "sonoff.0.ShellyV1_09.POWER", "Schrank": "sonoff.0.ShellyV1_10.POWER", "Bett": "sonoff.0.SonoffBasic_01.POWER", "Rollo": "" }, "Klo": { "Licht": "sonoff.0.ShellyV1_04.POWER" } } //In diesem json werden nötige Informationen zu allen rhasspys abgelget. const rhasspySites = { "testpi": { room: "Büro", host: "testpi.angl.loc", httpPort: "12101" } } //************************ Functions ********************* //Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt //Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurückgegeben. //Wenn nicht, wird 'false' zurückgegeben function convertStateToBool(state) { const trueValues = ['ein', 'an']; return trueValues.includes(state); } //Reukursives durchsuchen eines JSON Objektes //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d function findValues(obj, key) { return findValuesHelper(obj, key, []); } //Reukursives durchsuchen eines JSON Objektes //© https://gist.github.com/shakhal/3cf5402fc61484d58c8d function findValuesHelper(obj, key, list) { if (!obj) return list; if (obj instanceof Array) { for (var i in obj) { list = list.concat(findValuesHelper(obj[i], key, [])); } return list; } if (obj[key]) list.push(obj[key]); if ((typeof obj == "object") && (obj !== null)) { var children = Object.keys(obj); if (children.length > 0) { for (i = 0; i < children.length; i++) { list = list.concat(findValuesHelper(obj[children[i]], key, [])); } } } return list; } //Generiert ein JSON-Objekt mit allen wichtigen Informationen für die Funktionen im Skript. //Dies dient vor allem dazu den späteren Code lesbarer zu machen. //Beisipel Ergebnis /* { "slots":{ "objectName":"Stehlampe", "state":"aus" }, "intentName":"changeState", "siteId":"testpi" } */ function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId) { console.log(rhasspySiteId); const rhasspy = rhasspySites[rhasspySiteId]; const options = { host: rhasspy.host, port: rhasspy.httpPort, path: "/api/text-to-speech", method: 'POST', headers: { 'User-Agent': 'ioBroker', 'Content-Type': 'text/plain', } } let req = http.request(options); req.on('error', function (e) { console.error('ERROR: ' + e.message, "warn"); }); req.write(text); req.end(); } //In dieser Variablen werden alle Funktionen gepsiechert die später aufgerufen werden. //Dies dient dazu den anfallenden Code zu minimieren. //Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen. const callFunctions = { //Ändert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum. changeLightRoom: function (json) { const objectName = json.slots.objectName; const roomName = json.slots.room; const state = convertStateToBool(json.slots.state); //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geändert if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') { const room = rooms[roomName]; if (typeof room != 'undefined') { const lightId = room[objectName]; if (typeof lightId != 'undefined') { setState(lightId, state); } else { speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId); console.warn(`can not find object '${objectName}' in room '${roomName}'`); } } else { speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId); console.warn(`can not find room '${roomName}' in list of rooms`); } } else { speakRhasspy(`Etwas ist schief gelaufen`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`); } }, //Ändert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet. //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen Räumen danach geuscht. //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten. changeState: function (json) { const objectName = json.slots.objectName; const state = convertStateToBool(json.slots.state); const site = rhasspySites[json.siteId]; const room = rooms[site.room]; let lightId = room[objectName]; if (typeof lightId === 'undefined') { //Prüfen ob es mehr als ein Objekt mit diesem Namen gibt const objects = findValues(rooms, objectName); if (objects.length === 1) { lightId = objects[0]; } else if (objects.length > 1) { speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`); } else { speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`); } } if (typeof lightId != 'undefined' && typeof state != 'undefined') { setState(lightId, state); } else { speakRhasspy(`Etwas ist schief gelaufen`, json.siteId); console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`); } } } //************************ Functions ********************* //************************ Events ************************ //Wird beim auslösen jedes Intents getriggert on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) { const extractedJSON = extractIntentData(obj.state.val); const intentName = extractedJSON.intentName; const callFunction = callFunctions[intentName]; if (typeof callFunction != 'undefined') { callFunction(extractedJSON); } else { console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`); } }); //************************ Events ************************Würde mich freuen wenn Ihr mal eure Meinung dazu sagt :)
Außerdem habe ich noch ein paar Fragen.
- Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen :(
- Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
- Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?
Liebe Grüße und schöne Wochenende
WoW dein Script finde ich klasse ich habe allerdings eine sache die ich anders machen würde und zwar die tts ausgaben. Statt über die api würde ich dies ebenfalls über mqtt zu erledigen um nicht zwei protokolle zu vermischen.
in etwa so:
function extractIntentData(message) { const parsedMessage = JSON.parse(message); let extractedJSON = {}; extractedJSON.slots = {}; extractedJSON.intentName = parsedMessage.intent.intentName; extractedJSON.siteId = parsedMessage.siteId; extractedJSON.Id = parsedMessage.SessionId; parsedMessage.slots.forEach(slot => { extractedJSON.slots[slot.slotName] = slot.value.value; }); return extractedJSON; } //Damit kann jeder Rhasspy sprechen function speakRhasspy(text, rhasspySiteId ,sid) { console.log(rhasspySiteId); let sendData = { sessionId: sid, siteId: site, text: msg }; let jsonObj = JSON.stringify(sendData); if(sid != "0") { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/dialogueManager/endSession", message:jsonObj}); } else { sendTo('mqtt.0', 'sendMessage2Client', {topic:"hermes/tts/say", message:jsonObj}); } }lässt sich sicher auch eleganter lösen :) bin in JS noch nicht so gut.
Übrigens ist diese lösung aus dem FHEM modul abgekupfert, da dieses bereits schon weit entwickelt ist.Zu 1. ich arbeite mit snowboy werde allerdings versuchen auf raven zu wechseln
Zu 2. ich nutze google Wavenet (shame on me doch wieder Cloud aber es hört sich gut an)
Zu 3. Da mein Produktives Rhasspy noch unter FHEM läuft habe ich meinen Logitechmediaserver über rhasspy angebunden und dies funktioniert recht gut ich weiß nur noch nicht wie ich das über iobroker abbilden werde da ich aktuell umsteiger bin (u.A wegen dem fehlenden multithreading in fhem das nervt echt :))einen schönen abend gewünscht
Carsten
-
Hallo,
folgendes Szenario würde ich gerne umsetzen:
Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wäre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen? -
Hallo,
folgendes Szenario würde ich gerne umsetzen:
Wenn ich einen Sprachbefehl gebe, wird dies ja in iobroker in den intents abgebildet. Hat jemand ein blockly, der die intents nach diesem Befehl durchsucht und dann ein Datenpunkt schaltet? So wäre es ja prinzipiell möglich, jedes beliebige Skript zu schalten? Könnte mir jemand helfen?@jwerlsdf
Hi,
Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen müssen angepasst werden.
Ist zwar kein blockly, aber evtl. hilft es Dir weiter? -
@jwerlsdf
Hi,
Ich hatte ganz am Anfang dieses Threads mal ein JavaScript vorgestellt, mit dem die Intents ausgewertet können:
https://forum.iobroker.net/topic/28411/rhasspy-offline-sprachsteuerung/8Das war aber noch bevor Hermes in Rhasspy implementiert wurde, d.h. die MQTT-Variablen müssen angepasst werden.
Ist zwar kein blockly, aber evtl. hilft es Dir weiter?@joergeli
danke für deine Rückmeldung. In der Zwischenzeit habe ich es noch mal mit dem Skript von @DerT probiert (315). Habe es damit nun hinbekommen. Ich schalte damit einen Datenpunkt, der wiederrum dann ein anderes Skript (Blockly) schaltet. Sind zwar längere Wege, aber für jemanden wie mich einfacher umzusetzen.Jetzt hoffe noch, dass mir jemand beim bring-Adapter helfen könnte. Dort bekomme ich den Intent-befehl nicht in den Bring adapter geschrieben...
Support us
811
Online32.4k
Benutzer81.5k
Themen1.3m
Beiträge