Rhasspy Offline Sprachsteuerung

[LichtAn]

@DerT sagte in Rhasspy Offline Sprachsteuerung:

@capitaenz
Hi,

ich hab jetzt mal ein wenig getestet und mir ist was komisches aufgefallen.
Manchmal aktualisiert sich der state im ioBroker nicht.
Wirkt als ob der mqtt Adapter keine Nachricht empfängt.
Nach einem neustart der Instanz geht es wieder 1-mal.

Kann es sein das du mit mehr als einer Browser Tab im Objektereiter bist.
Mir ist nämlich aufgefallen das dann imm nur der zuletzt auf den State gegannge Browsertab aktiv ist und im anderen keine State Veränderung angezeigt wird (Firefox)
Wenn du aber eine Funktion auf den State legst, Sprachausgabe geht sie trotzdem.

[LichtAn]

@DerT sagte in Rhasspy Offline Sprachsteuerung:

Kannst du mir sagen wie ich bei meinem Client-Server Konstrukt herausfinde welcher Client den Befehl erhalten hat?
In der übermittelten JSON steht immer der Master.

Das ist bei mir jetzt erst dann der nächste Schritt wenn ich mit einen Satteliten aufbaue. Ich brauch dazu aber erst noch ein Mikro.

[DerT]

@LichtAn
Die Vermutung hatte ich auch aber mein Javascript wird auch nicht getriggert und das sollte ja unabghängig vom Browser Tab sein.

[DerT]

Wie bereits angekündigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.

Die Übergabe der JSON an ioBroker erfolgt nun doch wieder über MQTT.
(Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr )

Das Skript kann aktuell die folgenden Aufgaben übernehmen

• Objekt in einem bestimmten Raum schalten
• Objekt ohne den Raum schalten.
  In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
  Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
  Wenn es global nur ein Objekt gibt wird dieses geschalten.

sentences.ini

[changeLightRoom]
([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}

[changeState]
([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}

sentences.ini

[changeLightRoom]
([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}

[changeState]
([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}

slot - objects

Highboard 
Stehlampe
Bett
Herd
Licht
Spiegel
Wohnwand
Indirekte Licht
Spüle
Schrank
blablabla

slot - rooms

Schlafzimmer
Küche
Klo
Büro
Esszimmer
Bad
Wohnzimmer

slot - states

ein
an
aus

Durch diese Definition sind alle Daten die später vom Skript verarbeitet werden in Slots.

Das Herzstück des ganzen ist das Javascript.
Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.

//##########################################################################
// Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten
//##########################################################################
let http = require('http');

/*
Definition meiner Räume und der jeweiligen Objekte darin
Die Struktur sieht dabei wie folgt aus.
Im Intent der übermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten.
Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden.
*/
const rooms = {
    "Büro": {
        "Licht": "sonoff.0.ShellyV1_13.POWER",
    },
    "Wohnzimmer": {
        "Licht": "sonoff.0.ShellyV1_06.POWER",
        "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC",
        "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB",
        "Rollo": ""
    },
    "Bad": {
        "Licht": "sonoff.0.ShellyV1_05.POWER",
        "Spiegel": "sonoff.0.ShellyV1_11.POWER",
        "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER"
    },
    "Esszimmer": {
        "Licht": "sonoff.0.ShellyV1_03.POWER",
        "Highboard": "sonoff.0.SonoffS26_3.POWER"
    },
    "Küche": {
        "Licht": "hm-rpc.1.000858A9960E7A.4.STATE",
        "Spüle": "sonoff.0.ShellyV1_02.POWER",
        "Herd": "sonoff.0.ShellyV1_01.POWER"
    },
    "Schlafzimmer": {
        "Licht": "sonoff.0.ShellyV1_09.POWER",
        "Schrank": "sonoff.0.ShellyV1_10.POWER",
        "Bett": "sonoff.0.SonoffBasic_01.POWER",
        "Rollo": ""
    },
    "Klo": {
        "Licht": "sonoff.0.ShellyV1_04.POWER"
    }
}

//In diesem  json werden nötige Informationen zu allen rhasspys abgelget.
const rhasspySites = {
    "testpi": {
        room: "Büro",
        host: "testpi.angl.loc",
        httpPort: "12101"
    }
}


//************************ Functions *********************
//Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt
//Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurückgegeben. 
//Wenn nicht, wird 'false' zurückgegeben
function convertStateToBool(state) {
    const trueValues = ['ein', 'an'];
    return trueValues.includes(state);
}

//Reukursives durchsuchen eines JSON Objektes
//© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
function findValues(obj, key) {
    return findValuesHelper(obj, key, []);
}

//Reukursives durchsuchen eines JSON Objektes
//© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
function findValuesHelper(obj, key, list) {
    if (!obj) return list;
    if (obj instanceof Array) {
        for (var i in obj) {
            list = list.concat(findValuesHelper(obj[i], key, []));
        }
        return list;
    }
    if (obj[key]) list.push(obj[key]);

    if ((typeof obj == "object") && (obj !== null)) {
        var children = Object.keys(obj);
        if (children.length > 0) {
            for (i = 0; i < children.length; i++) {
                list = list.concat(findValuesHelper(obj[children[i]], key, []));
            }
        }
    }
    return list;
}

//Generiert ein JSON-Objekt mit allen wichtigen Informationen für die Funktionen im Skript.
//Dies dient vor allem dazu den späteren Code lesbarer zu machen.
//Beisipel Ergebnis
/*
{
   "slots":{
      "objectName":"Stehlampe",
      "state":"aus"
   },
   "intentName":"changeState",
   "siteId":"testpi"
}
*/
function extractIntentData(message) {
    const parsedMessage = JSON.parse(message);
    let extractedJSON = {};
    extractedJSON.slots = {};
    extractedJSON.intentName = parsedMessage.intent.intentName;
    extractedJSON.siteId = parsedMessage.siteId;

    parsedMessage.slots.forEach(slot => {
        extractedJSON.slots[slot.slotName] = slot.value.value;
    });

    return extractedJSON;
}

//Damit kann jeder Rhasspy sprechen
function speakRhasspy(text, rhasspySiteId) {
    console.log(rhasspySiteId);
    const rhasspy = rhasspySites[rhasspySiteId];
    const options = {
        host: rhasspy.host,
        port: rhasspy.httpPort,
        path: "/api/text-to-speech",
        method: 'POST',
        headers: {
            'User-Agent': 'ioBroker',
            'Content-Type': 'text/plain',
        }
    }

    let req = http.request(options);
    req.on('error', function (e) {
        console.error('ERROR: ' + e.message, "warn");
    });
    req.write(text);
    req.end();
}


//In dieser Variablen werden alle Funktionen gepsiechert die später aufgerufen werden.
//Dies dient dazu den anfallenden Code zu minimieren.
//Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen.
const callFunctions = {
    //Ändert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum.
    changeLightRoom: function (json) {
        const objectName = json.slots.objectName;
        const roomName = json.slots.room;
        const state = convertStateToBool(json.slots.state);


        //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geändert
        if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') {
            const room = rooms[roomName];

            if (typeof room != 'undefined') {
                const lightId = room[objectName];
                if (typeof lightId != 'undefined') {
                    setState(lightId, state);
                }
                else {
                    speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                    console.warn(`can not find object '${objectName}' in room '${roomName}'`);
                }
            }
            else {
                speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId);
                console.warn(`can not find room '${roomName}' in list of rooms`);
            }

        }
        else {
            speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
            console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`);
        }
    },
    //Ändert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet.
    //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen Räumen danach geuscht.
    //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten.
    changeState: function (json) {
        const objectName = json.slots.objectName;
        const state = convertStateToBool(json.slots.state);
        const site = rhasspySites[json.siteId];
        const room = rooms[site.room];
        let lightId = room[objectName];

        if (typeof lightId === 'undefined') {
            //Prüfen ob es mehr als ein Objekt mit diesem Namen gibt
            const objects = findValues(rooms, objectName);

            if (objects.length === 1) {
                lightId = objects[0];
            }
            else if (objects.length > 1) {
                speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId);
                console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`);
            }
            else {
                speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`);
            }
        }

        if (typeof lightId != 'undefined' && typeof state != 'undefined') {
            setState(lightId, state);
        }
        else {
            speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
            console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`);
        }
    }
}
//************************ Functions *********************

//************************ Events ************************
//Wird beim auslösen jedes Intents getriggert
on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) {
    const extractedJSON = extractIntentData(obj.state.val);
    const intentName = extractedJSON.intentName;
    const callFunction = callFunctions[intentName];

    if (typeof callFunction != 'undefined') {
        callFunction(extractedJSON);
    }
    else {
        console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`);
    }
});
//************************ Events ************************

Würde mich freuen wenn Ihr mal eure Meinung dazu sagt

Außerdem habe ich noch ein paar Fragen.

1. Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen
2. Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
3. Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?

Liebe Grüße und schöne Wochenende

[Xsev]

Servus, ich hab das System jetzt auch seit ein paar Wochen am laufen. Ich hab jetzt allerdings noch nicht besonders viel Erfahrung sammeln können...

• Ich nutze das Porcupine Wakeword, Snowboy hat bei mir am Anfang funktioniert bis ich einmal das Wakeword ändern wollte, dannach kommt ein Timeout und Snowboy geht seitdem bei mir auch nicht mehr. Das ganze geht relativ gut mit Porcupine, allerdings habe ich wenn der Tv läuft, doch immer wieder, das die Steuerung anspringt und manchmal sogar was erkennt und schaltet obwohl weder Wakeword noch was enstprechendes zum ausführen gesagt wurde. Komisch ist wenn ich, die Tv Sendung zurück "spule" und die gleiche Passage neu abspiele es beim zweiten mal nicht mehr passiert... Das nervzt mich immo noch ein bisschen. Hab da schon mit der Empfindlichkeit experimentiert aber wirklich ändern tut sich da leider nichts.

• text2speach nutze ich aktuell noch nicht da ich die Sprachsteuerung 99% als Eingabemedium nutzen möchte und nicht zugelabert werden will. Vielleicht ändert sich das aber noch

• Ich hab immo mein Heos System eingebunden aber nur um die Lautsprecher ein und ausschalten zu können, Playlists etc. mach ich darüber (noch) nicht. Das sollte mit Spotify auch klappen, hab ich jetzt aber noch nicht getestet.

LG schönen Sonntag

[LichtAn]

@Xsev Das ist ja interessant das du die Timeout Meldung auch bekommst. Das ist ja genau mein Verhalten. Nach der Neusinatalltion geht alles bis ich einmal auf Refresh der Keywords klicke.

@DerT kannst du das vielleicht mal bei Dir ausprobieren ?

[DerT]

@LichtAn
Bei mir ist es genauso.

Habe einen Fehler aus GitHub aufegmacht.
https://github.com/rhasspy/rhasspy/issues/86

[DerT]

@Xsev @LichtAn
Habe den Fehler mit snowboy gefunden.
Wenn die Datei, welche in der profile.json angegeben wird nicht vorhanden ist, startet der snowboy Dienst nicht.
Dann kommt der Fehler.
Ich habe die profile.json angepasst und dort den Namen meiner Datei angegeben.
Nach einem neustart des docker containers funktionierte alles einwandfrei.

profile.json

...
    "wake": {
        "snowboy": {
            "model": "computer.pmdl"
        },
        "system": "snowboy"
    }
}
...

[Xsev]

@DerT Spitze!!
Das probier ich die Tage gleich mal aus. Danke für die Info!!

[LichtAn]

@DerT

Ich habe jetzt auch mal eine Computer.umdl unter /home/pi/.config/rhasspy/profiles/de/snowboy angelegt und dann den Part in der profile.json auf dein Bsp. mit computer angepasst.

Docker neu gestartet und siehe da es geht. Er rennt nicht mehr in einen Timeout. Ich kann jetzt auf Refresh klicken und er zeigt mir auch die Liste mit Wakewords.

ABER keines der Wakewords funktioniert. Sobald ich z.B. auf snowboy zurück schalte und ein Wort aus der Liste auswähle passiert nix mehr. Schalte ich auf porcupine zurück dann geht die Spracherkennung sofort wieder.

Beim mitlerweile bei der Version 2.5.5 von Rhasspy.

[Xsev]

@LichtAn
Bei mir war das Timeout Problem nach dem Update auf 2.5.5 verschwunden, allerdings geht bei mir auch kein anderes Wakeword außer Snowboy selbst.

[LichtAn]

Ja komisch aber das ganze ist schon noch ein rechtes gebastel.
Aber es scheinen sich ja auch leider kaum Leute für eine Cloudfreie Sprachsteuerung zu interessieren.

[capitaenz]

@LichtAn Ich bastel auch immer noch. Habe soweit alles theoretisch und praktisch am laufen, auch mit Blockly und der SprachAUSgabe.
Was mich stört sind immer so Kleinigkeiten, wie z.B. die nicht anpassbare Lautstärke der Bestätigungstöne.
Einfach anpassen und austauschen in einem Dockercontainer ist ja schon fast ein Kunstgriff und habe ich verworfen.
Ich habe dann Rhasspy direkt sprich ohne Docker installiert, nun habe ich eine Handvoll anderer Probleme.
Leider ist Snips offensichtlich immer noch (für mich) ohne Alternative... Bin schon fast soweit mit einen Echo zu kaufen.

VG
Leif

Update:
An einer Lautstärkeanpassung des "Beep" wird gearbeitet.

[LichtAn]

@capitaenz

ein Amazon oder Google Teil kommen mir nicht ins Haus. Lieber stampfe ich das Sprachsteuerungsprojekt ein. Auch wenn mir bewusst ist das die Bastelei dann deutlich weniger wäre. Ich bleibe Cloudfrei.

Hab jetzt eine neues Probem. Bis jetzt hat sich meine Frau geweiget das Teil zu benutzen. Am WE hat wollte sie es ausprobieren und dann sind wir draufgekommen das der SNOWBOY sie nicht versteht Er regiert gar nicht erst.

So muss ich mich jetzt wenigstens mal wieder mit den Wakewords beschäftigen. Da mir Snowboy im Wohnzimmer auch zu oft falsch erkennt.

@capitaenz @Xsev Was verwendet ihr den aktuell für Wakewords ?

BTW seit gestern gibts anscheinend Rhasspy 2.5.6 zum download.

[Xsev]

@LichtAn Ich hab Porcupine und grad mit Fraule getestet (wenn auch widerwillig, also das Fraule nicht die Sprachsteuerung...) geht das bei uns beiden.
Falsch erkannte Wakewords hab ich leider auch immer noch, mittlerweile seltener aber immer noch zu viel für meinen Geschmack...
2.5.6 hab ich noch nicht getestet, evtl. die Tage.

[capitaenz]

@LichtAn

@LichtAn said in Rhasspy Offline Sprachsteuerung:

@capitaenz @Xsev Was verwendet ihr den aktuell für Wakewords ?

Verwende Snowboy, bin über die Testphase nicht hinaus.
Auf meine Frau reagiert es auch nicht.

[joergeli]

@capitaenz

Mein größtes Problem ist ebenfalls die korrekte Wakeword-Erkennung.
Ich habe so ziemlich alles durch:
Anderes Micro probiert,
Snowboy mit den verschiedensten Wakewords und Sensitivities ( auch selbst erstellte ).
Letzendlich bin ich jetzt bei Porcupine mit Wakeword "blueberry" gelandet.

Aber das Gelbe vom Ei ist das auch noch nicht.
Es passieren - zwar recht selten - immer noch false-Erkennungen und bei meiner Frau reagiert es machmal auch nicht.
Ich habe bzgl. Rhasspy jetzt schon eine Weile nichts mehr gemacht, bin auch noch bei Rhaspy V 2.5.0

[jwerlsdf]

@LichtAn
danke für die Anleitung. Hier noch mal mein Problem: Ich bekomme den Respeaker nicht wirklich ans Laufen.
Ich habe einen Raspberry Pi 4 mit dem Respeaker 4 Seeed. Das System ist fast frisch, fast nichts installiert. Ich bin nach deiner Anleitung vorgegangen, außer, dass ich die Version 2.5.6 gleich installiert habe. Das problem scheint, dass Raspberry den Respeaker nicht wirklich erkennt. Klicke ich mit der rechten Maustaste oben auf das Audiosymbol, wird mir kein Input angezeigt, für den Output wird der Respeaker angezeigt, aber es steht dann "no volume control..."
Noch eine Frage zur Anleitung (export PATH="/home/pi/.local/bin:$PATH" )
Muss ich hier etwas ändern, also einen Pfad angeben und wie würde dies z.B. aussehen? Vielen Dank für eure Hilfe!!!

[LichtAn]

@jwerlsdf sagte in Rhasspy Offline Sprachsteuerung:

Hast du den Pixel_Ring Treiber ohne Fehlermeldung im Log installieren können ?

Kam bei der hlc Treiber installation irgendwelche Fehler ?

Und hast du in der Config den SLI aktiviert ?

Unter welchem Benutzer hast du installiert ? Ich habe normal immer meinen eigenen Benutzer angelegt. Aber ich habe es selbst nur unter dem Standard User Pi zum laufen bekommen. Is bestimmt irgend eine Rechte Sache.

Für den User Pi ist der Pfad so richtig. Du machst diese Eintrag damit Programme ausgeführt werden dürfen, hier der pixel_ring, nur durch Aufruf des Datei Names sonst musst du immer den kompletten Pfad mit Programmnamen eintippen.

BTW was meinst du denn mit Audio Symbol ?

[jwerlsdf]

@LichtAn
ich muss noch dazu sagen, dass ich die Desktop Version habe. Dort gibt es, wie bei Windows ein Audio-Symbol.
Standardnutzer ist Pi. Habe ich auch so gelassen.
SLI ist unter sudo raspi-config aktiviert.

Spoiler

Hast du den Pixel_Ring Treiber ohne Fehlermeldung im Log installieren können ?

Kam bei der hlc Treiber installation irgendwelche Fehler ?
Wie kann ich das genau rausfinden?

Ich bin nun jetzt so weit, dass wohl der Respeaker funktioniert. Ich darf wohl nicht in den Audioeinstellungen nicht auf den Respeaker klicken, sondern muss es auf Analog lassen.
Das Wakeword habe ich auf Porcupine geändert. Damit geht es nun halbwegs.
Nun noch folgende Frage:
Wie bekomme ich nun z.B. das Licht ausgeschaltet. Ich habe das mit dem Rollladen probiert, aber ich bekomme einen Fehler im iobroker:

{"siteId": "default", "sessionId": "default-porcupine-7ad89984-1b95-4409-b9e7-4e88e64b49e8", "lang": null, "stopOnSilence": true, "sendAudioCaptured": true, "wakewordId": "porcupine", "intentFilter": null}

Woran könnte das liegen?
Weiterhin geht das Wakeword nicht und manchmal geht es:

{"siteId": "default", "sessionId": "ce0f80d9-b586-4526-a073-12d5a197b67e", "lang": null, "stopOnSilence": true, "sendAudioCaptured": true, "wakewordId": null, "intentFilter": null}

Weiterhin habe ich im iobroker bei Objekte keinen "intent" Ordner.