Snips - Offline_Sprachsteuerung mit Node-Red und Text2Command

Wal

Ich sehe eine sehr gute Möglichkeit daraus einen Adapter zu machen.

Da es auch mit node.js läuft, muss man nur rausfinden, wo die Configs gespeichert sind, und dann irgendwie die Daten abgreifen.

allerdings, das sollte jemand (nicht ich) machen `
Ich habe auf Github schon ein Repository erstellt :mrgreen: , ich muß aber mit node.js bei Null anfangen.

Hier der neue Node-Red Flow, leider schon fertig :D:

[
    {
        "id": "d3a2ef1.db7f71",
        "type": "mqtt in",
        "z": "d1be1b24.fec408",
        "name": "",
        "topic": "hermes/nlu/query",
        "qos": "2",
        "broker": "b0a2bec6.de418",
        "x": 220,
        "y": 120,
        "wires": [
            [
                "847f3bbd.3a6c68"
            ]
        ]
    },
    {
        "id": "71abec23.aa2a64",
        "type": "function",
        "z": "d1be1b24.fec408",
        "name": "parse Text",
        "func": "msg.payload=msg.payload.input;\nreturn msg;",
        "outputs": 1,
        "noerr": 0,
        "x": 590,
        "y": 120,
        "wires": [
            [
                "8025010.cd25"
            ]
        ]
    },
    {
        "id": "847f3bbd.3a6c68",
        "type": "json",
        "z": "d1be1b24.fec408",
        "name": "",
        "property": "payload",
        "action": "",
        "pretty": false,
        "x": 410,
        "y": 120,
        "wires": [
            [
                "71abec23.aa2a64"
            ]
        ]
    },
    {
        "id": "8025010.cd25",
        "type": "ioBroker out",
        "z": "d1be1b24.fec408",
        "name": "message",
        "topic": "text2command.0.text",
        "ack": "false",
        "autoCreate": "false",
        "x": 800,
        "y": 120,
        "wires": []
    },
    {
        "id": "48ecd685.c47f68",
        "type": "function",
        "z": "d1be1b24.fec408",
        "name": "erstelle_say_json",
        "func": "var text = msg.payload; \nvar new_msg = {};\nnew_msg.payload = {};\nnew_msg.payload[\"siteId\"] = \"default\";\nif (text.indexOf(\"verstehe\") == -1) {\nnew_msg.payload[\"text\"] = text;\n}\nnew_msg.payload[\"lang\"] = \"de\";\nmsg = new_msg;\nreturn msg;",
        "outputs": 1,
        "noerr": 0,
        "x": 610,
        "y": 260,
        "wires": [
            [
                "f943393.1d87dc8"
            ]
        ]
    },
    {
        "id": "f943393.1d87dc8",
        "type": "mqtt out",
        "z": "d1be1b24.fec408",
        "name": "",
        "topic": "hermes/tts/say",
        "qos": "2",
        "retain": "",
        "broker": "b0a2bec6.de418",
        "x": 820,
        "y": 260,
        "wires": []
    },
    {
        "id": "baa3de83.67d6b",
        "type": "trigger",
        "z": "d1be1b24.fec408",
        "op1": "",
        "op2": "",
        "op1type": "pay",
        "op2type": "nul",
        "duration": "1000",
        "extend": true,
        "units": "ms",
        "reset": "",
        "bytopic": "all",
        "name": "",
        "x": 380,
        "y": 260,
        "wires": [
            [
                "48ecd685.c47f68"
            ]
        ]
    },
    {
        "id": "e2215267.c09c1",
        "type": "ioBroker in",
        "z": "d1be1b24.fec408",
        "name": "Antwort",
        "topic": "text2command.0.response",
        "payloadType": "value",
        "onlyack": "",
        "func": "all",
        "gap": "",
        "x": 190,
        "y": 260,
        "wires": [
            [
                "baa3de83.67d6b"
            ]
        ]
    },
    {
        "id": "11a163b3.92d67c",
        "type": "comment",
        "z": "d1be1b24.fec408",
        "name": "Lausche nach Snips",
        "info": "Es wird auf dem MQTT-Bus nach Sprachauswertungen gelauscht.",
        "x": 490,
        "y": 60,
        "wires": []
    },
    {
        "id": "9c5eaae7.953a08",
        "type": "comment",
        "z": "d1be1b24.fec408",
        "name": "Sende Texte zu Snips",
        "info": "Der Antworttext vom Text2Command-Modul wird in einen json umgewandelt und über den \nMQTT-Bus zu Snips gesendet.",
        "x": 500,
        "y": 200,
        "wires": []
    },
    {
        "id": "24ddef31.b8745",
        "type": "function",
        "z": "d1be1b24.fec408",
        "name": "erstelle_inject_json",
        "func": "var rooms = [\"\"];\nrooms=msg.payload.split(\",\");\nvar new_msg = {};\nvar rooms_msg = {};\nnew_msg.payload = {};\nrooms_msg.payload = {};\nrooms_msg.payload[\"de.fhem.Room\"] = rooms;\nvar addrooms = [\"add\", rooms_msg.payload];\nnew_msg.payload[\"operations\"] = [addrooms];\nmsg = new_msg;\nreturn msg;",
        "outputs": 1,
        "noerr": 0,
        "x": 410,
        "y": 400,
        "wires": [
            [
                "3851077c.a7fe38"
            ]
        ]
    },
    {
        "id": "3851077c.a7fe38",
        "type": "json",
        "z": "d1be1b24.fec408",
        "name": "",
        "property": "payload",
        "action": "",
        "pretty": false,
        "x": 610,
        "y": 400,
        "wires": [
            [
                "b4d16ca7.79306"
            ]
        ]
    },
    {
        "id": "31ed8138.91675e",
        "type": "comment",
        "z": "d1be1b24.fec408",
        "name": "Snips Inject Wörter anlernen",
        "info": "Damit Snips unbekannte Wörter kennenlernt, müssen sie angelernt werden.",
        "x": 500,
        "y": 340,
        "wires": []
    },
    {
        "id": "9f818d66.afe8f",
        "type": "function",
        "z": "d1be1b24.fec408",
        "name": "erstelle_inject_json",
        "func": "var devices = [\"\"];\ndevices=msg.payload.split(\",\");\nvar new_msg = {};\nvar devices_msg = {};\nnew_msg.payload = {};\ndevices_msg.payload = {};\ndevices_msg.payload[\"de.fhem.Device\"] = devices;\nvar adddevices = [\"add\", devices_msg.payload];\nnew_msg.payload[\"operations\"] = [adddevices];\nmsg = new_msg;\nreturn msg",
        "outputs": 1,
        "noerr": 0,
        "x": 410,
        "y": 460,
        "wires": [
            [
                "3851077c.a7fe38"
            ]
        ]
    },
    {
        "id": "444e79d0.752718",
        "type": "ui_text_input",
        "z": "d1be1b24.fec408",
        "name": "",
        "label": "Devices",
        "group": "210dbba5.a857a4",
        "order": 0,
        "width": 0,
        "height": 0,
        "passthru": false,
        "mode": "text",
        "delay": "0",
        "topic": "",
        "x": 200,
        "y": 460,
        "wires": [
            [
                "9f818d66.afe8f"
            ]
        ]
    },
    {
        "id": "b8ab4aa6.d09d78",
        "type": "ui_text_input",
        "z": "d1be1b24.fec408",
        "name": "",
        "label": "Rooms",
        "group": "210dbba5.a857a4",
        "order": 0,
        "width": 0,
        "height": 0,
        "passthru": false,
        "mode": "text",
        "delay": "0",
        "topic": "",
        "x": 200,
        "y": 400,
        "wires": [
            [
                "24ddef31.b8745"
            ]
        ]
    },
    {
        "id": "b4d16ca7.79306",
        "type": "mqtt out",
        "z": "d1be1b24.fec408",
        "name": "",
        "topic": "hermes/asr/inject",
        "qos": "2",
        "retain": "",
        "broker": "b0a2bec6.de418",
        "x": 830,
        "y": 400,
        "wires": []
    },
    {
        "id": "b0a2bec6.de418",
        "type": "mqtt-broker",
        "z": "",
        "name": "snips-mosquitto",
        "broker": "192.168.12.9",
        "port": "1883",
        "clientid": "0",
        "usetls": false,
        "compatmode": true,
        "keepalive": "60",
        "cleansession": true,
        "birthTopic": "",
        "birthQos": "0",
        "birthPayload": "",
        "closeTopic": "",
        "closeQos": "0",
        "closePayload": "",
        "willTopic": "",
        "willQos": "0",
        "willPayload": ""
    },
    {
        "id": "210dbba5.a857a4",
        "type": "ui_group",
        "z": "",
        "name": "Snips",
        "tab": "a932941c.fdf8d8",
        "disp": true,
        "width": "6",
        "collapse": false
    },
    {
        "id": "a932941c.fdf8d8",
        "type": "ui_tab",
        "z": "",
        "name": "Home",
        "icon": "dashboard"
    }
]

MQTT-Server-Adresse von Snips nicht vergessen zu ändern. Auf dem Dashboard die Schlüsselwörter mit einem Komma eingeben und mit Return abschließen:
> Wohnzimmer,Schlafzimmer,Flur

Centurytt

~~@Wal:~~

Ich habe hier 2 Microfone die perfekt funktionieren, einmal das Respeaker USB 4 Mic Array und den Jabra 410 USB, es soll laut FHEM-Forum auch die ps3-eye kamera gut funktionieren. Der Jabra hat auch ein LS eingebaut aber nur ein Mic.

Habe das Node-Red schon erweitert und werde es bis heute Abend hier bereitstellen:

1. Ein Filter für das Wort "verstehe" , damit man nicht mit dem Satz "Ich verstehe dies und das nicht" genervt wird.

2. Texteingabe mit der Node-Red UI für die Schlüsselwörter.

Mit dem Tool sam von Snips kann man die Sounds deaktivieren und zusätzlich mit Punkt 1 aktiviert, hat man auch keine ungewollten Snips-Monologe mehr.
 sam sound-feedback off
https://snips.gitbook.io/documentation/ … _reference `

welche Teile zu dem Respeaker Board braucht man noch ? hättest du paar Links parat ? der interessiert mich, da man ein schönes Gehäuse bekommt :-) Danke

Wal

Du brauchst noch aktive Lautsprecher, die werden am Respeaker angeschlossen.

Der Respeaker ist Soundkarte und Micro in einem.

https://respeaker.io/usb_4_mic_array/

Beim Jabra 410 braucht man nichts mehr.

https://www.jabra.com.de/business/speak … OwEALw_wcB

walf

Dank dir Walter für das neue Skript.

Michael

walf

~~@Wal:~~

Ich habe auf Github schon ein Repository erstellt :mrgreen: , ich muß aber mit node.js bei Null anfangen.

Hier der neue Node-Red Flow, leider schon fertig :D:
...
MQTT-Server-Adresse von Snips nicht vergessen zu ändern. Auf dem Dashboard die Schlüsselwörter mit einem Komma eingeben und mit Return abschließen:
> Wohnzimmer,Schlafzimmer,Flur `

Wie kann man denn jetzt die Wörter sehen, die schon angelernt sind?

Wal

Das geht nur, wenn du die Snips-Dateien durchsuchst, habe es aber selbst noch nicht gemacht. Aber du siehst ja in den Text2Command-Objekten, ob er das Schlüsselwort versteht, wenn nicht fügst du es im Dashboard von Node-Red dazu.

edit: unter /var/lib/snips/injections/….../....../w.snips findest du sie auf deiner Snips-Hardware.

Centurytt

~~@Wal:~~

Du brauchst noch aktive Lautsprecher, die werden am Respeaker angeschlossen.

Der Respeaker ist Soundkarte und Micro in einem.

https://respeaker.io/usb_4_mic_array/

Beim Jabra 410 braucht man nichts mehr.

https://www.jabra.com.de/business/speak … OwEALw_wcB `

danke für die Info…. interessanter vom Preis her ist ab Respeaker :-) die Boxen gehen ja auch über USB das wäre ja echt eine Alternative... Danke

Wal

Der Klinkenanschluß des Reaspeakers ist für einen Kopfhörer, deshalb brauchst du noch eine Aktivbox.

Wal

Hier geht es weiter :

viewtopic.php?f=36&t=16874

walf

Hallo zusammen,

hat hier jemand eine 3d Vorlage, um ein Gehäuse für den Raspberry mit einem ReSpeaker ala Alexa zu drucken?

Danke im Voraus

Michael

? Offline

Servus Wal,

reicht eine 8GB SD Karte für den Raspi, es soll nur Snips drauf laufen?

Danke für nen Tip!

Herzliche Grüße

Equilora aka Harald

walf

Ja reicht. Ich hab hier iobroker mit snips auf einer 8GB Karte laufen und es sind nur 2,3GB verbraucht.

Gruß Michael

? Offline

Servus Walter,

wäre genial wenn in der Doku erklärt würde, wie unbekannte Wörter gelernt werden können, Geräte oder Räume hinzugefügt werden können.

Danke und Herzliche Grüße

Equilora aka Harald

Wal

~~@equilora:~~

Servus Walter,

wäre genial wenn in der Doku erklärt würde, wie unbekannte Wörter gelernt werden können, Geräte oder Räume hinzugefügt werden können.

Danke und Herzliche Grüße

Equilora aka Harald `

Mit dem Adapter oder mit node-red ?

? Offline

Servus Walter,

ich habe derzeit beides im Einsatz.

Welche Strategie verfolgst Du in der Zukunft, willst Du Node Red weiter unterstützen oder soll das in der Zukunft über ein Zusatzfenster im Adapter gelöst werden?

Ich neige dazu, das zukünftig innerhalb des Adapters zu regeln, zumal hier auch ein Debugging erfolgen kann, wenn z.B die Verbindung zum Snips Host nicht funktioniert u.a.

My 2 Cents.

Herzliche Grüße

Equilora aka Harald

Wal

Wollte nur den Adapter weiterverfolgen. Wörter kannst du einzel in den Objekten "snips.0.send.inject.room" oder "snips.0.send.inject.device" anlernen. Unter "Wert" eintragen und enter. Das kann man gut einer Visu machen.

? Offline

Servus Walter,

OK.. verstanden…. wie bekomme ich mit, ob Snips erfolgreich gelernt hat..?

Aus Küche wird z.B breche....

Was ist mit Räumen welche nicht im normalen Haushalt vorkommen wie z.B in der LaWi...

Kuhstall, Stall, Reitstube, Sattelkammer, Reitplatz, Schuppen, Tränkeheizung usw....

Darf man hier jeweils nur einen Begriff einfügen, wenn ja wann wurde dieser dann erfolgreich gelernt, und wie kann ich diesen Wissenstand, dann wieder der Allgemeinheit zur Verfügung stellen, das auch Andere etwas davon haben?

Danke und Herzliche Grüße

Equilora aka Harald

Wal

Du kannst jedes Wort anlernen. Ich nutze z.B. Wohnzimmer und Wohnzimmertisch. Nur man sollte bedenken, bei vielen gleichklingenden Wörtern, ist die Erkennungsrate der Sätze geringer.

Ob ein Wort erkannt wird oder nicht, sieht man am besten im Log.

Zum weitergeben der Angelernten Wörter, kann man es nur machen, wie auf der console.snips.ai Webseite, den ganzen Ordner weitergeben. (/usr/share/snips/…)

Evtl. fällt mir da Mal was ein.

Gesendet von meinem Ulefone_Armor_5 mit Tapatalk

? Offline

Servus Walter,

danke für die Info!

Wenn ein Wort erfolgreich gelernt wurde, entfernst Du das dann wieder aus inject.room und inject.device?

Wenn ein Wort nicht erkannt wird… z.B Küche wird hier jedesmal erkannt als "breche", dann denke ich muss man dies auf snips.ai Webseite erledigen..... spannendes Ding jedefalls :mrgreen:

Herzliche Grüße

Equilora aka Harald

Wal

Habe eben küche angelernt und er erkennt auch Küche. Hmmm

Wir sollten auch im Adapter-Thread weitermachen.

Community Forum

NEWS

Snips - Offline_Sprachsteuerung mit Node-Red und Text2Command

Support us

639

32.4k

81.4k

1.3m