NEWS
Snips - Offline_Sprachsteuerung mit Node-Red und Text2Command
-
Benötigt werden die Module "Text2Command und Node_Red" auf dem ioBroker.
Für Snips unter Debian Stretch(x86),Raspbian/Armbian Stretch(RPI3,Odroid) bitte folgende Pakete installieren:
lsb-release
apt-transport-https
ca-certificates
systemd
systemd-sysv
libttspico-utils
alsa-utils
dirmngr
mosquitto
snips-asr
snips-audio-server
snips-dialogue
snips-hotword
snips-nlu
snips-tts
snips-asr-injection
Es können je nach verwendete Hardware und Linux-Distributionen schon Pakete vorhanden sein.
Installationsanleitung und Konfiguration für Raspian/Armbian:
https://snips.gitbook.io/documentation/ … spberry-pi
Installationsanleitung und Konfiguration für Debian:
sudo nano /etc/apt/sources.list
In jeder Zeile "non-free" anhängen, sonst kann man das Paket "libttspico-utils" nicht installieren.
https://snips.gitbook.io/documentation/ … -solutions
Achtung, nach der Installation prüfen, ob alle oben genannten Snips-Pakete laufen (das geht mit dem Befehl "top" oder "ps -A"), wenn nicht nach installieren.
Jetzt bei "https://console.snips.ai" anmelden und einen neuen Assistenten hinzufügen.
Eine App hinzufügen, oben den Haken "only show apps with actions" entfernen und nach FHEM suchen und anwählen.
Wenn ihr fertig seid, drückt ihr auf auf Deploy Assistant um das ZIP File herunterzuladen.
Das Zipfile wird auf dem Snips-Rechner unter "/usr/share/snips" entpackt, danach neu booten.
Im ioBroker das Unten in Node-Red importieren und die IP für den Mosquitto-Server anpassen:
[ { "id": "f6265611.1b7098", "type": "mqtt in", "z": "32f97b81.a653a4", "name": "", "topic": "hermes/nlu/query", "qos": "2", "broker": "ce0cf6e2.75f5c8", "x": 180, "y": 140, "wires": [ [ "ae0f0955.e27648" ] ] }, { "id": "a5510b72.127a98", "type": "function", "z": "32f97b81.a653a4", "name": "parse Text", "func": "msg.payload=msg.payload.input;\nreturn msg;", "outputs": 1, "noerr": 0, "x": 550, "y": 140, "wires": [ [ "aa5813c8.dec8f" ] ] }, { "id": "ae0f0955.e27648", "type": "json", "z": "32f97b81.a653a4", "name": "", "property": "payload", "action": "", "pretty": false, "x": 370, "y": 140, "wires": [ [ "a5510b72.127a98" ] ] }, { "id": "aa5813c8.dec8f", "type": "ioBroker out", "z": "32f97b81.a653a4", "name": "message", "topic": "text2command.0.text", "ack": "false", "autoCreate": "false", "x": 760, "y": 140, "wires": [] }, { "id": "c2efe956.a232b8", "type": "function", "z": "32f97b81.a653a4", "name": "erstelle_say_json", "func": "var text = msg.payload; \nvar new_msg = {};\nnew_msg.payload = {};\nnew_msg.payload[\"siteId\"] = \"default\";\nnew_msg.payload[\"text\"] = text;\nnew_msg.payload[\"lang\"] = \"de\";\nmsg = new_msg;\nreturn msg;", "outputs": 1, "noerr": 0, "x": 570, "y": 280, "wires": [ [ "1c350b77.2845a5" ] ] }, { "id": "1c350b77.2845a5", "type": "mqtt out", "z": "32f97b81.a653a4", "name": "", "topic": "hermes/tts/say", "qos": "2", "retain": "", "broker": "ce0cf6e2.75f5c8", "x": 780, "y": 280, "wires": [] }, { "id": "dc46d52.6a3b528", "type": "function", "z": "32f97b81.a653a4", "name": "erstelle_inject_json", "func": "var rooms = [\"Wohnzimmer\",\"Küche\",\"Treppe\",\"Garten\",\"Keller\",\"Büro\"];\nvar devices = [\"Rasenmäher\",\"Temperatur\",\"Wasser\",\"Sensor\",\"Licht\"];\n\nvar new_msg = {};\nvar rooms_msg = {};\nvar devices_msg = {};\nnew_msg.payload = {};\nrooms_msg.payload = {};\ndevices_msg.payload = {};\nrooms_msg.payload[\"de.fhem.Room\"] = rooms;\ndevices_msg.payload[\"de.fhem.Device\"] = devices;\nvar addrooms = [\"add\", rooms_msg.payload];\nvar adddevices = [\"add\", devices_msg.payload];\nnew_msg.payload[\"operations\"] = [adddevices,addrooms];\nmsg = new_msg;\nreturn msg;", "outputs": 1, "noerr": 0, "x": 370, "y": 420, "wires": [ [ "5065b2b3.8587cc" ] ] }, { "id": "5065b2b3.8587cc", "type": "json", "z": "32f97b81.a653a4", "name": "", "property": "payload", "action": "", "pretty": false, "x": 590, "y": 420, "wires": [ [ "4b0ae733.178cf8" ] ] }, { "id": "4b0ae733.178cf8", "type": "mqtt out", "z": "32f97b81.a653a4", "name": "", "topic": "hermes/asr/inject", "qos": "2", "retain": "", "broker": "ce0cf6e2.75f5c8", "x": 790, "y": 420, "wires": [] }, { "id": "2f6dc3ba.f4c0bc", "type": "ui_button", "z": "32f97b81.a653a4", "name": "", "group": "b649e41a.cd0ca8", "order": 0, "width": 0, "height": 0, "passthru": false, "label": "Inject", "color": "", "bgcolor": "", "icon": "", "payload": "true", "payloadType": "bool", "topic": "", "x": 150, "y": 420, "wires": [ [ "dc46d52.6a3b528" ] ] }, { "id": "f7631c9a.e5a22", "type": "trigger", "z": "32f97b81.a653a4", "op1": "", "op2": "", "op1type": "pay", "op2type": "nul", "duration": "1000", "extend": true, "units": "ms", "reset": "", "bytopic": "all", "name": "", "x": 340, "y": 280, "wires": [ [ "c2efe956.a232b8" ] ] }, { "id": "55a7ac90.2291a4", "type": "ioBroker in", "z": "32f97b81.a653a4", "name": "Antwort", "topic": "text2command.0.response", "payloadType": "value", "onlyack": "", "func": "all", "gap": "", "x": 150, "y": 280, "wires": [ [ "f7631c9a.e5a22" ] ] }, { "id": "b3a055a4.f27b88", "type": "comment", "z": "32f97b81.a653a4", "name": "Lausche nach Snips", "info": "Es wird auf dem MQTT-Bus nach Sprachauswertungen gelauscht.", "x": 450, "y": 80, "wires": [] }, { "id": "e5083b53.630c18", "type": "comment", "z": "32f97b81.a653a4", "name": "Sende Texte zu Snips", "info": "Der Antworttext vom Text2Command-Modul wird in einen json umgewandelt und über den \nMQTT-Bus zu Snips gesendet.", "x": 460, "y": 220, "wires": [] }, { "id": "dcba9400.eae198", "type": "comment", "z": "32f97b81.a653a4", "name": "Snips Inject Wörter anlernen", "info": "Damit Snips unbekannte Wörter kennenlernt, müssen sie angelernt werden.", "x": 480, "y": 360, "wires": [] }, { "id": "ce0cf6e2.75f5c8", "type": "mqtt-broker", "z": "", "name": "snips-mosquitto", "broker": "192.168.12.9", "port": "1883", "clientid": "0", "usetls": false, "compatmode": true, "keepalive": "60", "cleansession": true, "birthTopic": "", "birthQos": "0", "birthPayload": "", "closeTopic": "", "closeQos": "0", "closePayload": "", "willTopic": "", "willQos": "0", "willPayload": "" }, { "id": "b649e41a.cd0ca8", "type": "ui_group", "z": "", "name": "Snips", "tab": "4f83234f.7bf70c", "disp": true, "width": "6", "collapse": false }, { "id": "4f83234f.7bf70c", "type": "ui_tab", "z": "", "name": "Home", "icon": "dashboard" } ]
Mit dem Injection-Button im Node-Red-Dashboard, kann man Snips neue Wörter beibringen. Vorher müssen die Wörter im Node-Red-Flow unter "erstelle_inject_json" bearbeitet werden.
Im Text2Command-Modul können die Schlüsselwörter einem Befehl zugeordnet werden.
-
Sorry für die Frage, aber ich hab wenig Ahnung von programmieren.
Wie müssen den die Wörter, die man verwenden will, eingetragen werden?
Michael
-
In der Funktion "erstelle_inject_json" müssen die Wörter direkt in den Code eingetragen werden. Mal schauen, kann man auch evtl. vereinfachen.
-
Sorry, aber wie und wo?
Hab es jetzt mal so probiert, aber im dashboard erscheint nichts
var rooms = ["Büro"];
var devices = ["Licht"];
var new_msg = {Steckdose};
var rooms_msg = {};
var devices_msg = {Steckdose};
new_msg.payload = {};
rooms_msg.payload = {};
devices_msg.payload = {};
rooms_msg.payload["de.fhem.Room"] = rooms;
devices_msg.payload["de.fhem.Device"] = devices;
var addrooms = ["add", rooms_msg.payload];
var adddevices = ["add", devices_msg.payload];
new_msg.payload["operations"] = [adddevices,addrooms];
msg = new_msg;
return msg;
-
habs verstanden und hinbekommen
Danke Michael
-
Super, ja nur rooms und devices ändern und die unbekannten Schlüsselwörter einfügen.
Mit dem Button im Dashboard werden die Wörter dann Snips bekannt gemacht.
-
Das ist echt eine super Arbeit von dir. Das macht es wirklich einfach iobroker über snips zu steuern, damit man diese lästige Cloud Anbindung los ist. Hauptintention für die cloudlose Anbindung war hier, das ich eine Vorführbox gebaut habe, die dann bei der Vorführung nicht funktionierte, weil die Internetanbindung so schlecht war, das Alexa nicht arbeiten konnte. Mit deiner Lösung hab ich es geschafft, das es ohne Netz funktioniert.
-
Hallo Walter,
genial… das werde ich auch verwenden. Welches Mikrofon verwendest du für den Rasp ? Das sollte schon hochempfindlich sein ?
lg
Tom
-
Hallo Zusammen,
hört sich genial an…. mit welcher Soundkarte arbeitest Du am Raspi?
Herzliche Grüße
Equilora aka Harald
-
Ich habe zum testen eine billige USB Soundkarte und ein billiges Headset benutzt. Aber ich denke das ich über kurz oder lang einen Re-Speaker verwenden werde, weil man es damit in eine schöne Form bringen kann
-
Ich habe hier 2 Microfone die perfekt funktionieren, einmal das Respeaker USB 4 Mic Array und den Jabra 410 USB, es soll laut FHEM-Forum auch die ps3-eye kamera gut funktionieren. Der Jabra hat auch ein LS eingebaut aber nur ein Mic.
Habe das Node-Red schon erweitert und werde es bis heute Abend hier bereitstellen:
1. Ein Filter für das Wort "verstehe" , damit man nicht mit dem Satz "Ich verstehe dies und das nicht" genervt wird.
2. Texteingabe mit der Node-Red UI für die Schlüsselwörter.
Mit dem Tool sam von Snips kann man die Sounds deaktivieren und zusätzlich mit Punkt 1 aktiviert, hat man auch keine ungewollten Snips-Monologe mehr.
sam sound-feedback off
-
Ich sehe eine sehr gute Möglichkeit daraus einen Adapter zu machen.
Da es auch mit node.js läuft, muss man nur rausfinden, wo die Configs gespeichert sind, und dann irgendwie die Daten abgreifen.
allerdings, das sollte jemand (nicht ich) machen
-
Ich sehe eine sehr gute Möglichkeit daraus einen Adapter zu machen.
Da es auch mit node.js läuft, muss man nur rausfinden, wo die Configs gespeichert sind, und dann irgendwie die Daten abgreifen.
allerdings, das sollte jemand (nicht ich) machen `
Ich habe auf Github schon ein Repository erstellt :mrgreen: , ich muß aber mit node.js bei Null anfangen.Hier der neue Node-Red Flow, leider schon fertig :D:
[ { "id": "d3a2ef1.db7f71", "type": "mqtt in", "z": "d1be1b24.fec408", "name": "", "topic": "hermes/nlu/query", "qos": "2", "broker": "b0a2bec6.de418", "x": 220, "y": 120, "wires": [ [ "847f3bbd.3a6c68" ] ] }, { "id": "71abec23.aa2a64", "type": "function", "z": "d1be1b24.fec408", "name": "parse Text", "func": "msg.payload=msg.payload.input;\nreturn msg;", "outputs": 1, "noerr": 0, "x": 590, "y": 120, "wires": [ [ "8025010.cd25" ] ] }, { "id": "847f3bbd.3a6c68", "type": "json", "z": "d1be1b24.fec408", "name": "", "property": "payload", "action": "", "pretty": false, "x": 410, "y": 120, "wires": [ [ "71abec23.aa2a64" ] ] }, { "id": "8025010.cd25", "type": "ioBroker out", "z": "d1be1b24.fec408", "name": "message", "topic": "text2command.0.text", "ack": "false", "autoCreate": "false", "x": 800, "y": 120, "wires": [] }, { "id": "48ecd685.c47f68", "type": "function", "z": "d1be1b24.fec408", "name": "erstelle_say_json", "func": "var text = msg.payload; \nvar new_msg = {};\nnew_msg.payload = {};\nnew_msg.payload[\"siteId\"] = \"default\";\nif (text.indexOf(\"verstehe\") == -1) {\nnew_msg.payload[\"text\"] = text;\n}\nnew_msg.payload[\"lang\"] = \"de\";\nmsg = new_msg;\nreturn msg;", "outputs": 1, "noerr": 0, "x": 610, "y": 260, "wires": [ [ "f943393.1d87dc8" ] ] }, { "id": "f943393.1d87dc8", "type": "mqtt out", "z": "d1be1b24.fec408", "name": "", "topic": "hermes/tts/say", "qos": "2", "retain": "", "broker": "b0a2bec6.de418", "x": 820, "y": 260, "wires": [] }, { "id": "baa3de83.67d6b", "type": "trigger", "z": "d1be1b24.fec408", "op1": "", "op2": "", "op1type": "pay", "op2type": "nul", "duration": "1000", "extend": true, "units": "ms", "reset": "", "bytopic": "all", "name": "", "x": 380, "y": 260, "wires": [ [ "48ecd685.c47f68" ] ] }, { "id": "e2215267.c09c1", "type": "ioBroker in", "z": "d1be1b24.fec408", "name": "Antwort", "topic": "text2command.0.response", "payloadType": "value", "onlyack": "", "func": "all", "gap": "", "x": 190, "y": 260, "wires": [ [ "baa3de83.67d6b" ] ] }, { "id": "11a163b3.92d67c", "type": "comment", "z": "d1be1b24.fec408", "name": "Lausche nach Snips", "info": "Es wird auf dem MQTT-Bus nach Sprachauswertungen gelauscht.", "x": 490, "y": 60, "wires": [] }, { "id": "9c5eaae7.953a08", "type": "comment", "z": "d1be1b24.fec408", "name": "Sende Texte zu Snips", "info": "Der Antworttext vom Text2Command-Modul wird in einen json umgewandelt und über den \nMQTT-Bus zu Snips gesendet.", "x": 500, "y": 200, "wires": [] }, { "id": "24ddef31.b8745", "type": "function", "z": "d1be1b24.fec408", "name": "erstelle_inject_json", "func": "var rooms = [\"\"];\nrooms=msg.payload.split(\",\");\nvar new_msg = {};\nvar rooms_msg = {};\nnew_msg.payload = {};\nrooms_msg.payload = {};\nrooms_msg.payload[\"de.fhem.Room\"] = rooms;\nvar addrooms = [\"add\", rooms_msg.payload];\nnew_msg.payload[\"operations\"] = [addrooms];\nmsg = new_msg;\nreturn msg;", "outputs": 1, "noerr": 0, "x": 410, "y": 400, "wires": [ [ "3851077c.a7fe38" ] ] }, { "id": "3851077c.a7fe38", "type": "json", "z": "d1be1b24.fec408", "name": "", "property": "payload", "action": "", "pretty": false, "x": 610, "y": 400, "wires": [ [ "b4d16ca7.79306" ] ] }, { "id": "31ed8138.91675e", "type": "comment", "z": "d1be1b24.fec408", "name": "Snips Inject Wörter anlernen", "info": "Damit Snips unbekannte Wörter kennenlernt, müssen sie angelernt werden.", "x": 500, "y": 340, "wires": [] }, { "id": "9f818d66.afe8f", "type": "function", "z": "d1be1b24.fec408", "name": "erstelle_inject_json", "func": "var devices = [\"\"];\ndevices=msg.payload.split(\",\");\nvar new_msg = {};\nvar devices_msg = {};\nnew_msg.payload = {};\ndevices_msg.payload = {};\ndevices_msg.payload[\"de.fhem.Device\"] = devices;\nvar adddevices = [\"add\", devices_msg.payload];\nnew_msg.payload[\"operations\"] = [adddevices];\nmsg = new_msg;\nreturn msg", "outputs": 1, "noerr": 0, "x": 410, "y": 460, "wires": [ [ "3851077c.a7fe38" ] ] }, { "id": "444e79d0.752718", "type": "ui_text_input", "z": "d1be1b24.fec408", "name": "", "label": "Devices", "group": "210dbba5.a857a4", "order": 0, "width": 0, "height": 0, "passthru": false, "mode": "text", "delay": "0", "topic": "", "x": 200, "y": 460, "wires": [ [ "9f818d66.afe8f" ] ] }, { "id": "b8ab4aa6.d09d78", "type": "ui_text_input", "z": "d1be1b24.fec408", "name": "", "label": "Rooms", "group": "210dbba5.a857a4", "order": 0, "width": 0, "height": 0, "passthru": false, "mode": "text", "delay": "0", "topic": "", "x": 200, "y": 400, "wires": [ [ "24ddef31.b8745" ] ] }, { "id": "b4d16ca7.79306", "type": "mqtt out", "z": "d1be1b24.fec408", "name": "", "topic": "hermes/asr/inject", "qos": "2", "retain": "", "broker": "b0a2bec6.de418", "x": 830, "y": 400, "wires": [] }, { "id": "b0a2bec6.de418", "type": "mqtt-broker", "z": "", "name": "snips-mosquitto", "broker": "192.168.12.9", "port": "1883", "clientid": "0", "usetls": false, "compatmode": true, "keepalive": "60", "cleansession": true, "birthTopic": "", "birthQos": "0", "birthPayload": "", "closeTopic": "", "closeQos": "0", "closePayload": "", "willTopic": "", "willQos": "0", "willPayload": "" }, { "id": "210dbba5.a857a4", "type": "ui_group", "z": "", "name": "Snips", "tab": "a932941c.fdf8d8", "disp": true, "width": "6", "collapse": false }, { "id": "a932941c.fdf8d8", "type": "ui_tab", "z": "", "name": "Home", "icon": "dashboard" } ]
MQTT-Server-Adresse von Snips nicht vergessen zu ändern. Auf dem Dashboard die Schlüsselwörter mit einem Komma eingeben und mit Return abschließen:
> Wohnzimmer,Schlafzimmer,Flur
-
@Wal:Ich habe hier 2 Microfone die perfekt funktionieren, einmal das Respeaker USB 4 Mic Array und den Jabra 410 USB, es soll laut FHEM-Forum auch die ps3-eye kamera gut funktionieren. Der Jabra hat auch ein LS eingebaut aber nur ein Mic.
Habe das Node-Red schon erweitert und werde es bis heute Abend hier bereitstellen:
1. Ein Filter für das Wort "verstehe" , damit man nicht mit dem Satz "Ich verstehe dies und das nicht" genervt wird.
2. Texteingabe mit der Node-Red UI für die Schlüsselwörter.
Mit dem Tool sam von Snips kann man die Sounds deaktivieren und zusätzlich mit Punkt 1 aktiviert, hat man auch keine ungewollten Snips-Monologe mehr.
sam sound-feedback off
welche Teile zu dem Respeaker Board braucht man noch ? hättest du paar Links parat ? der interessiert mich, da man ein schönes Gehäuse bekommt
Danke
-
Du brauchst noch aktive Lautsprecher, die werden am Respeaker angeschlossen.
Der Respeaker ist Soundkarte und Micro in einem.
https://respeaker.io/usb_4_mic_array/
Beim Jabra 410 braucht man nichts mehr.
-
Dank dir Walter für das neue Skript.
Michael
-
@Wal:Ich habe auf Github schon ein Repository erstellt :mrgreen: , ich muß aber mit node.js bei Null anfangen.
Hier der neue Node-Red Flow, leider schon fertig :D:
...
MQTT-Server-Adresse von Snips nicht vergessen zu ändern. Auf dem Dashboard die Schlüsselwörter mit einem Komma eingeben und mit Return abschließen:
> Wohnzimmer,Schlafzimmer,Flur
`Wie kann man denn jetzt die Wörter sehen, die schon angelernt sind?
-
Das geht nur, wenn du die Snips-Dateien durchsuchst, habe es aber selbst noch nicht gemacht. Aber du siehst ja in den Text2Command-Objekten, ob er das Schlüsselwort versteht, wenn nicht fügst du es im Dashboard von Node-Red dazu.
edit: unter /var/lib/snips/injections/….../....../w.snips findest du sie auf deiner Snips-Hardware.
-
@Wal:Du brauchst noch aktive Lautsprecher, die werden am Respeaker angeschlossen.
Der Respeaker ist Soundkarte und Micro in einem.
https://respeaker.io/usb_4_mic_array/
Beim Jabra 410 braucht man nichts mehr.
danke für die Info…. interessanter vom Preis her ist ab Respeaker
die Boxen gehen ja auch über USB das wäre ja echt eine Alternative... Danke
-
Der Klinkenanschluß des Reaspeakers ist für einen Kopfhörer, deshalb brauchst du noch eine Aktivbox.