[Aufruf] Adapter: Snips - Offline Speak2Text

unltdnetworx

Hallo zusammen,

eine kleine Neuerung, die den Adapter aber nicht direkt betrifft.

Nachdem ich mit Felix (Hanni1312) bzgl. eines neuen Intents zur Steuerung von Staubsaugern gesprochen habe, habe ich mir überlegt, dass man ja setBoolean nicht unbedingt braucht. Ich habe den Intent setBoolean daher umgebaut auf setDevice. Damit lassen sich jetzt nach wie vor true/false-Werte steuern, z.B. "Schalte den Fernseher an/aus", aber eben auch andere Werte, z.B. "Sauge die Zone Wohnzimmer", "Fahre den Staubsauger in die Garage", "Lade den Staubsauger" oder "Mähe den Rasen".

Felix hat speziell für die Zonenreinigung von Staubsaugern ein Skript geschrieben und stellt dieses evtl. hier kurz vor incl. Export. Die rückgemeldeten Werte sind übrigens jetzt "clean" für saugen, "move" für fahren, "charge" für laden oder "mow" für mähen.

Ich hoffe das ist einigermaßen verständlich und beim Updaten der App für den Assistenten klappt alles. Beim meinem Testaccount wurden alle Slots einwandfrei übernommen.

unltdnetworx

@Frank:

Welche Version der Konfiguration in der Anleitung hast du denn verwendet? A oder B. Sieht nach B aus.

Welche Hardware verwendest du denn? Variante A würde weniger Leistung brauchen. Das ist zwar nicht der Grund, aber zum Nachvollziehen wäre es nicht schlecht. Kitchen ist dein Master-Gerät, oder?

___manalishi

Ja, Kitchen ist der Master. Ich habe 2 baugleiche PI3 mit dem 6MIC RESpeaker. Ich habe beide Varianten versucht. Die gepostete Konfig ist von der Variante B.

Ich habe mich gestern an einem virtualisierten Snips Server (Master) versucht. Raspbian auf einer VM. Lief straight forward bei der Installation. Beim Aufruf von sam status kam die Meldung "Snips voice control not installed". Benötigt bei der Variante B der Master eine Soundkarte als HW passthrough?

Habe mir das mit dem Docker auch angesehen. Ich wollte dann alternativ das mit einer XPEnology VM 6.1.2 und Docker probieren. Habe ich das richtig verstanden, dass Snips Docker erst kompiliert werden muss?

unltdnetworx

Snips auf Docker habe ich noch nicht getestet, war nur eine Idee, da ich (noch) keinen VM-Server habe. Wird aber wohl der nächste Schritt werden. ioBroker und Snips je als eigene VM.

Wo hast du denn eingesprochen? In den Main oder den Satelliten? In kitchen, den Main, oder?

unltdnetworx

Nach ein paar Tests musste ich den Adapter jetzt leider doch noch anpassen und die App nochmal aktualisieren.

"Schalte" wurde als Befehl erkannt, was ja wenig aussagekräftig ist. ;)

smartboart

hi, kann mich mal kurz jemand aufschlauen, was es mit den slots auf sich hat. Warum benötige ich das, wenn ich den Text im Text to command ohnehin eintragen muss . Welchen Vorteil bringt das…Warum wird zum Beispiel aus an true und der Text to command verabeitet trotzdem an..Was bringt die aufteilung in slots im zusammenhang mit text to command?

Mal ein Beispiel siehe Bilder...

smartboart

noch ne frage, warum dauert es solabge bis snips wieder auf das hotword reagiert, wenn ein Befehl nicht umgesetzt wurde, weil : ich verstehe die und das nicht…kann man das verkürzen, damit snips wieder schneller das hotword annimmt?

Fehlerbild snips siehe unten...

smartboart

~~@unltdnetworx:~~

Hallo zusammen,

eine kleine Neuerung, die den Adapter aber nicht direkt betrifft.

Nachdem ich mit Felix (Hanni1312) bzgl. eines neuen Intents zur Steuerung von Staubsaugern gesprochen habe, habe ich mir überlegt, dass man ja setBoolean nicht unbedingt braucht. Ich habe den Intent setBoolean daher umgebaut auf setDevice. Damit lassen sich jetzt nach wie vor true/false-Werte steuern, z.B. "Schalte den Fernseher an/aus", aber eben auch andere Werte, z.B. "Sauge die Zone Wohnzimmer", "Fahre den Staubsauger in die Garage", "Lade den Staubsauger" oder "Mähe den Rasen".

Felix hat speziell für die Zonenreinigung von Staubsaugern ein Skript geschrieben und stellt dieses evtl. hier kurz vor incl. Export. Die rückgemeldeten Werte sind übrigens jetzt "clean" für saugen, "move" für fahren, "charge" für laden oder "mow" für mähen.

Ich hoffe das ist einigermaßen verständlich und beim Updaten der App für den Assistenten klappt alles. Beim meinem Testaccount wurden alle Slots einwandfrei übernommen. `

kannst du lauter und leiser noch mit rein nehmen in deinen Assistant?

programm weiter und zurück schalten funktioniert auch nicht..

und warum wir next und previous erkannt? Wis soll ich das verstehen…Wasist der grund dafür? Funktioniert aber auch nicht wenn ich previous oder next im text to command eingebe...

unltdnetworx

Hi smartboart,

ich versuche mal etwas Licht ins Dunkel zu bringen, soweit ich etwas dazu sagen kann.

> Warum benötige ich das, wenn ich den Text im Text to command ohnehin eintragen muss
Momentan werden die Slots noch nicht benötigt. Ausgenommen der Nummern-Slot, da sonst keine Zahlen verarbeitet werden können. Mit "fünfzig" kann der ioBroker nicht arbeiten, mit 50 hingegen schon. Warum gibt es trotzdem Slots die ausgewertet werden? Das soll schon eine Vorarbeit werden, ob später evtl. mit Regeln in Text2Command arbeiten zu können. Aber wir sind uns noch nicht schlüssig, wie das gehen wird.

> warum dauert es solabge bis snips wieder auf das hotword reagiert
Das kann ich dir leider nicht beantworten, ist mir aber auch schon aufgefallen. Sollte aber nicht am Adapter oder der App liegen; ist wohl eher Snips spezifisch.

> kannst du lauter und leiser noch mit rein nehmen in deinen Assistant
Habe ich integriert, werde wohl heute Abend nochmal ein Update veröffentlichen, dann ist es mit drin. Rückgegebn wird dann "volume up" und "volume down". true und false wird übrigens auch schon mal als Vorarbeit umgewandelt. Denke, dass es später mit true und false einfacher geht Regeln zu erstellen. Genauso previous und next. Das ist meist bei Adaptern ein Datenpunkt und so vllt. später ansprechbar.

Warum nochmal ein Update der App? Werde die App versuchsweise mal in 2 Intents aufteilen. setValues zum Befehle geben und getValues um Fragen zu stellen. Die Aufteilung in verschiedene Slots für Befehle stößt sonst an ihre Grenzen, wenn z.B. "Reinige das Wohnzimmer zweimal" gesagt wird. Erkennt er momentan setDevice und nicht setNumeric, wandelt also keine Zahlen um.

Bin aber für Vorschläge offen.

smartboart

Danke fuer die Aufklärung.. Kann es sein dass die Befehle in Text to command besser umgesetzt werde wenn ich diese auch mit Infos aus den slots fuelle also z. B. Device / room / command also fernseher im Wohnzimmer einschalten… Als nur Fernseher einschalten.... Und manchmal uebergibt snips das einschalten als true und manchmal als einschalten...

Gesendet von meinem CLT-L09 mit Tapatalk

unltdnetworx

Genau das war der Gedanke, dass man später z.B. Regeln für text2command erstellt, etwa so wie bei den Rollos und dann nur noch eine Zeile für jede Gerätetyp brauchen würde.

Bei receivedText wird der erkannte Text zurückgegeben, bei compiledText dann der Text bei dem die Wörter durch die erkannten Slots ersetzt werden.

Ich schau mal nach, ob einschalten als Synonym für true in der App hinterlegt ist. Falls nicht, wird es ergänzt. Gerne weitere Beispiele für Worte oder Sätze die nicht erkannt wurden melden.

unltdnetworx

Einschalten war bereits hinterlegt.

Was natürlich auch sein kann, dass er einmal setDevice und einmal einen anderen Intent erkennt und daher nicht auf true abändert sondern einschalten belässt. Daher im nächsten Update nur noch 2 Intents zum Lesen bzw Schreiben und den Smalltalk zum einpflegen von Wörtern die nicht erkannt werden aber eigentlich kein Kommando sind. Wie z.B. Guten Morgen.

smartboart

~~@unltdnetworx:~~

Genau das war der Gedanke, dass man später z.B. Regeln für text2command erstellt, etwa so wie bei den Rollos und dann nur noch eine Zeile für jede Gerätetyp brauchen würde.

Bei receivedText wird der erkannte Text zurückgegeben, bei compiledText dann der Text bei dem die Wörter durch die erkannten Slots ersetzt werden. `

Kannst du noch stumm schalten mit rein nehmen / mute..

und vlt. auf und zu / auf 100 und zu 0

Danke

unltdnetworx

Mute ist kein Problem. Bei 100 und 0 sollten wir uns evtl. was anderes einfallen lassen. Zum einen könnte das mit Zahlen kollidieren, zum Anderen kann man seine Anlage ja auch in dB steuern, also nicht in Prozent.

smartboart

ok, bei auf zu dachte ich halt an meine shutter, 0 % Sicht und 100% Sicht…

Wie sieht es mit nem Slot für Eigenschaften aus? Wie z.B Temperatur, Helligkeit, Feuchtigkeit, Windstärke usw...

könnte man nicht color zu Eigenschaften zählen...also die typischen wie ....rot gelb nass kalt feucht hell usw....oder halt eben einen neuen slot dazu....

unltdnetworx

Evtl. high und low. Aber low wäre ja gleichbedeutend mit mute. Bau es jedenfalls mal ein

Auf und zu gibt es schon. True und false

Get Status liefert die gewünschten Werte zurück. Also Temperatur etc. Beim Werte schreiben denke ich unnötig

smartboart

ok, eine Frage noch um sicher zu stellen, dass ich es richtig verstanden habe…

Wenn ich sage Verstärker im Wohnzimmer leiser, dann muss ich in text to command den Befehl wie folgt eingeben:

Verstärker im Wohnzimmer volume down

oder z.B

Verstärker im Wohnzimmer ausschalten oder aus dann:

Verstärker im Wohnzimmer false

richtig?

unltdnetworx

Genau richtig.

So umständlich, damit man das evtl. leichter verarbeiten kann. So zumindest der Plan.

unltdnetworx

WICHTIG!!!!

Ich habe gerade eine neue Version der App auf Snips veröffentlicht. Bitte erst aktualisieren, wenn Walter (Wal) grünes Licht gibt und der Adapter in ioBroker aktualisiert werden kann. Konnte die neue Version noch nicht ausgiebig testen. Also Vorsicht mit dem Update, ggf. auf die alte Vesion mittels Github zurück gehen.

Neu ist wie schon erwähnt, dass es nur noch zwei Intents gibt und somit alle Slots kombiniert werden können. z.B. "Reinige zweimal das Wohnzimmer". Vorher ging nur "Reinige das Wohnzimmer" oder "Schalte das Licht auf zwei". (setDevice und setNumeric)

___manalishi

~~@unltdnetworx:~~

Snips auf Docker habe ich noch nicht getestet, war nur eine Idee, da ich (noch) keinen VM-Server habe. Wird aber wohl der nächste Schritt werden. ioBroker und Snips je als eigene VM.

Wo hast du denn eingesprochen? In den Main oder den Satelliten? In kitchen, den Main, oder? `

Hallo Michael,

ich habe nun einen Snips Server auf einer 64bit Debian vm installiert. Es gibt wohl bei debian ein prolem beim sam init, daher die manuelle Vorgehensweise.

https://forum.snips.ai/t/install-on-debian-9-vm/660/9

Nach der OS installation habe ich folgendes ausgeführt:

__su

apt update && apt install sudo

usermod -aG sudo <username>echo 'username ALL=(ALL) NOPASSWD: ALL' | sudo tee –append /etc/sudoers > /dev/null

#Logout and login as <username>sudo apt update && sudo apt dist-upgrade

sudo apt-get install -y dirmngr apt-transport-https

sudo apt-add-repository non-free

sudo bash -c 'echo "deb https://debian.snips.ai/stretch stable main" > /etc/apt/sources.list.d/snips.list'

sudo apt-key adv --keyserver pgp.mit.edu --recv-keys F727C778CCB0A455

sudo apt update

sudo apt install -y alsa-utils snips-platform-voice snips-skill-server snips-watch curl unzip

sudo sudo usermod -aG snips-skills-admin <username>#Logout and login

curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -

sudo apt-get install -y nodejs

sudo alsactl init

sudo npm install -g snips-sam

sam connect localhost

sam login

sam install assistant

sudo systemctl restart 'snips-*'</username></username></username>__

Sam status:

OS version …................ Debian GNU/Linux 9 (stretch)

Installed assistant .......... ASSI-1

Language ..................... de

Hotword ...................... hey_snips

ASR engine ................... snips

Status ....................... Live

Service status:

snips-analytics .............. 0.60.12 (not running)

snips-asr .................... 0.60.12 (running)

snips-audio-server ........... 0.60.12 (not running)

snips-dialogue ............... 0.60.12 (running)

snips-hotword ................ 0.60.12 (running)

snips-nlu .................... 0.60.12 (running)

snips-skill-server ........... 0.60.12 (not running)

snips-tts .................... 0.60.12 (running)

Morgen versuche ich mich nochmal an den satteliten.....

Community Forum

NEWS

[Aufruf] Adapter: Snips - Offline Speak2Text

Support us

440

32.4k

81.5k

1.3m