[Aufruf] Adapter: Snips - Offline Speak2Text

smartboart

Genau das war der Gedanke, dass man später z.B. Regeln für text2command erstellt, etwa so wie bei den Rollos und dann nur noch eine Zeile für jede Gerätetyp brauchen würde.

Bei receivedText wird der erkannte Text zurückgegeben, bei compiledText dann der Text bei dem die Wörter durch die erkannten Slots ersetzt werden. `

Kannst du noch stumm schalten mit rein nehmen / mute..

und vlt. auf und zu / auf 100 und zu 0

Danke

unltdnetworx

Mute ist kein Problem. Bei 100 und 0 sollten wir uns evtl. was anderes einfallen lassen. Zum einen könnte das mit Zahlen kollidieren, zum Anderen kann man seine Anlage ja auch in dB steuern, also nicht in Prozent.

smartboart

ok, bei auf zu dachte ich halt an meine shutter, 0 % Sicht und 100% Sicht…

Wie sieht es mit nem Slot für Eigenschaften aus? Wie z.B Temperatur, Helligkeit, Feuchtigkeit, Windstärke usw...

könnte man nicht color zu Eigenschaften zählen...also die typischen wie ....rot gelb nass kalt feucht hell usw....oder halt eben einen neuen slot dazu....

unltdnetworx

Evtl. high und low. Aber low wäre ja gleichbedeutend mit mute. Bau es jedenfalls mal ein

Auf und zu gibt es schon. True und false

Get Status liefert die gewünschten Werte zurück. Also Temperatur etc. Beim Werte schreiben denke ich unnötig

smartboart

ok, eine Frage noch um sicher zu stellen, dass ich es richtig verstanden habe…

Wenn ich sage Verstärker im Wohnzimmer leiser, dann muss ich in text to command den Befehl wie folgt eingeben:

Verstärker im Wohnzimmer volume down

oder z.B

Verstärker im Wohnzimmer ausschalten oder aus dann:

Verstärker im Wohnzimmer false

richtig?

unltdnetworx

Genau richtig.

So umständlich, damit man das evtl. leichter verarbeiten kann. So zumindest der Plan.

unltdnetworx

WICHTIG!!!!

Ich habe gerade eine neue Version der App auf Snips veröffentlicht. Bitte erst aktualisieren, wenn Walter (Wal) grünes Licht gibt und der Adapter in ioBroker aktualisiert werden kann. Konnte die neue Version noch nicht ausgiebig testen. Also Vorsicht mit dem Update, ggf. auf die alte Vesion mittels Github zurück gehen.

Neu ist wie schon erwähnt, dass es nur noch zwei Intents gibt und somit alle Slots kombiniert werden können. z.B. "Reinige zweimal das Wohnzimmer". Vorher ging nur "Reinige das Wohnzimmer" oder "Schalte das Licht auf zwei". (setDevice und setNumeric)

___manalishi

~~@unltdnetworx:~~

Snips auf Docker habe ich noch nicht getestet, war nur eine Idee, da ich (noch) keinen VM-Server habe. Wird aber wohl der nächste Schritt werden. ioBroker und Snips je als eigene VM.

Wo hast du denn eingesprochen? In den Main oder den Satelliten? In kitchen, den Main, oder? `

Hallo Michael,

ich habe nun einen Snips Server auf einer 64bit Debian vm installiert. Es gibt wohl bei debian ein prolem beim sam init, daher die manuelle Vorgehensweise.

https://forum.snips.ai/t/install-on-debian-9-vm/660/9

Nach der OS installation habe ich folgendes ausgeführt:

__su

apt update && apt install sudo

usermod -aG sudo <username>echo 'username ALL=(ALL) NOPASSWD: ALL' | sudo tee –append /etc/sudoers > /dev/null

#Logout and login as <username>sudo apt update && sudo apt dist-upgrade

sudo apt-get install -y dirmngr apt-transport-https

sudo apt-add-repository non-free

sudo bash -c 'echo "deb https://debian.snips.ai/stretch stable main" > /etc/apt/sources.list.d/snips.list'

sudo apt-key adv --keyserver pgp.mit.edu --recv-keys F727C778CCB0A455

sudo apt update

sudo apt install -y alsa-utils snips-platform-voice snips-skill-server snips-watch curl unzip

sudo sudo usermod -aG snips-skills-admin <username>#Logout and login

curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -

sudo apt-get install -y nodejs

sudo alsactl init

sudo npm install -g snips-sam

sam connect localhost

sam login

sam install assistant

sudo systemctl restart 'snips-*'</username></username></username>__

Sam status:

OS version …................ Debian GNU/Linux 9 (stretch)

Installed assistant .......... ASSI-1

Language ..................... de

Hotword ...................... hey_snips

ASR engine ................... snips

Status ....................... Live

Service status:

snips-analytics .............. 0.60.12 (not running)

snips-asr .................... 0.60.12 (running)

snips-audio-server ........... 0.60.12 (not running)

snips-dialogue ............... 0.60.12 (running)

snips-hotword ................ 0.60.12 (running)

snips-nlu .................... 0.60.12 (running)

snips-skill-server ........... 0.60.12 (not running)

snips-tts .................... 0.60.12 (running)

Morgen versuche ich mich nochmal an den satteliten.....

Wal

Mach ich nach der Arbeit.

Die Alte leg ich auf npm und die zum testen auf Github.

@Michael, wir sollten wirklich demnächst ein Testzweig einpflegen. :idea:

Qlink

Hi Leute,

gibt es eventuell irgendwo auch eine optisch ansprechendes Gerät, das als Mikrophon verwendet werden kann ?

Der Platinen Look der empfohlenen Mikrophone für den Raspberry ist nicht gerade der Hingucker…

Wie habt ihr das Thema Platzierung der Microphone gelöst ? Idealerweise sollten sie ja unsichtbar sein aber möglichst nah und ohne Hindernisse den Gesprächen der Menschen lauschen ...

Wal

~~@Qlink:~~

Hi Leute,

gibt es eventuell irgendwo auch eine optisch ansprechendes Gerät, das als Mikrophon verwendet werden kann ?

Der Platinen Look der empfohlenen Mikrophone für den Raspberry ist nicht gerade der Hingucker…

Wie habt ihr das Thema Platzierung der Microphone gelöst ? Idealerweise sollten sie ja unsichtbar sein aber möglichst nah und ohne Hindernisse den Gesprächen der Menschen lauschen ... `

Ich nutze ein Jabra Speak 410 https://www.jabra.com.de/business/speak … -speak-410

Linedancer

~~@Wal:~~

Ich nutze ein Jabra Speak 410 https://www.jabra.com.de/business/speak … -speak-410 `
und der läuft gut bei dir?

Ich hab meinen wieder zurück geschickt weil der total unverständlich mit viel zu schnellem Tempe gesprochen hat.

Hanni1312

~~@Qlink:~~

Hi Leute,

gibt es eventuell irgendwo auch eine optisch ansprechendes Gerät, das als Mikrophon verwendet werden kann ?

Der Platinen Look der empfohlenen Mikrophone für den Raspberry ist nicht gerade der Hingucker…

Wie habt ihr das Thema Platzierung der Microphone gelöst ? Idealerweise sollten sie ja unsichtbar sein aber möglichst nah und ohne Hindernisse den Gesprächen der Menschen lauschen ... `

Ich nutze das Matrix Voice auf dem pi. In Naher Zukunft wirds da noch ein Gehäuse aus dem 3D Drucker von mir geben. Mit einem Ring aus "durchsichtigem" PLA über den LED's. Das wird dann optisch schon was hermachen. Hoffe ich zumindest.

Hat jemand eigentlich schon ein Programm geschrieben das die LED's ansteuert sobald das Hotword erkannt wurde?

Das steht nämlich noch auf meiner To-Do Liste.

unltdnetworx

Für die LEDs gibt's z.b. einen Skill. Wurde weiter vorne schon mal besprochen.

Hanni1312

~~@unltdnetworx:~~

Für die LEDs gibt's z.b. einen Skill. Wurde weiter vorne schon mal besprochen. `

Vielen Dank! Schaue ich mir nachher mal an.

Dachte eigentlich ich hab den ganzen Thread gelesen, aber das ist wohl an mir vorbei gegangen. :)

unltdnetworx

Adapter update ist auf Github verfügbar. Bitte Warnung weiter oben beachten.

Wal

~~@Linedancer:~~

~~@Wal:~~

Ich nutze ein Jabra Speak 410 https://www.jabra.com.de/business/speak … -speak-410 `
und der läuft gut bei dir?

Ich hab meinen wieder zurück geschickt weil der total unverständlich mit viel zu schnellem Tempe gesprochen hat. `

Du mußt die asound.conf anpassen, sonst spricht der im Eiltempo. ;)

pcm.jabbra {
    type hw
    card 1
    device 0
    rate 48000
}

pcm.!default {
  type asym
   playback.pcm {
     type plug
     slave.pcm "jabbra"
   }

   capture.pcm {
     type plug
     slave.pcm "hw:1,0"
   }
}

ctl.!default {
    type hw           
    card 1
}

Wal

@Michael,

habe die neue Version getestet und bekomme keine Slots mehr angezeigt.

Nach Downgrade auf 0.2.2, leider auch nicht mehr. Da wird die neue Version des Assistenten schuld sein.

Bei mir aber nicht schlimm, da ich noch nicht mit Slots arbeite. ;)

Wer mit Slots arbeitet nicht auf 0.3.0 upgraden.

Edit: nach Neustart des Servers, funzen die Slots mit 0.2.2 wieder.

unltdnetworx

Danke für den Hinweis.

Werd ich morgen mal prüfen.

___manalishi

Hallo,

habe meinen snips-server zum test über eine 2. Adapter Instanz an den ioBroker angeschlossen. Der Datenpunkt info\connection ist als einziger aktiv.

log:

__snips.1 2019-02-06 21:20:32.170 debug system.adapter.admin.0: logging true

snips.1 2019-02-06 21:19:54.646 debug stateChange snips.1.info.connection: {"val":true,"ack":true,"ts":1549484394640,"q":0,"from":"system.adapter.snips.1","user":"system.user.admin","lc":1549481157035}

snips.1 2019-02-06 21:19:54.639 info Connected to 192.168.90.44

snips.1 2019-02-06 21:19:54.564 info Try to connect to mqtt://192.168.90.44:1880?clientId=111__

wenn ich einen inject ausführe komm dieser im snips server an. Die üblichen "reload" aktionen auf dem snips-server bleiben aber aus.

Soweit ich es vestanden habe sind dafür die ASR und NLU Dienste zuständig, richtig?

audioserver ist inaktiv , da keine HW in der VM vorhanden

Ist das mit der 2. Instanz ok, oder kann hier der Fehler liegen?

skillserver ist inaktiv, ist das ggf das problem?

hier sam status und sam watch:

OS version …................ Debian GNU/Linux 9 (stretch)

Installed assistant .......... ASSI-1

Language ..................... de

Hotword ...................... hey_snips

ASR engine ................... snips

Status ....................... Live

Service status:

snips-analytics .............. 0.60.12 (not running)

snips-asr .................... 0.60.12 (running)

snips-audio-server ........... 0.60.12 (not running)

snips-dialogue ............... 0.60.12 (running)

snips-hotword ................ 0.60.12 (running)

snips-nlu .................... 0.60.12 (running)

snips-skill-server ........... 0.60.12 (not running)

snips-tts .................... 0.60.12 (running)

root@SNIPS-SERVER:~# sam watch

[21:03:27] Watching on 192.168.90.44:1880 (MQTT)

[21:03:38] [Injection] an injection of 1 words for 1 entities has been requested

Edit:

OK, war etwas zu ungeduldig. Beim inject wird wohl der snips-audio server benötigt. Nachdem ich nun den 1. Satteliten (B-Variante) angeschlossen habe funktionieren die "Injects"!

sam watch zeigt nun im Satteliten und Server die gleichen infos an.

Ich habe den 2. Adapter wieder deinstalliert und den snips.0 mit den Snips-Server verbunden. Grundsätzlich funktioniert die Kommunkation mit dem Snips-Master und dem ioBroker.

Ich habe aktuell das Problem, dass obwohl Snips im sam watch "hot word detected" und "captured text" meldet, der Datenpunkt snips.0.hotword.detected manchmal mit "false" aktualisiert wird und auch das Feld "receive.text leer bleibt

Im debug log kann ich keine Fehler erkennen. Wo könnte hier der Fehler liegen?

Community Forum

NEWS

[Aufruf] Adapter: Snips - Offline Speak2Text

Support us

704

32.4k

81.4k

1.3m