[Aufruf] Adapter: Snips - Offline Speak2Text

frank70

Snips auf Docker habe ich noch nicht getestet, war nur eine Idee, da ich (noch) keinen VM-Server habe. Wird aber wohl der nächste Schritt werden. ioBroker und Snips je als eigene VM.

Wo hast du denn eingesprochen? In den Main oder den Satelliten? In kitchen, den Main, oder? `

Hallo Michael,

ich habe nun einen Snips Server auf einer 64bit Debian vm installiert. Es gibt wohl bei debian ein prolem beim sam init, daher die manuelle Vorgehensweise.

https://forum.snips.ai/t/install-on-debian-9-vm/660/9

Nach der OS installation habe ich folgendes ausgeführt:

__su

apt update && apt install sudo

usermod -aG sudo <username>echo 'username ALL=(ALL) NOPASSWD: ALL' | sudo tee –append /etc/sudoers > /dev/null

#Logout and login as <username>sudo apt update && sudo apt dist-upgrade

sudo apt-get install -y dirmngr apt-transport-https

sudo apt-add-repository non-free

sudo bash -c 'echo "deb https://debian.snips.ai/stretch stable main" > /etc/apt/sources.list.d/snips.list'

sudo apt-key adv --keyserver pgp.mit.edu --recv-keys F727C778CCB0A455

sudo apt update

sudo apt install -y alsa-utils snips-platform-voice snips-skill-server snips-watch curl unzip

sudo sudo usermod -aG snips-skills-admin <username>#Logout and login

curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -

sudo apt-get install -y nodejs

sudo alsactl init

sudo npm install -g snips-sam

sam connect localhost

sam login

sam install assistant

sudo systemctl restart 'snips-*'</username></username></username>__

Sam status:

OS version …................ Debian GNU/Linux 9 (stretch)

Installed assistant .......... ASSI-1

Language ..................... de

Hotword ...................... hey_snips

ASR engine ................... snips

Status ....................... Live

Service status:

snips-analytics .............. 0.60.12 (not running)

snips-asr .................... 0.60.12 (running)

snips-audio-server ........... 0.60.12 (not running)

snips-dialogue ............... 0.60.12 (running)

snips-hotword ................ 0.60.12 (running)

snips-nlu .................... 0.60.12 (running)

snips-skill-server ........... 0.60.12 (not running)

snips-tts .................... 0.60.12 (running)

Morgen versuche ich mich nochmal an den satteliten.....

Wal

Mach ich nach der Arbeit.

Die Alte leg ich auf npm und die zum testen auf Github.

@Michael, wir sollten wirklich demnächst ein Testzweig einpflegen. :idea:

Qlink

Hi Leute,

gibt es eventuell irgendwo auch eine optisch ansprechendes Gerät, das als Mikrophon verwendet werden kann ?

Der Platinen Look der empfohlenen Mikrophone für den Raspberry ist nicht gerade der Hingucker…

Wie habt ihr das Thema Platzierung der Microphone gelöst ? Idealerweise sollten sie ja unsichtbar sein aber möglichst nah und ohne Hindernisse den Gesprächen der Menschen lauschen ...

Wal

~~@Qlink:~~

Hi Leute,

gibt es eventuell irgendwo auch eine optisch ansprechendes Gerät, das als Mikrophon verwendet werden kann ?

Der Platinen Look der empfohlenen Mikrophone für den Raspberry ist nicht gerade der Hingucker…

Wie habt ihr das Thema Platzierung der Microphone gelöst ? Idealerweise sollten sie ja unsichtbar sein aber möglichst nah und ohne Hindernisse den Gesprächen der Menschen lauschen ... `

Ich nutze ein Jabra Speak 410 https://www.jabra.com.de/business/speak … -speak-410

Linedancer

~~@Wal:~~

Ich nutze ein Jabra Speak 410 https://www.jabra.com.de/business/speak … -speak-410 `
und der läuft gut bei dir?

Ich hab meinen wieder zurück geschickt weil der total unverständlich mit viel zu schnellem Tempe gesprochen hat.

Hanni1312

~~@Qlink:~~

Hi Leute,

gibt es eventuell irgendwo auch eine optisch ansprechendes Gerät, das als Mikrophon verwendet werden kann ?

Der Platinen Look der empfohlenen Mikrophone für den Raspberry ist nicht gerade der Hingucker…

Wie habt ihr das Thema Platzierung der Microphone gelöst ? Idealerweise sollten sie ja unsichtbar sein aber möglichst nah und ohne Hindernisse den Gesprächen der Menschen lauschen ... `

Ich nutze das Matrix Voice auf dem pi. In Naher Zukunft wirds da noch ein Gehäuse aus dem 3D Drucker von mir geben. Mit einem Ring aus "durchsichtigem" PLA über den LED's. Das wird dann optisch schon was hermachen. Hoffe ich zumindest.

Hat jemand eigentlich schon ein Programm geschrieben das die LED's ansteuert sobald das Hotword erkannt wurde?

Das steht nämlich noch auf meiner To-Do Liste.

unltdnetworx

Für die LEDs gibt's z.b. einen Skill. Wurde weiter vorne schon mal besprochen.

Hanni1312

~~@unltdnetworx:~~

Für die LEDs gibt's z.b. einen Skill. Wurde weiter vorne schon mal besprochen. `

Vielen Dank! Schaue ich mir nachher mal an.

Dachte eigentlich ich hab den ganzen Thread gelesen, aber das ist wohl an mir vorbei gegangen.

unltdnetworx

Adapter update ist auf Github verfügbar. Bitte Warnung weiter oben beachten.

Wal

~~@Linedancer:~~

~~@Wal:~~

Ich nutze ein Jabra Speak 410 https://www.jabra.com.de/business/speak … -speak-410 `
und der läuft gut bei dir?

Ich hab meinen wieder zurück geschickt weil der total unverständlich mit viel zu schnellem Tempe gesprochen hat. `

Du mußt die asound.conf anpassen, sonst spricht der im Eiltempo.

pcm.jabbra {
    type hw
    card 1
    device 0
    rate 48000
}

pcm.!default {
  type asym
   playback.pcm {
     type plug
     slave.pcm "jabbra"
   }

   capture.pcm {
     type plug
     slave.pcm "hw:1,0"
   }
}

ctl.!default {
    type hw           
    card 1
}

Wal

@Michael,

habe die neue Version getestet und bekomme keine Slots mehr angezeigt.

Nach Downgrade auf 0.2.2, leider auch nicht mehr. Da wird die neue Version des Assistenten schuld sein.

Bei mir aber nicht schlimm, da ich noch nicht mit Slots arbeite.

Wer mit Slots arbeitet nicht auf 0.3.0 upgraden.

Edit: nach Neustart des Servers, funzen die Slots mit 0.2.2 wieder.

unltdnetworx

Danke für den Hinweis.

Werd ich morgen mal prüfen.

frank70

Hallo,

habe meinen snips-server zum test über eine 2. Adapter Instanz an den ioBroker angeschlossen. Der Datenpunkt info\connection ist als einziger aktiv.

log:

__snips.1 2019-02-06 21:20:32.170 debug system.adapter.admin.0: logging true

snips.1 2019-02-06 21:19:54.646 debug stateChange snips.1.info.connection: {"val":true,"ack":true,"ts":1549484394640,"q":0,"from":"system.adapter.snips.1","user":"system.user.admin","lc":1549481157035}

snips.1 2019-02-06 21:19:54.639 info Connected to 192.168.90.44

snips.1 2019-02-06 21:19:54.564 info Try to connect to mqtt://192.168.90.44:1880?clientId=111__

wenn ich einen inject ausführe komm dieser im snips server an. Die üblichen "reload" aktionen auf dem snips-server bleiben aber aus.

Soweit ich es vestanden habe sind dafür die ASR und NLU Dienste zuständig, richtig?

audioserver ist inaktiv , da keine HW in der VM vorhanden

Ist das mit der 2. Instanz ok, oder kann hier der Fehler liegen?

skillserver ist inaktiv, ist das ggf das problem?

hier sam status und sam watch:

OS version …................ Debian GNU/Linux 9 (stretch)

Installed assistant .......... ASSI-1

Language ..................... de

Hotword ...................... hey_snips

ASR engine ................... snips

Status ....................... Live

Service status:

snips-analytics .............. 0.60.12 (not running)

snips-asr .................... 0.60.12 (running)

snips-audio-server ........... 0.60.12 (not running)

snips-dialogue ............... 0.60.12 (running)

snips-hotword ................ 0.60.12 (running)

snips-nlu .................... 0.60.12 (running)

snips-skill-server ........... 0.60.12 (not running)

snips-tts .................... 0.60.12 (running)

root@SNIPS-SERVER:~# sam watch

[21:03:27] Watching on 192.168.90.44:1880 (MQTT)

[21:03:38] [Injection] an injection of 1 words for 1 entities has been requested

Edit:

OK, war etwas zu ungeduldig. Beim inject wird wohl der snips-audio server benötigt. Nachdem ich nun den 1. Satteliten (B-Variante) angeschlossen habe funktionieren die "Injects"!

sam watch zeigt nun im Satteliten und Server die gleichen infos an.

Ich habe den 2. Adapter wieder deinstalliert und den snips.0 mit den Snips-Server verbunden. Grundsätzlich funktioniert die Kommunkation mit dem Snips-Master und dem ioBroker.

Ich habe aktuell das Problem, dass obwohl Snips im sam watch "hot word detected" und "captured text" meldet, der Datenpunkt snips.0.hotword.detected manchmal mit "false" aktualisiert wird und auch das Feld "receive.text leer bleibt

Im debug log kann ich keine Fehler erkennen. Wo könnte hier der Fehler liegen?

unltdnetworx

@Wal:

Fehler gefunden und neuen Pull-request gesendet.

Weitere Änderungen ab jetzt in deinen Test-branch.

unltdnetworx

@Frank:

Also der Skill-Server wird meines verständnisses nach dafür benötigt, dass Snips direkt etwas ausführt, was in einem Skill-Script auf dem Snips-Gerät festgelegt wurde. Das macht in unserem Fall aber ioBroker und sollte daher nicht gebraucht werden.

Warum du ab und zu keine Ausgaben erhältst, könnte daran liegen, dass noch ein Fehler im Adapter war. Sobald Wal die Version 0.3.1 auf Github stellt, sollte es wieder gehen.

Schaltet Hotword-detected wirklich gar nicht um? Es schaltet ja eigentlich nur für einen kurzen Moment um und dann wieder zurück.

Edit: Kommt auch in der neuen Version.

frank70

Hallo Michael,

er hat mit meinem Snips-Server und einem Satteliten genau 1mal funktioniert. Mit em "Standalone" Snips funktioniert der Adapter.

Ich schaue später nochmal genau ob er ggf. kurz umschaltet. Ich habe mich gestern mehr auf den sam watch dialog konzentriert.

Ich habe den ersten Test mit der 0.20 Version gemacht, dann auf 0.30 aktualisiert und nochmal getestet.

Wal

@Michael,

getestet und es geht, verdammt nochmal es geht ! :lol:

unltdnetworx

@Walter:

Super. Dann bitte auch auf npm setzen. Dann machen wir daraus eine Stable-Version. Kümmere mich um den Eintrag.

Ich weiß nicht, ob ein Release auf Github nötig ist?!

unltdnetworx

@Frank:

0.3.1 wäre die richtige Version.

smartboart

Hi Michael .. Also habe alles upgedatet… Den assistant und iobroker. Snips auf 0.3.1...sieht soweit gut aus, aber wen ich sage schalte das Licht im Wohnzimmer an oder ein wird das genauso an Text to command übergeben.. Obwohl es doch eigentlich true uebergeben sollte, wie es unter Sam watch auch erkannt wird.. So hattest du es doch bestätigt.. Gruss Michael ~~![](</s><URL url=)<link_text text="https://uploads.tapatalk-cdn.com/201902 ... 9cac47.jpg">https://uploads.tapatalk-cdn.com/20190207/219fdfa6b629dd89da6b4842bb9cac47.jpg</link_text>" />~~![](</s><URL url=)<link_text text="https://uploads.tapatalk-cdn.com/201902 ... fa156f.jpg">https://uploads.tapatalk-cdn.com/20190207/64c2070838c3465f0b0e37f31efa156f.jpg</link_text>" />

Gesendet von meinem CLT-L09 mit Tapatalk~~~~

NEWS

[Aufruf] Adapter: Snips - Offline Speak2Text

Support us

1.4k
Online

30.9k
Users

77.6k
Topics

1.2m
Posts

NEWS

[Aufruf] Adapter: Snips - Offline Speak2Text

Support us

1.4kOnline

30.9kUsers

77.6kTopics

1.2mPosts

1.4k
Online

30.9k
Users

77.6k
Topics

1.2m
Posts