[Aufruf] Adapter: Snips - Offline Speak2Text

[mmaric]

Anbei noch einmal alle Informationen. Viele Augen sehen besser.

1. Zentrale ( PC)

[snips-common]
bus = "mqtt"
mqtt = "localhost:1883"

[snips-audio-server]
bind = "zentrale@mqtt"

[snips-hotword]
audio = ["zentrale@mqtt", "wohnzimmer@mqtt"]

2. Satellit

[snips-common]
mqtt = "192.168.178.32:1883"

[snips-audio-server]
bind = "wohnzimmer@mqtt"

Zusammengefasst wie der Ablauf ist:

Wenn ich das hotword am Satelliten nenne, dann wird im Adapter snips die Session ID eingetragen.
Jedoch wird der Wert text (text to send) unter devices.all.send.text nicht aktualisiert mit der Antwort.

Wenn ich über den Adapter text2send das Wort wetter morgen eintrage, dann wird das richtige Feld ausgeführt und als Antwort in das devices.all.send.text gefüllt.

Unten noch einmal die Log Ausgabe von sam watch.

Vielen Dank für die Unterstützung.

[Dialogue] session with id '51e90396-a62f-4dee-82ba-587f73da0c62' was ended on site wohnzimmer. The session was ended because one of the component didn't respond in a timely manner
[10:18:51] [Asr] was asked to stop listening on site wohnzimmer
[10:18:51] [Hotword] was asked to toggle itself 'on' on site wohnzimmer
[10:18:51] [Dialogue] session with id 'cc9060db-49d1-4d8b-ad69-f1ba8e8bfd42' was ended on site zentrale. The session was ended because one of the component didn't respond in a timely manner
[10:18:51] [Asr] was asked to stop listening on site zentrale
[10:18:51] [Hotword] was asked to toggle itself 'on' on site zentrale
[10:19:17] [Hotword] detected on site wohnzimmer, for model hey_snips
[10:19:17] [Asr] was asked to stop listening on site wohnzimmer
[10:19:17] [Hotword] was asked to toggle itself 'off' on site wohnzimmer
[10:19:17] [Dialogue] session with id 'ffce8e3f-3cdc-47c8-a479-e453d2cf51cb' was started on site wohnzimmer
[10:19:17] [AudioServer] was asked to play a wav of 41.1 kB with id '165026fc-7784-4d32-96d4-ff2372c54346' on site wohnzimmer
[10:19:17] [Hotword] detected on site zentrale, for model hey_snips
[10:19:17] [Asr] was asked to stop listening on site zentrale
[10:19:17] [Hotword] was asked to toggle itself 'off' on site zentrale
[10:19:17] [Dialogue] session with id '187b9df9-b5e9-4707-af19-bedc7e5f9e86' was started on site zentrale
[10:19:17] [AudioServer] was asked to play a wav of 41.1 kB with id '750082ad-a37d-4db1-add1-6353e5927a1f' on site zentrale
[10:19:18] [AudioServer] finished playing wav with id '750082ad-a37d-4db1-add1-6353e5927a1f'
[10:19:18] [Asr] was asked to listen on site zentrale
[10:19:18] [AudioServer] finished playing wav with id '165026fc-7784-4d32-96d4-ff2372c54346'
[10:19:18] [Asr] was asked to listen on site wohnzimmer
[10:19:20] [Asr] captured text "wetter morgen" in 2.0s
[10:19:20] [Asr] was asked to stop listening on site zentrale
[10:19:20] [AudioServer] was asked to play a wav of 93.1 kB with id '42e5d28c-eb0a-45c2-9d84-ea079e28e521' on site zentrale
[10:19:20] [Asr] captured text "becker morgen" in 2.0s
[10:19:20] [Asr] was asked to stop listening on site wohnzimmer
[10:19:20] [AudioServer] was asked to play a wav of 93.1 kB with id 'd228188f-0b4b-4ccb-b5e6-e25d3a19ed0f' on site wohnzimmer
[10:19:22] [AudioServer] finished playing wav with id '42e5d28c-eb0a-45c2-9d84-ea079e28e521'
[10:19:22] [Nlu] was asked to parse input "wetter morgen"
[10:19:22] [Nlu] detected intent m-maric:Default with confidence score 1.000 for input "wetter morgen"
[10:19:22] [Dialogue] New intent detected m-maric:Default with confidence 1.000
[10:19:22] [AudioServer] finished playing wav with id 'd228188f-0b4b-4ccb-b5e6-e25d3a19ed0f'
[10:19:22] [Nlu] was asked to parse input "becker morgen"
[10:19:22] [Nlu] detected intent m-maric:Default with confidence score 1.000 for input "becker morgen"
[10:19:22] [Dialogue] New intent detected m-maric:Default with confidence 1.000
[10:19:28] [Dialogue] session with id 'ffce8e3f-3cdc-47c8-a479-e453d2cf51cb' was ended on site wohnzimmer. The session was ended because one of the component didn't respond in a timely manner
[10:19:28] [Asr] was asked to stop listening on site wohnzimmer
[10:19:28] [Hotword] was asked to toggle itself 'on' on site wohnzimmer
[10:19:28] [Dialogue] session with id '187b9df9-b5e9-4707-af19-bedc7e5f9e86' was ended on site zentrale. The session was ended because one of the component didn't respond in a timely manner
[10:19:28] [Asr] was asked to stop listening on site zentrale
[10:19:28] [Hotword] was asked to toggle itself 'on' on site zentrale

[unltdnetworx]

Also momentan scheint dein Adapter nichts an text2command weiterzugeben. Hast du die richtige Instanz in den Einstellungen eingetragen? Im Normalfall sollte es die erste sein, also mit .0.

Ich hab leider noch keinen Satelliten, daher kann ich das Protokoll nicht vergleichen, aber mir erscheint etwas komisch, dass sowohl die Zentrale als auch "Wohnzimmer" auf deine Eingabe reagieren. Das kann vllt. jemand beantworten, der ebenfalls mehrere Satelliten hat.

Evtl. musst du dazu deine Client ID erhöhen. Da du ja schon einen Satelliten hast, wird der vermutlich die 0 haben. Versuch mal 1 oder sogar 2. Vllt. ändert sich was an der Doppelerkennung. Oder stehen die beiden Geräte nebeneinander?

Im Endeffekt ist die Kommunikation zwischen Adapter und Snips aber am Laufen, da auch eine SessionID eingetragen wird.

[mmaric]

@unltdnetworx

Hallo,

anbei die Einstellung des Adapters.

Die reagieren bei, weil sowohl Laptop und Satellit im gleichen Raum momentan stehen.

[unltdnetworx]

@mmaric sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

m-maric:Default

Aaaaah, jetzt hab ich den Fehler gefunden.
Du hast nicht meine Snips-App genommen sondern eine eigene geforked: m-maric:Default

Das klappt leider nicht. Der Adapter reagiert nur auf Intents von unltdnetworx:

Wenn du eigene Wünsche hast, kannst du sie gerne hier mitteilen, etwa Wörter die nicht enthalten sind oder Sätze die nicht verstanden werden. Gerne her damit und ich pflege sie ein.

Und den Filter solltest du auf verstehe setzen, weil sonst immer eine Ausgabe von text2command ausgegeben wird, wenn einzelne Worte/Aufgaben nicht erkannt werden. "Ich verstehe 'nicht erkannten Befehl' nicht."

[mmaric]

@unltdnetworx

Ich habe mal die den Default Intent umbenannt und bei eingespielt.
Klappt aber nicht.

[unltdnetworx]

Das muss ja auch unltdnetworx:getStatus oder :setDevice,etc. heißen. Es geht definitiv nicht einfach umzubenennen.

[mmaric]

@unltdnetworx

ok, verstanden.

Wie komme ich da dran ?

Danke für die Geduld.

[___manalishi]

Hallo, war die letzten Tage beruflich eingespannt und daher hier wenig aktiv.
Ich habe meinen ersten Prototyp des Gehäuses montiert. Bei der Montage des Pi's mit den 2 Karten hat sich etwas Optimierungspotential in der Konstruktion gezeigt.

Das Gehäuse wurde mit einem Prusa 3D Printer hergestellt. Ich hatte mir die Ansicht von oben bei der Grösse der Löcher und der grünen Farbe der Platine schlimmer vorgestellt. Lediglich die Oberflächenqualität mag Designeransprüchen nicht genügen.

Der Pi wird mit den 4 Schrauben inkl. den 2 Platinen zwischen Bodenplatte und Gehäusedeckel fixiert. Hier erscheint es mir sinnvoller den Pi mit 4 Schrauben nur auf die Bodenplatte zu schrauben und den Deckel separat zu befestigen.

Die Aussparung ermöglicht Zugang zur SD Karte,sollte aber auch noch grösser werden.

Ich bin noch auf der Suche nach geeigneten, selbtsklebenden Gummifüssen. Das scheint mir sinnvoller als etwas zu drucken.

[unltdnetworx]

Sieht schon mal super aus.

[___manalishi]

Nach ca.10 Tagen Dauerbetrieb habe ich folgendes beobachtet:

1. Mit den Neustarts (2x täglich die Snips-Services und 1x den Pi) habe ich ein zuverlässiges Verhalten der Satelliten, sowohl vom Hotword wie auch vom RESpeaker Skill für die LEDs

2. Der Snips Server läuft zuverlässig mit 2x Neustart der Services ohne rebooten des OS.

3. Da ich mit Telegram meinen ioBroker monitore fällt mir auf, dass in unregelmässigen Abständen das Hotword erkannt wird, ohne dass es wirklich ausgesprochen wurde. Das deckt sich auch in den Fällen, in denen ich es "live" beobachtet habe, durch Leuchten der LEDs am Satelliten.

Ich bin bisher davon ausgegangen, dass "Hey Snips" im Alltagsbetrieb ein zuverlässiges Hotword ist, da es (zumindest in unserem Sprachgebrauch zu Hause) nicht vorkommt.

Kann jemand dieses Verhalten bestätigen?

[rascal]

Hey,
ich verfolge den "neuen" Adapter mit Spannung, bin aber noch nicht dazugekommen, dass ich ihn installiere und ausprobiere.

Was mir nicht ganz klar ist im Moment:

• gibt der Adapter nur auf jenem Snips eine Antwort, wo er auch aktiviert worden ist? (mit dem Text2Command Adapter)
• Ist das Problem mit dem verschwindenden Antwort-Datenpunkt im T2C-Adapter behoben?

LG
Martin

[unltdnetworx]

@rascal
Hi Martin,
der Adapter gibt in der neuen Version (testing) immer auf dem Gerät aus, auf dem auch der Dialog gestartet wurde. In text2command muss aber auf alle gestellt werden. Der Adapter regelt die Ausgabe selbstständig.

Wenn der Datenpunkt für alle Geräte direkt angesprochen wird, also nicht über Snips, sondern etwa über ein Skript, z.B. wenn die Waschmaschine fertig ist, werden alle Geräte gleichzeitig angesprochen, vllt. mit wenigen Millisekunden Unterschied.

Wenn die einzelnen say-Datenpunkte direkt angesprochen werden, gibt auch nur das jeweilige Gerät aus.

[unltdnetworx]

@frank70
Hi Frank,

das kann ich so nicht bestätigen. Bei mir läuft es seit langem 24/7 ohne jegliche Neustarts problemlos.

Mit der neuesten Version der Snips-Plattform muss ich sagen habe ich kaum bis gar keine Falscherkennungen mehr. Bin damit äußerst zufrieden. Die Erkennung bei lauter Umgebung oder großer Entfernung hat sich hingegen kaum/nicht verbessert.

Aktuell ist die neueste Version der Plattform und testing-Version des Adapters bei mir im Einsatz.

[___manalishi]

@unltdnetworx Ok, dann werde ich die Snips Umgebung mal auf neuesten Stand bringen. Ich bin mit der jetzigen Qualität auch zufrieden. Neustarts stören nicht den Betrieb. Die falsch erkannten Hotwords richteten bisher keinen Schaden an, soll heissen, die danach erkannten Worte haben keines meiner Skripte Verwendung gefunden.

Edit:
Bei mir siehts nach dem Update jetzt so aus:
Update mit sam update durchgeführt. Sind die unterschiedlichen Versionen so ok?
Server:

Service status:

snips-analytics .............. 0.61.1 (not running)
snips-asr .................... 0.61.1 (running)
snips-audio-server ........... 0.61.1 (not running)
snips-dialogue ............... 0.61.1 (running)
snips-hotword ................ 0.61.1 (running)
snips-nlu .................... 0.61.1 (not running)
snips-skill-server ........... 0.61.1 (not running)
snips-tts .................... 0.61.1 (running)

Clients

Service status:

snips-analytics .............. 0.60.10 (not running)
snips-asr .................... 0.60.10 (not running)
snips-audio-server ........... 0.60.10 (running)
snips-dialogue ............... 0.60.10 (not running)
snips-hotword ................ 0.60.10 (running)
snips-nlu .................... 0.60.10 (not running)
snips-skill-server ........... 0.60.10 (running)
snips-tts .................... 0.60.10 (running)

[unltdnetworx]

@frank70
Ich könnte mir vorstellen, dass es zu Problemen kommen dann, wenn du unterschiedliche Versionen hast. Aber du kannst Sam ja auch mit dem Satelliten verbinden. Sam connect oder so ähnlich dürfte der Befehl lauten.

[___manalishi]

@unltdnetworx Ich habe auf jedem Gerät sam update ausgeführt.
Bei jedem Satelliten "Connected to device 127.0.0.1" sollte doch auch auf dem jeweiligen Gerät das Update durchführen oder habe ich da was falsch verstanden?

[unltdnetworx]

Also ich hab Sam auf dem Windows PC und der Connected über die jeweiligen IPs auf die Linux Endgeräte. Pi und Synology

[rascal]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Also ich hab Sam auf dem Windows PC und der Connected über die jeweiligen IPs auf die Linux Endgeräte. Pi und Synology

Wo finde ich den Windows SAM Client?

[unltdnetworx]

Das geht genau so mittels npm. Also npm auf Windows installieren und dann entsprechend anwenden. Geht dann über die Kommandozeile (cmd).

[___manalishi]

Bei mir ist moch mehr schiefgegangen. NLU hat ein Problem auf dem Master.

Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]: ERROR:snips_nlu       : Fail to wait end of pipeline
Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]:  -> caused by: Unable to read file '/var/lib/snips/injections/20190205T233411919253194/inj_20190218T105402558858220/nlu_engine/nlu_engine.json'
Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]:  -> caused by: Expected model version 0.19.0 but found 0.17.0
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Main process exited, code=exited, status=1/FAILURE
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Unit entered failed state.
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Failed with result 'exit-code'.

Keine Ahnung warum die Datei nicht gelesen werden kann. ist vorhanden und Rechte stehen auf 755. Ist vielleicht nur ein Folgefehler. Mit der Model Version kann ich nichts anfangen. Ich setze die VM mal zurück und suche erstmal im Snips Forum.

Edit:@unltdnetworx: Muss ich deinen Assistant nach dem update neu installieren? Vielleicht ist das der Grund für die "model version" Meldung...

Edit: Kennt jemand eine Möglichkeit, um eine bestimmte Snips-Version zu installieren?