[Aufruf] Adapter: Snips - Offline Speak2Text

[unltdnetworx]

@mmaric
Hast du das neueste Update der Snips Platform drauf? Am Feedback Ton hat sich nichts geändert. Erkennt dich das Gerät?

Update der Plattform

Sam update

Überwachung der Erkennung

Sam watch

[mmaric]

@unltdnetworx

Hallo,

ja alles ist aktuell.

Im sam watch wird der Satellit erkannt, aber es wird nichts zurück gegeben.

Gebe mal später ein paar mehr Infos.

Grüße

Mladen

[Wal]

@unltdnetworx ,
das hatte bei mir funktioniert, Adapter deinstalliert und Test-Adapter installiert.
Drüber installieren geht bei mir nicht.
Ich habe aber ioBroker letzte Woche mit dem neuen Installationsskript aufgesetzt.
Das mit den Rechten ist nicht so schön, bekomme bei der Installation von Adaptern seit der Umstellung jede menge Warnungen und Fehlermeldungen, aber die Adapter funzen trotzdem.

[unltdnetworx]

@Wal
Genau das ist das Problem. Ich habe noch die alte Installation. Hoffe die kriegen das in den Griff.

Aber bei dir läuft der Adapter? Bei mir geht es einwandfrei.

[Wal]

@unltdnetworx ,
ja geht, allerdings habe ich i.M. kein Satellit angeschlossen.

[unltdnetworx]

Das Gerät wird nun auch als Satellit behandelt. Also, wenn es läuft, wunderbar. Funktioniert somit mit alter und neuer Variante.

@mmaric
Hast du mehrere Satelliten?

[mmaric]

hallo,

momentan habe ich einen Master (PC) und einen Satellit.

Auf dem Satellit ist nur snips-audio-server, nach der Beschreibung von snips.ai.

Nur zwei Werte eingetragen.

snips-common
mqtt = "masterip:1883"

snips-audio-server
bind= "satelitt:1883"

sam habe ich nicht auf dem satelliten,
brauche ich eventuell mehr ?

[unltdnetworx]

@Wal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Hier mal meine Config:
Snips-Server:

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... ioBroker
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.60.8 (running)
snips-audio-server ........... 0.60.8 (running)
snips-dialogue ............... 0.60.8 (running)
snips-hotword ................ 0.60.8 (running)
snips-nlu .................... 0.60.8 (running)
snips-skill-server ........... 0.60.8 (not running)
snips-tts .................... 0.60.8 (running)

[snips-common]
 bus = "mqtt"
 mqtt = "localhost:1500"
# audio = ["+@mqtt"]
# assistant = "/usr/share/snips/assistant"
# user_dir = "/var/lib/snips"
[snips-audio-server]
# frame = 256
bind = "livingroom@mqtt"
# mike = "Built-in Microphone"
# disable_playback = false
[snips-hotword]
# model = "/usr/share/snips/hotword"
# hotword_id = "default"
# sensitivity = "0.5"
audio = ["livingroom@mqtt", "kitchen@mqtt"]

Satellit:

Connected to device localhost

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. (not running)
snips-asr .................... (not running)
snips-audio-server ........... 0.60.12 (running)
snips-dialogue ............... (not running)
snips-hotword ................ (not running)
snips-nlu .................... (not running)
snips-skill-server ........... (not running)
snips-tts .................... (not running)

[snips-common]
# bus = "mqtt"
mqtt = "192.168.111.5:1500"
# audio = ["+@mqtt"]
# assistant = "/usr/share/snips/assistant"
# user_dir = "/var/lib/snips"
[snips-audio-server]
# frame = 256
bind = "kitchen@mqtt"
# mike = "Built-in Microphone"
# disable_playback = false
# disable_capture = false

@Wal
Hat es schön dargestellt. So sollte es klappen. Die Arbeit macht der Server. Du kannst je nach Laune noch den Hotword Server aktivieren, wenn du ein eigenes Hotword für den Satelliten willst.

[mmaric]

Sieht wie meine König aus. Frage ist welche text2command version

[mmaric]

@mmaric said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Sieht wie meine König aus. Frage ist welche text2command version

Meine Konfiguration

[unltdnetworx]

@mmaric
Ich hab die neueste Version über Github aktualisiert.

[unltdnetworx]

@mmaric
Aber was mir von unterwegs auffällt, du hast beim Audio-Server

@1883

Stehen statt

@mqtt

[mmaric]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@mmaric
Aber was mir von unterwegs auffällt, du hast beim Audio-Server

@1883

Stehen statt

@mqtt

hallo,

das war ein Schreibfehler.

[mmaric]

Anbei noch einmal alle Informationen. Viele Augen sehen besser.

1. Zentrale ( PC)

[snips-common]
bus = "mqtt"
mqtt = "localhost:1883"

[snips-audio-server]
bind = "zentrale@mqtt"

[snips-hotword]
audio = ["zentrale@mqtt", "wohnzimmer@mqtt"]

2. Satellit

[snips-common]
mqtt = "192.168.178.32:1883"

[snips-audio-server]
bind = "wohnzimmer@mqtt"

Zusammengefasst wie der Ablauf ist:

Wenn ich das hotword am Satelliten nenne, dann wird im Adapter snips die Session ID eingetragen.
Jedoch wird der Wert text (text to send) unter devices.all.send.text nicht aktualisiert mit der Antwort.

Wenn ich über den Adapter text2send das Wort wetter morgen eintrage, dann wird das richtige Feld ausgeführt und als Antwort in das devices.all.send.text gefüllt.

Unten noch einmal die Log Ausgabe von sam watch.

Vielen Dank für die Unterstützung.

[Dialogue] session with id '51e90396-a62f-4dee-82ba-587f73da0c62' was ended on site wohnzimmer. The session was ended because one of the component didn't respond in a timely manner
[10:18:51] [Asr] was asked to stop listening on site wohnzimmer
[10:18:51] [Hotword] was asked to toggle itself 'on' on site wohnzimmer
[10:18:51] [Dialogue] session with id 'cc9060db-49d1-4d8b-ad69-f1ba8e8bfd42' was ended on site zentrale. The session was ended because one of the component didn't respond in a timely manner
[10:18:51] [Asr] was asked to stop listening on site zentrale
[10:18:51] [Hotword] was asked to toggle itself 'on' on site zentrale
[10:19:17] [Hotword] detected on site wohnzimmer, for model hey_snips
[10:19:17] [Asr] was asked to stop listening on site wohnzimmer
[10:19:17] [Hotword] was asked to toggle itself 'off' on site wohnzimmer
[10:19:17] [Dialogue] session with id 'ffce8e3f-3cdc-47c8-a479-e453d2cf51cb' was started on site wohnzimmer
[10:19:17] [AudioServer] was asked to play a wav of 41.1 kB with id '165026fc-7784-4d32-96d4-ff2372c54346' on site wohnzimmer
[10:19:17] [Hotword] detected on site zentrale, for model hey_snips
[10:19:17] [Asr] was asked to stop listening on site zentrale
[10:19:17] [Hotword] was asked to toggle itself 'off' on site zentrale
[10:19:17] [Dialogue] session with id '187b9df9-b5e9-4707-af19-bedc7e5f9e86' was started on site zentrale
[10:19:17] [AudioServer] was asked to play a wav of 41.1 kB with id '750082ad-a37d-4db1-add1-6353e5927a1f' on site zentrale
[10:19:18] [AudioServer] finished playing wav with id '750082ad-a37d-4db1-add1-6353e5927a1f'
[10:19:18] [Asr] was asked to listen on site zentrale
[10:19:18] [AudioServer] finished playing wav with id '165026fc-7784-4d32-96d4-ff2372c54346'
[10:19:18] [Asr] was asked to listen on site wohnzimmer
[10:19:20] [Asr] captured text "wetter morgen" in 2.0s
[10:19:20] [Asr] was asked to stop listening on site zentrale
[10:19:20] [AudioServer] was asked to play a wav of 93.1 kB with id '42e5d28c-eb0a-45c2-9d84-ea079e28e521' on site zentrale
[10:19:20] [Asr] captured text "becker morgen" in 2.0s
[10:19:20] [Asr] was asked to stop listening on site wohnzimmer
[10:19:20] [AudioServer] was asked to play a wav of 93.1 kB with id 'd228188f-0b4b-4ccb-b5e6-e25d3a19ed0f' on site wohnzimmer
[10:19:22] [AudioServer] finished playing wav with id '42e5d28c-eb0a-45c2-9d84-ea079e28e521'
[10:19:22] [Nlu] was asked to parse input "wetter morgen"
[10:19:22] [Nlu] detected intent m-maric:Default with confidence score 1.000 for input "wetter morgen"
[10:19:22] [Dialogue] New intent detected m-maric:Default with confidence 1.000
[10:19:22] [AudioServer] finished playing wav with id 'd228188f-0b4b-4ccb-b5e6-e25d3a19ed0f'
[10:19:22] [Nlu] was asked to parse input "becker morgen"
[10:19:22] [Nlu] detected intent m-maric:Default with confidence score 1.000 for input "becker morgen"
[10:19:22] [Dialogue] New intent detected m-maric:Default with confidence 1.000
[10:19:28] [Dialogue] session with id 'ffce8e3f-3cdc-47c8-a479-e453d2cf51cb' was ended on site wohnzimmer. The session was ended because one of the component didn't respond in a timely manner
[10:19:28] [Asr] was asked to stop listening on site wohnzimmer
[10:19:28] [Hotword] was asked to toggle itself 'on' on site wohnzimmer
[10:19:28] [Dialogue] session with id '187b9df9-b5e9-4707-af19-bedc7e5f9e86' was ended on site zentrale. The session was ended because one of the component didn't respond in a timely manner
[10:19:28] [Asr] was asked to stop listening on site zentrale
[10:19:28] [Hotword] was asked to toggle itself 'on' on site zentrale

[unltdnetworx]

Also momentan scheint dein Adapter nichts an text2command weiterzugeben. Hast du die richtige Instanz in den Einstellungen eingetragen? Im Normalfall sollte es die erste sein, also mit .0.

Ich hab leider noch keinen Satelliten, daher kann ich das Protokoll nicht vergleichen, aber mir erscheint etwas komisch, dass sowohl die Zentrale als auch "Wohnzimmer" auf deine Eingabe reagieren. Das kann vllt. jemand beantworten, der ebenfalls mehrere Satelliten hat.

Evtl. musst du dazu deine Client ID erhöhen. Da du ja schon einen Satelliten hast, wird der vermutlich die 0 haben. Versuch mal 1 oder sogar 2. Vllt. ändert sich was an der Doppelerkennung. Oder stehen die beiden Geräte nebeneinander?

Im Endeffekt ist die Kommunikation zwischen Adapter und Snips aber am Laufen, da auch eine SessionID eingetragen wird.

[mmaric]

@unltdnetworx

Hallo,

anbei die Einstellung des Adapters.

Die reagieren bei, weil sowohl Laptop und Satellit im gleichen Raum momentan stehen.

[unltdnetworx]

@mmaric sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

m-maric:Default

Aaaaah, jetzt hab ich den Fehler gefunden.
Du hast nicht meine Snips-App genommen sondern eine eigene geforked: m-maric:Default

Das klappt leider nicht. Der Adapter reagiert nur auf Intents von unltdnetworx:

Wenn du eigene Wünsche hast, kannst du sie gerne hier mitteilen, etwa Wörter die nicht enthalten sind oder Sätze die nicht verstanden werden. Gerne her damit und ich pflege sie ein.

Und den Filter solltest du auf verstehe setzen, weil sonst immer eine Ausgabe von text2command ausgegeben wird, wenn einzelne Worte/Aufgaben nicht erkannt werden. "Ich verstehe 'nicht erkannten Befehl' nicht."

[mmaric]

@unltdnetworx

Ich habe mal die den Default Intent umbenannt und bei eingespielt.
Klappt aber nicht.

[unltdnetworx]

Das muss ja auch unltdnetworx:getStatus oder :setDevice,etc. heißen. Es geht definitiv nicht einfach umzubenennen.

[mmaric]

@unltdnetworx

ok, verstanden.

Wie komme ich da dran ?

Danke für die Geduld.