[Aufruf] Adapter: Snips - Offline Speak2Text

[unltdnetworx]

@Wal
Habe gerade einen Pull-Request im testing-Branch gestellt.

Neuerungen:

• Ordnerstruktur hat sich geändert:
  • Neuer Überordner: "devices"
  • Unterordner "all"
  • Unterordner für jeden Satelliten
• Jeder Satellit kann jetzt über den Datenpunkt snips.X.devices.XXX.send.text direkt angesprochen werden und Informationen ausgeben (Ordnerstruktur wird bei erster Verwendung des Satelliten automatisch erzeugt)
• text2command Ausgabe-Datenpunkt muss zwingend auf snips.X.devices.all.send.text gesetzt werden (X muss natürlich die laufende Nummer der Instanz sein, meist also 0)
• Adapter interagiert mit den Satelliten

Durch die Neuerungen können alle Satelliten jetzt Infos ausgeben und beenden danach sofort wieder den Dialog mit Snips. Heißt, dass sowohl bei nicht durch den text2command-Adapter erkannten Befehlen, als auch bei sonstigen Ausgaben Snips danach sofort wieder zur Verfügung steht. Die langen Wartezeiten bis zur nächsten Spracheingabe entfallen somit.

Außerdem können die Satelliten durch die *.send.text jetzt explizit angesprochen werden. Text2command muss hingegen den oben genannten .all.send.text ansprechen. Der Adapter verteilt die Ausgabe dann selbstständig anhand der SessionID an den richtigen Satelliten.

Wenn .all.send.text direkt, also nicht von text2command angesprochen wird und somit keine SessionID enthält, dann erfolgt die Ausgabe an alle eingebundenen Satelliten.

Bitte an Alle:
Testet doch bitte mal den aktualisierten Adapter aus dem Testing-Bereich (Version 1.1.0) sobald Walter den Vorschlag angenommen hat. Sollte auch ohne Satellitenbetrieb bzw. mit einem Server und einem Satelliten funktinionieren.

Danke

[Wal]

@unltdnetworx
erledigt

[mmaric]

Hallo,

ich habe nun auf 1.1.0 aktualisiert.

Leider wird die Instanz nicht gestartet.

Im Log sehe ich
instance system.adapter.snips.0 terminated with code 10 (Cannot find start file of adapter)

Ich sehe die neue Struktur auch nicht unter Objekten.

[unltdnetworx]

Okay, kann ich leider bestätigen. Hab es gerade deinstalliert und es scheint irgendetwas beim installieren fehlzuschlagen. Scheint wohl an den Schreibrechten zu liegen. Seit der letzten Umstellung von ioBroker wurde wohl was geändert.

[unltdnetworx]

Okay, "Lösung" gefunden. Den Adapter erst normal installieren und dann den Testing-Link mittels Github-Katze drüberinstallieren. Direkte Installation mittels Github scheint aufgrund fehlender Berechtigungen nicht zu funktionieren.

https://github.com/Bettman66/ioBroker.snips/tarball/testing

[mmaric]

@unltdnetworx

Hallo,

nun ist die Struktur aufgebaut und die Instanz läuft.. Jedoch höre ich noch nicht mal den Feedbackton.

Ich sehe die Session-ID vom Satelliten.

[unltdnetworx]

@mmaric
Hast du das neueste Update der Snips Platform drauf? Am Feedback Ton hat sich nichts geändert. Erkennt dich das Gerät?

Update der Plattform

Sam update

Überwachung der Erkennung

Sam watch

[mmaric]

@unltdnetworx

Hallo,

ja alles ist aktuell.

Im sam watch wird der Satellit erkannt, aber es wird nichts zurück gegeben.

Gebe mal später ein paar mehr Infos.

Grüße

Mladen

[Wal]

@unltdnetworx ,
das hatte bei mir funktioniert, Adapter deinstalliert und Test-Adapter installiert.
Drüber installieren geht bei mir nicht.
Ich habe aber ioBroker letzte Woche mit dem neuen Installationsskript aufgesetzt.
Das mit den Rechten ist nicht so schön, bekomme bei der Installation von Adaptern seit der Umstellung jede menge Warnungen und Fehlermeldungen, aber die Adapter funzen trotzdem.

[unltdnetworx]

@Wal
Genau das ist das Problem. Ich habe noch die alte Installation. Hoffe die kriegen das in den Griff.

Aber bei dir läuft der Adapter? Bei mir geht es einwandfrei.

[Wal]

@unltdnetworx ,
ja geht, allerdings habe ich i.M. kein Satellit angeschlossen.

[unltdnetworx]

Das Gerät wird nun auch als Satellit behandelt. Also, wenn es läuft, wunderbar. Funktioniert somit mit alter und neuer Variante.

@mmaric
Hast du mehrere Satelliten?

[mmaric]

hallo,

momentan habe ich einen Master (PC) und einen Satellit.

Auf dem Satellit ist nur snips-audio-server, nach der Beschreibung von snips.ai.

Nur zwei Werte eingetragen.

snips-common
mqtt = "masterip:1883"

snips-audio-server
bind= "satelitt:1883"

sam habe ich nicht auf dem satelliten,
brauche ich eventuell mehr ?

[unltdnetworx]

@Wal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Hier mal meine Config:
Snips-Server:

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... ioBroker
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.60.8 (running)
snips-audio-server ........... 0.60.8 (running)
snips-dialogue ............... 0.60.8 (running)
snips-hotword ................ 0.60.8 (running)
snips-nlu .................... 0.60.8 (running)
snips-skill-server ........... 0.60.8 (not running)
snips-tts .................... 0.60.8 (running)

[snips-common]
 bus = "mqtt"
 mqtt = "localhost:1500"
# audio = ["+@mqtt"]
# assistant = "/usr/share/snips/assistant"
# user_dir = "/var/lib/snips"
[snips-audio-server]
# frame = 256
bind = "livingroom@mqtt"
# mike = "Built-in Microphone"
# disable_playback = false
[snips-hotword]
# model = "/usr/share/snips/hotword"
# hotword_id = "default"
# sensitivity = "0.5"
audio = ["livingroom@mqtt", "kitchen@mqtt"]

Satellit:

Connected to device localhost

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. (not running)
snips-asr .................... (not running)
snips-audio-server ........... 0.60.12 (running)
snips-dialogue ............... (not running)
snips-hotword ................ (not running)
snips-nlu .................... (not running)
snips-skill-server ........... (not running)
snips-tts .................... (not running)

[snips-common]
# bus = "mqtt"
mqtt = "192.168.111.5:1500"
# audio = ["+@mqtt"]
# assistant = "/usr/share/snips/assistant"
# user_dir = "/var/lib/snips"
[snips-audio-server]
# frame = 256
bind = "kitchen@mqtt"
# mike = "Built-in Microphone"
# disable_playback = false
# disable_capture = false

@Wal
Hat es schön dargestellt. So sollte es klappen. Die Arbeit macht der Server. Du kannst je nach Laune noch den Hotword Server aktivieren, wenn du ein eigenes Hotword für den Satelliten willst.

[mmaric]

Sieht wie meine König aus. Frage ist welche text2command version

[mmaric]

@mmaric said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Sieht wie meine König aus. Frage ist welche text2command version

Meine Konfiguration

[unltdnetworx]

@mmaric
Ich hab die neueste Version über Github aktualisiert.

[unltdnetworx]

@mmaric
Aber was mir von unterwegs auffällt, du hast beim Audio-Server

@1883

Stehen statt

@mqtt

[mmaric]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@mmaric
Aber was mir von unterwegs auffällt, du hast beim Audio-Server

@1883

Stehen statt

@mqtt

hallo,

das war ein Schreibfehler.

[mmaric]

Anbei noch einmal alle Informationen. Viele Augen sehen besser.

1. Zentrale ( PC)

[snips-common]
bus = "mqtt"
mqtt = "localhost:1883"

[snips-audio-server]
bind = "zentrale@mqtt"

[snips-hotword]
audio = ["zentrale@mqtt", "wohnzimmer@mqtt"]

2. Satellit

[snips-common]
mqtt = "192.168.178.32:1883"

[snips-audio-server]
bind = "wohnzimmer@mqtt"

Zusammengefasst wie der Ablauf ist:

Wenn ich das hotword am Satelliten nenne, dann wird im Adapter snips die Session ID eingetragen.
Jedoch wird der Wert text (text to send) unter devices.all.send.text nicht aktualisiert mit der Antwort.

Wenn ich über den Adapter text2send das Wort wetter morgen eintrage, dann wird das richtige Feld ausgeführt und als Antwort in das devices.all.send.text gefüllt.

Unten noch einmal die Log Ausgabe von sam watch.

Vielen Dank für die Unterstützung.

[Dialogue] session with id '51e90396-a62f-4dee-82ba-587f73da0c62' was ended on site wohnzimmer. The session was ended because one of the component didn't respond in a timely manner
[10:18:51] [Asr] was asked to stop listening on site wohnzimmer
[10:18:51] [Hotword] was asked to toggle itself 'on' on site wohnzimmer
[10:18:51] [Dialogue] session with id 'cc9060db-49d1-4d8b-ad69-f1ba8e8bfd42' was ended on site zentrale. The session was ended because one of the component didn't respond in a timely manner
[10:18:51] [Asr] was asked to stop listening on site zentrale
[10:18:51] [Hotword] was asked to toggle itself 'on' on site zentrale
[10:19:17] [Hotword] detected on site wohnzimmer, for model hey_snips
[10:19:17] [Asr] was asked to stop listening on site wohnzimmer
[10:19:17] [Hotword] was asked to toggle itself 'off' on site wohnzimmer
[10:19:17] [Dialogue] session with id 'ffce8e3f-3cdc-47c8-a479-e453d2cf51cb' was started on site wohnzimmer
[10:19:17] [AudioServer] was asked to play a wav of 41.1 kB with id '165026fc-7784-4d32-96d4-ff2372c54346' on site wohnzimmer
[10:19:17] [Hotword] detected on site zentrale, for model hey_snips
[10:19:17] [Asr] was asked to stop listening on site zentrale
[10:19:17] [Hotword] was asked to toggle itself 'off' on site zentrale
[10:19:17] [Dialogue] session with id '187b9df9-b5e9-4707-af19-bedc7e5f9e86' was started on site zentrale
[10:19:17] [AudioServer] was asked to play a wav of 41.1 kB with id '750082ad-a37d-4db1-add1-6353e5927a1f' on site zentrale
[10:19:18] [AudioServer] finished playing wav with id '750082ad-a37d-4db1-add1-6353e5927a1f'
[10:19:18] [Asr] was asked to listen on site zentrale
[10:19:18] [AudioServer] finished playing wav with id '165026fc-7784-4d32-96d4-ff2372c54346'
[10:19:18] [Asr] was asked to listen on site wohnzimmer
[10:19:20] [Asr] captured text "wetter morgen" in 2.0s
[10:19:20] [Asr] was asked to stop listening on site zentrale
[10:19:20] [AudioServer] was asked to play a wav of 93.1 kB with id '42e5d28c-eb0a-45c2-9d84-ea079e28e521' on site zentrale
[10:19:20] [Asr] captured text "becker morgen" in 2.0s
[10:19:20] [Asr] was asked to stop listening on site wohnzimmer
[10:19:20] [AudioServer] was asked to play a wav of 93.1 kB with id 'd228188f-0b4b-4ccb-b5e6-e25d3a19ed0f' on site wohnzimmer
[10:19:22] [AudioServer] finished playing wav with id '42e5d28c-eb0a-45c2-9d84-ea079e28e521'
[10:19:22] [Nlu] was asked to parse input "wetter morgen"
[10:19:22] [Nlu] detected intent m-maric:Default with confidence score 1.000 for input "wetter morgen"
[10:19:22] [Dialogue] New intent detected m-maric:Default with confidence 1.000
[10:19:22] [AudioServer] finished playing wav with id 'd228188f-0b4b-4ccb-b5e6-e25d3a19ed0f'
[10:19:22] [Nlu] was asked to parse input "becker morgen"
[10:19:22] [Nlu] detected intent m-maric:Default with confidence score 1.000 for input "becker morgen"
[10:19:22] [Dialogue] New intent detected m-maric:Default with confidence 1.000
[10:19:28] [Dialogue] session with id 'ffce8e3f-3cdc-47c8-a479-e453d2cf51cb' was ended on site wohnzimmer. The session was ended because one of the component didn't respond in a timely manner
[10:19:28] [Asr] was asked to stop listening on site wohnzimmer
[10:19:28] [Hotword] was asked to toggle itself 'on' on site wohnzimmer
[10:19:28] [Dialogue] session with id '187b9df9-b5e9-4707-af19-bedc7e5f9e86' was ended on site zentrale. The session was ended because one of the component didn't respond in a timely manner
[10:19:28] [Asr] was asked to stop listening on site zentrale
[10:19:28] [Hotword] was asked to toggle itself 'on' on site zentrale