[Aufruf] Adapter: Snips - Offline Speak2Text

[Wal]

@Hanni1312

[frank70]

ich habe seit dem 0.61.1 update mir bisher unbekannte "features" im Ansprechverhalten.

1. NLU: Text wird erkannt, kann aber nicht verarbeitet werden, obwohl injiziert.

[09:15:31] [Nlu] was asked to parse input "h er eins"
[09:15:31] [Nlu] intent not recognized for "h er eins"

2. Ich kanns noch nicht genauer beschreiben, aber hier ein sam watch bei dem Versuch einen Radiosender umzuschalten. Der erkannte Text kann aus dem laufenden Radio erkannt worden sein. Ich habe bei diesem Fall "big fm" ins Mirkrofon gesprochen.

[09:45:15] [Asr] was asked to listen on site kitchen
[09:45:20] [Asr] captured text "rolladen auf zehn straÃe stunden" in 5.0s
[09:45:20] [Asr] was asked to stop listening on site kitchen
[09:45:20] [AudioServer] was asked to play a wav of 93.1 kB with id '8d00b36e-a6                              81-4c9c-9eba-6935f71dbad6' on site kitchen
[09:45:22] [AudioServer] finished playing wav with id '8d00b36e-a681-4c9c-9eba-6                              935f71dbad6'
[09:45:22] [Nlu] was asked to parse input "rolladen auf zehn straÃe stunden"
[09:45:22] [Nlu] detected intent unltdnetworx:setDevice with confidence score 0.                              543 for input "rolladen auf zehn straÃe stunden"
              Slots ->
                 device -> Rollladen (confidence: 0.576)
                  value -> 10 (confidence: 0.438)
                   unit -> Verkehrslage (confidence: 1.000)
                   unit -> Datum (confidence: 0.474)
[09:45:22] [Dialogue] New intent detected unltdnetworx:setDevice with confidence                               0.543
              Slots ->
                 device -> Rollladen (confidence: 0.576)
                  value -> 10 (confidence: 0.438)
                   unit -> Verkehrslage (confidence: 1.000)
                   unit -> Datum (confidence: 0.474)

Habt ihr ähnliche Fälle beobachtet?

[rascal]

Hallo,

kann ich einen Snips-Satelliten ohne Input, d.h. ohne Mikrophone aufsetzen sodass ihn der Snips-Iobroker Adapter dann auch findet?
Soweit ich weiß, benötigt der Adapter eine erste Spracheingabe, damit er den neuen Satelliten auch registriert.
Funktioniert das auch irgendwie ohne Spracheingabe?

Ich möchte ein paar Satellite ohne Eingabemöglichkeit aufsetzen, die sollen nur zur Sprachausgabe dienen.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Ich möchte ein paar Satellite ohne Eingabemöglichkeit aufsetzen, die sollen nur zur Sprachausgabe dienen.

An diese Konstellation hatte ich nicht gedacht. Ich baue ein Eingabefeld ein, mit dem man das say-Feld von Satelliten manuell anlegen kann.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Wie schalte ich am Satelliten den "Ping" aus?

Wird ergänzt.

[unltdnetworx]

@rascal
Guten Abend.
Ich habe gerade auf Github eine Version 1.1.2 gepushed. Darin ist jetzt im Ordner "devices" ein Punkt "createSatellite" enthalten. Damit können manuell Satelliten angelegt werden. Einfach den Namen des vorhandenen Satelliten OHNE Mikro eingeben, dann wird ein Gerät erstellt. Für Geräte MIT Mikro reicht nach wie vor eine Spracheingabe um die Objekte automatisiert erzeugen zu lassen. Für die richtige Schreibweise, etc. ist man dann natürlich selbst verantwortlich.

[rascal]

@unltdnetworx
Hallo, super.
Danke für die schnelle Umsetzung.
Ich werde es Morgen versuchen.
Wie verhält es sich, wenn man dann doch irgendwann ein Mikrofon anschließt?

[unltdnetworx]

@rascal
Das ist dann kein Problem, die restlichen Felder werden einfach ergänzt.

[popl]

@popl said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Hat jemand Jalousien die er über snips ansteuert? Wie sprecht ihr die Lamelle an?

Gibt es die Möglichkeit 2 Werte zu übergeben, z.B. Fahre Jalousie(oder Rollo) auf 50% und die Lamelle auf 20%.

Könnte man in T2C noch eine Jalousie Funktion gleich der Rollo-Funktion + (Winkel-)Position der Lamelle integrieren ?
Danke

Hat niemand Jalousien?

[rascal]

@unltdnetworx
Irgendwie ist jetzt bei mir der Wurm drin....

Ich habe snips auf einem Rasp installiert und mittels des Scripts von Psychokiller den Satelitten mit dem Main zu verbinden. Dürfte alles ganz gut geklappt haben.
Dann habe ich mittels des neuen Satellite Injekt den Satelliten hinzugefügt und versucht einen Text ausgeben zu lassen.
Dies hat leider nicht funktioniert. Die Lautsprecher des Satelliten funktionieren aber (mit sam test speaker) überprüft.

Jetzt fangen die Probleme an... der Main piept jetzt 2x wenn ich "Hey snips" sage und er gibt den Slots nicht an iobroker weiter.
Mittlerweile habe ich snips komplett gelöscht (inklusive config file im /etc/ Ordner), sowie den Adapter in Iobroker.
Der Adapter legt mir auch die Intent Variablen nicht an, sonder nur /devices/default/send/text und /devices/default/sessionID
(Natürlich auch die hotword, info, send...)

Ich bin jetzt wieder auf die Adapterversion 1.1.1 zurückgegangen, da funktioniert es, Snips übernimmt die Kommandos, allerdings piepst er zwei Mal. Mir ist auch aufgefallen, dass er zwei SessionID's anlegt.

Vor dem Downgrade habe ich mit der Version 1.1.2 die Satelliten angelegt, leider bekomme ich sie nicht dazu, Sprache auszugeben.
Welche Services müssen nur für eine Sprachausgabe laufen?

Hier ein Auszug aus "sam watch" am Main mit der Adapterversion 1.1.2:

[20:57:08] [Asr] was asked to stop listening on site default
[20:57:08] [Hotword] was asked to toggle itself 'on' on site default
[20:57:17] [Hotword] detected on site default, for model hey_snips
[20:57:17] [Asr] was asked to stop listening on site default
[20:57:17] [Asr] was asked to stop listening on site default
[20:57:17] [Hotword] detected on site default, for model hey_snips
[20:57:17] [Hotword] was asked to toggle itself 'off' on site default
[20:57:17] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was started on site default
[20:57:17] [Hotword] was asked to toggle itself 'off' on site default
[20:57:17] [Asr] was asked to listen on site default
[20:57:17] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was started on site default
[20:57:17] [Asr] was asked to listen on site default
[20:57:21] [Asr] captured text "schalte das licht an" in 3.0s
[20:57:21] [Asr] was asked to stop listening on site default
[20:57:21] [Nlu] was asked to parse input "schalte das licht an"
[20:57:21] [Nlu] intent not recognized for "schalte das licht an"
[20:57:21] [Nlu] detected intent unltdnetworx:setDevice with confidence score 1.000 for input "schalte das licht an"
              Slots ->
                  device -> Licht (confidence: 0.967)
                 command -> true (confidence: 1.000)
[20:57:21] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was ended on site default. The session was ended because the platform didn't understand the user
[20:57:21] [Asr] was asked to stop listening on site default
[20:57:21] [Hotword] was asked to toggle itself 'on' on site default
[20:57:33] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[20:57:33] [Asr] was asked to stop listening on site default
[20:57:33] [Hotword] was asked to toggle itself 'on' on site default

Ich hoffe da ist was für dich dabei

[rascal]

Jetzt gibt er mir auch auf meinem Main, wo die Sprachausgabe funktioniert hat, den Text mehrfach aus. (auch in verschiedenen Sprachen deutsch/englisch)

Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [6a0a1f36-cd6e-48b2-b408-ce27b78ad743]: closing session which was active: Nominal
Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn on Hotword
Apr 02 21:57:24 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "8d138c9c-5c7a-4252-970e-ad7d23903372" finished
Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "9b231e18-b224-4fe6-a56f-d07000e3f6d6" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:25 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '8d138c9c-5c7a-4252-970e-ad7d23903372'. Ignoring it.
Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "9b231e18-b224-4fe6-a56f-d07000e3f6d6" finished
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" finished
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "8a099870-6032-4b16-8120-2a26332a5a1a" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id 'b20fab28-569b-47d5-a94f-f0bcdd1ac6c3'. Ignoring it.
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "8a099870-6032-4b16-8120-2a26332a5a1a" finished
Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "5603373b-ae62-49ae-b812-6c97a18d1f2f" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "5603373b-ae62-49ae-b812-6c97a18d1f2f" finished
Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "541d44b0-a2b1-41df-882b-8d9eb3110e97" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:28 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '5603373b-ae62-49ae-b812-6c97a18d1f2f'. Ignoring it.
Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "541d44b0-a2b1-41df-882b-8d9eb3110e97" finished
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "9d863d8d-10d7-4836-af89-dd547713bcf1" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '541d44b0-a2b1-41df-882b-8d9eb3110e97'. Ignoring it.
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "9d863d8d-10d7-4836-af89-dd547713bcf1" finished
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "652459e2-fa37-4529-ad2e-b03b03af25c4" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '9d863d8d-10d7-4836-af89-dd547713bcf1'. Ignoring it.
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:30 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "652459e2-fa37-4529-ad2e-b03b03af25c4" finished
Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:30 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '652459e2-fa37-4529-ad2e-b03b03af25c4'. Ignoring it.
Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn off Hotword
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: The session has been created because the site "Badezimmer" is free
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: closing session which was active: Nominal
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn on Hotword
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.

[rascal]

Hallo,
das Ganze hat mir in der Nacht keine Ruhe gelassen und ich habe Heute das ganze Snips-"Zeugs" deinstalliert.
Alle Snips in allen Räume + Iobroker Adapter komplett gelöscht.

Dannach meine vorherige Konfiguration mit einem Master und einem Slave + Iobroker Adapter wieder aufgesetzt.
Siehe da, es funktioniert (mit dem letzten Iobroker Adapter aus Github 1.1.2).

Später werde ich nochmals versuchen einen Satelliten ohne Mikro aufzusetzen und einzubinden.
Keine Ahnung, warum die Anlage gestern komplett verrückt gespielt hat. Zum Schluss hat er mir eine Audioausgabe zwischen 4-8x wiedergegeben (Das ist ein Test, Das ist ein Test, Das ist ein .....)

Ich melde mich wieder, wenn der "Nur-Ausgabe-Satellit" funktioniert oder mich meine Frau verlassen hat

[unltdnetworx]

@popl
Ich habe nur Rollladen, kann dir also dazu keine Antwort geben. Mehrere Befehle gleichzeitig sind (noch) nicht möglich.

Könntest du dazu evtl. einen Issue auf Github eröffnen? Dann geht die Idee nicht verloren.

[unltdnetworx]

@rascal
Danke fürs Berichten. Bei mir ging alles ohne Probleme.
Das mit der mehrfachen Sprachausgabe hatte ich ganz kurzzeitig auch mal während der Entwicklung in einer älteren Version, die Version wurde aber so nicht veröffentlicht. Wie du richtig gesehen hast, wurden wirklich pro Eingabe zwei Sessions gestartet. Komisch. Damit hat das Update nämlich nichts zu tun. Es legt wirklich rein nur in ioBroker ein paar Objekte an.

Den Namen im Satelliten-Inject hattest du vermutlich genau so geschrieben wie er in Snips auch wirklich heißt? Also auch Groß-/Kleinschreibung.

[vore]

Kurz Offtoptic: jemand von Euch auf dem HM-Usertreffen?
Gruß
Vore

[unltdnetworx]

kein HM verbaut.

[vore]

Hallo!
Gibt es schon Neuigkeiten, wann der Adapter die Einträge wieder löscht, die in der vorherigen Anfrage eingegangen sind?
Gruß
VoRe

[unltdnetworx]

@vore
Sry, hatte ich vergessen. Schau mal die Version 1.1.3 über die Github-Katze an. Sollte jetzt gelöscht werden.

@Wal
Falls positive Rückmeldung kommt, bitte die Version in npm publishen, danke.

[vore]

@unltdnetworx Sieht gut aus.. Einträge werden gelöscht! Danke!

[Wal]

@unltdnetworx

von mir aus kannst du den Adapter komplett übernehmen. Die Funktionen für einen Master gehen ja und Satelliten nutze ich nicht, deshalb kann ich i.M. auch nichts dazu beitragen.