[Aufruf] Adapter: Snips - Offline Speak2Text

rascal

@unltdnetworx
Irgendwie ist jetzt bei mir der Wurm drin....

Ich habe snips auf einem Rasp installiert und mittels des Scripts von Psychokiller den Satelitten mit dem Main zu verbinden. Dürfte alles ganz gut geklappt haben.
Dann habe ich mittels des neuen Satellite Injekt den Satelliten hinzugefügt und versucht einen Text ausgeben zu lassen.
Dies hat leider nicht funktioniert. Die Lautsprecher des Satelliten funktionieren aber (mit sam test speaker) überprüft.

Jetzt fangen die Probleme an... der Main piept jetzt 2x wenn ich "Hey snips" sage und er gibt den Slots nicht an iobroker weiter.
Mittlerweile habe ich snips komplett gelöscht (inklusive config file im /etc/ Ordner), sowie den Adapter in Iobroker.
Der Adapter legt mir auch die Intent Variablen nicht an, sonder nur /devices/default/send/text und /devices/default/sessionID
(Natürlich auch die hotword, info, send...)

Ich bin jetzt wieder auf die Adapterversion 1.1.1 zurückgegangen, da funktioniert es, Snips übernimmt die Kommandos, allerdings piepst er zwei Mal. Mir ist auch aufgefallen, dass er zwei SessionID's anlegt.

Vor dem Downgrade habe ich mit der Version 1.1.2 die Satelliten angelegt, leider bekomme ich sie nicht dazu, Sprache auszugeben.
Welche Services müssen nur für eine Sprachausgabe laufen?

Hier ein Auszug aus "sam watch" am Main mit der Adapterversion 1.1.2:

[20:57:08] [Asr] was asked to stop listening on site default
[20:57:08] [Hotword] was asked to toggle itself 'on' on site default
[20:57:17] [Hotword] detected on site default, for model hey_snips
[20:57:17] [Asr] was asked to stop listening on site default
[20:57:17] [Asr] was asked to stop listening on site default
[20:57:17] [Hotword] detected on site default, for model hey_snips
[20:57:17] [Hotword] was asked to toggle itself 'off' on site default
[20:57:17] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was started on site default
[20:57:17] [Hotword] was asked to toggle itself 'off' on site default
[20:57:17] [Asr] was asked to listen on site default
[20:57:17] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was started on site default
[20:57:17] [Asr] was asked to listen on site default
[20:57:21] [Asr] captured text "schalte das licht an" in 3.0s
[20:57:21] [Asr] was asked to stop listening on site default
[20:57:21] [Nlu] was asked to parse input "schalte das licht an"
[20:57:21] [Nlu] intent not recognized for "schalte das licht an"
[20:57:21] [Nlu] detected intent unltdnetworx:setDevice with confidence score 1.000 for input "schalte das licht an"
              Slots ->
                  device -> Licht (confidence: 0.967)
                 command -> true (confidence: 1.000)
[20:57:21] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was ended on site default. The session was ended because the platform didn't understand the user
[20:57:21] [Asr] was asked to stop listening on site default
[20:57:21] [Hotword] was asked to toggle itself 'on' on site default
[20:57:33] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[20:57:33] [Asr] was asked to stop listening on site default
[20:57:33] [Hotword] was asked to toggle itself 'on' on site default

Ich hoffe da ist was für dich dabei

rascal

Jetzt gibt er mir auch auf meinem Main, wo die Sprachausgabe funktioniert hat, den Text mehrfach aus. (auch in verschiedenen Sprachen deutsch/englisch)

Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [6a0a1f36-cd6e-48b2-b408-ce27b78ad743]: closing session which was active: Nominal
Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn on Hotword
Apr 02 21:57:24 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "8d138c9c-5c7a-4252-970e-ad7d23903372" finished
Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "9b231e18-b224-4fe6-a56f-d07000e3f6d6" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:25 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '8d138c9c-5c7a-4252-970e-ad7d23903372'. Ignoring it.
Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "9b231e18-b224-4fe6-a56f-d07000e3f6d6" finished
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" finished
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "8a099870-6032-4b16-8120-2a26332a5a1a" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id 'b20fab28-569b-47d5-a94f-f0bcdd1ac6c3'. Ignoring it.
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "8a099870-6032-4b16-8120-2a26332a5a1a" finished
Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "5603373b-ae62-49ae-b812-6c97a18d1f2f" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "5603373b-ae62-49ae-b812-6c97a18d1f2f" finished
Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "541d44b0-a2b1-41df-882b-8d9eb3110e97" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:28 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '5603373b-ae62-49ae-b812-6c97a18d1f2f'. Ignoring it.
Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "541d44b0-a2b1-41df-882b-8d9eb3110e97" finished
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "9d863d8d-10d7-4836-af89-dd547713bcf1" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '541d44b0-a2b1-41df-882b-8d9eb3110e97'. Ignoring it.
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "9d863d8d-10d7-4836-af89-dd547713bcf1" finished
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "652459e2-fa37-4529-ad2e-b03b03af25c4" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '9d863d8d-10d7-4836-af89-dd547713bcf1'. Ignoring it.
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:30 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "652459e2-fa37-4529-ad2e-b03b03af25c4" finished
Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:30 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '652459e2-fa37-4529-ad2e-b03b03af25c4'. Ignoring it.
Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn off Hotword
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: The session has been created because the site "Badezimmer" is free
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: closing session which was active: Nominal
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn on Hotword
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.

rascal

Hallo,
das Ganze hat mir in der Nacht keine Ruhe gelassen und ich habe Heute das ganze Snips-"Zeugs" deinstalliert.
Alle Snips in allen Räume + Iobroker Adapter komplett gelöscht.

Dannach meine vorherige Konfiguration mit einem Master und einem Slave + Iobroker Adapter wieder aufgesetzt.
Siehe da, es funktioniert (mit dem letzten Iobroker Adapter aus Github 1.1.2).

Später werde ich nochmals versuchen einen Satelliten ohne Mikro aufzusetzen und einzubinden.
Keine Ahnung, warum die Anlage gestern komplett verrückt gespielt hat. Zum Schluss hat er mir eine Audioausgabe zwischen 4-8x wiedergegeben (Das ist ein Test, Das ist ein Test, Das ist ein .....)

Ich melde mich wieder, wenn der "Nur-Ausgabe-Satellit" funktioniert oder mich meine Frau verlassen hat

unltdnetworx

@popl
Ich habe nur Rollladen, kann dir also dazu keine Antwort geben. Mehrere Befehle gleichzeitig sind (noch) nicht möglich.

Könntest du dazu evtl. einen Issue auf Github eröffnen? Dann geht die Idee nicht verloren.

unltdnetworx

@rascal
Danke fürs Berichten. Bei mir ging alles ohne Probleme.
Das mit der mehrfachen Sprachausgabe hatte ich ganz kurzzeitig auch mal während der Entwicklung in einer älteren Version, die Version wurde aber so nicht veröffentlicht. Wie du richtig gesehen hast, wurden wirklich pro Eingabe zwei Sessions gestartet. Komisch. Damit hat das Update nämlich nichts zu tun. Es legt wirklich rein nur in ioBroker ein paar Objekte an.

Den Namen im Satelliten-Inject hattest du vermutlich genau so geschrieben wie er in Snips auch wirklich heißt? Also auch Groß-/Kleinschreibung.

vore

Kurz Offtoptic: jemand von Euch auf dem HM-Usertreffen?
Gruß
Vore

unltdnetworx

kein HM verbaut.

vore

Hallo!
Gibt es schon Neuigkeiten, wann der Adapter die Einträge wieder löscht, die in der vorherigen Anfrage eingegangen sind?
Gruß
VoRe

unltdnetworx

@vore
Sry, hatte ich vergessen. Schau mal die Version 1.1.3 über die Github-Katze an. Sollte jetzt gelöscht werden.

@Wal
Falls positive Rückmeldung kommt, bitte die Version in npm publishen, danke.

vore

@unltdnetworx Sieht gut aus.. Einträge werden gelöscht! Danke!

Wal

@unltdnetworx

von mir aus kannst du den Adapter komplett übernehmen. Die Funktionen für einen Master gehen ja und Satelliten nutze ich nicht, deshalb kann ich i.M. auch nichts dazu beitragen.

Matthias Wohlbrecht

Hallo Zusammen,

ich habe mir heute auch Snips eingerichtet.
Mein Problem ist das er mir im iobroker Adapter bei received text nix anzeigt. Eigentlich so gut wie nirgends außer bei Hotword detected und wait. Die anderen Datenpunkte bleiben leer. Woran kann das liegen?

unltdnetworx

@Matthias-Wohlbrecht
Hallo Matthias,
welche App hast du auf dem Gerät installiert? Das muss zwingend die ioBroker App von unltdnetworx sein. Kein Fork o.ä.

Matthias Wohlbrecht

@unltdnetworx das war der Fehler hatte beim anschauen von der app auf fork geklickt. Jetzt kommen die Befehle. Aber eine Frage hab ich noch. Wenn ich z.B. Sage Hey Snips, schalte das Licht im Wohnzimmer an. Schreibt er nur Licht im Wohnzimmer. Also ohne an oder aus. Ist das normal?

Matthias Wohlbrecht

Habe nochmal eine Frage bezüglich snips und Blockly. Habe mir jetzt ein Blockly geschrieben aber es passiert nix. Oder steh ich gerade auf dem Schlauch. Die Wörter werden von Snips richtig geschrieben in den jeweiligen Datenpunkt, aber mein Licht schaltet nicht.![alt text](![image

zahnheinrich

@Matthias-Wohlbrecht

Triggere auf "ist grösser als letztes",
dann brauchst du die erste Bedingung ...wenn wahr... nicht mehr.
Evtl. muss der Triggerauslöser "hotword detected" am Ende des Programms wieder auf unwahr gesetzt werden.

unltdnetworx

@Matthias-Wohlbrecht
Also an und aus müsste schon erkannt werden. Bei Licht sollte an/aus ankommen, bei Rollladen Prozentwerte und beim Rest true/false.

Nimm statt Blockly lieber text2command und weise den Licht Objekten die weiter oben bereits erwähnten Werte wie den Zimmernamen zu. Dann brauchst du nur eine Regel. Und zwar "schalte an/aus mit Regel".

Matthias Wohlbrecht

@zahnheinrich werde ich probieren, auf dem Bild ist eh ein fehler. Habe für den Raum auch den Device Datenpunkt genommen. Aber selbst mit room ging es nicht

vore

Hallo! Kann es sein, dass "hotword detected" eventuell zu früh ist? Hotword wird true wenn Du "Hey Snips" sagst. Die eigentliche Aktion kommt in der Regel erst 1 Sekunde später (z.B. schalte Licht an).

Matthias Wohlbrecht

Mal eine Frage bezüglich Snips und dem Jabra speak 410. Taugt des was? Weil bin mit dem Respeaker 4 Pi Hat nicht zufrieden was die Wort Erkennung betrifft.

NEWS

[Aufruf] Adapter: Snips - Offline Speak2Text

Support us

748

32.4k

81.4k

1.3m