[Aufruf] Adapter: Snips - Offline Speak2Text

[Findus]

Der Adpater liegt jetzt unter /opt/iobroker/node_modules/iobroker.snips
er taucht aber im UI nicht auf. Gibt es eine Moeglichkeit den Adapter manuell zu starten?

Oder ein Tipp was ich noch machen kann?

Viele Gruesse
Findus

[Findus]

Kurzer update: Habe nachdem ich den Adapter über Katze installiert hatte ( mit Fehlermeldung) diesen nun mit der Console "iobroker add snips" installiert. Dies hat funktioniert und er ist jetzt auch im Admin sichtbar. Werde nun mit den Test beginnen.

[unltdnetworx]

@Findus
Super. Immerhin.
Wollte gerade vorschlagen heute Abend eine Testversion für dein Problem zu basteln. Habe nämlich heute eine Meldung erhalten, dass eine Abhängigkeit eine Sicherheitslücke hat. Möglicherweise hat da ein Entwickler gerade essentielle Änderungen eingebaut. Denke, dass das viele andere Anwendungen betrifft und bald behoben sein wird.

[Findus]

Wo finde ich die Einstellungen von Text2Command Adapter um die Antwort Id "snips.0.send.say.text einzutragen? Die Text2Command Konfiguration ist bei mir ausgegraut?

[unltdnetworx]

@Findus
Im text2command Adapter (neuer Eintrag im Menü links) ist rechts oben ein Zahnrad für erweiterte Einstellungen.

[Findus]

@unltdnetworx

[Daniel Beiderwieden]

Moin,

ich bin jetzt schon 2 Tage dran Snips zu installieren bzw. zum laufen zu bringen.
IoBroker hat den Snips und den Command Adapter wie beschrieben installiert. Er wurde auch entsprechend in der Sinps Console hinzugefügt.

Der Snips Server läuft in Proxmox in einer Debian VM.
Das Hotword wird erkannt und per sam watch bekomme ich folgende Informationen:

sam watch
[17:31:25] Watching on localhost:1883 (MQTT)
[17:31:27] [Hotword] detected on site room1, for model hey_snips
[17:31:27] [Asr] was asked to stop listening on site room1
[17:31:27] [Hotword] was asked to toggle itself 'off' on site room1
[17:31:27] [Dialogue] session with id '19c5c8b4-b002-49d7-9c2e-0e6bb5453ed0' was started on site room1
[17:31:27] [AudioServer] was asked to play a wav of 41.1 kB with id '61c42146-84bc-4820-a907-0a59dc623e5d' on site room1
[17:31:42] [Dialogue] session with id '19c5c8b4-b002-49d7-9c2e-0e6bb5453ed0' was ended on site room1. The session was ended because one of the component didn't respond in a timely manner
[17:31:42] [Asr] was asked to stop listening on site room1
[17:31:42] [Hotword] was asked to toggle itself 'on' on site room1

der Satellite wurde mit dem git Script hinzugefügt von Psychokiller..
Sam Status gibt mir folgendes aus:

sam status

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... MainSnips
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.63.2 (running)
snips-audio-server ........... 0.63.2 (running)
snips-dialogue ............... 0.63.2 (running)
snips-hotword ................ 0.63.2 (running)
snips-nlu .................... 0.63.2 (running)
snips-skill-server ........... 0.63.2 (running)
snips-tts .................... 0.63.2 (running)

Den Audio Server habe ich zum laufen gebracht indem ich die Soundkarte durchgeschliffen habe.

Auf dem Satellite habe ich wie in auf dem git reposetory die entsprechen packte installiert.
Ich verwende ein Rasb. mit ReSpeaker ohne lautsprecher derzeit.

Daher die Frage, was läuft hier falsch? was muss ich tun, ich finde einfach keine Lösung.
Und muss auf der VM der Skill-server laufen?

[unltdnetworx]

@Daniel-Beiderwieden
Hi, also zum Skill-Server: Nein, der muss nicht laufen.

Es sieht so aus, als würde er zumindest das Hotword erkennen, soweit so gut. Hast du evtl. zu früh begonnen zu sprechen? Du bekommst ja keine Feedback ohne Lautsprecher.

[Daniel Beiderwieden]

@unltdnetworx habe das ganze jetzt erneut gestest und in verschiedenen Abständen gesprochen. Es kommt leider immer die selbe meldung.

[unltdnetworx]

Ich habe das Tool noch nie verwendet, aber ich denke, dass zu viele Server auf dem Satelliten laufen. Weiter oben war schon mal das Thema. Ich glaube es müssen nur 2 auf dem Satelliten aktiv sein, auf dem Server natürlich mehr. (Skill kannst du ausmachen.)

[Daniel Beiderwieden]

Bin nun noch mal die Server durch gegangen. diese wurden wohl doch mit installiert.
Nach dem Ausschalten kommt immer noch der selbe Fehler.

allerdings konnte ich mit dem Befehlt: sudo tail -f /var/log/syslog folgendes raus bekommen.

May 23 17:45:14 raspberrypi snips-hotword[548]: INFO:snips_hotword_lib::audio: Audio thread for site room1 stopped.
May 23 17:45:14 raspberrypi snips-audio-server[547]: INFO:snips_audio_portaudio      : Playing "3df58b5b-396b-4403-957b-67dd680d6818" using output "bcm2835 ALSA: IEC958/HDMI (hw:0,1)", wav spec: WavSpec { channels: 2, sample_rate: 22050, bits_per_sample: 16, sample_format: Int }
May 23 17:45:14 raspberrypi snips-audio-server[547]: Expression 'paInvalidSampleRate' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2043
May 23 17:45:14 raspberrypi snips-audio-server[547]: Expression 'PaAlsaStreamComponent_InitialConfigure( &self->playback, outParams, self->primeBuffers, hwParamsPlayback, &realSr )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2717
May 23 17:45:14 raspberrypi snips-audio-server[547]: Expression 'PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuffer, &inputLatency, &outputLatency, &hostBufferSizeMode )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2838
May 23 17:45:14 raspberrypi snips-audio-server[547]: thread 'portaudio.player' panicked at 'ERROR:snips_audio_server_hermes  : could not play "3df58b5b-396b-4403-957b-67dd680d6818"
May 23 17:45:14 raspberrypi snips-audio-server[547]:  -> caused by: InvalidSampleRate
May 23 17:45:14 raspberrypi snips-audio-server[547]: called `Result::unwrap()` on an `Err` value: "SendError(..)"', src/libcore/result.rs:997:5

werde also wohl irgendwas vergessen haben zu installieren oder so. Ich werde dann mal googlen was ich vergessen habe oder hast du noch eine Idee`?

[unltdnetworx]

@Daniel-Beiderwieden sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

22050

Sind da USB-Lautsprecher bzw. irgendwie HDMI dran? Vllt. unterstützen diese die Rate von 22050 nicht? Scheint ein Konfigurationsfehler zu sein?!

[Wal]

Auf dieser Seite steht was auf dem Server bzw. Client laufen muß. Link Text

[Daniel Beiderwieden]

Vielen Dank für die Hilfe.
Satellite und VM laufen nun und in IoBroker kommt auch etwas an.
Irgendwie scheine ich wohl undeutlich zu sprechen und bisher führt er noch keine Commands aus aber das wird noch.

[onlinepilot]

Hallo Zusammen,

Auch ich hatte anfangs Schwierigkeiten mit dem Hey Snips, aber seit ich "Snips" dann mal als deutsches Wort (also nicht englisch) ausspreche, läuft die Erkennung ca. bei 80%. Ich habe eine ähnliche Konfiguration, bloß dass ich kein Proxmox, sondern vSphere verwende. Bei mir laufen die Audio-Server auf den Satelliten (RPi Zero W). Über: sudo apt install snips-hotword-model-heysnipsv4 sudo apt install snips-satellite werden sie mitinstalliert. Mit snips-watch -vvv kann man die Hotworderkennung gut nachvollziehen. Nun muss ich nur noch das mit den Befehlen über iobroker hinbekommen - ich verzweifle. Vielleicht kann mir jemand dabei einen Tipp geben, wie ich das brauchbar konfigurieren und gestalten kann. Mit dem text2command-Adapter komme ich irgendwie nicht klar.

Danke im Voraus
onlinepilot

[unltdnetworx]

@onlinepilot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

also nicht englisch

Was meinst du mit englisch? Wäre m.M.n. ja in englisch und deutsch gleich auszusprechen. Siehe auch Windows Snipping-Tool.
Meinst du vllt. Snipes, so wie Wesley Snipes?

[unltdnetworx]

@onlinepilot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

brauchbar konfigurieren und gestalten kann

Was willst denn erreichen?

[unltdnetworx]

@onlinepilot
Schau dir mal diesen Post an. Vllt. bringt er dich schon mal weiter.

[onlinepilot]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@onlinepilot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

also nicht englisch

Was meinst du mit englisch? Wäre m.M.n. ja in englisch und deutsch gleich auszusprechen. Siehe auch Windows Snipping-Tool.
Meinst du vllt. Snipes, so wie Wesley Snipes?

Wie man eben der englischen Aussprache mächtig ist, vielleicht ist es auch texanisches Kauderwelsch gewesen ;).

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@onlinepilot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

brauchbar konfigurieren und gestalten kann

Was willst denn erreichen?

Das Ziel ist natürlich ein für den Alltag benutzbares System zu erhalten, vorrangig als parallele Integration zum VIS. Das bedeutet in meiner Wahrnehmung, dass ich bestehende Strukturen gern weiter nutzen würde und nicht unbedingt eine zweite, völlig anders aufzubauende Logik erarbeiten muss.

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@onlinepilot
Schau dir mal diesen Post an. Vllt. bringt er dich schon mal weiter.

Ja, das nehme ich gern mal an. Ich schau mal, wie weit ich damit komme.

Danke Dir erstmal!
onlinepilot

[BluePixelHD]

Hallo Leute,

ich versuch seit ein paar Wochen Snips problemlos mit dem ioBroker zum laufen zu bekommen (möchte von Googles Cloud wegkommen ), aber irgendwie klappt das nicht so gut

Zur Hardware:
Aktuelle benutze ich für Snips einen Pi3 mit der Playstation Eye und einen zweiten Pi3 für ioBroker und etc.

Jetzt zu meinen Problemen:

1. Snips erkennt die gesprochenen Wörter häufig falsch (leider deutlich schlechter als Google Home und Alexa), obwohl ich viele "Geräte" über snips.0.send.inject.device hinzugefügt habe.

2. Die Geräte Namen habe ich hinzugefügt: Tischlampe, Lampe eins, Lampe zwei, Lampe drei, PlayStation, Netflix, Prime Video, Spotify und YouTube.
   Trotzdem erkennt er alle Wörter, bis auf die Tischlampe, nicht richtig.

3. Text2Command schaltet manche Geräte nicht immer in den gewünschten Zustand, obwohl es richtig eingetragen ist.

4. Snips ignoriert, trotz kurzer Pause am Anfang, das erste Wort häufig und er hört oft nicht lange genug zu und weiß dann nicht, ob das Gerät ein/aus geschaltet werden soll.

5. Eine Funktion, um die Mikrofone von der PS Eye lauter zu machen, gibt es glaube ich nicht, oder?

Ich hoffe ihr könnt mir weiterhelfen und könnt meine Probleme nachvollziehen

Anbei noch ein paar Bilder, die ich gemacht habe