[Aufruf] Adapter: Snips - Offline Speak2Text

[Oak]

@unltdnetworx
dadurch das Ich nun Schalte mit Funktion eingestellt habe, schaltet er immer richtig. Vielen Dank

[unltdnetworx]

@Oak
Das liegt an text2command. Dort gibt es nur eine begrenzte Anzahl an Räumen, weil dafür Genitiv und Dativ in mehreren Sprachen fest codiert ist.

Es fehlt eine Funktion, die alle anderen Räume abfängt und z.B. sagt "schalte das Licht im Raum Haustür ein" anstatt "schalte das Licht in der Haustüre ein".

Du könntest das mit einer eigenen Regel in text2command abfangen oder einen Issue im Repository von text2command bei Github einreichen.

[Oak]

@unltdnetworx
OK mit der Info konnte ich was Anfangen.
Bei Github kann man ja auch schauen welche Räume hinterlegt sind.
Jetzt läuft es wie gewünscht. Danke

[ltsalvatore]

interessante sache dieses SNIPS..

würde mich mal interessieren, ob ich das ganze auch über meine NUC laufen lassen kann..

ich hätte da zb noch den Jabra Speak 510, welchen ich dann zur sprachein- und ausgabe nutzen wollen würde.

wäre das so machbar?

also den NUC als server,
da drauf eine VT mit snips installiert
und den jabra speak 510 als sprachein- und ausgabe

[unltdnetworx]

@ltsalvatore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

über meine NUC

Als Server mit Satelliten geht es definitiv, sollte aber auf dem Gerät direkt funktionieren. Je nach Generation wären ja auch Mikrofone verbaut. Im Nuc8, glaube ich, sogar Far-Field-Mikros.

[ltsalvatore]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

@ltsalvatore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

über meine NUC

Als Server mit Satelliten geht es definitiv, sollte aber auf dem Gerät direkt funktionieren. Je nach Generation wären ja auch Mikrofone verbaut. Im Nuc8, glaube ich, sogar Far-Field-Mikros.

danke für die rückmeldung.

stimmt, mein NUC8i5BEK sollte ja mic und lautsprecher haben, welche ich notfalls benutzen könnte. wobei.. der ist etwas ungünstig platziert...da müsste ich mal schauen.

was genau meinst du mit Satelliten?

[unltdnetworx]

@ltsalvatore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

was genau meinst du mit Satelliten

Satelliten sind im Prinzip weitere Gerät mit Snips darauf. Man kann beliebig viele Snips-Geräte miteinander verbinden und diese können zusammenarbeiten. Einer davon dient dann als Server und verarbeitet den Input. Der Server kann aber auch gleichzeitig Endgerät sein.

Deine Ergebnisse würden mich auch interessieren. Denke ebenfalls darüber nach meinen Nuc mit einzubinden.

Evtl. wäre ein eigener Thread dafür ganz praktisch.

[ltsalvatore]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

@ltsalvatore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

was genau meinst du mit Satelliten

Satelliten sind im Prinzip weitere Gerät mit Snips darauf. Man kann beliebig viele Snips-Geräte miteinander verbinden und diese können zusammenarbeiten. Einer davon dient dann als Server und verarbeitet den Input. Der Server kann aber auch gleichzeitig Endgerät sein.

Deine Ergebnisse würden mich auch interessieren. Denke ebenfalls darüber nach meinen Nuc mit einzubinden.

Evtl. wäre ein eigener Thread dafür ganz praktisch.

ah ok, verstehe..
ja ich schau mal wann ich zeit habe, das ganze anzugehen.

satelliten machen ja schon irgendwo sinn, da diese in den entsprechenden räumen die ganzen echo dots irgendwann ersetzen sollen.

hatte ursprünglich nur an den NUC statt meinem spare raspberry gedacht, weil das ding ja eh 24/7 an ist und man somit noch ein weiterer stromfresser eliminieren könnte.

[unltdnetworx]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Jetzt tritt bei mir ein kurioses Phänomen auf und ich komme auf keine Lösung. Ich habe ein Testsystem, auf dem klappt das Ganze einwandfrei. Raum auf "Wohnzimmer", "enforceSameRoom" auf "true" und der Befehl "Schalte das Licht in der Küche aus" bewirkt ein "Schalte das Licht im Wohnzimmer aus".

Das Problem ist nun behoben, ab der neuesten Gihub-Version 1.2.1 ist das Erzwingen von Räumen für einzelne Satelliten nun möglich.

Um einen Raum quasi zu erzwingen, muss für den jeweiligen Snips-Satelliten im Objektbaum von ioBroker jeweils der gewünschte Raum aus den Enumerationen zugewiesen und der Datenpunkt „enforceSameRoom“ auf true gesetzt werden. Dann kann auf dem Satelliten nur mehr der zugewiesene Raum verwendet werden.

Beispiel Wohnzimmer:
Wenn also auf diesem Satelliten gesagt wird „Schalte das Licht ein“ wird daraus „Schalte das Licht ein Wohnzimmer“ und text2command verwendet Wohnzimmer als Raum. Außerdem wird der Slot auf den Raum Wohnzimmer gesetzt. Wenn etwa gesagt wird „Schalte das Licht in der Küche aus“ wird daraus „Schalte das Licht in der Wohnzimmer aus“ und text2command reagiert ebenfalls richtig.

[gender]

Hallo an alle,
ich habe inzwischen auch Snips (auf Raspberry) installiert bekommen und auch hier die Adapter installiert.
So langsam lichten sich die ein oder anderen Fragen... aber so ganz durchblicke ich einfach noch nicht alles.
Daher die Frage, ob hier nicht irgendjemand mal ein Video von seiner Konfiguration machen könnte... einfach mal, damit man auch die ganzen Begrifflichkeiten versteht.

Es ist ständig die Rede von Injects und Slots etc.... anlernen von Räumen usw. aber der Zusammenhang ist irgendwie total unklar.
Darüber hinaus verstehe ich auch nicht, wie genau das mit dem text2command-Adapter funktioniert. Immerhin habe ich es hinbekommen, dass mir die aktuelle Temperatur ausgegeben wird... aber zum Beispiel frage ich mich auch, warum es (nur) die paar vorgegebenen Regeln gibt und man zum Beispiel bei der Regel "Rolladen" nichts gar keine Parameter oder die Schlüsselwörter editieren kann.

Darüber hinaus werden bei mir nur bestimmte Texte, die von Snips gehört werden, in Iobroker in den Objekten angezeigt... und ich weiß nicht warum.

Es sind viele Fragen, die sicherlich auch andere haben, wenn sie gerade mit Snips angefangen haben.
Die meisten Antworten sind sicherlich auch hier in diesem Thread zu finden, aber trotz ein bisschen Zeit ist es wirklich müßig, über 600 Beiträge durchzuschauen... (nach 200 konnte ich erstmal nicht mehr ).
Daher die Frage oder Idee, ob nicht irgendwer mal ein Video von seinem System machen könnte, damit man mal sieht, wie alles funktionieren kann. Das würde glaube ich wirklich helfen. Ich meine ja gar kein Tutorial (das ist immer super viel Arbeit, das weiß ich), aber so ein Video könnte ja schonmal helfen.

[Merowinger]

Hallo liebe Gemeinde,

ich hatte snips per iobroker t2command und adapter schon mal am laufen.
Jetzt habe ich ein update auf dem raspi (snips) durchgeführt und es kommt kein befehl mehr im iobroker an. was mache ich falsch?
sam watch zeigt mir

folgendes

[18:27:20] [Asr] captured text "schalte licht im flur ein" in 3.0s
[18:27:20] [Asr] was asked to stop listening on site default
[18:27:20] [AudioServer] was asked to play a wav of 93.1 kB with id 'aac73ad7-5652-4a65-a50b-caa44328a6fe' on site default
[18:27:21] [AudioServer] finished playing wav with id 'aac73ad7-5652-4a65-a50b-caa44328a6fe'
[18:27:21] [Nlu] was asked to parse input "schalte licht im flur ein"
[18:27:21] [Nlu] detected intent unltdnetworx:setDeviceDE with confidence score 0.968 for input "schalte licht im flur ein"
Slots ->
device -> Licht (confidence: 1.000)
room -> Flur (confidence: 1.000)
[18:27:21] [Dialogue] New intent detected unltdnetworx:setDeviceDE with confidence 0.968
Slots ->
device -> Licht (confidence: 1.000)
room -> Flur (confidence: 1.000)
[18:27:26] [Dialogue] session with id '6822cbe7-c402-4b4e-ae0b-5cd9d01e4c82' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[18:27:26] [Asr] was asked to stop listening on site default
[18:27:26] [Hotword] was asked to toggle itself 'on' on site default

im snips adapter ist die richtige ip und der port drin.
wenn ich im t2command oben den befehl eingebe, führt iobroker die aktion aus und die sprachausgabe am raspi (mit snips) funktioniert wunderbar.
ich habe den verdacht das der iobroker adapter am snips nicht richtig drin ist.. obwohl ich schon x-mal "deployed" habe
sam status zeigt mir das

hier

Connected to device raspberrypi

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... AI
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.63.3 (running)
snips-audio-server ........... 0.63.3 (running)
snips-dialogue ............... 0.63.3 (running)
snips-hotword ................ 0.63.3 (running)
snips-nlu .................... 0.63.3 (running)
snips-skill-server ........... 0.63.3 (running)
snips-tts .................... 0.63.3 (running)

Im iobroker sehe ich

hier

snips.0.hotword.detected

wenn snips aktiviert wurde.
Wo müsste jetzt der Text ankommen? Denn es kommt leider nichts an.

Vielen Dank im voraus, und vor allem für den super Adapter, den ich ja schon mal zum laufen gekriegt habe...

[s.bormann]

Hallo, gibt es eigentlich schon eine snips-Kompatible Hardware in einem Wohnzimmer geeigneten Gehäuse? Also wie ein Echo dot? Bislang habe ich nur Bastel-Kits gesehen ohne anständiges Gehäuse. So was eignet sich für meinen Hobbyraum - hat aber einen eher unterirdischen WAF...

[hollywoot]

@Merowinger
Ich habe genau das gleiche Problem und werde bald wahnsinnig!

[Wal]

@hollywoot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

@Merowinger
Ich habe genau das gleiche Problem und werde bald wahnsinnig!

Alles was in "snips.0.devices.all.send.text" hineingeschrieben wird, gibt die Snipshardware aus. Falls das nicht geht und der Adapter ist grün, gibt es ein Problem mit der Snipshardware oder Snipssoftware. Da hilft auf die schnelle nur eine Neuinstallation von der Snipshardware.
Never change a running System !

Ich habe eben eine Neuinstallation von Snips auf Raspbian gemacht, es funzt alles.

[hollywoot]

@Wal
Die Ausgabe funktioniert top, ja.
Die Installation der Hardware ist gestern erfolgt. Komplett frisches System. Zuerst mit nem 4er Pi und Buster probiert, dann nen 3B+ mit Stretch ausgepackt.

Gerne setze ich nochmal neu auf...
Ich melde mich dann morgen nochmal zu Wort.
Danke bis dahin

Edit: die Weather-App von domi funktioniert tadellos. Nur die mqtt Verbindung zu ioBroker funktioniert bloß einseitig. Ich kann keine Daten vom Snips empfangen. Wenn ich in die snips.0.devices.all.send manuell etwas eintrage, plaudert die Dame sorgfältig alles runter.

[Wal]

@hollywoot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

@Wal
Die Ausgabe funktioniert top, ja.
Die Installation der Hardware ist gestern erfolgt. Komplett frisches System. Zuerst mit nem 4er Pi und Buster probiert, dann nen 3B+ mit Stretch ausgepackt.

Gerne setze ich nochmal neu auf...
Ich melde mich dann morgen nochmal zu Wort.
Danke bis dahin

Habe auf RPI4 und Buster neu installiert, das geht nur so: Link Text

[hollywoot]

@Wal
Bin was snips angeht ein Neuling. Und ich hatte auf Buster eben auch Probleme. Deswegen bin ich auf Stretch zurück.
Mittlerweile weiß ich, dass mein Buster wahrscheinlich funktioniert hätte, wenn ich weitergemacht hätte.
Hab nach anfänglichen Schwierigkeiten aber direkt zu Stretch gewechselt.
Stretch ist doch auch immer noch das "empfohlene" Setup, richtig?

[Wal]

@hollywoot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Edit: die Weather-App von domi funktioniert tadellos. Nur die mqtt Verbindung zu ioBroker funktioniert bloß einseitig. Ich kann keine Daten vom Snips empfangen. Wenn ich in die snips.0.devices.all.send manuell etwas eintrage, plaudert die Dame sorgfältig alles runter.

In der Text2Command config ist der Datenpunkt "snips.0.devices.all.send.text" gesetzt ?

Achtung ist ein altes Bild.

[Wal]

@hollywoot sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

@Wal
Bin was snips angeht ein Neuling. Und ich hatte auf Buster eben auch Probleme. Deswegen bin ich auf Stretch zurück.
Mittlerweile weiß ich, dass mein Buster wahrscheinlich funktioniert hätte, wenn ich weitergemacht hätte.
Hab nach anfänglichen Schwierigkeiten aber direkt zu Stretch gewechselt.
Stretch ist doch auch immer noch das "empfohlene" Setup, richtig?

Ja.
Achso, der Skill von unltdnetworx ist installiert ?

[hollywoot]

@Wal
Genau. Manuelles Eintragen über die Objekte oder auch über den Testsatz im T2C gibt auch TTS auf dem Snips-Pi aus.
Wenn ich allerdings einen Assistenten auf den Snips lade, wo nur die Hausautomation-App drauf ist, kommen die Daten nicht im ioBroker an.
Ich hab da die genau gleiche Meldung im Sam watch wie der Kollege oben. Scheinbar schickt er die Variablen z.B. Licht und Wohnzimmer Richtung iobroker aber findet keinen Abnehmer.