[Aufruf] Adapter: Snips - Offline Speak2Text

[rascal]

@vore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Noch eine generelle Frage: ich kann mit dem T2C Adapter nur feste Werte an Komponenten weitergeben. Wir habt ihr das z.B. mit Lautstärke gemacht? Es ist ja sehr aufwendig für jede Lautstärkestufe (1..60) einen eigenen Eintrage in den T2C Adapter zu packen. Kann man den erkannten Wert von Snips als Variable in den T2C Adapter übernehmen?

testing-Version läuft!

Gruß
VoRe

Stimmt, das Problem hatte ich auch. "Radio auf 40" ist zb nicht gegangen, da er die "40" als "vierzig" ausgegeben hat.

[unltdnetworx]

@rascal
Also Zahlen sollten in den letzten zwei bis drei Versionen schon als echte Zahlen ausgegeben worden sein. Im Value-Slot bzw. compiledText wohlgemerkt. In Text alleine natürlich nicht.

[vore]

Hallo!
Ja, das ist klar. Aber wie bekomme ich den Wert aus "Value" in den T2C-Adapter?
Bis jetzt mache ich das wie im Anhang. Das muss doch noch irgendwie einfacher funktionieren?!

[unltdnetworx]

Dazu müssten wir eine eigene Regel für text2command erstellen. Es besteht ja die Möglichkeit eigene Regeln zu erstellen. Habe mich damit aber noch nicht genug beschäftigt. Aber im Prinzip kann man damit bestimmt mittels getForeignState auf den Slot Value zugreifen und dann als Lautstärkenwert eintragen lassen.

[___manalishi]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@frank70 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Muss ich deinen Assistant nach dem update neu installieren?

Ich hab es gemacht, stand irgendwo in der Ankündigung. Keine Ahnung, ob es notwendig ist.

sam update-assistant

sollte reichen.

ist wohl notwendig!

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... ASSI-1
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.61.1 (not running)
snips-asr .................... 0.61.1 (running)
snips-audio-server ........... 0.61.1 (not running)
snips-dialogue ............... 0.61.1 (running)
snips-hotword ................ 0.61.1 (running)
snips-nlu .................... 0.61.1 (running)
snips-skill-server ........... 0.61.1 (not running)
snips-tts .................... 0.61.1 (running)

[unltdnetworx]

@frank70
Ist also die Satelliten Konfiguration?
Dann drück ich mal die Daumen, dass alles funktioniert wie erhofft.

[___manalishi]

@unltdnetworx Die Satelliten bekomme ich nicht upgedated. Habs im Snips Forum in einem thread geposted, in dem Fehler der Release diskutiert werden. Hat sich aber leider niemand berufen gefühlt einen Tip abzugeben.

[unltdnetworx]

Aber du kannst dich mit

sam disconnect
sam connect IP

damit verbinden?

[___manalishi]

@unltdnetworx ja, das ist nicht das Problem. Hier ein connect vom Server auf einen Satelliten:

xxxx@SNIPS-SERVER:~# sam disconnect
â Disconnected from device
root@SNIPS-SERVER:~# sam connect 192.168.90.42
? Enter username for the device: xxxxx
? Enter password for the device: [hidden]
â Connected to 192.168.90.42
i A public key has been generated and copied to the device at 192.168.90.42:~/.ssh/authorized_keys
xxxx@SNIPS-SERVER:~# sam update
Updating Snips Platform
â Finished updating the platform
xxxx@SNIPS-SERVER:~# sam status

Connected to device 192.168.90.42

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. 0.60.10 (not running)
snips-asr .................... 0.60.10 (not running)
snips-audio-server ........... 0.60.10 (not running)
snips-dialogue ............... 0.60.10 (not running)
snips-hotword ................ 0.60.10 (running)
snips-nlu .................... 0.60.10 (not running)
snips-skill-server ........... 0.60.10 (running)
snips-tts .................... 0.60.10 (running)

Edit: Die Satelliten funktionieren übrigens auch mit der alten Plattform mit der neuen Server Version. Bei "sam watch" über einen client werden allerdings die ASR und NLU info, also auch die IOBroker slots, nicht sauber per MQTT angezeigt. sam watch auf dem Server funktioniert und der Adapter ebenso.

[unltdnetworx]

@frank70
ASR und NLU läuft ja ohnehin auf dem Server. Solange es funktioniert top.

[unltdnetworx]

@Wal
Wir könnten meiner Meinung nach den Testing Branch wieder zusammenführen und als Stable veröffentlichen. Was meinst du?

Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!

[Dutchman]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!

mja sogar noch bissl genauer als tip

• GitHub install ==> developer version
• Release in latest (als NPM packet) ==> beta
• Release in stable (als NPM packet) ==> production

So hantiere ich es jedenfalls mit meinen Adaptern, man kan ja auch Versionen wieder von NPM entfernen wen die beta zu verbucht war (mir leider auch bereits passiert)

[unltdnetworx]

@Dutchman
So wäre es auch vorgesehen. Danke

[mmaric]

Hallo,

ich bin nun mit meinem Projekt etwas weitergekommen.

Habe das Audiostreaming über Mopidy und Snapserver realisiert.

Wenn das Streaming läuft, dann kann der Satellit nur das Hotword wahrnehmen.
Über Blocky prüfe ich das und schreibe dann in eine Datei, welche per ssh auf dem Satelliten den Snapclient stoppt, da sonst der Satellit nichts erkennt und auch nicht zurückgibt.

Es gäbe noch die Möglichkeit, dass der MPD client adapter das Abspielen stoppt.
Leider startet das Lied immer von vorn.

Ein Mute zu auszulösen hilft nicht. Der Satellit nimmt nichts mehr entgegeben.

Habt Ihr irgendwelche Ideen um den Ablauf schneller hinzubekommen ?

Danke.

[xulkar]

Hallo,

zu allererst danke für die Idee und die Umsetzung des Projekts.

Habe iobroker und snips am laufen. Läuft alles super mit den Slots usw.

Nun komme ich nicht weiter, bzw verstehe das weitere vorgehen nicht.

Soll nun die Snips iobroker app dazu dienen alle Geräte automatisch zu suchen und diese zu steuern, oder muss ich mit javascript, node-red oder t2c die einzelnen Skipte erstellen?

Zum Beispiel: Wenn slotDevice und slotCommand das und das drin steht, dann tue dies.

Wo muss ich nun ansetzen um weiterzukommen, kann mir jemand einen Denkanstoss in die richtige Richtung geben?

Vielen Dank für die Arbeit die bisher hier investiert wurde.

Gruß

Xulkar

[Lightmann]

Guten Morgen zusammen,

Ich habe folgendes Problem:
Trotz das Snips als Room "Flur" ausgibt, es im ioBroker auch als "Flur" ankommt, versteht T2C aus irgend einem Grund "Schlafzimmer".... warum auch immer.

Des Weiteren weiteren kommt es hin und wieder vor, das er zwar meinen Befehl, licht aus zu schalten erkennt und auch im T2C so anzeigt, aber es einfach nicht macht.

Durch lesen der 430 beitrage hier, habe ich das gute stück zumindest zum laufen und kommunizieren bekommen (zwar noch ohne gesprochenes feedback seitens Snips. Aber das sollte doch ich gehen oder?), aber dieser verdrehten Ergebnisse verstehe ich nicht.

[Arnulf]

Was ich mir vorstellen kann, dass es damit zu tun haben könnte, dass die Datenpunkte zu unterschiedlichen Zeiten befüllt werden.
Wärend vielleicht der Triggerpunkt schon "feuert", sind in den anderen Punkten die Daten noch nicht aktualisiert.

Habe zwar noch nicht Snips ausprobiert, aber ich hatte ein ähnliches Problem mit dem Alexa2-Adapter.
Man muss dann schauen, welchen Datenpunkt man wann ausliest bzw. verwendet.

[unltdnetworx]

Hi @xulkar,
ich versuche mal etwas Licht ins Dunkel zu bringen. Soweit das bei individuellen Installationen geht. Alle Einstellungen in den Screenshots unten sind aus der Version 1.1.1 und sollten ab Version 1.1.0 funktionieren.

@xulkar sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Nun komme ich nicht weiter, bzw verstehe das weitere vorgehen nicht.

• Im Grunde musst man zuerst das Snips-Geräte installieren und ausschließlich die unltdnetworx Snips-App installieren. Keinen eigenen Fork oder andere Apps.

  • Eigene Forks werden nicht erkannt (bei Wünschen nicht enthaltener Wörter, nicht erkannter Sätze, etc. einfach Meldung hier im Thread, dann kann ich das noch einspielen, alternativ können auch eigene Injections gemacht werden, also eigene Worte angelernt)
  • zusätzlich installierte Apps können dazu führen, dass der gewünschte Satz mit der falschen App erkannt wird und ioBroker nichts davon mitbekommt.

• Als nächsten Schritt muss man den text2command-Adapter installieren, falls noch nicht geschehen, Einstellungen dazu folgen im übernächsten Schritt

• Als dritten Schritt den Adapter Snips installieren und wie folgt konfigurieren
  

  • Die URL ist die IP-Adresse des Snips-Gerätes
  • Port falls weitere MQTT-Adapter bereits 1883 blockieren entsprechend anpassen
  • Text2command-Instanz entsprechend anpassen, falls mehrere Instanzen laufen, Standard ist 0
  • Filter mit "verstehe" befüllen, da sonst alle nicht erkannten Sätze mit "Ich verstehe blablabla nicht." quittiert werden
  • Client-ID kann auch erhöht werden, falls man Satelliten im Einsatz hat. Die laufende Nummer beginnt bei 0 und erhöht sich pro Satellit um 1

• Nach dem Speichern nun den text2command Adapter konfigurieren

  • text2command Oberfläche aufrufen und das Zahnrad rechts oben klicken (Erweiterte Einstellungen)
    

• Nun noch die Regeln in text2command konfigurieren, etwa so
  
  Damit ist das Schalten von Licht und Rollos möglich, sofern diese mit Raum und Funktion bezeichnet wurden.
  

• weitere Regeln könnten etwa so aussehen
  
  Wichtig dabei ist, dass an/aus als true/false rückgemeldet wird.

[unltdnetworx]

Hi @Arnulf
das ist ein guter Ansatz. Das Problem bestand bis zur Version 1.1.0 in der Tat und sollte jetzt behoben sein. Mittlerweile wird direkt mit Snips mittels der Session-IDs von Snips kommuniziert.

@Arnulf sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Was ich mir vorstellen kann, dass es damit zu tun haben könnte, dass die Datenpunkte zu unterschiedlichen Zeiten befüllt werden.

[unltdnetworx]

Hi @xulkar

@xulkar sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Soll nun die Snips iobroker app dazu dienen alle Geräte automatisch zu suchen und diese zu steuern, oder muss ich mit javascript, node-red oder t2c die einzelnen Skipte erstellen?
Zum Beispiel: Wenn slotDevice und slotCommand das und das drin steht, dann tue dies.

Das ist ntürlich auch möglich, sollte aber über text2command geregelt werden.