[Aufruf] Adapter: Snips - Offline Speak2Text

[unltdnetworx]

Das geht genau so mittels npm. Also npm auf Windows installieren und dann entsprechend anwenden. Geht dann über die Kommandozeile (cmd).

[frank70]

Bei mir ist moch mehr schiefgegangen. NLU hat ein Problem auf dem Master.

Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]: ERROR:snips_nlu       : Fail to wait end of pipeline
Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]:  -> caused by: Unable to read file '/var/lib/snips/injections/20190205T233411919253194/inj_20190218T105402558858220/nlu_engine/nlu_engine.json'
Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]:  -> caused by: Expected model version 0.19.0 but found 0.17.0
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Main process exited, code=exited, status=1/FAILURE
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Unit entered failed state.
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Failed with result 'exit-code'.

Keine Ahnung warum die Datei nicht gelesen werden kann. ist vorhanden und Rechte stehen auf 755. Ist vielleicht nur ein Folgefehler. Mit der Model Version kann ich nichts anfangen. Ich setze die VM mal zurück und suche erstmal im Snips Forum.

Edit:@unltdnetworx: Muss ich deinen Assistant nach dem update neu installieren? Vielleicht ist das der Grund für die "model version" Meldung...

Edit: Kennt jemand eine Möglichkeit, um eine bestimmte Snips-Version zu installieren?

[vore]

Hallo!
ich spiele gerade mit dem Snips Adapter und der Iobroker App. Schon einmal ein riesen Dankeschön für die Arbeit die ihr hier geleistet habt.
Gibt es eine Übersicht, welche Begriffe/Sätze/Elemente schon in der App trainiert sind?
Wenn ihr die Erkennung von Snips im TextToCommand -Adapter auswertet, geht ihr da über "receive -> text" oder über die Slots? Wenn ich es teste, werden nicht immer alle Slots erkannt (einmal gehts, beim nächsten Versuch wieder nicht).
Ich habe schon einen TextToCommand für Telegram. Muss Snips dann eine zweite Instanz von TextToCommand erhalten?

Grüße

Vore

[unltdnetworx]

@vore
Guten Morgen,
Zu text2command: Du kannst normalerweise die gleiche Instanz verwenden, der Ausgabedatenpunkt muss nur mit all.send.text belegt werden können.

Ausgewertet werden sollte der Datenpunkt compiledText, das ist der Punkt Text bei dem die erkannten Slots ersetzt wurden.

Die bereits eingepflegten Wort/Sätze/etc. kannst du einsehen, indem du auf Console.snips.ai einen Ableger (Fork) der App erstellst. Dann kannst du alle Inhalte einsehen.
Wichtig: Bitte trotzdem meine App verwenden, da der Adapter nur darauf reagiert. Wenn du Verbesserungvorschläge hast, gerne hier posten oder per PN. Pflege das dann ein.

[rascal]

Ich habe noch eine Frage :
Bekommt der Adapter in Verbindung mit dem t2c auch mit, in welchem Raum der Befehl umgesetzt wird.
zB:
In der Küche : Licht ein - statt :Licht in der Küche ein - um das Licht in der Küche zu schalten
Oder
Im Wohnzimmer: Licht ein - statt :Licht im Wohnzimmer ein - um das Licht im WZ zu schalten

[unltdnetworx]

@frank70 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Muss ich deinen Assistant nach dem update neu installieren?

Ich hab es gemacht, stand irgendwo in der Ankündigung. Keine Ahnung, ob es notwendig ist.

sam update-assistant

sollte reichen.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Bekommt der Adapter in Verbindung mit dem t2c auch mit, in welchem Raum der Befehl umgesetzt wird.

Das wird der nächste Schritt. Sobald Rückmeldungen kommen, dass der neue Adapter funktioniert, können wir ihn ins Stable Repository umziehen und weitere Funktionalität einbauen. Ich weiß bisher nicht, ob die testing-Version überhaupt jemand installiert hat und ob es Probleme gibt.

[vore]

@unltdnetworx
Danke!
Text2Command habe ich eingerichtet..läuft, Compiled Text OK, Fork habe ich gemacht und alles mal in eine Textdatei kopiert. Ich melde mich mit wünschen
Noch eine generelle Frage: ich kann mit dem T2C Adapter nur feste Werte an Komponenten weitergeben. Wir habt ihr das z.B. mit Lautstärke gemacht? Es ist ja sehr aufwendig für jede Lautstärkestufe (1..60) einen eigenen Eintrage in den T2C Adapter zu packen. Kann man den erkannten Wert von Snips als Variable in den T2C Adapter übernehmen?

testing-Version läuft!

Gruß
VoRe

[rascal]

@vore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Noch eine generelle Frage: ich kann mit dem T2C Adapter nur feste Werte an Komponenten weitergeben. Wir habt ihr das z.B. mit Lautstärke gemacht? Es ist ja sehr aufwendig für jede Lautstärkestufe (1..60) einen eigenen Eintrage in den T2C Adapter zu packen. Kann man den erkannten Wert von Snips als Variable in den T2C Adapter übernehmen?

testing-Version läuft!

Gruß
VoRe

Stimmt, das Problem hatte ich auch. "Radio auf 40" ist zb nicht gegangen, da er die "40" als "vierzig" ausgegeben hat.

[unltdnetworx]

@rascal
Also Zahlen sollten in den letzten zwei bis drei Versionen schon als echte Zahlen ausgegeben worden sein. Im Value-Slot bzw. compiledText wohlgemerkt. In Text alleine natürlich nicht.

[vore]

Hallo!
Ja, das ist klar. Aber wie bekomme ich den Wert aus "Value" in den T2C-Adapter?
Bis jetzt mache ich das wie im Anhang. Das muss doch noch irgendwie einfacher funktionieren?!

[unltdnetworx]

Dazu müssten wir eine eigene Regel für text2command erstellen. Es besteht ja die Möglichkeit eigene Regeln zu erstellen. Habe mich damit aber noch nicht genug beschäftigt. Aber im Prinzip kann man damit bestimmt mittels getForeignState auf den Slot Value zugreifen und dann als Lautstärkenwert eintragen lassen.

[frank70]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@frank70 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Muss ich deinen Assistant nach dem update neu installieren?

Ich hab es gemacht, stand irgendwo in der Ankündigung. Keine Ahnung, ob es notwendig ist.

sam update-assistant

sollte reichen.

ist wohl notwendig!

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... ASSI-1
Language ..................... de
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.61.1 (not running)
snips-asr .................... 0.61.1 (running)
snips-audio-server ........... 0.61.1 (not running)
snips-dialogue ............... 0.61.1 (running)
snips-hotword ................ 0.61.1 (running)
snips-nlu .................... 0.61.1 (running)
snips-skill-server ........... 0.61.1 (not running)
snips-tts .................... 0.61.1 (running)

[unltdnetworx]

@frank70
Ist also die Satelliten Konfiguration?
Dann drück ich mal die Daumen, dass alles funktioniert wie erhofft.

[frank70]

@unltdnetworx Die Satelliten bekomme ich nicht upgedated. Habs im Snips Forum in einem thread geposted, in dem Fehler der Release diskutiert werden. Hat sich aber leider niemand berufen gefühlt einen Tip abzugeben.

[unltdnetworx]

Aber du kannst dich mit

sam disconnect
sam connect IP

damit verbinden?

[frank70]

@unltdnetworx ja, das ist nicht das Problem. Hier ein connect vom Server auf einen Satelliten:

xxxx@SNIPS-SERVER:~# sam disconnect
â Disconnected from device
root@SNIPS-SERVER:~# sam connect 192.168.90.42
? Enter username for the device: xxxxx
? Enter password for the device: [hidden]
â Connected to 192.168.90.42
i A public key has been generated and copied to the device at 192.168.90.42:~/.ssh/authorized_keys
xxxx@SNIPS-SERVER:~# sam update
Updating Snips Platform
â Finished updating the platform
xxxx@SNIPS-SERVER:~# sam status

Connected to device 192.168.90.42

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. 0.60.10 (not running)
snips-asr .................... 0.60.10 (not running)
snips-audio-server ........... 0.60.10 (not running)
snips-dialogue ............... 0.60.10 (not running)
snips-hotword ................ 0.60.10 (running)
snips-nlu .................... 0.60.10 (not running)
snips-skill-server ........... 0.60.10 (running)
snips-tts .................... 0.60.10 (running)

Edit: Die Satelliten funktionieren übrigens auch mit der alten Plattform mit der neuen Server Version. Bei "sam watch" über einen client werden allerdings die ASR und NLU info, also auch die IOBroker slots, nicht sauber per MQTT angezeigt. sam watch auf dem Server funktioniert und der Adapter ebenso.

[unltdnetworx]

@frank70
ASR und NLU läuft ja ohnehin auf dem Server. Solange es funktioniert top.

[unltdnetworx]

@Wal
Wir könnten meiner Meinung nach den Testing Branch wieder zusammenführen und als Stable veröffentlichen. Was meinst du?

Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!

[Dutchman]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!

mja sogar noch bissl genauer als tip

• GitHub install ==> developer version
• Release in latest (als NPM packet) ==> beta
• Release in stable (als NPM packet) ==> production

So hantiere ich es jedenfalls mit meinen Adaptern, man kan ja auch Versionen wieder von NPM entfernen wen die beta zu verbucht war (mir leider auch bereits passiert)