[Aufruf] Adapter: Snips - Offline Speak2Text

[unltdnetworx]

Das muss ja auch unltdnetworx:getStatus oder :setDevice,etc. heißen. Es geht definitiv nicht einfach umzubenennen.

[mmaric]

@unltdnetworx

ok, verstanden.

Wie komme ich da dran ?

Danke für die Geduld.

[___manalishi]

Hallo, war die letzten Tage beruflich eingespannt und daher hier wenig aktiv.
Ich habe meinen ersten Prototyp des Gehäuses montiert. Bei der Montage des Pi's mit den 2 Karten hat sich etwas Optimierungspotential in der Konstruktion gezeigt.

Das Gehäuse wurde mit einem Prusa 3D Printer hergestellt. Ich hatte mir die Ansicht von oben bei der Grösse der Löcher und der grünen Farbe der Platine schlimmer vorgestellt. Lediglich die Oberflächenqualität mag Designeransprüchen nicht genügen.

Der Pi wird mit den 4 Schrauben inkl. den 2 Platinen zwischen Bodenplatte und Gehäusedeckel fixiert. Hier erscheint es mir sinnvoller den Pi mit 4 Schrauben nur auf die Bodenplatte zu schrauben und den Deckel separat zu befestigen.

Die Aussparung ermöglicht Zugang zur SD Karte,sollte aber auch noch grösser werden.

Ich bin noch auf der Suche nach geeigneten, selbtsklebenden Gummifüssen. Das scheint mir sinnvoller als etwas zu drucken.

[unltdnetworx]

Sieht schon mal super aus.

[___manalishi]

Nach ca.10 Tagen Dauerbetrieb habe ich folgendes beobachtet:

1. Mit den Neustarts (2x täglich die Snips-Services und 1x den Pi) habe ich ein zuverlässiges Verhalten der Satelliten, sowohl vom Hotword wie auch vom RESpeaker Skill für die LEDs

2. Der Snips Server läuft zuverlässig mit 2x Neustart der Services ohne rebooten des OS.

3. Da ich mit Telegram meinen ioBroker monitore fällt mir auf, dass in unregelmässigen Abständen das Hotword erkannt wird, ohne dass es wirklich ausgesprochen wurde. Das deckt sich auch in den Fällen, in denen ich es "live" beobachtet habe, durch Leuchten der LEDs am Satelliten.

Ich bin bisher davon ausgegangen, dass "Hey Snips" im Alltagsbetrieb ein zuverlässiges Hotword ist, da es (zumindest in unserem Sprachgebrauch zu Hause) nicht vorkommt.

Kann jemand dieses Verhalten bestätigen?

[rascal]

Hey,
ich verfolge den "neuen" Adapter mit Spannung, bin aber noch nicht dazugekommen, dass ich ihn installiere und ausprobiere.

Was mir nicht ganz klar ist im Moment:

• gibt der Adapter nur auf jenem Snips eine Antwort, wo er auch aktiviert worden ist? (mit dem Text2Command Adapter)
• Ist das Problem mit dem verschwindenden Antwort-Datenpunkt im T2C-Adapter behoben?

LG
Martin

[unltdnetworx]

@rascal
Hi Martin,
der Adapter gibt in der neuen Version (testing) immer auf dem Gerät aus, auf dem auch der Dialog gestartet wurde. In text2command muss aber auf alle gestellt werden. Der Adapter regelt die Ausgabe selbstständig.

Wenn der Datenpunkt für alle Geräte direkt angesprochen wird, also nicht über Snips, sondern etwa über ein Skript, z.B. wenn die Waschmaschine fertig ist, werden alle Geräte gleichzeitig angesprochen, vllt. mit wenigen Millisekunden Unterschied.

Wenn die einzelnen say-Datenpunkte direkt angesprochen werden, gibt auch nur das jeweilige Gerät aus.

[unltdnetworx]

@frank70
Hi Frank,

das kann ich so nicht bestätigen. Bei mir läuft es seit langem 24/7 ohne jegliche Neustarts problemlos.

Mit der neuesten Version der Snips-Plattform muss ich sagen habe ich kaum bis gar keine Falscherkennungen mehr. Bin damit äußerst zufrieden. Die Erkennung bei lauter Umgebung oder großer Entfernung hat sich hingegen kaum/nicht verbessert.

Aktuell ist die neueste Version der Plattform und testing-Version des Adapters bei mir im Einsatz.

[___manalishi]

@unltdnetworx Ok, dann werde ich die Snips Umgebung mal auf neuesten Stand bringen. Ich bin mit der jetzigen Qualität auch zufrieden. Neustarts stören nicht den Betrieb. Die falsch erkannten Hotwords richteten bisher keinen Schaden an, soll heissen, die danach erkannten Worte haben keines meiner Skripte Verwendung gefunden.

Edit:
Bei mir siehts nach dem Update jetzt so aus:
Update mit sam update durchgeführt. Sind die unterschiedlichen Versionen so ok?
Server:

Service status:

snips-analytics .............. 0.61.1 (not running)
snips-asr .................... 0.61.1 (running)
snips-audio-server ........... 0.61.1 (not running)
snips-dialogue ............... 0.61.1 (running)
snips-hotword ................ 0.61.1 (running)
snips-nlu .................... 0.61.1 (not running)
snips-skill-server ........... 0.61.1 (not running)
snips-tts .................... 0.61.1 (running)

Clients

Service status:

snips-analytics .............. 0.60.10 (not running)
snips-asr .................... 0.60.10 (not running)
snips-audio-server ........... 0.60.10 (running)
snips-dialogue ............... 0.60.10 (not running)
snips-hotword ................ 0.60.10 (running)
snips-nlu .................... 0.60.10 (not running)
snips-skill-server ........... 0.60.10 (running)
snips-tts .................... 0.60.10 (running)

[unltdnetworx]

@frank70
Ich könnte mir vorstellen, dass es zu Problemen kommen dann, wenn du unterschiedliche Versionen hast. Aber du kannst Sam ja auch mit dem Satelliten verbinden. Sam connect oder so ähnlich dürfte der Befehl lauten.

[___manalishi]

@unltdnetworx Ich habe auf jedem Gerät sam update ausgeführt.
Bei jedem Satelliten "Connected to device 127.0.0.1" sollte doch auch auf dem jeweiligen Gerät das Update durchführen oder habe ich da was falsch verstanden?

[unltdnetworx]

Also ich hab Sam auf dem Windows PC und der Connected über die jeweiligen IPs auf die Linux Endgeräte. Pi und Synology

[rascal]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Also ich hab Sam auf dem Windows PC und der Connected über die jeweiligen IPs auf die Linux Endgeräte. Pi und Synology

Wo finde ich den Windows SAM Client?

[unltdnetworx]

Das geht genau so mittels npm. Also npm auf Windows installieren und dann entsprechend anwenden. Geht dann über die Kommandozeile (cmd).

[___manalishi]

Bei mir ist moch mehr schiefgegangen. NLU hat ein Problem auf dem Master.

Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]: ERROR:snips_nlu       : Fail to wait end of pipeline
Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]:  -> caused by: Unable to read file '/var/lib/snips/injections/20190205T233411919253194/inj_20190218T105402558858220/nlu_engine/nlu_engine.json'
Mar  3 19:45:43 SNIPS-SERVER snips-nlu[1897]:  -> caused by: Expected model version 0.19.0 but found 0.17.0
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Main process exited, code=exited, status=1/FAILURE
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Unit entered failed state.
Mar  3 19:45:43 SNIPS-SERVER systemd[1]: snips-nlu.service: Failed with result 'exit-code'.

Keine Ahnung warum die Datei nicht gelesen werden kann. ist vorhanden und Rechte stehen auf 755. Ist vielleicht nur ein Folgefehler. Mit der Model Version kann ich nichts anfangen. Ich setze die VM mal zurück und suche erstmal im Snips Forum.

Edit:@unltdnetworx: Muss ich deinen Assistant nach dem update neu installieren? Vielleicht ist das der Grund für die "model version" Meldung...

Edit: Kennt jemand eine Möglichkeit, um eine bestimmte Snips-Version zu installieren?

[vore]

Hallo!
ich spiele gerade mit dem Snips Adapter und der Iobroker App. Schon einmal ein riesen Dankeschön für die Arbeit die ihr hier geleistet habt.
Gibt es eine Übersicht, welche Begriffe/Sätze/Elemente schon in der App trainiert sind?
Wenn ihr die Erkennung von Snips im TextToCommand -Adapter auswertet, geht ihr da über "receive -> text" oder über die Slots? Wenn ich es teste, werden nicht immer alle Slots erkannt (einmal gehts, beim nächsten Versuch wieder nicht).
Ich habe schon einen TextToCommand für Telegram. Muss Snips dann eine zweite Instanz von TextToCommand erhalten?

Grüße

Vore

[unltdnetworx]

@vore
Guten Morgen,
Zu text2command: Du kannst normalerweise die gleiche Instanz verwenden, der Ausgabedatenpunkt muss nur mit all.send.text belegt werden können.

Ausgewertet werden sollte der Datenpunkt compiledText, das ist der Punkt Text bei dem die erkannten Slots ersetzt wurden.

Die bereits eingepflegten Wort/Sätze/etc. kannst du einsehen, indem du auf Console.snips.ai einen Ableger (Fork) der App erstellst. Dann kannst du alle Inhalte einsehen.
Wichtig: Bitte trotzdem meine App verwenden, da der Adapter nur darauf reagiert. Wenn du Verbesserungvorschläge hast, gerne hier posten oder per PN. Pflege das dann ein.

[rascal]

Ich habe noch eine Frage :
Bekommt der Adapter in Verbindung mit dem t2c auch mit, in welchem Raum der Befehl umgesetzt wird.
zB:
In der Küche : Licht ein - statt :Licht in der Küche ein - um das Licht in der Küche zu schalten
Oder
Im Wohnzimmer: Licht ein - statt :Licht im Wohnzimmer ein - um das Licht im WZ zu schalten

[unltdnetworx]

@frank70 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Muss ich deinen Assistant nach dem update neu installieren?

Ich hab es gemacht, stand irgendwo in der Ankündigung. Keine Ahnung, ob es notwendig ist.

sam update-assistant

sollte reichen.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Bekommt der Adapter in Verbindung mit dem t2c auch mit, in welchem Raum der Befehl umgesetzt wird.

Das wird der nächste Schritt. Sobald Rückmeldungen kommen, dass der neue Adapter funktioniert, können wir ihn ins Stable Repository umziehen und weitere Funktionalität einbauen. Ich weiß bisher nicht, ob die testing-Version überhaupt jemand installiert hat und ob es Probleme gibt.