[Aufruf] Adapter: Snips - Offline Speak2Text

[___manalishi]

@Wal
Hallo Walter, Adapter installiert. Läuft auf Anhieb.

Die Id's meiner beiden Satteliten 2 Satteliten werden vom Adapter unter rooid angezeigt.

[unltdnetworx]

@frank70
Kannst du mal testen, was passiert, wenn gleichzeitig eingesprochen wird?

[___manalishi]

Setup: Die 2 Satteliten stehen direkt nebeneinander und sind am selben WiFI AP eingeloggt. Latenzzeit zum Server sollte somit gleich sein. Beide Satteliten werden erkannt und im sam watch angezeigt:

[21:00:01] [Asr] captured text "" in 4.0s
[21:00:01] [Asr] was asked to stop listening on site living
[21:00:01] [AudioServer] was asked to play a wav of 93.1 kB with id '4b4aad30-a0a3-4aac-b842-4460dcc5081a' on site living
[21:00:01] [AudioServer] finished playing wav with id '3fc13c4e-df61-492a-a918-4fcfddd6d5ef'
[21:00:02] [AudioServer] was asked to play a wav of 61.1 kB with id '4ba0cde2-ed98-40f6-933b-82817db36677' on site kitchen
[21:00:02] [AudioServer] finished playing wav with id '4ba0cde2-ed98-40f6-933b-82817db36677'
[21:00:02] [Dialogue] session with id '86887fee-1c7f-4c47-9aa3-273764b360ac' was ended on site kitchen. The session was ended because the platform didn't understand the user
[21:00:02] [Asr] was asked to stop listening on site kitchen
[21:00:02] [Hotword] was asked to toggle itself 'on' on site kitchen
[21:00:02] [AudioServer] finished playing wav with id '4b4aad30-a0a3-4aac-b842-4460dcc5081a'
[21:00:03] [AudioServer] was asked to play a wav of 61.1 kB with id 'd1d73b02-3ee3-4400-afba-956106de0776' on site living
[21:00:03] [AudioServer] finished playing wav with id 'd1d73b02-3ee3-4400-afba-956106de0776'
[21:00:03] [Dialogue] session with id 'd63d1a49-5b06-44d2-b49f-6525f8186440' was ended on site living. The session was ended because the platform didn't understand the user
[21:00:03] [Asr] was asked to stop listening on site living
[21:00:03] [Hotword] was asked to toggle itself 'on' on site living

Der Datenpunkt roomid zeigt beide an (mal den einen, mal den anderen), wahrscheinlich nach first come-first serve Prinzip.
Bei 2 Geräten ist es unwahrscheinlich, dass es zu Überschneidungen wie bei diesem Setup kommt. Bei mehreren Satteliten schon eher.

[AndiM]

@Wal said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Die Github-Url des Adapters mit Satellitenunterstützung zum installieren lautet: https://github.com/Bettman66/ioBroker.snips/tarball/testing
Alten Adapter deinstallieren und Testingadapter über die Github-Url installieren.

Hi,

Walter & Michael ..... cooles Ding was ihr da macht
habs erst heut in der Früh gesehen und nur wenig Zeit gehabt, es lauft soweit ich mit bekommen habe
Jetzt muss ich mich tatsächlich mit den Aufzählungen und Txt2Com auseinander setzen

Danke
Andi

[Hanni1312]

Habt ihr euch das hier : https://github.com/Romkabouter/Matrix-Voice-ESP32-MQTT-Audio-Streamer schonmal angeschaut.

Würde gerne meine Satelliten darauf laufen lassen.

[unltdnetworx]

@Hanni1312
Find ich extrem teuer. 65 Euro plus ESP? Pi Zero W plus 2-Mic-Hat kostet weniger als die Hälfte. Zwar keine LEDs, aber beim 4-Mic-Hat auch dabei.

[Hanni1312]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@Hanni1312
Find ich extrem teuer. 65 Euro plus ESP? Pi Zero W plus 2-Mic-Hat kostet weniger als die Hälfte. Zwar keine LEDs, aber beim 4-Mic-Hat auch dabei.

Ging mir nichtmal um die LED's ich finde das Matrix Voice funktioniert mega gut. Ich kann dem Snips auch aus 5m was über den flur sagen und er versteht mich. Zumal ich mir dachte das der Stromverbrauch relativ gering sein dürfte bei dem ganzen.

Brauchst ja nur das https://store.matrix.one/collections/frontpage/products/matrix-voice-esp32-wifi-bt-microcontroller und einen USB Netzteil. Und platztechnisch eigentlich auch ganz gut. Müsste man halt mal testen.

Bin eben mit dem matrix voice ohne esp32 sehr zufrieden! Werde mir aber deine Lösung mit dem Pi und dem 4 mic hat auch mal ansehen!

[unltdnetworx]

Ich hab momentan noch einen Pi 3 b+ als alleinigen Server mit Respeaker 4-Mic-Hat. Wird aber wohl auf VM umgezogen und zukünftige Satelliten auf Pi Zero W mit Respeaker 2-Mic-Hat betrieben werden.

Der Empfang ist bei Ruhe relativ gut. Bei Musik oder Fernsehen im Hintergrund muss ich aus 4 Metern schon recht laut rufen.

[AndiM]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Der Empfang ist bei Ruhe relativ gut. Bei Musik oder Fernsehen im Hintergrund muss ich aus 4 Metern schon recht laut rufen.

nachdem er jetzt bei hotword detected die roomId gleich dazu schreibt kann man ja gezielt die Geräte im Raum muten .... is auch cool

oftopic: Aufzählungen und Text2Command machen mich gerade fertig ....
wie legt man da Räume an sodass er sie auch erkennt ?

lt github sollte er "Gartenhaus" kennen mit einer dieser bezeichnungen bzw. ID "summer house summerhouse gartenhaus теплица"
Was regt ihn da auf ???

lg
Andi

[unltdnetworx]

Das finde ich momentan auch noch ein Problem von t2c. Es muss ein Raum sein, der auch eingepflegt ist. Nur eingeben reicht nicht. Das nervt mich schon z.B. bei Erdgeschoss.

Der Grund ist mir klar, er muss ja auch den Dativ aufgrund der Ausgabe kennen, aber trotzdem unglücklich.

[unltdnetworx]

@AndiM said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Was regt ihn da auf ???

Evtl. erkennt Snips dein Gartenhaus nicht? Inject gemacht und wird auch so ausgegeben? Beobachte das doch mal in Sam.

[AndiM]

@unltdnetworx
du meinst es gehen nur die Räume die vorgeschlagen werden und nicht die welche in der Doc stehen ... das ist mühsam Snips erkennt Gartenhaus einwandfrei als Room.
Wenn ich das jetzt richtig verstehe wird das jetzt eine ewig lange t2c-Liste oder ein Script der aus den Werten vom Snips-Adapter einen Befehl zusammen bastelt, was extrem aufwendig wird.
Hab da eine Testlampe die von t2c einwandfrei ein/ausgeschalten werden kann, aber beim dimmen ist es dan auch schon wieder vorbei obwohl die roles-level.dimmer und Raumzuordnungen passen würden

[unltdnetworx]

Warte mal auf die Aufnahme meines Pull-Requests im text2command Adapter. Sobald @Bluefox oder ein anderer Zeit findet und ihn annimmt, geht auch das dimmen besser. Momentan musst du nur "an" dazu sagen. Also "Schalte das Licht im Wohnzimmer auf 50 Prozent an". Dann sollte es einwandfrei laufen.

Die Räume aus der Doku müssen auch schon so funktionieren.

[unltdnetworx]

Text2command Adapter wurde aktualisiert. Einfach über Github aktualisieren. Die beiden Regeln für Rollos und "An/aus mit Funktion" müssen danach aus den Regeln entfernt und wieder eingefügt werden. Dann steht in den ausgegrauten Zeilen z.B. Prozent dabei.

[unltdnetworx]

@AndiM said in [Aufruf] Adapter: Snips - Offline Speak2Text:

ID "summer house summerhouse gartenhaus теплица"

Hab jetzt gerade den Quelltext nicht im Kopf, aber was passiert, wenn du die ID auf "Gartenhaus" setzt? Du sagst ja nicht summerhouse.

[Arnulf]

warum bemerke ich dieses Thread erst jetzt?
Ich kannte Snips noch gar nicht.
Jetzt geht es nicht nur ohne Alexa-Skill, sondern auch ohne Alexa

Ne, im ernst. Ich sehe hier schon wieder ein neues Bastelprojekt. Ich werde das hier mal beobachten

[AndiM]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Hab jetzt gerade den Quelltext nicht im Kopf, aber was passiert, wenn du die ID auf "Gartenhaus" setzt? Du sagst ja nicht summerhouse.

hab den Fehler schon gefunden:
du hast zu jedem Raum "ID-Bezeichnungen" dazugehörige "Triggerwörter" und "Antworten" ... das wären bei Gartenhaus z.B.:
ID-Bezeichnungen: summerhouse/gartenhaus/irgenwas russisches
Triggerwort in deutsch: Gartenhaus

somit kannst den Raum in den Aufzählungen mit der ID summerhouse, gartenhaus oder "irgenwas russisches" anlegen.

hatte es somit auch richtig gemacht, ABER vor "Gartenhaus" kommt "Garten" und da kommt er beim Pharsen des Textes scheinbar nicht drüber.
"Gartenhaus" in der rooms.js vor "Garten" gesetzt .... und alles ist gut -> findet sowohl "gartenhaus" als auch "garten".
Da kannst dir auch eigene Räume mit eigenem Trigger anlegen, nur weden die halt beim nächsten Update wieder weg sein.
Ich denke das auf Bluefox durch den Snips-Adapter einiges zukommen wird
Aber wir könnten ja zumindest mal Vorschläge für Räume "sammeln" und dann Bluefox ersuchen diese einzupflegen ...
mir fehlen da einige (Gewächshaus/Glashaus, Kellerstube/Partyraum, Imkerei/Imkerraum, ...)
Dann gibts ja auch noch die functions.js (Licht,Heizung,....) aber die hab ich mir noch nicht angesehen, sollten aber den devices von Snips entsprechen denk ich mal ...

[unltdnetworx]

Da hast du vollkommen recht. Da muss einiges rein. Aber durch die englischen Begriffe allein wird es schon schwieriger. Z.B. Erdgeschoß und ground floor. Ground floor sind zwei Wörter. Müsste man dann ground_floor eintragen?

Evtl. wäre es besser, eine eigene Regel für t2c zu generieren, die einfach nur alle Räume und Funktionen der Enumerationen ausliest und evtl. diese mit dem Snips Adapter mitzuliefern. Eigene Regeln sind ja vorgesehen.

[AndiM]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Erdgeschoß und ground floor. Ground floor sind zwei Wörter. Müsste man dann ground_floor eintragen?

so wie ich das sehe ist die ID-Bezeichnung des Raumes völlig belanglos sofern sie das gewünschte Triggerwort hat.

[unltdnetworx]

Aus dem Kopf würde ich sagen, dass das Triggerwort hinten steht und die ID vorne, je nach eingestellter Sprache der Enumeration entsprechen muss.