[Aufruf] Adapter: Snips - Offline Speak2Text

[unltdnetworx]

@frank70 said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@frank70
Der Satellit macht ja nichts weiter, als die Empfangenen Audioaufnahmen an der Server zu schicken. Der macht dann weiter.

Der Unterschied zwischen den beiden Varianten ist nur, ob der Satellit oder der Server das Hotword erkennt. Es reicht als Satellit also ein ganz minimalistischer Rechner. Ein pi zero w reicht scheinbar völlig aus.

Auf dem Satelliten ist auch keine App installiert. Daher auch kein Inject.

Ahh. das ist vielleicht mein Problem! Der Sattelit war als Standalone vorher in betrieb. Ich habe dahe noch deine App drauf!

Jetzt scheint das Problem eingegrenzt zu sein.

[___manalishi]

ich habe noch die 0.31. Mache jetzt gleich das update. Versuche aber vorher den Assistant zu löschen

[___manalishi]

wie mache ich das am einfachsten? sam init?

Commands:
2 sam connect <HOSTNAME_OR_IP> Connect to a device
3 sam devices Discover devices on your local network
4 sam disconnect Disconnect from a device
5 sam hass Home assistant commands
6 sam init Install Snips Platform components
7 sam install Install assistant or skills
8 sam login Login to the console
9 sam logout Logout of the console
10 sam mqtt Control MQTT service
11 sam reboot Reboot the device
12 sam service Display logs or restart Snips services
13 sam set-hostname <HOSTNAME> Set device hostname
14 sam setup Setup hardware
15 sam sound-feedback <toggle> Toogle sound feedback on or off
16 sam status Show the status of your device
17 sam test Test microphone or speaker
18 sam update-assistant Update the assistant already installed on the device
19 sam update Update Snips platform on your device
20 sam watch Show MQTT logs

[unltdnetworx]

Weiter oben steht der Ordner, in dem die Apps installiert sind. Bin gerade nicht am Rechner. Das muss manuell gelöscht werden.

Wenn du nichts anderes drauf laufen hast, könntest du ja alles neu aufsetzen.

[___manalishi]

habe /usr/share/snips/assistant erstmal umbenannt.

[___manalishi]

geht! Habe nicht mehr an die Assistants gedacht. Welche Version des Adapters soll ich nehmen?

[unltdnetworx]

Um zu sehen, ob es läuft erst mal 1.0.0.

[Wal]

Die Github-Url des Adapters mit Satellitenunterstützung zum installieren lautet: https://github.com/Bettman66/ioBroker.snips/tarball/testing

Alten Adapter deinstallieren und Testingadapter über die Github-Url installieren.

[___manalishi]

@Wal
Hallo Walter, Adapter installiert. Läuft auf Anhieb.

Die Id's meiner beiden Satteliten 2 Satteliten werden vom Adapter unter rooid angezeigt.

[unltdnetworx]

@frank70
Kannst du mal testen, was passiert, wenn gleichzeitig eingesprochen wird?

[___manalishi]

Setup: Die 2 Satteliten stehen direkt nebeneinander und sind am selben WiFI AP eingeloggt. Latenzzeit zum Server sollte somit gleich sein. Beide Satteliten werden erkannt und im sam watch angezeigt:

[21:00:01] [Asr] captured text "" in 4.0s
[21:00:01] [Asr] was asked to stop listening on site living
[21:00:01] [AudioServer] was asked to play a wav of 93.1 kB with id '4b4aad30-a0a3-4aac-b842-4460dcc5081a' on site living
[21:00:01] [AudioServer] finished playing wav with id '3fc13c4e-df61-492a-a918-4fcfddd6d5ef'
[21:00:02] [AudioServer] was asked to play a wav of 61.1 kB with id '4ba0cde2-ed98-40f6-933b-82817db36677' on site kitchen
[21:00:02] [AudioServer] finished playing wav with id '4ba0cde2-ed98-40f6-933b-82817db36677'
[21:00:02] [Dialogue] session with id '86887fee-1c7f-4c47-9aa3-273764b360ac' was ended on site kitchen. The session was ended because the platform didn't understand the user
[21:00:02] [Asr] was asked to stop listening on site kitchen
[21:00:02] [Hotword] was asked to toggle itself 'on' on site kitchen
[21:00:02] [AudioServer] finished playing wav with id '4b4aad30-a0a3-4aac-b842-4460dcc5081a'
[21:00:03] [AudioServer] was asked to play a wav of 61.1 kB with id 'd1d73b02-3ee3-4400-afba-956106de0776' on site living
[21:00:03] [AudioServer] finished playing wav with id 'd1d73b02-3ee3-4400-afba-956106de0776'
[21:00:03] [Dialogue] session with id 'd63d1a49-5b06-44d2-b49f-6525f8186440' was ended on site living. The session was ended because the platform didn't understand the user
[21:00:03] [Asr] was asked to stop listening on site living
[21:00:03] [Hotword] was asked to toggle itself 'on' on site living

Der Datenpunkt roomid zeigt beide an (mal den einen, mal den anderen), wahrscheinlich nach first come-first serve Prinzip.
Bei 2 Geräten ist es unwahrscheinlich, dass es zu Überschneidungen wie bei diesem Setup kommt. Bei mehreren Satteliten schon eher.

[AndiM]

@Wal said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Die Github-Url des Adapters mit Satellitenunterstützung zum installieren lautet: https://github.com/Bettman66/ioBroker.snips/tarball/testing
Alten Adapter deinstallieren und Testingadapter über die Github-Url installieren.

Hi,

Walter & Michael ..... cooles Ding was ihr da macht
habs erst heut in der Früh gesehen und nur wenig Zeit gehabt, es lauft soweit ich mit bekommen habe
Jetzt muss ich mich tatsächlich mit den Aufzählungen und Txt2Com auseinander setzen

Danke
Andi

[Hanni1312]

Habt ihr euch das hier : https://github.com/Romkabouter/Matrix-Voice-ESP32-MQTT-Audio-Streamer schonmal angeschaut.

Würde gerne meine Satelliten darauf laufen lassen.

[unltdnetworx]

@Hanni1312
Find ich extrem teuer. 65 Euro plus ESP? Pi Zero W plus 2-Mic-Hat kostet weniger als die Hälfte. Zwar keine LEDs, aber beim 4-Mic-Hat auch dabei.

[Hanni1312]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

@Hanni1312
Find ich extrem teuer. 65 Euro plus ESP? Pi Zero W plus 2-Mic-Hat kostet weniger als die Hälfte. Zwar keine LEDs, aber beim 4-Mic-Hat auch dabei.

Ging mir nichtmal um die LED's ich finde das Matrix Voice funktioniert mega gut. Ich kann dem Snips auch aus 5m was über den flur sagen und er versteht mich. Zumal ich mir dachte das der Stromverbrauch relativ gering sein dürfte bei dem ganzen.

Brauchst ja nur das https://store.matrix.one/collections/frontpage/products/matrix-voice-esp32-wifi-bt-microcontroller und einen USB Netzteil. Und platztechnisch eigentlich auch ganz gut. Müsste man halt mal testen.

Bin eben mit dem matrix voice ohne esp32 sehr zufrieden! Werde mir aber deine Lösung mit dem Pi und dem 4 mic hat auch mal ansehen!

[unltdnetworx]

Ich hab momentan noch einen Pi 3 b+ als alleinigen Server mit Respeaker 4-Mic-Hat. Wird aber wohl auf VM umgezogen und zukünftige Satelliten auf Pi Zero W mit Respeaker 2-Mic-Hat betrieben werden.

Der Empfang ist bei Ruhe relativ gut. Bei Musik oder Fernsehen im Hintergrund muss ich aus 4 Metern schon recht laut rufen.

[AndiM]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Der Empfang ist bei Ruhe relativ gut. Bei Musik oder Fernsehen im Hintergrund muss ich aus 4 Metern schon recht laut rufen.

nachdem er jetzt bei hotword detected die roomId gleich dazu schreibt kann man ja gezielt die Geräte im Raum muten .... is auch cool

oftopic: Aufzählungen und Text2Command machen mich gerade fertig ....
wie legt man da Räume an sodass er sie auch erkennt ?

lt github sollte er "Gartenhaus" kennen mit einer dieser bezeichnungen bzw. ID "summer house summerhouse gartenhaus теплица"
Was regt ihn da auf ???

lg
Andi

[unltdnetworx]

Das finde ich momentan auch noch ein Problem von t2c. Es muss ein Raum sein, der auch eingepflegt ist. Nur eingeben reicht nicht. Das nervt mich schon z.B. bei Erdgeschoss.

Der Grund ist mir klar, er muss ja auch den Dativ aufgrund der Ausgabe kennen, aber trotzdem unglücklich.

[unltdnetworx]

@AndiM said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Was regt ihn da auf ???

Evtl. erkennt Snips dein Gartenhaus nicht? Inject gemacht und wird auch so ausgegeben? Beobachte das doch mal in Sam.

[AndiM]

@unltdnetworx
du meinst es gehen nur die Räume die vorgeschlagen werden und nicht die welche in der Doc stehen ... das ist mühsam Snips erkennt Gartenhaus einwandfrei als Room.
Wenn ich das jetzt richtig verstehe wird das jetzt eine ewig lange t2c-Liste oder ein Script der aus den Werten vom Snips-Adapter einen Befehl zusammen bastelt, was extrem aufwendig wird.
Hab da eine Testlampe die von t2c einwandfrei ein/ausgeschalten werden kann, aber beim dimmen ist es dan auch schon wieder vorbei obwohl die roles-level.dimmer und Raumzuordnungen passen würden