Rhasspy Offline Sprachsteuerung

[jwerlsdf]

@LichtAn said in Rhasspy Offline Sprachsteuerung:
folgende Ordner habe ich:
asr
nlu
info

so sieht die Datei aus:

Spoiler

[GetTime]
wie spät ist es
sag mir die uhrzeit

[GetTemperature]
wie ist die temperatur
wie (heiß | kalt) ist es

[GetGarageState]
ist das garagentor (offen | geschlossen)

[ChangeLightState]
light_name = (wohnzimmerlampe | garagenlicht) {name}
light_state = (ein | aus) {state}
schalte (die | das) <light_name> <light_state>

[Lampen]
lampen_name = (moodlight |stimmungslicht|fernsehlicht|esstischlampe|essecke|wandspots|regal|radio ) {name}
lampen_state = (ein | aus) {state}
schalte [ (die | den | das )]  <lampen_name> <lampen_state>

[Rolladen]
rolladen_name = (rolladen ) {name}
rolladen_state = (hochfahren | runterfahren | stoppen ) {state}
<rolladen_name> <rolladen_state>

[LichtAn]

@jwerlsdf

Was steht den unter
mqtt.0.hermes.nlu.intentNotRecognized

wenn du z.B. sagst "schalte rolladen aus"

Das sollte dann ca. so aussehen.

{"input": "schalte rolladen aus", "siteId": "default", "id": null, "customData": null, "sessionId": "default-snowboy-764567-1063-4e56-9999-16774ab26140"}

Da stehen die Befehle drin die nicht zugeordnet werden können. Wenn der wert aktualisiert wird geht auf jeden Fall deine Verbindung vom iobroker zum MQTT auf dem Rhasspy.

Ach ja wenn er sonwboy nicht erkennt schalte mal auf Porcupine um.

[capitaenz]

@joergeli said in Rhasspy Offline Sprachsteuerung:

Aber das Gelbe vom Ei ist das auch noch nicht.
Es passieren - zwar recht selten - immer noch false-Erkennungen und bei meiner Frau reagiert es machmal auch nicht.
Ich habe bzgl. Rhasspy jetzt schon eine Weile nichts mehr gemacht, bin auch noch bei Rhaspy V 2.5.0

Bei mir verhält es sich ähnlich, außer das ich die V 2.5.6 installiert habe.
Die V 2.5.7 ist draußen und dort hängt sich die Spracherkennung beim 2. Mal auf.

VG
Leif

[joergeli]

@capitaenz
Jo, die Intent-Erkennung funktioniert bei mir recht gut - so gut wie keine Falscherkennungen.

Lediglich das Wakeword macht Probleme.
Was ich so gelesen habe, was man bei eigenen Wakewords beachten sollte:
1.) Wakeword sollte mindestens 3 mögl. unterschiedlliche Silben ( z. B. Lieselotte, Computer, Blueberry) enthalten
2.) Möglichst Zischlaute im Wakeword verwenden

Aber es funktioniert doch nur "mittelprächtig" - entweder zu unempfindlich oder zu empfindlich, wobei das m.E. nur sekundär mit der Sensitivity- (Empfindlichkeits-)Einstellung des Micros zu tun hat.

Außerdem hat m.E. die Stimmfrequenz (Frau höhere Stimmlage als ich) Einfluß: Wenn bei mir Wakeword-Erkennung halbwegs OK ist, tut sich bei meiner Frau nichts und umgekehrt.

Ein weiteres Problem sind Umgebungsgeräusche, wie TV oder Radio.
Da wacht Rhasspy manchmal auf, obwohl weder im TV, noch im Radio, etwas gesagt wurde, was nur annähernd wie das Wakeword klang.
Ich habe deswegen versucht, mein Respeaker 4 Mic-Array akustisch von den Fremdgeräuschen zu isolieren, indem ich einen Kasten um das Mic-Array samt Rhaspy-Raspi gebaut habe, der nur an der TV/Radio abgewandten Seite offen war.
OK, damit schränke ich zwar den Mic-Erfassungsradius ein, aber damit könnte ich leben.
Hat aber leider auch so gut wie nichts gebracht.

Frage: Hat schon mal jemand das neue "Raven"-Wakewordsystem ausprobiert?

Gruß
Jörg

[capitaenz]

Frage: Hat schon mal jemand das neue "Raven"-Wakewordsystem ausprobiert?

Danke für den Tipp, war mir noch nicht aufgefallen.
Leider habe ich keine genaue Idee wie das funktionieren soll, wenn ich die Dokumentation aufrufen möchte kommt:
See the Raven tutorial for how to get started. -> NotFound: NotFound(404)

[LichtAn]

@joergeli sagte in Rhasspy Offline Sprachsteuerung:

Raven

https://rhasspy.readthedocs.io/en/latest/wake-word/#raven

Das klingt ja gar nicht so schlecht. Mal schauen ob ich kommendes WE mal ein bis zwei Stündchen zum spielen hab.

[Steffen95]

Hallo,

sorry bin neu hier und ein Anfänger.
Ich habe Rhasspy 2.5.7 installiert und danach das Respeaker 4.
Ich habe mich in beiden Fällen an die Anleitungen von den Herstellern gehalten.

Den MQTT Server einrichten habe ich relativ problemlos hinbekommen und in IOBroker sehe ich auch schon den Rhasspy Ordner.

Das Auswählen des Mikrofons scheitert leider schon bei mir Bekomme immer die Fehlermeldung Timeout Error.

Hat jemand eine Idee wie ich das behebe?

Wenn ich arecord -L eingebe finde ich das Mikro.

Edit: Mittlerweile finde ich das Mikro und es erkennt auch die Befehle richtig. Aber sobald ich MQTT auf external setze geht nichts mehr.
Wie habt Ihr das gelöst?

[joergeli]

@Steffen95 sagte in Rhasspy Offline Sprachsteuerung:

Mittlerweile finde ich das Mikro und es erkennt auch die Befehle richtig. Aber sobald ich MQTT auf external setze geht nichts mehr.
Wie habt Ihr das gelöst?

Jo, da habe ich auch lange dran rumgekaspert.

Ich habe es so gemacht:
Auf dem Rhasspy-Raspi einen zusätzlichen MQTT-Broker (Mosquitto) installiert.
In Rhasspy stellst Du dann MQTT auf "External", bei Host trägst Du die IP-Adresse Deines Rhasspy-Raspi ein, Port auf 1883.
Du verweist damit also auf den Mosquitto-Broker, der für Rhasspy selbst (welches ja wahrscheinlich im Docker-Container läuft) als externer Broker betrachtet wird.

In ioBroker musste ich dafür ( für mich nicht ganz klar warum) eine zusätzliche mqtt.1-Instanz als "Client/subscriber" einrichten.
In der mqtt.1-Instanz habe ich bei:
Subscribe patterns: hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Prefix für alle Topics: hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Haken setzen bei "Publish nur bei Änderung"
(Man könnte wahrscheinlich auch alle Hermes-Topics mit hermes/# abbonieren, aber ich persönlich brauche es nicht)

Danach sollten in den Objekten unter mqtt.1.hermes.intent Deine entspr. Intents angezeigt werden,
nachdem sie zum ersten Mal angesprochen/erkannt wurden.

Gruß
Jörg

[LichtAn]

@joergeli @Steffen95

Und Vorsicht es dürfen keine Leerzeichen in den Pattern sein sonst passiert auch nix

hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized

Und schau doch mal in Post 301 evtl hilft dir das weiter.

[capitaenz]

Die neue 2.5.8 ist draußen und nun kann man die Lautstärke(n) direkt im Webinterface anpassen!

[brain]

@LichtAn
Ich habe mich nun endlich auch an die Installation des Rhasspy gemacht. Zunächst war es etwas mühsam, aber mit der Anleitung https://rhasspy.readthedocs.io/en/latest/tutorials/#from-scratch-on-a-raspberry-pi und Dank der Hilfe in Post 301 hat es funktioniert, sodass ich nun die Befehle im iobroker sehen kann.
Dabei bin ich auf einen möglichen Fehler im Befehl zum Starten des docker in Post 301 gestoßen. Meiner Meinung nach fehlt dort der MQTT-start, sodass der Startbefehl (auch nach Restart des Raspi) wie folgt lauten müsste (aktuelle Rhasspy-Version 2.5.8):

docker run -d -p 12101:12101 \
      --name rhasspy \
      --restart unless-stopped \
      -v "$HOME/.config/rhasspy/profiles:/profiles" \
      -v "/etc/localtime:/etc/localtime:ro" \
      --device /dev/snd:/dev/snd \
      rhasspy/rhasspy \
      --user-profiles /profiles \
      --profile de \
	  --local-mqtt-port 13183

[LichtAn]

@brain

Der MQTT läuft ja auf dem Debian System nicht im Docker deshalb musst du den nicht mit dem Docker Start Befehl starten.

In der Config von 301wird ja auch auf external gestellt. Früher gab es nämlich Probeme mit dem internen MQTT Server wenn du nicht den Standard Port verwendet hast.

MQTT -> External
Host -> IP Rhasspy
Port -> 1883

[capitaenz]

Moin zusammen,

ich experimentiere gerade mit Rhasspy weiter.
Ich bin weiterhin mit dem Gehäuse unzufrieden und habe jetzt mal etwas ausprobiert:

Ich habe mir das offizielle Raspberry 7" Display mit einem passenden Gehäuse bestellt.
In dem Gehäuse ist noch genug Platz für den Reespeaker2 und einem Lautsprecher:

Der Deckel hinten lässt einen Luftspalt für die Mikrofone... Bin noch am experimentieren, aber erste Tests waren ganz brauchbar.

Auf dem Pi3 b+ läuft jetzt Rhasspy 2.5.9 im Docker und der ioBroker als slave mit einem Browser im Kioskmode.
Ganz nebenbei habe ich so auch mein Bluetooth-Probleme mit den Xiaomi Pflanzensensoren gelöst, denn der Raspberry steht näher an den Sensoren.

Leider ist das Display vom Blickwinkel nicht das beste, aber man steht ja selten direkt davor, oder man muss es noch etwas nach hinten kippen.

VG
Leif

[LichtAn]

@capitaenz

Wenn die Micro Schlitze nur nach hinten raus gehen hast du da keine Probleme mit der Akustik Versteht dich der jetzt genauso wie vorher.

mal eine andere Frage. Hat einer von euch schon die Bring Liste erfolgreich integriert. Kämpfe grade ein bisschen das Json so auszulesen das es Anständig mit 2,3 oder 4 Parametern funktioniert je nachdem was man sagt.

[PeterM1894]

Hallo,

hat von euch schon jemand Rhasspy in einem Proxmox LXC Container
zum Laufen bekommen?

Ich wäre für einen kurze Anleitung sehr dankbar. Denn wenn ich ehrlich bin, verstehe ich von der offiziellen Install Anleitung nur Bahnhof und weiß nicht, was ich machen muss.

z.B. Welches CT Template muss ich nehmen und dann welche Installationsanleitung (Docker, Debian oder Virtual Environment).

Hoffe ihr helft mir weiter.

Ich wünsche euch ein sonniges Wochenende.

Liebe Grüße
Peter

[DerT]

@peterm1894

Hi,

ich hab das ganze vor langem mal in einem Container zum laufen gebracht. Allerdings hat das mehr Probleme gemacht als es am Ende gebracht. Ich würde dir empfehlen eine VM aufzusetzen in der du docker betreibst. Dort kannst du dann alle Container betreiben die du brauchst.

Wen. Du Koch paar Infos dazu brauchst sag einfach Bescheid.

Gruß
T

[PeterM1894]

@dert
Hallo,

Rhasspy läuft im Docker und ich kann auf das Web-Interface zugreifen.
Gibt es jetzt eine detaillierte Anleitung, wie es weiter geht, den die 349 Seiten, sind wirklich sehr unübersichtlich.

Wie muss ich den MQTT-Adapter in iobroker und in Rhasspy einrichten. Könntes du einen Screenshot hochladen?

Liebe Grüße
Peter

[LichtAn]

@peterm1894

Schau mal meinen Post 301 auf der Seite 16 an da wirst du geholfen.

[kuumaur]

Moin,
ich lese hier nun schon eine ganze Weile still mit.
Bin begeistert von euch.
Mein Iobroker und Rhasspy Projekt wäre eigentlich schon beendet, wenn ich nicht Schwierigkeiten mit den Mikrofonen der Satelliten hätte.
Mein Setup besteht aus einem zentralen Rhasspy Server v2.5.9, unter Proxmox LXC/Docker.

• MQTT = external
• Speech to Text = Kaldi
• Intent Recognition = Fsticuffs
• Text to Speech = NanoTTS
• Dialog Management = Rhasspy
  also alles weitestgehend Standard.

Meine Satelliten bestehen derzeit aus Raspberry Pi Zero WH + 2-Mic-HAT mit Seeed Treiber und Kernel 5.4.51+.

• MQTT = external
• Audio Recording = PyAudio
• Wake Word = Porqupine
• • Keyword File = jarvis...
• • Sensivity = 0.5
• Speech to Text = Hermes MQTT
• Intent Recognition = Hermes MQTT
• Text to Speech = Hermes MQTT
• Audio Playing = aplay
• Dialog Management = Disabled
• Intent Handling = Disabled

Lustige Gehäuse habe ich mir natürlich auch ausgedacht.
Also die Technik funktioniert.
Mein Problem sind bislang immer mal wieder die Mikrofone. Sofern es in dem Raum leise ist, funktioniert die Spracherkennung wunderbar.
Sofern Radio, TV oder eine Unterhaltung in dem Raum stattfindet, wird die Trefferquote schnell schlechter.
Das haben ja auch schon andere hier Erkannt.
Ich habe mit der Sensivity schon ein bisschen experimentiert, aber ohne großen Erfolg.
Hat jemand die Problematik mit den Nebengeräuschen schon gelöst oder eingegrenzt?
Hab mit jetzt zum Testen noch einen Rock Pi S bestellt. Der hat eine Soundkarte bereits Onboard.
Ich bin mir bei den Mikrofonen aber nicht sicher, welche und vor allem welche Technik da die bessere Wahl ist.
Hat hier jemand schon Erfahrung damit?
Danke und Gruß
Kuumaur

[tobetobe]

@lichtan sagte in Rhasspy Offline Sprachsteuerung:

Hat einer von euch schon die Bring Liste erfolgreich integriert.

Hallo, ich hatte dazu mal einen Beitrag gepostet. Such mal in meinem Account. Komme leider gerade nicht dazu, dir das rauszusuchen. Bei Fragen: fragen...