Rhasspy Offline Sprachsteuerung

tobetobe

@capitaenz said in Rhasspy Offline Sprachsteuerung:

Aber es erschließt sich mir nicht, wie ich per MQTT (nicht per Script) eine Sprachausgabe auf dem Rhasspy erzeugen kann, gleichwertig und einfach, wie es bei Snips möglich ist.

Ach so! Jetzt verstehe ich endlich das Problem.

Snips kenne ich leider nicht gut genug um beurteilen zu können, wie dort die Sprachausgabe organisiert war. Soweit ich jedoch Rhasspy bislang verstanden habe, gibt es keine Möglichkeit, eine Sprachausgabe einfach zu konfigurieren. Ich habe allerdings im Rhasspy-Forum auch nicht recherchiert, ob es in dieser Richtung schon etwas gibt. Falls du dort auf etwas stoßen solltest, wäre das für alle anderen hier natürlich auch interessant.

Für mich ist das mit den Skripten in Ordnung. Und ich bin auch nur einfacher Anwender mit geringen Programmierkenntnissen. Die meisten Tätigkeiten sind ja eh nur einfache Konfigurationsänderungen.

Mit dem ganzen Set an Skripten kommst du jedenfalls schnell ans Ziel. Wenn du dir jedoch etwas anderes vorstellst, müsstest du dich an das Rhasspy-Forum wenden. Ich und vermutlich auch alle anderen, die sich hier im ioBroker Forum zu Rhasspy äußern, sind dann wohl mit ihrem Latein am Ende.

Aber wie gesagt, wenn du auf eine hilfreiche Quelle stößt, poste sie bitte hier.

MathiasJ

@tobetobe
Vielen Dank für die Info.
Nur wie stelle ich das auf Kaldi um?
Der fragt mich gleich nach dem ersten Aufruf der Seite nach den Downloads.
Ja Du hast recht. Es handelt sich um pocketsphinx.
Nein, ich will auf dem Raspberry erst einmal nur einen Master als "Trockenübung" installieren. Wenn der und ein weiterer Satelit dann endlich läuft zieht der Master auf mein Proxmox um. Als Testsystem habe ich einen Respeaker, allerdings nur mit 2 Mikrofone, quasi zum üben. Den habe ich mir damals für Snips gekauft. Aber ich kam nie dazu, das zu testen.
Gruß,
Mathias

tobetobe

@MathiasJ
Danke für die Infos. Ich nehme an, die Kiste hängt immer noch beim Download? Falls das der Fall sein sollte, nochmals meine Frage: Wie hast du installiert? Das englische Profil? Dann lösche bitte alles, und zwar den mit docker ps ermittelten Container UND im Dateiverzeichnis das komplette englische Profil, VOR ALLEM die Datei profile.json.

Dann erstellst du dir zunächst einmal den MQTT-Broker, den du in jedem Fall brauchst mit:

sudo apt update
sudo apt install -y mosquitto mosquitto-clients
sudo systemctl enable mosquitto.service
sudo systemctl start mosquitto

Dann die aktuelle Rhasspy-Version ziehen:

sudo docker pull rhasspy/rhasspy:2.5.0-pre

Und danach den Rhasspy-Master neu installieren, mit diesem Befehl zur Installation eines Master, den du komplett kopieren und eingeben musst:

docker run -it \
    -v "$HOME/.config/rhasspy/master:/profiles" \
    --network host \
    rhasspy/rhasspy:2.5.0-pre \
    --profile de \
    --user-profiles /profiles

Sollte wieder ein Download beginnen, kannst du den auch zunächst einmal abbrechen. Und dann stellst du deinen Rhasspy Master so ein, wobei du am besten mit dem Deaktivieren nicht benötigter Teile beginnst und dann auf Kaldi umstellst. Danach speichern und Download und dann die restlichen fehlenden Einstellungen nachziehen. Speichern UND Trainieren nicht vergessen. Am besten postest du danach mal deine Profile.Json aus dem Menü "Advanced"

MathiasJ

@tobetobe
nein, habe um 05:00 damit angefangen, nach 2 Stunden dann den Download abgebrochen.
ich denke, wenn er 42MB in 2 Stunden nicht schafft, dann wird das nichts mehr.
Nein, ich habe gleich das deutsche Profil genommen.
bei --profile en / das en durch de ersetzt.
Ja, das kann ich noch versuchen. Vllt klappt das ja.
Ich flashe dann die Speicherkarte neu und beginne von vorne. Dann habe ich wenigstens eine frische Installation.
ich gebe dann bescheid......

Edit:
Hier die profile.json

{
    "dialogue": {
        "system": "rhasspy"
    },
    "handle": {
        "system": "hass"
    },
    "intent": {
        "system": "hermes"
    },
    "microphone": {
        "system": "hermes"
    },
    "mqtt": {
        "enabled": "true",
        "host": ""
    },
    "sounds": {
        "system": "hermes"
    },
    "speech_to_text": {
        "system": "kaldi"
    },
    "text_to_speech": {
        "system": "marytts"
    },
    "wake": {
        "system": "snowboy"
    }
}

trainieren kann ich wieder mal nicht, weil dann das Bild kommt:

und nicht mehr verschwindet.
es werden auch keine Dateien nachgeladen.......
und das, was ich befürchtet habe, ist auch wieder eingetroffen:
nach Reboot öffnet sich die Seite nicht mehr........
es tut mir leid, wenn ich es sagen muß, aber ich denke, ich lasse es.
Habe da schon lange genug rum gedocktert und hat nix gebracht.
trotzdem danke für die Hilfe.
Gruß,
Mathias

tobetobe

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Habe da schon lange genug rum gedocktert und hat nix gebracht.

In deiner Profile.JSON stimmt aber auch gar nichts. Wenn du willst, können wir uns morgen verabreden und ich schaue per TeamViewer mal bei dir drauf. Es ist für mich nicht nachvollziehbar, was da bei dir passiert. Weder habe ich derartige Schwierigkeiten selbst erlebt, noch solche von anderen gehört.

MathiasJ

@tobetobe
Und wie soll das gehen?
Die Seite öffnet sich auch nicht mehr.
Ich weiß nicht, wie ich von der Arbeit nach Hause komme. Sonst gerne.
Oder Du lässt mit die Datei zukommen.
Gruß,
Mathias

tobetobe

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Und wie soll das gehen?

Du installierst TeamViewer auf deinem PC und ich greife remote auf deinen Rechner zu. Dann stelle ich dir alles ein, wie es sein soll.

Wir sollten dazu nebenher telefonieren können. Kannst du mir per Chat eine Telefonnummer schicken? Dann schicke ich dir im Gegenzug meine und du rufst mich an, sobald du Zeit hast. Ich bin prinzipiell immer erreichbar.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Oder Du lässt mit die Datei zukommen.

Das würde dir wenig helfen. Ich habe zu viele spezielle Einstellungen, die wieder andere Downloads und Installationen voraussetzen

MathiasJ

@tobetobe
Wie gesagt, unter der Woche ist es schlecht.
Aber ich schaue, was ich tun kann.
So brisant ist ja das Thema nicht.
Ich stehe gerade vor einem Umzug und in dieser Wohnung soll das nicht mehr installiert werden.
Oder was meinst Du?
Besser warten, bis das Netzwerk im neuen Haus dann steht, sonst muß man es evtl doppelt machen.
Gruß,
Mathias

tobetobe

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Oder was meinst Du?

Ganz entspannt! Melde dich einfach, wenn es dir passt.

capitaenz

@MathiasJ
Ich habe Rhasspy auch diverse Male installiert und muss sagen, das Verhalten, dass Rhasspy nicht mehr startet und auf "Training" stehen bleibt, kenne ich!
Anscheinend wird der Container nur bei der Installation gestartet und anschließend nicht mehr...
Ich habe allerdings so viel probiert, dass ich keine direkte Lösung beisteuern kann, aber ich vermute, es liegt an einem neuen Docker Image, denn dieses wurde vor ein paar Tagen aktualisiert!
Es gibt ja auch 2 unterschiedliche Quellen:

Versuch doch mal eine andere Quelle...

VG
Leif

MathiasJ

@capitaenz
hat auch nichts gebracht...ich habe Rhasspy schon x-mal neu installiert. jedesmal nach einem neustart startet Rhasspy nimmer.
ich mache jetzt mal eine schöpferische Pause und lege den Raspberry zurück in die Bastelkiste.

tobetobe

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

hat auch nichts gebracht..

Der Tipp konnte auch nichts bringen. Mit dem von mir oben geposteten pull-Kommando

sudo docker pull rhasspy/rhasspy:2.5.0-pre

ziehst du immer die aktuelleste Version von rhasspyRhasspy, nicht die von synthesiam/rhasspy-server.

Wahnsinn ist, wenn man immer das gleiche tut und auf ein anderes Ergebnis hofft...

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

jedesmal nach einem neustart startet Rhasspy nimmer.

Das hatte ich dir erklärt. Hier muss noch irgend etwas mit sytemctl oder so gemacht werden, damit Rhasspy nach einem Neustart sich automatisch wieder lädt. Solange dein System noch überhaupt nicht richtig läuft, ist es doch völlig irrelevant nach dieser Funktion zu schauen. Hierzu muss man nur ein wenig recherchieren und dann ist das ein Klacks.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

ich mache jetzt mal eine schöpferische Pause und lege den Raspberry zurück in die Bastelkiste.

Ich hatte dir sinnvolle Hilfe angeboten. Jetzt hast du deine Energie mit nicht zielführenden Aktionen verbraucht. Mach mal deinen Umzug, bzw deine schöpferische Pause. Und wenn du dann willst, helfe ich dir gerne wieder weiter.

MathiasJ

@tobetobe
danke...
nein,

sudo docker pull rhasspy/rhasspy:2.5.0-pre

hat auch nichts gebracht.
ja, wenn ich nicht weiter komme, mache ich das eigentlich immer so.
Raspberry in die Bastelkiste........ nach einer gewissen Zeit ein neuer Anlauf, dann klappt es meistens.

trotzdem danke für die Hilfe.
Gruß,
Mathias

tobetobe

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

nein,
sudo docker pull rhasspy/rhasspy:2.5.0-pre

hat auch nichts gebracht.

Ja, das war eh klar, weil du das schon immer gemacht hast. Das Problem liegt in der Konfigutration, nicht in der Version. Deswegen hatte ich scherzhaft, aber hintergründig gesagt

@tobetobe said in Rhasspy Offline Sprachsteuerung:

Wahnsinn ist, wenn man immer das gleiche tut und auf ein anderes Ergebnis hofft...

Meld' dich einfach, sobald du soweit bist

MathiasJ

@tobetobe
mache ich doch glatt und.....
nein , das habe ich nicht immer so gemacht. zuerst habe ich nur

docker run -it \
    -v "$HOME/.config/rhasspy/master:/profiles" \
    --network host \
    rhasspy/rhasspy:2.5.0-pre \
    --profile de \
    --user-profiles /profiles

gemacht. da zieht er sich die version trotzdem.
An der Config habe ich das letzte mal gar nichts gemacht......
Egal, erst mal Wochenende, ausschlafen......
Edit:
oder noch besser:
Was ich nicht hin bekomme, brauche ich nicht.
Ich komme jetzt seit 55 Jahren ohne Alexa und Co aus.
Dann werde ich es die paar Jahre, die ich noch habe, es wohl auch noch hin bekommen.
Die Anschaffung von 4 Raspberry Zero w, Respeaker, Netzteile, Lautsprecher und etlicher Kleinteilen
und Speicherplatz auf dem Proxmox gespart,
Sorry, aber ich habe keine Lust, jedes mal, wenn mal wieder was schief läuft zu Dir zu kommen.

Gruß,
Mathias

LichtAn

@capitaenz sagte in Rhasspy Offline Sprachsteuerung:

Ich fasse jetzt hier die Arbeit der letzten Tage zusammen, damit weitere Leute von Snips zu Rhasspy wechseln können:
Hier wie es bei mir mit einem RP Pi 3b+, einem Respeaker2 und einem externen Lautsprecher funktioniert hat:
Danke an @joergeli und @tobetobe

Image Flashen mit Win32 DiskImager (Raspian Buster lite)

ssh und wpa_supplicant.conf auf SD-Karte anlegen

Per SSH (z.B. Putty) einloggen
sudo apt update

sudo apt full-upgrade

sudo curl -sSL https://get.docker.com | sh

sudo usermod -aG docker pi

sudo reboot -n
sudo docker pull rhasspy/rhasspy:2.5.0-pre
Dies ist eine Zeile:
sudo sudo docker run -d -p 12101:12101 --restart unless-stopped -v "$HOME/.config/rhasspy/profiles:/profiles" --device /dev/snd:/dev/snd rhasspy/rhasspy:2.5.0-pre --user-profiles /profiles --profile de
sudo wget https://gist.githubusercontent.com/Psychokiller1888/a9826f92c5a3c5d03f34d182fda1ce4c/raw/cbb53252dd55dc4e9f5f6064a493f0981cf133fb/hlc_download.sh

sudo chmod +x hlc_download.sh

sudo ./hlc_download.sh
Fragen

What assistant engine are you using?
2 (rhasspy)

What's the path to your assistant config file?
/home/pi/.config/rhasspy/profiles/de/profile.json

What device do you wish to control with SLC?
1 (respeaker2)

What pattern do you want to use?
5 (kiboost)

Do you need to install / configure your respeaker2?
1 (yes)

SPI Aktivieren
sudo raspi-config
->5->P4->YES->EXIT
->7->A1->Expand Filesystem
->7->A3->16->OK
sudo reboot -n
onboard Sound deaktivieren, nur bei respeaker2 mit Lautsprecher am "SPEAKER"
sudo nano /boot/config.txt
Turn dtparam=audio parameter to off:
von:
dtparam=audio=on
auf:
dtparam=audio=off
STRG+X -> Y -> ENTER

Lautstärke
sudo alsamixer
Speichern funktioniert nicht:
sudo alsactl store
MQTT
sudo apt update

sudo apt install -y mosquitto mosquitto-clients

sudo systemctl enable mosquitto.service

sudo systemctl start mosquitto
<IP-Rhasspy>:12101 -> Webinterface aufrufen

Rhasspy wie folgt einstellen:
MQTT -> External
Host -> IP Rhasspy
Port -> 1883
Audio Recording -> PyAudio
Wake Word -> Snowboy (Apply Frontend nicht anwählen und Sensitivity auf 0.9)
Speech to Text -> Kaldi (Dateien müssen später über das Webinterface nach einem Neustart von Rhasspy nachinstalliert werden)
Intent Recognition -> Fsticuffs
Text to Speech -> PicoTTS
Audio Playing -> aplay
Dialog Management -> Rhasspy
Intent Handling -> ausgegraut
Auf "Sentences" klicken (die Balken)

Reboot Rhasspy
Anschließend die restlichen Dateien mit dem "Download" Knopf herunterladen (Kaldi)

Folgendes zum Test unter [ChangeLightState] eintragen:
[Rolladen]

rolladen_name =  (rolladen ) {name}

rolladen_state = (hochfahren | runterfahren | stoppen ) {state}

<rolladen_name> <rolladen_state>
Abspeichern (Save Sentences) nicht vergessen und anschließend auf "Train" (oben rechts) drücken

Im ioBroker einen (weiteren) MQTT-Adapter hinzufügen.
Diesen als "Client/subscriber" einrichten
Unter "URL" die IP des Rhasspy eintragen und den Port 1883
Unter Subscribe patters UND Prefix für alle Topics folgendes eintragen:
hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Bekanntgeben eigene States beim Verbinden den Haken raus.

Fertig!

Jetzt zum Test sagen:

"snowboy" "rolladen hochfahren"

Was fehlt:

Lautstärke dauerhaft abspeichern, auch nach Reboot

Sprachausgabe über MQTT oder über Blockly per HTTP

LEDs zum leuchten bringen

Hallo Zusammen,

ich bin der Flo und wollte mich jetzt auch mal mit dem Rhasspy befassen.
Habe als Testsystem jetzt einen RPI4 mit Respeaker 4

Das ganze habe ich nach der oben stehenden Anleitung installiert und es hat grundsätzlich geklappt.

Ich hab das Rhasspy 2.5.0 Pre am laufen und kann mich auf die WebIF verbinden. Die Einstellungen habe ich so übernommen.
Aber ich bekomme es leider nicht hin "Snowboy" als Workward zu aktivieren. BZW es passiert nix wenn ich Snowboy Sage, auch kein Beep aus den Lautsprechern.

Wenn ich über Home auf Wake up klicke und z.B. Rolladen hochfahren oder herunterfahren sage wird das richtig erkannt. Da es ja unter Recognize steht und auch die Rolladen als name und hochfahren als state steht.
Auch wird der passende JSON im MQTT unter /names/intent/Rolladen ausgegeben.

Also das Mikrofon des Respeaker4 funktioniert.

Hier meine Einstellungen, evtl übersehe ich ja was.
Bild Text

Den Part mit Sound deaktivieren für den respeaker2 habe ich naturlich ausgelassen. Meine Soundausgabe funktioniert über den 3,5 klinken Port und wenn ich mir mit Speak auf der Homeseite was vorlesen lass kommt auch Ton raus.

Habt ihr evtl eine Idee. Das is LED nicht geht ist normal denke ich da ihr sie unter Was fehlt aufführt.

Gibts da eine Möglichkeit die LED generell zu testen ob sich die Treiber bei der installtion richtig installiert haben.

Gruß Flo

joergeli

@LichtAn
Hi,

Wakeword:
Wenn auch kein Beep kommt, ist evtl. der MQTT nicht richtig eingestellt?
Er sollte auf "External" stehen, IP-Adresse: die vom Rhasspy-Raspi, Port: 1883,
d.h. die Parameter des MOSQUITTO, der zusätzlich auf dem Rhasspy-Raspi läuft.

Werden bei dir die verfügbaren Wakewords aufgelistet, wenn du den Refresh-Button (s. Screenshot) drückst?

(liesel und computer sind von mir nachträglich hinzugefügte Wakewords, bitte ignorieren)
Die Empfindlichkeit von 0.9 ist nur zum Testen, das musst du anschließend verringern, bis ein rel. ausgewogenes Verhältnis von korrekter Erkennung und Fehlauslösungen erreicht ist.
Fehlauslösungen: Bei mir ist es so, daß wenn mehrere Leute durcheinander sprechen, ab und zu Rhasspy anspringt, obwohl niemand das Wakeword gesagt hat. Ich habe da schon mit verschiedenen Wakewords und Empfindlichkeiten experimentiert, aber leider lassen sich diese Fehlauslösungen wohl nicht ganz vermeiden.

Du kannst auch mal versuchen, das anl. computer.umdl im Ordner /home/pi/.config/rhasspy/profiles/de/snowboy zu speichern und damit zu testen: computer.umdl

LEDs:
Bei mir funktioniert der LED-Ring mit dem ReSpeaker 4.
Dazu muss Hermes LED Control (HLC) installiert werden:
Siehe:
Rhasspy-Community
GitHub
Installation von HLC
( Nicht vergessen, SPI mit sudo raspi-config -> 5 Interfacing Options ->P4 SPI, zu aktivieren)

Hinweis:
Der LED-Pattern "Kiboost" funktioniert bei mir nicht richtig, ich würde den ProjectAlice-Pattern empfehlen.
Ich habe den ProjectAlice-Pattern auch ein wenig geforked, s. Anlage:
ProjectAlicePattern.py
Gespeichert wird diese Datei im Ordner /home/pi/hermesLedControl_vx.x.x/ledPatterns

Gruß
Jörg

LichtAn

Hallo Jörg,

da kommen wir der Sache schon näher. Ich habe den Unterordner snowboy gar nicht, dementsprechend werden mir die ganzen Wakewords auch nicht im WebIf angezeigt. :thinking_face:

Bild Text

joergeli

@LichtAn
Sorry, habe mich nicht klar ausgedrückt: den Ordner gibt es normalerweise auch nicht.
Den musst Du selber anlegen, wenn Du eigene Wakewords verwenden willst.

Prüfe aber bitte erst mal das mit den MQTT-Einsellungen und dem Refresh-Button.

joergeli

@LichtAn
...und, hast Du das mal geprüft:
Prüfe aber bitte erst mal das mit den MQTT-Einsellungen und dem Refresh-Button

Gruß
Jörg

Community Forum

NEWS

Rhasspy Offline Sprachsteuerung

Support us

361

32.4k

81.5k

1.3m