Rhasspy Offline Sprachsteuerung

[capitaenz]

@tobetobe
Ja, richtig, man kann mit der Installation arbeiten, keine Frage.
Wörter werden erkannt und die Übertragung per MQTT funktioniert und ich bin soweit begeistert und euch dankbar für die Hilfe.
Aber es erschließt sich mir nicht, wie ich per MQTT (nicht per Script) eine Sprachausgabe auf dem Rhasspy erzeugen kann, gleichwertig und einfach, wie es bei Snips möglich ist.
Soweit ich @joergeli richtig verstanden habe, hat er deswegen das Script "entwickelt" und mir/uns zur Verfügung gestellt.

VG
Leif

[MathiasJ]

@tobetobe
genau, deshalb will ich ja neu installieren, weil ich auf der 2.5.0 sein will.
Was nimmst Du eigentlich als MQTT? Internen oder für alle den IObroker?

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

genau, deshalb will ich ja neu installieren, weil ich auf der 2.5.0 sein will.

Verstehe, das ist gut so.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Was nimmst Du eigentlich als MQTT? Internen oder für alle den IObroker?

Weder noch. Du brauchst einen externen MQTT-Broker (Broker = Master/Host). Aber NICHT den ioBroker Adapter im Broker-Modus. Der ist im Zusammenspiel mit Rhasspy nicht geeignet.

Entweder folgst du der Anweisung von @joergeli zur einfachen Installation eines MQTT-Brokers unter Linux oder meiner, zur Installation eines MQTT-Brokers in einem Docker. Beides siehe wenige Posts weiter oben.

Wenn du dann diesen externen Broker hast, kannst du den MQTT-Adapter von ioBroker als CLIENT installieren und so konfigurieren, dass er auf diesen externen MQTT-Broker zugreift. Rhasspy Master und Satellite müssen natürlich auch auf die IP-Adresse dieses externen Broker verweisen. Ist alles einfacher, als es sich jetzt vielleicht liest.

Wie der MQTT-Client in ioBroker zu konfigurieren ist, hat @joergeli ebenfalls gut beschrieben.

[MathiasJ]

und alle Sateliten greifen dann auf diesem MQTT-Broker zu, richtig?
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

und alle Sateliten greifen dann auf diesem MQTT-Broker zu, richtig?

Richtig, stell dir den MQTT-Broker als Zentrum eines Kreises vor. Von außen greifen alle Satelliten, der Rhasspy-Master und der ioBroker MQTT-Client darauf zu. Bitte vorstellen, bin zu faul zum Malen...

[MathiasJ]

nein, passt schon. ich suche gerade, wo ich den Beitrag finde, wo erklärt wird, wie
man den MQTT-Server auf dem Rasspy aufsetzt

Edit:
Rhasspy versucht schon seit 30 Minuten 41 MB herunter zu laden.
Ich sehe da nur training profile. Wenn ich das Fenster schließe, sehe ich , dass es ca 41MB sind.

Aber es passiert nichts weiter.
genau wie beim letzten Versuch.
das braucht er wohl noch:

{
    "de_pocketsphinx-cmu/acoustic_model/feat.params": {
        "bytes_expected": 112,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/feat.params",
        "file_path": "/profiles/de/acoustic_model/feat.params",
        "human_size": "112.0 B",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 0
    },
    "de_pocketsphinx-cmu/acoustic_model/feature_transform": {
        "bytes_expected": 4568,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/feature_transform",
        "file_path": "/profiles/de/acoustic_model/feature_transform",
        "human_size": "4.5 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 1
    },
    "de_pocketsphinx-cmu/acoustic_model/mdef": {
        "bytes_expected": 5125554,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/mdef",
        "file_path": "/profiles/de/acoustic_model/mdef",
        "human_size": "4.9 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 2
    },
    "de_pocketsphinx-cmu/acoustic_model/means": {
        "bytes_expected": 11509124,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/means",
        "file_path": "/profiles/de/acoustic_model/means",
        "human_size": "11.0 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 3
    },
    "de_pocketsphinx-cmu/acoustic_model/mixture_weights": {
        "bytes_expected": 396928,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/mixture_weights",
        "file_path": "/profiles/de/acoustic_model/mixture_weights",
        "human_size": "387.6 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 4
    },
    "de_pocketsphinx-cmu/acoustic_model/noisedict": {
        "bytes_expected": 27,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/noisedict",
        "file_path": "/profiles/de/acoustic_model/noisedict",
        "human_size": "27.0 B",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 5
    },
    "de_pocketsphinx-cmu/acoustic_model/transition_matrices": {
        "bytes_expected": 3280,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/transition_matrices",
        "file_path": "/profiles/de/acoustic_model/transition_matrices",
        "human_size": "3.2 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 6
    },
    "de_pocketsphinx-cmu/acoustic_model/variances": {
        "bytes_expected": 11509124,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/variances",
        "file_path": "/profiles/de/acoustic_model/variances",
        "human_size": "11.0 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 7
    },
    "de_pocketsphinx-cmu/base_dictionary.txt": {
        "bytes_expected": 1045421,
        "file_key": "de_pocketsphinx-cmu/base_dictionary.txt",
        "file_path": "/profiles/de/base_dictionary.txt",
        "human_size": "1020.9 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 8
    },
    "de_pocketsphinx-cmu/g2p.fst": {
        "bytes_expected": 14285970,
        "file_key": "de_pocketsphinx-cmu/g2p.fst",
        "file_path": "/profiles/de/g2p.fst",
        "human_size": "13.6 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 9
    }
}

ich mache für heute mal Schluß.

Edit:
Heute früh gerade grmerkt:
Bei einem Neustart startet Rhasspy nicht mehr mit.
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Rhasspy versucht schon seit 30 Minuten 41 MB herunter zu laden.

Also das ist ungewöhnlich. Ich nehme an, das ist dein Master, oder arbeitest du momentan zum Kennenlernen erst einmal nur mit einem System, also quasi Master und Satellit auf einem Pi?

Der Download betrifft ja offensichtlich Pocketsphinx. Wir empfehlen Kaldi, weil es die bessere Erkennung bietet. Damit wäre auch dieser Download für Pocketsphinx hinfällig.

Dann kann es mal Download-Probleme geben, wenn man das deutsche Profil nachträglich installieren möchte. Der einfache und saubere Weg ist, bei der Installation im Kommando "en" gegen "de" auszutauschen. Damit habe ich noch nie ein Problem gehabt. Also zunächster "docker pull ..." und danach für den Master:

docker run -it \
    -v "$HOME/.config/rhasspy/master:/profiles" \
    --network host \
    rhasspy/rhasspy:2.5.0-pre \
    --profile de \
    --user-profiles /profiles

Das Programm läuft dann im DEBUG-Mode, sodass du im Terminal auch sehen kannst, was passiert, bzw. wo ggf Fehler auftreten. Abbrechen mit Ctrl C führt allerdings auch zum Stoppen des Prozesses.

Das ist auch der Grund, warum du neu starten musstest.

Alternative: Zweites Terminal öffnen, mit "docker ps" die laufenden Docker-Prozesse anzeigen lassen und die Rhasspy Prozessnummer kopieren/notieren.

docker rm <nummer> löscht den Container, Konfig bleibt erhalten
docker start/stop <nummer> startet oder stoppt den Container

So kannst du das DEBUG-Fenster bei passender Gelegenheit schließen und den Prozess wieder starten. Bitte beachten: Wenn du den o.g. Installationsbefehl neu ausführst, wird auch eine neue Dockernummer angelegt.
Wie hast du denn

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Bei einem Neustart startet Rhasspy nicht mehr mit.

Stimmt. Ich hatte ja schon eine teilweise Erklärung hierzu gegeben. Mit der Frage, wie man das dauerhaft ändert habe ich mich bislang noch nicht beschäftigt, weil es mir nicht so wichtig war. Vielleicht wäre diese Klärung ja was für dich?

Gutes Gelingen weiterhin.

[tobetobe]

@capitaenz said in Rhasspy Offline Sprachsteuerung:

Aber es erschließt sich mir nicht, wie ich per MQTT (nicht per Script) eine Sprachausgabe auf dem Rhasspy erzeugen kann, gleichwertig und einfach, wie es bei Snips möglich ist.

Ach so! Jetzt verstehe ich endlich das Problem.

Snips kenne ich leider nicht gut genug um beurteilen zu können, wie dort die Sprachausgabe organisiert war. Soweit ich jedoch Rhasspy bislang verstanden habe, gibt es keine Möglichkeit, eine Sprachausgabe einfach zu konfigurieren. Ich habe allerdings im Rhasspy-Forum auch nicht recherchiert, ob es in dieser Richtung schon etwas gibt. Falls du dort auf etwas stoßen solltest, wäre das für alle anderen hier natürlich auch interessant.

Für mich ist das mit den Skripten in Ordnung. Und ich bin auch nur einfacher Anwender mit geringen Programmierkenntnissen. Die meisten Tätigkeiten sind ja eh nur einfache Konfigurationsänderungen.

Mit dem ganzen Set an Skripten kommst du jedenfalls schnell ans Ziel. Wenn du dir jedoch etwas anderes vorstellst, müsstest du dich an das Rhasspy-Forum wenden. Ich und vermutlich auch alle anderen, die sich hier im ioBroker Forum zu Rhasspy äußern, sind dann wohl mit ihrem Latein am Ende.

Aber wie gesagt, wenn du auf eine hilfreiche Quelle stößt, poste sie bitte hier.

[MathiasJ]

@tobetobe
Vielen Dank für die Info.
Nur wie stelle ich das auf Kaldi um?
Der fragt mich gleich nach dem ersten Aufruf der Seite nach den Downloads.
Ja Du hast recht. Es handelt sich um pocketsphinx.
Nein, ich will auf dem Raspberry erst einmal nur einen Master als "Trockenübung" installieren. Wenn der und ein weiterer Satelit dann endlich läuft zieht der Master auf mein Proxmox um. Als Testsystem habe ich einen Respeaker, allerdings nur mit 2 Mikrofone, quasi zum üben. Den habe ich mir damals für Snips gekauft. Aber ich kam nie dazu, das zu testen.
Gruß,
Mathias

[tobetobe]

@MathiasJ
Danke für die Infos. Ich nehme an, die Kiste hängt immer noch beim Download? Falls das der Fall sein sollte, nochmals meine Frage: Wie hast du installiert? Das englische Profil? Dann lösche bitte alles, und zwar den mit docker ps ermittelten Container UND im Dateiverzeichnis das komplette englische Profil, VOR ALLEM die Datei profile.json.

Dann erstellst du dir zunächst einmal den MQTT-Broker, den du in jedem Fall brauchst mit:

sudo apt update
sudo apt install -y mosquitto mosquitto-clients
sudo systemctl enable mosquitto.service
sudo systemctl start mosquitto

Dann die aktuelle Rhasspy-Version ziehen:

sudo docker pull rhasspy/rhasspy:2.5.0-pre

Und danach den Rhasspy-Master neu installieren, mit diesem Befehl zur Installation eines Master, den du komplett kopieren und eingeben musst:

docker run -it \
    -v "$HOME/.config/rhasspy/master:/profiles" \
    --network host \
    rhasspy/rhasspy:2.5.0-pre \
    --profile de \
    --user-profiles /profiles

Sollte wieder ein Download beginnen, kannst du den auch zunächst einmal abbrechen. Und dann stellst du deinen Rhasspy Master so ein, wobei du am besten mit dem Deaktivieren nicht benötigter Teile beginnst und dann auf Kaldi umstellst. Danach speichern und Download und dann die restlichen fehlenden Einstellungen nachziehen. Speichern UND Trainieren nicht vergessen. Am besten postest du danach mal deine Profile.Json aus dem Menü "Advanced"

[MathiasJ]

@tobetobe
nein, habe um 05:00 damit angefangen, nach 2 Stunden dann den Download abgebrochen.
ich denke, wenn er 42MB in 2 Stunden nicht schafft, dann wird das nichts mehr.
Nein, ich habe gleich das deutsche Profil genommen.
bei --profile en / das en durch de ersetzt.
Ja, das kann ich noch versuchen. Vllt klappt das ja.
Ich flashe dann die Speicherkarte neu und beginne von vorne. Dann habe ich wenigstens eine frische Installation.
ich gebe dann bescheid......

Edit:
Hier die profile.json

{
    "dialogue": {
        "system": "rhasspy"
    },
    "handle": {
        "system": "hass"
    },
    "intent": {
        "system": "hermes"
    },
    "microphone": {
        "system": "hermes"
    },
    "mqtt": {
        "enabled": "true",
        "host": ""
    },
    "sounds": {
        "system": "hermes"
    },
    "speech_to_text": {
        "system": "kaldi"
    },
    "text_to_speech": {
        "system": "marytts"
    },
    "wake": {
        "system": "snowboy"
    }
}

trainieren kann ich wieder mal nicht, weil dann das Bild kommt:

und nicht mehr verschwindet.
es werden auch keine Dateien nachgeladen.......
und das, was ich befürchtet habe, ist auch wieder eingetroffen:
nach Reboot öffnet sich die Seite nicht mehr........
es tut mir leid, wenn ich es sagen muß, aber ich denke, ich lasse es.
Habe da schon lange genug rum gedocktert und hat nix gebracht.
trotzdem danke für die Hilfe.
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Habe da schon lange genug rum gedocktert und hat nix gebracht.

In deiner Profile.JSON stimmt aber auch gar nichts. Wenn du willst, können wir uns morgen verabreden und ich schaue per TeamViewer mal bei dir drauf. Es ist für mich nicht nachvollziehbar, was da bei dir passiert. Weder habe ich derartige Schwierigkeiten selbst erlebt, noch solche von anderen gehört.

[MathiasJ]

@tobetobe
Und wie soll das gehen?
Die Seite öffnet sich auch nicht mehr.
Ich weiß nicht, wie ich von der Arbeit nach Hause komme. Sonst gerne.
Oder Du lässt mit die Datei zukommen.
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Und wie soll das gehen?

Du installierst TeamViewer auf deinem PC und ich greife remote auf deinen Rechner zu. Dann stelle ich dir alles ein, wie es sein soll.

Wir sollten dazu nebenher telefonieren können. Kannst du mir per Chat eine Telefonnummer schicken? Dann schicke ich dir im Gegenzug meine und du rufst mich an, sobald du Zeit hast. Ich bin prinzipiell immer erreichbar.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Oder Du lässt mit die Datei zukommen.

Das würde dir wenig helfen. Ich habe zu viele spezielle Einstellungen, die wieder andere Downloads und Installationen voraussetzen

[MathiasJ]

@tobetobe
Wie gesagt, unter der Woche ist es schlecht.
Aber ich schaue, was ich tun kann.
So brisant ist ja das Thema nicht.
Ich stehe gerade vor einem Umzug und in dieser Wohnung soll das nicht mehr installiert werden.
Oder was meinst Du?
Besser warten, bis das Netzwerk im neuen Haus dann steht, sonst muß man es evtl doppelt machen.
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Oder was meinst Du?

Ganz entspannt! Melde dich einfach, wenn es dir passt.

[capitaenz]

@MathiasJ
Ich habe Rhasspy auch diverse Male installiert und muss sagen, das Verhalten, dass Rhasspy nicht mehr startet und auf "Training" stehen bleibt, kenne ich!
Anscheinend wird der Container nur bei der Installation gestartet und anschließend nicht mehr...
Ich habe allerdings so viel probiert, dass ich keine direkte Lösung beisteuern kann, aber ich vermute, es liegt an einem neuen Docker Image, denn dieses wurde vor ein paar Tagen aktualisiert!
Es gibt ja auch 2 unterschiedliche Quellen:

Versuch doch mal eine andere Quelle...

VG
Leif

[MathiasJ]

@capitaenz
hat auch nichts gebracht...ich habe Rhasspy schon x-mal neu installiert. jedesmal nach einem neustart startet Rhasspy nimmer.
ich mache jetzt mal eine schöpferische Pause und lege den Raspberry zurück in die Bastelkiste.

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

hat auch nichts gebracht..

Der Tipp konnte auch nichts bringen. Mit dem von mir oben geposteten pull-Kommando

sudo docker pull rhasspy/rhasspy:2.5.0-pre

ziehst du immer die aktuelleste Version von rhasspyRhasspy, nicht die von synthesiam/rhasspy-server.

Wahnsinn ist, wenn man immer das gleiche tut und auf ein anderes Ergebnis hofft...

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

jedesmal nach einem neustart startet Rhasspy nimmer.

Das hatte ich dir erklärt. Hier muss noch irgend etwas mit sytemctl oder so gemacht werden, damit Rhasspy nach einem Neustart sich automatisch wieder lädt. Solange dein System noch überhaupt nicht richtig läuft, ist es doch völlig irrelevant nach dieser Funktion zu schauen. Hierzu muss man nur ein wenig recherchieren und dann ist das ein Klacks.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

ich mache jetzt mal eine schöpferische Pause und lege den Raspberry zurück in die Bastelkiste.

Ich hatte dir sinnvolle Hilfe angeboten. Jetzt hast du deine Energie mit nicht zielführenden Aktionen verbraucht. Mach mal deinen Umzug, bzw deine schöpferische Pause. Und wenn du dann willst, helfe ich dir gerne wieder weiter.

[MathiasJ]

@tobetobe
danke...
nein,

sudo docker pull rhasspy/rhasspy:2.5.0-pre

hat auch nichts gebracht.
ja, wenn ich nicht weiter komme, mache ich das eigentlich immer so.
Raspberry in die Bastelkiste........ nach einer gewissen Zeit ein neuer Anlauf, dann klappt es meistens.

trotzdem danke für die Hilfe.
Gruß,
Mathias