Rhasspy Offline Sprachsteuerung
-
Hallo Jörg,
Systemlast: Ein stabiler Betrieb von ioBroker ist natürlich essentiell. Ich hoffe, du bekommst dein Problem rasch in den Griff. Ich sehe noch eine dritte Möglichkeit, um nicht evtl den Grund für die Zähflüssigkeit mit einem Backup wieder mit zu installieren. Und zwar: Aufsetzen eines frischen Linux und ioBroker und dann ein Backup von /opt/iobroker wieder einspielen. Nachteil: Wenn du sonstige Pakete installiert hattest, müssen diese ebenfalls neu installiert werden. Aber, wem sage ich das...
Noch ein Hinweis: Ich habe bei meiner Migration von Raspberry auf Odroid H2 auch ein Backup restored, und alle Adapter waren mit dem Backup sofort wieder verfügbar. Es dauert also nicht so lange, wie befürchtet.
Rhasspy V.2.5-pre: Begeisterung kommt bei mir noch nicht auf. Ich habe sie noch nicht zum Laufen bekommen. Ich habe mir jeweils auf Master und Satellit einen Batch gelegt, mit dem ich jeweils die Profile für 2.4.19 und 2.5 sichere, bzw zurückspiele und die jeweils gewünschte Version starte. So bringe ich meine lauffähige 2.4.19 nicht durcheinander und kann immer wieder mal testen. Bei mir hängt sich mit 2.5 der Satellit immer auf. Da hilft dann nur noch der Weg übers Steckernetzteil. Das war wohl auch der Grund für die zerschossene SD.
Snowboy: Ich denke mal, dass uns das kurzfristig nicht berühren wird. Zitat von GitHub:
Our github repositories will remain open, but only community support will be available from this point beyond.Die Communities werden sich also voraussichtlich schon um die weitere Pflege kümmern. Und wenn nicht: Rhasspy basiert ja zum Glück auf einer sehr offenen Architektur. Dann nimmt man halt in 2021 oder später eine aktuelle Alternative. Bin dabei ganz entspannt.
Viele Grüße
Thomas -
@tobetobe
Hallo Thomas,wie bekommst Du denn mit der 2.5 Deine Intents in ioBroker, nicht wie ich via ioBroker-MQTT-Adapter ???
Ich habe das Problem, daß ich in der GUI von Rhasspy zwar einen externen MQTT-Broker (<IP>, Port 1891) eintragen kann und im ioBroker-Log sehe ich dann, daß sich Rhasspy auf div. Topics subscribed.
Allerdings erfolgen zwischen den Subscriptions mehrere disconnections/connections, keine Ahnung, ob das OK ist.Weiter komme ich nicht, weil Rhasspy nach Aktivierung des externem MQTT-Brokers weder auf WakeWord, noch auf WakeUp-Button reagiert.
Stelle ich wieder auf den internen Rhasspy-MQTT-Broker zurück, reagieren sowohl WakeWord, als auch WakeUp-Button einwandfrei.
Wegen meinem ioBroker-Auslastungsproblem:
Wieviel RAM gönnt sich bei Dir der Admin-Adapter? Bei mir sind es knapp 190 MB:
Gruß
Jörg -
Hallo Jörg,
doch, ich habe bisher mit 2.4.19 auch den ioBroker-Adapter für MQTT mit Standard-Port 1883 verwendet. Mit dem internen MQTT-Broker habe ich bislang noch gar nicht gearbeitet.
Wie ich ja zuletzt schrieb, habe ich 2.5 bislang noch nicht zum Laufen gebracht. So wie du das nun beschreibst, scheine ich mit meinem externen MQTT in genau das gleiche Problem zu laufen. Auch bei mir findet keinerlei Reaktion statt. Und nach einem Eingabeversuch hängt sich der Satellit dann komplett auf, nimmt auch über SSH nichts mehr an. In der Tat sieht das nach einem Kommunikationsproblem aus, weil halt keine Antwort kommt.
Ich habe mich schon gefragt, ob man hier noch etwas bei den UDP-Einstellungen tun muss, bin dazu mit meinen Recherchen aber noch nicht sehr weit gekommen.
Zur Auslastung:
Auch hier betreibe ich einen Master für die höherwertigen Schichten (das ist mein Odroid) und einen Pi4 als Subsystem für das Device Management, also Kommunikation mit allen Geräten. Vo daher kann man wohl nur in etwa vergleichen. So sieht das bei mir aus:
Wenn ich nun den RAM-Bedarf vom admin2 zu dem vom admin0 addiere, würde ich sagen, liegt der RAM-Bedarf bei dir nicht in einem ungewöhnlichen Bereich.
Gruß
Thomas -
Hallo Jörg,
zu deinem MQTT-Problem: Im Verzeichnis profiles/de gibt es zwei interessante Dateien, supervisor.log und supervisor.conf. In der conf ist im Prinzip nochmals die komplette Konfiguration abgebildet, inkl IP-Adressen und Ports. Vielleicht schaust du mal, ob hier dein spezieller Port richtig übernommen wurde, oder ob immer Standard 1883 aufgeführt wird.
Gruß
Thomas -
@tobetobe
Hallo Thomas,
In der supervisor.conf werden die Einträge für den externen MQTT (IP, Port) korrekt übernommen.
Das komische, bzw. von @synesthesiam auch als bug bestätigte Problem ist, daß mit externem MQTT keine Reaktion mehr auf WakeWord und WakeUp-Button erfolgt.
Es liegt m.E. nicht daran, daß ich nicht den Standard-Port 1883 verwende, denn ich habe auch mal mit einem externen MOSQUITTO-broker auf Port 1883 getestet, damit erfolgt ebenfalls keine Reaktion (Beeps).Gerade eben noch mal die neueste 2.5-pre installiert, leider besteht das Problem immer noch.
Habe darauf hin das issue noch mal gepushed.
Etwas Positives: Kaldi installiert sich jetzt immer problemlos sofort mit dem DE-Profil.@tobetobe sagte in Rhasspy Offline Sprachsteuerung:
Und nach einem Eingabeversuch hängt sich der Satellit dann komplett auf, nimmt auch über SSH nichts mehr an.
Das Problem hatte ich - zwar nicht mit einem Satelliten - ganz zu Beginn meines Einstieges in Rhasspy auch.
Da blieb dann nur Stecker ziehen. Das hat sich bei mir mit einer neueren V2.4.xx (ich weiß nicht mehr welche Vesion das war) dann von selbst erledigt.Gruß
Jörg -
Hallo Jörg,
lange nicht voneinander gehört. Ich hoffe, es ist alles OK bei dir. Bei mir jedenfalls schon. Bis auf Rhaspy 2.5, welches ich immer noch nicht zum Laufen bekommen habe. Heute morgen habe ich nochmals frisch installiert, Ich habe zwar Zugang zu den Bedienoberflächen und kann auch teilweise konfigurieren. Letztlich bekomme ich beim Tarinieren dann aber Fehlermeldungen und Befehle absetzen geht schon gar nicht. Jetzt habe ich mal Hilfe im Rhasspy Forum angefordert. Mal sehen...Dein Auslastungsthema hat sich erledigt?
Gruß
Thomas -
Hallo Thomas,
nope, Auslastungsproblem besteht leider noch immer.
Ich werde wohl den ioBroker-Raspi neu aufsetzen müssen.Rhasspy V 2.5-pre:
Zwischenzeitlich habe ich immer mal wieder eine neue Revision installiert, aber das MQTT-Problem besteht och.
Trainiert habe ich noch gar nicht, lediglich die sentences (wie spät ist es, wie kalt ist es), die standardmäßig installiert werden, verwendet.
Die werden auch problemlos trainiert und erkannt, wenn ich den internen MQTT-broker verwende.
Stelle ich auf den externen MQTT-broker um, wird nicht mehr auf das WakeWord (snowboy) reagiert.
Drücke ich den WakeUp-Button, kann ich im Rhasspy-Log sehen, daß das Drücken zwar erkannt wurde, aber dann kommt nach ca. 30 Sec. eine Timeout-Meldung.
Es sind auch keine Beeps mehr zu hören.
Nach Rückstellung auf internen MQTT funktioniert's wieder.
Somit kann ich nicht mit ioBroker/JavaScript testen.Ich würde sagen, probier es auch erst mal mit der Standard-Installation, ohne eigene Sentences/Slots. Erst wenn die erfolgreich an den externen MQTT durchgereicht werden, kann man weiter sehen, wie es sich mit eigenen Sentences verhält.
Es ist schade, daß außer uns anscheinend niemand aus der Rhasspy-Community ioBroker verwendet. Ich habe zwar gelesen, daß einige auch einen externen MQTT verwenden, aber wohl immer mit HASSIO.
Keine Ahnung, ob sich in dieser Konstellation MQTT anders verhält.Gruß
Jörg -
Hallo Jörg,
na, dann hoffe ich, dass du das Problem mit einer Neuinstallation tatsächlich behoben bekommst.Was Rhasspy V 2.5-pre betrifft: Ich muss zugeben, dass mich die Informationsflut im Moment ein wenig überfordert. Die Probleme klingen manchmal ähnlich, liegen aber im Detail wieder ganz anders. Wir müssen wohl geduldig sein...
Was mich im Zusammenhang mit deinem MQTT-Problem wundert: Kaykoch hat im Rhasspy-Forum seine Lösung mit Kaldi und externem MQTT vorgestellt, weil sie angeblich funktioniert. Ist zwar Master/Satellite, aber das dürfte ja wohl von der MQTT-Thematik unabhängig sein.
Auf der anderen Seite bestätigt Synthesiam, dass da wirklich ein Problem besteht. Wie passt das alles zusammen? Ich kann mir leider keinen Reim darauf machen. Aber hast du Kaykoch mal gefragt, wieso bei ihm alles mit externem MQTT funktioniert?
Gruß
Thomas -
Hallo Thomas,
ich habe im Rhasspy-Forum gesehen, daß Du Probleme mit Deinen Intents/Slots hattest
Konntest Du zwischenzeitlich mal testen, ob bei Dir der externe MQTT funktioniert?
Anscheinend gibt es wohl Unterschiede, ob man das mit einer Master/Slave-Konfiguration macht, oder nur mit einem Master?Gruß
Jörg -
@joergeli
Hallo Jörg,ich habe seit gestern Abend erst eine halbwegs funktionierende Installation.Immerhin werden zwischen Satellit und Master jetzt schon mal die Intents erkannt - zwar noch nicht über das Mikro, aber wenigstens schon über die Kommandozeile auf dem GUI.
Allerdings nur mit internem MQTT Broker. Sobald ich auf extern stelle, gibt es wieder jede Menge Fehlermeldungen. Das funktioniert also noch nicht.
Mein externer MQTT Broker läuft ja noch auf meinem ioBroker Subsystem und ist nun durch diesen "Bug" unbrauchbar geworden. Ich habe mir also eine zweite Instanz als MQTT Client installiert und mit dem internen MQTT Broker vom Rhasspy-Master verbunden. Und jetzt hätte ich nur noch den Pfad in meinem JS-Skript ändern müssen.
Und an der Stelle begannen dann auf einmal ganz andere Probleme: Ich komme nämlich jetzt nicht mehr auf den ioBroker Port 8081, also admin. Konkret: Der blaue Balken läuft ewig, ohne dass sich die Seite aufbaut. Somit sind die Skripte für mich unerreichbar geworden. Somit kann ich dir leider auch nicht sagen, ob meine Überlegung zu MQTT eine auch für dich brauchbare Zwischenlösung sein könnte.
Zu meinem Problem mit admin habe ich bereits alles mögliche im Forum gelesen und getestet. Nichts half. Ich brauche bei der Lösung des Problems wohl Hilfe...
Übrigens: Das was zwischen den ganzen MQTT-Instanzen so abgeht, lasse ich mir mit MQTT-Explorer anzeigen. Tolles Tool, falls du das noch nicht kennen solltest.
Dennoch: Ich wünsche dir und allen, die dir nahe stehen, ein schönes, erholsames und gesundes Osterfest.
Vielleicht hören wir ja noch voneinander...
Gruß
Thomas -
Hurraaaaah! Geht wieder. Ich habe über die Konsole den Javaskript-Adapter neu gestartet. Das war's - obwohl ich zuvor schon dreimal neu gebootet hatte.
Jetzt gibt es vielleicht kurzfistig, d.h. im Laufe des Abends, eine Info zu Rhassp/MQTT.
Gruß
Thomas -
@tobetobe
Hallo Thomas,
Schön, daß Du den JS-Adapter (oder war es der Admin?) wieder zum Laufen bekommen hast, wobei ich nicht glaube, daß es primär mit den MQTT-Experimenten zu tun hatte - aber wer weiß.
Ich hatte wegen meiner ioBrokerPerformance-Probleme auch mal den Admin-Adapter bewußt gestoppt und habe ihn dann auch nur über die Kommando-Zeile wieder aktivieren können.Wenn ich in Rhasspy den externen MQTT aktiviere, werden im ioBroker-Log eine ganze Menge subsribes und publishings angezeigt, aber auch reconnects. Somit kommt in ioBroker "irgendwas" an, fragt sich nur was.
Weiter testen kann ich ja nicht, weil sowohl WakeUp-Button, als auch WakeWord dann "tot" sind.
Zum Absturz von JS, oder Admin hat das aber bei mir noch nicht geführt.Habe gerade eben zum x-ten Mal eine neue Rhasspy 2.5-Version installiert, gleiches Verhalten.
Ich denke, solange dieses issue nicht gefixed ist, brauche ich wohl auch nicht mehr weiter zu probieren.
Klimmzüge mit zwischengeschalteten MQTT-Clients möchte ich nur ungern machen.Ehrlich gesagt, sehe ich bisher auch keine gravierenden Änderungen von Rhasspy V2.5-pre zu V 2.4.19.
Ich hatte nur gehofft, daß ich durch die Implementation des kpl. HERMES-Protokolles, evtl. HERMES-LED-Control nutzen kann. Aber egal, durch meinen Workaround mit dem Python-Script, bekomme ich auch mit V 2.4.19 den LED-Ring zum Blinken.Zum Anzeigen von MQTT-Ereignissen nutze ich (unter Windows) übrigens MQTT.fx V1.7.1
Ich wünsche Dir ebenfalls Frohe und vor allem gesunde Ostern.
JörgP.S.
Bei dem schönen Wetter habe ich momentan auch keine Lust, meinen performance-schwankenden ioBroker-Raspi neu aufzusetzen. -
Hallo Zusammen,
mal ein kleiner Zwischenstand von meiner Seite.IoBroker und Rhasspy Master laufen auf einem Server.
Als Satelliten habe ich ein RP3B+ und Respeaker als Microfon (+ 30Watt Deckenlautsprecher)Da ich nur Problem mit MQtt habe, hab eich den Rhasspy per Websocket am IoBroker angeschlossen.
Als Wakewort habe ich Snowboy, was aber leider noch zu oft auf "irgendwas" reagiert werde hier versuchen auf Porcupine umzusteigen.Als Sprachausgabe nutze ich MaryTTS und bin damit recht zu frieden, einziger nachteil der rhasspy gibt dem Marrytts immer die Englischen Standort aus (LOCALE=en-US) dies ist fest im code drin und ich hoffe das sie das bald fixen.
Noch ein großes Problem ist, das ich im IoBroker noch nicht rausbekommen von welchem Sateliten die Eingabe kommt, da bei allen Satelliten die SiteID vom Master drinn steht(ist wahrscheinlich ein Fehler)
Als nächstes werde ich mich auch um den LED-Ring mal bemühen, wie ich den ansteuern kann etc.
Frohes Fest euch.
-
@System-9
Hi,
welche Rhasspy-Version? 2 4 19, oder 2.5-pre?
Bei mir funktioniert MQTT mit 2.5-pre auch nicht, mit 2.4.19 einwandfrei.
Snowboy löst auch bei mir manchmal ungewollt aus, trotz div. Einstellungsversuche mit sensitivity und mic-gain - komischerweise nur, wenn meine Frau was sagt, bei mir nie.
Evtl. ist snowboy "allergisch" gegen höhere Frequenzen
Sprachausgabe: Versuch mal pico-tts, das hört sich bei mir am Besten an.
-
@joergeli
benutze 2.4.19 nur leider registrieren sich bei mit Mqtt die intents nicht, hab noch keine ahnung warum
Mal funktioniert es und mal nicht.
Pico TTS hatte ich auch schon probiert, nur leider erzeugt picotts "sehr leise" wave dateien bzw die ausgabe ist leise mit marytts ist das ein wenig lauter.Konnte schon jmd beim Respeaker die led´s von ausen ansteuern ? Würde diese gerne aufblinken lasssen wenn er auf das wakewort reagiert.
-
@System-9 sagte in Rhasspy Offline Sprachsteuerung:
nur leider registrieren sich bei mit Mqtt die intents nicht
Merkwürdig. Bei mir wurden die intents unter z.B. mqtt.0.rhasspy.intent.Fenster sofort angelegt, nachdem zum ersten Mal .ein diesbzgl. Intent gesendet wurde.
Nebenbei: Die gleichen Intents tauchen bei mir auch unter mqtt.0.hermes.intent auf.@System-9 sagte in Rhasspy Offline Sprachsteuerung:
Pico TTS hatte ich auch schon probiert, nur leider erzeugt picotts "sehr leise" wave dateien bzw die ausgabe ist leise mit marytts ist das ein wenig lauter.
Worüber gibst Du denn die Sprache aus?
Ich sende sie standardmaäßig über den ioBroker-PAW-Adapter an ein Wand-Tablet.
Evtl. tut es auch der ioBroker-Say-Adapter.
Habe aber auch schon erfolgreich an der 3,5mm Klinkenbuchse am Raspi über einen zwischengeschalteten 5V/3W-Verstärker über einen Lautsprecher ausgeben könnne.@System-9 sagte in Rhasspy Offline Sprachsteuerung:
Konnte schon jmd beim Respeaker die led´s von ausen ansteuern ? Würde diese gerne aufblinken lasssen wenn er auf das wakewort reagiert.
Habe ich nur über einen Workaround mit Python-Script auf dem Rhasspy-Raspi geschafft:
Guckst Du: Workaround für Pixel-Ring
und hierDas von @KiboOst erstellte HERMES-LED-Control funktioniert nur mit der Rhasspy V2.5, welche ich aber wegen den weiter oben erwähntenMQTT-Problemen mit externem MQTT-Broker noch nicht zum Laufen bekommen habe.
-
Hallo zusammen,
"Basteln" war über Ostern (leider) nicht so angesagt. Ich greife dennoch kurz einige eurer Aspekte auf.
MQTT: Jörg du verfolgst ja auch meinen Chat mit kaykoch im Rhasspy-Forum. Ich werde das jetzt mal so testen, wie von ihm vorgeschlagen. Immerhin scheint es ja bei ihm mit einer eigenen MQTT-Instanz (außerhalb von ioBroker) zu laufen. Er gab auch noch HInweise zur Konfiguration der Rhasspys, die für mich neu waren (neu in dem Sinne, dass sie von der bisherigen Dokumentation abweichen). Spannend ist für mich die Frage, wie ich die angelegten States zu sehen bekomme, bzw wie ich meine Skripte mit den Intents verbinden kann. Das zumindest ist ja in ioBroker über die angelegten Objekte wirklich sehr einfach.
@System-9 said in Rhasspy Offline Sprachsteuerung:
Als Wakewort habe ich Snowboy
Verwendest du Snowboy auch mit dem WakeWord "Snowboy" oder mit einem selbst aufgenommenen, eigenen Wakeword? Bei mir waren alle selbst erzeugten Wakewords unbrauchbar, während "Snowboy" aus meiner Sicht sehr zuverlässig funktioniert.
@System-9 said in Rhasspy Offline Sprachsteuerung:
benutze 2.4.19 nur leider registrieren sich bei mit Mqtt die intents nicht, hab noch keine ahnung warum
Schau mal hier:
https://community.rhasspy.org/t/training-issue-with-rhasspy-2-5-string-index-out-of-range/737/11Kay Koch hat sich da ab Post #11 mit einigen hilfreichen Tipps, auch zum Testen, geäußert. Ansonsten kann ich Jörg nur beipflichten, dass auch mit dem ioBroker MQTT Adapter bei Version 2.4.19 keine Probleme auftauchen und alle Intents einwandfrei erkannt bzw registriert werden.
Lässt vermuten, dass da irgend etwas mit deiner Konfiguration nicht stimmt. Welchen Adapter benutzt du denn? Möchtest du mal die Konfig posten?
Zu den LEDS hat sich auch bereits Jörg geäußert. Da ich ja keinen ReSpeaker habe, kann ich dazu leider nichts mehr beisteuern.
Viele Grüße
Thomas -
@tobetobe sagte in Rhasspy Offline Sprachsteuerung:
Spannend ist für mich die Frage, wie ich die angelegten States zu sehen bekomme, bzw wie ich meine Skripte mit den Intents verbinden kann. Das zumindest ist ja in ioBroker über die angelegten Objekte wirklich sehr einfach.
Hallo Thomas,
das is ja die Crux - wie kann man Rhasspy-Datenpunkte abgreifen, wenn nicht über den ioBroker MQTT-Server?
Ein eigenständiger MQTT-Server außerhalb von ioBroker nutzt da IMHO nichts ?
Node-Red ist für mich keine Option, da das "Verwursteln" der Intents mittels JavaScript m.E. viel einfacher ist.Gruß
Jörg -
Hallo Jörg,
@joergeli said in Rhasspy Offline Sprachsteuerung:
kann man Rhasspy-Datenpunkte abgreifen,
ich frage Kay Koch, wie man das machen muss.. MQTT alleine nutzt ja schließlich nix, die intents müssen auf alle Fälle mit einem Skript weiter verarbeitet werden.
Ob mit Node-Red oder mit JS ist letztlich egal. In beiden Fällen müssen die Intents adressierbar sein. Mit ioBroker ist das wirklich denkbar einfach. Wie ohne? Warten wir die Antwort ab.
Bis bald
Thomas
Thomas -
@tobetobe
Hallo Thomas,
ja, frag ihn mal.
Was Du für mich mal testen könntest (unabhängig von der Übermittelung der MQTT-intents), ob Du auch von dem Bug betroffen bist:In Rhasspy 2.5-pre externen MQTT-Broker einstellen, dann testen, ob noch eine Reaktion auf Wakeword (snowboy) erfolgt. ( bei mir ist das Micro dann "tot").
Warten, bis Rhasspy wieder bereit ist, dann WakeUp-Button drücken und Kommando sagen, Rhasspy-log beobachten ( ca. 30 Sek.). Bei mir kommt ebenfalls Timeout-Error, weil Micro nicht mehr reagiert.
Gruß
Jörg
