Rhasspy Offline Sprachsteuerung

capitaenz

Ich hatte zwar schon einmal gefragt, aber vielleicht liest dies jetzt jemand, der eine Antwort parat hat:
Ich bekomme die Lautstärke für das ReSpeaker2MicArray nicht gespeichert.
Ich habe schon praktisch alle Lösungsansätze aus dem Internet durch.
Sobald ich einen Reboot durchführe, ist die Lautstärke im Alsamixer wieder auf 100%...
Die ganzen Sachen wie "alsactl store" und die Dateirechte auf "777" setzen habe ich schon durch.
Mein letzter Versuch war die "asound.state" anzupassen, aber nach einem Neustart sind wieder die alten Werte drin...
Ich nutze "Raspian Buster lite" als System.

Bin jetzt schon den Kompromiss eingegangen die Soundausgabe über das Tablet zu generieren (da Rhasspy dies noch nicht über MQTT kann), aber solange die Lautstärke nicht dauerhaft gespeichert werden kann, lebt Snips wohl noch weiter :dizzy_face:

VG
Leif

tobetobe

@capitaenz
hast du nach dem Speichern und dann nach dem Neustart auch ein alsactl restore durchgeführt? Wenn nicht, kommen natürlich wieder die Default-Werte.

capitaenz

@tobetobe
Ich kann den Alsamixer aufrufen, kann "store" durchführen und den Wert mit "restore" auch wieder aufrufen.
Wenn ich allerdings einen Reboot durchführe, dann ist der Wert der mit "restore" aufgerufen wird wieder bei 100%...
Somit funktioniert auch der Eintrag "/usr/sbin/alsactl restore" in der "rc.local" nicht.
Müsste es so funktionieren, oder mache ich einen Fehler?

VG
Leif

LichtAn

So Jungs und Mädels,

ich hatte wieder ein bisschen Zeit zum testen und habe mich jetzt wieder mit meinem Hermes LED Problem befassen können. Ich habe das Problem warum es nicht geht zwar noch nicht gefunden aber ich konnte es eingrenzen.

Es muss mit einem Rechteproblem mit einem von mir zusätslich zu PI angelegten Benutzer handeln. Denn unter Pi habe ich es jetzt zum laufen bekommen. Auch wenn ich die oben von mir benutzte Anleitung für uns alle und ggf. für einen Anfängerthred einfach mal erweitere.

Danke an @joergeli @tobetobe @capitaenz

Also meine Vorraussetzetzungen sind RPI4 mit 4GB Ram und einem ReSpeaker4 für den PI
Ich werde aber auch die Schritte für den ReSpeaker2 von @capitaenz der Vollständigkeit halber mit rein nehmen.

Image Flashen mit balenaEtcher oder Win32 DiskImager (Raspberry Pi OS Lite )
sh und wpa_supplicant.conf auf SD-Karte anlegen
Per SSH (z.B. Putty) einloggen

sudo apt update 

sudo apt full-upgrade 

sudo curl -sSL https://get.docker.com | sh

sudo usermod -aG docker pi

Jetzt wird der Pixel Ring Treiber installiert damit Hermes LED später auch funktioniert. Damit das ganze funktioniert müssen wir manuell Pyton3-pip installieren. Das ist der Paketverwalter von Phyton den wir brauchen, das er uns den Treiber installiert. Ausserdem tragen wir unsere Home/bin Verzeichnis in die PATH Variablen ein sonst kommt es bei der installation den Pixel-Ring Treibes zu einer Fehlermeldung

export PATH="/home/pi/.local/bin:$PATH"  

sudo apt-get install python3-pip

pip3 install pixel_ring

Dann gleich anschliesend den MQTT Server (ob jetzt oder später ist egal aber dann können wir ihn schon mal nicht vergessen )

sudo apt install -y mosquitto mosquitto-clients

sudo systemctl enable mosquitto.service

sudo systemctl start mosquitto

So und jetzt rebooten wir erstmal

sudo reboot -n

Wieder einloggen und jetzt holen wir uns das Rhasspy Docker Image. Es gibt aktuell ~~(21.06.2020) die 2.5.0 stable.~~ ~~(10.10.2020) die 2.5.6 stable~~. (16.01.2021) die 2.5.9 stable

sudo docker pull rhasspy/rhasspy:2.5.9

und starten es

docker run -d -p 12101:12101 --restart unless-stopped -v "$HOME/.config/rhasspy/profiles:/profiles" --device /dev/snd:/dev/snd rhasspy/rhasspy:2.5.9 --user-profiles /profiles --profile de

so nun den Hermes LED Control installieren

sudo wget https://gist.githubusercontent.com/Psychokiller1888/a9826f92c5a3c5d03f34d182fda1ce4c/raw/cbb53252dd55dc4e9f5f6064a493f0981cf133fb/hlc_download.sh

sudo chmod +x hlc_download.sh

sudo ./hlc_download.sh

Hier mein BSP für meine ReSpeaker 4 installtion. weiter unten dann die ReSpeker 2 config

Fragen
What assistant engine are you using?
2 (rhasspy)
What's the path to your assistant config file?
/home/pi/.config/rhasspy/profiles/de/profile.json
What device do you wish to control with SLC?
2 (respeaker4)
What pattern do you want to use?
3 (projectalice) oder
5 (kiboost)
Do you need to install / configure your respeaker4?
1 (yes)

So hier der Teil von Kollege @capitaenz die er für seinen Respeker 2 gemacht hat

Fragen
What assistant engine are you using?
2 (rhasspy)
What's the path to your assistant config file?
/home/pi/.config/rhasspy/profiles/de/profile.json
What device do you wish to control with SLC?
1 (respeaker2)
What pattern do you want to use?
5 (kiboost)
Do you need to install / configure your respeaker2?
1 (yes)

Ab hier gehts dann für alle wieder gleich weiter

Ab in die Raspi Config um SLI zu aktivieren

sudo raspi-config

->5->P4->YES->EXIT
und nochmal ein reboot

sudo reboot -n

<IP-Rhasspy>:12101 -> Webinterface aufrufen

Rhasspy wie folgt einstellen:
MQTT -> External
Host -> IP Rhasspy
Port -> 1883
Audio Recording -> PyAudio
Wake Word -> Snowboy (Apply Frontend nicht anwählen und Sensitivity auf 0.9) oder bei mir ist es Porcupine da ich mit Sowboy ab dem wechseln der Wake Words ein Problem habe.
Speech to Text -> Kaldi (Dateien müssen später über das Webinterface nach einem Neustart von Rhasspy nachinstalliert werden)
Intent Recognition -> Fsticuffs
Text to Speech -> PicoTTS
Audio Playing -> aplay
Dialog Management -> Rhasspy
Intent Handling -> ausgegraut
Auf "Sentences" klicken (die Balken)
Reboot Rhasspy
Anschließend die restlichen Dateien mit dem "Download" Knopf herunterladen (Kaldi)
Folgendes zum Test unter [ChangeLightState] eintragen:

[Rolladen]
 
rolladen_name =  (rolladen ) {name}
 
rolladen_state = (hochfahren | runterfahren | stoppen ) {state}
 
<rolladen_name> <rolladen_state>

Abspeichern (Save Sentences) nicht vergessen und anschließend auf "Train" (oben rechts) drücken
Im ioBroker einen (weiteren) MQTT-Adapter hinzufügen.
Diesen als "Client/subscriber" einrichten
Unter "URL" die IP des Rhasspy eintragen und den Port 1883
Unter Subscribe patters UND Prefix für alle Topics folgendes eintragen:
hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized <-- Hier war eine kleines Fehlerchen in der Ausführung vom @capitaenz es dürfen keine Leerzeichen enthalten sein
Bekanntgeben eigene States beim Verbinden den Haken raus.

hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized

Fertig!

Jetzt zum Test sagen:
"snowboy" "rolladen hochfahren" oder
"porcupine" "rolladen hochfahren" (je nachdem was ihr gewählt habt)
unter mqqt.0.hermes erscheinen jetzt die Datenpunkte zum Rolladen. (Hier nur als BSP weil es @capitaenz in seiner Ausführung verwendet hat. Das ganze erweitern wie natürlich nach und nach mit [Licht] oder [Themeratur] um das ganze dann in Thematischen blöcken definieren zu können.

Das ganze hilft jetzt hoffentlich dem ein oder anderen Neueinsteiger und erspart ihm viel Zeit

Dank auch an @Xsev für den ein oder anderen kleinen Denkanstoß.

Hier zum Original Posting auf das ich mich beziehe

Gruß Flo

tobetobe

@capitaenz

Hmmm, das sollte so eigentlich funktionieren. Dieses Alsazeug ist leider kompliziert und ich bin mit meinem Latein am Ende. Höchstens würde ich noch ein paar Lösungsansätze sehen, die du ausprobieren könntest:

ZB könntest du die Dateirechte der rc.local ändern, sodass sie vom System nicht mehr geändert werden kann. Oder du ziehst eine Kopie von der Datei und sorgst mit Hilfe eines Batches dafür, dass diese Kopie über rc.local drüberkopiert wird, bevor restore aufgerufen wird. Oder du schreibst einen Batch, der beim Systemstart eine Kommandozeile mit den richtigen Einstellungen an Alsa schickt.

Falls du eine Lösung findest, veröffentliche sie bitte hier. Gutes Gelingen

tobetobe

@capitaenz

Das hier habe ich noch gefunden:

https://wiki.roy-bohn.de/index.php?title=Spezial:Pdfprint&page=Alsamixer

Falls du nicht exakt so verfährst, wie beschrieben, wäre das auch noch einen Versuch wert.

DerT

Hallo zusammen,

nach einer gefühlten Ewigkeit schaffe ich es nun endlich mal das Projekt anzugehen.
Ich habe mittlerweile auch einen RPI inkl einem Mikrofon.
Bin jetzt aber am tüfteln welche Variante der Installation die beste ist.

Mein Ziel ist es einen zentralen rhasspy Server mit mehreren Satelliten zu haben.
Der Server wird in einem LCX Containter auf einer Proxmox Server laufen und ist somit dediziert nur für rhasspy gemacht.
Als Betriebssystem habe ich Ubuntu 20.04 gewählt.

Die Satelliten werden auf einem RPI mit Raspbian laufen betrieben.

Wie sollte ich das System am besten installieren?
Docker? Eigentlich bin ich nicht der Freund davon Docker auf einem Virtuellen Server zu betreiben der nur eine Aufgabe hat.
Das deb Package habe ich irgendwie nicht zum laufen gebracht.

Ich habe mich an diese Doku gehalten.

Das Docker Image habe ich trotzdem mal installiert und gestartet.
Das funktioniert auch.
Hier habe ich aber auch schon mal eine Frage.
In der CLI über welche ich den Container gestartet habe ist nun eine Debug-Ausgabe verblieben.

Soll das so sein?
Wie starte ich den container headless und automatisch mit dem System?

EDIT:
Die Antwort auf die letzte Frage habe ich schon gefunden
https://hub.docker.com/r/rhasspy/rhasspy

Danke für die Hilfe und Gruß
T

DerT

EDIT!
Habe den Fehler gefunden.
Es lag an einem Fehlenden Parameter beim Starten des docker containers auf dem Pi.
Scheinbar ging mir "--local-mqtt-port 13183" beim kopieren verloren.

Hallo zusammen,

nochmal ich.
Da es sich um eine neue Frage handelt erstelle ich einen neuen Post und editiere nicht den alten.

Ich habe nun sowohl einen Client als auch einen Server über das Docker Image erstellt.
Beide sind online und erreichbar.
Wenn ich nun aber einen Befehl aufzeichne und verarbeiten möchte passiert nichts.

Die folgenden Ausgaben habe ich in den Konsolen.

Client


[DEBUG:2020-07-06 15:40:42,893] rhasspyserver_hermes: Waiting for transcription (session_id=fa18980a-6717-4ccf-a879-e6c0c5676778)
[DEBUG:2020-07-06 15:40:42,898] rhasspyserver_hermes: -> AsrStartListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778', stop_on_silence=True, send_audio_captured=True, wakeword_id=None, intent_filter=None)
[DEBUG:2020-07-06 15:40:42,900] rhasspyserver_hermes: Publishing 166 bytes(s) to hermes/asr/startListening
[DEBUG:2020-07-06 15:40:42,910] rhasspyremote_http_hermes: <- AsrStartListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778', stop_on_silence=True, send_audio_captured=True, wakeword_id=None, intent_filter=None)
[DEBUG:2020-07-06 15:40:42,912] rhasspyremote_http_hermes: <- AsrStartListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778', stop_on_silence=True, send_audio_captured=True, wakeword_id=None, intent_filter=None)
[DEBUG:2020-07-06 15:40:44,962] rhasspyremote_http_hermes: <- AsrStopListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778')
[DEBUG:2020-07-06 15:40:44,963] rhasspyremote_http_hermes: Received 47084 byte(s) of WAV data
[DEBUG:2020-07-06 15:40:44,964] rhasspyremote_http_hermes: http://rhasspy.mydomain.loc:12101/api/speech-to-text

Server


[DEBUG:2020-07-06 15:40:45,123] rhasspyserver_hermes: -> AsrStartListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe', stop_on_silence=False, send_audio_captured=True, wakeword_id=None, intent_filter=None)
[DEBUG:2020-07-06 15:40:45,123] rhasspyserver_hermes: Publishing 167 bytes(s) to hermes/asr/startListening
[DEBUG:2020-07-06 15:40:45,124] rhasspyserver_hermes: Sent 47304 byte(s) of WAV data
[DEBUG:2020-07-06 15:40:45,124] rhasspyserver_hermes: -> AsrStopListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe')
[DEBUG:2020-07-06 15:40:45,124] rhasspyserver_hermes: Publishing 74 bytes(s) to hermes/asr/stopListening
[DEBUG:2020-07-06 15:40:45,126] rhasspyasr_kaldi_hermes: <- AsrStartListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe', stop_on_silence=False, send_audio_captured=True, wakeword_id=None, intent_filter=None)
[DEBUG:2020-07-06 15:40:45,127] rhasspyasr_kaldi_hermes: Creating new transcriber session 3612650b-a994-484e-bf3e-be8abef17fbe
[DEBUG:2020-07-06 15:40:45,144] rhasspyasr_kaldi.transcribe: Using kaldi at /usr/lib/rhasspy/lib/kaldi
[DEBUG:2020-07-06 15:40:45,145] rhasspyasr_kaldi_hermes: Starting listening (session_id=3612650b-a994-484e-bf3e-be8abef17fbe)
[DEBUG:2020-07-06 15:40:45,145] rhasspyasr_kaldi_hermes: Receiving audio
[DEBUG:2020-07-06 15:40:45,146] rhasspyasr_kaldi.transcribe: ['/usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster', '--port-num=36203', '--config=/profiles/de/kaldi/model/online/conf/online.conf', '--frame-subsampling-factor=3', '--max-active=7000', '--lattice-beam=8.0', '--acoustic-scale=1.0', '--beam=24.0', '/profiles/de/kaldi/model/model/final.mdl', '/profiles/de/kaldi/model/graph/HCLG.fst', '/profiles/de/kaldi/model/graph/words.txt']
[DEBUG:2020-07-06 15:40:45,193] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster --port-num=36203 --config=/profiles/de/kaldi/model/online/conf/online.conf --frame-subsampling-factor=3 --max-active=7000 --lattice-beam=8.0 --acoustic-scale=1.0 --beam=24.0 /profiles/de/kaldi/model/model/final.mdl /profiles/de/kaldi/model/graph/hclg.fst /profiles/de/kaldi/model/graph/words.txt
[DEBUG:2020-07-06 15:40:45,213] rhasspyasr_kaldi_hermes: <- AsrStopListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe')
[DEBUG:2020-07-06 15:40:45,228] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:computederivedvars():ivector-extractor.cc:183) computing derived variables for ivector extractor
[DEBUG:2020-07-06 15:40:45,720] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:computederivedvars():ivector-extractor.cc:204) done.
[DEBUG:2020-07-06 15:40:45,749] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:removeorphannodes():nnet-nnet.cc:948) removed 1 orphan nodes.
[DEBUG:2020-07-06 15:40:45,749] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:removeorphancomponents():nnet-nnet.cc:847) removing 2 orphan components.
[DEBUG:2020-07-06 15:40:45,749] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:collapse():nnet-utils.cc:1472) added 1 components, removed 2
[DEBUG:2020-07-06 15:40:45,790] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:compilelooped():nnet-compile-looped.cc:345) spent 0.0377569 seconds in looped compilation.
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: error (online2-tcp-nnet3-decode-faster[5.5]:input():kaldi-io.cc:756) error opening input stream /profiles/de/kaldi/model/graph/hclg.fst
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: [ stack-trace: ]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/libkaldi-base.so(kaldi::messagelogger::logmessage() const+0xb42) [0x7f12f1e94652]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster(kaldi::messagelogger::logandthrow::operator=(kaldi::messagelogger const&)+0x21) [0x5591a47651d7]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/libkaldi-util.so(kaldi::input::input(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, bool*)+0xbe) [0x7f12f235aa80]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/libkaldi-fstext.so(fst::readfstkaldigeneric(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, bool)+0x4d) [0x7f12f2864626]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster(main+0xc57) [0x5591a4761a21]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7f12f16db1e3]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster(_start+0x2a) [0x5591a475f71a]
[DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: kaldi::kaldifatalerror

Scheinbar gibt es einen Fehler mit kaldi, jedoch weiß ich nicht wo ich mit der Suche anfangen soll.

EDIT!
Mir ist eben noch aufgefallen, dass ich beim Start des Docker Containers ebenfalls einen Fehler im Log sehen.

[DEBUG:2020-07-07 11:08:50,405] rhasspyserver_hermes: Starting core
[DEBUG:2020-07-07 11:08:50,405] rhasspyserver_hermes: Connecting to localhost:12183 (retries: 0/10)
[ERROR:2020-07-07 11:08:50,408] rhasspyserver_hermes: mqtt connect
Traceback (most recent call last):
  File "/usr/lib/rhasspy/lib/python3.7/site-packages/rhasspyserver_hermes/__init__.py", line 223, in start
    self.client.connect(self.host, self.port)
  File "/usr/lib/rhasspy/lib/python3.7/site-packages/paho/mqtt/client.py", line 937, in connect
    return self.reconnect()
  File "/usr/lib/rhasspy/lib/python3.7/site-packages/paho/mqtt/client.py", line 1071, in reconnect
    sock = self._create_socket_connection()
  File "/usr/lib/rhasspy/lib/python3.7/site-packages/paho/mqtt/client.py", line 3522, in _create_socket_connection
    return socket.create_connection(addr, source_address=source, timeout=self._keepalive)
  File "/usr/lib/python3.7/socket.py", line 727, in create_connection
    raise err
  File "/usr/lib/python3.7/socket.py", line 716, in create_connection
    sock.connect(sa)
ConnectionRefusedError: [Errno 111] Connection refused
2020-07-07 11:08:50,827 INFO spawned: 'mqtt' with pid 175

Gruß
T

DerT

Hi,

ich hoffe ich nerve nicht zu sehr :) .
Habe das ganze nun soweit am laufen, scheitere aber daran die Daten via mqtt an iobroker zu übermitteln.
Ich nutze die 2.5pre Version und habe schon weiter oben gelesen, dass es da scheinbar Probleme gibt.
Leider finde ich nicht mehr viel dazu da die Suche nicht so toll ist. (Wenn ich nach MQTT suche springt er immer zum ersten Vorkommen des Wortes aber nie weiter)

Folgendes habe ich getestet/herausgefunden,

Wenn ich in rhasspy als mqtt broker die Adresse und des Ports meines mqtt Adapters eintrage funktioniert das ganze System nicht mehr und kommt in einen Timeout.

Wenn ich die Adresse und den Port des mosquitto brokers auf meinem Windows PC eintrage funktioniert alles und ich erhalte die Nachrichten.

Ich habe zwischendurch schon gelesen das einer von euch auf dem ioBroker einen mosquitto broker installiert hat, diesen als Ziel in rhasspy angegeben und dann über den mqtt Adapter die Nachrichten erhalten hat.
Leider finde ich den Post nicht mehr :(

Gruß
Thomas

capitaenz

@DerT
z.B. Post 273

sudo apt update
sudo apt install -y mosquitto mosquitto-clients
sudo systemctl enable mosquitto.service
sudo systemctl start mosquitto

Oder suchst du das aus 287?

Im ioBroker einen (weiteren) MQTT-Adapter hinzufügen.
Diesen als "Client/subscriber" einrichten
Unter "URL" die IP des Rhasspy eintragen und den Port 1883
Unter Subscribe patters UND Prefix für alle Topics folgendes eintragen:
hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Bekanntgeben eigene States beim Verbinden den Haken raus.

DerT

@capitaenz
Danke dir.
273 war genau der Post den ich suchte.
Gab es einen Trick den zu finden? Gibt es bessere Möglichkeiten den Thread zu durchsuchen?
Funktioniert nun auch alles.

Gruß
Thomas

capitaenz

@DerT
Ich weiß das auch nur, weil ich selber alles gelesen habe und einiges gepostet :grin:
Mit dem dynamischen nachladen und dem dadurch erschwerten Durchsuchen im Forum habe ich auch so meine Probleme...

DerT

@capitaenz
Hi,

ich hab jetzt mal ein wenig getestet und mir ist was komisches aufgefallen.
Manchmal aktualisiert sich der state im ioBroker nicht.
Wirkt als ob der mqtt Adapter keine Nachricht empfängt.
Nach einem neustart der Instanz geht es wieder 1-mal.

Im Log habe ich folgende Meldung.

ioBroker

mqtt.0	2020-07-08 11:48:12.022	info	(11367) Disconnected from rhasspy.angl.loc: Error: This socket has been ended by the other party

Mosquitto

1594201513: New client connected from 192.168.170.22 as iobroker.mqtt.0 (p2, c1, k1000).
1594201666: Socket error on client iobroker.mqtt.0, disconnecting.

EDIT!
Nach ein paar Minuten Wartezeit funktioniert es auch wieder.

Gruß
Thomas

capitaenz

@DerT sorry, da bin ich raus. Bin nur interessierter ambitionierter Anwender.
Wirft der MQTT-Adapter noch weitere Meldungen? Der Adapter läuft nicht so richtig gut, da gibt es noch Probleme mit lastwill. Die Probleme treten auf, wenn Geräte einfach vom Strom genommen werden.
Kannst ja mal prüfen, ob es nach einem Neustart des Adapters sofort wieder läuft.

DerT

@capitaenz
Hi,
Danke für die Ehrlichkeit.
Habe mir jetzt einen Workaround über NodeRed gebaut. (werde ich später alles mal vorstellen).

Kannst du mir sagen wie ich bei meinem Client-Server Konstrukt herausfinde welcher Client den Befehl erhalten hat?
In der übermittelten JSON steht immer der Master.

Gruß
Thomas

LichtAn

@DerT sagte in Rhasspy Offline Sprachsteuerung:

@capitaenz
Hi,

ich hab jetzt mal ein wenig getestet und mir ist was komisches aufgefallen.
Manchmal aktualisiert sich der state im ioBroker nicht.
Wirkt als ob der mqtt Adapter keine Nachricht empfängt.
Nach einem neustart der Instanz geht es wieder 1-mal.

Kann es sein das du mit mehr als einer Browser Tab im Objektereiter bist.
Mir ist nämlich aufgefallen das dann imm nur der zuletzt auf den State gegannge Browsertab aktiv ist und im anderen keine State Veränderung angezeigt wird (Firefox)
Wenn du aber eine Funktion auf den State legst, Sprachausgabe geht sie trotzdem.

LichtAn

@DerT sagte in Rhasspy Offline Sprachsteuerung:

Kannst du mir sagen wie ich bei meinem Client-Server Konstrukt herausfinde welcher Client den Befehl erhalten hat?
In der übermittelten JSON steht immer der Master.

Das ist bei mir jetzt erst dann der nächste Schritt wenn ich mit einen Satteliten aufbaue. Ich brauch dazu aber erst noch ein Mikro.

DerT

@LichtAn
Die Vermutung hatte ich auch aber mein Javascript wird auch nicht getriggert und das sollte ja unabghängig vom Browser Tab sein.

DerT

Wie bereits angekündigt stelle ich nun mal meine Lösung vor und habe noch ein Paar Fragen wie Ihr gewisse Dinge gelöst habt.

Die Übergabe der JSON an ioBroker erfolgt nun doch wieder über MQTT.
(Nachdem ich meinen ioBroker komplett neu installiert habe gab es keinen Fehler mehr :grimacing: )

Das Skript kann aktuell die folgenden Aufgaben übernehmen

Objekt in einem bestimmten Raum schalten
Objekt ohne den Raum schalten.
In diesem Fall wird zuerst im Raum in dem der rhasspy steht nach dem Objekt gesucht
Falls im Raum kein Objekt mit diesem Namen gefunden wurde wird global danach gesucht
Wenn es global nur ein Objekt gibt wird dieses geschalten.

sentences.ini

[changeLightRoom]
([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}

[changeState]
([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}

sentences.ini

[changeLightRoom]
([schalte] | [mach]) ([das] | [die]) ($objects){objectName} [im] ($rooms){room} ($states){state}

[changeState]
([schalte] | [mach]) ([das] | [die] | [den]) ($objects){objectName} ($states){state}

slot - objects

Highboard 
Stehlampe
Bett
Herd
Licht
Spiegel
Wohnwand
Indirekte Licht
Spüle
Schrank
blablabla

slot - rooms

Schlafzimmer
Küche
Klo
Büro
Esszimmer
Bad
Wohnzimmer

slot - states

ein
an
aus

Durch diese Definition sind alle Daten die später vom Skript verarbeitet werden in Slots.

Das Herzstück des ganzen ist das Javascript.
Der Code ist kommentiert, hoffe meine Kommentare sind nicht zu verwirrend.

//##########################################################################
// Rhasspy-intents via MQTT empfangen und entspr.Datenpunkte setzen/schalten
//##########################################################################
let http = require('http');

/*
Definition meiner Räume und der jeweiligen Objekte darin
Die Struktur sieht dabei wie folgt aus.
Im Intent der übermittelt wird sind sowohl der Raum Name als auch der Objektname als Slot enthalten.
Beide werden dann vom Skript verwendet um den korrekten Datenpunkt herauszufinden.
*/
const rooms = {
    "Büro": {
        "Licht": "sonoff.0.ShellyV1_13.POWER",
    },
    "Wohnzimmer": {
        "Licht": "sonoff.0.ShellyV1_06.POWER",
        "Stehlampe": "OwnDevices.0.433mhzPlugs.10011.PlugC",
        "Wohnwand": "OwnDevices.0.433mhzPlugs.10011.PlugB",
        "Rollo": ""
    },
    "Bad": {
        "Licht": "sonoff.0.ShellyV1_05.POWER",
        "Spiegel": "sonoff.0.ShellyV1_11.POWER",
        "Indirekte Licht": "sonoff.0.SonoffBasic_02.POWER"
    },
    "Esszimmer": {
        "Licht": "sonoff.0.ShellyV1_03.POWER",
        "Highboard": "sonoff.0.SonoffS26_3.POWER"
    },
    "Küche": {
        "Licht": "hm-rpc.1.000858A9960E7A.4.STATE",
        "Spüle": "sonoff.0.ShellyV1_02.POWER",
        "Herd": "sonoff.0.ShellyV1_01.POWER"
    },
    "Schlafzimmer": {
        "Licht": "sonoff.0.ShellyV1_09.POWER",
        "Schrank": "sonoff.0.ShellyV1_10.POWER",
        "Bett": "sonoff.0.SonoffBasic_01.POWER",
        "Rollo": ""
    },
    "Klo": {
        "Licht": "sonoff.0.ShellyV1_04.POWER"
    }
}

//In diesem  json werden nötige Informationen zu allen rhasspys abgelget.
const rhasspySites = {
    "testpi": {
        room: "Büro",
        host: "testpi.angl.loc",
        httpPort: "12101"
    }
}


//************************ Functions *********************
//Mit dieser Funktion werden Strings in einen Boolschen Wert umgewandelt
//Wenn der Wert in 'trueValues' enthalten ist wird 'true' zurückgegeben. 
//Wenn nicht, wird 'false' zurückgegeben
function convertStateToBool(state) {
    const trueValues = ['ein', 'an'];
    return trueValues.includes(state);
}

//Reukursives durchsuchen eines JSON Objektes
//© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
function findValues(obj, key) {
    return findValuesHelper(obj, key, []);
}

//Reukursives durchsuchen eines JSON Objektes
//© https://gist.github.com/shakhal/3cf5402fc61484d58c8d
function findValuesHelper(obj, key, list) {
    if (!obj) return list;
    if (obj instanceof Array) {
        for (var i in obj) {
            list = list.concat(findValuesHelper(obj[i], key, []));
        }
        return list;
    }
    if (obj[key]) list.push(obj[key]);

    if ((typeof obj == "object") && (obj !== null)) {
        var children = Object.keys(obj);
        if (children.length > 0) {
            for (i = 0; i < children.length; i++) {
                list = list.concat(findValuesHelper(obj[children[i]], key, []));
            }
        }
    }
    return list;
}

//Generiert ein JSON-Objekt mit allen wichtigen Informationen für die Funktionen im Skript.
//Dies dient vor allem dazu den späteren Code lesbarer zu machen.
//Beisipel Ergebnis
/*
{
   "slots":{
      "objectName":"Stehlampe",
      "state":"aus"
   },
   "intentName":"changeState",
   "siteId":"testpi"
}
*/
function extractIntentData(message) {
    const parsedMessage = JSON.parse(message);
    let extractedJSON = {};
    extractedJSON.slots = {};
    extractedJSON.intentName = parsedMessage.intent.intentName;
    extractedJSON.siteId = parsedMessage.siteId;

    parsedMessage.slots.forEach(slot => {
        extractedJSON.slots[slot.slotName] = slot.value.value;
    });

    return extractedJSON;
}

//Damit kann jeder Rhasspy sprechen
function speakRhasspy(text, rhasspySiteId) {
    console.log(rhasspySiteId);
    const rhasspy = rhasspySites[rhasspySiteId];
    const options = {
        host: rhasspy.host,
        port: rhasspy.httpPort,
        path: "/api/text-to-speech",
        method: 'POST',
        headers: {
            'User-Agent': 'ioBroker',
            'Content-Type': 'text/plain',
        }
    }

    let req = http.request(options);
    req.on('error', function (e) {
        console.error('ERROR: ' + e.message, "warn");
    });
    req.write(text);
    req.end();
}


//In dieser Variablen werden alle Funktionen gepsiechert die später aufgerufen werden.
//Dies dient dazu den anfallenden Code zu minimieren.
//Die Funktionen haben immer den selben Namen wie die Intents in rhasspy und werden auch darauf basierend aufgerufen.
const callFunctions = {
    //Ändert den Wert eines ioBroker Datenpunktes in einem bestimmten Raum.
    changeLightRoom: function (json) {
        const objectName = json.slots.objectName;
        const roomName = json.slots.room;
        const state = convertStateToBool(json.slots.state);


        //Nur wenn alle 3 Werte vorhanden sind wird der Zustand geändert
        if (typeof roomName != 'undefined' && typeof state != 'undefined' && typeof objectName != 'undefined') {
            const room = rooms[roomName];

            if (typeof room != 'undefined') {
                const lightId = room[objectName];
                if (typeof lightId != 'undefined') {
                    setState(lightId, state);
                }
                else {
                    speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                    console.warn(`can not find object '${objectName}' in room '${roomName}'`);
                }
            }
            else {
                speakRhasspy(`Ich konnte den Raum ${roomName} nicht finden`, json.siteId);
                console.warn(`can not find room '${roomName}' in list of rooms`);
            }

        }
        else {
            speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
            console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | room = '${roomName}' | state = '${state}' | objectName = '${objectName}'`);
        }
    },
    //Ändert des Wert eines ioBroker Datenpunktes auf Basis des Raumes in welchem der Rhasspy sich befindet.
    //Wenn in diesem Raum kein objekt mit diesem Name ist wird rekursiv in allen Räumen danach geuscht.
    //Wenn dann nur ein Objekt mit diesem Namen gefunden wird, wird dieses geschalten.
    changeState: function (json) {
        const objectName = json.slots.objectName;
        const state = convertStateToBool(json.slots.state);
        const site = rhasspySites[json.siteId];
        const room = rooms[site.room];
        let lightId = room[objectName];

        if (typeof lightId === 'undefined') {
            //Prüfen ob es mehr als ein Objekt mit diesem Namen gibt
            const objects = findValues(rooms, objectName);

            if (objects.length === 1) {
                lightId = objects[0];
            }
            else if (objects.length > 1) {
                speakRhasspy(`Es gibt mehrere Objekte mit dem Namen ${objectName}`, json.siteId);
                console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - more than one object found with name '${objectName}'`);
            }
            else {
                speakRhasspy(`Ich konnte ${objectName} nicht finden`, json.siteId);
                console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' - no object found with name '${objectName}'`);
            }
        }

        if (typeof lightId != 'undefined' && typeof state != 'undefined') {
            setState(lightId, state);
        }
        else {
            speakRhasspy(`Etwas ist schief gelaufen`, json.siteId);
            console.warn(`rhasspy intent '${json.intentName}' from '${json.siteId}' slots not complete | lightId = '${lightId}' | state = '${state}'`);
        }
    }
}
//************************ Functions *********************

//************************ Events ************************
//Wird beim auslösen jedes Intents getriggert
on({ id: /mqtt\.0\.hermes\.intent\..*/, change: "any" }, function (obj) {
    const extractedJSON = extractIntentData(obj.state.val);
    const intentName = extractedJSON.intentName;
    const callFunction = callFunctions[intentName];

    if (typeof callFunction != 'undefined') {
        callFunction(extractedJSON);
    }
    else {
        console.error(`Rhasspy: Funktion ist nicht definiert --> Fehler bei Intent ${intentName}`);
    }
});
//************************ Events ************************

Würde mich freuen wenn Ihr mal eure Meinung dazu sagt :)

Außerdem habe ich noch ein paar Fragen.

Mit welchen Wakword System arbeitet Ihr? Ich bekomme Smowboy nicht zum laufen :(
Welches text-2-speach System nutzt ihr? Bei Espeak hört sich das total schlecht an und wirkt als ob es englisch ist.
Habt Ihr Musikdienste wie Spotify und oder Radio eingebunden?

Liebe Grüße und schöne Wochenende

Xsev

Servus, ich hab das System jetzt auch seit ein paar Wochen am laufen. Ich hab jetzt allerdings noch nicht besonders viel Erfahrung sammeln können...

Ich nutze das Porcupine Wakeword, Snowboy hat bei mir am Anfang funktioniert bis ich einmal das Wakeword ändern wollte, dannach kommt ein Timeout und Snowboy geht seitdem bei mir auch nicht mehr. Das ganze geht relativ gut mit Porcupine, allerdings habe ich wenn der Tv läuft, doch immer wieder, das die Steuerung anspringt und manchmal sogar was erkennt und schaltet obwohl weder Wakeword noch was enstprechendes zum ausführen gesagt wurde. Komisch ist wenn ich, die Tv Sendung zurück "spule" und die gleiche Passage neu abspiele es beim zweiten mal nicht mehr passiert... Das nervzt mich immo noch ein bisschen. Hab da schon mit der Empfindlichkeit experimentiert aber wirklich ändern tut sich da leider nichts.
text2speach nutze ich aktuell noch nicht da ich die Sprachsteuerung 99% als Eingabemedium nutzen möchte und nicht zugelabert werden will. Vielleicht ändert sich das aber noch ;-)
Ich hab immo mein Heos System eingebunden aber nur um die Lautsprecher ein und ausschalten zu können, Playlists etc. mach ich darüber (noch) nicht. Das sollte mit Spotify auch klappen, hab ich jetzt aber noch nicht getestet.

LG schönen Sonntag

Community Forum

NEWS

Rhasspy Offline Sprachsteuerung

Support us

467

32.4k

81.5k

1.3m