NEWS
[Aufruf] Adapter: Snips - Offline Speak2Text
-
Hallo Frank,
das kann ich dir beantworten, wenn ich Walter kurz vorgreifen darf.
Der Adapter benötigt das npm Paket "MQTT", welches nicht gleichbedeutend mit dem gleichnamigen Adapter ist. Durch deinen Befehl hast du das Paket installiert und der Snips-Adapter läuft. In der Konfig des Snips-Adapters feht in der aktuellen Version diese Abhängigkeit. Damit wird das Paket automatisch installiert, falls nicht vorhanden.
Ich habe mich die Tage mal etwas mit der Auswertung der Slots aus Snips beschäftigt und deinen Adapter etwas ergänzt. Werde dir später (Hab noch ein letztes Problem zu lösen.) mal auf Github einen pull-request als Vorschlag schicken. Evtl. kannst du da mal drüber schauen.
In meiner Entwicklungsumgebung wird jetzt die "ioBroker"-App von Snips ausgewertet. Übergeben werden dabei der Text, wie bisher, desweiteren die Werte der Slots (für spätere Auswertung) und der kompilierte Text. Also der Originaltext bei dem die Slots die erkannten Wörter ersetzen. Wichtig um etwa Zahlen in ioBroker zu verarbeiten.
Beispiel:
Setze Licht in der Küche auf fünfzig Prozent. (gesprochen)
setze licht in der küche auf fünfzig prozent (erkannter Text)
setze Licht in der Küche auf 50 Prozent (kompilierter Text und Übergabe an text2command)
Licht (slotDevice)
Küche (slotRoom)
50 (slotValue)
Prozent (slotValuetype)
Außerdem ist der Adapter in ein paar Kleinigkeiten angepasst, so dass du jetzt das Testen hinzufügen (Issue auf github) und in das Repo stellen kannst. Dadurch wird dann auch das MQTT-Paket mitinstalliert. `
Ok, verstanden!
Danke unltdnetworx.
-
Hi teste mal mit… Die neue Version Taucht nicht unter Update repo latest auf..
Gesendet von meinem CLT-L09 mit Tapatalk
-
Eintrag im Repo ist beantragt aber noch nicht angenommen.
-
ist jetzt online….
-
An alle, die den Adapter testen hier kurz meine Erfahrungen:
Ich habe NUR die "ioBroker"-App auf meinem Snips-Assistenten installiert, zusammen mit der neuesten Version des Adapters. Im text2command Adapter sind bei mir zum steuern von Rollos und Licht lediglich die beiden Regeln "Rollladen auf/zu machen" und "Schalte an oder aus mit Funktion" aktiviert.
Beim Licht muss man momentan zum dimmen noch sagen "Schalte das Licht im Wohnzimmer auf 50 Prozent AN". Das liegt einfach an den Schlagworten dieser Regel. Alternativ könnte man das in Zukunft einfach hier einbauen, also "Schalte das … auf 50%" wird ergänzt durch "AN".
Bei den Rollos funktioniert die Steuerung bei mir nur mit einem kleinen Fix. Dazu habe ich bereits einen Request beim Repo von text2command gestellt.
Rückmeldungen wäre klasse. :)
Edit:
Ergänzend werden die gesprochenen Worte für an, auf, hoch, etc. jetzt als true und aus, runter, etc. als false von snips übermittelt. Daher müssen die Regeln in text2command entsprechend angepasst werden.
Wenn man z.B. Snips sagt, "Schalte den Fernseher ein" meldet Snips nun "schalte den Fernseher true". Die Regel muss somit lauten: "Fernseher true" statt "Fernseher/TV ein/an/einschalten/anschalten".
Grund dafür ist, dass dies in späteren Entwicklungsschritten dann in Funktionen leichter verarbeitet werden kann. `
Hi, kannst du mir kurz sagen welche iobroker app du installiert hast? die von equilora oder deine? Wahrscheinlich deine…
Nur um sicher zu gehen, dass die Tests dann auch Aussagkräftig sind...
-
Die ioBroker, also meine.
-
Also bei mir war bisher auch immer alles weg. Für die injects habe ich mir ganz banal ein Skript mit allen Räumen und allen Geräten gemacht. Das wird nach dem Update einfach einmal gestartet und trägt dann die beiden Listen nacheinander Wort für Wort in die beiden inject Datenpunkte ein.
Hab zuerst Pausen dazwischen drin gehabt, geht aber auch in einem Rutsch durch. Lernt alle Wörter an.
Den Skill für Respeaker hab ich bisher nicht zum Leuchten gebracht. Liegt vermutlich auch dran, dass ich die LEDs erst anders angesteuert hatte. Wenn du ihn mit SAM von Windows aus installierst, dann schreibt es die config.ini im DOS Format und es klappt nicht. Am besten die manuelle Installation wählen oder die Datei danach konvertieren. `
ich habe den Respeaker4 konfiguriert:
1. habe https://github.com/Psychokiller1888/snipsLedControl installiert
2. bei der Konfiguration des Dienstes "snipsledcontrol.service" folgenden Eintrag, damit der MQTT Dienst verbunden werden kann (ohne den Eintrag funktionierte es nicht. Ich vermute es liegt an IPv6): mqttServer=127.0.0.1
snipsledcontrol.service:
[Unit]
Description=Snips Led Control
Wants=mosquitto.service snips-audio-server.service
After=mosquitto.service snips-audio-server.service
[Service]
ExecStart=/usr/bin/python main.py –mqttServer=127.0.0.1 –hardware=respeaker4 --pattern=alexa --clientId=default --defaultState=on --leds=12 --defaultBrightness=10 --debug=True
WorkingDirectory=/home/pi/snipsLedControl_v1.6.1
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
3. Als ClientID default verwenden. Ich hatte erst einen anderen Wert definiert. Das hat nicht funktioniert
-
Hi Leute,
ich hab snips.ai mit einem Matrix Voice am laufen und bin ziemlich begeistert. Auch klasse, dass die intents und slots Einzug in den Adapter erhalten hat. WIrd es in Zukunft auch möglich sein, das mit seinen eigenen entworfenen Snips Apps zu verwenden oder ist das nicht möglich? Hab nämlich eine App extra für meine Bedürfnisse entworfen (unpublished) und nur meine benötigten Räume etc. hinterlegt. Ich hab nämlich das Gefühl, wenn man nur die Räume, Devices,… hinterlegt, die man braucht, läuft snips besser. Aber ich werde es jetzt die kommenden Tagen mal ausführlich im Alltag testen, jetzt wo mein Rock64 ankam, auf dem ich Iobroker laufen lasse.
Gruß
Christian
-
Hi Frank,
die gleiche Installation habe ich auch. Wenn ich nur die drei vorgefertigten Einstellungen Alexa, Google oder das dritte (Name fällt mir gerade nicht ein) verwende klappt es auch ganz pasabel und die Installation ist völlig easy. Nur wollte ich z.B. im Standby keine LEDs leuchten habe u.a., damit hatte ich Schwierigkeiten. Bei mir leuchtet z.B. immer eine LED. Wenn ich Snips aufwecke und nichts sage, geht es endlich aus.
Der Skill von Snips direkt funktioniert aktuell in der stable Version mit dem Respeaker 4 nicht. Soll aber in der nächsten Version gehen.
Mal schauen, wenn der Skill von Snips selbst draußen ist. Aber danke für die Anleitung.
-
Hi Christian,
von meiner Seite wird es keinen Support für eigene Apps geben, da es meiner Meinung nach nicht zielführend ist, mehrere Apps zu verarbeiten. Ich persönlich würde eher vorschlagen, Vorschläge abzustimmen, Räume etc. auf Wunsch auch zu ergänzen und gemeinsam an einer App zu arbeiten.
Daher auch die Bitte um Vorschläge und Anregungen zu sinnvollen Intents, Slots und Räumen zur Einarbeitung. Dass es besser verarbeitet wird, wenn weniger Räume drin sind, kann ich nicht bestätigen. Bzw. ist mir bisher nicht aufgefallen. Was definitiv kontraproduktiv ist, ist mehrere Apps gleichzeitig auf Snips zu haben. Weil er dann evtl. falsche Intents erkennt. Z.B. statt getNumeric die Rechner App erkennt.
Momentan habe ich diese Intents implementiert:
setNumeric –> Einstellen von Zahlen
setColor --> Einstellen von Farben
setMedia --> Befehle für Play, etc.
setBoolean --> Ein/Aus/Hoch/Runter mit Rückgabe true/false
getStatus --> Abfragen aller Art
Dazu eben entsprechende Slots. Diese werden momentan nur ausgegeben aber nicht verwertet.
Zusätzlich noch Smalltalk als Auffangintent für den Slot de.iobroker.impletive, also für Füllwörter, die man sonst nicht einfügen könnten. Z.B. Guten Morgen, o.ä.
Mein Plan ist z.B. mit Guten Morgen eine Begrüßung und Ansage anstehender Termine, Müllabfuhr, Wetterbericht etc. Ansagen ausgeben zu lassen.
-
Moin,
alles klar. Danke für die Antwort. Ich werde es jetzt am Wochenende mal testen. Hab noch ne zweite SD-Karte rumliegen auf der ich mal eine Clean-Installation von Snips + Matrix Voice machen mit deiner App. Vielleicht nuschele ich auch einfach zu viel :D
Aber ja, das macht mehr Sinn an einer App zu arbeiten. Und dafür hätte ich auch einen Vorschlag, bei den Broadcasts Musiker/ Musikgenres hinzuzufügen, falls machbar und von vielen erwünscht.
Gruß
Christian
-
Das ist kein Problem. Hast du evtl. ein paar Beispielsätze? Gerne auch per PN oder macht es Sinn das hier zu posten? Vllt. hat ja jemand Verbesserungsvorschläge. Injectfelder kommen dann natürlich auch in den Adapter.
Oder sogar ein eigener Thread nur für Vorschläge mit Beispielsätzen? Dann "müllt" der hier nicht zu.
-
@ unltdnetworx
Baue gerade mein Script für die injects um, wegen der schoenen neuen States…
Dabei grüble ich gerade welches Wort ich am Besten in welchen Inject schreibe...
Also Device Color Room ist soweit klar,impletive nach deine Ausführung unten jetzt auch...Aber was z.B schreibe ich in Broadcast...Hast da auch ein Beispiel...Danke vorab...
-
Broadcast wären meiner Meinung nach Sender, als etwa ARD, ZDF oder Antenne. Wie wir das auswerten weiß ich noch nicht. Evtl. mal über Skripte in text2command nachdenken. Oder eben eigene Regeln.
"Schalte den Fernseher auf ARD" –> harmony.0.Harmony_Hub.Samsung_TV.Number1
Oder so? Keine Ahnung ob das klappt.
-
Hi,
hab jetzt mal paar Trainingssätze für Musiker/ Genre gemacht. Bei den Slots für die Künstlernamen wurde mir eine von WikiData vorgeschlagen. Nur die Genres muss man selbst hinzufügen.
Gruß
13318_trainingss_tzemusik.txt
13318_slotvaluesmusik.txt -
Broadcast wären meiner Meinung nach Sender, als etwa ARD, ZDF oder Antenne. Wie wir das auswerten weiß ich noch nicht. Evtl. mal über Skripte in text2command nachdenken. Oder eben eigene Regeln.
"Schalte den Fernseher auf ARD" –> harmony.0.Harmony_Hub.Samsung_TV.Number1
Oder so? Keine Ahnung ob das klappt. `
Ich schalte meine Radioprogramme über Snips, mpd und text2command ein/aus, habe die Programme in den devices angelernt.
-
Hi zusammen,
endlich ist mein Respeaker gekommen!
Nun möchte ich mir ebenfalls Snips aufbauen.
Welche Addons bzw Skills außer IObroker könnt Ihr mir empfehlen?
Daß ich IObroker auf Snips installieren muß, damit es auf IObroker läuft, steht außer Frage.
Gruß,
Mathias
-
Ich persönlich habe ausschließlich die ioBroker App installiert. Aus dem Grund, dass auf jeden Fall ein Intent von ioBroker erkannt wird. Den Rest lasse ich mir nur mit ioBroker verarbeiten und wieder ausgeben.
Support us
734
Online32.4k
Benutzer81.5k
Themen1.3m
Beiträge