NEWS
Test Adapter smart-text2command
-
smart-text2command
Nachdem das Experiment mit ai-parakeet erfolgreich war, habe ich mich an den nächsten Schritt gemacht.
Den gesprochenen Text in Anweisungen für den iobroker umsetzen.
Da ich mich hier eher an der unteren Leistungsgrenze der Rechner orientiere wäre/ist es natürlich mit einer KI einfacher aus dem entsprechenden Text die zu schaltenden Datenpunkte zu extrahieren. Da man aber dafür entsprechend viel CPU/GPU und RAM benötigt versucht dieser Adapter mit etwas einfacheren Techniken dieses Ziel zu erreichen.
Dieser Adapter extrahiert die Informationen auf Basis von NLP (Natural Language Processing) die entsprechenden Informationen.
Das Prinzip orientiert sich an dem, was Alexa (ohne KI) kann.Vorbereitung
Voraussetzung ist, das die Datenpunkte einigermaßen ordentlich gepflegt sind und auf Räume und Funktionen gemappt sind.
Aus diesen Informationen erstellt der Adapter eine Lernsystematik auf basis deren dann Sätze analysiert werden und die entsprechende Absicht (Intent) abgeleitet wird.
Erstellt und getestet habe ich den Adapter erst einmal nur auf Basis extra erstellter Datenpunkte.

Aktuell unterstützt der Adapter die Datenpunktrollen value,level und button.
Die Geräte müssen als channel oder devices angelegt sein. Das Name Attribut ist der Gerätename, der nachher auch erkannt wird. Im Adapter können aber auch noch zusätzliche Aliasnamen definiert werden.Die zugehörigen Datenpunkte müssen mit einer Rolle/role definiert worden sein. Daraus leitet sich dann die Fähigkeit ab (lesen/schreiben von Werten, drücken eines Buttons, etc.)

Konfiguration Admin - Kategorien/Enum
Im Admin Tab Kategorien/Enum müssen die Geräte dann jeweils einem Raum und einer Funktion zugeordnet werden


Daraus ergibt sich dann die Ansteuerung aus den Sätzen die Zuordnung zu Raum und Funktion
Adapterkonfiguration
Im Anschluss kann man dann im in der Adapterkonfiguration die jeweiligen Geräte aktivieren und die verfügbaren Funktionen freigeben.
Also beim gewünschten Gerät die Funktionen freigeben und oben rechts den Schalter auf Aktiv setzen.
Training
Zum Abschluss dann noch das System im Training Tab trainieren lassen. Je nach Umfang dauert das ein paar Sekunden

Zum testen den Test-Labor Reiter
Nun ist das System bereit Befehle zu empfangen.
Zu beginn kann man das im Test Lab Tab machen
Wenn der Schalter nicht auf Ausführen steht, erhält man ein paar Analyseinformationen.
Wenn Ausführen aktiviert ist, wird der Befehl dann auf dem ermittelten Datenpunkt ausgeführt. Der Chat meldet zwar "eingeplant", da die Rückprüfung ob es tatsächlich ausgeführt wurde noch nicht eingebaut ist.Falls die Frage unspezifisch ist, so das der Raum oder das Gerät nicht klar ist, wird zurückgefragt und man kann dann denn die fehlenden Informationen nachliefern.
Optional Anleitung für eigene Testdatenpunkte
Wer selbst einmal nur testdatenpunkte anlegen möchte kann das nach einer Anleitung
machen:
https://github.com/oweitman/ioBroker.smart-text2command/blob/main/documentation/TESTANLEITUNG.mdFähigkeiten
Die Erkennung kann mit normalen Werten und Einheiten umgehen.
Mit speziellen Werten wie Farben, Zeiten und evtl noch ein paar mehr, kann er noch nicht.Installation
Der Adapter kann aktuell nur über den Katzenkopf von npm installiert werden.
Admin/Adapter/Katzenkopf/Benutzerdefiniert
dann
iobroker.smart-text2command
eintragen.Testaufruf
Mich würde nun euer Test interessieren
Der Adapter hat sicherlich noch viele Lücken oder Probleme bestimmte Formulierungen zu erkennen.
Diese Rückmeldungen würde mich interessieren.
Der Status des Adapters ist als alpha zu sehen.Github Link | https://github.com/oweitman/ioBroker.smart-text2command
-
C crunchip verschob dieses Thema von Tester am
-
smart-text2command
Nachdem das Experiment mit ai-parakeet erfolgreich war, habe ich mich an den nächsten Schritt gemacht.
Den gesprochenen Text in Anweisungen für den iobroker umsetzen.
Da ich mich hier eher an der unteren Leistungsgrenze der Rechner orientiere wäre/ist es natürlich mit einer KI einfacher aus dem entsprechenden Text die zu schaltenden Datenpunkte zu extrahieren. Da man aber dafür entsprechend viel CPU/GPU und RAM benötigt versucht dieser Adapter mit etwas einfacheren Techniken dieses Ziel zu erreichen.
Dieser Adapter extrahiert die Informationen auf Basis von NLP (Natural Language Processing) die entsprechenden Informationen.
Das Prinzip orientiert sich an dem, was Alexa (ohne KI) kann.Vorbereitung
Voraussetzung ist, das die Datenpunkte einigermaßen ordentlich gepflegt sind und auf Räume und Funktionen gemappt sind.
Aus diesen Informationen erstellt der Adapter eine Lernsystematik auf basis deren dann Sätze analysiert werden und die entsprechende Absicht (Intent) abgeleitet wird.
Erstellt und getestet habe ich den Adapter erst einmal nur auf Basis extra erstellter Datenpunkte.

Aktuell unterstützt der Adapter die Datenpunktrollen value,level und button.
Die Geräte müssen als channel oder devices angelegt sein. Das Name Attribut ist der Gerätename, der nachher auch erkannt wird. Im Adapter können aber auch noch zusätzliche Aliasnamen definiert werden.Die zugehörigen Datenpunkte müssen mit einer Rolle/role definiert worden sein. Daraus leitet sich dann die Fähigkeit ab (lesen/schreiben von Werten, drücken eines Buttons, etc.)

Konfiguration Admin - Kategorien/Enum
Im Admin Tab Kategorien/Enum müssen die Geräte dann jeweils einem Raum und einer Funktion zugeordnet werden


Daraus ergibt sich dann die Ansteuerung aus den Sätzen die Zuordnung zu Raum und Funktion
Adapterkonfiguration
Im Anschluss kann man dann im in der Adapterkonfiguration die jeweiligen Geräte aktivieren und die verfügbaren Funktionen freigeben.
Also beim gewünschten Gerät die Funktionen freigeben und oben rechts den Schalter auf Aktiv setzen.
Training
Zum Abschluss dann noch das System im Training Tab trainieren lassen. Je nach Umfang dauert das ein paar Sekunden

Zum testen den Test-Labor Reiter
Nun ist das System bereit Befehle zu empfangen.
Zu beginn kann man das im Test Lab Tab machen
Wenn der Schalter nicht auf Ausführen steht, erhält man ein paar Analyseinformationen.
Wenn Ausführen aktiviert ist, wird der Befehl dann auf dem ermittelten Datenpunkt ausgeführt. Der Chat meldet zwar "eingeplant", da die Rückprüfung ob es tatsächlich ausgeführt wurde noch nicht eingebaut ist.Falls die Frage unspezifisch ist, so das der Raum oder das Gerät nicht klar ist, wird zurückgefragt und man kann dann denn die fehlenden Informationen nachliefern.
Optional Anleitung für eigene Testdatenpunkte
Wer selbst einmal nur testdatenpunkte anlegen möchte kann das nach einer Anleitung
machen:
https://github.com/oweitman/ioBroker.smart-text2command/blob/main/documentation/TESTANLEITUNG.mdFähigkeiten
Die Erkennung kann mit normalen Werten und Einheiten umgehen.
Mit speziellen Werten wie Farben, Zeiten und evtl noch ein paar mehr, kann er noch nicht.Installation
Der Adapter kann aktuell nur über den Katzenkopf von npm installiert werden.
Admin/Adapter/Katzenkopf/Benutzerdefiniert
dann
iobroker.smart-text2command
eintragen.Testaufruf
Mich würde nun euer Test interessieren
Der Adapter hat sicherlich noch viele Lücken oder Probleme bestimmte Formulierungen zu erkennen.
Diese Rückmeldungen würde mich interessieren.
Der Status des Adapters ist als alpha zu sehen.Github Link | https://github.com/oweitman/ioBroker.smart-text2command
-
Der Adapter kann nun über npm installiert wird.
Beschreibung oben im Abschnitt InstallationWas der Adapter bereits kann
Die folgenden Sätze stammen aus den automatisierten Tests. Voraussetzung ist jeweils, dass passende ioBroker-Datenpunkte vorhanden, das Gerät aktiviert und die Aktion freigegeben ist.
Schalten und abfragen
- „Schalte die Lampe im Wohnzimmer ein“ – schaltet die zugeordnete Lampe.
- „Schalte die Lampe aus“ – fragt bei mehreren passenden Lampen nach dem Raum.
- „Ist die Lampe an“ – liest den Schaltzustand.
- „Schalte die Lampe im Kinderzimmer ein“ – meldet, wenn der Raum unbekannt ist.
Werte lesen und setzen
- „Wie warm ist es im Schlafzimmer“ – liest den passenden Temperaturwert.
- „Welche Temperatur hat die Heizung im Wohnzimmer“ – liest die gemessene Temperatur der Heizung.
- „Stelle im Wohnzimmer die Temperatur auf 25 Grad“ – setzt den eindeutig passenden Sollwert.
- „Schreibe im Wohnzimmer die Solltemperatur“ – fragt nach dem fehlenden Wert; „21 Grad“ genügt als Antwort.
- „Dimme Lampe“ – fragt nach der Helligkeit; „40 %“ genügt als Antwort.
- „Stelle den Rollladen im Wohnzimmer auf 25 Prozent“ – setzt die Position.
- „Wie stehen die Lamellen im Wohnzimmer“ – liest die Lamellenstellung.
- „Setze die Stellung im Wohnzimmer auf 65 Prozent“ – wählt einen Datenpunkt über seinen konfigurierten Namen.
Taster auslösen
- „Drücke AUF am Rollladen im Wohnzimmer“
- „Aktiviere AUF am Rollladen im Wohnzimmer“
- „Drücke STOP am Rollladen im Wohnzimmer“
- „Schalte Klima im Schlafzimmer“ – löst den einzigen freigegebenen Taster des Geräts aus.
Rückfragen im Gespräch
- „Welche Temperatur“ → Der Adapter fragt nach dem passenden Gerät beziehungsweise Raum. Als nächste Antwort kann beispielsweise „Wohnzimmer“ genügen.
- Sind danach noch mehrere Geräte möglich, kann eine weitere kurze Antwort wie „Sensor B“ die Auswahl abschließen.
- „Betätige den Taster am Rollladen im Wohnzimmer“ → Bei mehreren Tastern fragt der Adapter nach dem gewünschten Taster.
- Eine offene Rückfrage lässt sich mit „Abbrechen!“ beenden.
Deutsch und Englisch sind derzeit die Testsprachen. Getestete englische Beispiele sind unter anderem „Turn on the lamp“, „What temperature“ und „Switch climate in the bedroom“.
Hinweis: Bei Schreibaktionen bestätigt der Adapter die Übergabe an den ioBroker-Datenpunkt. Ob ein echtes Gerät die Änderung ausgeführt hat, muss über dessen Rückmeldedatenpunkt geprüft werden.
Die Namen für die Geräte, Räume und Funktionen sind nicht fix im Modell hinterlegt sondern stammen aus den gepflegten Namen der Datenpunkte und Kategorien/Enums.
Schlüsselwörter wie Schalte/Aktiviere/Stelle/Setze/etc. sind fix im Adapter hinterlegt und werden auf die jeweilige Rolle der Datenpunkte gemappt
-
Was der Adapter bereits kann
Die folgenden Sätze stammen aus den automatisierten Tests. Voraussetzung ist jeweils, dass passende ioBroker-Datenpunkte vorhanden, das Gerät aktiviert und die Aktion freigegeben ist.
Schalten und abfragen
- „Schalte die Lampe im Wohnzimmer ein“ – schaltet die zugeordnete Lampe.
- „Schalte die Lampe aus“ – fragt bei mehreren passenden Lampen nach dem Raum.
- „Ist die Lampe an“ – liest den Schaltzustand.
- „Schalte die Lampe im Kinderzimmer ein“ – meldet, wenn der Raum unbekannt ist.
Werte lesen und setzen
- „Wie warm ist es im Schlafzimmer“ – liest den passenden Temperaturwert.
- „Welche Temperatur hat die Heizung im Wohnzimmer“ – liest die gemessene Temperatur der Heizung.
- „Stelle im Wohnzimmer die Temperatur auf 25 Grad“ – setzt den eindeutig passenden Sollwert.
- „Schreibe im Wohnzimmer die Solltemperatur“ – fragt nach dem fehlenden Wert; „21 Grad“ genügt als Antwort.
- „Dimme Lampe“ – fragt nach der Helligkeit; „40 %“ genügt als Antwort.
- „Stelle den Rollladen im Wohnzimmer auf 25 Prozent“ – setzt die Position.
- „Wie stehen die Lamellen im Wohnzimmer“ – liest die Lamellenstellung.
- „Setze die Stellung im Wohnzimmer auf 65 Prozent“ – wählt einen Datenpunkt über seinen konfigurierten Namen.
Taster auslösen
- „Drücke AUF am Rollladen im Wohnzimmer“
- „Aktiviere AUF am Rollladen im Wohnzimmer“
- „Drücke STOP am Rollladen im Wohnzimmer“
- „Schalte Klima im Schlafzimmer“ – löst den einzigen freigegebenen Taster des Geräts aus.
Rückfragen im Gespräch
- „Welche Temperatur“ → Der Adapter fragt nach dem passenden Gerät beziehungsweise Raum. Als nächste Antwort kann beispielsweise „Wohnzimmer“ genügen.
- Sind danach noch mehrere Geräte möglich, kann eine weitere kurze Antwort wie „Sensor B“ die Auswahl abschließen.
- „Betätige den Taster am Rollladen im Wohnzimmer“ → Bei mehreren Tastern fragt der Adapter nach dem gewünschten Taster.
- Eine offene Rückfrage lässt sich mit „Abbrechen!“ beenden.
Deutsch und Englisch sind derzeit die Testsprachen. Getestete englische Beispiele sind unter anderem „Turn on the lamp“, „What temperature“ und „Switch climate in the bedroom“.
Hinweis: Bei Schreibaktionen bestätigt der Adapter die Übergabe an den ioBroker-Datenpunkt. Ob ein echtes Gerät die Änderung ausgeführt hat, muss über dessen Rückmeldedatenpunkt geprüft werden.
Die Namen für die Geräte, Räume und Funktionen sind nicht fix im Modell hinterlegt sondern stammen aus den gepflegten Namen der Datenpunkte und Kategorien/Enums.
Schlüsselwörter wie Schalte/Aktiviere/Stelle/Setze/etc. sind fix im Adapter hinterlegt und werden auf die jeweilige Rolle der Datenpunkte gemappt
Hier mal ein video zum aktuellen Entwicklungsstand der adapter
ai-parakeet + smart-text2command
Das widget wurde so noch nicht veröffentlicht, da das gerade wie gesagt der aktuelle Entwicklungsstand ist.Als Aktivierungswort musste ich hey jarvis verwenden, da die Erkennungsleistung des aktivierungsworts iobroker nicht so optimal ist. Es gibt die Möglichkeit sich wakewords aus dem Internet zu laden und dem Adapter (ai-parakeet) bereitzustellen oder sich auch ein eigenes wakeword zu trainieren. Beides habe ich selbst nicht probiert.
Die Hotworderkennung finden im client statt.
Die Transkription dann auf dem server mit ai-parakeet.
Der erkannte Text wird dann an den Adapter smart-text2command übergeben, der die Intenterkennung übernimmt.
Der Antworttext wird dann wieder an das widget übergebenIn einem späteren Entwicklungsschritt sollten die Textausgaben auch vorgelesen werden.
-
Hier mal ein video zum aktuellen Entwicklungsstand der adapter
ai-parakeet + smart-text2command
Das widget wurde so noch nicht veröffentlicht, da das gerade wie gesagt der aktuelle Entwicklungsstand ist.Als Aktivierungswort musste ich hey jarvis verwenden, da die Erkennungsleistung des aktivierungsworts iobroker nicht so optimal ist. Es gibt die Möglichkeit sich wakewords aus dem Internet zu laden und dem Adapter (ai-parakeet) bereitzustellen oder sich auch ein eigenes wakeword zu trainieren. Beides habe ich selbst nicht probiert.
Die Hotworderkennung finden im client statt.
Die Transkription dann auf dem server mit ai-parakeet.
Der erkannte Text wird dann an den Adapter smart-text2command übergeben, der die Intenterkennung übernimmt.
Der Antworttext wird dann wieder an das widget übergebenIn einem späteren Entwicklungsschritt sollten die Textausgaben auch vorgelesen werden.
Neue Version 0.0.8
- Die Erkennung von Datenpunkten und Geräten wurde verbessert
- Im Testlab werden nun mehr Informationen zur Analyse angezeigt um Fehlerkennungen besser analisieren zu können. Die Informationen werden nur angezeigt, wenn der Satz über das Testlab eingegeben wurde
- Es werden nun im Testlab die einzelnen Sessions aufgezeichnet, so das auch nachträglich die Daten noch aufgerufen werden können.
-
Neue Version 0.0.8
- Die Erkennung von Datenpunkten und Geräten wurde verbessert
- Im Testlab werden nun mehr Informationen zur Analyse angezeigt um Fehlerkennungen besser analisieren zu können. Die Informationen werden nur angezeigt, wenn der Satz über das Testlab eingegeben wurde
- Es werden nun im Testlab die einzelnen Sessions aufgezeichnet, so das auch nachträglich die Daten noch aufgerufen werden können.
Neue Version 0.0.9
- Die Erfassung eigener Intents wurde repariert
- Es können nun auch Texte in Datenpunkte geschrieben werden
- sendto mit der Abfrage von Parametern wurde als Intent-Fähigkeit hinzugefügt.
Über das Abfragen von Texten konnte ich bspw für meinen squeezeboxrpc das abspielen von Favoriten umsetzen.
Durch die Ansage
Spiele Favorit Jackson Palace
wurde "Jackson Palace" als Text in einen Datenpunkt geschrieben.
Ein javascript reagiert auf die Änderung, sucht per Textübereinstimmung aus der Favoritenliste des squeezeboxrpc Adapters den Favoriten heraus, ermittelt die FavoritenID und schreibt sie in den entsprechenden Befehlsdatenpunkt.
Dadurch werden dann beliebige Favoriten abgespielt,
sofern der Text richtig erfasst und die Favoriten entsprechend benannt sind.Weiterhin kann über die sendto Funktion per JSON feste und variable Parameter an andere Adapter (bspw an ein eigenes Skript im javascript Adapter) übermittelt werden. variable Parameter fragt smart-text2command der Reihe nach ab, falls mehrere notwendig sind.
In Skript kann das dann ausgewertet werden und ein entsprechender Antworttext erstellt werden, der dann an den smart-text2command Adapter zurückgegeben und ausgegeben/angesagt wird. -
Neue Version 0.0.9
- Die Erfassung eigener Intents wurde repariert
- Es können nun auch Texte in Datenpunkte geschrieben werden
- sendto mit der Abfrage von Parametern wurde als Intent-Fähigkeit hinzugefügt.
Über das Abfragen von Texten konnte ich bspw für meinen squeezeboxrpc das abspielen von Favoriten umsetzen.
Durch die Ansage
Spiele Favorit Jackson Palace
wurde "Jackson Palace" als Text in einen Datenpunkt geschrieben.
Ein javascript reagiert auf die Änderung, sucht per Textübereinstimmung aus der Favoritenliste des squeezeboxrpc Adapters den Favoriten heraus, ermittelt die FavoritenID und schreibt sie in den entsprechenden Befehlsdatenpunkt.
Dadurch werden dann beliebige Favoriten abgespielt,
sofern der Text richtig erfasst und die Favoriten entsprechend benannt sind.Weiterhin kann über die sendto Funktion per JSON feste und variable Parameter an andere Adapter (bspw an ein eigenes Skript im javascript Adapter) übermittelt werden. variable Parameter fragt smart-text2command der Reihe nach ab, falls mehrere notwendig sind.
In Skript kann das dann ausgewertet werden und ein entsprechender Antworttext erstellt werden, der dann an den smart-text2command Adapter zurückgegeben und ausgegeben/angesagt wird.Neues Release 0.0.10
- Das System kann nun gesprochene Zahlen (fünfundzwanzig) erkennen. Das war ein Ergebnis aus der Spracheingabe, die manchmal Zahlen als Worte ausgegeben hat.
- Intents zum Abfragen von Räumen, Geräten und Funktionen hinzugefügt. Damit kann man nun Fragen welches von diesen Dingen überhaupt definiert sind und auch unter welchen Schlüsselwörtern sie erreichbar sind.
- Geräte-Tab zeigt nun nur Geräte an, die mindestens einem Raum oder einer Funktion zugewiesen sind. Ansonsten hätte er sehr viele Geräte/Kanal-Datenpunkte angezeigt, was die Bearbeitung unübersichtlich macht.
- Eigene Intents können nun selektiv exportiert werden und auch selektiv importiert werden, falls Nutzer das mal untereinander tauschen möchte.
Intents für Datum und Uhrzeit
Ich bin noch am überlegen ob ich feste Intents für Datum und Uhrzeit mit einbaue, also per Sprache fragen wieviel Uhr es ist. Habe das für mich aber erst einmal über selbst erstellte Intents + ein Skript im javascript-Adapter gelöst, da ich aktuell noch nicht soviel Spezialfälle einbauen wollte. So hat man auch mehr Möglichkeiten die Ausgabe zu beeinflussen.
Wer darauf steht, könnte auf die Frage auf die Uhrzeit, sich dann auch
Es ist 12:15, Schatzi
antworten lassen :)
Sprachausgabe lokal und cloud
Evtl auch noch etwas zum widget, was in den ai-parakeet Adapter kommt.
Dort habe ich mittlerweile neben der hotword-Erkennung und Spracheingabe auch die Sprachausgabe eingebaut.
Beim überlegen wie das umgesetzt werden könnte habe ich festgestellt, das unsere Browser das standardmäßig schon durch die Web SpeechAPI schon können.
https://developer.mozilla.org/de/docs/Web/API/Web_Speech_API
Allerdings hängt es davon ab auf welchen Geräten es läuft.Sprachausgabe Windows (Firefox,Opera,Chromium)
Unter Windows gibt es die Standard Microsoft Stimmen. Die hören sich ein wenig Robotermäßig an, sind aber für so eine Sprachausgabe OK
Sprachausgabe Windows + Google Chrome
Spracheingabe gut
Wenn man Chrome verwendet, gibt es auch noch eine hervorragende Google Deutsch Stimme (auch andere Sprachen), dazu wird aber die Cloud verwendet. Scheint kostenlos zu sein.Sprachausgabe iOS
Spracheingabe gut.
Es werden zwar Stimmen zur Auswahl angezeigt, die Ausgabe hat aber bisher noch nicht funktioniert. Leider hat Apple eine Sicherheitsfunktion eingebaut. Da muss ich schauen wie man sich da konform verhält.Sprachausgabe Android
Muss noch getestet werden.
Sprachausgabe Fire Tablet HD10
Spracheingabe gut
Sprachsynthese leider nicht vorhandenFür die fehlende oder Nicht funktionierende Sprachausgabe werde ich mir noch was überlegen. Es gibt auch die Möglichkeit Sprache auf dem Server erzeugen zu lassen und dann im Browser abspielen lassen.
Wie das zeitlich funktioniert werde ich sehen.Evtl nochmal zur Erinnerung:
Das ist alles lokal und ohne LLM
Lauffähig auch auf kleinen Computer wie raspy und NUCs -
Neues Release 0.0.10
- Das System kann nun gesprochene Zahlen (fünfundzwanzig) erkennen. Das war ein Ergebnis aus der Spracheingabe, die manchmal Zahlen als Worte ausgegeben hat.
- Intents zum Abfragen von Räumen, Geräten und Funktionen hinzugefügt. Damit kann man nun Fragen welches von diesen Dingen überhaupt definiert sind und auch unter welchen Schlüsselwörtern sie erreichbar sind.
- Geräte-Tab zeigt nun nur Geräte an, die mindestens einem Raum oder einer Funktion zugewiesen sind. Ansonsten hätte er sehr viele Geräte/Kanal-Datenpunkte angezeigt, was die Bearbeitung unübersichtlich macht.
- Eigene Intents können nun selektiv exportiert werden und auch selektiv importiert werden, falls Nutzer das mal untereinander tauschen möchte.
Intents für Datum und Uhrzeit
Ich bin noch am überlegen ob ich feste Intents für Datum und Uhrzeit mit einbaue, also per Sprache fragen wieviel Uhr es ist. Habe das für mich aber erst einmal über selbst erstellte Intents + ein Skript im javascript-Adapter gelöst, da ich aktuell noch nicht soviel Spezialfälle einbauen wollte. So hat man auch mehr Möglichkeiten die Ausgabe zu beeinflussen.
Wer darauf steht, könnte auf die Frage auf die Uhrzeit, sich dann auch
Es ist 12:15, Schatzi
antworten lassen :)
Sprachausgabe lokal und cloud
Evtl auch noch etwas zum widget, was in den ai-parakeet Adapter kommt.
Dort habe ich mittlerweile neben der hotword-Erkennung und Spracheingabe auch die Sprachausgabe eingebaut.
Beim überlegen wie das umgesetzt werden könnte habe ich festgestellt, das unsere Browser das standardmäßig schon durch die Web SpeechAPI schon können.
https://developer.mozilla.org/de/docs/Web/API/Web_Speech_API
Allerdings hängt es davon ab auf welchen Geräten es läuft.Sprachausgabe Windows (Firefox,Opera,Chromium)
Unter Windows gibt es die Standard Microsoft Stimmen. Die hören sich ein wenig Robotermäßig an, sind aber für so eine Sprachausgabe OK
Sprachausgabe Windows + Google Chrome
Spracheingabe gut
Wenn man Chrome verwendet, gibt es auch noch eine hervorragende Google Deutsch Stimme (auch andere Sprachen), dazu wird aber die Cloud verwendet. Scheint kostenlos zu sein.Sprachausgabe iOS
Spracheingabe gut.
Es werden zwar Stimmen zur Auswahl angezeigt, die Ausgabe hat aber bisher noch nicht funktioniert. Leider hat Apple eine Sicherheitsfunktion eingebaut. Da muss ich schauen wie man sich da konform verhält.Sprachausgabe Android
Muss noch getestet werden.
Sprachausgabe Fire Tablet HD10
Spracheingabe gut
Sprachsynthese leider nicht vorhandenFür die fehlende oder Nicht funktionierende Sprachausgabe werde ich mir noch was überlegen. Es gibt auch die Möglichkeit Sprache auf dem Server erzeugen zu lassen und dann im Browser abspielen lassen.
Wie das zeitlich funktioniert werde ich sehen.Evtl nochmal zur Erinnerung:
Das ist alles lokal und ohne LLM
Lauffähig auch auf kleinen Computer wie raspy und NUCsNeue Version 0.0.11
- das session-log für externe „SendTo“-Aufrufe wurde erweitert (muss aktiviert sein), so das man auch Anfragen über das voice widget aus dem ai-parakeet adapter nachträglich prüfen kann.
- Intents für Befehle ohne Werte um Folgefragen ergänzt. Bei Anfragen ohne einen konkreten Wert hat das System bisher diese nicht korrekt erkannt. Nun wird zurück gefragt.
Das Voice widget ist nun soweit fertig und per PR an bluefox übergeben worden
https://github.com/ioBroker/ioBroker.ai-parakeet/pull/8Wenn der Adapter dann im beta repo bereitsteht kann man die komplette Kette dann auch mit voice testen.
Im parakeet-Adapter steht nun auch eine lokale Sprachsynthese (über piper) zur Verfügung, so das clients, welche keine lokale Sprachsynthese haben (manche android geräte, bspw fire tablet hd) auch Sprache ausgeben können.
Mein Fire Tablet HD 10 hat damit funktioniert.Das iOS Tablet hat leider noch gezickt. Ich vermute mal das es ein Audioformat verwendet, was so direkt nicht verarbeitet werden kann. aber ich denke das bekomme ich noch in den griff.
In Aura funktioniert es ebenfalls, habe ich soeben getestet.
Hier mal noch meine Zeitansage Intents zum selber ausprobieren
smart-text2command-intents.json
Schlüsselsätze sind dafür"Welches Datum haben wir", "Welches Datum haben wir heute" "Welches Datum und Uhrzeit haben wir", "Datum und Uhrzeit" "Wieviel Uhr haben wir", "Wieviel Uhr ist es", "Wie viel Uhr haben wir", "Wie viel Uhr ist es", "Was zeigt die Uhr"Das dazugehörige Skript ist, welches mit namen time im Unterordner text2command im javascript-Adapter ablegen muss.
Wenn anderer Name oder Unterordner muss die Angaben in den Intents anpassen. Der aktuell eingestellte Wert sieht so aus
script.js.<Unterordner>.<scriptname>"script": "script.js.text2command.time"
Die Sprachmodelle (piper und browser) erkennen das und sprechen bei
11:22
das auch korrekt aus mit
11 Uhr 22
und nicht als
11 doppelpunkt 22Bevor der veröffentlichung des widgets kann das alles auch schon im test labor in den adapter einstellungen des adapter smart-text2command per texteingabe getestet werden.
-
Neue Version 0.0.11
- das session-log für externe „SendTo“-Aufrufe wurde erweitert (muss aktiviert sein), so das man auch Anfragen über das voice widget aus dem ai-parakeet adapter nachträglich prüfen kann.
- Intents für Befehle ohne Werte um Folgefragen ergänzt. Bei Anfragen ohne einen konkreten Wert hat das System bisher diese nicht korrekt erkannt. Nun wird zurück gefragt.
Das Voice widget ist nun soweit fertig und per PR an bluefox übergeben worden
https://github.com/ioBroker/ioBroker.ai-parakeet/pull/8Wenn der Adapter dann im beta repo bereitsteht kann man die komplette Kette dann auch mit voice testen.
Im parakeet-Adapter steht nun auch eine lokale Sprachsynthese (über piper) zur Verfügung, so das clients, welche keine lokale Sprachsynthese haben (manche android geräte, bspw fire tablet hd) auch Sprache ausgeben können.
Mein Fire Tablet HD 10 hat damit funktioniert.Das iOS Tablet hat leider noch gezickt. Ich vermute mal das es ein Audioformat verwendet, was so direkt nicht verarbeitet werden kann. aber ich denke das bekomme ich noch in den griff.
In Aura funktioniert es ebenfalls, habe ich soeben getestet.
Hier mal noch meine Zeitansage Intents zum selber ausprobieren
smart-text2command-intents.json
Schlüsselsätze sind dafür"Welches Datum haben wir", "Welches Datum haben wir heute" "Welches Datum und Uhrzeit haben wir", "Datum und Uhrzeit" "Wieviel Uhr haben wir", "Wieviel Uhr ist es", "Wie viel Uhr haben wir", "Wie viel Uhr ist es", "Was zeigt die Uhr"Das dazugehörige Skript ist, welches mit namen time im Unterordner text2command im javascript-Adapter ablegen muss.
Wenn anderer Name oder Unterordner muss die Angaben in den Intents anpassen. Der aktuell eingestellte Wert sieht so aus
script.js.<Unterordner>.<scriptname>"script": "script.js.text2command.time"
Die Sprachmodelle (piper und browser) erkennen das und sprechen bei
11:22
das auch korrekt aus mit
11 Uhr 22
und nicht als
11 doppelpunkt 22Bevor der veröffentlichung des widgets kann das alles auch schon im test labor in den adapter einstellungen des adapter smart-text2command per texteingabe getestet werden.
So das ging schnell.
Der ai-parakeet adapter in version 0.1.6 mit dem das alles mit voice getestet werden kann nun von npm installiert werden.Dazu bitte im Expertenmodus in den Adapter Tab gehen
Katzenknopf/Benutzerdefiniert und das folgende eintrageniobroker.ai-parakeet@0.1.6
iobroker.voiceInstallation von smart-text2command bitte oben die Installationsanleitung anschauen.
Darüber hinaus hat denis/bluefox auch bereits in das widget eine Anbindung an den assistant Adapter eingebaut.
Nachtrag:
Der Adapter ai-parakeet wurde in voice umbenannt.
https://www.npmjs.com/package/iobroker.voice?activeTab=readme -
So das ging schnell.
Der ai-parakeet adapter in version 0.1.6 mit dem das alles mit voice getestet werden kann nun von npm installiert werden.Dazu bitte im Expertenmodus in den Adapter Tab gehen
Katzenknopf/Benutzerdefiniert und das folgende eintrageniobroker.ai-parakeet@0.1.6
iobroker.voiceInstallation von smart-text2command bitte oben die Installationsanleitung anschauen.
Darüber hinaus hat denis/bluefox auch bereits in das widget eine Anbindung an den assistant Adapter eingebaut.
Nachtrag:
Der Adapter ai-parakeet wurde in voice umbenannt.
https://www.npmjs.com/package/iobroker.voice?activeTab=readme
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden