Weiter zum Inhalt
  • Home
  • Aktuell
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Hell
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dunkel
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. Tester
  4. ...nicht in offiziellem Repo
  5. Test Adapter smart-text2command

NEWS

  • Monatsrückblick Oktober 2026 ist online!
    BluefoxB
    Bluefox
    11
    1
    413

  • Mitmachen: Sprich „ioBroker“ ein – für ein lokales Aktivierungswort
    BluefoxB
    Bluefox
    6
    1
    552

  • Neuer Blogbeitrag: KI in ioBroker, vom Helfer im Admin bis zum eigenen Smart Assistant
    BluefoxB
    Bluefox
    5
    1
    603

Test Adapter smart-text2command

Geplant Angeheftet Gesperrt Verschoben ...nicht in offiziellem Repo
10 Beiträge 1 Kommentatoren 372 Aufrufe 5 Beobachtet
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • OliverIOO
    OliverIOO
    OliverIO
    schrieb am zuletzt editiert von OliverIO
    #1

    smart-text2command

    Nachdem das Experiment mit ai-parakeet erfolgreich war, habe ich mich an den nächsten Schritt gemacht.

    Den gesprochenen Text in Anweisungen für den iobroker umsetzen.

    Da ich mich hier eher an der unteren Leistungsgrenze der Rechner orientiere wäre/ist es natürlich mit einer KI einfacher aus dem entsprechenden Text die zu schaltenden Datenpunkte zu extrahieren. Da man aber dafür entsprechend viel CPU/GPU und RAM benötigt versucht dieser Adapter mit etwas einfacheren Techniken dieses Ziel zu erreichen.

    Dieser Adapter extrahiert die Informationen auf Basis von NLP (Natural Language Processing) die entsprechenden Informationen.
    Das Prinzip orientiert sich an dem, was Alexa (ohne KI) kann.

    Vorbereitung

    Voraussetzung ist, das die Datenpunkte einigermaßen ordentlich gepflegt sind und auf Räume und Funktionen gemappt sind.

    Aus diesen Informationen erstellt der Adapter eine Lernsystematik auf basis deren dann Sätze analysiert werden und die entsprechende Absicht (Intent) abgeleitet wird.

    Erstellt und getestet habe ich den Adapter erst einmal nur auf Basis extra erstellter Datenpunkte.

    image.jpeg

    Aktuell unterstützt der Adapter die Datenpunktrollen value,level und button.
    Die Geräte müssen als channel oder devices angelegt sein. Das Name Attribut ist der Gerätename, der nachher auch erkannt wird. Im Adapter können aber auch noch zusätzliche Aliasnamen definiert werden.

    Die zugehörigen Datenpunkte müssen mit einer Rolle/role definiert worden sein. Daraus leitet sich dann die Fähigkeit ab (lesen/schreiben von Werten, drücken eines Buttons, etc.)

    image.jpeg

    Konfiguration Admin - Kategorien/Enum

    Im Admin Tab Kategorien/Enum müssen die Geräte dann jeweils einem Raum und einer Funktion zugeordnet werden

    image.jpeg

    image.jpeg

    Daraus ergibt sich dann die Ansteuerung aus den Sätzen die Zuordnung zu Raum und Funktion

    Adapterkonfiguration

    Im Anschluss kann man dann im in der Adapterkonfiguration die jeweiligen Geräte aktivieren und die verfügbaren Funktionen freigeben.
    Also beim gewünschten Gerät die Funktionen freigeben und oben rechts den Schalter auf Aktiv setzen.

    image.jpeg

    Training

    Zum Abschluss dann noch das System im Training Tab trainieren lassen. Je nach Umfang dauert das ein paar Sekunden

    image.jpeg

    Zum testen den Test-Labor Reiter

    Nun ist das System bereit Befehle zu empfangen.
    Zu beginn kann man das im Test Lab Tab machen

    image.jpeg

    Wenn der Schalter nicht auf Ausführen steht, erhält man ein paar Analyseinformationen.
    Wenn Ausführen aktiviert ist, wird der Befehl dann auf dem ermittelten Datenpunkt ausgeführt. Der Chat meldet zwar "eingeplant", da die Rückprüfung ob es tatsächlich ausgeführt wurde noch nicht eingebaut ist.

    Falls die Frage unspezifisch ist, so das der Raum oder das Gerät nicht klar ist, wird zurückgefragt und man kann dann denn die fehlenden Informationen nachliefern.

    Optional Anleitung für eigene Testdatenpunkte

    Wer selbst einmal nur testdatenpunkte anlegen möchte kann das nach einer Anleitung
    machen:
    https://github.com/oweitman/ioBroker.smart-text2command/blob/main/documentation/TESTANLEITUNG.md

    Fähigkeiten

    Die Erkennung kann mit normalen Werten und Einheiten umgehen.
    Mit speziellen Werten wie Farben, Zeiten und evtl noch ein paar mehr, kann er noch nicht.

    Installation

    Der Adapter kann aktuell nur über den Katzenkopf von npm installiert werden.
    Admin/Adapter/Katzenkopf/Benutzerdefiniert
    dann
    iobroker.smart-text2command
    eintragen.

    Testaufruf

    Mich würde nun euer Test interessieren

    Der Adapter hat sicherlich noch viele Lücken oder Probleme bestimmte Formulierungen zu erkennen.
    Diese Rückmeldungen würde mich interessieren.
    Der Status des Adapters ist als alpha zu sehen.

    Github Link | https://github.com/oweitman/ioBroker.smart-text2command

    Meine Adapter und Widgets
    TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
    Links im Profil

    OliverIOO 1 Antwort Letzte Antwort
    0
    • crunchipC crunchip verschob dieses Thema von Tester am
    • OliverIOO OliverIO

      smart-text2command

      Nachdem das Experiment mit ai-parakeet erfolgreich war, habe ich mich an den nächsten Schritt gemacht.

      Den gesprochenen Text in Anweisungen für den iobroker umsetzen.

      Da ich mich hier eher an der unteren Leistungsgrenze der Rechner orientiere wäre/ist es natürlich mit einer KI einfacher aus dem entsprechenden Text die zu schaltenden Datenpunkte zu extrahieren. Da man aber dafür entsprechend viel CPU/GPU und RAM benötigt versucht dieser Adapter mit etwas einfacheren Techniken dieses Ziel zu erreichen.

      Dieser Adapter extrahiert die Informationen auf Basis von NLP (Natural Language Processing) die entsprechenden Informationen.
      Das Prinzip orientiert sich an dem, was Alexa (ohne KI) kann.

      Vorbereitung

      Voraussetzung ist, das die Datenpunkte einigermaßen ordentlich gepflegt sind und auf Räume und Funktionen gemappt sind.

      Aus diesen Informationen erstellt der Adapter eine Lernsystematik auf basis deren dann Sätze analysiert werden und die entsprechende Absicht (Intent) abgeleitet wird.

      Erstellt und getestet habe ich den Adapter erst einmal nur auf Basis extra erstellter Datenpunkte.

      image.jpeg

      Aktuell unterstützt der Adapter die Datenpunktrollen value,level und button.
      Die Geräte müssen als channel oder devices angelegt sein. Das Name Attribut ist der Gerätename, der nachher auch erkannt wird. Im Adapter können aber auch noch zusätzliche Aliasnamen definiert werden.

      Die zugehörigen Datenpunkte müssen mit einer Rolle/role definiert worden sein. Daraus leitet sich dann die Fähigkeit ab (lesen/schreiben von Werten, drücken eines Buttons, etc.)

      image.jpeg

      Konfiguration Admin - Kategorien/Enum

      Im Admin Tab Kategorien/Enum müssen die Geräte dann jeweils einem Raum und einer Funktion zugeordnet werden

      image.jpeg

      image.jpeg

      Daraus ergibt sich dann die Ansteuerung aus den Sätzen die Zuordnung zu Raum und Funktion

      Adapterkonfiguration

      Im Anschluss kann man dann im in der Adapterkonfiguration die jeweiligen Geräte aktivieren und die verfügbaren Funktionen freigeben.
      Also beim gewünschten Gerät die Funktionen freigeben und oben rechts den Schalter auf Aktiv setzen.

      image.jpeg

      Training

      Zum Abschluss dann noch das System im Training Tab trainieren lassen. Je nach Umfang dauert das ein paar Sekunden

      image.jpeg

      Zum testen den Test-Labor Reiter

      Nun ist das System bereit Befehle zu empfangen.
      Zu beginn kann man das im Test Lab Tab machen

      image.jpeg

      Wenn der Schalter nicht auf Ausführen steht, erhält man ein paar Analyseinformationen.
      Wenn Ausführen aktiviert ist, wird der Befehl dann auf dem ermittelten Datenpunkt ausgeführt. Der Chat meldet zwar "eingeplant", da die Rückprüfung ob es tatsächlich ausgeführt wurde noch nicht eingebaut ist.

      Falls die Frage unspezifisch ist, so das der Raum oder das Gerät nicht klar ist, wird zurückgefragt und man kann dann denn die fehlenden Informationen nachliefern.

      Optional Anleitung für eigene Testdatenpunkte

      Wer selbst einmal nur testdatenpunkte anlegen möchte kann das nach einer Anleitung
      machen:
      https://github.com/oweitman/ioBroker.smart-text2command/blob/main/documentation/TESTANLEITUNG.md

      Fähigkeiten

      Die Erkennung kann mit normalen Werten und Einheiten umgehen.
      Mit speziellen Werten wie Farben, Zeiten und evtl noch ein paar mehr, kann er noch nicht.

      Installation

      Der Adapter kann aktuell nur über den Katzenkopf von npm installiert werden.
      Admin/Adapter/Katzenkopf/Benutzerdefiniert
      dann
      iobroker.smart-text2command
      eintragen.

      Testaufruf

      Mich würde nun euer Test interessieren

      Der Adapter hat sicherlich noch viele Lücken oder Probleme bestimmte Formulierungen zu erkennen.
      Diese Rückmeldungen würde mich interessieren.
      Der Status des Adapters ist als alpha zu sehen.

      Github Link | https://github.com/oweitman/ioBroker.smart-text2command

      OliverIOO
      OliverIOO
      OliverIO
      schrieb am zuletzt editiert von
      #2

      Der Adapter kann nun über npm installiert wird.
      Beschreibung oben im Abschnitt Installation

      Meine Adapter und Widgets
      TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
      Links im Profil

      OliverIOO 1 Antwort Letzte Antwort
      0
      • OliverIOO OliverIO

        Der Adapter kann nun über npm installiert wird.
        Beschreibung oben im Abschnitt Installation

        OliverIOO
        OliverIOO
        OliverIO
        schrieb am zuletzt editiert von OliverIO
        #3

        Was der Adapter bereits kann

        Die folgenden Sätze stammen aus den automatisierten Tests. Voraussetzung ist jeweils, dass passende ioBroker-Datenpunkte vorhanden, das Gerät aktiviert und die Aktion freigegeben ist.

        Schalten und abfragen

        • „Schalte die Lampe im Wohnzimmer ein“ – schaltet die zugeordnete Lampe.
        • „Schalte die Lampe aus“ – fragt bei mehreren passenden Lampen nach dem Raum.
        • „Ist die Lampe an“ – liest den Schaltzustand.
        • „Schalte die Lampe im Kinderzimmer ein“ – meldet, wenn der Raum unbekannt ist.

        Werte lesen und setzen

        • „Wie warm ist es im Schlafzimmer“ – liest den passenden Temperaturwert.
        • „Welche Temperatur hat die Heizung im Wohnzimmer“ – liest die gemessene Temperatur der Heizung.
        • „Stelle im Wohnzimmer die Temperatur auf 25 Grad“ – setzt den eindeutig passenden Sollwert.
        • „Schreibe im Wohnzimmer die Solltemperatur“ – fragt nach dem fehlenden Wert; „21 Grad“ genügt als Antwort.
        • „Dimme Lampe“ – fragt nach der Helligkeit; „40 %“ genügt als Antwort.
        • „Stelle den Rollladen im Wohnzimmer auf 25 Prozent“ – setzt die Position.
        • „Wie stehen die Lamellen im Wohnzimmer“ – liest die Lamellenstellung.
        • „Setze die Stellung im Wohnzimmer auf 65 Prozent“ – wählt einen Datenpunkt über seinen konfigurierten Namen.

        Taster auslösen

        • „Drücke AUF am Rollladen im Wohnzimmer“
        • „Aktiviere AUF am Rollladen im Wohnzimmer“
        • „Drücke STOP am Rollladen im Wohnzimmer“
        • „Schalte Klima im Schlafzimmer“ – löst den einzigen freigegebenen Taster des Geräts aus.

        Rückfragen im Gespräch

        • „Welche Temperatur“ → Der Adapter fragt nach dem passenden Gerät beziehungsweise Raum. Als nächste Antwort kann beispielsweise „Wohnzimmer“ genügen.
        • Sind danach noch mehrere Geräte möglich, kann eine weitere kurze Antwort wie „Sensor B“ die Auswahl abschließen.
        • „Betätige den Taster am Rollladen im Wohnzimmer“ → Bei mehreren Tastern fragt der Adapter nach dem gewünschten Taster.
        • Eine offene Rückfrage lässt sich mit „Abbrechen!“ beenden.

        Deutsch und Englisch sind derzeit die Testsprachen. Getestete englische Beispiele sind unter anderem „Turn on the lamp“, „What temperature“ und „Switch climate in the bedroom“.

        Hinweis: Bei Schreibaktionen bestätigt der Adapter die Übergabe an den ioBroker-Datenpunkt. Ob ein echtes Gerät die Änderung ausgeführt hat, muss über dessen Rückmeldedatenpunkt geprüft werden.

        Die Namen für die Geräte, Räume und Funktionen sind nicht fix im Modell hinterlegt sondern stammen aus den gepflegten Namen der Datenpunkte und Kategorien/Enums.

        Schlüsselwörter wie Schalte/Aktiviere/Stelle/Setze/etc. sind fix im Adapter hinterlegt und werden auf die jeweilige Rolle der Datenpunkte gemappt

        Meine Adapter und Widgets
        TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
        Links im Profil

        OliverIOO 1 Antwort Letzte Antwort
        0
        • OliverIOO OliverIO

          Was der Adapter bereits kann

          Die folgenden Sätze stammen aus den automatisierten Tests. Voraussetzung ist jeweils, dass passende ioBroker-Datenpunkte vorhanden, das Gerät aktiviert und die Aktion freigegeben ist.

          Schalten und abfragen

          • „Schalte die Lampe im Wohnzimmer ein“ – schaltet die zugeordnete Lampe.
          • „Schalte die Lampe aus“ – fragt bei mehreren passenden Lampen nach dem Raum.
          • „Ist die Lampe an“ – liest den Schaltzustand.
          • „Schalte die Lampe im Kinderzimmer ein“ – meldet, wenn der Raum unbekannt ist.

          Werte lesen und setzen

          • „Wie warm ist es im Schlafzimmer“ – liest den passenden Temperaturwert.
          • „Welche Temperatur hat die Heizung im Wohnzimmer“ – liest die gemessene Temperatur der Heizung.
          • „Stelle im Wohnzimmer die Temperatur auf 25 Grad“ – setzt den eindeutig passenden Sollwert.
          • „Schreibe im Wohnzimmer die Solltemperatur“ – fragt nach dem fehlenden Wert; „21 Grad“ genügt als Antwort.
          • „Dimme Lampe“ – fragt nach der Helligkeit; „40 %“ genügt als Antwort.
          • „Stelle den Rollladen im Wohnzimmer auf 25 Prozent“ – setzt die Position.
          • „Wie stehen die Lamellen im Wohnzimmer“ – liest die Lamellenstellung.
          • „Setze die Stellung im Wohnzimmer auf 65 Prozent“ – wählt einen Datenpunkt über seinen konfigurierten Namen.

          Taster auslösen

          • „Drücke AUF am Rollladen im Wohnzimmer“
          • „Aktiviere AUF am Rollladen im Wohnzimmer“
          • „Drücke STOP am Rollladen im Wohnzimmer“
          • „Schalte Klima im Schlafzimmer“ – löst den einzigen freigegebenen Taster des Geräts aus.

          Rückfragen im Gespräch

          • „Welche Temperatur“ → Der Adapter fragt nach dem passenden Gerät beziehungsweise Raum. Als nächste Antwort kann beispielsweise „Wohnzimmer“ genügen.
          • Sind danach noch mehrere Geräte möglich, kann eine weitere kurze Antwort wie „Sensor B“ die Auswahl abschließen.
          • „Betätige den Taster am Rollladen im Wohnzimmer“ → Bei mehreren Tastern fragt der Adapter nach dem gewünschten Taster.
          • Eine offene Rückfrage lässt sich mit „Abbrechen!“ beenden.

          Deutsch und Englisch sind derzeit die Testsprachen. Getestete englische Beispiele sind unter anderem „Turn on the lamp“, „What temperature“ und „Switch climate in the bedroom“.

          Hinweis: Bei Schreibaktionen bestätigt der Adapter die Übergabe an den ioBroker-Datenpunkt. Ob ein echtes Gerät die Änderung ausgeführt hat, muss über dessen Rückmeldedatenpunkt geprüft werden.

          Die Namen für die Geräte, Räume und Funktionen sind nicht fix im Modell hinterlegt sondern stammen aus den gepflegten Namen der Datenpunkte und Kategorien/Enums.

          Schlüsselwörter wie Schalte/Aktiviere/Stelle/Setze/etc. sind fix im Adapter hinterlegt und werden auf die jeweilige Rolle der Datenpunkte gemappt

          OliverIOO
          OliverIOO
          OliverIO
          schrieb am zuletzt editiert von OliverIO
          #4

          Hier mal ein video zum aktuellen Entwicklungsstand der adapter
          ai-parakeet + smart-text2command
          Das widget wurde so noch nicht veröffentlicht, da das gerade wie gesagt der aktuelle Entwicklungsstand ist.

          Als Aktivierungswort musste ich hey jarvis verwenden, da die Erkennungsleistung des aktivierungsworts iobroker nicht so optimal ist. Es gibt die Möglichkeit sich wakewords aus dem Internet zu laden und dem Adapter (ai-parakeet) bereitzustellen oder sich auch ein eigenes wakeword zu trainieren. Beides habe ich selbst nicht probiert.

          test.mp4

          Die Hotworderkennung finden im client statt.
          Die Transkription dann auf dem server mit ai-parakeet.
          Der erkannte Text wird dann an den Adapter smart-text2command übergeben, der die Intenterkennung übernimmt.
          Der Antworttext wird dann wieder an das widget übergeben

          In einem späteren Entwicklungsschritt sollten die Textausgaben auch vorgelesen werden.

          Meine Adapter und Widgets
          TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
          Links im Profil

          OliverIOO 1 Antwort Letzte Antwort
          0
          • OliverIOO OliverIO

            Hier mal ein video zum aktuellen Entwicklungsstand der adapter
            ai-parakeet + smart-text2command
            Das widget wurde so noch nicht veröffentlicht, da das gerade wie gesagt der aktuelle Entwicklungsstand ist.

            Als Aktivierungswort musste ich hey jarvis verwenden, da die Erkennungsleistung des aktivierungsworts iobroker nicht so optimal ist. Es gibt die Möglichkeit sich wakewords aus dem Internet zu laden und dem Adapter (ai-parakeet) bereitzustellen oder sich auch ein eigenes wakeword zu trainieren. Beides habe ich selbst nicht probiert.

            test.mp4

            Die Hotworderkennung finden im client statt.
            Die Transkription dann auf dem server mit ai-parakeet.
            Der erkannte Text wird dann an den Adapter smart-text2command übergeben, der die Intenterkennung übernimmt.
            Der Antworttext wird dann wieder an das widget übergeben

            In einem späteren Entwicklungsschritt sollten die Textausgaben auch vorgelesen werden.

            OliverIOO
            OliverIOO
            OliverIO
            schrieb am zuletzt editiert von OliverIO
            #5

            Neue Version 0.0.8

            • Die Erkennung von Datenpunkten und Geräten wurde verbessert
            • Im Testlab werden nun mehr Informationen zur Analyse angezeigt um Fehlerkennungen besser analisieren zu können. Die Informationen werden nur angezeigt, wenn der Satz über das Testlab eingegeben wurde
            • Es werden nun im Testlab die einzelnen Sessions aufgezeichnet, so das auch nachträglich die Daten noch aufgerufen werden können.

            Meine Adapter und Widgets
            TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
            Links im Profil

            OliverIOO 1 Antwort Letzte Antwort
            0
            • OliverIOO OliverIO

              Neue Version 0.0.8

              • Die Erkennung von Datenpunkten und Geräten wurde verbessert
              • Im Testlab werden nun mehr Informationen zur Analyse angezeigt um Fehlerkennungen besser analisieren zu können. Die Informationen werden nur angezeigt, wenn der Satz über das Testlab eingegeben wurde
              • Es werden nun im Testlab die einzelnen Sessions aufgezeichnet, so das auch nachträglich die Daten noch aufgerufen werden können.
              OliverIOO
              OliverIOO
              OliverIO
              schrieb am zuletzt editiert von OliverIO
              #6

              Neue Version 0.0.9

              • Die Erfassung eigener Intents wurde repariert
              • Es können nun auch Texte in Datenpunkte geschrieben werden
              • sendto mit der Abfrage von Parametern wurde als Intent-Fähigkeit hinzugefügt.

              Über das Abfragen von Texten konnte ich bspw für meinen squeezeboxrpc das abspielen von Favoriten umsetzen.

              Durch die Ansage

              Spiele Favorit Jackson Palace

              wurde "Jackson Palace" als Text in einen Datenpunkt geschrieben.
              Ein javascript reagiert auf die Änderung, sucht per Textübereinstimmung aus der Favoritenliste des squeezeboxrpc Adapters den Favoriten heraus, ermittelt die FavoritenID und schreibt sie in den entsprechenden Befehlsdatenpunkt.
              Dadurch werden dann beliebige Favoriten abgespielt,
              sofern der Text richtig erfasst und die Favoriten entsprechend benannt sind.

              Weiterhin kann über die sendto Funktion per JSON feste und variable Parameter an andere Adapter (bspw an ein eigenes Skript im javascript Adapter) übermittelt werden. variable Parameter fragt smart-text2command der Reihe nach ab, falls mehrere notwendig sind.
              In Skript kann das dann ausgewertet werden und ein entsprechender Antworttext erstellt werden, der dann an den smart-text2command Adapter zurückgegeben und ausgegeben/angesagt wird.

              Meine Adapter und Widgets
              TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
              Links im Profil

              OliverIOO 1 Antwort Letzte Antwort
              0
              • OliverIOO OliverIO

                Neue Version 0.0.9

                • Die Erfassung eigener Intents wurde repariert
                • Es können nun auch Texte in Datenpunkte geschrieben werden
                • sendto mit der Abfrage von Parametern wurde als Intent-Fähigkeit hinzugefügt.

                Über das Abfragen von Texten konnte ich bspw für meinen squeezeboxrpc das abspielen von Favoriten umsetzen.

                Durch die Ansage

                Spiele Favorit Jackson Palace

                wurde "Jackson Palace" als Text in einen Datenpunkt geschrieben.
                Ein javascript reagiert auf die Änderung, sucht per Textübereinstimmung aus der Favoritenliste des squeezeboxrpc Adapters den Favoriten heraus, ermittelt die FavoritenID und schreibt sie in den entsprechenden Befehlsdatenpunkt.
                Dadurch werden dann beliebige Favoriten abgespielt,
                sofern der Text richtig erfasst und die Favoriten entsprechend benannt sind.

                Weiterhin kann über die sendto Funktion per JSON feste und variable Parameter an andere Adapter (bspw an ein eigenes Skript im javascript Adapter) übermittelt werden. variable Parameter fragt smart-text2command der Reihe nach ab, falls mehrere notwendig sind.
                In Skript kann das dann ausgewertet werden und ein entsprechender Antworttext erstellt werden, der dann an den smart-text2command Adapter zurückgegeben und ausgegeben/angesagt wird.

                OliverIOO
                OliverIOO
                OliverIO
                schrieb am zuletzt editiert von
                #7

                Neues Release 0.0.10

                • Das System kann nun gesprochene Zahlen (fünfundzwanzig) erkennen. Das war ein Ergebnis aus der Spracheingabe, die manchmal Zahlen als Worte ausgegeben hat.
                • Intents zum Abfragen von Räumen, Geräten und Funktionen hinzugefügt. Damit kann man nun Fragen welches von diesen Dingen überhaupt definiert sind und auch unter welchen Schlüsselwörtern sie erreichbar sind.
                • Geräte-Tab zeigt nun nur Geräte an, die mindestens einem Raum oder einer Funktion zugewiesen sind. Ansonsten hätte er sehr viele Geräte/Kanal-Datenpunkte angezeigt, was die Bearbeitung unübersichtlich macht.
                • Eigene Intents können nun selektiv exportiert werden und auch selektiv importiert werden, falls Nutzer das mal untereinander tauschen möchte.

                Intents für Datum und Uhrzeit

                Ich bin noch am überlegen ob ich feste Intents für Datum und Uhrzeit mit einbaue, also per Sprache fragen wieviel Uhr es ist. Habe das für mich aber erst einmal über selbst erstellte Intents + ein Skript im javascript-Adapter gelöst, da ich aktuell noch nicht soviel Spezialfälle einbauen wollte. So hat man auch mehr Möglichkeiten die Ausgabe zu beeinflussen.

                Wer darauf steht, könnte auf die Frage auf die Uhrzeit, sich dann auch

                Es ist 12:15, Schatzi

                antworten lassen :)

                Sprachausgabe lokal und cloud

                Evtl auch noch etwas zum widget, was in den ai-parakeet Adapter kommt.
                Dort habe ich mittlerweile neben der hotword-Erkennung und Spracheingabe auch die Sprachausgabe eingebaut.
                Beim überlegen wie das umgesetzt werden könnte habe ich festgestellt, das unsere Browser das standardmäßig schon durch die Web SpeechAPI schon können.
                https://developer.mozilla.org/de/docs/Web/API/Web_Speech_API
                Allerdings hängt es davon ab auf welchen Geräten es läuft.

                Sprachausgabe Windows (Firefox,Opera,Chromium)

                Unter Windows gibt es die Standard Microsoft Stimmen. Die hören sich ein wenig Robotermäßig an, sind aber für so eine Sprachausgabe OK

                Sprachausgabe Windows + Google Chrome

                Spracheingabe gut
                Wenn man Chrome verwendet, gibt es auch noch eine hervorragende Google Deutsch Stimme (auch andere Sprachen), dazu wird aber die Cloud verwendet. Scheint kostenlos zu sein.

                Sprachausgabe iOS

                Spracheingabe gut.
                Es werden zwar Stimmen zur Auswahl angezeigt, die Ausgabe hat aber bisher noch nicht funktioniert. Leider hat Apple eine Sicherheitsfunktion eingebaut. Da muss ich schauen wie man sich da konform verhält.

                Sprachausgabe Android

                Muss noch getestet werden.

                Sprachausgabe Fire Tablet HD10

                Spracheingabe gut
                Sprachsynthese leider nicht vorhanden

                Für die fehlende oder Nicht funktionierende Sprachausgabe werde ich mir noch was überlegen. Es gibt auch die Möglichkeit Sprache auf dem Server erzeugen zu lassen und dann im Browser abspielen lassen.
                Wie das zeitlich funktioniert werde ich sehen.

                Evtl nochmal zur Erinnerung:
                Das ist alles lokal und ohne LLM
                Lauffähig auch auf kleinen Computer wie raspy und NUCs

                Meine Adapter und Widgets
                TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                Links im Profil

                OliverIOO 1 Antwort Letzte Antwort
                0
                • OliverIOO OliverIO

                  Neues Release 0.0.10

                  • Das System kann nun gesprochene Zahlen (fünfundzwanzig) erkennen. Das war ein Ergebnis aus der Spracheingabe, die manchmal Zahlen als Worte ausgegeben hat.
                  • Intents zum Abfragen von Räumen, Geräten und Funktionen hinzugefügt. Damit kann man nun Fragen welches von diesen Dingen überhaupt definiert sind und auch unter welchen Schlüsselwörtern sie erreichbar sind.
                  • Geräte-Tab zeigt nun nur Geräte an, die mindestens einem Raum oder einer Funktion zugewiesen sind. Ansonsten hätte er sehr viele Geräte/Kanal-Datenpunkte angezeigt, was die Bearbeitung unübersichtlich macht.
                  • Eigene Intents können nun selektiv exportiert werden und auch selektiv importiert werden, falls Nutzer das mal untereinander tauschen möchte.

                  Intents für Datum und Uhrzeit

                  Ich bin noch am überlegen ob ich feste Intents für Datum und Uhrzeit mit einbaue, also per Sprache fragen wieviel Uhr es ist. Habe das für mich aber erst einmal über selbst erstellte Intents + ein Skript im javascript-Adapter gelöst, da ich aktuell noch nicht soviel Spezialfälle einbauen wollte. So hat man auch mehr Möglichkeiten die Ausgabe zu beeinflussen.

                  Wer darauf steht, könnte auf die Frage auf die Uhrzeit, sich dann auch

                  Es ist 12:15, Schatzi

                  antworten lassen :)

                  Sprachausgabe lokal und cloud

                  Evtl auch noch etwas zum widget, was in den ai-parakeet Adapter kommt.
                  Dort habe ich mittlerweile neben der hotword-Erkennung und Spracheingabe auch die Sprachausgabe eingebaut.
                  Beim überlegen wie das umgesetzt werden könnte habe ich festgestellt, das unsere Browser das standardmäßig schon durch die Web SpeechAPI schon können.
                  https://developer.mozilla.org/de/docs/Web/API/Web_Speech_API
                  Allerdings hängt es davon ab auf welchen Geräten es läuft.

                  Sprachausgabe Windows (Firefox,Opera,Chromium)

                  Unter Windows gibt es die Standard Microsoft Stimmen. Die hören sich ein wenig Robotermäßig an, sind aber für so eine Sprachausgabe OK

                  Sprachausgabe Windows + Google Chrome

                  Spracheingabe gut
                  Wenn man Chrome verwendet, gibt es auch noch eine hervorragende Google Deutsch Stimme (auch andere Sprachen), dazu wird aber die Cloud verwendet. Scheint kostenlos zu sein.

                  Sprachausgabe iOS

                  Spracheingabe gut.
                  Es werden zwar Stimmen zur Auswahl angezeigt, die Ausgabe hat aber bisher noch nicht funktioniert. Leider hat Apple eine Sicherheitsfunktion eingebaut. Da muss ich schauen wie man sich da konform verhält.

                  Sprachausgabe Android

                  Muss noch getestet werden.

                  Sprachausgabe Fire Tablet HD10

                  Spracheingabe gut
                  Sprachsynthese leider nicht vorhanden

                  Für die fehlende oder Nicht funktionierende Sprachausgabe werde ich mir noch was überlegen. Es gibt auch die Möglichkeit Sprache auf dem Server erzeugen zu lassen und dann im Browser abspielen lassen.
                  Wie das zeitlich funktioniert werde ich sehen.

                  Evtl nochmal zur Erinnerung:
                  Das ist alles lokal und ohne LLM
                  Lauffähig auch auf kleinen Computer wie raspy und NUCs

                  OliverIOO
                  OliverIOO
                  OliverIO
                  schrieb am zuletzt editiert von OliverIO
                  #8

                  Neue Version 0.0.11

                  • das session-log für externe „SendTo“-Aufrufe wurde erweitert (muss aktiviert sein), so das man auch Anfragen über das voice widget aus dem ai-parakeet adapter nachträglich prüfen kann.
                  • Intents für Befehle ohne Werte um Folgefragen ergänzt. Bei Anfragen ohne einen konkreten Wert hat das System bisher diese nicht korrekt erkannt. Nun wird zurück gefragt.

                  Das Voice widget ist nun soweit fertig und per PR an bluefox übergeben worden
                  https://github.com/ioBroker/ioBroker.ai-parakeet/pull/8

                  Wenn der Adapter dann im beta repo bereitsteht kann man die komplette Kette dann auch mit voice testen.
                  Im parakeet-Adapter steht nun auch eine lokale Sprachsynthese (über piper) zur Verfügung, so das clients, welche keine lokale Sprachsynthese haben (manche android geräte, bspw fire tablet hd) auch Sprache ausgeben können.
                  Mein Fire Tablet HD 10 hat damit funktioniert.

                  Das iOS Tablet hat leider noch gezickt. Ich vermute mal das es ein Audioformat verwendet, was so direkt nicht verarbeitet werden kann. aber ich denke das bekomme ich noch in den griff.

                  In Aura funktioniert es ebenfalls, habe ich soeben getestet.

                  Hier mal noch meine Zeitansage Intents zum selber ausprobieren
                  smart-text2command-intents.json
                  Schlüsselsätze sind dafür

                        "Welches Datum haben wir",
                        "Welches Datum haben wir heute"
                  
                        "Welches Datum und Uhrzeit haben wir",
                        "Datum und Uhrzeit"
                  
                        "Wieviel Uhr haben wir",
                        "Wieviel Uhr ist es",
                        "Wie viel Uhr haben wir",
                        "Wie viel Uhr ist es",
                        "Was zeigt die Uhr"
                  

                  Das dazugehörige Skript ist, welches mit namen time im Unterordner text2command im javascript-Adapter ablegen muss.
                  Wenn anderer Name oder Unterordner muss die Angaben in den Intents anpassen. Der aktuell eingestellte Wert sieht so aus
                  script.js.<Unterordner>.<scriptname>

                  "script": "script.js.text2command.time"

                  onMessage('time', (data, callback) => {
                     log('Empfangene Daten: ' + JSON.stringify(data));
                     const jetzt = new Date();
                     const sprache = 'de-DE'; // Dynamisch anpassbar, z.B. 'en-US', 'fr-FR', 'es-ES'
                  
                     const zeitText = new Intl.DateTimeFormat(sprache, { 
                     timeStyle: 'short' 
                     }).format(jetzt);
                  
                     callback({
                         "version": 1,
                         "status": "success",
                         "text": zeitText
                     });
                  });
                  onMessage('date', (data, callback) => {
                     log('Empfangene Daten: ' + JSON.stringify(data));
                     const jetzt = new Date();
                     const sprache = 'de-DE'; // Dynamisch anpassbar, z.B. 'en-US', 'fr-FR', 'es-ES'
                  
                     const datumText = new Intl.DateTimeFormat(sprache, { 
                        dateStyle: 'long' 
                     }).format(jetzt);
                  
                     callback({
                         "version": 1,
                         "status": "success",
                         "text": datumText
                     });
                  });
                  onMessage('datetime', (data, callback) => {
                     log('Empfangene Daten: ' + JSON.stringify(data));
                     const jetzt = new Date();
                     const sprache = 'de-DE'; // Dynamisch anpassbar, z.B. 'en-US', 'fr-FR', 'es-ES'
                  
                     const beidesText = new Intl.DateTimeFormat(sprache, { 
                         dateStyle: 'long', 
                         timeStyle: 'short' 
                     }).format(jetzt);
                  
                     callback({
                         "version": 1,
                         "status": "success",
                         "text": beidesText
                     });
                  });
                  

                  Die Sprachmodelle (piper und browser) erkennen das und sprechen bei
                  11:22
                  das auch korrekt aus mit
                  11 Uhr 22
                  und nicht als
                  11 doppelpunkt 22

                  Bevor der veröffentlichung des widgets kann das alles auch schon im test labor in den adapter einstellungen des adapter smart-text2command per texteingabe getestet werden.

                  Meine Adapter und Widgets
                  TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                  Links im Profil

                  OliverIOO 1 Antwort Letzte Antwort
                  0
                  • OliverIOO OliverIO

                    Neue Version 0.0.11

                    • das session-log für externe „SendTo“-Aufrufe wurde erweitert (muss aktiviert sein), so das man auch Anfragen über das voice widget aus dem ai-parakeet adapter nachträglich prüfen kann.
                    • Intents für Befehle ohne Werte um Folgefragen ergänzt. Bei Anfragen ohne einen konkreten Wert hat das System bisher diese nicht korrekt erkannt. Nun wird zurück gefragt.

                    Das Voice widget ist nun soweit fertig und per PR an bluefox übergeben worden
                    https://github.com/ioBroker/ioBroker.ai-parakeet/pull/8

                    Wenn der Adapter dann im beta repo bereitsteht kann man die komplette Kette dann auch mit voice testen.
                    Im parakeet-Adapter steht nun auch eine lokale Sprachsynthese (über piper) zur Verfügung, so das clients, welche keine lokale Sprachsynthese haben (manche android geräte, bspw fire tablet hd) auch Sprache ausgeben können.
                    Mein Fire Tablet HD 10 hat damit funktioniert.

                    Das iOS Tablet hat leider noch gezickt. Ich vermute mal das es ein Audioformat verwendet, was so direkt nicht verarbeitet werden kann. aber ich denke das bekomme ich noch in den griff.

                    In Aura funktioniert es ebenfalls, habe ich soeben getestet.

                    Hier mal noch meine Zeitansage Intents zum selber ausprobieren
                    smart-text2command-intents.json
                    Schlüsselsätze sind dafür

                          "Welches Datum haben wir",
                          "Welches Datum haben wir heute"
                    
                          "Welches Datum und Uhrzeit haben wir",
                          "Datum und Uhrzeit"
                    
                          "Wieviel Uhr haben wir",
                          "Wieviel Uhr ist es",
                          "Wie viel Uhr haben wir",
                          "Wie viel Uhr ist es",
                          "Was zeigt die Uhr"
                    

                    Das dazugehörige Skript ist, welches mit namen time im Unterordner text2command im javascript-Adapter ablegen muss.
                    Wenn anderer Name oder Unterordner muss die Angaben in den Intents anpassen. Der aktuell eingestellte Wert sieht so aus
                    script.js.<Unterordner>.<scriptname>

                    "script": "script.js.text2command.time"

                    onMessage('time', (data, callback) => {
                       log('Empfangene Daten: ' + JSON.stringify(data));
                       const jetzt = new Date();
                       const sprache = 'de-DE'; // Dynamisch anpassbar, z.B. 'en-US', 'fr-FR', 'es-ES'
                    
                       const zeitText = new Intl.DateTimeFormat(sprache, { 
                       timeStyle: 'short' 
                       }).format(jetzt);
                    
                       callback({
                           "version": 1,
                           "status": "success",
                           "text": zeitText
                       });
                    });
                    onMessage('date', (data, callback) => {
                       log('Empfangene Daten: ' + JSON.stringify(data));
                       const jetzt = new Date();
                       const sprache = 'de-DE'; // Dynamisch anpassbar, z.B. 'en-US', 'fr-FR', 'es-ES'
                    
                       const datumText = new Intl.DateTimeFormat(sprache, { 
                          dateStyle: 'long' 
                       }).format(jetzt);
                    
                       callback({
                           "version": 1,
                           "status": "success",
                           "text": datumText
                       });
                    });
                    onMessage('datetime', (data, callback) => {
                       log('Empfangene Daten: ' + JSON.stringify(data));
                       const jetzt = new Date();
                       const sprache = 'de-DE'; // Dynamisch anpassbar, z.B. 'en-US', 'fr-FR', 'es-ES'
                    
                       const beidesText = new Intl.DateTimeFormat(sprache, { 
                           dateStyle: 'long', 
                           timeStyle: 'short' 
                       }).format(jetzt);
                    
                       callback({
                           "version": 1,
                           "status": "success",
                           "text": beidesText
                       });
                    });
                    

                    Die Sprachmodelle (piper und browser) erkennen das und sprechen bei
                    11:22
                    das auch korrekt aus mit
                    11 Uhr 22
                    und nicht als
                    11 doppelpunkt 22

                    Bevor der veröffentlichung des widgets kann das alles auch schon im test labor in den adapter einstellungen des adapter smart-text2command per texteingabe getestet werden.

                    OliverIOO
                    OliverIOO
                    OliverIO
                    schrieb am zuletzt editiert von OliverIO
                    #9

                    So das ging schnell.
                    Der ai-parakeet adapter in version 0.1.6 mit dem das alles mit voice getestet werden kann nun von npm installiert werden.

                    Dazu bitte im Expertenmodus in den Adapter Tab gehen
                    Katzenknopf/Benutzerdefiniert und das folgende eintragen

                    iobroker.ai-parakeet@0.1.6
                    iobroker.voice

                    Installation von smart-text2command bitte oben die Installationsanleitung anschauen.

                    Darüber hinaus hat denis/bluefox auch bereits in das widget eine Anbindung an den assistant Adapter eingebaut.

                    Nachtrag:
                    Der Adapter ai-parakeet wurde in voice umbenannt.
                    https://www.npmjs.com/package/iobroker.voice?activeTab=readme

                    Meine Adapter und Widgets
                    TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                    Links im Profil

                    OliverIOO 1 Antwort Letzte Antwort
                    0
                    • OliverIOO OliverIO

                      So das ging schnell.
                      Der ai-parakeet adapter in version 0.1.6 mit dem das alles mit voice getestet werden kann nun von npm installiert werden.

                      Dazu bitte im Expertenmodus in den Adapter Tab gehen
                      Katzenknopf/Benutzerdefiniert und das folgende eintragen

                      iobroker.ai-parakeet@0.1.6
                      iobroker.voice

                      Installation von smart-text2command bitte oben die Installationsanleitung anschauen.

                      Darüber hinaus hat denis/bluefox auch bereits in das widget eine Anbindung an den assistant Adapter eingebaut.

                      Nachtrag:
                      Der Adapter ai-parakeet wurde in voice umbenannt.
                      https://www.npmjs.com/package/iobroker.voice?activeTab=readme

                      OliverIOO
                      OliverIOO
                      OliverIO
                      schrieb zuletzt editiert von
                      #10

                      Neue Version

                      • Eigene Intents können nun auch in nur einer einzigen Sprache gepflegt werden.
                      • README überarbeitet
                      • Hinweise von repochecker korrigiert
                      • Test korrigiert

                      Adapter ist nun zur Aufnahme in das beta repo vorbereitet

                      Meine Adapter und Widgets
                      TVProgram, SqueezeboxRPC, OpenLiga, RSSFeed, MyTime,, pi-hole2, vis-json-template, skiinfo, vis-mapwidgets, vis-2-widgets-rssfeed
                      Links im Profil

                      1 Antwort Letzte Antwort
                      0

                      Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.

                      Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.

                      Mit deinem Input könnte dieser Beitrag noch besser werden 💗

                      Registrieren Anmelden
                      Antworten
                      • In einem neuen Thema antworten
                      Anmelden zum Antworten
                      • Älteste zuerst
                      • Neuste zuerst
                      • Meiste Stimmen


                      Support us

                      ioBroker
                      Community Adapters
                      Donate

                      528

                      Online

                      33.1k

                      Benutzer

                      84.3k

                      Themen

                      1.4m

                      Beiträge
                      Community
                      Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                      ioBroker Community 2014-2026
                      logo
                      • Anmelden

                      • Du hast noch kein Konto? Registrieren

                      • Anmelden oder registrieren, um zu suchen
                      • Erster Beitrag
                        Letzter Beitrag
                      0
                      • Home
                      • Aktuell
                      • Ungelesen 0
                      • Kategorien
                      • Unreplied
                      • Beliebt
                      • GitHub
                      • Docu
                      • Hilfe