Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Tester
    4. Test Adapter AI Assistant v0.1.3 GitHub/Latest

    NEWS

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    • Monatsrückblick - April 2025

    Test Adapter AI Assistant v0.1.3 GitHub/Latest

    This topic has been deleted. Only users with topic management privileges can see it.
    • T
      ToGe88 Developer last edited by ToGe88

      Aktuelle Test Version 0.1.3
      Veröffentlichungsdatum 31.12.2024
      Github Link https://github.com/ToGe3688/ioBroker.ai-assistant

      Hallo zusammen

      da es ja Interesse an einem KI Assistenten für ioBroker gab habe ich mich dem mal angenommen und einen Adapter dafür programmiert. Der Assistent funktioniert mit mehreren Anbietern für LLMs wie OpenAI, Anthropic, Perplexity, OpenRouter und auch lokalen Modellen. Die Qualität und Stärke des genutzten Modells hat natürlich direkte Auswirkungen auf die Qualität vom Assistenten. Auf Github habe ich eine Liste mit Modellen im Readme eingefügt die ich bisher getestet habe.

      Fähigkeiten

      States verwalten

      Die freigegebenen States lesen und schreiben. Auch multiple Lese und Schreibbefehle sind in einer Anfrage umsetzbar durch des Assistenten. z.B. Schicke mir einen Bericht über alle Temperaturen in der Wohnung oder Erzeuge mir einen Bericht über die PV-Anlage

      Zeitplanung

      Der Assistent kann Timeouts / Cronjobs verwalten um sich selbst aufzuwecken und dann Instruktionen auszuführen. Schalte in 30 Sekunden das Flurlicht aus oder Schicke mir jeden Tag um 7:30 einen Wetterbericht mit den Daten der Wetterstation

      Trigger verwalten

      Der Assistent kann Trigger auf states im ioBroker System erstellen welche ihn mit einer optionalen Bedingung aufwecken und dann Instruktionen ausführen lassen. Wenn der Bewegungsmelder in der Küche das nächste mal ausgelöst wird, erinnere mich daran den Müll rauszubringen

      Eigene Funktionen

      Es können eigene Funktionen implementiert werden, siehe Github! Dies bietet z.B. auch die Möglichkeit den KI Toolbox Adapter einzubinden.

      Verkettung

      Der Assistent kann Funktionen verketten z.B. Wenn die Haustür geöffnet wird, warte 30 Sekunden und prüfe dann die Zustände aller Fenster und schicke mir den Status

      Nachrichtenverlauf löschen

      Manchmal ist es hilfreich den Nachrichtenverlauf zurückzusetzen wenn sich der Assistent verrannt hat. Dies geht einfach per Spracheingabe wie z.B. Lösche alle vorigen Nachrichten oder Lösche dein Gedächtnis. Alternativ kann auch der entsprechende Datenpunkt dafür genutzt werden.

      Ausgabe der internen Vorgänge

      Fürs testen ist es hilfreich die Ausgabe der Gedanken und Aktionen vom Assistenten zu aktivieren, diese werden dann in den response datenpunkt geschrieben.

      Am besten nutzen lässt sich der Assistent wenn ihn z.B. mit dem Telegram Adapter kombiniert. Ein einfaches Script zum verknüpfen der Ein- und Ausgabe Datenpunkte reicht hier aus.

      Noch als Hinweis: Bitte Vorsicht bei der Freigabe des States, der Assistent hat danach die Möglichkeit diese auszulesen und zu steuern!

      Viel Spaß beim testen und danke schon jetzt für euer Feedback! 🙏

      Viele Grüße!

      David G. W 2 Replies Last reply Reply Quote 4
      • David G.
        David G. @ToGe88 last edited by David G.

        @toge88

        Ist das der selbe Fehler wie vorher im ANDEREN Adapter von dir mit openai?
        Liest sich gleich.

        ai-assistant.0
        2024-12-30 17:22:05.550	warn	Request for Assistant failed Text: Was kannst du für mich machen? Error: Cannot read properties of undefined (reading 'bot_name')
        

        Screenshot_20241230_183422_Chrome.jpg
        Screenshot_20241230_183411_Chrome.jpg

        Auch wenn ich noch nicht so ganz weiß, was ich mit dem Adapter machen soll / kann ^^

        T 1 Reply Last reply Reply Quote 0
        • T
          ToGe88 Developer @David G. last edited by

          @david-g Ja ist tatsächlich der gleiche Fehler gewesen, sollte jetzt behoben sein 😅

          Primär ist der Adapter als Assistent, ähnlich Alexa oder Google Home, gedacht, nur das er halt Texteingaben akzeptiert und ein wesentlich besseres Kontextverständnis hat als andere Sprachassistenten. Mit den eigenen Funktionen kann man dann z.B. die Brücke zur AI Toolbox schlagen und die Werkzeuge dem Assistent zugänglich machen.

          David G. 1 Reply Last reply Reply Quote 0
          • David G.
            David G. @ToGe88 last edited by David G.

            @toge88

            Jetzt klappt es.
            Hab mal ein paar simple Dinge getestet. Welche Lampen habe ich alle, schalte ein aus etc, wie lange ist die und die Lampe schon eingeschaltet...

            EDIT
            Hab im Log eben gesehen, dass der Adapter 2x abgeschmiert ist beim rumprobieren.

            ai-assistant.0
            2024-12-30 22:44:20.178	warn	Terminated (UNCAUGHT_EXCEPTION): Without reason
            
            ai-assistant.0
            2024-12-30 22:44:20.178	info	terminating
            
            ai-assistant.0
            2024-12-30 22:44:20.176	error	Cannot read properties of null (reading 'replace')
            
            ai-assistant.0
            2024-12-30 22:44:20.176	error	TypeError: Cannot read properties of null (reading 'replace') at AiAssistant.startAssistantRequest (/opt/iobroker/node_modules/iobroker.ai-assistant/main.js:590:45)
            
            ai-assistant.0
            2024-12-30 22:44:20.176	error	unhandled promise rejection: Cannot read properties of null (reading 'replace')
            
            ai-assistant.0
            2024-12-30 22:44:20.176	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().
            
            T 1 Reply Last reply Reply Quote 0
            • T
              ToGe88 Developer @David G. last edited by ToGe88

              @david-g Danke dir fürs testen! Habe das mal geprüft und wahrscheinlich kam die Antwort nicht im erwarteten JSON Format sondern einfach nur als Text rein, ich werde da mal eine Prüfung vorsehen welche die Anfrage dann wiederholt bzw einen Fehler ausgibt.

              Edit: Die neue Version auf Github hat die Prüfung jetzt drin!

              1 Reply Last reply Reply Quote 0
              • stony2k
                stony2k last edited by stony2k

                Ich würde deinen Adapter gerne mal ausprobieren. Wird die Funktion "Objekte aus enum.rooms importieren" noch implementiert? Nach dem Bestätigen der Mitteilung geschieht kein Import.

                ai-assistant.0 2025-01-10 17:17:20.491	warn	No available endpoints found in config
                
                T 1 Reply Last reply Reply Quote 0
                • T
                  ToGe88 Developer @stony2k last edited by

                  @stony2k Das Problem ist jetzt behoben und die Readme in der Hinsicht nochmal verbessert worden um es eindeutiger zu machen welche Zustände genutzt werden können.

                  Der Adapter hat heute nochmal ein Update bekommen und sollte bald im Beta Repo veröffentlicht werden.
                  Neben kleinen Korrekturen und Verbesserungen wurde Deepseek als API Anbieter mit aufgenommen.

                  1 Reply Last reply Reply Quote 3
                  • W
                    womi @ToGe88 last edited by

                    @toge88 Servus
                    Ich bin über Deinen Adapter gestolpert und muss sagen:
                    Ganz grosses Kino!

                    Ich habe noch nicht alles ganz verstanden und leider ist meine lokales LLM super langsam. Deswegen bin ich mal bei Anthropic gelandet, aber der haut die Credits dann schon weg.
                    Vielleicht kannst Du Google Gemini noch einbinden, dort gibt es, wenn ich es richtig verstanden habe ein respektables monatliches freies Kontingent.

                    Abfragen funktionieren richtig super. Manchmal etwas zu geschwätzig, aber ok und man kann es ja teilweise beeinflussen.

                    Bei meiner Homematic hat er teilweise Probleme. Die Schaltsteckdose mit dem Namen „Teichpumpe“ schaltet in 95% der Fälle nicht ein oder aus. OBWOHL DAS teil behauptet, es wäre geschaltet.
                    Wenn ich dann den Befehl dann wiederhole, kann es sein, er behauptet, es wäre die gleiche Anfrage wie eben, man müsse nichts machen. Aha.
                    Andere Schalter funktionieren wunderbar. Das ist echt seltsam.

                    Ich bin gerade dabei mit einem Raspberry und einem reSpeaker Hat einen nun endlich wirklich intelligenten Alexa-Ersatz zu bauen, bei der ich nicht mehr exakt sagen muss: „Was ist die Temperatur von Garten“, damit ich eine Antwort kriege.

                    Der RPi wartet auf das Wakeword, nimmt Audio auf, „bereinigt“ es, sendet es an Whisper (STT) auf einem Docker auf dem Server (leider keine GPU sonst wäre die LLM darauf auch schneller, für Whisper tiny reicht es), dann den Text per MQTT zurück in iobroker, per Script in das request-Feld des ai-assistant. Dann geht die Anfrage an Anthropic. Der Text, der zurückkommt wieder per MQTT an den RPi, der bei einem Docker Piper (TTS) das Audiofile anfragt und abspielt. Läuft noch nicht ganz rund, aber mit dem PoC bin ich soweit zufrieden.

                    Was mir total gut gefällt ist, dass wie bei Alexa auch allgemeine Sachen gefragt werden können.
                    An dieser Stelle schon mal ganz lieben Dank für den tollen Adapter!
                    Michael

                    1 Reply Last reply Reply Quote 1
                    • First post
                      Last post

                    Support us

                    ioBroker
                    Community Adapters
                    Donate

                    1.1k
                    Online

                    31.7k
                    Users

                    79.7k
                    Topics

                    1.3m
                    Posts

                    anthropic assistent openai
                    4
                    8
                    789
                    Loading More Posts
                    • Oldest to Newest
                    • Newest to Oldest
                    • Most Votes
                    Reply
                    • Reply as topic
                    Log in to reply
                    Community
                    Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                    The ioBroker Community 2014-2023
                    logo