UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[ToGe88]

Aktuelle Test Version	0.1.3
Veröffentlichungsdatum	31.12.2024
Github Link	https://github.com/ToGe3688/ioBroker.ai-assistant

Hallo zusammen

da es ja Interesse an einem KI Assistenten für ioBroker gab habe ich mich dem mal angenommen und einen Adapter dafür programmiert. Der Assistent funktioniert mit mehreren Anbietern für LLMs wie OpenAI, Anthropic, Perplexity, OpenRouter und auch lokalen Modellen. Die Qualität und Stärke des genutzten Modells hat natürlich direkte Auswirkungen auf die Qualität vom Assistenten. Auf Github habe ich eine Liste mit Modellen im Readme eingefügt die ich bisher getestet habe.

Fähigkeiten

States verwalten

Die freigegebenen States lesen und schreiben. Auch multiple Lese und Schreibbefehle sind in einer Anfrage umsetzbar durch des Assistenten. z.B. Schicke mir einen Bericht über alle Temperaturen in der Wohnung oder Erzeuge mir einen Bericht über die PV-Anlage

Zeitplanung

Der Assistent kann Timeouts / Cronjobs verwalten um sich selbst aufzuwecken und dann Instruktionen auszuführen. Schalte in 30 Sekunden das Flurlicht aus oder Schicke mir jeden Tag um 7:30 einen Wetterbericht mit den Daten der Wetterstation

Trigger verwalten

Der Assistent kann Trigger auf states im ioBroker System erstellen welche ihn mit einer optionalen Bedingung aufwecken und dann Instruktionen ausführen lassen. Wenn der Bewegungsmelder in der Küche das nächste mal ausgelöst wird, erinnere mich daran den Müll rauszubringen

Eigene Funktionen

Es können eigene Funktionen implementiert werden, siehe Github! Dies bietet z.B. auch die Möglichkeit den KI Toolbox Adapter einzubinden.

Verkettung

Der Assistent kann Funktionen verketten z.B. Wenn die Haustür geöffnet wird, warte 30 Sekunden und prüfe dann die Zustände aller Fenster und schicke mir den Status

Nachrichtenverlauf löschen

Manchmal ist es hilfreich den Nachrichtenverlauf zurückzusetzen wenn sich der Assistent verrannt hat. Dies geht einfach per Spracheingabe wie z.B. Lösche alle vorigen Nachrichten oder Lösche dein Gedächtnis. Alternativ kann auch der entsprechende Datenpunkt dafür genutzt werden.

Ausgabe der internen Vorgänge

Fürs testen ist es hilfreich die Ausgabe der Gedanken und Aktionen vom Assistenten zu aktivieren, diese werden dann in den response datenpunkt geschrieben.

Am besten nutzen lässt sich der Assistent wenn ihn z.B. mit dem Telegram Adapter kombiniert. Ein einfaches Script zum verknüpfen der Ein- und Ausgabe Datenpunkte reicht hier aus.

Noch als Hinweis: Bitte Vorsicht bei der Freigabe des States, der Assistent hat danach die Möglichkeit diese auszulesen und zu steuern!

Viel Spaß beim testen und danke schon jetzt für euer Feedback! 🙏

Viele Grüße!

[David G.]

@toge88

Ist das der selbe Fehler wie vorher im ANDEREN Adapter von dir mit openai?
Liest sich gleich.

ai-assistant.0
2024-12-30 17:22:05.550	warn	Request for Assistant failed Text: Was kannst du für mich machen? Error: Cannot read properties of undefined (reading 'bot_name')

Auch wenn ich noch nicht so ganz weiß, was ich mit dem Adapter machen soll / kann ^^

[ToGe88]

@david-g Ja ist tatsächlich der gleiche Fehler gewesen, sollte jetzt behoben sein :sweat_smile:

Primär ist der Adapter als Assistent, ähnlich Alexa oder Google Home, gedacht, nur das er halt Texteingaben akzeptiert und ein wesentlich besseres Kontextverständnis hat als andere Sprachassistenten. Mit den eigenen Funktionen kann man dann z.B. die Brücke zur AI Toolbox schlagen und die Werkzeuge dem Assistent zugänglich machen.

[David G.]

@toge88

Jetzt klappt es.
Hab mal ein paar simple Dinge getestet. Welche Lampen habe ich alle, schalte ein aus etc, wie lange ist die und die Lampe schon eingeschaltet...

EDIT
Hab im Log eben gesehen, dass der Adapter 2x abgeschmiert ist beim rumprobieren.

ai-assistant.0
2024-12-30 22:44:20.178	warn	Terminated (UNCAUGHT_EXCEPTION): Without reason

ai-assistant.0
2024-12-30 22:44:20.178	info	terminating

ai-assistant.0
2024-12-30 22:44:20.176	error	Cannot read properties of null (reading 'replace')

ai-assistant.0
2024-12-30 22:44:20.176	error	TypeError: Cannot read properties of null (reading 'replace') at AiAssistant.startAssistantRequest (/opt/iobroker/node_modules/iobroker.ai-assistant/main.js:590:45)

ai-assistant.0
2024-12-30 22:44:20.176	error	unhandled promise rejection: Cannot read properties of null (reading 'replace')

ai-assistant.0
2024-12-30 22:44:20.176	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().

[ToGe88]

@david-g Danke dir fürs testen! Habe das mal geprüft und wahrscheinlich kam die Antwort nicht im erwarteten JSON Format sondern einfach nur als Text rein, ich werde da mal eine Prüfung vorsehen welche die Anfrage dann wiederholt bzw einen Fehler ausgibt.

Edit: Die neue Version auf Github hat die Prüfung jetzt drin!

[stony2k]

Ich würde deinen Adapter gerne mal ausprobieren. Wird die Funktion "Objekte aus enum.rooms importieren" noch implementiert? Nach dem Bestätigen der Mitteilung geschieht kein Import.

ai-assistant.0 2025-01-10 17:17:20.491	warn	No available endpoints found in config

[ToGe88]

@stony2k Das Problem ist jetzt behoben und die Readme in der Hinsicht nochmal verbessert worden um es eindeutiger zu machen welche Zustände genutzt werden können.

Der Adapter hat heute nochmal ein Update bekommen und sollte bald im Beta Repo veröffentlicht werden.
Neben kleinen Korrekturen und Verbesserungen wurde Deepseek als API Anbieter mit aufgenommen.

[womi]

@toge88 Servus
Ich bin über Deinen Adapter gestolpert und muss sagen:
Ganz grosses Kino!

Ich habe noch nicht alles ganz verstanden und leider ist meine lokales LLM super langsam. Deswegen bin ich mal bei Anthropic gelandet, aber der haut die Credits dann schon weg.
Vielleicht kannst Du Google Gemini noch einbinden, dort gibt es, wenn ich es richtig verstanden habe ein respektables monatliches freies Kontingent.

Abfragen funktionieren richtig super. Manchmal etwas zu geschwätzig, aber ok und man kann es ja teilweise beeinflussen.

Bei meiner Homematic hat er teilweise Probleme. Die Schaltsteckdose mit dem Namen „Teichpumpe“ schaltet in 95% der Fälle nicht ein oder aus. OBWOHL DAS teil behauptet, es wäre geschaltet.
Wenn ich dann den Befehl dann wiederhole, kann es sein, er behauptet, es wäre die gleiche Anfrage wie eben, man müsse nichts machen. Aha.
Andere Schalter funktionieren wunderbar. Das ist echt seltsam.

Ich bin gerade dabei mit einem Raspberry und einem reSpeaker Hat einen nun endlich wirklich intelligenten Alexa-Ersatz zu bauen, bei der ich nicht mehr exakt sagen muss: „Was ist die Temperatur von Garten“, damit ich eine Antwort kriege.

Der RPi wartet auf das Wakeword, nimmt Audio auf, „bereinigt“ es, sendet es an Whisper (STT) auf einem Docker auf dem Server (leider keine GPU sonst wäre die LLM darauf auch schneller, für Whisper tiny reicht es), dann den Text per MQTT zurück in iobroker, per Script in das request-Feld des ai-assistant. Dann geht die Anfrage an Anthropic. Der Text, der zurückkommt wieder per MQTT an den RPi, der bei einem Docker Piper (TTS) das Audiofile anfragt und abspielt. Läuft noch nicht ganz rund, aber mit dem PoC bin ich soweit zufrieden.

Was mir total gut gefällt ist, dass wie bei Alexa auch allgemeine Sachen gefragt werden können.
An dieser Stelle schon mal ganz lieben Dank für den tollen Adapter!
Michael

[David G.]

@toge88

Ich habe mal eine Frage ob man das umsetzen kann.
Ich habe im Adapter 3 Datenpunkte aus Linuxcontrol hinterlegt. Einen um den Host auszuwählen, einen wo ein Shellbefehl eingegeben werden kann und einen mit der response vom Befehl.

Die Funktion habe ich mit

Du bist ein Bot um meine Linux Computer per shell zu steuern. Unter Host wählst du den entsprechenden Host aus, wartest 2 Sekunden, findest den entsprechenden Linux Befehl für mich raus und schreibst diesen in Command. Nach weiteren 10 Sekunden sagst du mir die Antwort aus Response

beschrieben.

Kann ich es irgendwie machen, dass ich die Rechner so steuern kann?

In der Art:
Starte MariaDB neu
oder
Wie voll ist die Festplatte von iobroker.

Ziel ist es, von extern bei Internetausfall noch Sachen steuern zu können. Muss nur noch irgend ein LLM lokal hosten, das kommt wenn das erstmal mit ChatGPT klappt.