Vorschlag: RAG System für die Doku

[wcag22]

@holger-will
Nur meine persönliche Meinung, die keiner teilen muss:

Hört mir bloß auf mit diesen KI-Helper-Bots. Gerade Erfahrungen mit den "Assistenzen" bei meinem Mobilfunkprovider gemacht. Das Ding vertsteht keine Frage und man bekommt wirklich dumme, daneben liegende Antworten.

Da lobe ich mir den persönlichen Supporter, auch wenn es aus Kostengründen mal der Pförtner ohne Fachkenntnisse ist. KI mag ja ne tolle Sache sein, aber im Moment nervt sie einfach nur

[Holger Will]

@wcag22 Du hast recht, dass so ein Sytem nicht oder nicht immer den persönlichen Support ersetzt/ersetzen kann. Das heißt aber auch nicht das man das möchte. Ich sehe es als zusätzliches Werkzeug. Ob es den Aufwand wert ist, weiß ich auch nicht.
ich wollte das nur mal ausprobieren...

[Holger Will]

@jey-cee ja, es wäre halt gut das automatisiert zu machen irgendwie.

[OliverIO]

@holger-will

wäre sicherlich gut.
wer würde das system betreiben und bezahlen?
die api aufrufe für die ki kostet

was ganz einfaches gibt es mittels custom gpt im javascrit adater.
dort wurde einfach die doku des javascript adapters in ein custom gpt bei openai geladen und per api angebunden. da bezahlt es glaube ich Matthias Kleine @haus-automatisierung .
Sicher bin ich mir aber nicht, auch nicht was da an kosten zusammenkommt. für code ist aber manchmal das kontext window zu klein.

[bloop]

Passt jetzt nicht ganz hier her, aber ich habe etwas ähnliches in den letzten Tagen für die ioBroker Datenpunkte umgesetzt.

Das ganze ist noch in einem absoluten Beta Stadium aber der Grundfunktion funktioniert.

Verwendet habe ich dafür ein local laufendes LLM mit Ollama welches abhängig vom verwendeten Model relativ Ressourcen schonend läuft.

iobroker2ollama

Sobald ich hierfür einen herausragenden usecase finde, erstelle ich einen passenden Beitrag dazu. Aktuell wird mehr schlecht als recht über AI Anwendungsmöglichkeiten argumentiert.

Ich sehe mich nicht als Entwickler und das Code Schreiben zählt nicht zu meine. Kernkompetenzen. Aber AI macht vieles möglich

[haus-automatisierung]

@oliverio Mh? Ich zahle da nichts

[OliverIO]

@haus-automatisierung

ok, dann scheint es doch über bluefox laufen

[Jey Cee]

@oliverio wenn sich nichts geändert hat muss man einen eigenen API Key hinterlegen, somit Zahlt der Besitzer des API Keys.

[OliverIO]

@jey-cee

ach ja stimmt. danke
ist schon eine weile her als ich das ausprobiert habe. schon wieder vergessen.

gut für so ein doku system würde das so leider nicht funktionieren bzw nicht sinnvoll

[Holger Will]

@oliverio das geht schon, wenn man das als MCP-Server implementiert. dann kann das jeder in die KI seines vertrauens integrieren ob lokal oder als service ob google, athropic oder openai, egal. Das wäre auch ne gute ergänzung zu meinem MCP Server adpater. Müssten man nur mal schauen mit den embedding modellen, aber das kann man wie @Jey-Cee schon sagt dann auch lokal machen.
Wie wird denn die Doku erstellt bisher? da werden doch bereits alle Daten zusammengetragen, oder?

[Holger Will]

@bloop so ein ähnliches Projekt mach ich auch gerade: https://github.com/Holger-Will/ioBroker.kiwi
vielleicht kann man da ja zusammen arbeiten.