Vorschlag: RAG System für die Doku
-
Ich habe gerade für meinen Adapter eine ganz rudimentäres RAG (Retrieval-Augmented Generation [1] ) implementiert. Ich bin da jetzt kein Fachmann, aber das Potenzial ist enorm denke ich.
Man könnte damit ein LLM mit spezifischen und aktuellen Informationen aus den Dokus "füttern" und dann ein Helper Bot bereitstellen, der Fragen zum System, Adapter usw. beantworten kann.
Da es multilinguale Embedding Modelle gibt, ist der Bot automatisch mehrsprachig, auch wenn die Doku nur in englisch oder deutsch vorliegt.Wenn da Grundsätzlich ein Interesse besteht könnte ich mal einen kleinen Prototypen schreiben.
Was ist der beste Weg programmatisch auf alle Doku Texte zuzugreifen?
[1] Ein RAG-System (Retrieval-Augmented Generation) ist ein KI-Framework, das die Vorteile von Informationsabruf (z.B. Suchmaschinen) mit der Fähigkeit von Large Language Models (LLMs) zur Textgenerierung kombiniert. Es ermöglicht LLMs, präzisere und kontextbezogenere Antworten zu geben, indem sie auf externe Wissensquellen zugreifen, anstatt sich nur auf ihre Trainingsdaten zu verlassen.
-
@holger-will ich finde die Idee gut, hatte früher schon mal darüber Nachgedacht eine Klassische Suche auf zu Bauen. Da die Doku (soweit vorhanden) Quer Übers Netz verteilt ist, ist das recht schwierig.
Ein weitere Herausforderung ist dann das immer Aktuell zu halten.Für Entwickler kann ich mir das eher vorstellen, es gibt Doku die in den jeweiligen Repositories zu finden ist und man kann die Doku aus dem Code ableiten. Das lässt sich dann an das RAG verfüttern.
Hier mal ein Beispiel für eine KI erzeugte Doku: https://deepwiki.com/ioBroker/ioBroker.admin
-
Das zeigt eigentlich wieder dass unter Doku eine Entwickler- und Fachdoku verstanden wird.
Für eine Einsteigerdoku wird so etwas eher ungeeignet sein.Für die daraus resultierenden Fragen von Einsteigern braucht es wieder mehrere Helfende im Forum, was das Ganze noch chaotischer macht.
-
@holger-will
Nur meine persönliche Meinung, die keiner teilen muss:Hört mir bloß auf mit diesen KI-Helper-Bots. Gerade Erfahrungen mit den "Assistenzen" bei meinem Mobilfunkprovider gemacht. Das Ding vertsteht keine Frage und man bekommt wirklich dumme, daneben liegende Antworten.
Da lobe ich mir den persönlichen Supporter, auch wenn es aus Kostengründen mal der Pförtner ohne Fachkenntnisse ist. KI mag ja ne tolle Sache sein, aber im Moment nervt sie einfach nur
-
@wcag22 Du hast recht, dass so ein Sytem nicht oder nicht immer den persönlichen Support ersetzt/ersetzen kann. Das heißt aber auch nicht das man das möchte. Ich sehe es als zusätzliches Werkzeug. Ob es den Aufwand wert ist, weiß ich auch nicht.
ich wollte das nur mal ausprobieren... -
@jey-cee ja, es wäre halt gut das automatisiert zu machen irgendwie.
-
wäre sicherlich gut.
wer würde das system betreiben und bezahlen?
die api aufrufe für die ki kostetwas ganz einfaches gibt es mittels custom gpt im javascrit adater.
dort wurde einfach die doku des javascript adapters in ein custom gpt bei openai geladen und per api angebunden. da bezahlt es glaube ich Matthias Kleine @haus-automatisierung .
Sicher bin ich mir aber nicht, auch nicht was da an kosten zusammenkommt. für code ist aber manchmal das kontext window zu klein. -
Passt jetzt nicht ganz hier her, aber ich habe etwas ähnliches in den letzten Tagen für die ioBroker Datenpunkte umgesetzt.
Das ganze ist noch in einem absoluten Beta Stadium aber der Grundfunktion funktioniert.
Verwendet habe ich dafür ein local laufendes LLM mit Ollama welches abhängig vom verwendeten Model relativ Ressourcen schonend läuft.
Sobald ich hierfür einen herausragenden usecase finde, erstelle ich einen passenden Beitrag dazu. Aktuell wird mehr schlecht als recht über AI Anwendungsmöglichkeiten argumentiert.
Ich sehe mich nicht als Entwickler und das Code Schreiben zählt nicht zu meine. Kernkompetenzen. Aber AI macht vieles möglich
-
@oliverio Mh? Ich zahle da nichts
-
-
@oliverio wenn sich nichts geändert hat muss man einen eigenen API Key hinterlegen, somit Zahlt der Besitzer des API Keys.
-
ach ja stimmt. danke
ist schon eine weile her als ich das ausprobiert habe. schon wieder vergessen.gut für so ein doku system würde das so leider nicht funktionieren bzw nicht sinnvoll
-
@oliverio das geht schon, wenn man das als MCP-Server implementiert. dann kann das jeder in die KI seines vertrauens integrieren ob lokal oder als service ob google, athropic oder openai, egal. Das wäre auch ne gute ergänzung zu meinem MCP Server adpater. Müssten man nur mal schauen mit den embedding modellen, aber das kann man wie @Jey-Cee schon sagt dann auch lokal machen.
Wie wird denn die Doku erstellt bisher? da werden doch bereits alle Daten zusammengetragen, oder? -
@bloop so ein ähnliches Projekt mach ich auch gerade: https://github.com/Holger-Will/ioBroker.kiwi
vielleicht kann man da ja zusammen arbeiten.
