Es ist das gemeint
https://de.wikipedia.org/wiki/Retrieval-Augmented_Generation

@bloop sagte:

Übrigens lässt sich sowas nicht nur mit ioBroker umsetzen sondern mit jeder eigenen Datensammlung. Wie zb. Obsidian, ein eigenes Wiki, Notion, uvm.

Genau das machen gerade (oder haben bereits) viele Unternehmen um ihr ganzes Wissen für ihre KI und ihre Mitarbeiter besser nutzbar zu machen.

@wendy2702
Ich unterstütze sehr gerne!
Eventuell ergibt sich ja bald die Möglichkeit ein funktionierendes ioBroker RAG für die gesamte Community zur Verfügung zu stellen. Es handelt sich ja lediglich um eine Sammlung öffentlicher Dokumente die für KI Modelle aufgearbeitet wurden. 😜
Übrigens lässt sich sowas nicht nur mit ioBroker umsetzen sondern mit jeder eigenen Datensammlung. Wie zb. Obsidian, ein eigenes Wiki, Notion, uvm.

@bluefox : was hat dich zu deiner Aussage/Annahme veranlasst? Ach eigentlich interessiert mich das und deine Antwort ehrlich gesagt nicht, sondern geht mir am Allerwertesten vorbei.

Wo findet man die Alltags und Detailfragen?
Sind das die unter eval?

Sollte sich ein wahrer Nutzen herausstellen, wird dieses selbstverständlich auch so aufbereitet das jedermann sehr einfach damit arbeiten kann.

Ich werde mich zukünftig mehr bemühen, wieder Beiträge verständlicher zu formulieren.

@bluefox
Einiges an Credits für das Benchmark verbrannt…

• 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
  • Anthropic: Opus / Sonnet / Haiku 5.5
  • OpenAI: GPT-6.1-sol / -terra / GPT-6-luna
  • Google: Gemini 4 Argon / 3.8 Flash
  • xAI: Grok 4.6
• 105 Fragen: 60 Alltagsfragen, 45 Detailfragen.
• Drei Modi: A ohne Kontext, C Top-5 mit Reranker. Dazu Top-1 ohne Reranker als Zwischenstufe.
• Drei blinde Richter, einer pro Anbieter. Sie bewerten jede Antwort mit 0, 1 oder 2 Punkten.

Ergebnis (richtig, ohne RAG → mit RAG)

• Detailfragen: RAG hilft jedem Modell deutlich, auch den Top-Modellen (+21 bis +63 Punkte, alle signifikant).
• Alltagsfragen: Die stärksten Modelle kennen die Antworten schon, die kleineren gewinnen trotzdem 7–18 Punkte.
• Mit RAG sind die Anbieter praktisch gleichauf (79–82 %). Ein Mittelklasse-Modell mit RAG schlägt ein Top-Modell ohne RAG.
• Erfundene APIs halbieren sich, von rund 25 % auf rund 10 % der Antworten.

Vorab: hier schreibt ein Mensch, keine KI und es wurde auch nichts mit KI kontrolliert oder ähnliches. Wer Rechtschreibfehler findet darf sie behalten.

Es ist schön das z.B. dieses Projekt vorgestellt wurde aber habt ihr mal versucht das als Außenstehender zu verstehen?

Ich behaupte von mir selber nicht gerade völlig verblödet zu sein was den Einsatz von Software/HW usw. Angeht aber das was hier beschrieben wird und auch der Link zum Projekt in GitHub wird wahrscheinlich jeden Iobroker Newbie hoffnungslos überfordern und wahrscheinlich auch abschrecken.

Früher wurden hier Anleitungen von Menschen für Menschen geschrieben bzw. Veröffentlicht heute nur noch von KI für KI habe ich den Eindruck.

Auch die mit Sicherheit gut gemeinte Anleitung in GitHub stellt wahrscheinlich etliche User vor ein Problem:

Nur mal als Beispiel: welches Repository soll kopiert werden und auch die anderen Anweisungen muss man sich zusätzlich wahrscheinlich altmodisch ergoogeln.

Dieser Thread ist nur ein Beispiel von mittlerweile vielen und ich muss sagen das ich Aufgrund der Entwicklung und steigender Unverständlichkeit / Komplexität der Beiträge schon User kenne die ihr Iobroker Projekt eingestellt haben.

Jetzt darf gerne auf mich eingeprügelt und downgevotet werden aber vielleicht stehe ich ja auch nicht ganz alleine da bei den nicht mehr ganz soviel verbliebenen Iobroker Installationen.

Somit allen Iobrokern ein schönes Wochenende

Eine Frage zu den Zahlen: Es sind mehr Chunks (67.660 statt 61.903), der Index ist aber von 551 auf 302 MB geschrumpft. Liegt das nur an den doppelten READMEs, oder hast du auch das Speicherformat bzw. das Embedding-Modell geändert?

Zur Anbindung: Am meisten bringt es meiner Meinung nach dort, wo Code entsteht, also im KI-Chat des javascript-Adapters. Dort hast du genau deinen Messfall: Skript-API, $()-Selektor, schedule, sendTo, Rollen. Gerade mit einem lokalen Modell erfindet der Chat dort sonst Funktionen. Wenn man vor der Anfrage die Top-5 aus deinem RAG in den Kontext gibt, wäre das wahrscheinlich die größte Verbesserung für die meisten Nutzer.

An zweiter Stelle kommt der KI-Assistent im Admin, bei Fragen wie "wie konfiguriere ich Adapter X" oder "was bedeutet dieser Logeintrag". Dafür sind jetzt die Adapter-READMEs wichtig.

Für die Adapterentwicklung bleibt dein bisheriger Weg (MCP in VS Code bzw. Claude) wohl der richtige. Dafür muss nichts in ioBroker passieren.

Was mir noch fehlt, um das einzuschätzen: Ist die REST-Schnittstelle stabil und dokumentiert (Request, Response, Felder wie Quelle und Lizenz)? Dann könnte man im javascript-Adapter eine optionale RAG-URL vorsehen. Wer keinen RAG-Server betreibt, merkt davon nichts.

Auf die Tests mit Cloud-Modell bin ich gespannt.

• Adapter-Doku aus dem Latest-Repo: + Lizenz-Policy
• Inkrementeller Rebuild:

Index und Build
(4 Kerne, 6 GB RAM, Embeddings über Ollama auf einer GPU)

Der Index wurde sogar kleiner, weil die englischen Adapter-READMEs vorher doppelt drin waren.

Die Tests folgen in den nächsten Tagen…

Wo bzw. in welchen Adapter würde deiner Meinung nach eine Anbindung Sinn machen?
Bisher hab ich die RAG hauptsächlich für die Adapterentwicklung mitlaufen lassen.
Die ganzen KI Anwendungen in ioBroker kommen für mich zu spät, hab ich auch ehrlicherweise nicht in aktiver Verwendung.

Hast du schon iobroker.ai-server + assistant + pi-agent ausprobiert? ai-server startet Ollama im Docker oder nutzt einen bestehenden Ollama-Server und stellt eine OpenAI-kompatible API bereit. Mit deiner 4090 wäre das Backend "External Ollama server" das richtige, NVIDIA im Docker-Container wird noch nicht unterstützt. Der assistant kann ein lokales LLM und pi-agent als Provider nutzen. Mich würde interessieren, ob dein RAG dort als zusätzliche Quelle über MCP Sinn ergibt und wie die Antworten damit im Vergleich aussehen.

Zu deiner Frage nach weiteren Quellen: Ja, die Adapter-READMEs halte ich für den wichtigsten nächsten Schritt. Die meisten Forumsfragen betreffen einen bestimmten Adapter und nicht die Skript-API oder io-package.json. Wahrscheinlich kommen deine 12 Fehlgriffe von 65 genau daher. Bei den Adaptern aus dem Latest-Repo sind die Lizenzen sehr unterschiedlich, das sollte in sources.json sauber mitlaufen. Interessant wären auch docs/ und die Changelogs, wo es sie gibt.

Zwei Fragen dazu:

• Wie lange braucht ein Rebuild, wenn du alle Adapter aus dem Latest-Repo aufnimmst? Ein inkrementelles Update (nur Repos mit neuem Commit) wäre dann vermutlich sinnvoller als ein wöchentlicher Komplett-Rebuild.
• Hast du einmal gemessen, wie groß der Unterschied bei einem großen Cloud-Modell mit und ohne RAG ist? Das wäre für viele hier interessanter, weil die meisten keine 4090 haben.