Projekt: ioBroker RAG
-
@wendy2702
Herzlichen Dank für deine ehrliche Einschätzung!
Der Thread ist in erster Linie zur Vorstellung des Projekts und der bereits existierenden Möglichkeiten gedacht. Meine Initiative war nicht eine bereits vollständige Anleitung für Einsteiger zu liefern. Dem entsprechend wird das Repo auch nicht geführt.
Ich probiere und experimentiere aktuell noch sehr viel.Sollte sich ein wahrer Nutzen herausstellen, wird dieses selbstverständlich auch so aufbereitet das jedermann sehr einfach damit arbeiten kann.
Ich werde mich zukünftig mehr bemühen, wieder Beiträge verständlicher zu formulieren.
@bluefox
Einiges an Credits für das Benchmark verbrannt…- 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
- Anthropic: Opus / Sonnet / Haiku 5.5
- OpenAI: GPT-6.1-sol / -terra / GPT-6-luna
- Google: Gemini 4 Argon / 3.8 Flash
- xAI: Grok 4.6
- 105 Fragen: 60 Alltagsfragen, 45 Detailfragen.
- Drei Modi: A ohne Kontext, C Top-5 mit Reranker. Dazu Top-1 ohne Reranker als Zwischenstufe.
- Drei blinde Richter, einer pro Anbieter. Sie bewerten jede Antwort mit 0, 1 oder 2 Punkten.
Ergebnis (richtig, ohne RAG → mit RAG)
Modell Alltag Detail Opus 5.5 82 → 84 % 67 → 89 % GPT-6.1-sol 81 → 82 % 54 → 87 % Grok 4.6 61 → 79 % 40 → 87 % Gemini 4 Argon 72 → 82 % 48 → 86 % Sonnet 5.5 76 → 84 % 47 → 82 % Gemini 3.8 Flash 68 → 78 % 34 → 82 % Haiku 5.5 59 → 69 % 33 → 74 % GPT-6-luna 63 → 72 % 31 → 74 % gemma4 26B lokal 14 → 56 % 3 → 67 % - Detailfragen: RAG hilft jedem Modell deutlich, auch den Top-Modellen (+21 bis +63 Punkte, alle signifikant).
- Alltagsfragen: Die stärksten Modelle kennen die Antworten schon, die kleineren gewinnen trotzdem 7–18 Punkte.
- Mit RAG sind die Anbieter praktisch gleichauf (79–82 %). Ein Mittelklasse-Modell mit RAG schlägt ein Top-Modell ohne RAG.
- Erfundene APIs halbieren sich, von rund 25 % auf rund 10 % der Antworten.
- 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
-
@wendy2702 Dieses Post ist noch nicht für dich. Ich glaube nicht, dass du eine RTX5080 irgendwo liegen hast, die du für die Entwicklung anwenden willst. Einfach ignorieren.
-
@wendy2702
Herzlichen Dank für deine ehrliche Einschätzung!
Der Thread ist in erster Linie zur Vorstellung des Projekts und der bereits existierenden Möglichkeiten gedacht. Meine Initiative war nicht eine bereits vollständige Anleitung für Einsteiger zu liefern. Dem entsprechend wird das Repo auch nicht geführt.
Ich probiere und experimentiere aktuell noch sehr viel.Sollte sich ein wahrer Nutzen herausstellen, wird dieses selbstverständlich auch so aufbereitet das jedermann sehr einfach damit arbeiten kann.
Ich werde mich zukünftig mehr bemühen, wieder Beiträge verständlicher zu formulieren.
@bluefox
Einiges an Credits für das Benchmark verbrannt…- 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
- Anthropic: Opus / Sonnet / Haiku 5.5
- OpenAI: GPT-6.1-sol / -terra / GPT-6-luna
- Google: Gemini 4 Argon / 3.8 Flash
- xAI: Grok 4.6
- 105 Fragen: 60 Alltagsfragen, 45 Detailfragen.
- Drei Modi: A ohne Kontext, C Top-5 mit Reranker. Dazu Top-1 ohne Reranker als Zwischenstufe.
- Drei blinde Richter, einer pro Anbieter. Sie bewerten jede Antwort mit 0, 1 oder 2 Punkten.
Ergebnis (richtig, ohne RAG → mit RAG)
Modell Alltag Detail Opus 5.5 82 → 84 % 67 → 89 % GPT-6.1-sol 81 → 82 % 54 → 87 % Grok 4.6 61 → 79 % 40 → 87 % Gemini 4 Argon 72 → 82 % 48 → 86 % Sonnet 5.5 76 → 84 % 47 → 82 % Gemini 3.8 Flash 68 → 78 % 34 → 82 % Haiku 5.5 59 → 69 % 33 → 74 % GPT-6-luna 63 → 72 % 31 → 74 % gemma4 26B lokal 14 → 56 % 3 → 67 % - Detailfragen: RAG hilft jedem Modell deutlich, auch den Top-Modellen (+21 bis +63 Punkte, alle signifikant).
- Alltagsfragen: Die stärksten Modelle kennen die Antworten schon, die kleineren gewinnen trotzdem 7–18 Punkte.
- Mit RAG sind die Anbieter praktisch gleichauf (79–82 %). Ein Mittelklasse-Modell mit RAG schlägt ein Top-Modell ohne RAG.
- Erfundene APIs halbieren sich, von rund 25 % auf rund 10 % der Antworten.
- 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
-
@wendy2702
Herzlichen Dank für deine ehrliche Einschätzung!
Der Thread ist in erster Linie zur Vorstellung des Projekts und der bereits existierenden Möglichkeiten gedacht. Meine Initiative war nicht eine bereits vollständige Anleitung für Einsteiger zu liefern. Dem entsprechend wird das Repo auch nicht geführt.
Ich probiere und experimentiere aktuell noch sehr viel.Sollte sich ein wahrer Nutzen herausstellen, wird dieses selbstverständlich auch so aufbereitet das jedermann sehr einfach damit arbeiten kann.
Ich werde mich zukünftig mehr bemühen, wieder Beiträge verständlicher zu formulieren.
@bluefox
Einiges an Credits für das Benchmark verbrannt…- 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
- Anthropic: Opus / Sonnet / Haiku 5.5
- OpenAI: GPT-6.1-sol / -terra / GPT-6-luna
- Google: Gemini 4 Argon / 3.8 Flash
- xAI: Grok 4.6
- 105 Fragen: 60 Alltagsfragen, 45 Detailfragen.
- Drei Modi: A ohne Kontext, C Top-5 mit Reranker. Dazu Top-1 ohne Reranker als Zwischenstufe.
- Drei blinde Richter, einer pro Anbieter. Sie bewerten jede Antwort mit 0, 1 oder 2 Punkten.
Ergebnis (richtig, ohne RAG → mit RAG)
Modell Alltag Detail Opus 5.5 82 → 84 % 67 → 89 % GPT-6.1-sol 81 → 82 % 54 → 87 % Grok 4.6 61 → 79 % 40 → 87 % Gemini 4 Argon 72 → 82 % 48 → 86 % Sonnet 5.5 76 → 84 % 47 → 82 % Gemini 3.8 Flash 68 → 78 % 34 → 82 % Haiku 5.5 59 → 69 % 33 → 74 % GPT-6-luna 63 → 72 % 31 → 74 % gemma4 26B lokal 14 → 56 % 3 → 67 % - Detailfragen: RAG hilft jedem Modell deutlich, auch den Top-Modellen (+21 bis +63 Punkte, alle signifikant).
- Alltagsfragen: Die stärksten Modelle kennen die Antworten schon, die kleineren gewinnen trotzdem 7–18 Punkte.
- Mit RAG sind die Anbieter praktisch gleichauf (79–82 %). Ein Mittelklasse-Modell mit RAG schlägt ein Top-Modell ohne RAG.
- Erfundene APIs halbieren sich, von rund 25 % auf rund 10 % der Antworten.
@bloop danke für deine Rückmeldung. Ich finde das eigentlich sehr interessant und deshalb kam mein „Einwand“. Solltest du mal Zeit und Lust haben daraus eine Anleitung zu bauen bin ich bestimmt nicht der einzige den das interessiert.
@bluefox : was hat dich zu deiner Aussage/Annahme veranlasst? Ach eigentlich interessiert mich das und deine Antwort ehrlich gesagt nicht, sondern geht mir am Allerwertesten vorbei.
- 9 Cloud-Modelle über GitHub Copilot, plus gemma4 26B lokal zum Vergleich:
-
@OliverIO
Habe die Fragen sowie den Weg und das Ergebnis soeben in den/evalgeladen. Ich muss jedoch dazu sagen das zum Zeitpunkt des RAG noch auf der Version 0.3.0 lief und ich somit beim Benchmark noch keine Adapter Dokus im RAG waren.
Ein weiterer Lauf würde mich aktuell wieder weitere 7std, sowie jede Menge Credits kosten. Eventuell nächsten Monat wieder.
Erstmal schauen wo die Entwicklung hin geht und ob sich ein echter Mehrwert für ioBroker und/oder die Adapterentwicklung aufzeigen lässt.@wendy2702
Ich unterstütze sehr gerne!
Eventuell ergibt sich ja bald die Möglichkeit ein funktionierendes ioBroker RAG für die gesamte Community zur Verfügung zu stellen. Es handelt sich ja lediglich um eine Sammlung öffentlicher Dokumente die für KI Modelle aufgearbeitet wurden. 😜
Übrigens lässt sich sowas nicht nur mit ioBroker umsetzen sondern mit jeder eigenen Datensammlung. Wie zb. Obsidian, ein eigenes Wiki, Notion, uvm. -
@OliverIO
Habe die Fragen sowie den Weg und das Ergebnis soeben in den/evalgeladen. Ich muss jedoch dazu sagen das zum Zeitpunkt des RAG noch auf der Version 0.3.0 lief und ich somit beim Benchmark noch keine Adapter Dokus im RAG waren.
Ein weiterer Lauf würde mich aktuell wieder weitere 7std, sowie jede Menge Credits kosten. Eventuell nächsten Monat wieder.
Erstmal schauen wo die Entwicklung hin geht und ob sich ein echter Mehrwert für ioBroker und/oder die Adapterentwicklung aufzeigen lässt.@wendy2702
Ich unterstütze sehr gerne!
Eventuell ergibt sich ja bald die Möglichkeit ein funktionierendes ioBroker RAG für die gesamte Community zur Verfügung zu stellen. Es handelt sich ja lediglich um eine Sammlung öffentlicher Dokumente die für KI Modelle aufgearbeitet wurden. 😜
Übrigens lässt sich sowas nicht nur mit ioBroker umsetzen sondern mit jeder eigenen Datensammlung. Wie zb. Obsidian, ein eigenes Wiki, Notion, uvm.Übrigens lässt sich sowas nicht nur mit ioBroker umsetzen sondern mit jeder eigenen Datensammlung. Wie zb. Obsidian, ein eigenes Wiki, Notion, uvm.
Genau das machen gerade (oder haben bereits) viele Unternehmen um ihr ganzes Wissen für ihre KI und ihre Mitarbeiter besser nutzbar zu machen.
-
Was hat denn die Ruhrkohle AG mit dem ioBroker zu tun?
Linux-Werkzeugkasten:
https://forum.iobroker.net/topic/42952/der-kleine-iobroker-linux-werkzeugkasten
NodeJS Fixer Skript:
https://forum.iobroker.net/topic/68035/iob-node-fix-skript
iob_diag: curl -sLf -o diag.sh https://iobroker.net/diag.sh && bash diag.sh -
Was hat denn die Ruhrkohle AG mit dem ioBroker zu tun?
Es ist das gemeint
https://de.wikipedia.org/wiki/Retrieval-Augmented_Generation -
@bloop Das ging schnell, danke. 819 von 839 Adaptern bei einem Vollbuild unter einer Stunde ist gut. Mit dem inkrementellen Update ist das dann ja nur noch ein paar Minuten pro Nacht.
Eine Frage zu den Zahlen: Es sind mehr Chunks (67.660 statt 61.903), der Index ist aber von 551 auf 302 MB geschrumpft. Liegt das nur an den doppelten READMEs, oder hast du auch das Speicherformat bzw. das Embedding-Modell geändert?
Zur Anbindung: Am meisten bringt es meiner Meinung nach dort, wo Code entsteht, also im KI-Chat des javascript-Adapters. Dort hast du genau deinen Messfall: Skript-API,
$()-Selektor,schedule,sendTo, Rollen. Gerade mit einem lokalen Modell erfindet der Chat dort sonst Funktionen. Wenn man vor der Anfrage die Top-5 aus deinem RAG in den Kontext gibt, wäre das wahrscheinlich die größte Verbesserung für die meisten Nutzer.An zweiter Stelle kommt der KI-Assistent im Admin, bei Fragen wie "wie konfiguriere ich Adapter X" oder "was bedeutet dieser Logeintrag". Dafür sind jetzt die Adapter-READMEs wichtig.
Für die Adapterentwicklung bleibt dein bisheriger Weg (MCP in VS Code bzw. Claude) wohl der richtige. Dafür muss nichts in ioBroker passieren.
Was mir noch fehlt, um das einzuschätzen: Ist die REST-Schnittstelle stabil und dokumentiert (Request, Response, Felder wie Quelle und Lizenz)? Dann könnte man im javascript-Adapter eine optionale RAG-URL vorsehen. Wer keinen RAG-Server betreibt, merkt davon nichts.
Auf die Tests mit Cloud-Modell bin ich gespannt.
Was mir noch fehlt, um das einzuschätzen: Ist die REST-Schnittstelle stabil und dokumentiert (Request, Response, Felder wie Quelle und Lizenz)? Dann könnte man im javascript-Adapter eine optionale RAG-URL vorsehen. Wer keinen RAG-Server betreibt, merkt davon nichts.
REST-Schnittstelle: läuft stabil (live getestet: /health, /stats, /query, Fehlerfälle, MCP). Doku war bisher zu dünn – jetzt gibt es eine feste API v1 mit allen Request-/Response-Feldern inkl. Quelle, Lizenz und Lizenzstatus (allow/review): https://github.com/bloop-herbert-bot/ioBrokerRAG/blob/main/docs/api.md
-
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren AnmeldenSupport us
517
Online33.1k
Benutzer84.2k
Themen1.4m
Beiträge