@OliverIO
Meinem "kleinen" llama Modell waren der Objektpfad sowie die Bezeichnung nicht ausreichend. Ein Pfad wie shelly.0.SHBDUO-1#XXXXXX.lights.Switch konnte nicht passend interpretiert werden. Auch die boolean Werte und Beschreibung wurde oft falsch interpretiert.
Deshalb habe ich diese in über die Datenpunkteinstellungen mit Beschreibung, Destination, Wert Boolean true und false, Unit, ... die Möglichkeit zum Definieren erstellt. Daraus wurde dann zb. Wohnzimmer Stehlampe ein, Temperatur Wohnzimmer 26°C oder Gute Nacht Geschichte Kinderzimmer.
Der Datenpunktpfad, Zeitstempel und die entstandene Beschreibung wurde dann an das Ollama Embedding Modell übergeben und in die Datenbank geschrieben. Bei einer Abfrage wurden die gespeicherten Daten dann abgefragt. Selbstverständlich würde sich dies auch mit Funktionen und Räume vordefinieren lassen.
Das Resultat daraus war, dass ich viel präzisere Antworten erhalten habe und auch ein kleines Modell diese relativ schnell verarbeiten konnte.
In Verbindung mit n8n könnte ich mir vorstellen, dass kurze Prompts wie:
Schalte die Stehlampe im Wohnzimmer ein. Direkt über ein Lokales Modell ablaufen könnte.
Größere und längere Anfragen wären mit einem externen Modell abzuarbeiten welchem die Daten zwar für den Prompt zur Verfügung gestellt bekommt, allerdings wären diese immer noch Lokal abgespeichert und nicht ausgelagert.
