10 Ideen generative KI im Smart Home einsetzen

[bloop]

Liebe Community,

Die Ideen kommen nicht von mir sondern vom Podcast Smart Home Maker.
https://open.spotify.com/show/7l1lPjD13rTSuexyM1NvW7?si=f51e716709c648bd
Der Herausgeber verwendet in seinem Smart Home Home Assistent.
Alle diese Ideen sind doch bestimmt auch in ioBroker umsetzbar.
Der Beitrag soll zur Diskussion und Lösungsfindung anregen:

1. Guten Morgen Nachricht
Guten Morgen Nachricht mit, Wetter, Terminen, Politik und Wirtschaft, ist Auto geladen, gibt es besondere Verkehrsstörungen, usw.
Als Text oder Sprachnachricht

2. Lustige Benachrichtigungen
Sich bei jeder Benachrichtigung über Telegramm oder Pushover generierte Benachrichtigungen senden lassen.
Waschmaschine fertig, Briefkasten, Geschirrspüler usw.
Dies konnte ich bereits mit Ollama und ein paar Skripts mit ioBroker umsetzen. Hat für etwas Verwirrung im Haus gesorgt.

3. Bilder der Überwachungskameras beschreiben lassen
Damit würden sich nicht nur Bilder beschreiben lassen, sondern könnte auch verlegte Dinge von der KI finden lassen. z.b. "Wo ist mein Laptop?". Oder Lebewesen im Garten erkennen usw.

4. Geschichten Erzählen
Gute Nacht Geschichten für die Kinder generieren lassen. Jeder kennt bestimmt die Situation das einem irgendwann die Ideen ausgehen. Hier könnte man die Lieblingsfiguren, Situationen usw. generierten lassen. Entweder als gesamte Geschichte oder in Stichworten. Würde sich auch mit einer "Guten Nacht" Automation für die Kinder verbinden lassen.
Wer es noch weitertreiben möchte könnte die Geschichte auch über einen Smart Speaker mit der generierten eigenen Stimme wiedergeben zu lassen.

5. individuelle Bilder
Mit Ki Bilder generieren welche in einem Digitalen Bilderrahmen oder ähnlichem dargestellt werden.
Wenn man zb. weiß wer den Raum betritt und welche Kunst Vorlieben derjenige hat, könnte man ein Bild mit Informationen aus dem ioBrocker (Wetter, Termine, Zustände, Jahreszeit usw.) im individuellen Stile erstellen lassen.!

6. Automationen
Mit KI neue Automationsideen vorschlagen lassen.
Durch bereitstellen unterschiedlicher Datenpunkte könnte man eine KI damit beauftragen dir zb. 1x Wöchentlich eine neue Automation vorzuschlagen und dir diese Direkt als Skript zur Verfügung zu stellen.

7. Rückblendung auf den gesamten Tag
Täglich eine Zusammenfassung was den heute im Haus passiert ist.
Anomalien zu anderen Tagen zusammengefasst.
Wasserverbrauch, Strom Produktion usw.

8. Kochen
Mit KI Rezeptvorschläge bereitstellen lassen.
Wer zb. bereits jetzt eine Vorratsliste in seinem Smart Home verwaltet, hätte so die Möglichkeit sich Individuelle Rezepte vorschlagen zu lassen. Weiters könnte die KI auch notwendige Lebensmittel auf die Einkaufsliste packen.

9. Musik
Abhängig von Anwesenheit, Scene, Helligkeit, Musikgeschmack, usw. Musik generieren lassen und abspielen.

10. Wochen-, Monatsrückschau
Erweitert Idee Nummer 7, mit weiteren durch externen Quellen hinzugefügten Informationen lässt sich auch ein Rückblick über die letzte Woche oder Monat anzeigen.zb.: Tochter hatte Aufführung im Kindergarten, Sohn hat erste Schritte gemacht, Lieblingssong der Familie, Familie war zum 5mal im Zoo, Papa war 3std im Bastelkeller... Dies könnte man Lokal ablegen und in Zukunft darauf zugreifen.

Was haltet ihr von diesen Ideen, hat jemand bereits etwas mit ioBroker umgesetzt?

Die Lustigen Benachrichtigungen konnte ich bereits umsetzen und arbeite aktuell an der Bildanalyse meiner Kameras.

[Meister Mopper]

@bloop

Natürlich kann man das alles umsetzen, mir stellt sich aber die Frage, warum das alles.

Normalerweise setzt man das um, was hilft

Vielleicht schaust du mal nach n8n. Hier passt es meiner Meinung nach nicht hin.

[Homoran]

@bloop sagte in 10 Ideen generative KI im Smart Home einsetzen:

Der Beitrag soll zur ... Lösungsfindung anregen:

Dann ist das hier die falsche Rubrik!

ich schiebe das mal nach offTopic

[hans_999]

Es schaut so aus, als ob wir momentan eine Lösung hätten, aber uns das passende Problem fehlt:

Es gibt doch jetzt KI, für irgendetwas muss sie doch gut sein

BTW: Wie soll den die "KI" mir eine Rückschau über etwas liefern, was sie (zumindest von mir) gar nicht gesagt bekommt (Sohn hat erste Schritte gemacht, ich war 3 Std. basteln, ...)

[Jey Cee]

@bloop Ich finde die Initiative gut, allerdings ist mindestens die hälfte der Vorschläge Resourcenverschwendung wenn man sie mit KI macht, die lassen sich auch mit einfachen Skripten umsetzen.

Viele finde ich persönlich Überflüssig, interessant sind für mich nur 6, 7 und 10.

Wir haben dafür den AI Assistant Adapter, mit dem man sowas Umsetzen kann. Herausforderung ist das Schreiben des Prompts. Ich meine es gibt in den entsprechenden Themen auch schon ein paar Prompts.

[bloop]

@hans_999 Soll nur als Beispiel dienen. Eigentlich aber nur eine Frage der zur Verfügung gestellter Daten.
Sohn hat schritte gemacht - könnte man durch bereitstellen der Bilderdatenbank vom Handy (wird ja bei den meisten auch extern gespeichert) realisieren.
Bastelkeller geht bereits jetzt mit ESPPresence und/oder zb. Stromverbrauch.

[bloop]

@jey-cee Herzlichen Dank!
Irgend jemanden da draußen hat bestimmt interesse an der Umsetzung jeder einzelnen Idee.
Ich spiele mich aktuell etwas mit Ollama und deren einzelnen Modele. Und auch hier stelle ich immer wieder fest, das die Prompts sehr gezielt gesetzt werden müssen.

Speziell im Punkt 6 sehe ich sehr großes Potential bei ioBroker!
Leider konnte ich den AI Assistant Adapter noch nicht mit einer Lokalen KI testen. Ollama wird noch nicht supported. Daten meines Hauses an eine externe KI weiterleiten möchte ich nicht.

[peterfido]

@bloop Leider lebt die "kostenlose" KI davon, dass man ihr Daten "kostenlos" zum Training gibt. Jedesmal, wenn man sich einer kostenlosen KI bedient, trainiert die mit den Daten.

Die meisten Smarthomefans wollen allerdings, dass die Daten nicht mehr in der Welt unterwegs sind, als unbedingt nötig.

Auch Amazon und Co werden unsere Gewohnheiten für irgendwas nutzen. Wenn ich jeden Abend um Zeit x sage, Alexa, alles aus, landet das zwar lokal bei Node-Red, wurde jedoch extern verarbeitet. So weiß Amazon und evtl. deren Partner, wann ich so ins Bett gehe, aufstehe, usw. Node-Red sendet den Ist-Zustand auch lokal geschalteter Leuchten, welche auch über Alexa steuerbar sind, an Amazon. Somit könnte auch das ausgewertet werden. Denn der Betrieb der Infrastruktur kostet Amazon Geld.

Zurück zum Thema: Eine Zusammenfassung, was so im Smarthome passiert ist, bietet das Log. Man kann alles, was man will, loggen, per Messenger / E-Mail verschicken, usw. Die meisten Ideen kommen von selbst, wenn man sich so im Smarthome bewegt. Z.B: Gucke ich nach Post? War die überhaupt schon durch? - Da muss sich doch was mit einem Kontakt oder so machen lassen.

Eine tägliche Zusammenfassung können Alexa und Google bieten. Wobei Google von Haus aus mehr Infos bietet. Ich probiere es gerade aus, und das Teil quatscht noch

Private Bilder analysiseren ist doch gleich was für die Knipse (Smartphone) selbst.

Der Gedanke an sich ist ansonsten nicht soo verkehrt, bin da aber @hans_999 : Das Problem fehlt evtl. noch.

Ich bin erstmal fertig, Google ist noch bei den Nachrichten. Thema gerade: Probleme bei xAI

[lesiflo]

Die einzige sinnvolle KI für mich wäre eine für Energiespeichersysteme wie z.B. für HEMS (Home Energy Management System). Aktuell bastele ich mir das über diverse Adapter und Scripte zusammen.

[bloop]

Hier scheint doch recht wenig Interesse an dem Thema zu sein.

Zu Punkt 6:
Da ich bereits seit längerem IoBroker mit Redis betreibe kam mir der Gedanke ob es nicht möglich wäre damit Trainingsdaten für eine Lokale KI zur Verfügung zu stellen?
Gemeinsam mit dem Skripts müssten sich dann daraus nach einigen Tagen Trainingszeit auch Vorschläge für Automationen erstellen lassen.
Denkt ihr das wäre umsetzbar? Leider findet sich dazu noch nicht besonders viel im Netz.

[Samson71]

@bloop sagte in 10 Ideen generative KI im Smart Home einsetzen:

Hier scheint doch recht wenig Interesse an dem Thema zu sein.

Was Wunder. Wer einigermaßen bei Verstand ist, gibt so wenig wie möglich an persönlichen Daten/Informationen an Dritte und damit in die Cloud, denn nur mit (wenigen) eigenen

@bloop sagte in 10 Ideen generative KI im Smart Home einsetzen:

Trainingsdaten für eine Lokale KI

wird das wohl nie zu sinnvollen Ergebnissen führen. Für das (sinnvolle) Trainieren einer lokalen KI wären wohl zum Einen deutlich mehr Trainingsdaten notwendig und zum Anderen stellt sich die Frage wieviel (lokale) Rechenpower und damit Energie man braucht bzw. bereitstellen kann und will. Vor dem Hintergrund wundert mich das

@bloop sagte in 10 Ideen generative KI im Smart Home einsetzen:

Leider findet sich dazu noch nicht besonders viel im Netz.

neben den ganzen schon erwähnten Ein-/Beschränkungen auch überhaupt nicht.

Just my 2 Cents

[ubecker]

@bloop ich halte das auch für Resourcenverschwendung. Und wie Samson71 schreibt möchte ich meine Daten nicht der Welt zukommen lassen. Deshalb gibt es bei mir auch keine Alexa. Meine PV redet auch nicht mit ihrem Hersteller. Ich bin und bleibe Lokal.

[OliverIO]

Ich verstehe vollkommen, das man seine Daten aus dem innersten Lebensbereich herausgeben möchte.
Für diejenigen, die Smartphone Geräte einsetzen ist es meines Erachtens bereits zu spät, wenn man nicht entsprechende Kenntnisse zur Absicherung seines Netzwerkes von innen nach außen durchführt.

Für die meisten Geräte, selbst mit geringer leistungsfähigkeiten ist es ein leichtes über das interne Netzwerk die vorhandenen Geräte auszuforschen. Zumindest was den Hersteller und Typ des Gerätes angeht.
Wer das selbst ausprobieren möchte muss nur mal sein internes Netzwerk mit den Tools
avahi-browse -a
arp-scan --interface=eth0 192.168.0.0/24
nmap -rP 192.168.1.1/24

Da bekommt man schon eine menge Informationen.

Klar muss man das evtl. nicht auch noch als Trainingszeiten einer cloud ki zur Verfügung stellen, es gibt allerdings auch offline KIs. Mit steigender Leistungsfähigkeit und Verfügbarkeiten von NPUs als extra Chips für die lokalen KI Fähigkeiten, bekommt man auch lokal und offline ordentliche Entscheidungen hin.
Ob nun für die Steuerung ein LLM KI das richtige ist, wird man sehen. Zur Analyse reicht es aber schon mal aus.

Ich denke mittelfristig werden wir uns dem nicht entziehen können. KI wird, genauso wie das Internet ein zentraler Bestandteil unseres Lebens werden, dessen Verzicht/Vermeidung ähnlich aufwändig wird wie der Verzicht auf Internet oder Strom.

Der KI Act der EU wird von vielen belächelt als Überregulation und Innovationsverhindernd. Allerdings lernt man aus der Vergangenheit, das die Industrie alles versucht aus Dingen Geld zu generieren was möglich ist, wenn solche Regularien nicht existieren,
Ich bin mir sicher, das so wie bei der DSGVO viele Länder im europäischen Ausland, auch diese Regelungen der EU als Vorbild nehmen, umsetzen und dadurch als quasi Vorgaben für die KI Anbieter werden lassen.