KI-Erkennung in Home Assistant mit Kameras
-
Mahlzeit!
Entfernt hat das Thema mit Iobroker zu tun.
Eventuell möchte ich später einige Daten von HA in Iobroker dann rüberschaufeln.
Aber zurück zum Thema.
Beim Zappen durch YT ist mir dieses spannende Thema aufgefallen.https://www.youtube.com/watch?v=95qyHtzljsU
Wie immer sehr schön von Simon42 erklärt.
Allerdings , trotz Nachbaus, ist das Ganze für mich (noch) nicht zufriedenstellend.
Vielleicht ist jemand über das Thema oder sogar über das Video schon gestolpert.
Bei mir hakt es an der Erkennung.
Die KI erkennt ne Katze anstatt einer Elster.Mein Setup sind TapoKameras.
Man muss dazu sagen, dass ich auf dem KI Gebiet 0 Ahnung habe.
Auch tue ich mich schwer, mit den Entitäten. Keinen Schimmer, welche den gewünschten Erfolg bringen.
Der Kollege im Video nutzt Reolink Kameras.Und dann würde ich gerne ne kurze Videosequenz speichern lassen und nicht nur ein Snapshot, was mir in der Timeline angezeigt wird.
Bei diesem ganzen Thema hoffe ich einfach, dass jemand es ebenfalls nachgebaut hat und helfen kann
-
hm, LLM vision, versucht man hier mit einem llm eine gesichtserkennung? in europa? da dürften diese features eigentlich nicht gut funktionieren. ob in usa weiß ich nicht. gemäß EI AI Act Art 5h https://artificialintelligenceact.eu/de/article/5/ könnte sich damit ja jeder selbst was basteln und bspw OpenAI wäre dann Gehilfe.
Besser funktioniert hier
https://github.com/opencv/opencv- kann auch auf normalen prozessoren (bspw reicht auch schon ein raspi) laufen
- lokales system
- keine weiteren kosten von einem dienstleister oder teuere graifkkarte für ein lokales llm system, ok CUDA support hilft auch opencv
es gibt auch schon was für iobroker
https://forum.iobroker.net/topic/34926/personenerkennung-aufruf-linux-script-mit-parameter/21?page=2 -
Ich bin weniger der "Programmierer" sondern eher ein "Auf Knöpfe-Drücker"
Mit HA passt schon. Dieses Projekt kann man ganz gut "zusammenklicken".
Dein letzter Link ist 5 Jahre alt.
Da würde mir auch die Zeit fehlen, mich aktuell dann einzulesen.
Bleiben wir erstmal bei HA und dem Thema aus dem Video
-
@haselchen schau dir mal frigate an. Ist ein Videosystem in das du Kameras einbindest und das Objekte wie Mensch oder Katze erkennen kann. Es gibt einen Adapter für iobroker der dann Telegram Nachrichten triggern kann.
-
Hab ich schon auf dem Schirm.
Erstmal würde ich gerne dieses Projekt angehen.
Mir geht es vornehmlich um die KI, die mein Bild analsysiert und um die Punkte, die ich oben genannt habe. -
@haselchen sagte in KI-Erkennung in Home Assistant mit Kameras:
Die KI erkennt ne Katze anstatt einer Elster.
Hm, wenn das LLM den Unterschied nicht kennt kann man nicht viel machen, außer ein anderes LLM verwenden.
Hast du den Mal andere getestet? -
Evtl. ist das was
https://forum.iobroker.net/topic/78608/bilder-mittels-llm-chatgpt-vision-ananalysieren/Der Adapter Ki Toolbox kann auch Bilder analysieren.
Ka ob man eine der Varianten zu Videos erweitern kann.
Edit
Für Videos meiner Kameras nutze ich https://www.codeproject.com/ai/Für Menschen, Fahrzeuge etc klaptt das sehr gut.
-
Hab bisher Gemini genommen, da kostenlos (jedenfalls für meinen Nutzen)
Diese LLM Integration hat ja noch mehr KI Optionen zur Auswahl.@ All
Ich bin wirklich für Tipps und Hinweise dankbar. In Zukunft
Aaaaaber, es geht aktuell um dieses Projekt. Nix anderes.
Ich möchte zuverlässig angezeigt bekommen, was erkannt wurde.
Und das möchte ich dann weiter verarbeiten in einer Automation.
Da würde ich gerne mit euch Usern das gemeinsam erarbeiten.
Bisher habe ich aus dem Video soweit so gut alles umgesetzt.
Allerdings läuft das noch nicht so rund.
In der Timeline Card werden max. 10 Events angezeigt, was ist , wenn es nachts 30 gegeben hat?
Und wie kann ich den ganzen Tag mit Events im Timeline Kalender löschen?Das sind so die Dinge, erstmal, die ich klären möchte.
-
@haselchen sagte in KI-Erkennung in Home Assistant mit Kameras:
Eventuell möchte ich später einige Daten von HA in Iobroker dann rüberschaufeln.
Ich würde es ganz anders angehen. Ich weiß nur nicht wie man es in HA umgesetzt bekommt.
Die Frage ist auch, wie viel Aufwand man betreiben möchte oder welche Hardware man hatIch nutze AgentDVR.
Bis auf die Karte für lovelace bietet es fast alles was du möchtest.
Man kann diverse Ki Anbieter integrieren. Teilweise auch die AI die Kameras.
Mit codeprojectai auch sehr gut lokale ai.
Die Aufnahmen kann man sehr fein einstellen, wann was aufgenommen oder gelöscht wird.AgentDVR hat eine SEHR umfangreiche api.
Damit hätte ich die Karte aus lovelace zügig nachgebaut.
In simple erstelle ich diese Seite über die Api.
https://forum.iobroker.net/topic/80405/agentdvr-aufnahmen-in-der-visualisierung-darstellen -
Kleines Update:
Das Einbinden der Kameras , trotz Integration, war schon ne Herausforderung.
Die Entität motion_detection war aus dem Nichts "nicht mehr verfügbar".
Daran hängt natürlich das ganze Projekt. Ohne Bewegung, keine Meldung.Nun, es hat dann irgendwie gereicht, um zu testen.
Und der Test ist.....katastrophal ausgefallen.
Trotz eines akribischen 1:1 Nachbaus der Anleitung, kamen entweder keine Bilder in der Timeline, oder Bilder ohne etwas darauf (dann mit "Keine Aktivität festgestellt" Vermerk) oder völlig abstruse Bildbeschreibungen.
Katze nähert sich Napf. Es war aber eine Elster.
Oder es wurde laut Memory eine bekannte Katze erkannt, nur leider war sie es nicht.Fazit:
Das im Video gezeigte Projekt kann ich im Ergebnis überhaupt nicht nachvollziehen.
Und wenn ich was teste, was mich wirklich interessiert, dann ausgiebig.
Die Ergebnisse bzw. Bildbeschreibungen sind so hanebüchen und zu über 80% falsch.
Dazu kommt noch , dass man würfeln kann, ob ein Bild in der Timeline erscheint oder nicht und wann (manchmal nach über 1 Minute nach Bewegungserkennung).
Ich lege das erstmal ad acta.
Und , wenn ich wieder Zeit und Bock habe, dann schau ich mir von hier die anderen Vorschläge mal an.
