Showcase frigate mit esp32cam (tasmota)

[MartinP]

Habe mir ein Setup gebastelt, das recht gut zu funktionieren scheint

1. Flashen von Tasmota auf die esp32cam nach dieser Anleitung
   https://cgomesu.com/blog/Esp32cam-tasmota-webcam-server/

Wenn alles geklappt muss man erstmal direkt über den Tasmota/ESP32-CAM Webserver Zugriff nehmen - bei mir über "http://192.168.2.189"

Dann weiter tools/console

dort eintippen:

wcresolution 11
wcrtsp 0

Das bedeutet: Webcam Auflösung 11 = 1280x720, rtsp-stream aus(!) (Mehr Kommandos ... siehe link weiter oben)

Ich habe mit höheren und niedrigeren Auflösungen experimentiert, und empfinde 1280 x 720 als guten Kompromiss
Bei höheren Auflösungen erkennt man auch nicht mehr, und die Framerate geht noch weiter, als bis auf 1...3 fps in den Keller.
Bei geringeren Auflösungen gehen doch irgendwann selbst bei der Schwachen Optik Details verloren ...

Frigate Installation habe ich anderswo schon beschrieben ...

https://forum.iobroker.net/topic/76003/frigate-auf-coral-usb-im-lxc-container?_=1729774465581

Hatte lange mit dem rtsp-Stream direkt der ESP-Cam experimentiert - der ist aber wohl zu exotisch, und hat den Nachteil, dass man die Aufzeichnungen nicht direkt im Browser angucken kann... (deshalb wcrtsp 0)

Frigate wird über die datei config.yml konfiguriert.

die Verarbeitung des Videomaterials aus der Kamera erfolgt im frigate container in zwei Schritten.

go2rtc übernimmt den mjpeg-Stream der Kamera und wandelt ihn in rtsp

...
go2rtc:
#  log:
#    exec: trace
  streams:
    #----- Output ist JPEG, Video.Transkodierung in H.264, kein Audio vorhanden
    CAM-go2Stellplatz:
       - ffmpeg:http://192.168.2.189:81/cam.mjpeg#video=h264#hardware
     # - ffmpeg:rtsp://192.168.2.189:8554/mjpeg/1/#video=h264#hardware
...

Der transkodierte Stream aus go2rtc CAM-go2Stellplatz füttert dann wiederum den Kamera-Prozess:
Die IP-Adresse 172.18.0.2 ist die Adresse des Frigate Docker Containers ... ich weiß nicht, ob das Ganze auch mit 127.0.0.1 oder der IP-Adresse des Linux-Systems auf dem der frigate Container unter Docker läuft funktioniert ...

...
cameras:
  stellplatz:
    ffmpeg:
      hwaccel_args: preset-vaapi
      input_args: preset-rtsp-generic
      inputs:
        - path:  rtsp://172.18.0.2:8554/CAM-go2Stellplatz
         ...

Komplette Datei als Spoiler:

Spoiler

# logger:
 # default: info
#  logs:
#    frigate.mqtt: debug

birdseye: 
 enabled: false
 width: 1280
 height: 720
 # mode: continuous
  
mqtt:
 enabled: true
 host: 192.168.2.201
 port: 1888

 topic_prefix: frig1

go2rtc:
#  log:
#    exec: trace
 streams:
   #----- Output ist JPEG, Video.Transkodierung in H.264, kein Audio vorhanden
   CAM-go2Stellplatz:
      - ffmpeg:http://192.168.2.189:81/cam.mjpeg#video=h264#hardware#raw=-avoid_negative_ts make_zero -fflags nobuffer -flags low_delay -strict experimental -fflags +genpts+discardcorrupt -use_wallclock_as_timestamps 1 
    #  - ffmpeg:http://192.168.2.189:81/cam.mjpeg#video=h264#hardware
    # - ffmpeg:rtsp://192.168.2.189:8554/mjpeg/1/#video=h264#hardware

record:
 enabled: true
 retain:
   days: 0
   mode: all
 events:
   retain:
     default: 10
     mode: motion
detectors:
 coral:
   type: edgetpu
   device: usb
cameras:
 stellplatz:
   ffmpeg:
     hwaccel_args: preset-vaapi
     input_args: preset-rtsp-generic
     inputs:
       - path:  rtsp://172.18.0.2:8554/CAM-go2Stellplatz
         roles:
           - detect
   detect:
     width: 1280
     height: 
objects:
 # Optional: list of objects to track from labelmap.txt (default: shown below)
 track:
   - person
 # Optional: mask to prevent all object types from being detected in certain areas (default: no mask)
 # Checks based on the bottom center of the bounding box of the object.
 # NOTE: This mask is COMBINED with the object type specific mask below
 # mask: 0,0,1000,0,1000,200,0,200
 # Optional: filters to reduce false positives for specific object types
 filters:
   person:
     # Optional: minimum width*height of the bounding box for the detected object (default: 0)
     # min_area: 1000
     min_area: 500
     # Optional: maximum width*height of the bounding box for the detected object (default: 24000000)
     # max_area: 100000
     max_area: 24000000
     # Optional: minimum width/height of the bounding box for the detected object (default: 0)
     # min_ratio: 0.5
     # Optional: maximum width/height of the bounding box for the detected object (default: 24000000)
     # max_ratio: 2.0
     # Optional: minimum score for the object to initiate tracking (default: shown below)
     # min_score: 0.5
     # Optional: minimum decimal percentage for tracked object's computed score to be considered a true positive (default: shown below)
     # threshold: 0.7
     # Optional: mask to prevent this object type from being detected in certain areas (default: no mask)
     # Checks based on the bottom center of the bounding box of the object
     # mask: 0,0,1000,0,1000,200,0,200

version: 0.14

EDIT: Noch ein Tipp zum Schluss: Die Kamera selber ist nicht in der Lage, mehr als einen Video Stream auszuliefert. Wenn man sich die Tasmota-Konsole aufmacht, wird die Verbindung zum frigate System so gestört, dass die beiden nicht mehr zusammen gefunden haben. Musste im Browser den Tab mit der Tasmota Oberfläche schließen. und den Frigate Container neu starten..

[MartinP]

@martinp Habe leider einen Pferdefuß entdeckt ... die Videos lassen sich mit Firefox wiedergeben, aber mit Chrome nicht ...
Sowohl auf dem Android Smartphone, als auch auf dem Windows PC funktioniert es nicht ...

Muss man wahrscheinlich noch Feinschliff an der go2rtc Konfiguration betreiben ...

EDIT: go2rtc Konfiguration ergänzt... jetzt funktioniert es auch auf dem Smartphone und im Windows Chrome

...
go2rtc:
#  log:
#    exec: trace
  streams:
    #----- Output ist JPEG, Video.Transkodierung in H.264, kein Audio vorhanden
    CAM-go2Stellplatz:
       - ffmpeg:http://192.168.2.189:81/cam.mjpeg#video=h264#hardware#raw=-avoid_negative_ts make_zero -fflags nobuffer -flags low_delay -strict experimental -fflags +genpts+discardcorrupt -use_wallclock_as_timestamps 1 
     #  - ffmpeg:http://192.168.2.189:81/cam.mjpeg#video=h264#hardware
     # - ffmpeg:rtsp://192.168.2.189:8554/mjpeg/1/#video=h264#hardware
...

Habe den Spoiler oben ausgetauscht gegen die neue Version

[MartinP]

Noch ein wenig Ergänzung, was die Anwendung der Kamera angeht ...

Mit der internen Antenne gibt es keinen stabilen Videostream, habe auf eine externe Antenne umgebaut.
https://www.roboter-bausatz.de/p/2.4g-antenne-bluetooth-wifi-fuer-esp32-cam-zigbee-module-uvm.?srsltid=AfmBOoqZMLEzgdNFcpcNGoPMps7w3MXdyTnEQU5xiD-osNa_nY3ocMV_

Derzeit nutze ich noch einen experimentellen Aufbau:

Hier wird eine Email versandt mit dem Thumbnail-Bild des erkannten Ereignisses

Ich nutze den frigate Adapter NICHT, sondern habe frigate direkt in den mqtt client / broker eigebunden.

URL des Thumbnail-Bildes

http://192.168.2.196:5000/api/stellplatz/any/thumbnail.jpg

Und hier noch die Lebensdaten des frigate LXC-Containers

[David G.]

@martinp sagte in Showcase frigate mit esp32cam (tasmota):

Mit der internen Antenne gibt es keinen stabilen Videostream, habe auf eine externe Antenne umgebaut.

Das Problem ist hatte ich auch mal.
Eine Cam habe ich beim löten zerstört, dann habe ich mir im Forum weiterhelfen lassen.....

Warum da kein kleiner Schalter ist.....

[MartinP]

@david-g Die Umschaltung muss HF-Technisch "glatt" sein ... 2,4 GHz ist da schon recht empfindlich ...

Habe aber auch schon Lösungen gesehen, wo die Antennenbuchse "Huckepack" auf der Leitung sitzt, die zur Leiterplatten-Antenne geht...
Schließt man eine Antenne an die Buchse an, besteht die Arbeit darin, mit dem Teppichmesser die Leiterbahn zur Leiterplatten-Antenne zu kappen ...

Die Leute von Frixtender sind aber da ziemlich schmerzfrei - die lassen die interne WLAN-Antenne einfach dran .. nix Teppichmesser....

Geht nur um den kurzen Abschnitt ab 14:23:

https://www.youtube.com/watch?v=8CV02jPrHwc

Beim ESP32CAM Umlöten hat meine Lötspitze auch diesen 0-Ohm Widerstand geschluckt, und gut durchgegart ...
Habe die Brücke dann mit einem 0,1 mm Silberdraht geschlossen ...