Weihnachtsangebot 2025! 🎄

[uwe72]

Ich schreibe erst einmal was in der Linux console bereits funktioniert.

Ich rufe ein Script auf:

Dieses Script "startet ein Programm":

Nach dem "das Programm" gestartet ist, kann man in der Console ein relativen Pfad zu einem Bild eingeben, z.B. "data/dog.jpg"

Im Anschluss bekomme ich auf der Konsole das Ergebnis, dass auf dem Bild sich ein Fahrrad, ein Hund, usw. befindet.

Rein theoretisch könnte man sich auch noch das Ergebnis auf dem Output anschauen:

Danach kann ich beliebig oft eine andere Bilddatei angeben, z.b. ein Bild einer Schulklasse:

Das starten des Scriptes dauert >5 Sekunden. Die anschließende Bildanalyse jeweils pro Bild <1 Sekunde.

So warum schreibe ich dies im ioBroker-Forum?

Ich möchte diese Personenerkennung in ioBroker einbinden.

Das Linux-Script kann ich aufrufen über ioBroker-JavaScript. Aber ich habe gerade keine Idee/Ahnung wie ich es irgendwie schaffe, dass ich das Linux-Script nur einmal aufrufe und im Anschluss immer eine neue Bilddatei übergeben kann zur Analyse?

Hintergrund: Ich möchte alle paar wenige Sekunden ein Bild von der Kamera abgreifen, dieses dem laufenden "Linux Programm/Script" übergeben und somit auslesen, ob eine Person erkannt wird oder nicht. So spare ich mir einen Bewegungsmelder an der Kamera und habe eine nahezu 100% Personenerkennung, dies auch noch lokal. Habe das selbe schon am Laufen über einen Microsoft Webservice. Das hat für mich aber keine Zukunft. Ich möchte dies lokal machen. Es funktioniert auch wie gesagt in Linux, aber es fehlt noch die Brücke zum ioBroker.

Kann mir hier jemand - bei dem zugegeben speziellen Thema - weiterhelfen?

Ich find das Thema äußerst spannend.

Das Linux-Script bekomme ich schon über mein ioBroker-JavaScript aufgerufen:

// Xiaomi Schalter (Smart Switch) hat ausgelöst im Büro:
on({id: sensor_taster_buero.sensorTasterStateButtonPressed, change: 'any'}, function (obj) { 
    var value = obj.state.val;
    var oldValue = obj.oldState.val;
    if (value == 0 && oldValue == 1002) {
      log("test");
      execabc();
    }
});

 
function execabc() {
  var conn = new Client();
  conn.on('ready', function() {
    conn.exec('/home/uwe72/darknet/start.sh', function(err, stream) {
    //conn.exec('/root/darknet/darknet detect yolov3.cfg yolov3.weights data/uwe.jpg', function(err, stream) {        
      if (err) throw err;
      stream.on('close', function(code, signal) {
        conn.end();
      }).on('data', function(data) {
        log('Ausgabe: ' + data);
      }).stderr.on('data', function(data) {
        log('Fehler: ' + data);
      });
    });
  }).connect({
    host: '192.168.178.135', // IP des RPi
    port: 22,
    username: 'uwe72',
    password: 'SmartHxxx'
  });
}

Aber wie gesagt, weiß ich nicht wie ich nun laufend die Bilder übergeben kann.

[SBorg]

@uwe72 Hi,
lässt sich das "Programm" per Parameter (für das Image) aufrufen? Ev. könnte man es auch mal mit pipen probieren:

xyz | echo bild.jpg

Dann könnte man die start.sh derart abändern, dass du das Bild als Parameter übergeben kannst und es in JS dann mittels '/home/uwe72/darknet/start.sh bild.jpg' aufrufen könntest.

[uwe72]

@SBorg Ja, das würde schon gehen. Aber dann würde das "Programm" leider immer wieder von neuem "starten" und ich bräuchte immer die 6-7 Sekunden. Wenn das "Programm" mal gestartet ist kriege ich die Bildanalyse dann im Nachgang in kleiner als 1 Sekunde. Ich muss mal schauen, danke Dir!

[SBorg]

@uwe72 Problem verstanden ;)
Wenn du das "Programm" in einem Screen laufen lässt? Dann wartet der Screen auf die Eingabe des Dateinamens. Dann könntest du den Dateinamen per JS an den Screen schicken.

[uwe72]

@SBorg Kannst Du mir hier noch bitte 2-3 Sätze schreiben, was meinst Du mit Screen? Bin nicht der Held in Linux. Bzw. habe nun mal nach screen gegoogelt. Werde ich mir mal anschauen. Danke!

[mickym]

Gelöscht

[SBorg]

@uwe72 Kein Problem, mag nur nicht unnütz eine Litanei schreiben wenn mein "Gegenüber" ev. nur einen Denkanstoß benötigte ;)
Du öffnest testweise mal zwei Sessions mittels putty oä.
In die #2 gibst du ein screen -S test und dann einfach date (aber diesmal ohne ENTER, der Cursor soll einfach hinter "date" stehen bleiben)
In die #1 nun screen -S test -X stuff $'\n'
Du siehst was in #2 passiert ist :sunglasses:

Du musst also in #2 nur dein Programm starten damit es auf die Bildeingabe wartet, dann kannst du #2 schließen (nicht per exit beenden, sonst wird auch der Screen geschlossen! )
In #1 wird dann mittels screen -S test -X stuff $'bild.jpg\n'

bild.jpg (\n ist der Code für ein ENTER) an #2 geschickt der es verarbeitet. "test" würde ich dann natürlich noch aussagekräftiger benennen. Wenn das soweit klappt musst du nur noch den Teil "Screen #2 mit 'Programm' starten" automatisieren, damit es auch automatisch nach einem Reboot wieder läuft ;)

btw: mittels screen -ls kannst du dir alle geöffneten Screens anschauen

[uwe72]

@SBorg Danke!!

Das klingt schon ein mal sehr vielversprechend. Funktioniert grundsätzlich auch:

Ich muss nun nur schauen, wie ich an das Ergebnis komme, denn das steht ja eigentlich in #2. ggf. lässt sich diese aber auch in eine Datei ausleiten.

[uwe72]

@SBorg Sehe schon, das geht ggf. mit

screen -rx test

`

[uwe72]

@SBorg es funktioniert nun alles. Habe es so hingekriegt, dass es grundsätzlich funktioniert.

Gebe den Consolenoutput noch in eine Datei aus.

Diese Datei kann ich in iobroker wieder einlesen um an das Ergebnis (der Bildanalyse) zu kommen.

Muss mal schauen, was ich noch optimieren kann. Beispielsweise ohne den Umweg über die Datei zu gehen.

Danke auf alle Fälle!!

[SBorg]

@uwe72 sagte in Personenerkennung: Aufruf Linux Script mit Parameter:

Beispielsweise ohne den Umweg über die Datei zu gehen.

Würde ich eigentlich als Parameter "-Q" verstehen, habe ich aber bis dato nicht hinbekommen.

[AlCalzone]

@uwe72 sagte in Personenerkennung: Aufruf Linux Script mit Parameter:

Aber wie gesagt, weiß ich nicht wie ich nun laufend die Bilder übergeben kann.

Wenn es lokal läuft, kannst du mit dem child_process-Module und exec einen Prozess starten und in stdin schreiben:
https://nodejs.org/api/child_process.html#child_process_subprocess_stdin
Das entspricht einer manuellen Eingabe auf der Konsole.

Gebe den Consolenoutput noch in eine Datei aus.
Diese Datei kann ich in iobroker wieder einlesen um an das Ergebnis (der Bildanalyse) zu kommen.

Und da kommst du über stdout dran.

[uwe72]

@AlCalzone mit "lokal" meinst Du, die "Bilderkennungssoftware" und "iobroker" laufen auf dem selben "Rechner"?

[AlCalzone]

@uwe72 genau

[uwe72]

Danke Euch beiden mal @SBorg @AlCalzone !!

Hab schon ein mal dank Euch dazu gelernt. Bin noch nicht ganz am Ziel, aber Bauchgefühl, sollte vollends möglich sein.

@AlCalzone: Hab die Sachen auf unterschiedlichen Rechnern. Da kann und möchte ich auch nichts ändern. iobroker läuft auf einem leistungsstarkem NUC und die Bilderkennung auf einem Jetson Nano.

@SBorg Läuft grundsätzlich, nur komme ich noch nicht an den Konsolenoutput ran von #2. Versuche gerade, dass #2 die Konsole in eine Datei schreibt. Über NFS-Server-/Client lese ich im iobroker den Inhalt ein. Das ist noch ein wenig umständlich und #1 liest schneller ein als #2 schreibt. Kann zwar ein timeout vor dem einlesen einbauen, aber da verliere ich auch Zeit. Ist alles noch ein wenig "umständlich" :-) Aber ich gebe noch nicht auf :-)

[AlCalzone]

@uwe72 Ich habe das hier gefunden, was ähnlich aussieht wie der Code in deinem ursprünglichen Code:
https://stackoverflow.com/a/51886884/10179833

Du kannst also auch per SSH in stdin schreiben und aus stdout lesen.

[uwe72]

@AlCalzone Sehr gut! Danke schon einmal. Werde ich mir heute Abend anschauen!

[Solear]

@uwe72

Kam etwas heraus?
Schafft der Jetson Nano auch mehrere Kameras(-Bilder) nach Objekten/Personen überwachen?

[uwe72]

@Solear Nein das schafft er nicht.

habe nun 2 jetson nano. auf einem läuft die personenerkennung der Haustüre-Kamera.

Beim 2. Jetson Nano laufen nacheinander die Erkennung von 3 weiteren Kameras aus dem Gartenbereich. aber eben sequentiell. Das reicht mir trotzdem noch.

Eine Detection dauert ca. 475ms.

Habe noch ein Restproblem. Ab und zu schafft mein iobroker nicht das Bild von der Kamera zu holen, sieht man an den Stellen wo der Bereich unter der roten Linie liegt. Das muss ich noch irgendwie lösen. Aber insgesamt läuft es gut.

[coyote]

@uwe72 kannst du das Ganze etwas mehr erläutern? Momentan nutze ich Zoneminder für die Personenerkennung in einem LXC Container. Die Erkennung Zoneminder -> iobroker ZM Adapter -> Telegram Nachricht ist aber "relativ" langsam. Die Personenerkennung an sich ist recht schnell, nur bis der ZM Adapter es mitbekommen hat und ich eine Nachricht bekomme, dauert recht lange.
Du nutzt also ein Script/Programm für die Erkennung, die auf einem Jetson Nano läuft richtig? Würdest du das Programm bereitstellen?