Neuer Blogbeitrag: Monatsrückblick - Dezember 2025 🎄

[schroedinger]

Hi,

mich hat diese Idee (ein IP-cam-Bild an Microsoft cognitive services zu senden um Gesichter zu erkennen & idenfizieren) nicht losgelassen.

Und obwohl ich eigentlich JS nicht beherrsche, ist es mir trotzdem gelungen.

Ich beschreibe mal was ich erreichen wollte und was mir gelungen ist:

Ich wollte

• das Bild einer Webcam an die Microsoft API senden und dort das Gesicht oder die Gesichter erkennen zu lassen

• die "response" erfassen; d.h. eine "faceID" erhalten und ein paar faceattributes (zB.Alter)

• die erhaltene faceId wieder hochladen und dort eine Person identifizieren lassen

• den Namen der identifizieren Person in ein iobroker-object schreiben.

Gemacht habe ich das mit dem folgenden Script

(dazu vorab: ihr werdet schnell feststellen, dass ich nicht wirklich programmieren kann, das ganze kann man sicher eleganter und effizienter programmieren; ich bin sicher, dass einige Programmzeilen überflüssig sind; auch die "remarks" (//) dürften nicht immer nachvollziehbar sein, ich habe diese meistens nur für mich als Gedankenstütze angefügt)

Hier das Script:

` > createState('personenIDobject', 'unbekannt!'); // ein iobroker object hier kommt Personen ID rein

createState('erkannteperson', 'niemand erkannt'); // hier kommt Name der erkannten Person sonst "unbekannt"

'use strict';

const request = require('request');

// Replace <subscription key="">with your valid subscription key.

const subscriptionKey = '<api-key>';

// You must use the same location in your REST call as you used to get your

// subscription keys. For example, if you got your subscription keys from

// westus, replace "westcentralus" in the URL below with "westus".

const uriBase = 'https://westeurope.api.cognitive.micros … 1.0/detect';

const imageUrl =

'http://<ip-adddresse_zu_bild>.jpg'

// Request parameters.

const params = {

'returnFaceId': 'true',

'returnFaceLandmarks': 'false',

'returnFaceAttributes': 'age,gender,headPose,smile,facialHair,glasses,' +

'emotion,hair,makeup,occlusion,accessories,blur,exposure,noise'

};

const options = {

uri: uriBase,

qs: params,

body: '{"url": ' + '"' + imageUrl + '"}',

headers: {

'Content-Type': 'application/json',

'Ocp-Apim-Subscription-Key' : subscriptionKey

}

};

request.post(options, (error, response, body) => {

if (error) {

console.log('Error: ', error);

return;

}

let jsonResponse = JSON.stringify(JSON.parse(body), null, ' ');

console.log('JSON Response\n');

console.log(jsonResponse);

var faces = JSON.parse(body);

if (faces.length === 0) {

return;

}

var face = faces[0]; // 1. Objekt auf body ist face

var faceId = face.faceId; // Wert von property "faceId"

// console.log(face);

console.log(faceId);

// console.log(faces[0].faceRectangle.top); nicht benötigt , nur Lernzwecke

var smile = (faces[0].faceAttributes.smile); // Lächenl ja/nein?

console.log(smile);

var age = (faces[0].faceAttributes.age); // Alter der erkannten Person

console.log(age);

// **** Gesicht erkannt faceID ist in Variable faceID *****

// **** jetzt hochladen und versuchen zu erkennen ******

console.log("***** STARTE IDENTIFY");

// Request parameters.

const uriBase2 = 'https://westeurope.api.cognitive.micros … 0/identify';

const params2 = {

};

const body2 = JSON.stringify({ // definiere hier den body für 2. abfrage

"personGroupId": 'klaus_persongroup',

"faceIds": [

faceId,

],

"maxNumOfCandidatesReturned": 1,

"confidenceThreshold": 0.5

});

const options2 = {

uri: uriBase2,

qs: params2,

body: body2,

headers: {

'Content-Type': 'application/json',

'Ocp-Apim-Subscription-Key' : subscriptionKey

}

};

request.post(options2, (error, response, body) => {

if (error) {

console.log('Error: ', error);

return;

}

let jsonResponse2 = JSON.stringify(JSON.parse(body), null, ' ');

console.log('JSON Response\n');

console.log(jsonResponse2);

var persons = JSON.parse(body);

if (persons.length === 0) {

return;

}

var person = persons[0]; // 1. Objekt auf body ist Person

var faceId2 = person.faceId; // faceId2 ist value von hochgeladenen gesicht

// console.log(face);

console.log(faceId2);

console.log(jsonResponse2.faceID);

console.log(person.faceId);

console.log(persons[0].faceId);

console.log(persons[0].personId);

var personstring = JSON.stringify(JSON.parse(body));

var PERSONID = personstring.substr(77, 36); // hole hier aus response erkannte Person

console.log("**** Ausweichweg - hole PERSONID mit STR")

console.log(PERSONID)

setState('javascript.0.personenIDobject',PERSONID);

// ab hier Abfrage ob erkannte Person "Klaus" ist ****

console.log(PERSONID) // ID der identifizierten Person

if (PERSONID == "2d4ad710-6381-480d-9556-7d2567f75632") {

console.log("***** KLAUS ******");

setState("javascript.0.erkannteperson","Klaus");

} else {

console.log("unbekannt :-(");

setState("javascript.0.erkannteperson","unbekannt");

}

});

});</ip-adddresse_zu_bild></api-key></subscription> `

Was versuche ich jetzt noch zu machen?

• zurzeit wird nur 1 Person erkannt, dies möchte ich auf mehrer Personen ausweiten

• mir überlegen, wie ich das ganze "triggern" kann, d.h. welches Ereignis startet das Script (vermutlich mache ich das über einen Bewegungssenor)

• verschiedenen Aktionen zu definieren - wenn eine Person erkannt wird - oder wenn eine unbekannte Person zB. den Garten betritt

• vielleicht versuche ich etwas ähnliches auch mit "Stimmerkennung" zu verwirklichen

Cool wäre es, wenn man das ganze mit einem Adapter verwirklichen könnte; allerdings dürfte mir dazu sowohl Zeit als auch Können fehlen.

Vielleicht findet der eine oder andere das ganze auch interessant und möchte das THema aufgreifen. Oder vielleicht hat jemand Verbesserungsvorschläge. Auch darüber freue ich mich.

cu

schroedinger

[foxriver76]

Wie viel Confidence spuckt MS-Algo denn für deine Person aus, wenn du z. B. ein Bild von dir vor die Cam hälst? Ich finde es grundsätzlich eine coole Sache, doch erfassen die IP Cams ja nur zweidimensionale Informationen, weshalb es ja für Sicherheitsgeschichten schon mal komplett raus wäre.

Wofür setzt du es ein?

[schroedinger]

Hi,

stimmt schon für sicherheitsrelevante DInge würde ich das nicht verwenden - und zB. mit Apple's FaceID nicht zu vergleichen.

Ansich ist es daher mehr eine Spielerei; falls es aber mal richtig funktioniert kann man schon ein paar coole Sachen damit machen.

[nurChris]

Hallo!

Ich grab das hier mal wieder etwas aus… Eine solche Funktion hätte ich gerne damit zuverlässig erkannt wird welche Person nach Hause kommt um dann weitere Skripte danach zu steuern. Leider kann ich überhaupt kein JS. Wenn dann einwenig Blockly.

Jedenfalls hab ich mir dein Skript angesehen und versucht das so zu übernehmen, nachdem ich einen Api Key eingetragen hab und ein Bild über imgur zum testen identifizieren wollte erhalte ich folgenden log:

22:37:01.893	info	javascript.0 Start javascript script.js.Skript_2
22:37:01.894	info	javascript.0 script.js.Skript_2: registered 0 subscriptions and 0 schedules
22:37:02.229	info	javascript.0 script.js.Skript_2: JSON Response
22:37:02.229	info	javascript.0 script.js.Skript_2: [ { "faceId": "4d7c65c0-a757-4dff-aafd-5293d608619e", "faceRectangle": { "top": 314, "left": 146, "width": 465, "height": 465 }, "faceAttributes": { "smile": 0, "headPose": { "pitch": 0, "roll": -2.3, "yaw": 6.8 }, "gender": "male", "age": 22, "facialHair": { "moustache": 0.1, "beard": 0.1, "sideburns": 0.1 }, "glasses": "NoGlasses", "emotion": { "anger": 0, "contempt": 0.002, "disgust": 0, "fear": 0, "happiness": 0, "neutral": 0.996, "sadness": 0.002, "surprise": 0 }, "blur": { "blurLevel": "low", "value": 0.07 }, "exposure": { "exposureLevel": "goodExposure", "value": 0.6 }, "noise": { "noiseLevel": "low", "value": 0.24 }, "makeup": { "eyeMakeup": false, "lipMakeup": false }, "accessories": [], "occlusion": { "foreheadOccluded": false, "eyeOccluded": false, "mouthOccluded": false }, "hair": { "bald": 0.03, "invisible": false, "hairColor": [ { "color": "blond", "confidence": 1 }, { "color": "gray", "confidence": 0.81 }, { "color": "brown", "confidence": 0.66 }, { "color": "red", "confidence": 0.21 }, { "color": "other", "confidence": 0.12 }, { "color": "black", "confidence": 0.01 } ] } } } ]
22:37:02.230	info	javascript.0 script.js.Skript_2: 4d7c65c0-a757-4dff-aafd-5293d608619e
22:37:02.230	info	javascript.0 script.js.Skript_2: 0
22:37:02.230	info	javascript.0 script.js.Skript_2: 22
22:37:02.230	info	javascript.0 script.js.Skript_2: ***** STARTE IDENTIFY
22:37:02.423	info	javascript.0 script.js.Skript_2: JSON Response
22:37:02.423	info	javascript.0 script.js.Skript_2: { "error": { "code": "PersonGroupNotFound", "message": "Person group is not found." } }
22:37:02.424	error	javascript.0 TypeError: Cannot read property 'faceId' of undefined at Request.request.post [as _callback] (script.js.Skript_2:116:22) at Request.self.callback (/opt/iobroker/node_modules/request/request.js:185:22) at emitTwo (events.js:126:13) at Request.emit (events.js:214:7) at Request. <anonymous>(/opt/iobroker/node_modules/request/request.js:1161:10) at emitOne (events.js:116:13) at Request.emit (events.js:211:7) at IncomingMessage. <anonymous>(/opt/iobroker/node_modules/request/request.js:1083:12) at Object.onceWrapper (events.js:313:30) at emitNone (events.js:111:20)
22:37:02.425	info	javascript.0 Stop script script.js.Skript_2
22:37:02.468	error	Caught by controller[0]: at Request.request.post [as _callback] (script.js.Skript_2:116:22)</anonymous></anonymous>

Vielleicht kannst du, oder jemand mir sagen was es mit dem error auf sich hat?

Viele Grüße

Chris

[Dutchman]

Es konnte keine faceid zurück wodurch die Variable undefiniert und das mag JavaScript nicht.

Ergo Gedicht bzw Gruppe wurde nicht erkannt

Sent from my iPhone using Tapatalk

[schroedinger]

hi,

auf die folgende Art hat funktioniert es bei mir recht zuverlässig.

(bin aber ebenfalls kein Programmierer -> daher vermutlich super-ineffizient propgrammiert. Bitte daher nicht schimpfen. :(

eigentlich fand ich es - sogar als Nicht-Programmierer - gar nicht so schwer; nur 2 Dinge machten machten das ganze ziemlich kompliziert und sind auch für die komplizierte Vorgangsweise verantwortlich.

Problem 1

Es wäre so einfach, wenn es möglich wäre Microsoft Cognitive services (MCS) direkt die IP des wbcam-Bildes mitzuteilen. (zB. 192.168.1.14:8888/photo.jog)

Leider bringt dies immer nur Fehlermeldungen.

Es ist offensichtlich, dass man MCS offensichtlich den Link in einer "echten" URL senden muss. zb. in der FOrm von "http://meine_externe_IPadresse.at/web/bild.jpg"

Das bedeutet, mann muss des Bild von der IP_Cam downloaden und irgendwo auf dem eigenen Webserver ablegen. Und diese URL an MCS senden.

-> und das funktioniert.

–> führt aber zu einem 2. Problem

Problem 2 - Dateiname

Nachdemich Problem 1 gelöst hatte war ich ganz happy und es hatte bei dem ersten Bild pro Tag (!!) funktioniert, bei jeden weiteren Bild , dass ich an MCS sendetet bekam ich genau das selbe Ergebnis wie beim ersten Bild. :-(

Was war das Problem?

Das Bild auf meinem Server ändert sich zwar regelmässig (jedes Mal wenn die Webcam ein Bild aufnimmt) die URL , die ich an MCS sende ist aber immer die selbe.

-> auch wenn sich der Bildinhalt der URL zwar immer ändert , die URL (und der Dateiname des hochgeladenen Bildes) gleich bleibt, erhäkt man als response immer die selbe Antwort.

ev. irgendwie ein cache-Problem , ich konnte es jedenfalls nicht lösen.

Was habe ich getan?

Ich ändere bei jeden Hochladen den Bildnamen (mittels eines Zählers im Dateinamen des Bildes) -> das funktioniert.

(ich hatte dann auch noch ein Problem mit dieser "synchron" und "nicht-synchron"-Sache von JS , darauf gehe ich jetzt aber nicht ein)

Fazit:

es funktioniert, bei mir zwar super-kompliziert, vielleicht hat jemand ja eine einfachere Lösung.

` > ////////////////////////////////////////////

// Konfiguration und Variablen Definition //

///////////////////////////////////////////

'use strict';

const request = require('request');

var fs = require('fs');

const subscriptionKey = 'mein_api_key';

const uriBase = 'https://westeurope.api.cognitive.micros … 1.0/detect';

var imageUrl =

'https://www.link_zu_einem_testbild.jpg'; //vermtlich nicht notwendig

const imageUrl2 =

'https://bloximages.chicago2.vip.townnew ... .image.jpg'; // ebenfalls nicht notwendig, habe ich nur zum debuggen benutzt

const imageUrl3 =

'https://upload.wikimedia.org/wikipedia/ ... stocka.JPG'; // ebenfalls nicht notwendig, habe ich nur zum debuggen benutzt

// Objekt-ID des Bewegungsmelders

const oidLichtBewmelderTuer = "javascript.0.Schalter_Webcam_Erkennung"/HM-Sen-DB-PCB NEQ0955114:1.PRESS_SHORT/;

// URL zur Kamera umn ein Image (jpg) zu erhalten

const cam_url = "http://meine_ip:1024/photo.jpg";

// Pfadangabe für die Speicherung der Bilder, der Pfad muss existieren

const dest_path = '/home/pi/webcam/';

// Anzahl der Bilder, die vorgehalten werden sollen

const imageCountMax = 9999;

// Prefix für die Bildnamen

const imageNamePre = "Indexbild";

var uploadpath // dies ist path plus filename *** ev nicht benötgit ****

////////////////////////////////////////////////////

//// downloade Bild von Webcam Methode NEU ////

///////////////////////////////////////////////////

var supload = (imageNamePre + ".jpg"); // Idee ev. hier bereits + sZaehler *******

console.log(supload);

uploadpath = 'http://meine_ip:7777/webcam/' + supload;

console.log(uploadpath);

console.log("**** download hier bild von webcam ****");

// Bild holen und speichern

request.get({url: cam_url, encoding: 'binary'}, function (err, response, body) {

fs.writeFile(dest_path + imageNamePre + ".jpg", body, 'binary', function(err) {

if (err) {

console.log('Fehler beim Bild speichern: ' + err, 'warn');

} else {

// dem Filesystem 2 Sek Zeit zum Speichern lassen

setTimeout(function() { }, 3000);

}

});

});

///////////////////////////////////////////////////

///////////////////////////////////////////////////

//// umbenenne hier das downgeloaded bild //////

//// und sende es mit neuen Namen an CS ////////

////////////////////////////////////////////////

//////////////////////////////////////////////////

//////////////////////////////////////////////////

// uploade Bild zu CS und erhalte faceID //////////

//////////////////////////////////////////////////

const params = {

'returnFaceId': 'true',

'returnFaceLandmarks': 'false',

'returnFaceAttributes': 'age,gender,headPose,smile,facialHair,glasses,' +

'emotion,hair,makeup,occlusion,accessories,blur,exposure,noise'

};

const options = {

uri: uriBase,

qs: params,

body: '{"url": ' + '"' + 'http://meine_ip_:7777/webcam/' + imageNamePre + ".jpg" + '"}', // vorher: body: '{"url": ' + '"' + imageUrl + '"}',

headers: {

'Content-Type': 'application/json',

'Cache-Control': 'no-store, max-age=0, must-revalidate', // versuche hier cache auszuschalten, lösche falls nicht funktioniert

'Pragma' : 'no-cache',

'Ocp-Apim-Subscription-Key' : subscriptionKey

}

};

console.log("***starte hier request hochladen ********");

request.post(options, (error, response, body) => {

if (error) {

console.log('Error: ', error);

console.log("***Fehler Zeile 42 *******");

return;

}

let jsonResponse = JSON.stringify(JSON.parse(body), null, ' ');

console.log('JSON Response\n');

console.log(jsonResponse);

var faces = JSON.parse(body);

if (faces.length === 0) {

console.log("Antwort auf Bildhochladen ist null*");

console.log("Bild erfolgreich hochgeladen, aber kein Gesicht erkannt");

setState("javascript.0.erkannteperson","keine_Person_erkannt");

return;

}

var face = faces[0]; // 1. Objekt auf body ist face

var faceId = face.faceId; // Wert von property "faceId"

// console.log(face);

console.log(faceId);

// console.log(faces[0].faceRectangle.top); nicht benötigt , nur Lernzwecke

var smile = (faces[0].faceAttributes.smile); // Lächenl ja/nein?

console.log(smile);

var age = (faces[0].faceAttributes.age); // Alter der erkannten Person

console.log(age);

// **** Gesicht erkannt faceID ist in Variable faceID *****

//////////////////////////////////////////////////////

// starte jetzt identify ///

//////////////////////////////////////////////////////

console.log("***** STARTE IDENTIFY");

// Request parameters.

const uriBase2 = 'https://westeurope.api.cognitive.micros … 0/identify';

const params2 = {

};

const body2 = JSON.stringify({ // definiere hier den body für 2. abfrage

"personGroupId": 'klaus_persongroup',

"faceIds": [

faceId,

],

"maxNumOfCandidatesReturned": 1,

"confidenceThreshold": 0.5

});

const options2 = {

uri: uriBase2,

qs: params2,

body: body2,

headers: {

'Content-Type': 'application/json',

'Cache-Control': 'no-store, max-age=0, must-revalidate', // versuche hier cache auszuschalten,

'Pragma' : 'no-cache',

'Ocp-Apim-Subscription-Key' : subscriptionKey

}

};

request.post(options2, (error, response, body) => {

if (error) {

console.log('Error: ', error);

console.log("**** Fehler Zeile 106 ******");

return;

}

let jsonResponse2 = JSON.stringify(JSON.parse(body), null, ' ');

console.log('JSON Response\n');

console.log(jsonResponse2);

var persons = JSON.parse(body);

if (persons.length === 0) {

return;

}

var person = persons[0]; // 1. Objekt auf body ist Person

var faceId2 = person.faceId; // faceId2 ist value von hochgeladenen gesicht

// console.log(face);

console.log(faceId2);

console.log(jsonResponse2.faceID);

console.log(person.faceId);

console.log(persons[0].faceId);

console.log(persons[0].personId);

var personstring = JSON.stringify(JSON.parse(body));

var PERSONID = personstring.substr(77, 36); // hole hier aus response erkannte Person

console.log("**** Ausweichweg - hole PERSONID mit STR");

console.log(PERSONID);

setState('javascript.0.personenIDobject',PERSONID);

/////////////////////////////////////////////////////////

// hier Afrage ob erkannte Person "Klaus" ist ///

////////////////////////////////////////////////////////

if (PERSONID == "eine_personen_id") {

console.log("***** KLAUS ******");

setState("javascript.0.erkannteperson","Klaus");

} else {

console.log("******* Gesicht erkannt aber Person unbekannt :-(");

setState("javascript.0.erkannteperson","Unbekannter");

}

////////////////////////////////////////////////////////

});

}); `

[Snatch]

Super Sache und vor allem Respeckt, dass du dich da so reingefuchst hast.

Jetzt musst du für nichts Könner wie mich noch einen Adapter daraus bauen :D

Grüße

[uwe72]

Super Sache, hat bei mir auch funktioniert.

Was ich noch suche ist eine Art Objekterkennung. Gibts auch sowas für Objekte.

Problem bei der Gesichtserkennung ist, wenn kein Gesicht erkannt wird, beispielsweise da nur der Rücken der Person auf dem Bild, funktioniert das Ganze nicht. Logisch ;-)

Oder anders gefragt, gibt es auch eine "Personenerkennung", statt eine reine "Gesichtserkennung"?

[uwe72]

@uwe72

Ich antworte mir mal selber:

Bessere Variante wäre aber dies: https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit#write
Unterschied ist, dass man hier wirklich Personen erkennt. Beim dem Thema von oben, erkennt man "nur" Gesichter. Wenn die Person mit dem Rücken zur Kamera steht, bekommt man keine Erkennung.
Das Thema mit der Objekterkennung kann ich aber (noch) nicht und habe auch keinen jetson nano

[uwe72]

@schroedinger der erste Teil funktioniert super bei mir. D.h. ich erkenne Gesichter.

Du hattest im zweiten Teil noch was mit Identitätserkennung gemacht.

Die FaceID ist wohl nicht immer konstant gleich.

Wir kriegst Du es hin, dass Du in deinem Fall ermitteln kannst, dass es KLAUS ist?

Wäre so einfach, wenn die FaceId immer die gleiche wäre pro gleicher Person.

Kannst Du dazu noch 2-3 Sätze scheiben?

DANKE!

[uwe72]

@uwe72 Ok, muss mich selber korrigieren, auch bei Microsoft cognitive service gibts die Möglichkeit von Objekterkennung:

https://docs.microsoft.com/de-de/azure/cognitive-services/computer-vision/quickstarts/node-analyze

funktioniert sehr gut