Nur mal eine Idee: Microsoft cognitive services
-
Ehm klinkt garnichts so schwer finde es auch interessant Mal Schaun ob an WE bissl Zeit übrig ist.
Wen du das per API/wen machst wie gehst?
Also bis Hick und dann kommt ein Resultat in Browser oder wie muss ich das verstehen
Lese mich später Mal ein lebe das System nicht nicht so gut
Sent from my iPhone using Tapatalk
-
So etwas wäre auf jeden Fall super. Ich versuche schon lange, eine Gesichterkennung zu machen und bekomme das nicht hin.
-
Hi,
ich werde mal - etwas ausführlicher - beschreiben wie das ganze funktionieren kann (bis wie ich dies manuell gemacht habe)
1.) Registierung und API
Voraussetzung ist, dass man bei Microsoft cognitive services registiert ist (kostenlos möglich), einen API hat und dort eine Personengruppe und min. 1 Person definiert hat.
2.) Hochladen eines webcam Bildes
Im ersten Schritt wird ein Bild (zB. von einer webcam hochgeladen).
Dies funktioniert mit dieser HTTP Methode:
` > POST https://westeurope.api.cognitive.micros … arks=false HTTP/1.1
Host: westeurope.api.cognitive.microsoft.com
Content-Type: application/json
Ocp-Apim-Subscription-Key: a1f4r68c10bfe32180a85b80bf98eb10
{
"url": "http://192.168.1.14:1024/photo.jpg"
} `
Man erhält dann diese Antwort:
` > Pragma: no-cache
apim-request-id: 160ef8c3-5642-49f7-81f8-791eb565ef15
Strict-Transport-Security: max-age=31536000; includeSubDomains; preload
x-content-type-options: nosniff
Cache-Control: no-cache
Date: Fri, 05 Oct 2018 09:31:54 GMT
X-AspNet-Version: 4.0.30319
X-Powered-By: ASP.NET
Content-Length: 115
Content-Type: application/json; charset=utf-8
Expires: -1
[{
"faceId": "6caf4903-e21b-4865-8353-1613d5832a0b",
"faceRectangle": {
"top": 204,
"left": 384,
"width": 316,
"height": 316
}
}] `
Wichtig ist jetzt die erhaltene „faceID“ 6caf4903-e21b-4865-8353-1613d5832a0b3.) Gesicht idenfizieren
Jetzt kann das Gesicht mit den Personen der „Personengruppe“ verglichen werden.
Dazu braucht man nur die erhaltene „faceID“ und den Namen der „Personengruppe“ (und natürlich den API-key)
Wieder mit http Methode senden:
` > POST https://westeurope.api.cognitive.micros … 0/identify HTTP/1.1
Host: westeurope.api.cognitive.microsoft.com
Content-Type: application/json
Ocp-Apim-Subscription-Key: 49595595e1e3180a85b80bf98eb10
{
"largePersonGroupId": "biks_largepersongroup",
"faceIds": [
"6caf4903-e21b-4865-8353-1613d5832a0b"
],
"maxNumOfCandidatesReturned": 1,
"confidenceThreshold": 0.5
} `
Und als Ergebnis erhält man die PersonenID (= diese entspricht der im Bild gefundenen Person:)
` > Pragma: no-cache
apim-request-id: 84d373f9-cd54-4b6a-b914-afb249f89cfe
Strict-Transport-Security: max-age=31536000; includeSubDomains; preload
x-content-type-options: nosniff
Cache-Control: no-cache
Date: Fri, 05 Oct 2018 09:39:11 GMT
X-AspNet-Version: 4.0.30319
X-Powered-By: ASP.NET
Content-Length: 139
Content-Type: application/json; charset=utf-8
Expires: -1
[{
"faceId": "6caf4903-e21b-4865-8353-1613d5832a0b",
"candidates": [{
"personId": "d03d58c4-7d21-4f51-9d25-3e3400489381",
"confidence": 0.93749
}]
}] `
Bei dem Beispiel hier wurde daher die Person im Bild mit 93,75% Wahrscheinlichkeit als die Person mit der ID d03d58c4-7d21-4f51-9d25-3e3400489381 identifiziert.
D.h. zusammengefasst:
1.) Bild hochsenden
2.) erhalte „faceID“
3.) „faceID“ hoch senden -> erhalte Antwort ob dieses Gesicht mit einer Person der „Personengruppe“ übereinstimmt
Ich hoffe ich konnte das ganze halbwegs nachvollziehbar erklären.
(die Erläuterung bei den microsoft cognitive services sind allerdings sehr gut)
(siehe hier: https://westeurope.dev.cognitive.micros … 39/console
Cu schroedinger
-
Klinkt schlüssig und plausible und garnicht Mal so schwer in ja zu machen…
Hoffentlich ist am WE noch was Zeit übrig
Sent from my iPhone using Tapatalk
-
hi,
ich denke ich bin einen wesentlichen Schritt weiter .
(Mit der Hilfe von MS) habe ich ein Skript geschrieben, welches das Bild der Webcam hochladet und als response "faceId" und ein Mengen von attributes zurücksendet.
Hier das Script:
` > 'use strict';
const request = require('request');
// Replace <subscription key="">with your valid subscription key.
const subscriptionKey = '<api_key>'; // hier muss der API-key eingetragen werden
// You must use the same location in your REST call as you used to get your
// subscription keys. For example, if you got your subscription keys from
// westus, replace "westcentralus" in the URL below with "westus".
const uriBase = 'https://westeurope.api.cognitive.micros … 1.0/detect';
const imageUrl =
'http://<ip_adresse>/photo.jpg'; //hier die IP-Adresse des Bildes oder der Webcam eintragen
// Request parameters.
const params = {
'returnFaceId': 'true',
'returnFaceLandmarks': 'false',
'returnFaceAttributes': 'age,gender,headPose,smile,facialHair,glasses,' +
'emotion,hair,makeup,occlusion,accessories,blur,exposure,noise'
};
const options = {
uri: uriBase,
qs: params,
body: '{"url": ' + '"' + imageUrl + '"}',
headers: {
'Content-Type': 'application/json',
'Ocp-Apim-Subscription-Key' : subscriptionKey
}
};
request.post(options, (error, response, body) => {
if (error) {
console.log('Error: ', error);
return;
}
let jsonResponse = JSON.stringify(JSON.parse(body), null, ' ');
console.log('JSON Response\n');
console.log(jsonResponse);
});</ip_adresse></api_key></subscription> `
wenn man dieses script startet (es läuft fehlerlos), dann erhält man im log folgende response (man beachte die Vielzahl an Attributen die die Gesichtserkennung versucht zu erkennen)
` > javascript.0 2018-10-07 20:24:30.081 info ]
javascript.0 2018-10-07 20:24:30.081 info }
javascript.0 2018-10-07 20:24:30.081 info }
javascript.0 2018-10-07 20:24:30.081 info }
javascript.0 2018-10-07 20:24:30.081 info ]
javascript.0 2018-10-07 20:24:30.081 info }
javascript.0 2018-10-07 20:24:30.081 info "confidence": 0.02
javascript.0 2018-10-07 20:24:30.081 info "color": "red",
javascript.0 2018-10-07 20:24:30.081 info {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "confidence": 0.12
javascript.0 2018-10-07 20:24:30.081 info "color": "brown",
javascript.0 2018-10-07 20:24:30.081 info {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "confidence": 0.13
javascript.0 2018-10-07 20:24:30.081 info "color": "black",
javascript.0 2018-10-07 20:24:30.081 info {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "confidence": 0.42
javascript.0 2018-10-07 20:24:30.081 info "color": "other",
javascript.0 2018-10-07 20:24:30.081 info {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "confidence": 0.94
javascript.0 2018-10-07 20:24:30.081 info "color": "blond",
javascript.0 2018-10-07 20:24:30.081 info {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "confidence": 1
javascript.0 2018-10-07 20:24:30.081 info "color": "gray",
javascript.0 2018-10-07 20:24:30.081 info {
javascript.0 2018-10-07 20:24:30.081 info "hairColor": [
javascript.0 2018-10-07 20:24:30.081 info "invisible": false,
javascript.0 2018-10-07 20:24:30.081 info "bald": 0.66,
javascript.0 2018-10-07 20:24:30.081 info "hair": {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "mouthOccluded": false
javascript.0 2018-10-07 20:24:30.081 info "eyeOccluded": false,
javascript.0 2018-10-07 20:24:30.081 info "foreheadOccluded": false,
javascript.0 2018-10-07 20:24:30.081 info "occlusion": {
javascript.0 2018-10-07 20:24:30.081 info "accessories": [],
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "lipMakeup": false
javascript.0 2018-10-07 20:24:30.081 info "eyeMakeup": false,
javascript.0 2018-10-07 20:24:30.081 info "makeup": {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "value": 0.4
javascript.0 2018-10-07 20:24:30.081 info "noiseLevel": "medium",
javascript.0 2018-10-07 20:24:30.081 info "noise": {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "value": 0.74
javascript.0 2018-10-07 20:24:30.081 info "exposureLevel": "goodExposure",
javascript.0 2018-10-07 20:24:30.081 info "exposure": {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "value": 0.81
javascript.0 2018-10-07 20:24:30.081 info "blurLevel": "high",
javascript.0 2018-10-07 20:24:30.081 info "blur": {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "surprise": 0
javascript.0 2018-10-07 20:24:30.081 info "sadness": 0.004,
javascript.0 2018-10-07 20:24:30.081 info "neutral": 0.996,
javascript.0 2018-10-07 20:24:30.081 info "happiness": 0,
javascript.0 2018-10-07 20:24:30.081 info "fear": 0,
javascript.0 2018-10-07 20:24:30.081 info "disgust": 0,
javascript.0 2018-10-07 20:24:30.081 info "contempt": 0,
javascript.0 2018-10-07 20:24:30.081 info "anger": 0,
javascript.0 2018-10-07 20:24:30.081 info "emotion": {
javascript.0 2018-10-07 20:24:30.081 info "glasses": "NoGlasses",
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "sideburns": 0.1
javascript.0 2018-10-07 20:24:30.081 info "beard": 0.1,
javascript.0 2018-10-07 20:24:30.081 info "moustache": 0.1,
javascript.0 2018-10-07 20:24:30.081 info "facialHair": {
javascript.0 2018-10-07 20:24:30.081 info "age": 49,
javascript.0 2018-10-07 20:24:30.081 info "gender": "male",
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "yaw": -7.8
javascript.0 2018-10-07 20:24:30.081 info "roll": 8.1,
javascript.0 2018-10-07 20:24:30.081 info "pitch": 0,
javascript.0 2018-10-07 20:24:30.081 info "headPose": {
javascript.0 2018-10-07 20:24:30.081 info "smile": 0,
javascript.0 2018-10-07 20:24:30.081 info "faceAttributes": {
javascript.0 2018-10-07 20:24:30.081 info },
javascript.0 2018-10-07 20:24:30.081 info "height": 305
javascript.0 2018-10-07 20:24:30.081 info "width": 305,
javascript.0 2018-10-07 20:24:30.081 info "left": 275,
javascript.0 2018-10-07 20:24:30.081 info "top": 221,
javascript.0 2018-10-07 20:24:30.081 info "faceRectangle": {
javascript.0 2018-10-07 20:24:30.081 info "faceId": "d1dd7a36-6206-4287-8d73-a76788bb4ccb",
javascript.0 2018-10-07 20:24:30.081 info { `
Wichtig ist jetzt hauptsächlich die der erhaltene "faceId" - Code ("d1dd7a36-6206-4287-8d73-a76788bb4ccb")
Diesen Code würde man anschließend wieder an die Cognitive Service senden und als response erhalten , ob das Gesicht mit einer (vorher dort definierten) Person übereinstimmt.
Wo ist jetzt mein Problem?
Offen gesagt kenne ich mich mit Node JS nicht wirklich aus, daher weiss ich auch nicht wie ich Folgendes verwirklichen kann:
In dem oben angeführten Script müßte die erhaltene "faceId" (und ev. einige der zusätzlich erhaltenen face-attributes) in einer Variable (oder einen Datenpunkt?) ablegen um daraus dann wieder ein http request (zu hochladen des faceId) zu erhalten.
Die dann erhaltene Antwort (= Name der erkannten Person oder ein "unkown person") sollten dann jedenfalls in einen Datenpunkt abgelegt werden.
VIelleicht hat jemand Zeit & Lust das obige Script diesbezüglich zu erweitern?
cu
schroedinger
-
Hi,
mich hat diese Idee (ein IP-cam-Bild an Microsoft cognitive services zu senden um Gesichter zu erkennen & idenfizieren) nicht losgelassen.
Und obwohl ich eigentlich JS nicht beherrsche, ist es mir trotzdem gelungen.
Ich beschreibe mal was ich erreichen wollte und was mir gelungen ist:
Ich wollte
-
das Bild einer Webcam an die Microsoft API senden und dort das Gesicht oder die Gesichter erkennen zu lassen
-
die "response" erfassen; d.h. eine "faceID" erhalten und ein paar faceattributes (zB.Alter)
-
die erhaltene faceId wieder hochladen und dort eine Person identifizieren lassen
-
den Namen der identifizieren Person in ein iobroker-object schreiben.
Gemacht habe ich das mit dem folgenden Script
(dazu vorab: ihr werdet schnell feststellen, dass ich nicht wirklich programmieren kann, das ganze kann man sicher eleganter und effizienter programmieren; ich bin sicher, dass einige Programmzeilen überflüssig sind; auch die "remarks" (//) dürften nicht immer nachvollziehbar sein, ich habe diese meistens nur für mich als Gedankenstütze angefügt)
Hier das Script:
` > createState('personenIDobject', 'unbekannt!'); // ein iobroker object hier kommt Personen ID rein
createState('erkannteperson', 'niemand erkannt'); // hier kommt Name der erkannten Person sonst "unbekannt"
'use strict';
const request = require('request');
// Replace <subscription key="">with your valid subscription key.
const subscriptionKey = '<api-key>';
// You must use the same location in your REST call as you used to get your
// subscription keys. For example, if you got your subscription keys from
// westus, replace "westcentralus" in the URL below with "westus".
const uriBase = 'https://westeurope.api.cognitive.micros … 1.0/detect';
const imageUrl =
'http://<ip-adddresse_zu_bild>.jpg'
// Request parameters.
const params = {
'returnFaceId': 'true',
'returnFaceLandmarks': 'false',
'returnFaceAttributes': 'age,gender,headPose,smile,facialHair,glasses,' +
'emotion,hair,makeup,occlusion,accessories,blur,exposure,noise'
};
const options = {
uri: uriBase,
qs: params,
body: '{"url": ' + '"' + imageUrl + '"}',
headers: {
'Content-Type': 'application/json',
'Ocp-Apim-Subscription-Key' : subscriptionKey
}
};
request.post(options, (error, response, body) => {
if (error) {
console.log('Error: ', error);
return;
}
let jsonResponse = JSON.stringify(JSON.parse(body), null, ' ');
console.log('JSON Response\n');
console.log(jsonResponse);
var faces = JSON.parse(body);
if (faces.length === 0) {
return;
}
var face = faces[0]; // 1. Objekt auf body ist face
var faceId = face.faceId; // Wert von property "faceId"
// console.log(face);
console.log(faceId);
// console.log(faces[0].faceRectangle.top); nicht benötigt , nur Lernzwecke
var smile = (faces[0].faceAttributes.smile); // Lächenl ja/nein?
console.log(smile);
var age = (faces[0].faceAttributes.age); // Alter der erkannten Person
console.log(age);
// **** Gesicht erkannt faceID ist in Variable faceID *****
// **** jetzt hochladen und versuchen zu erkennen ******
console.log("***** STARTE IDENTIFY");
// Request parameters.
const uriBase2 = 'https://westeurope.api.cognitive.micros … 0/identify';
const params2 = {
};
const body2 = JSON.stringify({ // definiere hier den body für 2. abfrage
"personGroupId": 'klaus_persongroup',
"faceIds": [
faceId,
],
"maxNumOfCandidatesReturned": 1,
"confidenceThreshold": 0.5
});
const options2 = {
uri: uriBase2,
qs: params2,
body: body2,
headers: {
'Content-Type': 'application/json',
'Ocp-Apim-Subscription-Key' : subscriptionKey
}
};
request.post(options2, (error, response, body) => {
if (error) {
console.log('Error: ', error);
return;
}
let jsonResponse2 = JSON.stringify(JSON.parse(body), null, ' ');
console.log('JSON Response\n');
console.log(jsonResponse2);
var persons = JSON.parse(body);
if (persons.length === 0) {
return;
}
var person = persons[0]; // 1. Objekt auf body ist Person
var faceId2 = person.faceId; // faceId2 ist value von hochgeladenen gesicht
// console.log(face);
console.log(faceId2);
console.log(jsonResponse2.faceID);
console.log(person.faceId);
console.log(persons[0].faceId);
console.log(persons[0].personId);
var personstring = JSON.stringify(JSON.parse(body));
var PERSONID = personstring.substr(77, 36); // hole hier aus response erkannte Person
console.log("**** Ausweichweg - hole PERSONID mit STR")
console.log(PERSONID)
setState('javascript.0.personenIDobject',PERSONID);
// ab hier Abfrage ob erkannte Person "Klaus" ist ****
console.log(PERSONID) // ID der identifizierten Person
if (PERSONID == "2d4ad710-6381-480d-9556-7d2567f75632") {
console.log("***** KLAUS ******");
setState("javascript.0.erkannteperson","Klaus");
} else {
console.log("unbekannt :-(");
setState("javascript.0.erkannteperson","unbekannt");
}
});
});</ip-adddresse_zu_bild></api-key></subscription> `
Was versuche ich jetzt noch zu machen?
-
zurzeit wird nur 1 Person erkannt, dies möchte ich auf mehrer Personen ausweiten
-
mir überlegen, wie ich das ganze "triggern" kann, d.h. welches Ereignis startet das Script (vermutlich mache ich das über einen Bewegungssenor)
-
verschiedenen Aktionen zu definieren - wenn eine Person erkannt wird - oder wenn eine unbekannte Person zB. den Garten betritt
-
vielleicht versuche ich etwas ähnliches auch mit "Stimmerkennung" zu verwirklichen
Cool wäre es, wenn man das ganze mit einem Adapter verwirklichen könnte; allerdings dürfte mir dazu sowohl Zeit als auch Können fehlen.
Vielleicht findet der eine oder andere das ganze auch interessant und möchte das THema aufgreifen. Oder vielleicht hat jemand Verbesserungsvorschläge. Auch darüber freue ich mich.
cu
schroedinger
-
-
Wie viel Confidence spuckt MS-Algo denn für deine Person aus, wenn du z. B. ein Bild von dir vor die Cam hälst? Ich finde es grundsätzlich eine coole Sache, doch erfassen die IP Cams ja nur zweidimensionale Informationen, weshalb es ja für Sicherheitsgeschichten schon mal komplett raus wäre.
Wofür setzt du es ein?
-
Hi,
stimmt schon für sicherheitsrelevante DInge würde ich das nicht verwenden - und zB. mit Apple's FaceID nicht zu vergleichen.
Ansich ist es daher mehr eine Spielerei; falls es aber mal richtig funktioniert kann man schon ein paar coole Sachen damit machen.
-
Hallo!
Ich grab das hier mal wieder etwas aus… Eine solche Funktion hätte ich gerne damit zuverlässig erkannt wird welche Person nach Hause kommt um dann weitere Skripte danach zu steuern. Leider kann ich überhaupt kein JS. Wenn dann einwenig Blockly.
Jedenfalls hab ich mir dein Skript angesehen und versucht das so zu übernehmen, nachdem ich einen Api Key eingetragen hab und ein Bild über imgur zum testen identifizieren wollte erhalte ich folgenden log:
22:37:01.893 info javascript.0 Start javascript script.js.Skript_2 22:37:01.894 info javascript.0 script.js.Skript_2: registered 0 subscriptions and 0 schedules 22:37:02.229 info javascript.0 script.js.Skript_2: JSON Response 22:37:02.229 info javascript.0 script.js.Skript_2: [ { "faceId": "4d7c65c0-a757-4dff-aafd-5293d608619e", "faceRectangle": { "top": 314, "left": 146, "width": 465, "height": 465 }, "faceAttributes": { "smile": 0, "headPose": { "pitch": 0, "roll": -2.3, "yaw": 6.8 }, "gender": "male", "age": 22, "facialHair": { "moustache": 0.1, "beard": 0.1, "sideburns": 0.1 }, "glasses": "NoGlasses", "emotion": { "anger": 0, "contempt": 0.002, "disgust": 0, "fear": 0, "happiness": 0, "neutral": 0.996, "sadness": 0.002, "surprise": 0 }, "blur": { "blurLevel": "low", "value": 0.07 }, "exposure": { "exposureLevel": "goodExposure", "value": 0.6 }, "noise": { "noiseLevel": "low", "value": 0.24 }, "makeup": { "eyeMakeup": false, "lipMakeup": false }, "accessories": [], "occlusion": { "foreheadOccluded": false, "eyeOccluded": false, "mouthOccluded": false }, "hair": { "bald": 0.03, "invisible": false, "hairColor": [ { "color": "blond", "confidence": 1 }, { "color": "gray", "confidence": 0.81 }, { "color": "brown", "confidence": 0.66 }, { "color": "red", "confidence": 0.21 }, { "color": "other", "confidence": 0.12 }, { "color": "black", "confidence": 0.01 } ] } } } ] 22:37:02.230 info javascript.0 script.js.Skript_2: 4d7c65c0-a757-4dff-aafd-5293d608619e 22:37:02.230 info javascript.0 script.js.Skript_2: 0 22:37:02.230 info javascript.0 script.js.Skript_2: 22 22:37:02.230 info javascript.0 script.js.Skript_2: ***** STARTE IDENTIFY 22:37:02.423 info javascript.0 script.js.Skript_2: JSON Response 22:37:02.423 info javascript.0 script.js.Skript_2: { "error": { "code": "PersonGroupNotFound", "message": "Person group is not found." } } 22:37:02.424 error javascript.0 TypeError: Cannot read property 'faceId' of undefined at Request.request.post [as _callback] (script.js.Skript_2:116:22) at Request.self.callback (/opt/iobroker/node_modules/request/request.js:185:22) at emitTwo (events.js:126:13) at Request.emit (events.js:214:7) at Request. <anonymous>(/opt/iobroker/node_modules/request/request.js:1161:10) at emitOne (events.js:116:13) at Request.emit (events.js:211:7) at IncomingMessage. <anonymous>(/opt/iobroker/node_modules/request/request.js:1083:12) at Object.onceWrapper (events.js:313:30) at emitNone (events.js:111:20) 22:37:02.425 info javascript.0 Stop script script.js.Skript_2 22:37:02.468 error Caught by controller[0]: at Request.request.post [as _callback] (script.js.Skript_2:116:22)</anonymous></anonymous>Vielleicht kannst du, oder jemand mir sagen was es mit dem error auf sich hat?
Viele Grüße
Chris
-
Es konnte keine faceid zurück wodurch die Variable undefiniert und das mag JavaScript nicht.
Ergo Gedicht bzw Gruppe wurde nicht erkannt
Sent from my iPhone using Tapatalk
-
hi,
auf die folgende Art hat funktioniert es bei mir recht zuverlässig.
(bin aber ebenfalls kein Programmierer -> daher vermutlich super-ineffizient propgrammiert. Bitte daher nicht schimpfen.
eigentlich fand ich es - sogar als Nicht-Programmierer - gar nicht so schwer; nur 2 Dinge machten machten das ganze ziemlich kompliziert und sind auch für die komplizierte Vorgangsweise verantwortlich.
Problem 1
Es wäre so einfach, wenn es möglich wäre Microsoft Cognitive services (MCS) direkt die IP des wbcam-Bildes mitzuteilen. (zB. 192.168.1.14:8888/photo.jog)
Leider bringt dies immer nur Fehlermeldungen.
Es ist offensichtlich, dass man MCS offensichtlich den Link in einer "echten" URL senden muss. zb. in der FOrm von "http://meine_externe_IPadresse.at/web/bild.jpg"
Das bedeutet, mann muss des Bild von der IP_Cam downloaden und irgendwo auf dem eigenen Webserver ablegen. Und diese URL an MCS senden.
-> und das funktioniert.
–> führt aber zu einem 2. Problem
Problem 2 - Dateiname
Nachdemich Problem 1 gelöst hatte war ich ganz happy und es hatte bei dem ersten Bild pro Tag (!!) funktioniert, bei jeden weiteren Bild , dass ich an MCS sendetet bekam ich genau das selbe Ergebnis wie beim ersten Bild.
Was war das Problem?
Das Bild auf meinem Server ändert sich zwar regelmässig (jedes Mal wenn die Webcam ein Bild aufnimmt) die URL , die ich an MCS sende ist aber immer die selbe.
-> auch wenn sich der Bildinhalt der URL zwar immer ändert , die URL (und der Dateiname des hochgeladenen Bildes) gleich bleibt, erhäkt man als response immer die selbe Antwort.
ev. irgendwie ein cache-Problem , ich konnte es jedenfalls nicht lösen.
Was habe ich getan?
Ich ändere bei jeden Hochladen den Bildnamen (mittels eines Zählers im Dateinamen des Bildes) -> das funktioniert.
(ich hatte dann auch noch ein Problem mit dieser "synchron" und "nicht-synchron"-Sache von JS , darauf gehe ich jetzt aber nicht ein)
Fazit:
es funktioniert, bei mir zwar super-kompliziert, vielleicht hat jemand ja eine einfachere Lösung.
` > ////////////////////////////////////////////
// Konfiguration und Variablen Definition //
///////////////////////////////////////////
'use strict';
const request = require('request');
var fs = require('fs');
const subscriptionKey = 'mein_api_key';
const uriBase = 'https://westeurope.api.cognitive.micros … 1.0/detect';
var imageUrl =
'https://www.link_zu_einem_testbild.jpg'; //vermtlich nicht notwendig
const imageUrl2 =
'https://bloximages.chicago2.vip.townnew ... .image.jpg'; // ebenfalls nicht notwendig, habe ich nur zum debuggen benutzt
const imageUrl3 =
'https://upload.wikimedia.org/wikipedia/ ... stocka.JPG'; // ebenfalls nicht notwendig, habe ich nur zum debuggen benutzt
// Objekt-ID des Bewegungsmelders
const oidLichtBewmelderTuer = "javascript.0.Schalter_Webcam_Erkennung"/HM-Sen-DB-PCB NEQ0955114:1.PRESS_SHORT/;
// URL zur Kamera umn ein Image (jpg) zu erhalten
const cam_url = "http://meine_ip:1024/photo.jpg";
// Pfadangabe für die Speicherung der Bilder, der Pfad muss existieren
const dest_path = '/home/pi/webcam/';
// Anzahl der Bilder, die vorgehalten werden sollen
const imageCountMax = 9999;
// Prefix für die Bildnamen
const imageNamePre = "Indexbild";
var uploadpath // dies ist path plus filename *** ev nicht benötgit ****
////////////////////////////////////////////////////
//// downloade Bild von Webcam Methode NEU ////
///////////////////////////////////////////////////
var supload = (imageNamePre + ".jpg"); // Idee ev. hier bereits + sZaehler *******
console.log(supload);
uploadpath = 'http://meine_ip:7777/webcam/' + supload;
console.log(uploadpath);
console.log("**** download hier bild von webcam ****");
// Bild holen und speichern
request.get({url: cam_url, encoding: 'binary'}, function (err, response, body) {
fs.writeFile(dest_path + imageNamePre + ".jpg", body, 'binary', function(err) {
if (err) {
console.log('Fehler beim Bild speichern: ' + err, 'warn');
} else {
// dem Filesystem 2 Sek Zeit zum Speichern lassen
setTimeout(function() { }, 3000);
}
});
});
///////////////////////////////////////////////////
///////////////////////////////////////////////////
//// umbenenne hier das downgeloaded bild //////
//// und sende es mit neuen Namen an CS ////////
////////////////////////////////////////////////
//////////////////////////////////////////////////
//////////////////////////////////////////////////
// uploade Bild zu CS und erhalte faceID //////////
//////////////////////////////////////////////////
const params = {
'returnFaceId': 'true',
'returnFaceLandmarks': 'false',
'returnFaceAttributes': 'age,gender,headPose,smile,facialHair,glasses,' +
'emotion,hair,makeup,occlusion,accessories,blur,exposure,noise'
};
const options = {
uri: uriBase,
qs: params,
body: '{"url": ' + '"' + 'http://meine_ip_:7777/webcam/' + imageNamePre + ".jpg" + '"}', // vorher: body: '{"url": ' + '"' + imageUrl + '"}',
headers: {
'Content-Type': 'application/json',
'Cache-Control': 'no-store, max-age=0, must-revalidate', // versuche hier cache auszuschalten, lösche falls nicht funktioniert
'Pragma' : 'no-cache',
'Ocp-Apim-Subscription-Key' : subscriptionKey
}
};
console.log("***starte hier request hochladen ********");
request.post(options, (error, response, body) => {
if (error) {
console.log('Error: ', error);
console.log("***Fehler Zeile 42 *******");
return;
}
let jsonResponse = JSON.stringify(JSON.parse(body), null, ' ');
console.log('JSON Response\n');
console.log(jsonResponse);
var faces = JSON.parse(body);
if (faces.length === 0) {
console.log("Antwort auf Bildhochladen ist null*");
console.log("Bild erfolgreich hochgeladen, aber kein Gesicht erkannt");
setState("javascript.0.erkannteperson","keine_Person_erkannt");
return;
}
var face = faces[0]; // 1. Objekt auf body ist face
var faceId = face.faceId; // Wert von property "faceId"
// console.log(face);
console.log(faceId);
// console.log(faces[0].faceRectangle.top); nicht benötigt , nur Lernzwecke
var smile = (faces[0].faceAttributes.smile); // Lächenl ja/nein?
console.log(smile);
var age = (faces[0].faceAttributes.age); // Alter der erkannten Person
console.log(age);
// **** Gesicht erkannt faceID ist in Variable faceID *****
//////////////////////////////////////////////////////
// starte jetzt identify ///
//////////////////////////////////////////////////////
console.log("***** STARTE IDENTIFY");
// Request parameters.
const uriBase2 = 'https://westeurope.api.cognitive.micros … 0/identify';
const params2 = {
};
const body2 = JSON.stringify({ // definiere hier den body für 2. abfrage
"personGroupId": 'klaus_persongroup',
"faceIds": [
faceId,
],
"maxNumOfCandidatesReturned": 1,
"confidenceThreshold": 0.5
});
const options2 = {
uri: uriBase2,
qs: params2,
body: body2,
headers: {
'Content-Type': 'application/json',
'Cache-Control': 'no-store, max-age=0, must-revalidate', // versuche hier cache auszuschalten,
'Pragma' : 'no-cache',
'Ocp-Apim-Subscription-Key' : subscriptionKey
}
};
request.post(options2, (error, response, body) => {
if (error) {
console.log('Error: ', error);
console.log("**** Fehler Zeile 106 ******");
return;
}
let jsonResponse2 = JSON.stringify(JSON.parse(body), null, ' ');
console.log('JSON Response\n');
console.log(jsonResponse2);
var persons = JSON.parse(body);
if (persons.length === 0) {
return;
}
var person = persons[0]; // 1. Objekt auf body ist Person
var faceId2 = person.faceId; // faceId2 ist value von hochgeladenen gesicht
// console.log(face);
console.log(faceId2);
console.log(jsonResponse2.faceID);
console.log(person.faceId);
console.log(persons[0].faceId);
console.log(persons[0].personId);
var personstring = JSON.stringify(JSON.parse(body));
var PERSONID = personstring.substr(77, 36); // hole hier aus response erkannte Person
console.log("**** Ausweichweg - hole PERSONID mit STR");
console.log(PERSONID);
setState('javascript.0.personenIDobject',PERSONID);
/////////////////////////////////////////////////////////
// hier Afrage ob erkannte Person "Klaus" ist ///
////////////////////////////////////////////////////////
if (PERSONID == "eine_personen_id") {
console.log("***** KLAUS ******");
setState("javascript.0.erkannteperson","Klaus");
} else {
console.log("******* Gesicht erkannt aber Person unbekannt :-(");
setState("javascript.0.erkannteperson","Unbekannter");
}
////////////////////////////////////////////////////////
});
}); `
-
Super Sache und vor allem Respeckt, dass du dich da so reingefuchst hast.
Jetzt musst du für nichts Könner wie mich noch einen Adapter daraus bauen
Grüße
-
Super Sache, hat bei mir auch funktioniert.
Was ich noch suche ist eine Art Objekterkennung. Gibts auch sowas für Objekte.
Problem bei der Gesichtserkennung ist, wenn kein Gesicht erkannt wird, beispielsweise da nur der Rücken der Person auf dem Bild, funktioniert das Ganze nicht. Logisch
Oder anders gefragt, gibt es auch eine "Personenerkennung", statt eine reine "Gesichtserkennung"?
-
Ich antworte mir mal selber:
Bessere Variante wäre aber dies: https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit#write
Unterschied ist, dass man hier wirklich Personen erkennt. Beim dem Thema von oben, erkennt man "nur" Gesichter. Wenn die Person mit dem Rücken zur Kamera steht, bekommt man keine Erkennung.
Das Thema mit der Objekterkennung kann ich aber (noch) nicht und habe auch keinen jetson nano -
@schroedinger der erste Teil funktioniert super bei mir. D.h. ich erkenne Gesichter.
Du hattest im zweiten Teil noch was mit Identitätserkennung gemacht.
Die FaceID ist wohl nicht immer konstant gleich.
Wir kriegst Du es hin, dass Du in deinem Fall ermitteln kannst, dass es KLAUS ist?
Wäre so einfach, wenn die FaceId immer die gleiche wäre pro gleicher Person.
Kannst Du dazu noch 2-3 Sätze scheiben?
DANKE!
-
@uwe72 Ok, muss mich selber korrigieren, auch bei Microsoft cognitive service gibts die Möglichkeit von Objekterkennung:
https://docs.microsoft.com/de-de/azure/cognitive-services/computer-vision/quickstarts/node-analyze
funktioniert sehr gut
