JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg)

[coyote]

Ich bekomme über den MQTT in einen DP die Daten eines Bildes geschickt (JFIF codiert).
Jetzt versuche ich aus diesen Daten eine gültige *.jpg zu machen, bekomme es aber nicht hin.
Bilddatei ist ungültig oder defekt. Kann mir da jemand helfen, @paul53 vllt?

var fs      = require('fs');
var dest_path = '/opt/iobroker/foto/';

 function test(){
    var data = getState('mqtt.0.frigate.door.person.snapshot'/*frigate/door/person/snapshot*/).val; 
 fs.writeFile(dest_path + 'testbild.jpg', data, (err) => {
  if (err) throw err;
  console.log('The file has been saved!');
});
 }

test();

[UncleSam]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

JFIF codiert

Du schreibst es ja selber: es ist ein JFIF und nicht ein JPEG. Speichere es mal als .jfif ab und schau, ob du es öffnen kannst. Ansonsten kommst du nicht um eine Konvertierung rum. Da kann zB ImageMagick helfen (Linux und Windows) oder IrfanView.

[coyote]

@UncleSam ich habe google mal etwas gequält, von daher denke ich zumindest mal es ist ein JFIF, zumindest fängt der Code damit an.

����JFIF



��C







				��C
��
,
�
"

��







	���

}
!1AQa"q2���#B��R��$3br�	%&'()*456789:CDEFGHIJSTUVWXYZcdefghijstuvwxyz���������������������������������������������������������������������������










	���

w
!1AQaq"2�B����	#3R�br�$4�%�&'()*56789:CDEFGHIJSTUVWXYZcdefghijstuvwxyz��������������������������������������������������������������������������
?������߈|U�k^��4����E��N}2I-/�x��I��6#M��Nv���'�6<;?��g��V�1���k9E휐�Zt���{�%h����L�aV.@�y��>.�A�g��s�G��>=��D�խ΅e<����:XZT�K�봱#�W�����<4�	�ū��?bm+Mӭ�����3�b;h�B��]����_w��@5uOٻ��O�m'���ey5�ě�

Das Programm heißt "Frigate" das den Code schickt, da habe ich auch schon auf Github nachgefragt. Die Jungs schreiben, dass sie den Code "einfach" in eine jpg Datei schreiben, daher dachte ich es geht so.
Einer macht das mit einem node-red Code.

[coyote]

Ich hab jetzt das hier noch dazu gefunden.
https://simplernerd.com/js-image-binary-jfif/
Kann mir da jemand weiterhelfen? Bekomme es nicht hin in Javascript. @paul53

[UncleSam]

@coyote Das nützt dir nicht wirklich etwas. Wenn du aus einem JFIF ein JPEG machen willst, musst du es umwandeln. Wenn es ein JFIF sein darf, dann nenne einfach .jfif. Was willst du denn mit dem Bild machen?

Wie gesagt, wenn du es umwandeln willst, dann verwende ImageMagick.

Ich nehme an, das sollte gehen (nicht getestet):

apt-get install imagemagick

convert jfif:input.jfif jpeg:output.jpeg

Allerdings habe ich gerade ein eigenes JPEG angeschaut und da steht auch "JFIF" drin, also ist das Problem möglicherweise ein anderes.

Was mich etwas verwirrt: was steht denn in "val" drin? Tatsächlich die Binärdaten des Bildes?! Das wird sicher nicht funktionieren, wenn irgendwo in der Datei eine binäre Null (\0) vorkommt, da dann der String zu Ende ist. Was ist denn das für ein MQTT Client, der dir das Bild so schickt? Wenn möglich sollten binäre Daten immer verpackt sein. Auch wenn MQTT das möglicherweise unterstützt, stellt sich mir die Frage, ob der ioBroker Adapter das auch wirklich kann.

[coyote]

@UncleSam folgender Hintergrund:
Es geht um eine Objekterkennung mit meinen Kameras. Die beiden Programme, die ich da am Testen bin heißen Frigate und Viseron. Die verschicken einen Snapshot mit der Erkennung per MQTT. Beide Entwickler sagen, man soll einfach diese Daten in ein File .jpg schreiben.
Ich weiß aber nicht wie, vllt geht es auch so und die Daten im DP sind nicht korrekt.
Ich habe auch schon die Daten des DPs einfach in eine Datei kopiert und gespeichert, dass ging aber auch nicht

[UncleSam]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

Die beiden Programme, die ich da am Testen bin heißen Frigate und Viseron. Die verschicken einen Snapshot mit der Erkennung per MQTT.

Ich befürchte, der MQTT Adapter in ioBroker kann nicht mit binary Daten umgehen. Aber vielleicht können @apollon77, @foxriver76 oder @Bluefox weiterhelfen, sie haben den Adapter entwickelt.

[coyote]

@UncleSam es scheint wohl am MQTT Adapter zu liegen. Ich habe es jetzt noch mit einem node-red flow probiert, den jemand im Home-Assistent Forum nutzt in Verbindung mit Frigate.
Geht leider auch nicht, die Datei wird zwar erstellt, lässt sich aber nicht öffnen

[UncleSam]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

node-red flow

Das könnte deine Lösung sein: benutze MQTT im Node Red Adapter (bis und mit dem Schreiben einer Datei). Dort kannst du auf "binary buffer" umstellen (siehe https://github.com/node-red/node-red/issues/1912#issuecomment-433927652).

DurandA created this issue in node-red/node-red

closed Implicit UTF-8 conversion for binary payload of MQTT messages #1912

[coyote]

@UncleSam hm weiß nicht. Ich habe den Flow einfach importiert und angepasst an mein System,kenne mich aber mit Node-red null aus.

Habe die mit node-red erstellte Datei jetzt gerade mit einem Texteditor geöffnet, sieht zumindest mal danach auch, was auch im DP steht. Kann es als Bild aber nicht öffnen.
Hier noch der Flow:

[{"id":"bfc52e89.01a3c","type":"mqtt in","z":"df11a766.915e38","name":"Snapshots","topic":"frigate/#","qos":"2","datatype":"auto","broker":"9f22ac04.64d65","x":100,"y":560,"wires":[["d5a4b45a.22af38"]]},{"id":"c4771737.7bfea8","type":"function","z":"df11a766.915e38","name":"Camera/Type from Topic","func":"msg.camera = msg.topic.split(\"/\")[1];\nmsg.real_camera = msg.camera;\nmsg.type = msg.topic.split(\"/\")[2];\n\n\nif (msg.camera === \"road\" || msg.camera === \"entrance\") {\n    msg.real_camera = \"gate\"; // for screenshots, recording\n}\nreturn msg;","outputs":1,"noerr":0,"initialize":"","finalize":"","x":490,"y":560,"wires":[["e4aa545c.4bc658"]]},{"id":"e4aa545c.4bc658","type":"template","z":"df11a766.915e38","name":"File Path","field":"filename","fieldType":"msg","format":"handlebars","syntax":"mustache","template":"/config/www/latest_snapshots/{{camera}}/{{type}}/latest.jpg","output":"str","x":700,"y":560,"wires":[["3af0d435.201d3c"]]},{"id":"3af0d435.201d3c","type":"file","z":"df11a766.915e38","name":"Write Snapshot","filename":"","appendNewline":true,"createDir":true,"overwriteFile":"true","encoding":"none","x":880,"y":560,"wires":[[]]},{"id":"d5a4b45a.22af38","type":"switch","z":"df11a766.915e38","name":"Snapshots?","property":"topic","propertyType":"msg","rules":[{"t":"cont","v":"snapshot","vt":"str"}],"checkall":"true","repair":false,"outputs":1,"x":270,"y":560,"wires":[["c4771737.7bfea8"]]},{"id":"9f22ac04.64d65","type":"mqtt-broker","name":"mosquitto","broker":"192.168.1.230","port":"1883","clientid":"","usetls":false,"compatmode":false,"keepalive":"60","cleansession":true,"birthTopic":"","birthQos":"0","birthPayload":"","closeTopic":"","closeQos":"0","closePayload":"","willTopic":"","willQos":"0","willPayload":""}]

Und das bekomme ich beim öffnen angezeigt:
Fehler beim Lesen einer JPEG-Bilddatei (Not a JPEG file: starts with 0xef 0xbf)

[fastfoot]

@coyote Du könntest getBinaryState() probieren, das hier funktioniert z.B. mit einer mp3 Datei

    getBinaryState(idPic, async function (err, data){
        fs.writeFile('test.jpg', data, function (err) {
            if(err) log('Fehler!');
        });                
    });

[coyote]

@fastfoot geht leider auch nicht, gleicher Fehler

[fastfoot]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

@fastfoot geht leider auch nicht, gleicher Fehler

Welchen Typ hat denn dein DP?

[coyote]

@fastfoot was meinst du mit Typ? String? Hier mal die RAW Daten des DPs:
Wie der Inhalt aussieht, siehst du ja oben

{
  "common": {
    "name": "frigate/garage/person/snapshot",
    "write": true,
    "read": true,
    "role": "variable",
    "desc": "mqtt server variable",
    "type": "string"
  },
  "native": {
    "topic": "frigate/garage/person/snapshot"
  },
  "type": "state",
  "from": "system.adapter.mqtt.0",
  "user": "system.user.admin",
  "ts": 1605200180223,
  "_id": "mqtt.0.frigate.garage.person.snapshot",
  "acl": {
    "object": 1636,
    "state": 1636,
    "owner": "system.user.admin",
    "ownerGroup": "system.group.administrator"
  }
}

[fastfoot]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

@fastfoot was meinst du mit Typ? String? Hier mal die RAW Daten des DPs:
Wie der Inhalt aussieht, siehst du ja oben

möglicherweise wird durch den Type 'string' bereits der Inhalt der Daten verändert? Ich würde als Letztes noch probieren, den Typ auf file umzustellen, mehr fällt mir dann auch nicht mehr ein

[coyote]

@fastfoot wie mach ich das denn? In iobroker kann ich ja nur "boolean,String, Number, Array, Object, mixed" einstellen

[fastfoot]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

@fastfoot wie mach ich das denn? In iobroker kann ich ja nur "boolean,String, Number, Array, Object, mixed" einstellen

das kannst du im Raw ändern. Im mp3 DP, für den ich das getBinary() ursprünglich geschrieben habe, hat der DP genau diesen Typ. Der kommt vom Sayit Adapter

[UncleSam]

@fastfoot sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

Ich würde als Letztes noch probieren, den Typ auf file umzustellen, mehr fällt mir dann auch nicht mehr ein

@AlCalzone sollte file auch noch erlaubt sein? Ich muss später im js-contoller nachschauen. --> vergiss es, mein Fehler.

[UncleSam]

@fastfoot sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

das kannst du im Raw ändern. Im mp3 DP, für den ich das getBinary() ursprünglich geschrieben habe, hat der DP genau diesen Typ. Der kommt vom Sayit Adapter

Wenn ich das richtig sehe, lädt der sayit Adapter die Datei als solche in ioBroker hoch (eben "file"). Das ist nicht dasselbe wie ein einfacher Datenpunkt, der tatsächlich nur die angegebenen Werte haben kann.

@fastfoot so langsam hast du alles durchprobiert und die Daten kommen immer korrupt an. Meine Befürchtung ist, dass die tatsächlich auch korrupt daher kommen.

Einzige Möglichkeit sehe ich noch, dass du den Typ im Node Red explizit auf Binär setzt. Im Moment ist es ja noch auf automatisch erkennen.

[coyote]

@UncleSam ich verstehe es auch nicht, irgendwas stimmt nicht. Node-Red habe ich gestern Abend noch auf "buffer" geändert.
Das Bild lässt sich aber auch nicht öffnen