JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg)

[UncleSam]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

Die beiden Programme, die ich da am Testen bin heißen Frigate und Viseron. Die verschicken einen Snapshot mit der Erkennung per MQTT.

Ich befürchte, der MQTT Adapter in ioBroker kann nicht mit binary Daten umgehen. Aber vielleicht können @apollon77, @foxriver76 oder @Bluefox weiterhelfen, sie haben den Adapter entwickelt.

[coyote]

@UncleSam es scheint wohl am MQTT Adapter zu liegen. Ich habe es jetzt noch mit einem node-red flow probiert, den jemand im Home-Assistent Forum nutzt in Verbindung mit Frigate.
Geht leider auch nicht, die Datei wird zwar erstellt, lässt sich aber nicht öffnen

[UncleSam]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

node-red flow

Das könnte deine Lösung sein: benutze MQTT im Node Red Adapter (bis und mit dem Schreiben einer Datei). Dort kannst du auf "binary buffer" umstellen (siehe https://github.com/node-red/node-red/issues/1912#issuecomment-433927652).

DurandA created this issue in node-red/node-red

closed Implicit UTF-8 conversion for binary payload of MQTT messages #1912

[coyote]

@UncleSam hm weiß nicht. Ich habe den Flow einfach importiert und angepasst an mein System,kenne mich aber mit Node-red null aus.

Habe die mit node-red erstellte Datei jetzt gerade mit einem Texteditor geöffnet, sieht zumindest mal danach auch, was auch im DP steht. Kann es als Bild aber nicht öffnen.
Hier noch der Flow:

[{"id":"bfc52e89.01a3c","type":"mqtt in","z":"df11a766.915e38","name":"Snapshots","topic":"frigate/#","qos":"2","datatype":"auto","broker":"9f22ac04.64d65","x":100,"y":560,"wires":[["d5a4b45a.22af38"]]},{"id":"c4771737.7bfea8","type":"function","z":"df11a766.915e38","name":"Camera/Type from Topic","func":"msg.camera = msg.topic.split(\"/\")[1];\nmsg.real_camera = msg.camera;\nmsg.type = msg.topic.split(\"/\")[2];\n\n\nif (msg.camera === \"road\" || msg.camera === \"entrance\") {\n    msg.real_camera = \"gate\"; // for screenshots, recording\n}\nreturn msg;","outputs":1,"noerr":0,"initialize":"","finalize":"","x":490,"y":560,"wires":[["e4aa545c.4bc658"]]},{"id":"e4aa545c.4bc658","type":"template","z":"df11a766.915e38","name":"File Path","field":"filename","fieldType":"msg","format":"handlebars","syntax":"mustache","template":"/config/www/latest_snapshots/{{camera}}/{{type}}/latest.jpg","output":"str","x":700,"y":560,"wires":[["3af0d435.201d3c"]]},{"id":"3af0d435.201d3c","type":"file","z":"df11a766.915e38","name":"Write Snapshot","filename":"","appendNewline":true,"createDir":true,"overwriteFile":"true","encoding":"none","x":880,"y":560,"wires":[[]]},{"id":"d5a4b45a.22af38","type":"switch","z":"df11a766.915e38","name":"Snapshots?","property":"topic","propertyType":"msg","rules":[{"t":"cont","v":"snapshot","vt":"str"}],"checkall":"true","repair":false,"outputs":1,"x":270,"y":560,"wires":[["c4771737.7bfea8"]]},{"id":"9f22ac04.64d65","type":"mqtt-broker","name":"mosquitto","broker":"192.168.1.230","port":"1883","clientid":"","usetls":false,"compatmode":false,"keepalive":"60","cleansession":true,"birthTopic":"","birthQos":"0","birthPayload":"","closeTopic":"","closeQos":"0","closePayload":"","willTopic":"","willQos":"0","willPayload":""}]

Und das bekomme ich beim öffnen angezeigt:
Fehler beim Lesen einer JPEG-Bilddatei (Not a JPEG file: starts with 0xef 0xbf)

[fastfoot]

@coyote Du könntest getBinaryState() probieren, das hier funktioniert z.B. mit einer mp3 Datei

    getBinaryState(idPic, async function (err, data){
        fs.writeFile('test.jpg', data, function (err) {
            if(err) log('Fehler!');
        });                
    });

[coyote]

@fastfoot geht leider auch nicht, gleicher Fehler

[fastfoot]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

@fastfoot geht leider auch nicht, gleicher Fehler

Welchen Typ hat denn dein DP?

[coyote]

@fastfoot was meinst du mit Typ? String? Hier mal die RAW Daten des DPs:
Wie der Inhalt aussieht, siehst du ja oben

{
  "common": {
    "name": "frigate/garage/person/snapshot",
    "write": true,
    "read": true,
    "role": "variable",
    "desc": "mqtt server variable",
    "type": "string"
  },
  "native": {
    "topic": "frigate/garage/person/snapshot"
  },
  "type": "state",
  "from": "system.adapter.mqtt.0",
  "user": "system.user.admin",
  "ts": 1605200180223,
  "_id": "mqtt.0.frigate.garage.person.snapshot",
  "acl": {
    "object": 1636,
    "state": 1636,
    "owner": "system.user.admin",
    "ownerGroup": "system.group.administrator"
  }
}

[fastfoot]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

@fastfoot was meinst du mit Typ? String? Hier mal die RAW Daten des DPs:
Wie der Inhalt aussieht, siehst du ja oben

möglicherweise wird durch den Type 'string' bereits der Inhalt der Daten verändert? Ich würde als Letztes noch probieren, den Typ auf file umzustellen, mehr fällt mir dann auch nicht mehr ein

[coyote]

@fastfoot wie mach ich das denn? In iobroker kann ich ja nur "boolean,String, Number, Array, Object, mixed" einstellen

[fastfoot]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

@fastfoot wie mach ich das denn? In iobroker kann ich ja nur "boolean,String, Number, Array, Object, mixed" einstellen

das kannst du im Raw ändern. Im mp3 DP, für den ich das getBinary() ursprünglich geschrieben habe, hat der DP genau diesen Typ. Der kommt vom Sayit Adapter

[UncleSam]

@fastfoot sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

Ich würde als Letztes noch probieren, den Typ auf file umzustellen, mehr fällt mir dann auch nicht mehr ein

@AlCalzone sollte file auch noch erlaubt sein? Ich muss später im js-contoller nachschauen. --> vergiss es, mein Fehler.

[UncleSam]

@fastfoot sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

das kannst du im Raw ändern. Im mp3 DP, für den ich das getBinary() ursprünglich geschrieben habe, hat der DP genau diesen Typ. Der kommt vom Sayit Adapter

Wenn ich das richtig sehe, lädt der sayit Adapter die Datei als solche in ioBroker hoch (eben "file"). Das ist nicht dasselbe wie ein einfacher Datenpunkt, der tatsächlich nur die angegebenen Werte haben kann.

@fastfoot so langsam hast du alles durchprobiert und die Daten kommen immer korrupt an. Meine Befürchtung ist, dass die tatsächlich auch korrupt daher kommen.

Einzige Möglichkeit sehe ich noch, dass du den Typ im Node Red explizit auf Binär setzt. Im Moment ist es ja noch auf automatisch erkennen.

[coyote]

@UncleSam ich verstehe es auch nicht, irgendwas stimmt nicht. Node-Red habe ich gestern Abend noch auf "buffer" geändert.
Das Bild lässt sich aber auch nicht öffnen

[UncleSam]

@coyote Kannst du eines dieser Bilder mal als ZIP-Datei irgendwo hochladen? Und hast du eventuell von derselben Datei das Original, das auf dem Server erstellt wird? Dann könnte ich mal analysieren, was das Problem sein könnte.

Was verwendest du eigentlich als MQTT Server? Direkt den ioBroker oder hast du einen separaten MQTT Broker?

[coyote]

@UncleSam würde ich gerne, den Kram über MQTT und Node-Red ist auch kein Problem, nur die original Datei ist das Problem.
Das Programm läuft in einem Docker Container und ich weiß nicht wo bzw. ob überhaupt da ein original Bild gespeichert wird.

Ja, nutze den iobroker MQTT Adapter

[coyote]

@UncleSam das ist das Programm, falls du Lust hast da mal zu schauen. Es gibt auch schon einen pull request, damit das Bild als Base64 übertragen werden soll. Wäre vllt auch was. Habe aber versucht die Änderungen, des pull request bei mir im Container zu ändern, aber die Version ist wohl wieder neuer und der Code ist etwas abgeändert

https://github.com/blakeblackshear/frigate

[coyote]

@UncleSam hm, jetzt habe ich zum Test Home Assistent installiert, mit Mosquitto MQTT, node-red und Frigate.
Dann habe ich den flow importiert und siehe da, es funktioniert. Die Bilder funktionieren.
Jetzt ist die Frage, warum geht es nicht in iobroker,
Soll es denn wirklich am iobroker mqtt Adapter liegen?

[UncleSam]

@coyote sagte in JS-MQTT DP eines Bildes (JFIF) in Datei schreiben (jpg):

Soll es denn wirklich am iobroker mqtt Adapter liegen?

Ich vermute, ja. Mach doch mal ein Issue auf auf Github, dann können die Entwickler das anschauen. Kannst ja auf dieses Thema hier verweisen.

[coyote]

Erledigt: https://github.com/ioBroker/ioBroker.mqtt/issues/115

coyote1 created this issue in ioBroker/ioBroker.mqtt

closed Enhancement: Allow receiving binary data (e.g. images) #115