Weihnachtsangebot 2025! 🎄

[-cs-]

@johen

Hi,
als ich das hier gesehen habe, musste ich gleich testen, Super.

Bei mir läuft ja ioBroker auf einem NUC / Proxmox / VM Debian / ioBroker mit Admin 5.

Nextcloud als Version: 21.0.7.

Schaut gut aus.

Wie @hydrotec schon erwähnte, wenn jetzt noch Bilder versendet werden könnten, würde ich mich von Telegramm verabschieden.

Danke und schöne Grüße
Christian

[johen]

Bilder senden ist geplant, hat in einem Test außerhalb vom ioBroker auch schon funktioniert.
Habt ihr Ideen wie die Schnittstelle für Bilddaten im ioBroker am besten umgesetzt werden sollte? Bzw wie macht es der Telegram Adapter?

Werden da die Bilddaten direkt übergeben oder nur eine Refernz z.b. zu einem Link (z.b. zum Videoüberwachungserver)...

[-cs-]

@johen

Bei mir is es vorrangig das Bild einer Cam darum hab ich mir ein kleines Blockly ähnlich diesem hier (rechts oben) erstellt.

Es wird z.B. das Bild der Cam in einen Ordner gespeichert, der Inhalt (immer nur die aktuelle Datei) dann mit dem senden Blockly versendet.

Genaueres kann ich nicht dazu sagen, da bin ich schon wieder raus.

[hydrotec]

@johen

Auch bei mir ist es, wie bei Christian, hauptsächlich ein snapshot der Kamera über Blockly.

Spoiler

   if (telegram_message == 'Dafang01') {
     exec('wget --quiet --output-document /opt/iobroker/iobroker-data/tmp/dafang01/dafang01.jpg --user xxx --password xxx https://192.168.78.86/cgi-bin/currentpic.cgi --no-check-certificate', async function (error, result, stderr) {
         sendTo("telegram.0", "send", {
           text: '/opt/iobroker/iobroker-data/tmp/dafang01/dafang01.jpg',
           user: telegram_sender
       });
     });

Wie das intern im Adapter verwaltet wird weiß ich nicht.
In den Objekten kann man nichts erkennen, ob es ein Bild oder Text ist.

Gruß, Karsten

[-cs-]

@johen

vorhin ist mir Nextcloud (habe keinen eigenen Server, sondern Managed Nextcloud bei einem Hoster) abgeschmiert, da der Adapter zu viel zugegriffen hat, eigentlich ununterbrochen.

Hier der (anonymiserte?) Auszug vom Hoster:

xx.xxx.xxx.x - iob [01/Dec/2021:13:22:53 +0000] "GET /ocs/v2.php/apps/spreed/api/v1/chat/9jhbeusnj?lookIntoFuture=1&setReadMarker=1&format=json&lastKnownMessageId=87 HTTP/1.1" 502 150 "-" "-"
xx.xxx.xxx.x - iob [01/Dec/2021:13:22:53 +0000] "GET /ocs/v2.php/apps/spreed/api/v1/chat/4gbs78mw?lookIntoFuture=1&setReadMarker=1&format=json&lastKnownMessageId=116 HTTP/1.1" 502 150 "-" "-"
xx.xxx.xxx.x - iob [01/Dec/2021:13:22:53 +0000] "GET /ocs/v2.php/apps/spreed/api/v1/chat/9jhbeusnj?lookIntoFuture=1&setReadMarker=1&format=json&lastKnownMessageId=87 HTTP/1.1" 502 150 "-" "-"
xx.xxx.xxx.x - iob [01/Dec/2021:13:22:53 +0000] "GET /ocs/v2.php/apps/spreed/api/v1/chat/4gbs78mw?lookIntoFuture=1&setReadMarker=1&format=json&lastKnownMessageId=116 HTTP/1.1" 502 150 "-" "-"

Christian

[johen]

@csr
Ja ist bei mir auch schon aufgetreten und bin da dran....

[johen]

Hab im nctalkclient ein Bug bei der http timeout Behandlung gefixt (neue Version 1.2.0), was meiner Meinung nach das Problem verursacht hat.
Wenn der iobroker.nctalk nochmal installiert wird sollte er sich den neusten nctalkclient ziehen.

Alternativ:
Adapter stoppen
npm update nctalkclient

Version prüfen:
/opt/iobroker# npm list | grep talk
│ ├── @serialport/parser-cctalk@9.0.7
├─┬ iobroker.nctalk@0.2.0 (github:jjqoie/iobroker.nctalk#57589398191d574048a44947585da36f7c871fd5)
│ └── nctalkclient@1.2.0

EDIT: Leider ist gerade das Problem trotzdem wieder gekommen :-/
Update: Der Patch behebt ein Teil des Problems- nach durchschauen der Logs, kam es diesmal zum Problemen wenn auf Grund von vielen Anfragen an nextcloud (bei mir war es Fotos anschauen), eine Anfrage vom Adapter mit http 502 beantwortet wird.

[johen]

Fehler ist nun behoben und neue Version 1.3.0 vom nctalkclient ist verfügbar.

[hydrotec]

@johen

Hallo Jochen,
kurze Rückmeldung. ;-)

Spoiler

XXX@iobroker:/opt/iobroker$ npm list | grep talk
│   ├── @serialport/parser-cctalk@9.2.4
├─┬ iobroker.nctalk@0.2.0 (github:jjqoie/iobroker.nctalk#57589398191d574048a44947585da36f7c871fd5)
│ └── nctalkclient@1.3.0
XXX@iobroker:/opt/iobroker$

Läuft seit ein paar Tagen unauffällig. (Hatte vorher auch keine Probleme)
Hab mal über das WebUI bei Nextcloud eine Diashow am laufen gehabt,
nctalk funktioniert mit senden/empfangen von Textnachrichten (auch größere Listen) ohne Probleme.

Danke noch einmal für deine Arbeit.
Gruß, Karsten

Edit (10.12.2021):
Heute zum ersten mal ERROR Meldung im Log gefunden.
(2021-12-10 07:00:13.281)

Spoiler

2021-12-10 06:50:01.852 - info: host.iobroker instance system.adapter.netatmo-crawler.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2021-12-10 06:55:00.027 - info: host.iobroker instance system.adapter.netatmo-crawler.0 started with pid 32556
2021-12-10 06:55:00.602 - info: netatmo-crawler.0 (32556) starting. Version 0.6.0 in /opt/iobroker/node_modules/iobroker.netatmo-crawler, node: v14.18.2, js-controller: 3.3.21
2021-12-10 06:55:00.620 - info: netatmo-crawler.0 (32556) Getting data for stationid:70:ee:50:14:81:ae
2021-12-10 06:55:01.322 - info: netatmo-crawler.0 (32556) Terminated (ADAPTER_REQUESTED_TERMINATION): Everything done. Going to terminate till next schedule
2021-12-10 06:55:01.842 - info: host.iobroker instance system.adapter.netatmo-crawler.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2021-12-10 07:00:00.045 - info: host.iobroker instance system.adapter.netatmo-crawler.0 started with pid 32577
2021-12-10 07:00:00.613 - info: netatmo-crawler.0 (32577) starting. Version 0.6.0 in /opt/iobroker/node_modules/iobroker.netatmo-crawler, node: v14.18.2, js-controller: 3.3.21
2021-12-10 07:00:00.633 - info: netatmo-crawler.0 (32577) Getting data for stationid:70:ee:50:14:81:ae
2021-12-10 07:00:01.432 - info: netatmo-crawler.0 (32577) Terminated (ADAPTER_REQUESTED_TERMINATION): Everything done. Going to terminate till next schedule
2021-12-10 07:00:01.952 - info: host.iobroker instance system.adapter.netatmo-crawler.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2021-12-10 07:00:04.060 - info: host.iobroker instance system.adapter.daswetter.0 started with pid 32592
2021-12-10 07:00:04.544 - info: daswetter.0 (32592) starting. Version 3.0.9 in /opt/iobroker/node_modules/iobroker.daswetter, node: v14.18.2, js-controller: 3.3.21
2021-12-10 07:00:08.069 - info: host.iobroker instance system.adapter.ical.4 started with pid 32607
2021-12-10 07:00:08.781 - info: ical.4 (32607) starting. Version 1.11.5 in /opt/iobroker/node_modules/iobroker.ical, node: v14.18.2, js-controller: 3.3.21
2021-12-10 07:00:09.591 - info: ical.4 (32607) processing URL: Anwesenheit https://XXX.XXX.XXX/remote.php/dav/calendars/XXX/anwesenheit/?export
2021-12-10 07:00:09.859 - info: daswetter.0 (32592) still wrong data structure from server received! repaired...
2021-12-10 07:00:11.084 - info: daswetter.0 (32592) Terminated (ADAPTER_REQUESTED_TERMINATION): All data handled, adapter stopped until next scheduled moment
2021-12-10 07:00:11.592 - info: daswetter.0 (32592) cleaned everything up...
2021-12-10 07:00:11.599 - info: host.iobroker instance system.adapter.daswetter.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2021-12-10 07:00:12.086 - info: host.iobroker instance system.adapter.ical.1 started with pid 32622
2021-12-10 07:00:12.695 - info: ical.1 (32622) starting. Version 1.11.5 in /opt/iobroker/node_modules/iobroker.ical, node: v14.18.2, js-controller: 3.3.21
2021-12-10 07:00:13.281 - error: nctalk.0 (12245) Error Event Error unknown http statusCode - 502
2021-12-10 07:00:13.282 - error: nctalk.0 (12245) Error Event Error unknown http statusCode - 502
2021-12-10 07:00:13.388 - error: nctalk.0 (12245) Error Event Error unknown http statusCode - 502
2021-12-10 07:00:13.389 - error: nctalk.0 (12245) Error Event Error unknown http statusCode - 502
2021-12-10 07:00:14.167 - info: ical.1 (32622) processing URL: Zeitumstellung https://XXX.XXX.XXX/remote.php/dav/calendars/XXX/zeitumstellung/?export
2021-12-10 07:00:14.211 - info: ical.1 (32622) processing URL: Formel1 https://XXX.XXX.XXX/remote.php/dav/calendars/XXX/formel1/?export
2021-12-10 07:00:14.262 - info: ical.1 (32622) processing URL: DTM https://XXX.XXX.XXX/remote.php/dav/calendars/XXX/dtm/?export
2021-12-10 07:00:14.456 - info: ical.1 (32622) processing URL: NFL https://XXX.XXX.XXX/remote.php/dav/calendars/XXX/nfl/?export
2021-12-10 07:00:14.687 - info: ical.4 (32607) Terminated (NO_ERROR): Without reason
2021-12-10 07:00:14.689 - info: ical.1 (32622) processing URL: Persönlich https://XXX.XXX.XXX/remote.php/dav/calendars/XXX/personal/?export
2021-12-10 07:00:15.200 - info: host.iobroker instance system.adapter.ical.4 terminated with code 0 (NO_ERROR)
2021-12-10 07:00:19.799 - info: ical.1 (32622) Terminated (NO_ERROR): Without reason
2021-12-10 07:00:20.319 - info: host.iobroker instance system.adapter.ical.1 terminated with code 0 (NO_ERROR)
2021-12-10 07:05:00.028 - info: host.iobroker instance system.adapter.netatmo-crawler.0 started with pid 32644

Funktion weiterhin ohne Einschränkung

[johen]

@hydrotec

Wieviel "chat rooms" hast du, welche abgefragt werden?

Genau das ist die Ursache (nextcloud bzw reverse proxy gibt http 502 zurück), warum der Adapter vor dem bugfix aus dem Tritt kam. 502 wurde nicht als Fehler erkannt und der Adapter hat gleich wieder die "WaitNewMessage" API aufgerufen und wieder kam sofort 502 und so weiter....
In meinen alten (bevor es den Adapter gab) logs von meinem Reverse Proxy gab es auch schon damals immer wieder mal 502 - d.h. dieses Thema kommt nicht vom Adapter.
Jetzt wird 502 ausgewertet und mit einem Error log angezeigt (warning log wäre warscheinlich besser) und nach ein längern Wartezeit 30sek geprüft ob der Nextcloud Service wieder verfügbar ist.

PS: Zu 502 https://www.ionos.de/digitalguide/hosting/hosting-technik/was-bedeutet-502-bad-gateway-erklaerung-loesung/

[johen]

https://github.com/nextcloud/docker/issues/1385

[hydrotec]

@johen sagte in [Neuer Adapter] nextcloud talk messenger:

@hydrotec

Wieviel "chat rooms" hast du, welche abgefragt werden?

Grundsätzlich noch die selbe Einstellung wie hier beschrieben.
(Log Ausgabe auf Info eingestellt, sonst keine Änderung)

Genau das ist die Ursache (nextcloud bzw reverse proxy gibt http 502 zurück), warum der Adapter vor dem bugfix aus dem Tritt kam. ...

Ist, vermutlich von mir, missverständlich ausgedrückt gewesen.
Wollte damit eigentlich nur aufzeigen, das seit dem Update (nctalkclient@1.3.0),
zum ersten mal eine Meldung im Log gab.
Dennoch Dankeschön für deine ausführliche Erklärung zu dem HTTP-Statuscode. :+1:

Wie gesagt, was Textnachrichten versenden/empfangen angeht, funktioniert der Adapter einwandfrei.
(Sobald die Übertragung von Bildern funktioniert, ist telegram auf meinem System verschwunden ;-) )

Gruß, Karsten

[johen]

An alle die Performance Probleme (stark verlängerte Reaktionszeiten bis zu 30sec) mit Ihrer Nextcloud Instance sehen, sollten unbedingt ihre FPM Einstellungen prüfen, vor allem wenn die offizielle docker compose Installation mit NGINX (https://github.com/nextcloud/docker) verwendet wurde. Hier sind die Standardeinstellungen für max_children gleich 5, was für Talk zu wenig ist.

Im fpm_app container ist die Config hier zu finden. Bitte beachten, dass mit der Config unten auch mal 8GB RAM benötigt wird vor allem beim Bilder anschauen.
/usr/local/etc/php-fpm.d/www.conf

pm = dynamic
pm.max_children = 32
pm.start_servers = 12
pm.min_spare_servers = 8
pm.max_spare_servers = 16
pm.max_requests = 1000

Weiterführende Links:
https://help.nextcloud.com/t/nextcloudpi-and-talk-configuration-incompatible/79469
https://www.technik-blog.eu/2018/08/php-fpm-einstellungen-optimieren.html
https://www.kinamo.be/en/support/faq/determining-the-correct-number-of-child-processes-for-php-fpm-on-nginx

[schoemi]

Hallo @johen,

ich habe Deinen Adapter problemlos installieren und verbinden können.
Die Chatrooms (1 Gruppenchat und ein 1:1 Chat mit dem ioBroker-User der NC) wurden auch problemlos erkannt.
Senden von Nextcloud an ioBroker funktioniert. Allerdings werden Nachrichten an den Nextcloud-Server nicht zugestellt.

Das Log sieht so aus:

nctalk.0 2022-01-05 12:08:20.688	info	Debug Event WaitNewMessages IN ghkduwk5
nctalk.0 2022-01-05 12:08:20.688	info	Debug Event WaitNewMessages done
nctalk.0 2022-01-05 12:08:20.688	info	Debug Event WaitNewMessages - Talk timeout empty reply after no new message was received
Zur Info: ghkduwk5 ist ein One to One Chat. Es funktioniert aber auch bei Gruppenchats nicht.

Edit: Bei einer anderen managed NC Instanz (tab.digital) klappt es. (Teil des Logs wie im Posting hierunter empfohlen entfert).

Danke für eine Hilfestellung!

[johen]

@schoemi

Debug Event WaitNewMessages - Talk timeout empty reply after no new message was received

Die Meldung bedeutet, dass keine Neue Nachricht in den letzten 30sec gab und die Kommunikation mit dem Server an sich ohne Fehler funktioniert.
Leider bekomme ich aus den Logs nicht mehr Infos nicht heraus. Ist das ein Testserver wo es nicht funktioniert?

Bitte beachte, dass aktuell die Log Ausgabe nicht darauf achten, sensitive Informationen zu schwärzen (ist noch ein Todo), daher würde ich empfehlen folgende Zeile zu löschen bzw. alle token oder ähnliche Passphrase zu löschen : Debug Event{"statusCode":304..............

[schoemi]

@johen
Ist eine eigene Installation auf CentOS 8 auf einem Ionos Cloud Server.
Eine andere Sache die mir gerade aufgefallen ist: Bei beiden Installationen funktionieren die Push Nachrichten in die Android App nicht. Die Notifications App ist in beiden Installationen aktiviert. Bei dem managed von tab.digital kommt aber die Meldung, dass die App aus Stabilitätsgründen nicht aktiviert werden kann.

[johen]

@schoemi
Bin etwas verwirrt mit den verschiedenen Nextcloud Installationen die du hast und bei welcher was geht und was nicht.

Bei dem managed von tab.digital kommt aber die Meldung, dass die App aus Stabilitätsgründen nicht aktiviert werden kann.

Dachte da funktioniert der Adapter?

Es sollte reichen die Nextcloud App Talk(spreed) zu installieren.
Anbei Infos zum Setup und Anforderungen https://nextcloud-talk.readthedocs.io/en/latest/system-requirements/ - einen Hinweis dass die Talk App die Notification App benötigt habe ich nicht gefunden, bei mir war jedoch die Notification standardmäßig aktiviert.
Eine sehr einfache Möglichkeit Nextcloud aufzusetzen ist über die offiziellen docker / docker compose Projekte im .example Ordner auf https://github.com/nextcloud/docker

[johen]

@hydrotec / all

es gibt ein neues Release 0.3.0, welche das File Sharing ermöglicht.
Im log darauf achten, dass nctalkclient 1.4.0 verwendet wird: "nctalk.0 2022-01-07 14:46:06.456 info Debug Event START nctalkclient 1.4.0"

Es gibt zwei neue Parameter zu konfigurieren - der Upload-Pfad und ob bereits vorhandene Dateien überschrieben werden dürfen

und es sind drei neue iobroker Objekte im Unterverzeichnis "ShareFile" hinzugekommen

Beispiel NextcloudPath - hier muss die Datei bereits in nextcloud hochgeladen und verfügbar sein
Setze Wert auf: /talk/existingfile.jpg

Beispiel für ...ShareFile.URL
Setze Wert auf: {"filename": "webupload.png", "url": "https://raw.githubusercontent.com/jjqoie/iobroker.nctalk/main/img/nctalk-objects.png"}

Das Datenformat für "UploadShareObj" schaut wie folgt aus: {'filename':'tests123.png','data':{'type':'Buffer','data':[137,80,78,71,13,10,26,10,0,0,0,13,73,72,68,82,0,0,11,64,0,0,7,8,8,6,0,0,0,175,....}
Beispiel für "UploadShareObj" zusammen mit dem javascript adapter

var https = require("https");

var options = {
    host: 'raw.githubusercontent.com',
    port: 443,
    path: '/jjqoie/iobroker.nctalk/main/img/nctalk-objects.png',
    method: 'GET',
};


https.get(options, function(res) {
    res.setEncoding('binary');
    let chunks = [];

    res.on('data', (chunk) => {
        chunks.push(Buffer.from(chunk, 'binary'));
    });

    res.on('end', () => {
        let binary = Buffer.concat(chunks);
        // binary is now a Buffer that can be used as Uint8Array or as
        // any other TypedArray for data processing in NodeJS or 
        // passed on via the Buffer to something else.
        //console.log(JSON.stringify(binary));
        //require("fs").writeFile("test.jpg", binary, () => {
        //});
        const imgNextcloud = {
            filename: "tests123.png",
            data: binary
        }
        setState("nctalk.0.kjf53yuu.ShareFile.UploadShareObj", imgNextcloud);
    });
});

PS: Der Upload Ordner ist notwendig, da bei Talk nur Dateien/Bilder, welche sich bereits in Nextcloud befinden geteilt/angezeigt werden können und der Adapter diese vorher per webdav in diesen Ordner hochlädt.

[hydrotec]

@johen

Hallo Jochen,

jetzt hast du mich etwas abgehängt.

Wenn ich bei den Einstellungen den UploadPath eintrage, wird er in Nextcloud angelegt.
Der Einfachheit hab ich "/Talk" (ist auf Nextcloud schon vorhanden) eingetragen.
Wenn ich von Benutzer "karsten" über das mobile ein Bild an Benutzer "iobroker" versende,
wird es vom Adapter korrekt erkannt. (denke ich mal so ;-) )

Doch mit dem Senden eines Bildes von "iobroker" an "karsten" komme ich nicht ganz mit.
Sorry bin mit javascript noch nicht so fit. :confused:
Angenommen ich habe folgendes file "/opt/iobroker/iobroker-data/tmp/dafang01/dafang01.jpg"
Wohin muss ich das uploaden, bzw. wie kann ich das versenden?

Gruß, Karsten

[johen]

@hydrotec
...ShareFile.URL funktioniert nur für alles was direkt via http/https Zugriff erreichbar ist.

Ok verstehe dein Usecase, die Datei befindet sich lokal auf der Festplatte.
Hierzu muss das Beispiel Script für "UploadShareObj" angepasst werden, so dass der Dateiinhalt (byte für byte) nicht von einem https Zugriff in den Abreitsspeicher kommt und dann an UploadShareObj übergeben wird, sondern über ein fs.readfile("/opt/iobroker/iobroker-data/tmp/dafang01/dafang01.jpg", null); encoding müsste null sein um ein Buffer Typ zu bekommen (habs aber nicht getestet) https://nodejs.dev/learn/reading-files-with-nodejs