USB in Docker via neuer Container über Compose u.a. andere

[OliverIO]

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

Gibt Probleme, Grafana container will nicht so recht

das ist der richtige abschnitt
https://grafana.com/docs/grafana/latest/setup-grafana/installation/docker/#use-bind-mounts-1

das ist eine berechtigungsgeschichte. viele container laufen intern mit root.
das ändert sich aber, so das auch innen, wie es sein sollte mit dedizierten usern gearbeitet wird. diese benötigen allerdings schreibrechte auf dem gastlaufwerk. diese information muss man dem container mitgeben.
füge im grafana abschnitt noch hinzu

user: '0'

und probiere ob es dann geht.
alternativ
das hier, da weiß ich aber nicht ob shell substitution unter portainer funktioniert.

user: $(id -u)

[Chrisham]

@oliverio ok, danke. mach ich morgen dann.
Letzter Versuch mit o.g. Änderungen war leider nicht erfolgreich:

• influx connected noch nicht
  (auch asterisk install scheint noch nicht zu funktionieren, jedenfalls kann adapter nicht verbinden, oder wird der linux-proc nur nicht automatisch gestartet...? wobei ich die pakete über container-terminal an der üblichen stelle (/etc/init.d) auch nicht gefunden habe....

Nunja, war heute halt nicht so erfolgreich, muss noch paar h schlafen, morgen gehts weiter, dennoch vielen dank für den stetigen support!

[OliverIO]

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

In der o.g. Referenz stehen bei dem docker-compose Bsp. gar keine Env-Variablen/Pfade drin, soll ich die auch mal rausnehmen...?

in der container konfiguration immer so sparsam mit angaben umgehen wie möglich.
normalerweise hat ein container meist default werte, so das ein container einfach mal läuft.
daher nur die angaben hinzufügen, die gemäß doku unbedingt gefordert sind. alles andere kann man erst mal weglassen. erst wenn du merkst, das du da was anderes haben wills, dann kannst du ergänzen.

hier der abschnitt zu den ganzen pfad angaben.
https://grafana.com/docs/grafana/latest/setup-grafana/configure-docker/#default-paths
wenn du da nix änderst, dann musst du da auch nix angeben,
ich mach mir bspw bei jedem container gedanken, was will ich da sichern und wo stehen diese daten. dann schaue ich, wie ich die da herausbekommen.

zum besseren verständnis von docker und dem dateisystem. docker nutzt ein layer dateisystem. jeder darüberliegende layer überdeckt die einzelnen dateien und verzeichnisse des darunterliegenden layers. normalerweise kommt ganz unten der layer mit dem betriebssystem. dann wird darauf die applikation gelegt.
jetzt kommst du und legst darüber nochmal ein named volume oder ein verzeichnis/datei aus deinem dateisystem.
dadurch kannst du bspw einzelne dateien oder ganze verzeichnisse nach aussen legen und die dann wegsichern.
alle daten, die während der laufzeit im container erzeugt werden und nicht in einem volume liegen, sind nach der regeneration des containers wieder weg.
wenn du etwas sichern willst, dann ist sicherlich /var/lib/grafana (data) interessant
wenn du plugins installierst evtl auch den pfad zu den plugins, bin aber in grafana sicht so firm und weiß nicht was in den einzelnen verzeichnissen wirklich etwas abgelegt wird.

[OliverIO]

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

influx connected noch nicht

warum steht im protokoll dann immer noch 127.0.0.1?
das ist localhost, also wenn eine applikation zu einer anderen auf der gleichen maschine kontakt aufnehmen will.
influxdb hast du in einem eigenen container. das ist wie ein weiterer rechner mit eigener ip. also musst du dem iobroker-.influx-adapter in der configuration bei ip influxdb eintragen. das ist gemäß deiner konfiguration der servicename und damit auch gleich der hostname unter der der container erreichbar ist.

[Chrisham]

@oliverio gut Frage. Ich schwör, ich hab nur das im compose:

version: '3'
services:
  iobroker:
    restart: always
    image: buanet/iobroker:latest
    container_name: iobroker-6
    hostname: iobroker-6
    ports:
      - "8081:8081"
    volumes:
      - /volume1/docker/iobroker-Chrisham:/opt/iobroker
      - /volume1/docker/userscripts:/opt/userscripts
      - /volume1/docker/Backup:/opt/backup/
    environment:
      - PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
      - DEBIAN_FRONTEND=teletype
      - LANG=de_DE.UTF-8
      - LANGUAGE=de_DE:de
      - LC_ALL=de_DE.UTF-8
      - SETGID=1000
      - SETUID=1000
      - TZ=Europe/Berlin
      - USBDEVICES=/dev/ttyUSB0
      - PACKAGES=ffmpeg lame sox libsox-fmt-mp3 asterisk influxdb2-cli
    devices:
      - /dev/ttyUSB0:/dev/ttyUSB0
    networks:
      iobroker6:
  influxdb:
    restart: always
    image: influxdb:latest
    container_name: influxdb-6
    ports:
      - "8086:8086"
    volumes:
      - /volume1/docker/influxdb/config:/etc/influxdb2
      - /volume1/docker/influxdb/data:/var/lib/influxdb2
    environment:
      - PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
      - GOSU_VER=1.12
      - INFLUXDB_VERSION=2.7.1
      - INFLUX_CLI_VERSION=2.7.3
      - INFLUX_CONFIGS_PATH=/etc/influxdb2/influx-configs
      - INFLUXD_INIT_PORT=8086
      - INFLUXD_INIT_PING_ATTEMPTS=600
      - DOCKER_INFLUXDB_INIT_CLI_CONFIG_NAME=default
      - DOCKER_INFLUXDB_INIT_MODE=setup
      - DOCKER_INFLUXDB_INIT_USERNAME=iobroker
      - DOCKER_INFLUXDB_INIT_PASSWORD=*1Xs(QD5gY0!B&XHe1_x
      - DOCKER_INFLUXDB_INIT_ORG=smarthome
      - DOCKER_INFLUXDB_INIT_BUCKET=iobroker
    networks:
      iobroker6:  
  grafana:
    restart: always
    image: grafana/grafana:latest
    container_name: grafana-6
    ports: 
      - "3000:3000"
    volumes:
      - /volume1/docker/grafana:/var/lib/grafana
      - /volume1/docker/grafana:/var/lib/grafana/plugins
    networks:
      iobroker6:
networks:
  iobroker6:

Oder ist das dann nicht die IP, die für die interne Bridge zwischen den Containern vergeben wird. Aber ich kenn mich ja selbst nicht damit aus... wo könnte da noch was verkehrt konfiguriert sein?

[Chrisham]

@oliverio Guten Morgen,
gerade kam noch ein Gedanke: Config innerhalb des influx-Adapters, die übernimmt ja dann der neue Container wieder.
Und zwar steht da im influx-Adapter config, innerhalb iobroker, also "localhost":

Kann das sein, dass das dann als 127.0.0.1 aufgelöst wird? Soll ich das rausnehmen? Weiß nur nicht, ob dann Adapter noch in bisheriger Container-Config läuft...
War ne spontane Idee, falls das eine mögliche ursache ist, dann kann ich das heute Abend mal testen (bin jetzt tagsüber erstmal bei der regulären Arbeit...)

[OliverIO]

@chrisham
bitte meine posts sorgfältig lesen und bei nicht verstehen nachfragen
ich hatte das schon 2 mal geschrieben

https://de.wikipedia.org/wiki/Localhost

@oliverio sagte in USB in Docker via neuer Container über Compose u.a. andere:

also musst du dem iobroker-.influx-adapter in der configuration bei ip influxdb eintragen

@oliverio sagte in USB in Docker via neuer Container über Compose u.a. andere:

im adapter steht sicherlich localhost drin, da zuvor influxdb direkt mit iobroker zusammen installiert ist.
siehe oben, einfach die netzwerkkonfiguration in der docker konfiguration vornehmen und im adapter dann influxdb anstatt localhost eintragen

[Chrisham]

@oliverio Ah ok, Chef. Sorry, das war jetzt peinlich (ohne Rechtfertigung: war wohl spät, zu viele Probleme gleichzeitig...)
Now works like a charm - zumindest mal influxdb, jetzt muss ich mich noch um asterisk Linux paket/prozess und KNX kümmern...

Vielen Dank und Sorry nochmals!

[Chrisham]

@oliverio Ich weiß, KNX ist nicht deine Spezialität, nur kurz den Status und ob du hier noch einen Hinweis hättest.

Es geht wohl um diese Einstellung (local iobroker IP):

Da muss lt. Anleitung (https://www.npmjs.com/package/iobroker.knx) eigentlich die IP unter der das KNX-IP-Gateway den IOBroker findet. Das ist natürlich die NAS-Adresse, die ich über DHCP in Fritzbox auf https://10.74.178.99/ vergebe.

Allerdings ist es so, dass dieser Parameter nicht frei eingegeben werden kann, sondern nur ausgewählt werden kann. Im neuen Container-Setup findet der KNX-Adapter nicht diese Adresse bzw. bietet sie nicht zur Auswahl an:

Ich weiß, ich nicht dein Ding, aber vllt. hast ja noch eine Idee...

[OliverIO]

@chrisham

ok
leider weiß ich nicht, wie der knx adapter funktioniert
in den source kann man auch nicht reinschauen,
auf jeden Fall nicht über github

Ich interpretiere, das im adapter ein server läuft.
daher schadet es nicht, in der docker konfiguration des iobrokers den port noch hinzuzufügen

    ports:
      - "8081:8081"
      - "3671:3671"

dadurch werden anfragen von aussen auf diesem port in den container weitergereicht.
evtl reicht das, das in dem feld dann die ip (der host maschine) deines iobrokers angezeigt wird.
kannst du das feld selber füllen, auch wenn die ip nicht zur auswahl bereit steht?

falls der knx-adapter udp-broadcast nutzt, dann muss man leider den network mode ändern.
da gibt es dann nur hostmode. da nutzt dein container dann die gleiche netzwerk schnittstelle wie die host maschine.
oder, was ich empfehlen würde, macvlan. dadurch erhält der iobroker eine komplett eigenständige ip, allerdings ist das zu beginn nicht so einfach zu konfigurieren und man muss sich ein paar gedanken machen, wieviele ip-adressen man in zukunft braucht. dann müssen diese ip-adressen in einer bestimmten range sein. diese range, darf nicht von deinem router anderweitig vergeben werden.

aber erst einmal probieren, mit der port-angabe in der konfiguration

[Chrisham]

@oliverio Ah ok, danke. Ich denke, jetzt kommen wir dem Problem näher.
Also das mit dem Port habe ich gleich getestet:

version: '3'
services:
  iobroker:
    restart: always
    image: buanet/iobroker:latest
    container_name: iobroker-7
    hostname: iobroker-7
    ports:
      - "8081:8081"
      - "3671:3671"
    volumes:
      - /volume1/docker/iobroker-Chrisham:/opt/iobroker
      - /volume1/docker/userscripts:/opt/userscripts
      - /volume1/docker/Backup:/opt/backup/
    environment:
      - PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
      - DEBIAN_FRONTEND=teletype
      - LANG=de_DE.UTF-8
      - LANGUAGE=de_DE:de
      - LC_ALL=de_DE.UTF-8
      - SETGID=1000
      - SETUID=1000
      - TZ=Europe/Berlin
      - USBDEVICES=/dev/ttyUSB0
      - PACKAGES=ffmpeg lame sox libsox-fmt-mp3 asterisk influxdb2-cli
    devices:
      - /dev/ttyUSB0:/dev/ttyUSB0
    networks:
      iobroker7:
  influxdb:
    restart: always
    image: influxdb:latest
    container_name: influxdb-7
    ports:
      - "8086:8086"
    volumes:
      - /volume1/docker/influxdb/config:/etc/influxdb2
      - /volume1/docker/influxdb/data:/var/lib/influxdb2
    environment:
      - PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
      - GOSU_VER=1.12
      - INFLUXDB_VERSION=2.7.1
      - INFLUX_CLI_VERSION=2.7.3
      - INFLUX_CONFIGS_PATH=/etc/influxdb2/influx-configs
      - INFLUXD_INIT_PORT=8086
      - INFLUXD_INIT_PING_ATTEMPTS=600
      - DOCKER_INFLUXDB_INIT_CLI_CONFIG_NAME=default
      - DOCKER_INFLUXDB_INIT_MODE=setup
      - DOCKER_INFLUXDB_INIT_USERNAME=iobroker
      - DOCKER_INFLUXDB_INIT_PASSWORD=*1Xs(QD5gY0!B&XHe1_x
      - DOCKER_INFLUXDB_INIT_ORG=smarthome
      - DOCKER_INFLUXDB_INIT_BUCKET=iobroker
    networks:
      iobroker7:  
  grafana:
    restart: always
    image: grafana/grafana:latest
    container_name: grafana-7
    ports: 
      - "3000:3000"
    volumes:
      - /volume1/docker/grafana:/var/lib/grafana
      - /volume1/docker/grafana:/var/lib/grafana/plugins
    networks:
      iobroker7:
networks:
  iobroker7:

Hat leider nichts geändert an dem Verhalten des KNX-Adapters.
Dann noch 3 weitere Aspekte:

1.) Nein, leider ist das keine Combo-Box, also keine Freitexteingabe möglich.

2.) ich hatte noch einen anderen KNX-Adapter (OpenKNX) installiert, den ich nie verwendet hatte. Der hat aber eine ähnliche Konfiguration, auch ein Drop-down-Menü für die "local IP": und hier genau das gleiche Verhalten.
Mit der bisherigen Container-Konfig findet er die Adresse und bietet sie an.
Mit der neuen Konfig bietet er die Adresse nicht an:

3.) Hostmode: ich denke, in der bisherigen Config hatte ich den host-Mode gewählt:
Wie würde ich den im docker-compose einstellen?
Ansosten bzgl. IP-Adress-Vergabe: ich mache das für mein gesamtes Netzwerk eigentlich sehr systematisch. Habe IP-Adress-Bereiche mit unterschiedlichen Rechten (mit/ohne NAS-Zugriff,...) definiert und vergebe für alle (jedenfalls der bekannten Geräte (PC, Laptop, Switch, NAS, bekannte Handys,...) eigentlich feste IP-Adressen über DHCP in der Fritzbox, von daher wäre auch macvlan evtl. eine Option....

[Chrisham]

@chrisham jetzt noch mit bilder:

zu 2.)

zu 3.)

[OliverIO]

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

3.) Hostmode: ich denke, in der bisherigen Config hatte ich den host-Mode gewählt:
Wie würde ich den im docker-compose einstellen?

eingerückt unter dem abschnitt mit dem service. also so ungefähr

iobroker:
  network_mode: "host"

hier die beschreibung von buanet
https://smarthome.buanet.de/2020/09/macvlan-ueber-portainer-einrichten/
für docker-compose wird es bei dieser überschrift interessant
Umsetzung mit docker-compose aka "Portainer Stacks"...
aber auch die vorhergehenden abschnitte sorgfältig lesen.

wenn du probleme hast meld dich.
jier ein screenshot der netzdefinition aus dem portainer

ein teilsegment kannst du mit dem netzwerkrechner von heise berechnen
https://www.heise.de/netze/tools/netzwerkrechner/

aus der angabe 192.168.1.80/28 kann man dann entnehmen,
das dann nur ein ip bereich von .80 bis .95 zur Verfügung steht.

IP-Adresse:
192.168.1.80
CIDR-Suffix:
28
Netzwerkmaske:
255.255.255.240
  
Inverse Netzwerkmaske:0.0.0.15
Anzahl Hosts:14
Netzadresse:192.168.1.80
Broadcast:192.168.1.95
Host-IPs von:192.168.1.81
bis:192.168.1.94

das kann man dann für die einzelnen container zuordnen. aber nicht jeder container benötigt wirklich eine eigene ip.
macvlan wirkt dann netzwerktechnisch genauso wie wenn das ein eigenständiger rechner wäre. daher dann auch kein portmapping mehr und der broadcast funktioniert dann auch
der bereich kann auch größer gewählt werden. der nächst größere bereich wäre dann 30 ip adressen (einstellbar über den cidr wert. allerdings verschiebt sich dann auch die komplette ip-range

[Chrisham]

@oliverio Strike! Du hast mal wieder in Schwarze getroffen:

• KNX-Adapter verbindet mit Gerät:
  

Natürlich musste ich bei influxdb jetzt wieder zurückstellen auf "localhost". Und im compose-File mussten dann die

    networks:
      iobroker-4:

wieder rausgenommen werden. Aber so ist erstmal alles ok soweit, d.h. die Adapter sind grün.

Noch zum tieferen Verständnis: Du schreibst "...dann muss man leider den network mode ändern."
Was hat der host-Mode denn für Nachteile? Also ggü der vorigen Config mit "networks" oder ggf. auch ggü dem "macvlan"?

Jetzt muss ich mich noch um die Linux-Pakete kümmern, da gibts auch noch Probleme, das asterisk-paket wird nicht richtig installiert, muss ich mal log analysieren...

[Chrisham]

@marc-berg @Glasfaser : jetzt gehts um die Linux-Paket, bis auf das asterisk hat es geklappt:

Anbei das log-file:
setup_packages.log

Ideas?

[Thomas Braun]

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

Ideas?

Asterisk wird nicht mehr direkt von Debian für 'Bookworm' gepackt:

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1031046

[OliverIO]

@chrisham
Host Mode ist so der Notnagel für genau solche Fälle.
https://docs.docker.com/network/drivers/host/

Nachteil
keine Isolation des Container/Service Netzwerks Lösung Bridge oder macvlan
Wenn man mehrere Container betreibt die alle den gleichen Port verwenden muss man auf ungewöhnliche Ports Mappen (wie bei Bridge auch) Lösung macvlan

Vorteil
Bessere Performance da der Netz erlebt nicht durch weitere prozessschichten verarbeitet wird

Wenn du es einfach haben willst bleib bei Host
Ggfs kannst mal macvlan probieren
Das tolle an docker ist, das man relativ gefahrlos solche Konfigurationen hin und her ändern kann

[OliverIO]

@thomas-braun sagte in USB in Docker via neuer Container über Compose u.a. andere:

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

Ideas?

Asterisk wird nicht mehr direkt von Debian für 'Bookworm' gepackt:

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1031046

Ja das ist aber blöd
Ist zwar noch nicht ganz Ende, aber dauert wohl eine Weile noch

Dann bleibt dir nur noch das durch ein Skript zu installieren
Die Vorgehensweise aus dem Dokument müsste man in ein Shell Skript packen
Das es im Container installiert wird.

http://www.asteriskdocs.org/en/3rd_Edition/asterisk-book-html/asterisk-book.html#installing_how_to_install_it

Oder du suchst dir aus einer anderen Quelle nach eine deb Datei und installierst es über einskript aus dieser.

[Marc Berg]

@chrisham sagte in USB in Docker via neuer Container über Compose u.a. andere:

@marc-berg @Glasfaser : jetzt gehts um die Linux-Paket, bis auf das asterisk hat es geklappt:

Ich habe den Thread jetzt nicht im Detail verfolgt, aber ist es denn zwingend erforderlich, Asterisk mit in den ioBroker Container zu packen? Es gäbe ja auch fertige Asterisk Docker Images.

Wenn notwendig, dann ist ja das Userscript "userscript_firststart.sh" das Richtige, um die notwendigen Schritte zur Installation zu hinterlegen. Dieses Script wird einmalig nach dem ersten Start eines Containers ausgeführt, bzw. nach jedem "Recreate".
Den Link zur Installation hat ja @OliverIO schon verlinkt, wobei man sagen muss, dass dort ja keine reine Installation vorgenommen wird, sondern Asterisk kompiliert + installiert wird. Das bedeutet, dass auch alle Werkzeuge zum Kompilieren mit eingebaut werden müssen (weiß jetzt nicht, ob das alles schon im ioBroker Image steckt).
Alles nicht schön, aber wahrscheinlich machbar.

[OliverIO]

@marc-berg
@Chrisham

ich hatte auch schon mal nach docker image geschaut, aber kein offizielles gefunden.
die asterix leute überlegen noch und tendieren wohl eher keins bereitzustellen, weil es wohl viele individuelle szenarien gibt.
aber da cih asterix nicht nutzte kann ich das nicht beurteilen.

ob man ein image aus einer Zweitquelle nutzt muss man selber entscheiden.
zumindest kann man hier support erhalten.
https://github.com/andrius/asterisk
zunächst wollt ich schon sagen, das man hier auch pech hat, weil er bspw bei alpine sich asterix aus einem repo isntalliert, aber bei debian wird alles kompiliert.
also in einem separaten container wird wahrscheinlich die beste lösung sein