Dateien in FS schreiben - trotz REDIS
-
Hallo zusammen,
ich habe gerade mein Docker Image mal korrekt eingerichtet. Bisher hatte ich an meinen Images immer etwas rumgebastelt, möchte das aber nun sein lassen.
Hier die Aufgabe:
- Ich erfasse Wetterdaten über MQTT in Iobroker.
- Für einige möchte ich aus Influx Daten eine CSV erstellen lassen
- Diese CSV Daten transferiere ich über SCP auf einen Webserver in einer DMZ
- Dieser Webserver generiert daraus Diagramme und Min/Max Werte etc für die öffentliche Webseite.
Nun ist die Sache, dass ich das bisher mit dem JAVASCRIPT Adapter gemacht habe und über exec direkt SSH aufgerufen haben (inkl Keys auf dem User abgelegt). Das möchte man ja im Docker vermeiden.
Wie gehe ich am besten vor um das wieder zu machen? FS Schreiben aus dem Adapter geht ja nicht. SSH Keys möchte ich nicht unbedingt installieren - wäre aber möglich wenn es keine andere Möglichkeit gibt.
Gibt es eine Bilderbuch Lösung dafür?
-
@tops4u sagte in Dateien in FS schreiben - trotz REDIS:
SSH Keys möchte ich nicht unbedingt installieren
Warum nicht? Das macht man ja bevorzugt so, insbesondere wenn die Kommunikation zwischen Maschinen abläuft.
-
da gäbe es verschiedene möglichkeiten.
wenn du daten in eine DMZ übertragen willst, wäre dort ein ftp server wahrscheinlich das beste und sicherste.
dann könntest du mittels dem javascript adapter und einer ftp client bibliothek die daten dann direkt auf den server in der DMZ übertragenals bibliothek kann ich diese hier empfehlen
https://www.npmjs.com/package/basic-ftpein ftp server in der DMZ gewährleistet, das die Datenflussrichtung nur in eine Richtung ist und nicht aus der DMZ in deine restliche Umgebung.
Wenn du FTP von aussen nicht benötigst, dann ist der FTP Server ja durch den Außen-Firewall bereits abgesichert.
Wenn du von DMZ sprichst, gehe ich davon aus, das du einen Außen- und einen Innen-Firewall hast -
@oliverio ja ich habe natürlich eine FW. Ich möchte nicht allzuviel spezifisches auf dem Docker anpassen, da das das updaten wieder komplexer macht.
Ich hatte gehofft es gibt eine elegante möglichkeit Dateien unter /opt/iobroker/iobroker-data/files/... abzulegen. Von wo ich sie dann mit Syno Bordmitteln über den gemounteten Share wieder abziehen kann.
-
Ich habe gefragt ob du 2 Firewalls hast. Ansonsten hast du keine DMZ
Eine DMZ zeichnet sich auch dadurch aus, das da wirklich nur die notwendigsten Funktionen und Software bereitstehen, die für den Betrieb nach Außen hin notwendig sind, um,
falls mal jemand eine Sicherheitslücke findet, sowenig Angriffsfläche anzubieten um durch die nächste Firewall zu kommen.Mounts wäre jetzt aus meiner Sicht nicht ganz so optimal. zumindest dann wenn sie durch einenen firewall gehen sollen
Ich möchte nicht allzuviel spezifisches auf dem Docker anpassen, da das das updaten wieder komplexer macht.
wo siehst du da jetzt größeren Anpassungsbedarf?
Die bibliothek wird im javascript adapter in der Konfiguration eingetragen,
dadurch ist das in der Standard-Sicherung vom iobroker mit enthalten.
Dann noch ein kleines Javascript, mit den Zugangsdaten zum ftp-Server in deiner DMZ
zum übertragen der Daten.hast du in der dmz auch docker?
-
Ich habe eine OPNSense. Eigenes Netzwerk für die DMZ Zugang von aussen nur über HTTP/HTTPS von innen über SSH aber nur wenn initiert von innen.
Also muss der SSH/SCP vom NAS mit IOBroker kommen. Behelfsmässig habe ich nun SSH Client Package installiert und die SSH Keys auf dem Webserver installiert. Das läuft nun so.
Ich habe mir halt vorgestellt, dass es irgendwie eleganter gehen sollte und verstehe die Einschränkung von Files aus JavaScript nicht ganz, wenn es gleichzeitig von NodeRED aus geht. Man hätte ja die Einschränkung z.b. auf /opt/iobroker/iobroker-data/files/<z.b. JavaScript_FS> abschalten können, somit zerschiesst man sich keine Systemfiles.
Mounts sind keine Option. Ich habe noch andere Daten welche aus NodeRed raus generiert werden, und die übertrage ich nun mit geplanten Scripts auf dem NAS.
In der DMZ läuft nur ein Raspi mit Apache, sonst ist das nur Python drauf um die Grafiken zu generieren.
-
hm, so ein paar schlüsselbegriffe fehlen, woran ich erkenne, das du dich auskennst. daher wünsche ich dir mit deiner installation toitoitoi
@tops4u sagte in Dateien in FS schreiben - trotz REDIS:
Ich habe mir halt vorgestellt, dass es irgendwie eleganter gehen sollte und verstehe die Einschränkung von Files aus JavaScript nicht ganz, wenn es gleichzeitig von NodeRED aus geht. Man hätte ja die Einschränkung z.b. auf /opt/iobroker/iobroker-data/files/<z.b. JavaScript_FS> abschalten können, somit zerschiesst man sich keine Systemfiles.
Mounts sind keine Option. Ich habe noch andere Daten welche aus NodeRed raus generiert werden, und die übertrage ich nun mit geplanten Scripts auf dem NAS.ich verstehe nicht ganz von welcher einschränkung du da sprichst.
es wird für adapter entwickler empfohlen nicht mit fs in das dateisystem des iobrokers zu schreiben, da diese dateien nicht vom backup erfasst werden. auch wenn der nutzer redis nutzt, existieren die dateien gar nicht physisch im dateisystem, sondern sind genau so als key/value im redis gespeichert. bei jsonl weiß ich es nicht genau.
für docker gilt, alles was sich nicht in einem volume befindet ist bei der nächsten regeneration des containers halt weg, das ist immer so bei container. aber du kannst selbst ein volume hinzufügen. siehe untendu als nutzer kannst volatile daten speichern wohin du willst. die muss das backup (des iobrokers) ja auch nicht berücksichtigen.
aber wenn du die datei dann im dateisystem speicherst, was machst du den dann? dann musst du es immer noch transportieren.
aber um dir einen docker konformen weg aufzuzeigen:
richte einfach ein weiteres volume ein. also bspw/tmp/meineVerzeichnis:/tmp/meinVerzeichnisDann steht IM iobroker container das Verzeichnis /tmp/meinVerzeichnis zur Verfügung und ist auf dem gleichen Pfad im Host-Dateisystem gemappt. Die Pfade kannst du jeweils anpassen, sollte aber keine existierenden Verzeichnisse im Dateisystem überschreiben.
