Wasserzähler - Selfmade

[pfried]

@jomjol Guten Morgen jomjol: Wie machst Du das, dass in Deinem Docker Container der Phyton Task nicht überläuft durch den Tensorflow Memory Leak? Hättest Du vielleicht ein Script für mich um den Docker container zu stoppen und gleich wieder zu starten um den Memory Leak zu umschiffen?
Liebe Grüße
Paul

PS.: Ich habe einen Post gelesen, dass das Memory Leak Problem mit 2.1.0-dev20191125 gelöst wurde?!

[jomjol]

@pfried Mein Docker läuft auf einem Server mit 12GB RAM, bei mir taucht dieser Fehler nicht auf und falls der Container abschmiert, startet er über "Portainer" wieder neu.
Das mit Tensorflow 2.1 habe ich auch gelesen und schon mal probiert. Leider lief damit mein Code selbst in der normalen Anaconda-Umgebung noch nicht. Ich warte mal, bis es einen Release gibt. Dann muss ich ihn aber auch noch selbst für meine Synology kompilieren und für einen Raspi armv7-Version hat es erfahrungsgemäß noch etwas Delay. Ich bleibe dran, habe aber erst nach den Weihnachtsfeiertagen etwas Zeit dafür.

P.S.: Zwischenlösung im Container wäre eine Implementierung innerhalb des Containers mit dem pm2-Modul. Das könnte das Python einfach neu starten, wenn es mit einem Speicherfehler abbricht. Wie gesagt, nach den Feiertagen habe ich etwas Zeit dafür, vorher steht Family an

[ecki945]

Würde das Projekt gerne in nem Debian 9 Container unter Proxmox realisieren. Habe mal begonnen nach der Anleitung für nen Raspberry 3 zu installieren. Doch einige Pakete bekomme ich nicht installiert bzw. angeboten unter cpu Typ amd64

Vielleicht hat der Autor oder andere User die dieses Projekt schon laufen haben) dieses Projekts mal Zeit hier nen kleine Leitfaden zu erstellen.

[gerald123]

Hallo,
Ich hab jetzt auch den ESP mit der Software "2.3.0 ESP32-CAM only" bespielt.
Er läuft eine unregelmäßige Zeit lang normal, aber dann verliert er die WLan Verbindung.
Am Serialmonitor sehe ich folgene Fehlermeldung:

Kann mir jemand von euch sagen was da nicht stimmt mit meiner CAM?

[pfried]

@gerald123 Hallo Gerald, weiter oben gibt es mehrere Beiträge zu dem Thema. Der Thread ist sehr lange zum einlesen, aber es zahlt sich aus, auf die Erfahrungen zurückzugreifen. Liebe Grüße Paul

[jomjol]

@pfried @gerald123
Das Thema nicht stabiler ESP ist immer wieder ein Thema. Ihr könnt eure Erfahrung / Themen gerne im GitHUB als Commit dokumentieren (https://github.com/jomjol/water-meter-system-complete), dann können wir hier immer darauf verweisen und es dort pflegen. Hier bei 490 Beiträgen alles zu finden wird wirklich schwierig

[gerald123]

Danke für die Infos, ich werde mal die Versuche mit einem kurzen Abfragezyklus machen.
Hoffe das er dann stabil durchläuft.
Alles andere ist schon am laufen und funktioniert auch super, danke nochmal für das tolle Projekt.

[jomjol]

Ich habe die Version der Dockerfiles auf 5.x gehoben. Wesentliche Unterschiede:
Unterbau mit Op

• ListenpunktenCV und Tensorflow sind in separaten Dockerfiles ausgelagert

Es gibt jetzt eine Version für Intelprozessor ohne AVX2-Version (latest) und Raspberry PI (raspi).
Damit ist der Build einfacher und besser wartbar. Für die Raspi-Rolling habe ich jetzt einen Restart nach Crash implementiert
@pfried teste bitte mal, ob damit mit dem Memory Leak automatisch gestartet wird.
Gruß, jomjol

[ecki945]

kann mir jemand die Fehlermeldung nach Aufruf von:

root@Test:~# docker run -p 3000:3000 --mount type=bind,src=/home, target=/config --mount type=bind,src=/home,target=/log jomjol/wasserzaehler:latest

erklären?

invalid argument "type=bind,src=/home," for "--mount" flag: invalid field '' must be a key=value pair
See 'docker run --help'.

[jomjol]

@ecki945 Fehlermeldung sagt mir nichts, aber mir ist aufgefallen, dass du beide Verzeichnisse (log & config) auf dasselbe /home Verzeichnis mountest. Das dürfte nicht funktionieren.

[pfried]

@ecki945 Mein Aufruf:
sudo docker run -p 3000:3000 --mount type=bind,source=/home/pi/Wasserzaehler_4.2/code/config,target=/config --mount type=bind,source=/home/pi/Wasserzaehler_4.2/code/log,target=/log --memory-swap -1 jomjol/wasserzaehler:raspi-rolling

[ecki945]

Zwischenzeitlich habe ich es geschafft, dass der Dockeraufruf funktioniert. Leider habe ich nun folgendes Problem:

stephan@Test:~$ sudo docker run -p 3000:3000 --mount type=bind,source=/jomjolconfig,target=/config --mount type=bind,source=/jomjollog,target=/log --memory-swap -1 jomjol/wasserzaehler:latest
[sudo] password for stephan:
Unable to find image 'jomjol/wasserzaehler:latest' locally
latest: Pulling from jomjol/wasserzaehler
16ea0e8c8879: Pull complete
50024b0106d5: Pull complete
ff95660c6937: Pull complete
9c7d0e5c0bc2: Pull complete
29c4fb388fdf: Pull complete
8659dae93050: Pull complete
c8208a94eb32: Pull complete
465b26a31c40: Pull complete
84af071ddf6f: Extracting [==================================================>]  1.871MB/1.871MB
72674e39b52a: Download complete
257c064c14b2: Download complete
13079f9eaad3: Download complete
da4020cd652a: Download complete
967ef883685d: Download complete
e064e3ebdc71: Download complete
docker: failed to register layer: ApplyLayer exit status 1 stdout:  stderr: write /usr/local/lib/python3.7/site-packages/pkg_resources/_vendor/packaging/specifiers.py: no space left on device.
See 'docker run --help'.

Ich vermute mal, dass das auch mit dem Docker in nem LXC Container unter Proxmox zusammen hängt. Habe leider aktuell wenig Zeit mich um diese Sache zu kümmern

[pfried]

@ecki945 Hast du dir vorher die version runtergeladen?

sudo docker pull jomjol/wasserzaehler:raspi-rolling

wobei raspi-rolling mit der Version ersetzt wird, welche du brauchst.

[sissiwup]

Hallo,

habe das Projekt gestern auch umgesetzt. Hat alles wunderbar auf anhieb funktioniert.
Ich habe als einziges im ESP32-Code noch eine feste IP vergeben. Das mache ich bei allen IOT-Geräten, damit ich, falls ich mal den Router wechsele nicht von vorne Anfangen muss.

Als Abfrage habe ich das Java-Skript verwendet.

Hier noch ein Tipp für grafana:

SELECT
floor(n.ts/1000) as time_sec,
convert(n.val,DECIMAL(10,4)) as value,
"Wasser" as metric
FROM ts_string n
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 2372 and n.id
ORDER BY n.ts ASC

Die ID ist natürlich anzupassen. (Ich speichere in mysql)

Hier mein Docker-Aufruf:

docker run -d --restart unless-stopped -p 3300:3000 --mount type=bind,source=/var/docker/wasser,target=/config --mount type=bind,source=/var/docker/log,target=/log jomjol/wasserzaehler:latest

Hier habe ich den Port von 3000 auf 3300 umgesetzt (3000 nutzt grafana).
Mit -d läuft es als Service und mit --restart unless-stopped wird es auch nach Rechner Neustart wieder gestartet.

Also vielen Dank an euch für die super Arbeit.

[ecki945]

@pfried Der Aufruf mit deinem Parametern erzeugt die gleiche Fehlermeldung:

root@Test:/home/stephan# sudo docker run -p 3000:3000 --mount type=bind,source=/jomjolconfig,target=/config --mount type=bind,source=/jomjollog,target=/log --memory-swap -1 jomjol/wasserzaehler:latest
Unable to find image 'jomjol/wasserzaehler:latest' locally
latest: Pulling from jomjol/wasserzaehler
16ea0e8c8879: Pull complete
50024b0106d5: Pull complete
ff95660c6937: Pull complete
9c7d0e5c0bc2: Pull complete
29c4fb388fdf: Pull complete
8659dae93050: Pull complete
c8208a94eb32: Pull complete
465b26a31c40: Pull complete
84af071ddf6f: Extracting [==================================================>]  1.871MB/1.871MB
72674e39b52a: Download complete
257c064c14b2: Download complete
13079f9eaad3: Download complete
da4020cd652a: Download complete
967ef883685d: Download complete
e064e3ebdc71: Download complete
docker: failed to register layer: ApplyLayer exit status 1 stdout:  stderr: write /usr/local/lib/python3.7/site-packages/pkg_resources/__init__.py: no space left on device.

Da ich ja Docker in einem lxc Container laufen lassen will, vermute ich hier Zugriffprobleme.

[pfried]

@ecki945 Der Download verabschiedet sich mit "no space left on device" darum meinte ich, dass Du zuerst das Image mit: sudo docker pull jomjol/wasserzaehler:latest ........ runterladest und extrahierst.....

[ecki945]

Guten Morgen
@pfried du hattest recht. Habe habe mal Testweise den Speicherplatz des Containers von 8 GB auf 20GB erweitert. Nun klappt der Dowload über docker pull jomjol/wasserzaehler: latest des Containers.

Bin dabei etwas erschrocken. Kann es sein, dass der Download des Containers ca 13 GB groß ist????

Der Aufruf klappt nun.

stephan@Test:~$ docker run -p 3000:3000 --mount type=bind,source=/jomjolconfig,target=/config --mount type=bind,source=/jomjollog,target=/log --memory-swap -1 jomjol/wasserzaehler:latest
2020-01-01 07:27:52.798622: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 FMA

[jomjol]

@ecki945 Der Container ist 590MB groß. Leider hat Tensorflow noch ein intrinsisches Speicherleck, daher wächst der Speicherbedarf mit der Zeit bei einigen Systemen an. Problem ist bei der Raspberry-Variante aber anscheinend größer.

[jomjol]

Hallo zusammen,
ich überlege als nächste Erweiterung ein Tool zu schreiben, was bei der Erstellung der Config.ini unterstützt. Dies ist eine Hürde, da die manuelle Bearbeitung einer Textdatei für viele User eine erhebliche Hürde darstellt.
Wenn das in einer WYSIWYG-Web Anwendung möglich wäre, die entweder die Config.ini oder idealerweise sogar einen customized Docker Container ausspuckt, könnte ich mit dem Projekt noch viel mehr User erreichen.
Hat jemand Erfahrung damit und Lust das gemeinsam zu machen? Ich überlege gerade mit welchem Framework man so etwas aufsetzt und in welchem Tool ich es entwicklen würde.
Wer Lust / Zeit / Know-How hat, gerne bei mir melden
Beste Grüße,
jomjol

[pfried]

@jomjol Prosit Neujahr!
Habe eine Bitte: kannst Du mir vielleicht mit einem Script am Raspberry Debian aushelfen, welches den Docker Container regelmäßig stoppt und wieder startet, um das Speicherleak zu umgehen.... Vielen Dank im Voraus!