Wasserzähler - Selfmade

[jomjol]

@pfried Hallo Paul,
bei mir läuft der Docker auf einer Synology mit 12 GB Ram, daher habe ich mit einem Speicherleck keine Probleme. Meinen Raspi B3 verwende ich nur zum Testen. Dort läuft es nicht im Produktivmodus über meherere Stunden.

Inzwischen habe ich aber mit googlen auch die Ursache gefunden. Das Problem ist bekannt und liegt in der Tensorflowbibliothek selbst: https://github.com/keras-team/keras/issues/13118.

Ich habe das Workaround eingebaut und gerade läuft der Docker-Build auch für den Raspi-Rolling. Ganz weg ist das Problem nicht, aber deutlich kleiner:
Vorher:

Nachher:

Jeweils nach 20 Aufrufen.

Probier mal das aus und melde ich. Bei mir installiere ich es auch, sobald der Build fertig ist.
LG, jomjol

hotplot created this issue in keras-team/keras

closed Repeatedly calling model.predict(...) results in memory leak #13118

[C1500]

Servus
Ich hatte gestern die Idee das roi Bild mit in die VIS aufzunehemen.
Schaut sehr gut aus.
Aber leider wird es anscheinend nur aktualisiert, wenn ich die ip:3000/roi.html aufrufe.
Ich hab aber das direkte Bild verlinkt.

Kann ich das auch automatisch irgendwie generieren lassen?
Ideal wäre natürlich wenn es nur erstellt wir wenn die VIS aktiv ist und auch wirklich eine Änderung vorliegt.

Ist vermutlich eher eine VIS frage aber da es nur mit dem Wasserzähler zu tun hat frag ich hier.

Ich verwende noch die letzte Version die direkt auf dem PI ohner Docker läuft.

Gruß Peer

[pfried]

@C1500 Hast Du schon probiert, das mit dem Parser zu machen, würde mich interessieren ob das geht. Wie läuft das mit Deiner Erkennungsrate, ist diese stabil?

[C1500]

Servus @pfried
Ich hatte mit dem Parser immer das Problem, dass er pünklich um 0:03 Uhr aufgehört hat und sich auch die CAM weggehängt hat.

Ich probier jetzt gerade das Script von weiter oben.
Letzte Nacht lief es schon mal durch.

Die Erkennungsrate ist sehr gut, solange ich "usePreValue" verwende.
Sobald die Zahlen anfangen sich wegzudrehen wird es sonst schwierig.

Gruß Peer

[jomjol]

@C1500 Korrekt, das roi-Bild wird nur bei roi.html aktualisiert. Der Aufwand, es jedesmal zu aktualisieren ist nicht sehr groß, kann ich bei nächster Gelegenheit mal machen.

[ecki945]

Hat einer von Euch diess Projekt erfolgreich in einer VM unter Proxmox am laufen?

[pfried]

@jomjol Habe die neue Docker Version getestet. Es dauert nun nicht mehr 4 Stunden bis der Memory überläuft sondern 15 Stunden:

[jomjol]

@pfried Hallo Paul,
der Memory-Leak liegt intern in Tensorflow. Da kann ich an meiner Software nichts machen. Nicht mal das Löschen und Neuladen der Tensorflowobjekte hilft nicht, da offenbar ein interner Tensor im Speicher bleibt. Habe mehrere Threads dazu gefunden.
Die Tensorflow-Community arbeitet daran und es gibt Hinweise, dass es in der Nightly besser wird, aber anscheinend nicht bei allen.
Bleibt nur das Beobachten und Update, sobald es eine neue Version gibt, testen. Ich beobachte es weiter.
Eventuell kannst du deinen Container regelmäßig nach ein paar Stunden per Script neu starten als Zwischenlösung?
Gruß, jomjol

[pfried]

Hallo, hat jemand eine Lösung für die Beschlagung des Wasserzählers gefunden?

Wie man sieht sinkt dadurch die Erkennungsrate gegen null:

[watcherkb]

@pfried das Beschlagen hat nur einen Grund: Wasser ist kalt, Umgebung warm. Dadurch beschlägt es. Also entweder dämmt man den Wasserzähler gegen Wärme, oder alternativ probieren eine anti-Beschlagfolie oder Spray verwenden. Alles nur Theorie...hab ich auch noch vor mir.

[pfried]

@watcherkb Das mit dem Spray werde ich versuchen. Werde berichten. Außerdem werde ich nun an einem freien Tag einen Ventilator in das Gehäuse einbauen, Vielleicht hilft das ja was.....

[pfried]

@jomjol Guten Morgen jomjol: Wie machst Du das, dass in Deinem Docker Container der Phyton Task nicht überläuft durch den Tensorflow Memory Leak? Hättest Du vielleicht ein Script für mich um den Docker container zu stoppen und gleich wieder zu starten um den Memory Leak zu umschiffen?
Liebe Grüße
Paul

PS.: Ich habe einen Post gelesen, dass das Memory Leak Problem mit 2.1.0-dev20191125 gelöst wurde?!

[jomjol]

@pfried Mein Docker läuft auf einem Server mit 12GB RAM, bei mir taucht dieser Fehler nicht auf und falls der Container abschmiert, startet er über "Portainer" wieder neu.
Das mit Tensorflow 2.1 habe ich auch gelesen und schon mal probiert. Leider lief damit mein Code selbst in der normalen Anaconda-Umgebung noch nicht. Ich warte mal, bis es einen Release gibt. Dann muss ich ihn aber auch noch selbst für meine Synology kompilieren und für einen Raspi armv7-Version hat es erfahrungsgemäß noch etwas Delay. Ich bleibe dran, habe aber erst nach den Weihnachtsfeiertagen etwas Zeit dafür.

P.S.: Zwischenlösung im Container wäre eine Implementierung innerhalb des Containers mit dem pm2-Modul. Das könnte das Python einfach neu starten, wenn es mit einem Speicherfehler abbricht. Wie gesagt, nach den Feiertagen habe ich etwas Zeit dafür, vorher steht Family an

[ecki945]

Würde das Projekt gerne in nem Debian 9 Container unter Proxmox realisieren. Habe mal begonnen nach der Anleitung für nen Raspberry 3 zu installieren. Doch einige Pakete bekomme ich nicht installiert bzw. angeboten unter cpu Typ amd64

Vielleicht hat der Autor oder andere User die dieses Projekt schon laufen haben) dieses Projekts mal Zeit hier nen kleine Leitfaden zu erstellen.

[gerald123]

Hallo,
Ich hab jetzt auch den ESP mit der Software "2.3.0 ESP32-CAM only" bespielt.
Er läuft eine unregelmäßige Zeit lang normal, aber dann verliert er die WLan Verbindung.
Am Serialmonitor sehe ich folgene Fehlermeldung:

Kann mir jemand von euch sagen was da nicht stimmt mit meiner CAM?

[pfried]

@gerald123 Hallo Gerald, weiter oben gibt es mehrere Beiträge zu dem Thema. Der Thread ist sehr lange zum einlesen, aber es zahlt sich aus, auf die Erfahrungen zurückzugreifen. Liebe Grüße Paul

[jomjol]

@pfried @gerald123
Das Thema nicht stabiler ESP ist immer wieder ein Thema. Ihr könnt eure Erfahrung / Themen gerne im GitHUB als Commit dokumentieren (https://github.com/jomjol/water-meter-system-complete), dann können wir hier immer darauf verweisen und es dort pflegen. Hier bei 490 Beiträgen alles zu finden wird wirklich schwierig

[gerald123]

Danke für die Infos, ich werde mal die Versuche mit einem kurzen Abfragezyklus machen.
Hoffe das er dann stabil durchläuft.
Alles andere ist schon am laufen und funktioniert auch super, danke nochmal für das tolle Projekt.

[jomjol]

Ich habe die Version der Dockerfiles auf 5.x gehoben. Wesentliche Unterschiede:
Unterbau mit Op

• ListenpunktenCV und Tensorflow sind in separaten Dockerfiles ausgelagert

Es gibt jetzt eine Version für Intelprozessor ohne AVX2-Version (latest) und Raspberry PI (raspi).
Damit ist der Build einfacher und besser wartbar. Für die Raspi-Rolling habe ich jetzt einen Restart nach Crash implementiert
@pfried teste bitte mal, ob damit mit dem Memory Leak automatisch gestartet wird.
Gruß, jomjol

[ecki945]

kann mir jemand die Fehlermeldung nach Aufruf von:

root@Test:~# docker run -p 3000:3000 --mount type=bind,src=/home, target=/config --mount type=bind,src=/home,target=/log jomjol/wasserzaehler:latest

erklären?

invalid argument "type=bind,src=/home," for "--mount" flag: invalid field '' must be a key=value pair
See 'docker run --help'.