Wasserzähler - Selfmade

[jomjol]

@ecki945 Fehlermeldung sagt mir nichts, aber mir ist aufgefallen, dass du beide Verzeichnisse (log & config) auf dasselbe /home Verzeichnis mountest. Das dürfte nicht funktionieren.

[pfried]

@ecki945 Mein Aufruf:
sudo docker run -p 3000:3000 --mount type=bind,source=/home/pi/Wasserzaehler_4.2/code/config,target=/config --mount type=bind,source=/home/pi/Wasserzaehler_4.2/code/log,target=/log --memory-swap -1 jomjol/wasserzaehler:raspi-rolling

[ecki945]

Zwischenzeitlich habe ich es geschafft, dass der Dockeraufruf funktioniert. Leider habe ich nun folgendes Problem:

stephan@Test:~$ sudo docker run -p 3000:3000 --mount type=bind,source=/jomjolconfig,target=/config --mount type=bind,source=/jomjollog,target=/log --memory-swap -1 jomjol/wasserzaehler:latest
[sudo] password for stephan:
Unable to find image 'jomjol/wasserzaehler:latest' locally
latest: Pulling from jomjol/wasserzaehler
16ea0e8c8879: Pull complete
50024b0106d5: Pull complete
ff95660c6937: Pull complete
9c7d0e5c0bc2: Pull complete
29c4fb388fdf: Pull complete
8659dae93050: Pull complete
c8208a94eb32: Pull complete
465b26a31c40: Pull complete
84af071ddf6f: Extracting [==================================================>]  1.871MB/1.871MB
72674e39b52a: Download complete
257c064c14b2: Download complete
13079f9eaad3: Download complete
da4020cd652a: Download complete
967ef883685d: Download complete
e064e3ebdc71: Download complete
docker: failed to register layer: ApplyLayer exit status 1 stdout:  stderr: write /usr/local/lib/python3.7/site-packages/pkg_resources/_vendor/packaging/specifiers.py: no space left on device.
See 'docker run --help'.

Ich vermute mal, dass das auch mit dem Docker in nem LXC Container unter Proxmox zusammen hängt. Habe leider aktuell wenig Zeit mich um diese Sache zu kümmern

[pfried]

@ecki945 Hast du dir vorher die version runtergeladen?

sudo docker pull jomjol/wasserzaehler:raspi-rolling

wobei raspi-rolling mit der Version ersetzt wird, welche du brauchst.

[sissiwup]

Hallo,

habe das Projekt gestern auch umgesetzt. Hat alles wunderbar auf anhieb funktioniert.
Ich habe als einziges im ESP32-Code noch eine feste IP vergeben. Das mache ich bei allen IOT-Geräten, damit ich, falls ich mal den Router wechsele nicht von vorne Anfangen muss.

Als Abfrage habe ich das Java-Skript verwendet.

Hier noch ein Tipp für grafana:

SELECT
floor(n.ts/1000) as time_sec,
convert(n.val,DECIMAL(10,4)) as value,
"Wasser" as metric
FROM ts_string n
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 2372 and n.id
ORDER BY n.ts ASC

Die ID ist natürlich anzupassen. (Ich speichere in mysql)

Hier mein Docker-Aufruf:

docker run -d --restart unless-stopped -p 3300:3000 --mount type=bind,source=/var/docker/wasser,target=/config --mount type=bind,source=/var/docker/log,target=/log jomjol/wasserzaehler:latest

Hier habe ich den Port von 3000 auf 3300 umgesetzt (3000 nutzt grafana).
Mit -d läuft es als Service und mit --restart unless-stopped wird es auch nach Rechner Neustart wieder gestartet.

Also vielen Dank an euch für die super Arbeit.

[ecki945]

@pfried Der Aufruf mit deinem Parametern erzeugt die gleiche Fehlermeldung:

root@Test:/home/stephan# sudo docker run -p 3000:3000 --mount type=bind,source=/jomjolconfig,target=/config --mount type=bind,source=/jomjollog,target=/log --memory-swap -1 jomjol/wasserzaehler:latest
Unable to find image 'jomjol/wasserzaehler:latest' locally
latest: Pulling from jomjol/wasserzaehler
16ea0e8c8879: Pull complete
50024b0106d5: Pull complete
ff95660c6937: Pull complete
9c7d0e5c0bc2: Pull complete
29c4fb388fdf: Pull complete
8659dae93050: Pull complete
c8208a94eb32: Pull complete
465b26a31c40: Pull complete
84af071ddf6f: Extracting [==================================================>]  1.871MB/1.871MB
72674e39b52a: Download complete
257c064c14b2: Download complete
13079f9eaad3: Download complete
da4020cd652a: Download complete
967ef883685d: Download complete
e064e3ebdc71: Download complete
docker: failed to register layer: ApplyLayer exit status 1 stdout:  stderr: write /usr/local/lib/python3.7/site-packages/pkg_resources/__init__.py: no space left on device.

Da ich ja Docker in einem lxc Container laufen lassen will, vermute ich hier Zugriffprobleme.

[pfried]

@ecki945 Der Download verabschiedet sich mit "no space left on device" darum meinte ich, dass Du zuerst das Image mit: sudo docker pull jomjol/wasserzaehler:latest ........ runterladest und extrahierst.....

[ecki945]

Guten Morgen
@pfried du hattest recht. Habe habe mal Testweise den Speicherplatz des Containers von 8 GB auf 20GB erweitert. Nun klappt der Dowload über docker pull jomjol/wasserzaehler: latest des Containers.

Bin dabei etwas erschrocken. Kann es sein, dass der Download des Containers ca 13 GB groß ist????

Der Aufruf klappt nun.

stephan@Test:~$ docker run -p 3000:3000 --mount type=bind,source=/jomjolconfig,target=/config --mount type=bind,source=/jomjollog,target=/log --memory-swap -1 jomjol/wasserzaehler:latest
2020-01-01 07:27:52.798622: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 FMA

[jomjol]

@ecki945 Der Container ist 590MB groß. Leider hat Tensorflow noch ein intrinsisches Speicherleck, daher wächst der Speicherbedarf mit der Zeit bei einigen Systemen an. Problem ist bei der Raspberry-Variante aber anscheinend größer.

[jomjol]

Hallo zusammen,
ich überlege als nächste Erweiterung ein Tool zu schreiben, was bei der Erstellung der Config.ini unterstützt. Dies ist eine Hürde, da die manuelle Bearbeitung einer Textdatei für viele User eine erhebliche Hürde darstellt.
Wenn das in einer WYSIWYG-Web Anwendung möglich wäre, die entweder die Config.ini oder idealerweise sogar einen customized Docker Container ausspuckt, könnte ich mit dem Projekt noch viel mehr User erreichen.
Hat jemand Erfahrung damit und Lust das gemeinsam zu machen? Ich überlege gerade mit welchem Framework man so etwas aufsetzt und in welchem Tool ich es entwicklen würde.
Wer Lust / Zeit / Know-How hat, gerne bei mir melden
Beste Grüße,
jomjol

[pfried]

@jomjol Prosit Neujahr!
Habe eine Bitte: kannst Du mir vielleicht mit einem Script am Raspberry Debian aushelfen, welches den Docker Container regelmäßig stoppt und wieder startet, um das Speicherleak zu umgehen.... Vielen Dank im Voraus!

[jomjol]

@pfried Hallo Paul,
ich würde den Befehl "docker restart CONTAINTERNAME" als cron-job alle xx Stunden einfügen. Hilft dir das?

[pfried]

@jomjol Sicher danke, bitte sag mir noch wo ich den Befehl einfügen soll. Als Script im IOBroker?
Bei mir muss es also lauten: sudo docker restart 0cb549..... Correct? Wenn ich als Containername jomjol/wasserzaehler:raspi-rolling eingebe bekommen ich die Fehlermeldung: No such container .....

[jomjol]

@pfried Ich kann es bei mir gerade nicht ausprobieren - Remote kein Zugriff auf den Raspi. Aber ich würde den Befehl erstmal in der Konsole probieren (so wie du es schon gemacht hast) und dann mit dem passenden Timining in die /etc/crontab einfügen. Eine Übersicht findest du hier:
http://raspberry.tips/raspberrypi-einsteiger/cronjob-auf-dem-raspberry-pi-einrichten
Gruß,
jomjol

[pfried]

@jomjol Danke für den Tipp! Ich lerne jeden Tag dazu .... mittels Cron habe ich jetzt den Reset hinbekommen.

[jomjol]

@pfried Schickst du mir den Cron-Eintrag, dann füge ich es der Raspi-Anleitung hinzu.
Hat der interne Restart bei dir nicht funktioniert?

[sissiwup]

Hallo,

anbei nochmal ein Tipp für die Visualisierung in Grafana:

Ich habe den Verbrauch und den aktuellen Verbrauch pro Stunde in ein Diagramm gepackt:

SELECT
floor(n.ts/1000) as time_sec,
(max(n.val)-min(n.val))*1000 as value,
"Wasser/h" as metric
FROM ts_string n
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 2372 and n.id
group by date_format(from_unixtime(ts/1000),"%Y-%m-%d-%H") ORDER BY n.ts ASC

Ja, das ist nicht 100% genau (also es wird nicht der Wert um exakt der vollen Stunde genommen, sondern der nächst größere, aber für mich reicht es)

[sissiwup]

@jomjol sagte in Wasserzähler - Selfmade:

Hallo zusammen,
ich überlege als nächste Erweiterung ein Tool zu schreiben, was bei der Erstellung der Config.ini unterstützt. Dies ist eine Hürde, da die manuelle Bearbeitung einer Textdatei für viele User eine erhebliche Hürde darstellt.
Wenn das in einer WYSIWYG-Web Anwendung möglich wäre, die entweder die Config.ini oder idealerweise sogar einen customized Docker Container ausspuckt, könnte ich mit dem Projekt noch viel mehr User erreichen.
Hat jemand Erfahrung damit und Lust das gemeinsam zu machen? Ich überlege gerade mit welchem Framework man so etwas aufsetzt und in welchem Tool ich es entwicklen würde.
Wer Lust / Zeit / Know-How hat, gerne bei mir melden
Beste Grüße,
jomjol

Hallo,
gute Idee, das hat mir am Anfang auch am meisten Probleme gemacht.
Noch besser wäre es, wenn man die Komplette Erkennung auf den ESP32 machen könnte. Es gibt doch Lösungen mit Gesichtserkennung, meinst du so etwas geht hier auch?

[pfried]

@jomjol Der interne Restart hat nicht funktioniert, Ich habe in Crontab nun folgendes hinzugefügt:

"* */6 * * * root /root/scripts/FILENAME.sh"

Also restart alle 6 Stunden. Zeile aber ohne die Anführungszeichen
Inhalt von FILENAME.sh:

#!/bin/bash
docker restart 3d83......

Hier tritt das Problem zu Tage, dass man die ContainerID angeben muss, mit dem ContainerName habe ich es nicht geschafft.....
Die ContainerID habe ich mir mit:

sudo docker container ls

ausgelesen. Nicht gerade eine nachhaltige Lösung, aber bis zur Behebung des Speicherleaks eine gangbare. Den Docker Container habe ich mit der Option -d für Service und --restart unless-stopped wie von @sissiwup beschrieben gestartet.

[pfried]

@sissiwup Hallo, vielleicht könntest Du bitte ein Dokument erstellen wie man mit Grafana die Visualisierung machen kann. Da ich, und wie ich mitbekommen habe andere auch Anfänger sind, wäre eine Doku vom Scratch sehr hilfreich....