UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[jomjol]

Hallo zusammen,

es ist schon länger etwas ruhiger hier im Thread. Hoffentlich bedeutet es, dass eure Zähler gut laufen

Ich habe in der letzten Zeit an einer neues Version gearbeitet und möchte einen ersten Zwischenstand geben. Es ist mir gelungen, alle Prozesse, also auch die CNN-Image Recognition direkt auf dem ESP32 laufen zu lassen. Damit ist bald hoffentlich kein Docker-Container mehr nötig. Einige Punkte von euren Rückmeldungen habe ich auch schon berücksichtigt.

z.B. die längere Laufzeit der Auswertung wird durch eine periodische automatische Erkennung gelöst, so dass ich bei Abfrage des Wertes eine schnelle aktuelle Antwort bekomme.

Damit der Übergang möglichst einfach wird und auch, damit ich die Performance testen kann, habe ich auch die bisherige Funktion des ESP32-CAM als Bildlieferant beibehalten und man kann sowohl den Dockercontainer (Abfrage über /capture_with_flashlight), wie auch das komplette System auf dem ESP32 parallel laufen lassen ohne gegenseitge Beeinflussung.
Ich hänge noch ziemlich in der Dokumentation und den Source-Code sollte ich auch noch etwas aufräumen, bevor ich ihn ins GitHub hochlade. Das ist mein Projekt für die kommenden Sommerferien

Ich poste hier schon mal einen Link zum neuen Repository: https://github.com/jomjol/AI-on-the-edge-device

Ist noch sehr leer, füllt sich aber bald hoffentlich kontinuierlich. Ich suche noch ein oder zwei Early-Adopter, die meine sehr frühen Versionen vorab testen. Ist aber noch ein früher Stand. Wer will, kann sich gerne per Chat bei mir melden.

Beste Grüße,
jomjol

[gerald123]

@jomjol Hallo jomjol,
Das ist gut zu hören das in Zukunft alles nur noch am ESP32 läuft und direkt vom IoBroker abgefragt werden kann.
Leider wurde bei mir jetzt ein neuer Wasserzähler eingebaut Type Diehl.
Gibt es dazu schon eine Möglichkeit das ich ihn auch auslesen kann.

Sg. Gerald

[jomjol]

@gerald123 Hallo Gerald,
das sollte funktionieren. Inzwischen sind auch erste Ziffern mit weißer Schrift auf schwarzem bzw. rotem Hintergrund geteached. Einzig für das Komma brauchst du noch einen Trick auf der Serverseite. Das kann ich aber auch parametrisierbar gestalten, du bist nicht der erste, der danach fragen.

Gruß,
jomjol

[pfried]

@jomjol Super! Werde ich testen! Von mir ist es deshalb so "ruhig" da die Auswertung nun seit Monaten ohne Probleme läuft, lese aber selbstverständlich noch immer mit. Das Projekt hat mich total begeistert! Vielen Dank nochmals für Deine Mühe und Deine bisherige tolle Arbeit! Liebe Grüße Paul

[gerald123]

@jomjol Das ist gut zu hören.
Einen Adapter für die Kamera gibt es dafür auch schon oder muss ich versuchen diesen selber zu Konstruieren?

[michaeljoos]

@jomjol said in Wasserzähler - Selfmade:

Einzig für das Komma brauchst du noch einen Trick auf der Serverseite. Das kann ich aber auch parametrisierbar gestalten, du bist nicht der erste, der danach fragen.

Genau, ich hab das in openHAB mit einer Java-Transformation gelöst. Wenn du das aber konfigurierbar machen könntest wäre das natürlich fantastisch.

Bei mir läuft alles wunderbar. Mein Wasserverbrauch ist einfach so gering, dass ich immer noch am Ziffern sammeln & lernen bin. Sobald ich alles zusammen habe werde ich dir das komplette Paket schicken. Ich liefere dann auch rote Ziffern auf weissem Hintergrund. Habe mir ja unterdessen auch Jupyter, Tensorflow, Keras und all das Zeugs installiert damit ich die neuen Ziffern jeweils selbst anlernen kann und dich nicht immer "belästigen" muss. Das funktioniert tiptop und ich lerne sogar noch was dabei

Gruess
Michael

[Knallochse]

@jomjol Auch von mir : Daumen hoch
Läuft seit Monaten super stabil und zu meiner vollen Zufriedenheit
Ich möchte mich nochmal für deine Entwicklung dieses Projekts bei dir bedanken

[jomjol]

@gerald123 Hallo Gerald, einen Adapter musst du selbst konstruieren. Aber du kannst meinen Adapter verwenden und musst nur den unternen Teil anpassen.

[gerald123]

@jomjol danke für die Info und deine tolle Arbeit!
Werde mir den Adapter Konstruieren und wenn er soweit ist dann auch hier mal zeigen.
Schönen Abend wünsche ich.

[ramon2krpi3]

Hi @jomjol, I am implementing the project and I am encountering some difficulties. I would appreciate it if you could help me.

After generating the config.ini I cannot read any digit. When I see “… / roi.html” I get a distorted image that I show below. I have tried to choose and mix different texts in the image to form the triangle of references. For example I have used the JS2.5-04, x0,0001, 397, ... labels as references, but I can't get the image right. I was also surprised that when I launch “… / roi.html” the red boxes of ref0, ref1 and ref2 do not appear on the picture. Would be there any relationship?

Regards,

The references have been taken after leaving the holder installed and with the same flash lighting that the ESP32 LED provides.

The Docker is running on a raspberry pi4 2GB with the following structure:

sudo docker run -p 4000:3000 --mount type=bind,source=/home/pi/water-meter-system-complete/code/config,target=/config --mount type=bind,source=/home/pi/water-meter-system-complete/code/log,target=/log jomjol/wasserzaehler:raspi-latest

The counter is different from yours, with 8 digits, 5 black on white and 3 red on white.

1. Could you help me get the image right with the references?
2. Do you think there will be a problem with the type of digits that are slightly different from your project?

Regards

[jomjol]

Hi @ramon2krpi3,

the distorted image shows, that one of the reference is not found. In principle you choose the right one. The image looks a bit unsharp, maybe you could adjust the focus slightly.
You can also use the orginal pictures (without enhance), that will make the algo a bit more sensitive to illumination light, but might get a better recognition, as the autocorrelation will result in higher contrast.

Two topics:

1. You need to get ride of the refection at the digits, this will not work
2. Why is your image off center? It looks like there are even better alignment options on the bottom.

Other topics are look good for the time beeing.

Hope that helps a bit.

Best regards,
jomjol

P.S.: the reference are never shown in the ROI, this is still a to do.

Why is your image of center?

[ramon2krpi3]

Hi @jomjol, luckily i just found the solution. Diving over the 1,000 thread post I have found the solution. The problem is that [alignment]
initial_rotation_angle = 92 cannot have a negative angle. The configurator "http://wasserzaehler.ignorelist.com" inserts the value in negative in the "config.ini" and therefore deforms. Just edit the "config.ini" and remove the negative sign

The problem now is the digit recognition. I know I've to solve the reflection, but in the meantime I wanted to test the rest of the digits unaffected by the reflection. The first 5 should work. The third digit, 6, has a strange shape in the upper left corner and does not detect it, it assigns a 0. On the other hand, 9 sometimes detects it as 0 and other times as 6.

how can I get it to detect these digits?

Are they in a format recognizable by your trained system?
I am using the Train_CNN_Digital-Readout_Version_6.0.0.h5

Regards!

[jomjol]

Hi @ramon2krpi3,

first it looks like, you are using the "master" branch of the docker server. I suggest to update to the "rolling" version. Within this a much better trained cnn-file is available (v 6.2.0). Just to know: the format has changed from h5 to tflite.

That should already improve the recognition. If this is not enough, it might be necesarry to train your numbers.

Best regards,
jomjol

[ramon2krpi3]

Hi @jomjol, could anybody summarize the step by step migration to rolling version?
Thanks!

[ramon2krpi3]

@ramon2krpi3 This is how I did:

1. Download the raspi-rolling image: sudo docker pull jomjol/wasserzaehler:raspi-rolling

2. Over my old folders structure I created a new app folder and I copied my old /config & /log folders

3. I downloaded “Train_CNN_Digital-Readout_Version_6.2.0.tflite” and put it in “/home/pi/water-meter-system-complete/code/app/config/neuralnets”

4. I edited “/home/pi/water-meter-system-complete/code/app/config/config.ini” and changed the new Train_CNN tflite

[Digital_Digit]
names = D1, D2, D3, D4, D5, D6, D7, D8
modelfile = ./config/neuralnets/Train_CNN_Digital-Readout_Version_6.2.0.tflite
LogImageLocation=./log/digital_digit

5. I run the docker and it seems do it well:

pi@pi4:~ $ docker run -p 4000:3000 --mount type=bind,source=/home/pi/water-meter-system-complete/code/app/config,target=/app/config --mount type=bind,source=/home/pi/water-meter-system-complete/code/app/log,target=/app/log --memory-swap -1 jomjol/wasserzaehler:raspi-rolling
92.0
Start Init Zaehlerstand
Analog Model Disabled
Digital Model Init Done
Digital Model Init Done
Prevalue loaded from file: 00000690.0000
Wasserzaehler is serving at port 3000

6. When I ask for a reading “http://192.168.1.234:4000/wasserzaehler.html&full” the docker gives me this error:

Exception happened during processing of request from ('192.168.1.231', 59241)
Traceback (most recent call last):
File "/usr/lib/python3.7/socketserver.py", line 316, in _handle_request_noblock
self.process_request(request, client_address)
File "/usr/lib/python3.7/socketserver.py", line 347, in process_request
self.finish_request(request, client_address)
File "/usr/lib/python3.7/socketserver.py", line 360, in finish_request
self.RequestHandlerClass(request, client_address, self)
File "/usr/lib/python3.7/socketserver.py", line 720, in init
self.handle()
File "/usr/lib/python3.7/http/server.py", line 426, in handle
self.handle_one_request()
File "/usr/lib/python3.7/http/server.py", line 414, in handle_one_request
method()
File "./wasseruhr.py", line 37, in do_GET
GlobalError = wasserzaehler.CheckError()
File "/app/lib/ZaehlerstandClass.py", line 102, in CheckError
if self.readAnalogNeedle.GlobalError:
AttributeError: 'Zaehlerstand' object has no attribute 'readAnalogNeedle'

I'm lost. Do I have to modify/install anything else?
I didin't do nothing whit Tensorflow. May I do anything to manage TensoflowLite?

Regards

[jomjol]

Hi @ramon2krpi3,

you run into a bug in the code. Disabling the "Analog Readout" did not work in this version due to an unknown bug. Seems you are the first one, who really used this feature.
I just corrected it and the Docker-Container is under construction. Should take another hour, than it should work.
Thanks for you support in the detailed error description, made my debugging much easier.

Best regards,
jomjol

[jomjol]

Hallo zusammen,

hier ein Update zu meinem neuen Projekt. Die erste Beta-Version für den integrierten Wasserzähler ist funktionsfähig!

Hier mal ein Screenshot von der Benutzerschnittstelle:

Wie ihr seht, habe ich die verschiedenen Features der Bildaufnahme und Auswertung mit einer Web-Oberfläche verknüpft. Dass wird in Zukunft den Betrieb und die Anpassung des Servers deutlich vereinfachen und noch mehr Nutzern zugänglich machen.

Hier mal ein paar Key-Features:

• Webserver mit einfacher Oberfläche integriert - einfach erweiterbar (Idee: z.B. Bearbeitung der Config.ini direkt im Browser ?)
• Zusätzlich ein einfacher Fileserver für die SD-Karte (browse, upload, download, delete)
• OTA-Schnittstelle über Web-Interface, inkl. Reboot - kein Aus-/Einbau für Updates!
• Kamera, Bildbearbeitung & Ziffer/Zeiger-Erkennung alles auf dem ESP32
• Abwährtkompatibel (95%) zur Schnittstelle zu Bilderfassung (.../capture_with_flashlight), wie auch zum Dockercontainer (.../wasserzaehler.html)
• Systeme laufen alle parallel (Multitasking Programmstruktur). Damit könnt ihr auch erstmal die alten System unverändert weiter laufen lassen und alles parallel testen.

Einziger Nachteil: momentan dauert ein Auswertezyklus bei mir ca. 2.5 Minuten. Da ist noch viel Potential (>50%), aber für Just-In-Time Abfragen zu lange. Daher habe ich einen Scheduler implementiert, der zyklisch (z.B. alle 5 Minuten) die Auswertung macht und bei Abfragen den letzten Wert meldet. Konsistenzchecks, analog zum Docker-Container, sind natürlich auch impementiert.
Da ich aus Platzgründen den INI-Parser selbst schreiben musste, ist der Syntax nicht vollkommen kompatibel aber leicht zu adaptieren. Auch werden nur noch 2 Referenzen verwendet, das hat sogar den Vorteil, dass es nicht mehr zu einer Verzehrung kommen kann.

Für alle, die mal einen Blick darauf werfen wollen, finden sich die Firmwaredateien und eine Anleitung zum Flashen hier:

https://github.com/jomjol/AI-on-the-edge-device

Für Fragen, Anregungen, Bug-Reports, ... bin ich wie immer offen.

Beste Grüße,
jomjol

P.S.: das ist eine recht aufwendige Portierung geworden, ich musste alles in C++ neu schreiben und habe es auch für Restrukturierung genutzt. Daher bitte ich zunächst Bugs zu verzeihen

[mameier1234]

@jomjol Unglaublich !! Ich habe riesigen Respect !!! Danke für die geile Arbeit, ich liebe das bisherige Ergebniss....

[gerald123]

@jomjol Hallo jomjol,
Die Bedienoberfläche schaut super aus
Um bei der Installation nichts falsch zu machen wollte ich frage ob es schon eine Anleitung in Deutsch gibt?
Würde mir sehr helfen.
Super tolles Projekt, bitte weiter so

[jomjol]

@gerald123 Hallo Gerald,
aktuell gibt es keine deutsche Anleitung und erstmal wollte ich es auch nicht zweisprachig machen. Aber ich kann dir gerne eine kurze Skype o.ä. Session anbieten und dann zeige ich es dir. Ist wirklich nicht schwierig. Bitte einfach kontakt per PM.

Beste Grüße,
jomjol