UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?

[el_kassi]

@jomjol kann ich absolut verstehen, dass man nicht immer Zeit hat. Kenne ich selber. Trotzdem schonmal großen Dank für die schnelle Rückmeldung. Ein paar neue Fragen ergeben sich:

zu 1) Danke für das PDF. Das hilft (hoffentlich). hier ist von einem prealignment parameter die Rede. Ist das das selbe wie

[alignment]
initial_rotation_angle=-1.0

Nach einigem hin und her hat er dann auch dir Bilder akzeptiert. Man muss allerdings einen AnalogCounter definieren, auch wenn es Disabled ist, da sonst auch das script im Dockerimage meckert.

1. Ich speichere jetzt Ziffern in den digital_digit-Unterordnern, d.h. meist NaN, manchmal halt auch falsch (oder in 10?!)
   Zum Lernen muss ich sie dir dann wahrscheinlich zusenden, richtig?
   Es reicht nicht, d.h. er lernt nicht, wenn ich die Bilder nur in den richtigen Ordner (0-9) verschiebe.
   Oder kann ich das irgendwie anders selber?

2. Habe mich gefragt, ob es ausreicht, das Bild zu negieren und in s/w zu konvertieren - dann hätte ich ja schwarz auf weiß bzw. schwarz auf grau beim rotem Hintergrund.

3. Was ich noch ändern werde ist, dass du momentan davon ausgehst, dass digital = vorkomma und analog = nachkomma. Da ich nur digital habe, muss ich ihm eine Wertigkeit der Ziffern mitgeben. Evtl. als Parameter in der config. Ich schau mal.
   In diesem Zuge habe ich mich gefragt, ob es klappen könnte, wenn ich meine drei letzten Ziffern als AnalogCounter erstelle, aber als Modelfile das digitale nehme. Könnte das klappen? Ich kann ja in der config dx und dy beliebig wählen und muss es dort nicht quadratisch eingeben. Da ich noch keine Ziffern habe, die funktionieren, kann ich das nicht richtig ausprobieren.

[jomjol]

@michaeljoos
Bitte die Bilder im jpg-Format idealerweise als ZIP mit Ordner von 0 - 10 (10=NaN) mit jeweils 3-4 Ziffern je Typ schicken.
Besonders die Rot auf Schwarz wären ein echter Mehrgewinn für dass neuronale Netz, von dem dann auch andere Nutzer profitieren.

Bitte Bilder nicht im png-Format - das kann mein Algo momentan nicht und ich müsste dann jedes Bild umwandeln.

Danke,
jomjol

[jomjol]

@el_kassi sagte in Wasserzähler - Selfmade:

@jomjol kann ich absolut verstehen, dass man nicht immer Zeit hat. Kenne ich selber. Trotzdem schonmal großen Dank für die schnelle Rückmeldung. Ein paar neue Fragen ergeben sich:

zu 1) Danke für das PDF. Das hilft (hoffentlich). hier ist von einem prealignment parameter die Rede. Ist das das selbe wie

[alignment]
initial_rotation_angle=-1.0

Ja - bin mir nur nicht sicher, ob negative Winkel funktionieren oder ob du doch 359 statt -1 schreiben musst. Bitte probieren.

Nach einigem hin und her hat er dann auch dir Bilder akzeptiert. Man muss allerdings einen AnalogCounter definieren, auch wenn es Disabled ist, da sonst auch das script im Dockerimage meckert.

1. Ich speichere jetzt Ziffern in den digital_digit-Unterordnern, d.h. meist NaN, manchmal halt auch falsch (oder in 10?!)
   Zum Lernen muss ich sie dir dann wahrscheinlich zusenden, richtig?
   Es reicht nicht, d.h. er lernt nicht, wenn ich die Bilder nur in den richtigen Ordner (0-9) verschiebe.
   Oder kann ich das irgendwie anders selber?

Ja, du solltest die Bilder mir schicken und ich mache regelmäßig ein Update der tflite-Files. Du kannst auch selber lernen. Das habe ich auch veröffentlich (analog: https://github.com/jomjol/neural-network-analog-needle-readout, digital: https://github.com/jomjol/neural-network-digital-counter-readout). Aber ich update das regelmäßig mit euren Inputs, dann profitieren alle davon.
Das Selbstlernen funktioniert so nicht. Du braucht auch eine etwas umfangreichere Python-Bibliothek zum Lernen, wie zum reinen Anwenden.

Zum Benennung: in älternen Versionen gab es noch die Kategorie "NaN", inzwischen habe ich sie in "10" umbenannt, da das neuranale Netz die Klassen einfach durchnummeriert und ich mir die Übersetzung "10"="NaN" so spare.

2. Habe mich gefragt, ob es ausreicht, das Bild zu negieren und in s/w zu konvertieren - dann hätte ich ja schwarz auf weiß bzw. schwarz auf grau beim rotem Hintergrund.

Könnte man vielleicht so machen, will ich aber bewußt nicht. Das neuronale Netz ist so allgemein gehalten, dass es ziemlich viele Inputs verarbeiteten kann (Convolutional mit vielen Filtern). Dadurch brauche ich bis auf eine Skalierung keine weitere Bilderverarbeitung. Dass müsste auch noch mit anderen Ziffern- und Hintergrundfarben gut funktionieren - was aber noch zu beweisen wäre. Daher großes Interesse an deinen Ziffern auf schwarzem Grund.

3. Was ich noch ändern werde ist, dass du momentan davon ausgehst, dass digital = vorkomma und analog = nachkomma. Da ich nur digital habe, muss ich ihm eine Wertigkeit der Ziffern mitgeben. Evtl. als Parameter in der config. Ich schau mal.
   In diesem Zuge habe ich mich gefragt, ob es klappen könnte, wenn ich meine drei letzten Ziffern als AnalogCounter erstelle, aber als Modelfile das digitale nehme. Könnte das klappen? Ich kann ja in der config dx und dy beliebig wählen und muss es dort nicht quadratisch eingeben. Da ich noch keine Ziffern habe, die funktionieren, kann ich das nicht richtig ausprobieren.

Nein das funktioniert nicht, da das analoge Netz als Output eine einziges Neuron mit analoger Zahl (= Zeigerstellung) hat und das digitaler Netz zur Klassifizierung 10 Neuronen (0-9 + NaN) hat. Das muss dann in der Weiterverarbeitung berücksichtigt werden und ist nicht parametrisiert.
Eine Wertigkeit für die Ziffern als Parameter wäre vermutlich die einfachere Lösung (z.B: x0.1) - mometan arbeite ich aber an einem anderen Projekt, daher Prio B.

[el_kassi]

@jomjol alles klar.

Schwarzer Hintergrund kann leider etwas dauern, da das die Vorkommastellen sind.
Du erwähntest irgendwo 3-4 Bilder pro Ziffer. Sollten die dann von verschiedenen Stellen sein, da sie sich ja ggf (Winkel, Licht) leicht unterscheiden? Und brauchst du die auch mit verschiedenem Drehwinkel, also Bilder, wo die 2 zwar komplett zu sehen ist, aber mal mittig, mal am oberen Rand, mal am unteren? Das könnte dann noch länger dauern.

Roter Hintergrund dürfte bald durch sein, zumindest wenn du sie nicht von jeder Stelle brauchst, sondern die letzte und ggf. vorletzte ausreicht.

Zwecks Wertigkeit: kein Thema, dafür nehm ich mir mal die Zeit. Will es ja zum Laufen bekommen

[jomjol]

@el_kassi Unterschiedliche Beleuchtung etc. ist wichtiger wie die Variation der genauen Position innerhalb eines ROIs.
Letzteres kompensiere ich durch einen random Shift während des Trainings (zusätzlich zu Streckung und Intensität). Das macht das neuronale Netz in Summe stabiler gegenüber der genauen Ausrichtung der ROIs. Scheint sich auch zu bewähren, denn bei fast allen Usern liefert es auf Anhieb ganz gute Ergebnisse.

Du kannst mir auch gerne einfach mal einen Zwischenstand schicken, wenn die Datenerfassung länger dauert. Ich kann mit wenig Aufwand alle 2-3 Wochen mal ein Update für die tflite-Files erstellen. Bei mir ist alles eingerichtet.

[jomjol]

@all es gibt eine neue rolling-Version. Dort habe ich dank des Commits des github-users kassi eine deutlich bessere und schlankere Docker-Erstellung implementiert.

Arbeitsverzeichnis ist jetzt "/app", anstatt "/", daher muss beim Start von Docker das Einbinden von log und config leicht modifiziert werden:

/config --> /app/config
/log --> /app/log

Zusäzlicher Hinweis: wer mit Portainer seinen Docker verwaltet, muss auch händisch das Arbeitsverzeichnis updaten (auf /app).

[el_kassi]

@jomjol Noch ein Hinweis: man kann jetzt mit einmalig

docker build --tag watermeter:local -f Dockerfile_synology .

und

docker run -p 3000:3000 --mount type=bind,source=(PATH_TO_LOCAL_CONFIG,target=/app/config --mount type=bind,source=/PATH_TO_LOCAL_LOG,target=/app/log --rm --mount type=bind,source="/path/to/water-meter-system-complete/code",target=/app watermeter:local

den Code bearbeiten und lokal laufen lassen (läuft bis jetzt sauber unter MacOS).
Nach Code-Änderungen reicht ein CTRL-C und erneutes docker run ..., um den Container auf den neuesten Stand zu bringen. Neues docker build ist nicht notwendig, da das code Verzeichnis in /app gemountet ist.

Leider reicht es in Python nicht aus, den Code einfach zu ändern, wie in anderen Sprachen bzw Frameworks, die code dynamisch nachladen können. Aber es sollte ein Geschwindigkeitsboost sein, auf das build verzichten zu können.

[pfried]

@jomjol Kannst Du bitte nochmals darlegen, was man alles Ändern muss (auch in der config.ini) Muss man die Verzeichnisse config und log nun unter app transferieren?

Nachtrag: Muss man im Aufruf nun überall app einfügen?

sudo docker run -d --name wasser --restart unless-stopped -p 3000:3000 --mount type=bind,source=/home/pi/Wasserzaehler_4.2/code/app/config,target=/app/config --mount type=bind,source=/home/pi/Wasserzaehler_4.2/code/app/log,target=/app/log --memory-swap -1 jomjol/wasserzaehler:raspi-rolling

[jomjol]

@pfried Du musst nur die Pfade im Start des Docker-Containers anpassen, so wie du es beschrieben hast:
docker run ....,target=/app/config ...,target=/app/log ...

In der Config.ini etc. musst du nichts ändern.

Intern im Docker-Container liegen jetzt die Verzeichnisse nicht mehr im Root Verzeichnis /, sondern sind jetzt alle ins Unterverzeichnis /app umgezogen worden. Dass ermöglichst zum Beispiel solche Tricks, wie sie @el_kassi eins weiter oben beschrieben hat. Das macht das Testen und Programmieren etwas einfacher.

Sorry für die Umstände!

[pfried]

@jomjol Kein Problem, wenn man weiß was zu tun ist

[michaeljoos]

@jomjol Es hat mir einfach keine Ruhe gelassen und ich wollte wissen, ob ich das mit dem Neural Network auch irgendwie und ohne Vorwissen hinkriege

Heute habe ich mir Anaconda, Tensorflow, Keras und alles was es benötigt auf meinem Laptop installiert und ein paar Bilder von der Ziffer 3 meines Zählers (die als Ziffer 1 erkannt wurde) im Verzeichnis \ziffer_sortiert_raw\3\ abgelegt.

1. jupyter notebook gestartet
2. Image_Preparation.ipynb ausgeführt
3. Train_CNN_Digital-Readout.ipynb ausgeführt
4. Neues tflite-File auf den Raspi kopiert
5. Docker neu gestartet

Resultat:

993N.662 00993N 662

Die 3 wird erkannt !!

Und das alles nur dank deiner riesigen Vorarbeit & Dokumentation! Besten Dank nochmals! Ok, ein paar Hürden gab es schon zu überwinden bis alles lief.

Ich werde dir später trotzdem meine gesammelten Ziffern schicken damit alle profitieren. Kann einfach etwas dauern, da sich mein Wasserverbrauch ziemlich in Grenzen hält.

Gruss
Michael

[el_kassi]

@jomjol hier einmal mit rotem Hintergrund. rot.zip
Viel Variation im Licht ist nicht, da es ziemlich konstant und in einer abgeschlossenen Halterung verbaut ist.

[el_kassi]

Und hier eine erste Fuhre weiß auf schwarz. (0,2,3,4). schwarz.zip

Wie es ausschaut gibt's hier keine in 10, da der Zähler scheinbar sauber umspringt. Zumindest erkenne ich das so aus den Bilder, aber ist noch nicht vie Zeit ins Land gezogen.

Wenn noch jemand einen Sensus 620 hat, kann er gerne hier mithelfen, Bilder hochzuladen.

[jomjol]

@el_kassi Okay, danke. Du schneidest ziemlich knapp aus. Etwas mehr Rand könnte zusätzlich helfen und macht das Bild robuster gegenüber einen Shift im Alignment.
Ich melde mich, wenn ich die Bilder trainiert habe.

[el_kassi]

@jomjol Ok, kann ich einstellen. Ich bin allerdings schon am Rand des Rades. Wenn ich oben/unten mehr dazu gebe, dann kommt blaue Umrandung dazu.

Noch was: Da meine 4 bereits oft als 8 falsch erkannt wird (und andere auch), macht es wahrscheinlich Sinn, für die weiß auf schwarz/rot gelagerten Ziffern eine eigene tflite Datei anzulegen, die man dann auswählen kann. Ansonsten dürfte es schwierig werden, was erkannt wird am Ende.

[jomjol]

@el_kassi Der blaue Rand dürfte nicht so sehr stören. Du kannst auch ein leicht anderes Aspektverhältnis wählen (einfach von Hand in der Config.ini die Größe des ROIs anpassen).
Eine zweite tflite ist schon ein etwas größeres Ding, da im Code fest ein digitales und ein analoges CNN hinterlegt sind. Da muss ich an den Quellcode ran.
Momentan bin ich gerade daran, das System direkt auf dem ESP32 zum laufen zu bekommen. Dort habe ich schon eine etwas flexiblere Implementierung gewählt und die wäre grundsätzlich leichter anpassbar. Wenn das soweit ist, könnte ich das vielleicht auch auf den Docker zurück importieren. Ist dann aber C++ statt Python.

[el_kassi]

@jomjol Ich kann in der config doch im modelfile eine tflite Wählen. Die sollte doch dann verwendet werden. Im Code wird ja auf die tflite zurückgegriffen. So nur mein Verständnis. Ich befürchte halt, dass wenn alle Ziffern in einer Datei zusammengefasst sind, dass das System hier Fehlalarm schlägt, da er jetzt schon statt einer weiß-auf-schwarz 4 eine schwarz-auf-weiß 8 erkennt.

Ich bin gerade parallel dabei, die Python Version etwas zu modifizieren. Hauptsächlich refactorings, die wir natürlich besprechen müssten.
Das Ganze bräuchte ich, um einen Zähler mit Vor- und Nachkommazahlen zu betreiben.
Auf dem ESP wäre das natürlich auch willkommen, wenn das ginge. Allerdings ist das schwieriger zu aktualisieren, da mann dafür den ESP jedesmal rausnehmen, oben anschließen, programmieren und wieder einsetzen muss. Geht auch, aber der Entwicklungszyklus ist definitiv länger, wenn man das häufiger machen muss.
Bin gespannt.
Wenn du reviews benötigst, gib bescheid. Meinen github account kennst du ja.

[el_kassi]

Wäre das hier ein besserer Schnitt?

Oder geht das zu weit runter? Hab versucht, mich an die 23% und 78% zu halten. Die 3 an Pos. 5 ist warum auch immer recht tief und der blaue Rand hat da eine Wölbung. Ist dann aber auch weiß mit auf dem Bild ganz unten.

[jomjol]

@el_kassi Enschuldige die später RM, ich war ein paar Tage offline. Von der Größe der Zahlen passt das. Ich würde die ROIs noch etwas nach oben setzen, so dass die Zahlen mittig sind.

[watcherkb]

@jomjol
Hi, ich habe seit heute das Problem dass der Server mir beim Aufruf über http://192.168.1.36:3000/wasserzaehler.html nichts liefert. Die Seite bleibt leer. Der Parser-Adapter meckert auch:

Cannot read link "http://192.168.1.36:3000/wasserzaehler.html": {"statusCode":200,"body":"","headers":{"server":"BaseHTTP/0.6 Python/3.7.4","date":"Tue, 30 Jun 2020 12:10:00 GMT","content-type"

Der Aufruf http://192.168.1.36:3000/wasserzaehler.html&full funktioniert, hat aber die 6 falsch erkannt (letztes tf-file)

Server und ESP sind bereits neu gestartet. Eine Idee was es sein kann?