Wasserzähler - Version 2 - all-in-device

[jomjol]

@coyote eventuell musst du die SD-Karte mal neu schreiben (formatieren und wieder bespielen).

[Zwer2k]

@jomjol
Lag bei mir tatsächlich an der SD-Karte. Vielen Dank für den Hinweis.
Kann es sein, dass es an zu vielen Dateien auf der SD-Karte lag? Bei mir waren es 15.000 unter /log/analog und 30.000 unter /log/digital . Ist nicht die schnellste 8GB Karte, war mit 1,5GB belegt. Schon ein du -sh /log/analog auf einem Linux System hat ewig gedauert. Löschen von den Dateien hat nichts gebrach. Musste die Karte formatieren.

Andere Frage: Gebt es eine Einstellmöglichkeit per MQTT nur gültige Werte als Zahle zu übertrage und nicht als String? Da kommen zum Teil auch Werte mit "N" vor und es gibt unschöne Log-Einträge

You are assigning a string to the state "javascript.0.vWasserzaehler" which expects a number

[jomjol]

Hallo @Zwer2k,
zu 1) du kannst die Logfiles ausschalten - einfach in [Analog], [Digits] & [MakeImage] den Parameter LogImageLocationauskommentieren: ;LogImageLocation = /log/source

zu 2) verwendest du den Modus "PreValueUse"?

[PostProcessing]
PreValueUse = True

Da sollten dann sobald mal eine gültige Ziffer erkannt wurde, auch nur noch Werte ohne "N" übertragen werden. Bsp bei mir gerade:

Gruß,
jomjol

[Zwer2k]

Danke dir noch einmal @jomjol .

auf 1) hätte ich auch selbst kommen könne.
2) verwende ich bereits. Es kann aber sein, dass zu dem Zeitpunkt als ich die Meldung gesehen habe noch meine Test-Einstellungen die ich nach dem Crash durchprobiert habe. Jetzt habe ich wieder meine Sicherung zurück gespielt.

Noch zwei/drei kurze Fragen:

• Wird um Energie zu sparen Modem-Sleep aktiviert? Oder gibt es dazu eine Einstellung?
• Mein Zähler sitzt nicht weit von meiner Heizung. Ist es denkbar, dass ich den Zähler als Gateway für ein Arduino verwende um die Heizung auszulesen/zu steuern? Kann der ESP während der Bildverarbeitung andere Threads bedienen?

Gruß
Zwer2k

[Hasont]

@pfried @jomjol
Hallo, hatte ja vor 2 Wochen auch das Projekt erfolgreich gestartet bin aber mit Arbeit und Garten nicht mehr dazu gekommen das im IoBroker einzubringen. Jetzt sah ich gerade im Keller die rote LED und nachdem bisher immer alles richtig war hab ich mir das LOG angesehen. >>> Ich habe ---- Main Startet ---- im 3 min Takt. Am 15. 10 war das 4 mal und wurde lt. Log dann täglich mehr. Habt Ihr da schon ne Lösung gefunden? Meine Version ist "master - v3.0.0 - 2020-10-14" und da steht ja schon eine Lesezeit von 4,85 drin. Würde heute Abend mal die .ini der SD Karte abspeichern und dann formatieren und neu bespielen. Außer Ihr habt ne andere Idee.
Hier mal Auszüge aus der Log Datei. Wenn Debug erwünscht schalte ich das gerne ein.

LG Horst

[coyote]

Hallo @jomjol, ja wahrscheinlich. Hatte ich ja vor 14 Tagen schonmal gemacht, dann lief es wieder. Mich würde nur interessieren, warum das Problem immer nach x Tagen auftritt. Vllt sollte ich auch mal die Log Files ausschalten.
Nach einem Hard Reboot komme ich jetzt gar nicht mehr auf die Seite.

[Zwer2k]

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

[jomjol]

Hallo @Zwer2k,

• Modem-Sleep wird nicht aktiviert - ESP32 sollte dauerhaft als Webserver erreichbar sein
• Von einer Verwendung als Gateway würde ich absehen. Die Bilderkennung fordert den ESP32 ziemlich (100% Core für ~ 2 Minuten). Unverstandene Reboots gibt es auch immer wieder. Daher würde ich aktuell keine weiteren Funktionen implementieren.

Gruß,
jomjol

[jomjol]

@Zwer2k sagte in Wasserzähler - Version 2 - all-in-device:

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

Idee ist gut - kann hier jemand unterstützen und rollierende Aufräumroutinen programmieren? Da im Filename das Datum drin steht, könnte man das mit wenig Aufwand erstellen.
Für das Logfile könnte man ja auch 1 Logfile pro Tag und alte Logs dann nach x-Tagen löschen.
Wer Lust/Zeit hat gerne melden, ich kann dann Hinweise geben, wo der beste Start ist. Idealerweise als folk in Github, dann kann ich es anschließend in einem Merge einbinden. Ich selbst komme die nächsten 1-2 Wochen nicht dazu, neue Features zu implementieren.

Temporäre Alternative: Deaktiveren der Log-Files.

Beste Grüße,
jomjol

[coyote]

@jomjol nach formatieren und neu beschreiben der SD-Karte läuft alles wieder, habe die Log Files jetzt auch mal deaktiviert. Werde bei beobachten, ob es jetzt besser läuft

[Hasont]

@coyote sagte in Wasserzähler - Version 2 - all-in-device:

@jomjol nach formatieren und neu beschreiben der SD-Karte läuft alles wieder, habe die Log Files jetzt auch mal deaktiviert. Werde bei beobachten, ob es jetzt besser läuft

Habe jetzt auch SD Karte gewechselt und Log Dateien gelöscht. Auch gleich Update auf neue Firmware und HTML gemacht.
Ging alles Problemlos. Mal sehen was die nächsten Tage bringen.

[Zwer2k]

@jomjol
Bei Modem-Sleep bleibt der ESP per WLAN erreichbar, es wird nur nicht mit voller Leistung gesendet, der sollte der AP nicht zu weit entfernt sein ich denke das Modem wird in kurzen Intervallen abgeschaltet daher Modem-Sleep (So verstehe ich es zumindest). Hier zieht ESP nur ca. 1/2 der normalen Leistung (hab ich getestet).

esp_wifi_set_ps(WIFI_PS_MAX_MODEM);
esp_wifi_set_ps(WIFI_PS_MIN_MODEM);
esp_wifi_set_ps(WIFI_PS_NONE);

Nicht erreichbar ist ESP nur bei light-sleep und deep-sleep.

esp_light_sleep_start();
esp_deep_sleep_start();

Theoretisch könnte zusätzlich während nicht gerechnet wird und niemand auf die Oberfläche zugreift noch der CPU-Takt herab gesetzt werden.

setCpuFrequencyMhz(80);
setCpuFrequencyMhz(240);

[Zwer2k]

@jomjol sagte in Wasserzähler - Version 2 - all-in-device:

@Zwer2k sagte in Wasserzähler - Version 2 - all-in-device:

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

Idee ist gut - kann hier jemand unterstützen und rollierende Aufräumroutinen programmieren? Da im Filename das Datum drin steht, könnte man das mit wenig Aufwand erstellen.
Für das Logfile könnte man ja auch 1 Logfile pro Tag und alte Logs dann nach x-Tagen löschen.
Wer Lust/Zeit hat gerne melden, ich kann dann Hinweise geben, wo der beste Start ist. Idealerweise als folk in Github, dann kann ich es anschließend in einem Merge einbinden. Ich selbst komme die nächsten 1-2 Wochen nicht dazu, neue Features zu implementieren.

Temporäre Alternative: Deaktiveren der Log-Files.

Beste Grüße,
jomjol

Kann ich mir mal anschauen, dürfte ja nicht zu kompliziert sein.
Wo wäre den die Funktonalität am besten untergebracht?

Hab mir kurz mal den Code angeschaut. Aufgenommene Bilder werden ja zuerst unter /img_tmp/raw.jpg abgelegt also immer überschrieben. Wenn die Bilder alle 5min aufgenommen werden, dann sind es nach einem Jahr schon 100.000 mal. Ich glaube da werden schon meiste Karten tot sein. Einige werden vermutlich schon viel früher defekte aufweisen, was eventuell die Probleme erklären könnte. Außer die Karten habe eine Logik die Datei immer wo anderes zu legen, was ich nicht glaube.

[jomjol]

@Zwer2k Ja das mit dem Schreiben könnte ein Problem sein. Alternative wäre, alles über den Speicher zu machen. Da aber manche der neuronalen Netze schon 1.4 MB belegen und die verwendeten Bibliotheken die Bilder im Raw Format, je nach Auflösung auch > 1MB und für die Verarbeitung auch mehrfach (Orginal und bearbeitete Kopie) verwenden, habe ich momentan den Zwischenweg über die SD-Karte gewählt.

Erzeugt werden die Log-Files an folgenden Stellen:

1. Log.txt auf root: Bibliothek: \lib\jomjol_logfile\
2. Abspeichern der Bilder:
   Analog: \lib\jomjol_flowcontroll\ClassFlowAnalog.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)
   Digital: \lib\jomjol_flowcontroll\ClassFlowDigit.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)

Ich würde jedoch vorschlagen, nicht dort einzugreifen, sondern am Ende des Flows eine "Aufräumaktion" aufzunehmen. Dort kann man dann auch parameterisiert z.B. die letzten x-Tage / Stunden ... Files wieder löschen.

[jomjol]

Hallo @Zwer2k,
danke für die Erklärung - klingt machbar. Frage ist, ob jemand dieses Feature benötigt.

Mein ESP32 rechnet von dem 4.85 Minuten Zyklus ca 2.5 Minuten, d.h. ich könnte nur für ca. 50% den Strom um die hälfte Sparen. Sinn macht das natürlich, wenn der Zyklus in deutlich längeren Zeitspannen gemessen wird.

Du könntest einfach mal ein Feature-Request als Issue in Github anstossen. Dann geht die Idee auch nicht verloren.

[pfried]

@Hasont @coyote Hi Gents, ich kann Euch nur empfehlen Euch die ScanDisk MaxEndurance SD Karten zuzulegen. Ich hatte noch nie ein Problem mit diesen speziellen SD Cards und soviel teurer sind diese auch nicht:

[Hasont]

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

[Hasont]

@Hasont sagte in Wasserzähler - Version 2 - all-in-device:

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

Übrigends ist das Log ne Stunde voraus, im Value stimmt die Uhrzeit

[MichMein]

@Hasont hi,
mach doch in der config mal das Debug an, dann könntest Du auch eventuell sehen warum er neu startet.

[spaceduck]

Ich hätte noch diverse Zwischenringe (2x klein und 1x groß) aus dem Projekt hier verfügbar die ich gegen Erstattung der Portokosten abgebe.
Wenn die jemand haben möchte bitte kurze Info, sonst fliegen sie in den Müll. Die Teile sind im SLS Verfahren gedruckt worden, Material PA2200