Wasserzähler - Version 2 - all-in-device

[Zwer2k]

Danke dir noch einmal @jomjol .

auf 1) hätte ich auch selbst kommen könne.
2) verwende ich bereits. Es kann aber sein, dass zu dem Zeitpunkt als ich die Meldung gesehen habe noch meine Test-Einstellungen die ich nach dem Crash durchprobiert habe. Jetzt habe ich wieder meine Sicherung zurück gespielt.

Noch zwei/drei kurze Fragen:

• Wird um Energie zu sparen Modem-Sleep aktiviert? Oder gibt es dazu eine Einstellung?
• Mein Zähler sitzt nicht weit von meiner Heizung. Ist es denkbar, dass ich den Zähler als Gateway für ein Arduino verwende um die Heizung auszulesen/zu steuern? Kann der ESP während der Bildverarbeitung andere Threads bedienen?

Gruß
Zwer2k

[Hasont]

@pfried @jomjol
Hallo, hatte ja vor 2 Wochen auch das Projekt erfolgreich gestartet bin aber mit Arbeit und Garten nicht mehr dazu gekommen das im IoBroker einzubringen. Jetzt sah ich gerade im Keller die rote LED und nachdem bisher immer alles richtig war hab ich mir das LOG angesehen. >>> Ich habe ---- Main Startet ---- im 3 min Takt. Am 15. 10 war das 4 mal und wurde lt. Log dann täglich mehr. Habt Ihr da schon ne Lösung gefunden? Meine Version ist "master - v3.0.0 - 2020-10-14" und da steht ja schon eine Lesezeit von 4,85 drin. Würde heute Abend mal die .ini der SD Karte abspeichern und dann formatieren und neu bespielen. Außer Ihr habt ne andere Idee.
Hier mal Auszüge aus der Log Datei. Wenn Debug erwünscht schalte ich das gerne ein.

LG Horst

[coyote]

Hallo @jomjol, ja wahrscheinlich. Hatte ich ja vor 14 Tagen schonmal gemacht, dann lief es wieder. Mich würde nur interessieren, warum das Problem immer nach x Tagen auftritt. Vllt sollte ich auch mal die Log Files ausschalten.
Nach einem Hard Reboot komme ich jetzt gar nicht mehr auf die Seite.

[Zwer2k]

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

[jomjol]

Hallo @Zwer2k,

• Modem-Sleep wird nicht aktiviert - ESP32 sollte dauerhaft als Webserver erreichbar sein
• Von einer Verwendung als Gateway würde ich absehen. Die Bilderkennung fordert den ESP32 ziemlich (100% Core für ~ 2 Minuten). Unverstandene Reboots gibt es auch immer wieder. Daher würde ich aktuell keine weiteren Funktionen implementieren.

Gruß,
jomjol

[jomjol]

@Zwer2k sagte in Wasserzähler - Version 2 - all-in-device:

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

Idee ist gut - kann hier jemand unterstützen und rollierende Aufräumroutinen programmieren? Da im Filename das Datum drin steht, könnte man das mit wenig Aufwand erstellen.
Für das Logfile könnte man ja auch 1 Logfile pro Tag und alte Logs dann nach x-Tagen löschen.
Wer Lust/Zeit hat gerne melden, ich kann dann Hinweise geben, wo der beste Start ist. Idealerweise als folk in Github, dann kann ich es anschließend in einem Merge einbinden. Ich selbst komme die nächsten 1-2 Wochen nicht dazu, neue Features zu implementieren.

Temporäre Alternative: Deaktiveren der Log-Files.

Beste Grüße,
jomjol

[coyote]

@jomjol nach formatieren und neu beschreiben der SD-Karte läuft alles wieder, habe die Log Files jetzt auch mal deaktiviert. Werde bei beobachten, ob es jetzt besser läuft

[Hasont]

@coyote sagte in Wasserzähler - Version 2 - all-in-device:

@jomjol nach formatieren und neu beschreiben der SD-Karte läuft alles wieder, habe die Log Files jetzt auch mal deaktiviert. Werde bei beobachten, ob es jetzt besser läuft

Habe jetzt auch SD Karte gewechselt und Log Dateien gelöscht. Auch gleich Update auf neue Firmware und HTML gemacht.
Ging alles Problemlos. Mal sehen was die nächsten Tage bringen.

[Zwer2k]

@jomjol
Bei Modem-Sleep bleibt der ESP per WLAN erreichbar, es wird nur nicht mit voller Leistung gesendet, der sollte der AP nicht zu weit entfernt sein ich denke das Modem wird in kurzen Intervallen abgeschaltet daher Modem-Sleep (So verstehe ich es zumindest). Hier zieht ESP nur ca. 1/2 der normalen Leistung (hab ich getestet).

esp_wifi_set_ps(WIFI_PS_MAX_MODEM);
esp_wifi_set_ps(WIFI_PS_MIN_MODEM);
esp_wifi_set_ps(WIFI_PS_NONE);

Nicht erreichbar ist ESP nur bei light-sleep und deep-sleep.

esp_light_sleep_start();
esp_deep_sleep_start();

Theoretisch könnte zusätzlich während nicht gerechnet wird und niemand auf die Oberfläche zugreift noch der CPU-Takt herab gesetzt werden.

setCpuFrequencyMhz(80);
setCpuFrequencyMhz(240);

[Zwer2k]

@jomjol sagte in Wasserzähler - Version 2 - all-in-device:

@Zwer2k sagte in Wasserzähler - Version 2 - all-in-device:

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

Idee ist gut - kann hier jemand unterstützen und rollierende Aufräumroutinen programmieren? Da im Filename das Datum drin steht, könnte man das mit wenig Aufwand erstellen.
Für das Logfile könnte man ja auch 1 Logfile pro Tag und alte Logs dann nach x-Tagen löschen.
Wer Lust/Zeit hat gerne melden, ich kann dann Hinweise geben, wo der beste Start ist. Idealerweise als folk in Github, dann kann ich es anschließend in einem Merge einbinden. Ich selbst komme die nächsten 1-2 Wochen nicht dazu, neue Features zu implementieren.

Temporäre Alternative: Deaktiveren der Log-Files.

Beste Grüße,
jomjol

Kann ich mir mal anschauen, dürfte ja nicht zu kompliziert sein.
Wo wäre den die Funktonalität am besten untergebracht?

Hab mir kurz mal den Code angeschaut. Aufgenommene Bilder werden ja zuerst unter /img_tmp/raw.jpg abgelegt also immer überschrieben. Wenn die Bilder alle 5min aufgenommen werden, dann sind es nach einem Jahr schon 100.000 mal. Ich glaube da werden schon meiste Karten tot sein. Einige werden vermutlich schon viel früher defekte aufweisen, was eventuell die Probleme erklären könnte. Außer die Karten habe eine Logik die Datei immer wo anderes zu legen, was ich nicht glaube.

[jomjol]

@Zwer2k Ja das mit dem Schreiben könnte ein Problem sein. Alternative wäre, alles über den Speicher zu machen. Da aber manche der neuronalen Netze schon 1.4 MB belegen und die verwendeten Bibliotheken die Bilder im Raw Format, je nach Auflösung auch > 1MB und für die Verarbeitung auch mehrfach (Orginal und bearbeitete Kopie) verwenden, habe ich momentan den Zwischenweg über die SD-Karte gewählt.

Erzeugt werden die Log-Files an folgenden Stellen:

1. Log.txt auf root: Bibliothek: \lib\jomjol_logfile\
2. Abspeichern der Bilder:
   Analog: \lib\jomjol_flowcontroll\ClassFlowAnalog.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)
   Digital: \lib\jomjol_flowcontroll\ClassFlowDigit.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)

Ich würde jedoch vorschlagen, nicht dort einzugreifen, sondern am Ende des Flows eine "Aufräumaktion" aufzunehmen. Dort kann man dann auch parameterisiert z.B. die letzten x-Tage / Stunden ... Files wieder löschen.

[jomjol]

Hallo @Zwer2k,
danke für die Erklärung - klingt machbar. Frage ist, ob jemand dieses Feature benötigt.

Mein ESP32 rechnet von dem 4.85 Minuten Zyklus ca 2.5 Minuten, d.h. ich könnte nur für ca. 50% den Strom um die hälfte Sparen. Sinn macht das natürlich, wenn der Zyklus in deutlich längeren Zeitspannen gemessen wird.

Du könntest einfach mal ein Feature-Request als Issue in Github anstossen. Dann geht die Idee auch nicht verloren.

[pfried]

@Hasont @coyote Hi Gents, ich kann Euch nur empfehlen Euch die ScanDisk MaxEndurance SD Karten zuzulegen. Ich hatte noch nie ein Problem mit diesen speziellen SD Cards und soviel teurer sind diese auch nicht:

[Hasont]

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

[Hasont]

@Hasont sagte in Wasserzähler - Version 2 - all-in-device:

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

Übrigends ist das Log ne Stunde voraus, im Value stimmt die Uhrzeit

[MichMein]

@Hasont hi,
mach doch in der config mal das Debug an, dann könntest Du auch eventuell sehen warum er neu startet.

[spaceduck]

Ich hätte noch diverse Zwischenringe (2x klein und 1x groß) aus dem Projekt hier verfügbar die ich gegen Erstattung der Portokosten abgebe.
Wenn die jemand haben möchte bitte kurze Info, sonst fliegen sie in den Müll. Die Teile sind im SLS Verfahren gedruckt worden, Material PA2200

[Hasont]

@pfried @mcchickents
Hallo, hab den alten Thread mal durchgelesen und denke ich könnte eure Einbindung in den IoBrocker gut gebrauchen. Hab dann den Parser installiert und die Daten werden mir auch angezeigt.
Dann habe ich unter JavaScripts einen Ordner Wasserverbrauch angelegt und darin das Blockly von @mcchickents eingefügt. So wie ich das sehe startet es auch ohne Fehler. Hab dann meine 3N Stellen angepasst.

Was bedeutet das hm-rega, sind das nur Datenfelder?

Leider komme ich jetzt nicht mehr so recht weiter. Es wird mir ein Objekt angelegt aber scheinbar fehlen mir die nötigen Ausgabefelder.

Ich werde da aus dem alten Thread jetzt nicht ganz schlau. Da steht mal was von neue Instanzen anlegen und dann soll man unter Javascript neue Variablen anlegen (siehe Info aus dem alten Thread an QC1500)

Denke ich brauch da mal eure Hilfe.
Wasseruhr Blockly.txt

Update 1:
Hab jetzt noch 3 Variablen angelegt und bekomme Daten.

Was aber hat es mit hm-rega.0.3xxxx auf sich?
Wenn ich die auch als Variable anlegen möchte wird das immer in einem eigenem Pfad angelegt

Update 2:
Denke das Blockly ist neuer und ich brauch auch die hm-rega Variablen.
Hab die jetzt als HM965 - HM103 angelegt und im Blockly entsprechend zugeordnet.
Bei 969 hab ich schon ne 0 bekommen (müsste Verbrauch 5min sein)
Mal sehen was die Tage da so passiert.

Zum Thema mit dem Reset alle ca. 3,5 Stunden hab ich das Log jetzt mal eingeschaltet.

Ev. habt Ihr ja ein Script das über Blockly direkt ohne HomeMatic funktioniert.
Ziel sollte es sein den Wasserverbrauch aufzuzeigen und in der Urlaubsphase einen Wasserverbrauch außerhalb der Gießzeiten über Telegram zu melden um Notfalls den Haupthahn abzusperren.

Danke schon mal für eure Hilfe
Horst

[spaceduck]

@Hasont
Wieso schickst Du die Werte nicht per mqtt an den iobroker? Das geht super easy ohne Scripte, Parser & Co...

[Hasont]

@spaceduck Mach ich noch, betrifft aber ja nur das Auslesen der Rohdaten.
Ich möchte aber ja weitere Daten mit denen ich im Urlaub bewerten kann ob ein ungewollter Wasserverbrauch stattfindet damit ich notfalls das Wasser automatisch oder von Hand abstellen kann.
Was hätte mqtt denn für Vorteile?
LG Horst