Wasserzähler - Version 2 - all-in-device

[Zwer2k]

@jomjol sagte in Wasserzähler - Version 2 - all-in-device:

@Zwer2k sagte in Wasserzähler - Version 2 - all-in-device:

Die Dateien sollten eventuell in Unterverzeichnisse 1/Tag verteilt sein, damit sich in einem Verzeichnis nicht zu viele sammeln. Am besten rotierend, damit die SD-Karte nicht voll läuft. Bei mir wäre die Karte nach 2Monaten voll.

Idee ist gut - kann hier jemand unterstützen und rollierende Aufräumroutinen programmieren? Da im Filename das Datum drin steht, könnte man das mit wenig Aufwand erstellen.
Für das Logfile könnte man ja auch 1 Logfile pro Tag und alte Logs dann nach x-Tagen löschen.
Wer Lust/Zeit hat gerne melden, ich kann dann Hinweise geben, wo der beste Start ist. Idealerweise als folk in Github, dann kann ich es anschließend in einem Merge einbinden. Ich selbst komme die nächsten 1-2 Wochen nicht dazu, neue Features zu implementieren.

Temporäre Alternative: Deaktiveren der Log-Files.

Beste Grüße,
jomjol

Kann ich mir mal anschauen, dürfte ja nicht zu kompliziert sein.
Wo wäre den die Funktonalität am besten untergebracht?

Hab mir kurz mal den Code angeschaut. Aufgenommene Bilder werden ja zuerst unter /img_tmp/raw.jpg abgelegt also immer überschrieben. Wenn die Bilder alle 5min aufgenommen werden, dann sind es nach einem Jahr schon 100.000 mal. Ich glaube da werden schon meiste Karten tot sein. Einige werden vermutlich schon viel früher defekte aufweisen, was eventuell die Probleme erklären könnte. Außer die Karten habe eine Logik die Datei immer wo anderes zu legen, was ich nicht glaube.

[jomjol]

@Zwer2k Ja das mit dem Schreiben könnte ein Problem sein. Alternative wäre, alles über den Speicher zu machen. Da aber manche der neuronalen Netze schon 1.4 MB belegen und die verwendeten Bibliotheken die Bilder im Raw Format, je nach Auflösung auch > 1MB und für die Verarbeitung auch mehrfach (Orginal und bearbeitete Kopie) verwenden, habe ich momentan den Zwischenweg über die SD-Karte gewählt.

Erzeugt werden die Log-Files an folgenden Stellen:

1. Log.txt auf root: Bibliothek: \lib\jomjol_logfile\
2. Abspeichern der Bilder:
   Analog: \lib\jomjol_flowcontroll\ClassFlowAnalog.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)
   Digital: \lib\jomjol_flowcontroll\ClassFlowDigit.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)

Ich würde jedoch vorschlagen, nicht dort einzugreifen, sondern am Ende des Flows eine "Aufräumaktion" aufzunehmen. Dort kann man dann auch parameterisiert z.B. die letzten x-Tage / Stunden ... Files wieder löschen.

[jomjol]

Hallo @Zwer2k,
danke für die Erklärung - klingt machbar. Frage ist, ob jemand dieses Feature benötigt.

Mein ESP32 rechnet von dem 4.85 Minuten Zyklus ca 2.5 Minuten, d.h. ich könnte nur für ca. 50% den Strom um die hälfte Sparen. Sinn macht das natürlich, wenn der Zyklus in deutlich längeren Zeitspannen gemessen wird.

Du könntest einfach mal ein Feature-Request als Issue in Github anstossen. Dann geht die Idee auch nicht verloren.

[pfried]

@Hasont @coyote Hi Gents, ich kann Euch nur empfehlen Euch die ScanDisk MaxEndurance SD Karten zuzulegen. Ich hatte noch nie ein Problem mit diesen speziellen SD Cards und soviel teurer sind diese auch nicht:

[Hasont]

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

[Hasont]

@Hasont sagte in Wasserzähler - Version 2 - all-in-device:

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

Übrigends ist das Log ne Stunde voraus, im Value stimmt die Uhrzeit

[MichMein]

@Hasont hi,
mach doch in der config mal das Debug an, dann könntest Du auch eventuell sehen warum er neu startet.

[spaceduck]

Ich hätte noch diverse Zwischenringe (2x klein und 1x groß) aus dem Projekt hier verfügbar die ich gegen Erstattung der Portokosten abgebe.
Wenn die jemand haben möchte bitte kurze Info, sonst fliegen sie in den Müll. Die Teile sind im SLS Verfahren gedruckt worden, Material PA2200

[Hasont]

@pfried @mcchickents
Hallo, hab den alten Thread mal durchgelesen und denke ich könnte eure Einbindung in den IoBrocker gut gebrauchen. Hab dann den Parser installiert und die Daten werden mir auch angezeigt.
Dann habe ich unter JavaScripts einen Ordner Wasserverbrauch angelegt und darin das Blockly von @mcchickents eingefügt. So wie ich das sehe startet es auch ohne Fehler. Hab dann meine 3N Stellen angepasst.

Was bedeutet das hm-rega, sind das nur Datenfelder?

Leider komme ich jetzt nicht mehr so recht weiter. Es wird mir ein Objekt angelegt aber scheinbar fehlen mir die nötigen Ausgabefelder.

Ich werde da aus dem alten Thread jetzt nicht ganz schlau. Da steht mal was von neue Instanzen anlegen und dann soll man unter Javascript neue Variablen anlegen (siehe Info aus dem alten Thread an QC1500)

Denke ich brauch da mal eure Hilfe.
Wasseruhr Blockly.txt

Update 1:
Hab jetzt noch 3 Variablen angelegt und bekomme Daten.

Was aber hat es mit hm-rega.0.3xxxx auf sich?
Wenn ich die auch als Variable anlegen möchte wird das immer in einem eigenem Pfad angelegt

Update 2:
Denke das Blockly ist neuer und ich brauch auch die hm-rega Variablen.
Hab die jetzt als HM965 - HM103 angelegt und im Blockly entsprechend zugeordnet.
Bei 969 hab ich schon ne 0 bekommen (müsste Verbrauch 5min sein)
Mal sehen was die Tage da so passiert.

Zum Thema mit dem Reset alle ca. 3,5 Stunden hab ich das Log jetzt mal eingeschaltet.

Ev. habt Ihr ja ein Script das über Blockly direkt ohne HomeMatic funktioniert.
Ziel sollte es sein den Wasserverbrauch aufzuzeigen und in der Urlaubsphase einen Wasserverbrauch außerhalb der Gießzeiten über Telegram zu melden um Notfalls den Haupthahn abzusperren.

Danke schon mal für eure Hilfe
Horst

[spaceduck]

@Hasont
Wieso schickst Du die Werte nicht per mqtt an den iobroker? Das geht super easy ohne Scripte, Parser & Co...

[Hasont]

@spaceduck Mach ich noch, betrifft aber ja nur das Auslesen der Rohdaten.
Ich möchte aber ja weitere Daten mit denen ich im Urlaub bewerten kann ob ein ungewollter Wasserverbrauch stattfindet damit ich notfalls das Wasser automatisch oder von Hand abstellen kann.
Was hätte mqtt denn für Vorteile?
LG Horst

[spaceduck]

@Hasont said in Wasserzähler - Version 2 - all-in-device:

Ich möchte aber ja weitere Daten mit denen ich...

Mmh, ich glaube wir reden aneinander vorbei. Der Aufbau liefert doch eh nur den Zählerstand! Den Zählerstand direkt vom Gerät via mqtt in einen Datenpunkt schreiben, dann kannst Du Dich mit Scripten austoben, also das mit dem ungewollten Wasserverbrauch programmieren und so...

[schweigel]

Hallo,

erstmal vielen Dank für die tolle Arbeit an dem Projekt.
Bisher hatte ich mehrere Versionen im Einsatz. Leider durch schlechte WLAN Verbindung nicht wirklich produktiv. Da habe ich nun nachgerüstet → externe Antenne an der ESP32CAM. Die Verbindung ist nun deutlich besser und ich habe auf die aktuelle Version mit MQTT aktualisiert.
Nun stehe ich bei folgendem Problem, das er die Zahlen und Zeiger nicht mehr erkennt.

Hat da jemand einen Tipp für mich?

Grüße

[jomjol]

Hallo @schweigel,

so ein Fehlerbild habe ich noch nie gesehen! Aber die "-1" ist der Defaultwert, wenn die neuronalen Bilderkennung keine Werte liefert. Ich würde also mal die tflite-Files in der config.ini die Dateinamen mit den Dateinamen in /config Verzeichnis abgleichen (z.B. Model=/config/dig0650s3.tflite).

[schweigel]

@jomjol

Es stand auf Model=/config/dig0640s3.tflite und die Datei ist auch vorhanden.

Habe dann noch die Datei dig0650s3.tflite runter geladen und die config.ini entsprechend aktualisiert. Der Fehler bleibt aber.

[Zwer2k]

Hallo @schweigel ,

scheint gleicher Fehler wie ich vor kurzem hatte zu sein. Ich habe den Fehler durch formatieren der SD-Karte weg bekommen.
Ich vermurte, dass durch häufiges beschreiben der SD-Karte Sektoren der Karte beschädigt werden.
Könntest du bitte versuchen folgende Datein von der SD-Karte zu löschen und zu testen ob es wieder funktioniert?
/log.txt
/img_tmp/ <-- hier alle Dateien
Sollte per "File Server" über die Web-Oberfläche möglich sein.

Gruß
Zwer2k

[coyote]

@schweigel da muss ich @Zwer2k zustimmen, konnte dies auch mal beobachten. Nach formatieren und neu beschreiben der SD-Karte lief es wieder

[Zwer2k]

Hallo @jomjol,

ich versuche gerade das Rotieren der Log-Dateien und -Bilder zu implementieren.
Rotation von log.txt habe ich bereits implementiert. Bei den Bildern bin ich auf interessanten Effekt gestoßen.
Wenn ich in der Funktion ClassFlowAnalog::doNeuralNetwork nach dem Aufruf tflite->MakeAllocate() ein Verzeichnis erstelle z.B. so mkdir("/sdcard/log/analog/abc", S_IRWXU), wird das Verzeichnis zwar erstellt, der ESP stürzt aber anschließend in der Funktion tflite->LoadInputImage(ioresize); in folgender Zeile ab

float* input_data_ptr = (interpreter->input(0))->data.f;

Wenn ich das Verzeichnis gleich am Anfang von der Funktion doNeuralNetwork erstelle, gibt es keine Probleme.

Da ich nicht genau weiß wie die TFLite-Lib funktioniert, kann ich mir das Verhalten nicht erklären. Kannst du es Verstehen / macht das Sinn?
Eventuell hat es auch etwas mit den Abstürzen zutun die immer wieder auftreten.

Gruß
Zwer2k

[jomjol]

Hallo @Zwer2k,

das ist in der Tat eine sehr spannende Beobachtung. Ich kenne diesen Fehler mit dem "mkdir" nicht, verwende aber auch "mkdir" gar nicht. Kannst du mal testen, ob der Fehler auch auftritt, wenn du an dieser Stelle ein File einfach nur öffnest und liest?
Dann könnte das derselbe Effekt sein, der auch für die Reboots sorgt. Diese Stelle im Code ist diesbezüglich sehr auffällig. Wenn du da genauer rein schaust, findest du, dass ich dort sogar zwei jpg/bmp Bibliotheken verwende, damit es funktioniert.
Was da passiert bin ich noch nicht dahinter gestiegen. Leider schaffe ich es nicht einen Debugger anzuschließen :-(.
Wenn du willst können wir uns das auch mal gemeinsam in einer skype Session anschauen - wäre super, wenn diese Reboots endlich verstanden wurden.
Gruß,
jomjol

[schweigel]

@Zwer2k
Danke, habe die Karte nochmal formatiert und die Daten wieder drauf kopiert, nun geht es.