[Linux Shell-Skript] WLAN-Wetterstation

[sebhoff]

Mhm - nein, da war nicht das shorttermBucket angegeben. Aber ich dachte, dass auch das longtermBucket für das Statistik-Skript benutzt wird. Habe es nun mal auf TempData geändert und schaue, was morgen früh passiert sein wird.

[sebhoff]

Mhm - das scheint nicht geklappt zu haben. Leider hatte ich anscheinend die Instanz-Nummer nicht auch noch abgeändert. Dann schauen wir mal morgen...

[Rene55]

@sborg Frage in die Runde: Habt ihr auch eine Mail von Weather Underground bekommen zur Änderung des Passwords?

[Neuschwansteini]

@rene55

Ja

[Negalein]

@rene55 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Änderung

yes

[Rene55]

@negalein @ilovegym Mercy

[Boronsbruder]

@rene55 said in [Linux Shell-Skript] WLAN-Wetterstation:

@sborg Frage in die Runde: Habt ihr auch eine Mail von Weather Underground bekommen zur Änderung des Passwords?

Nö...

Edith:
Aber als ich mich einloggen wollte, wurde mir mitgeteilt, dass ich mein Passwort zurücksetzen müsste....

[Nashra]

Auch keine Mail bekommen, aber mußte auch ein neues Passwort vergeben als ich mich dort einloggen wollte.

[sebhoff]

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

@sebhoff sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Also Regen_Tag wird in die shorttermBucket geschrieben - ebenso wie Wind_max

...und den Namen und Instanz hast du dann auch im Statistikscript angegeben?
So wie das aktuell aussieht schreibst du in ein anderes Bucket als das aus welchem du dann die Daten ließt.

Also bei mir sieht das so aus:

Und dann die Config des Statistik-Skripts:

Und die DB heißt auch definitiv TempData:

Ich weiß echt nicht mehr, was ich noch anders machen sollte...?

[Boronsbruder]

@sebhoff

Es ist schon Absicht, dass die Statistik-Daten unter javascript.0. abgelegt werden?

[SBorg]

@boronsbruder Ist aber nicht unbedingt maßgeblich, die werden ja nur dort abgespeichert und von nichts anderem sonst mehr angerührt, außer man greift da per Blockly etc. darauf zu.

@sebhoff Sieht jetzt soweit gut aus. Hast du mal mit dem Influx-Explorer nachgeschaut ob auch wirklich Daten (Temp, wind und Regen) in deinem "TempData"-Bucket landen?

[Boronsbruder]

@sborg
Ich dachte eher, dass er umgestellt hat von 'javavscript.0.' auf '0_userdata.' und dort noch die alten Daten sind

[sebhoff]

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

@sebhoff Sieht jetzt soweit gut aus. Hast du mal mit dem Influx-Explorer nachgeschaut ob auch wirklich Daten (Temp, wind und Regen) in deinem "TempData"-Bucket landen?

Also soweit ich sehen kann, kommt da alles an... Zum Beispiel:

[sebhoff]

@boronsbruder said in [Linux Shell-Skript] WLAN-Wetterstation:

@sborg
Ich dachte eher, dass er umgestellt hat von 'javavscript.0.' auf '0_userdata.' und dort noch die alten Daten sind

Ja - wäre möglich gewesen, danke! Der Statistik-Ordner ist aber nur unter 'javavscript.0.' zu finden...

[sebhoff]

OK - ich könnte die Fehlerquelle gefunden haben (?): 0_userdata.0.Wetterstation.Aussentemperatur wird bei mir nicht in TempData sondern in die andere Instanz abgespeichert.

Ich nehme an, dass dann der ganze flux-query in den Zeilen 171-2 im Statistik-Skript auf die Nase fällt und deshalb auch die Werte für Regen und Wind nicht gelesen/verarbeitet werden?

Ich muss zugeben, dass ich das mit dem Abspeichern in verschiedene Instanzen nicht ganz verstanden habe. Es leuchtet ein, dass man nicht alle Datenpunkte auf ewig speichern will - aber welche in die dauerhafte Bucket müssen/sollen habe ich anscheinend noch nicht ganz durchschaut. Werde wohl noch mehr lesen müssen...

Ich werde natürlich auch noch selber suchen, aber vielleicht ist das ja für jemanden hier ganz einfach: bekomme ich jetzt die Werte der letzten Wochen für 0_userdata.0.Wetterstation.Aussentemperatur irgendwie ganz einfach in die shorttermBucket? Oder soll ich einfach ab sofort umstellen?

[SBorg]

@boronsbruder sagte in [Linux Shell-Skript] WLAN-Wetterstation:

@sborg
Ich dachte eher, dass er umgestellt hat von 'javavscript.0.' auf '0_userdata.' und dort noch die alten Daten sind

Zum Teil ja, aber die Eingangsfrage war Temp geht, nur Wind und Regen nicht. Bei falschem Verzeichnis müssten dann aber alle drei nicht gehen
...auch wenn sie da offenbar gar nicht liegen sollen.

@sebhoff sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Der Statistik-Ordner ist aber nur unter 'javavscript.0.' zu finden...

So hast du es im Statistik-Skript aber eingetragen. Dass meinte @Boronsbruder auch mit seiner Frage "ob das Absicht ist".

[SBorg]

@sebhoff sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Ich nehme an, dass dann der ganze flux-query in den Zeilen 171-2 im Statistik-Skript auf die Nase fällt und deshalb auch die Werte für Regen und Wind nicht gelesen/verarbeitet werden?

Jepp, da dass eine einzige Abfrage für alle drei Werte ist.

Du musst die Daten alle in ein einziges Bucket loggen. Da die Datenflut aber immens ist (Standardmäßig so alle 30 Sekunden ein Datensatz), sollte man sich überlegen was man wie lange aufheben möchte.
Ich brauche bspw. keine Aussentemperatur vom 18.04.2023 (oder älter) um 14:23:58 Uhr.
Deshalb sollte man in ein Bucket loggen und dem eine feste Retention von bspw. 30 Tagen verpassen. Damit fliegt alles was älter als 30 Tage ist aus dem Bucket raus. Was ich länger aufheben möchte "shiftet" man nun mittels eines Influx-Tasks in ein anderes Bucket (zB. Retention "never") und kann dabei auch noch die Datenflut eingrenzen (zB. die Aussentemp auf ein 15 Minuten-Raster aggregieren). So werden aus ~43k Datensätzen alleine für die Temperatur täglich mal schlanke 96 (!) und ich habe trotzdem noch einen guten Temperaturverlauf bspw. von vor einem Jahr.

Die Daten kannst du per Abfrage eingrenzen und als CSV exportieren, dann als Annotated CSV in ein anderes Bucket wieder importieren. Hatte ich so erst vor kurzem @Negalein hier im Thread ausfühtlicher erklärt.

[sebhoff]

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

Die Daten kannst du per Abfrage eingrenzen und als CSV exportieren, dann als Annotated CSV in ein anderes Bucket wieder importieren. Hatte ich so erst vor kurzem @Negalein hier im Thread ausfühtlicher erklärt.

OK - danke für die Erklärungen. Das wird mich wohl wieder Stunden (wenn nicht Tage) kosten... Anscheinend gibt es den simplen "Export CSV" Button seit 2.7.0 nicht mehr, wenn man nicht mit https arbeitet. Und ein mal kurz installiertes CLI produziert bei jedem Versuch, einen Query laufen zu lassen, den Fehler

Error: failed to execute query: 404 Not Found: unable to decode response content type "text/html"

[babl]

@sebhoff frage:

muß ich für die Wetterstation und die Statistik, eine neue influx instanz anlegen, da ja die default nur in die iobroker influx schreibt oder wie läuft das genau ab, denn ich habe mir in der influxdb ein neues bucket erstellt so daß nicht sämtliche daten in das bucket iobroker geschrieben werden aber so richtig blicke ich da noch nicht durch, sorry dafür. Alles andere läuft bereits danke @SBorg

[sebhoff]

@sebhoff said in [Linux Shell-Skript] WLAN-Wetterstation:

Das wird mich wohl wieder Stunden (wenn nicht Tage) kosten...

OK - habe wohl eine einfache Möglichkeit gefunden. Ich stoppe das logging in das longtermBucket und starte sofort mit dem logging in das shorttermBucket. Dann mache ich via "Data Explorer" eine Abfrage, die alle Einträge aus dem longtermBucket als Resultat hat, erstelle einen Task, der diesen Flux Query theoretisch regelmäßig ausführen könnte und schreibe die Resultate in das shorttermBucket. Diesen Task lasse ich einmal manuell laufen und lösche ihn anschließend wieder - et voilà, alles ist drüben. Oder habe ich da was falsch verstanden?
Dann werde ich nun wieder mal bis morgen früh warten und schauen, ob es nun endlich funktioniert. Anschließend kann ich mir dann Gedanken machen, wie ich ausgedünnte Daten in einem longtermBucket dauerhaft speichere.
(PS: Ist es eigentlich die, der oder das Bucket? )