[Linux Shell-Skript] WLAN-Wetterstation

[SBorg]

@ilovegym sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Die Influx-Instanz ist bei mir Nr.1, da die Instanz 0 noch von der V1 belegt wurde, also das funktioniert auch, nur so zur Info..

Danke für die Rückmeldung, ist bei mir ähnlich:

• 0: InfluxDB V1
• 1: V2 mit Retention "Never"
• 2: V2 mit Retention "7 Tage"

[west]

@sborg wann hast du geplant in Final Release zugehen?
Habe zurzeit noch Probleme mit mein Docker.

[Negalein]

@negalein sagte in [Linux Shell-Skript] WLAN-Wetterstation:

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Da ich gefühlt nur noch Influx-Fragen beantworte

ist es sinnvoll, bereits jetzt die Daten auch in Influx 2 zu loggen?
Hätte dann nur 5 Wochen verloren?

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

@negalein Ja, dann braucht man nur noch das Skript updaten und es geht sofort los.

wie sieht das aus, wenn nun die Daten in 0_userdata landen.
Dann fängt das Grafana Dashboard mit dem neuen DP 0_userdata an und alles von javascript.0 verschwindet aus dem Dashboard?
Und gibt es einen Trick, alle für das Dashboard benötigten 0_userdata.0.Wetterstation DP in einem Schwung für Influx zu aktivieren?

[Neuschwansteini]

@negalein

Hab mir die JSON des Dashboards in nen Editor geladen und alle JavaScript mit userdata ersetzen lassen.
Das hat soweit super funktioniert, nur sind halt die History erst ab heute da, aber damit kann ich leben.

[Negalein]

@ilovegym sagte in [Linux Shell-Skript] WLAN-Wetterstation:

nur sind halt die History erst ab heute da, aber damit kann ich leben.

Danke, so hatte ich es auch vor.

Weißt du, ob es für das einen Trick in ioB gibt?

Und gibt es einen Trick, alle für das Dashboard benötigten 0_userdata.0.Wetterstation DP in einem Schwung für Influx zu aktivieren?

[Neuschwansteini]

@negalein Moin,
ja, gibt es, aber dafuer muss man es von Anfang an "Richtig" machen, also mit Alias arbeiten, haetten wir vorher auf javascript.x.x n alias laufen gehabt, und den mit Influx getrackt, dann waere nix verloren.

So faellt mir erstmal nix ein, es sei denn, man kann in Influx da n Link zu den alten Daten setzen.. oder du nimmst fuer die History die alte View, und fuer aktuelles die neue View mit den userdata Datenpunkten..

[SBorg]

@west sagte in [Linux Shell-Skript] WLAN-Wetterstation:

@sborg wann hast du geplant in Final Release zugehen?
Habe zurzeit noch Probleme mit mein Docker.

Geplant eigentlich gar nicht. Ich warte immer so 1-2 Wochen nach dem Beta-Release ab ob da noch Fehlermeldungen kommen die ev. gefixt werden müssen. Ist dann "Ruhe" folgt das Release
btw: ich habe auch keinen festen "Sonntags" oä. Releasetag, sondern einfach so wenn es passt.

[SBorg]

@negalein sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Dann fängt das Grafana Dashboard mit dem neuen DP 0_userdata an und alles von javascript.0 verschwindet aus dem Dashboard?

Wenn du es nicht vorher patchst, ja.
Ich habe die V1 und V2 parallel am laufen und logge in beides. Dann habe ich mir die passenden DPs einzeln aus der V1 exportiert. In der exportierten CSV habe ich dann mittels sed (geht auch unter Windows mittels zB. notepad++) alle "javascript.0" durch "0_userdata.0" ersetzt und die CSV in das passende Bucket (hier eine Retention von "never" da ich diese Daten behalten will) importiert. Danach das loggen der entsprechenden DPs in die V1 deaktiviert und die Datenreihe in der V1 gedroppt. So komme ich nicht durcheinander was schon umgestellt ist und was nicht.

Was nicht aufgehoben werden muss (zB. Windrichtung etc. muss ja in die Influx, sonst kann man es so nicht in Grafana anzeigen, außer man nutzt dort SimpleAPI) landet nun im Bucket "temporäre Daten", welcher eine Retention von 7 Tagen hat (=alles darin wird also immer 7 Tage nach Erstellung gelöscht).

Mittlerweile ist so meine InfluxDB schon um ~1GB geschrumpft, da nun kein "Müll" mehr anfällt.
...und es wird noch viel weniger werden

[tritor]

@sborg

Ich habe InfluxDB 2 am Laufen. Wetterstation läuft mit Version 2.x. Influx disabled.
Einge DPs der Wetterstation logge ich mit InfluxDB 2.

Was ist der Unterschied wenn ich in der Wetterstation 3 und InfluxDB2 enabled benutze zu logging der einzelnen DPs?

[SBorg]

@tritor Aktiv schreibe ich weder in der <V3 noch in der aktuellen V3 etwas in die InfluxDB 1/2 hinein.
Was und wofür du also in InfluxDB etwas loggst ist völlig dir überlassen.

Die Influx-Funktionalität im Wetterskript macht nichts weiter als "interessante" (wie ich es für mich empfinde) Datenpunkte zur Verfügung zu stellen, wie min/max heute, der letzten 24 Stunden etc. Dafür muss natürlich dann auch bspw. die Außentemperatur geloggt werden, denn von der Station bekomme ich nur den aktuellen Wert. Da die meisten aber eh Influx schon für anderes benutzen, lag es nahe die zu nutzen. Wäre ja Blödsinn wenn ich jetzt noch eine eigene Datenbank anlegen würde. So kann ich dann recht einfach die Temperatur vor einem Jahr abfragen (solange man natürlich mindestens schon 1 Jahr loggt ). Und genau das ist es auch schon: eine Abfrage der InfluxDB. Mehr nicht. Ich nehme nur dem User, wenn er es denn möchte. die Arbeit ab, sich ein Blockly, JS, NodeRED... selbst zu bauen, um an die Werte zu kommen.
Deswegen funktioniert auch alles mit, oder eben auch ohne, InfluxDB. Es findet dann eben nur keine Abfrage statt und die Werte fehlen. Das war es aber auch schon. Ich logge nichts und schreibe (zumindest aktuell) nichts in die InfluxDB.

...aber einen Unterschied im Logging gibt es nicht. Wenn man, welche auch immer, Werte haben möchte, muss man sie in InfluxDB loggen. Ob ich die dann im Skript abfrage, oder man sie bspw. in Grafana nutzt ist absolut unerheblich bzw. identisch. Du loggst also ggf. maximal mitunter für das Skript.

Ich hoffe das war einigermaßen verständlich und nicht zu verquer ausgedrückt

[Negalein]

@sborg

bei mir wird mit V3 nichts in ioB geschrieben!

Edit: jetzt gehts

Hab dies vergessen. War noch auf javascript.0
Dachte das erledigt der Updater.

 #wo sollen die Datenobjekte abgelegt werden
  PRE_DP=0_userdata.0.Wetterstation

[Negalein]

noch was!

Wenn ich in Grafana Flux verwende, bekomm ich eine Verbindung.
(Nachteil, ich muss alle Panels neu konfigurieren)

Wenn ich InfluxQL verwende, bekomm ich keine Verbindung.

[Rushmed]

@sborg Hatte damals die Influx V2 frisch aufgesetzt.

Hab noch eine Frage. Was ist der Unterschied zwischen 0_userdata.0.Wetterstation.Wind_max und 0_userdata.0.Wetterstation.Windboeen_max?
Die Windböen bleiben bei mir 0 auch.

[Negalein]

@SBorg

wird es auf Git ein V3 Dashboard auf Basis von Flux geben?

[SBorg]

@negalein sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Dachte das erledigt der Updater.

Man sollte nie ungefragt User-Einstellungen ändern. Ich kann ja schlecht wissen ob der User nicht bei "javascript..." bleiben möchte. Ich habe mich halt nur beim "Tabula rasa" dazu entschlossen es jetzt per default unter "0_userdata" anzusiedeln, denn da gehört es eigentlich auch hin. Es hat im Grunde (bis auf das DP-Anlegenskript [Statistik mal außen vor]) nichts mit Javascript zu tun. Vor 4 Jahren (solange machen wir nun schon "rum" ) gab es aber noch kein 0_userdata und JS erlaubte nur mit Tricks anlegen von DPs außerhalb von "javascript..."

Ob man es also aktuell weiter unter "javascript..." laufen lässt, oder es auf "0_userdata..." umstellt macht keinerlei Unterschied.

[SBorg]

@rushmed Dann ist es auch normal, denn dir fehlen einfach die Messwerte. Wo noch nichts ist, kann man schlecht etwas lesen

Wo der genaue Unterschied ist kann ich dir nicht erklären, denn das kommt so aus der Station. Ich würde darauf tippen, dass die Böe ein Momentanwert ist, also um x% größer sein muss als der letzte. Wind ist dann eher ein zeitliches Ereignis und wird dann wohl median, average, ??? berechnet, also bspw. alter Wert + aktueller Wert geteilt durch 2.
Ich glaube nämlich nicht daran, dass der Wettermast kontinuierlich mist (Batterielebensdauer). Der wird nur alle x Sekunden einen Momentanwert des Propellers erfassen.

[SBorg]

@negalein sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Wenn ich InfluxQL verwende, bekomm ich keine Verbindung.

Kann ich nix zu sagen, nutze ich nicht mehr. Sonst wäre der Umstieg auf InfluxDB V2 auch für die "Füße" gewesen. Der einzige verbleibende Vorteil ist aktuell Flux.

wird es auf Git ein V3 Dashboard auf Basis von Flux geben?

Nicht zeitnah, da dass nur ein "bisschen" Aufwand bedeutet. Alle Panels ändern auf Flux, alle Overrides anpassen...

Ein ganzer Morgen Arbeit,

damit dann das dabei rauskommt:

[Negalein]

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Der einzige verbleibende Vorteil ist aktuell Flux.

habe ich auch vor.

wenn ich dann das lese und sehe, wird mir schlecht.

Ein ganzer Morgen Arbeit,

[SBorg]

@negalein Hauptproblem ist halt Flux, da ist unter Grafana nix mehr mit "Klicky-klicky"

Ich habe jetzt so an die 90% vom Dashboard auf Flux umgestellt. Das kann man aber nicht veröffentlichen, da dort meine komplette Struktur verankert ist. Ist da nur ein Detail anders als bei mir, läuft es nicht.
Eigentlich genügt mir schon die Arbeit am Skript, jetzt ein vielfaches am Zeitaufwand für die V3 wieder in Grafana zu investieren finde ich nicht prickelnd. Ich habe tausend andere (private) Sachen zu erledigen.

Allerdings wird ein Großteil der Nutzer nicht so damit zu Recht kommen wie sie es ev. wünschen. Man muss jetzt alles mittels "Overrides" realisieren. Problem hier wieder, dass ist dann wieder nur auf (m)eine Datenobjektstruktur limitiert, also bspw. 0_userdata.0.Wetterstation.xyz. Lautet der Ordner anders, ist die Instanz eine andere oder wird weiter "javascript..." benutzt geht es nicht mehr. In den Overrides kann man leider nicht mit Variablen arbeiten...

Also habe ich mich jetzt noch etwas in Grafana-Programmierung eingelesen und auch dafür eine Lösung gefunden. Es wird ein universelles Dashboard geben das man einfach importiert und ein paar Angaben machen muss. Somit kann man auch jederzeit ohne große mühen den Bucket umbenennen, eine andere Instanz nutzen, von "javascript..." nach "0_userdata..." umziehen...

Das ist aber "nicht mal so eben" zu realisieren.
Die spezifischen Sachen von mir wie bspw. "Temperatur in 3 h" sind dabei aber außen vor. Da muss man ev. doch aktiv werden, weiß ich aber noch nicht genau.

[Negalein]

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Das ist aber "nicht mal so eben" zu realisieren.

das versteh ich.

Bin schon etwas weiter gekommen.

Hier ist schön erklärt, wie InfluxQL vs. Flux aufgebaut ist.
https://www.influxdata.com/blog/tldr-influxdb-tech-tips-converting-influxql-queries-flux-queries/

Und mit Hilfe von hier und minimale nachbearbeitung bekoomt man den Flux-Querie aus dem InfluxQL-Query.
https://influxql2flux.twentyfive.dev/?q=U0VMRUNUIGxhc3QoInZhbHVlIikgRlJPTSAidXNlcmRhdGEuMC5XZXR0ZXJzdGF0aW9uLkF1c3NlbnRlbXBlcmF0dXIiIFdIRVJFICR0aW1lRmlsdGVyIEdST1VQIEJZIHRpbWUoJF9faW50ZXJ2YWwpIGZpbGwocHJldmlvdXMp

Schaut schonmal gut aus.