[Linux Shell-Skript] WLAN-Wetterstation

[viper4iob]

@sborg

Ich hatte beide Versionen mit wget runter geladen, entpackt, und auf die unveränderte conf Version 2.8.0 den Patch angewandt und trotzdem ein Fehler. Ich dachte erst es könnte an den line-endings liegen wegen LF und CRLF, aber da war alles identisch, Kodierung ist UTF-8.
Vielleicht noch etwas mit Tabs vs. Leerzeichen, wie die interpretiert werden, keine Ahnung.
Ich habe jetzt mal ein diff -u auf die beiden Dateien gemacht und da kommt das hier raus:

--- 2.8.0/wetterstation.conf    2021-08-16 13:24:08.000000000 +0200
+++ 2.10.0/wetterstation.conf   2021-10-27 09:09:01.000000000 +0200
@@ -1,20 +1,26 @@
-### Settings V2.8.0 -----------------------------------------------------------
+### Settings V2.10.0 -----------------------------------------------------------
  #Debuging einschalten [true/false] / default: false / Ausgabe der Messwerte
   debug=false

+ #Logging einschalten [true/false] / default: false / schreibt die Datenstrings der Station in eine Datei
+  logging=false
+
  #ioBroker-IP und Port der Simple-Restful-API [xxx.xxx.xxx.xxx:xxxxx]
   IPP=192.168.1.3:8087

- #Protokoll der Wetterstation [1/2/9] / 1=Wunderground ; 2=Ecowitt ; 9=Sainlogic Profi / default: 1
-  WS_PROTOKOLL=1
+ #Protokoll der Wetterstation [1/2/9] / 1=Wunderground ; 2=Ecowitt ; 9=Sainlogic Profi / default: 2
+  WS_PROTOKOLL=2

  #Anzahl der vorhandenen Zusatzsensoren / default: 0
+  ANZAHL_WH31=0
+  ANZAHL_DP40=0
   ANZAHL_DP50=0
   ANZAHL_DP60=0
   ANZAHL_DP70=0
   ANZAHL_DP100=0
   ANZAHL_DP200=0
   ANZAHL_DP250=0
+  ANZAHL_DP300=0

  #Protokoll (HTTP oder HTTPS) / default: HTTP
   WEB=HTTP

Sieht anders aus als in dem patch file vom Skript, z.B. nur ein Hunk statt 2, hat mir jetzt bei der Fehlersuche also auch nicht wirklich geholfen. Wenn ich das als Patch auf die unveränderte 2.8.0 conf anwende, geht es bei mir.

Die Leerzeichen beim Patchen mit dem Parameter ignore-whitespace zu ignorieren, würde mir zwar jetzt helfen, ich weiß aber nicht, ob das so eine gute Idee ist. Manchmal werden die ja auch absichtlich benutzt. Siehe auch die Diskussion hier: https://unix.stackexchange.com/questions/96486/how-to-create-a-patch-ignoring-indentation-differences-in-the-code
Lass es lieber raus. Ich passe meine conf manuell an.
Kannst du mal schauen, was der Befehl locale bei dir ausspuckt. Bei mir steht da in der ersten Zeile LANG=de_DE.UTF-8

Schon mal danke im Voraus für das Anpassen vom netcat Log.

[viper4iob]

@sborg

Jetzt aber mal eine positive Nachricht, die 2.10.0 Beta funktioniert mit den neuen Sensoren, die Batteriewerte werden angezeigt.
Gute Arbeit, danke.

Noch eine generelle Frage: Es gibt ja schon die neue Wifi-Firmware EasyWeather 1.6.0.
Meine WS-View-App ist aber immer noch der Meinung 1.5.9 wäre aktuell. Nach dem Kauf der Wetterstation hatte ich da bereits ein Update auf die 1.5.9. D.h. prinzipiell scheint das zu gehen.
Wird die neue Firmware vielleicht für verschiedene WS-Modelle zu verschiedenen Zeiten ausgerollt? Gibt es da Erfahrung?

[viper4iob]

@sborg
Ein kleinen Punkt hätte ich doch noch.
Ich habe heute einen zusätzlichen DP50 in Betrieb genommen und bekomme seitdem im iobroker Log von der Simple API ständig folgende Meldung:

State value to set for "javascript.0.Wetterstation.DP50.1.Batterie" has to be type "number" but received type "string"

Da passt der Datentyp nicht zusammen.
Bei den neuen Sensoren wird 0 oder 1 für den Batteriewert-Datenpunkt geschrieben, beim DP50 steht im Datenpunkt "OK"

UPDATE
Ich habe jetzt mal den Datentyp vom Datenpunkt der DP50 Batterie von Zahl auf Zeichenkette geändert, damit nicht alle 30 sek eine Meldung im iobroker generiert wird.
Ist die Frage wie man es einheitlich handhaben will. Es sollte zumindest einheitlich für alle Sensoren sein, die 0 oder 1 als Batteriestatus melden.
Entweder das Skript schreibt "OK"/"Alarm", dann muss das JS-Skript, das die Datenpunkte anlegt, das als String definieren.
Oder eben 0/1, dann bleibts bei number.
Es scheint aktuell nur beim DP50 die Funktion batterie aufgerufen zu werden (https://github.com/SBorg2014/WLAN-Wetterstation/blob/master/wetterstation.sub#L1172)

[SBorg]

@viper4iob Zuerst mal Danke
"locale" steht bei mir ebenfalls auf Deutsch = identisch
Beim 1. derartigen Patch hat sich auch keiner beschwert bzw. lief es, deswegen vermute ich mal, dass es bei dir (was auch immer) klemmt. Notfalls müsste ich halt doch wieder das Gewürge aus sed, escapen... einpflegen

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

z.B. nur ein Hunk statt 2

Liegt einfach daran, dass er wegen des "Protokoll=" - Eintrages noch eine Änderung in das Patchfile einträgt. Somit fängt er keinen neuen Hunk an (erfolgt erst nach x unveränderten Zeilen).

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

die 2.10.0 Beta funktioniert mit den neuen Sensoren, die Batteriewerte werden angezeigt.

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Wird die neue Firmware vielleicht für verschiedene WS-Modelle zu verschiedenen Zeiten ausgerollt? Gibt es da Erfahrung?

Für die Stationen IMHO nicht, die Gateways haben aber eh eine andere Firmware. Die 1.6.0 war offenbar auch nur ein paar Tage Online + wurde dann scheinbar zurückgezogen. Im Release-File wird aber immer noch 1.6.0 als die aktuelle angezeigt...
1.5.9 --> 1.6.0 hat aber keine neue Funktionen, sondern (soll) verbessert die Stabilität der Kommunikation. Ich habe die 1.6.0 drauf, aber weder was positives, noch etwas negatives festgestellt

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Da passt der Datentyp nicht zusammen.
Bei den neuen Sensoren wird 0 oder 1 für den Batteriewert-Datenpunkt geschrieben, beim DP50 steht im Datenpunkt "OK"

Ist noch ein altes Überbleibsel und sollte so nicht sein, habe ich gestern entfernt (ich lese öfters hier mal kurz Offline rein, habe aber nicht immer Zeit auch Online zu gehen). Ich schreibe das was der Sensor meldet, also 0 oder 1, einen Level 0-5[6] oder eben einen Batteriewert (Ausnahmeregel: beim Leaksensor "Ok/Alarm", ist aber kein Batteriewert, sondern der "Alarmwert").
Mir fällt das leider selbst nicht auf, da ich weder Gateway noch Zusatzsensoren habe.

[SBorg]

Aaarrrgghhh...
Bei wetter.com stimmt aktuell die Zeit des Messpunktes nicht, da sie nicht wie üblich mittels UTC arbeiten (da gäbe es kein Sommer-/Winterzeitproblem), sondern Datum und Uhrzeit im Klartext wollen. Soweit kein Problem, wenn sie jetzt zur "Winterzeit" nicht pauschal automatisch eine Stunde vom gemeldeten Wert abziehen würden (weil wohl deren Meinung nach die "doofen" User nicht in der Lage sind ihre Systemzeit korrekt zu setzen/setzen zu lassen...?! ).
Entweder ist also deren Server falsch konfiguriert, oder sie sind schlichtweg....

Patch ist jedenfalls fertig (ich addiere zur Winterzeit nun eine Stunde hinzu damit sie sie wieder abziehen können ) und kommt zeitnah zum neuen Release

[Boronsbruder]

@SBorg

2021-11-01 01:03:00.017 - debug: javascript.0 (2938) sendTo "query" to system.adapter.influxdb.0 from system.adapter.javascript.0: select * FROM "0_userdata.0.Wetterstation.Aussentemperatur" WHERE time >= 1604185200000000000 AND time <= 1606777199000000000; select * FROM "0_userdata.0.Wetterstation.Wind_max" WHERE time >= 1604185200000000000 AND time <= 1606777199000000000; select * FROM "0_userdata.0.Wetterstation.Regen_Tag" WHERE time >= 1604185200000000000 AND time <= 1606777199000000000
2021-11-01 01:03:00.086 - warn: javascript.0 (2938) You are assigning a string to the state "0_userdata.0.Statistik.Wetter.Data.2021.10" which expects a object. Please fix your code to use a object or change the state type to string. This warning might become an error in future versions.
2021-11-01 01:03:00.091 - warn: javascript.0 (2938) at setState (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:1439:20)
2021-11-01 01:03:00.092 - warn: javascript.0 (2938) at Immediate._onImmediate (script.js.common.Wetterstation_Statistik:346:169)
2021-11-01 01:03:00.092 - warn: javascript.0 (2938) at processImmediate (internal/timers.js:463:21)
2021-11-01 01:03:00.093 - info: javascript.0 (2938) Could not parse value for id 0_userdata.0.Statistik.Wetter.Data.2021.10 into object: Unexpected end of JSON input
2021-11-01 01:03:00.095 - info: javascript.0 (2938) Could not parse value for id 0_userdata.0.Statistik.Wetter.Data.2021.10 into object: Unexpected end of JSON input

Schreit dein Statistikskript bei mir rum

[SBorg]

@boronsbruder Zum Glück nur einmalig am Monats ersten
Zumindest ließt er korrekt die Vorjahres-Monatswerte ein und speichert die aktuellen ab.

Trotzdem sollte das natürlich nicht sein, gerade in der Hinsicht wie lange der falsche Typ noch toleriert wird...
Ich muss das mal in einer ruhigen Minute (=also nie ) simulieren, denn jetzt einfach den Typ ändern führt bestimmt an anderer Stelle wieder zu Problemen...

[viper4iob]

@sborg
Danke für das letzte Update.
Im Syslog ist es jetzt ruhig und der Datentyp des Batteriedatenpunkts vom DP50 passt jetzt auch

[SBorg]

Da keine offensichtlichen Fehler zu verzeichnen sind und wetter.com anscheinend auch keine Zeitumstellung ihres Servers vornimmt und weiterhin pauschal eine Stunde abzieht:

Neues Release des Wetterstation WLAN-Skriptes auf GitHub V2.10.0

• ~ Bugfix Option '--data' bei Ecowitt-Protokoll
• ~ Passkey bei Nutzung des Ecowitt-Protokolls maskieren
• + logging des Datenstrings der Wetterstation in eine Datei
• + Unterstützung für DP40/WH32 (bzw. WH26) Sensor
• + Unterstützung für DP300/WS68 Sensor
• + Unterstützung für WH31 (bzw. WH25) Sensor
• + netcat-/Success-Meldungen im Syslog entfernt
• + Patch Sommer-/Winterzeit für wetter.com

Wie immer zu finden im GitHub

---

Update-Routine:

• wetterstation.sh und wetterstation.sub ersetzen
• wetterstation.js muss ebenfalls im JavaScript-Adapter ersetzt und einmalig ausgeführt werden (neue Datenpunkte der Batteriestände für die neuen Sensoren; kann ggf. entfallen falls man diese nicht nutzt/später mal nutzen möchte)
• ./ws_updater.sh --patch im Installationsverzeichnis ausführen
• nun mittels systemctl restart wetterstation den Service neu starten

---

Mutige können auch mal direkt den Updater probieren

Im Installationsverzeichnis ausführen: bash <(curl -s https://raw.githubusercontent.com/SBorg2014/WLAN-Wetterstation/master/ws_updater.sh)

---

Wer bereits die letzte Beta-Version der V2.10.0 nutzt sollte ggf. trotzdem updaten (hier genügt der Tausch der "sub" und "sh" und den Service neu zu starten). Das Beta-Release ist mit dieser Release-Version nicht identisch. Beim Beta-Release fehlt der Patch für die Sommer-/Winterzeit bei wetter.com

[Negalein]

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

./ws_updater.sh --patch im Installationsverzeichnis ausführen

zeigt mir einen Fehler

dietpi@DietPi:/home/iobroker$ ./ws_updater.sh --patch



 ┌───────────────────────┐
 │                       │
 │   WS-Updater V2.10.0  │
 │                       │
 └───────────────────────┘

 Soll die wetterstation.conf nun auf eine neue Version gepatcht werden? [J/N]: J




 Lege Sicherungskopie der wetterstation.conf an...

 Patche wetterstation.conf auf V2.10.0 ...
./ws_updater.sh: Zeile 248: patch: Kommando nicht gefunden.
 Fertig...

 Eventuelle Zusatzsensoren DP300/WS68, DP40/WH32 oder WH25/WH31 müssen eingetragen werden!

dietpi@DietPi:/home/iobroker$

[Nashra]

Moin, alles sauber

root@ioBroker:/home/iobroker# ./ws_updater.sh --patch



 ┌───────────────────────┐
 │                       │
 │   WS-Updater V2.10.0  │
 │                       │
 └───────────────────────┘

 Soll die wetterstation.conf nun auf eine neue Version gepatcht werden? [J/N]: j




 Lege Sicherungskopie der wetterstation.conf an...

 Patche wetterstation.conf auf V2.10.0 ...
patching file ./wetterstation.conf
Hunk #1 succeeded at 1 with fuzz 2.
 Fertig...

 Eventuelle Zusatzsensoren DP300/WS68, DP40/WH32 oder WH25/WH31 müssen eingetragen werden!

Link nach Github ist gut

[SBorg]

@negalein sagte in [Linux Shell-Skript] WLAN-Wetterstation:

patch: Kommando nicht gefunden.

Auf deinem DietPi ist mal so gar nichts installiert...
Muss ich also auch noch prüfen.
Nachinstallieren:

sudo apt install patch

[SBorg]

@nashra sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Link nach Github ist gut

So langsam wird es

[Nashra]

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

@nashra sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Link nach Github ist gut

So langsam wird es

Jow und hier hatte ich mich verlesen worauf meine Frau lachen mußte

Hunk #1 succeeded at 1 with furz 2.

Brauch ne neue Brille

[Negalein]

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Auf deinem DietPi ist mal so gar nichts installiert...

da hast du recht
ist nur die 0815 Variante

Nachinstallieren

Ahhh, auf das hätt ich auch selber kommen müssen

[Rene55]

@SBorg Muss ich, auch wenn ich die aktuellsten Files im Verzeichnis habe, den ./ws_updater.sh --patch laufen lassen? Was macht der genau?
Ich habe gerade mal den Link probiert - bringt bei mir "Version bereits aktuell". Die Dateien sind vom 25.10., können eigentlich den Weather-Patch noch nicht enthalten.

[SBorg]

@nashra sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Jow und hier hatte ich mich verlesen worauf meine Frau lachen mußte

Hunk #1 succeeded at 1 with furz 2.

Brauch ne neue Brille

...oder weniger Bohnensuppe essen

---

@negalein sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Ahhh, auf das hätt ich auch selber kommen müssen

Wald, Bäume, und so...
Macht aber nix, man kann ja nicht alles wissen bzw. sehen, und eben eine neue Version hochgeladen, die nun prüft ob 'patch' installiert ist. Also alles wird gut

[SBorg]

@rene55 Nein, brauchst du nicht. Es passiert aber auch nichts wenn man es trotzdem versucht. Dann kommt eben besagte Meldung "Version bereits aktuell".

Im Grunde ist das System so aufgebaut:

• sh = das eigentliche Programm
• sub = enthält eigene Befehle/Funktionen für die sh
• conf = die User spezifischen Einstellungen

"sh" und "sub" enthält nichts vom User, kann also einfach ausgetauscht werden. Dies galt Anfangs auch für die "conf". Eine handvoll Einträge wieder übernehmen war schnell erledigt (aber schon da nicht gerade komfortabel). Mit der Zeit, und gerade seit OpenSenseMap und Windy, wäre das aber echt k*cke alles jedes mal neu einzutragen. Daraus entstand der "ws_updater".
Der kann nun

• das Projekt komplett installieren
• den Service dazu einrichten
• das Update auf die aktuelle Release-Version durchführen (Beta aus Sicherheitsgründen weiter nur händisch)
• und die "conf" patchen

Du willst bspw. von V2.9.0 auf V2.10.0 updaten und hast die "sh", "sub" und den "ws_updater" ersetzt, dann fehlen dir aber die Änderungen in der "conf" von V2.9.0 (eigentlich V2.8.0, denn eine V2.9.0-conf gab es nicht ) --> V2.10.0
Genau das macht die Option "--patch". Im konkreten Fall die Versionsnummer der "conf" auf V2.10.0 ändern, den Kommentar und den logging-Parameter hinzufügen und die (mögliche) Anzahl der drei neuen Sensoren in der Liste der Sensoren ergänzen.

[XxJooO]

@sborg ,

eigentlich suche ich Jemanden mit ausreichend guten Javascript-Kenntnissen, der mir bei meinem Problem kurz helfen kann:

Meine Station gibt hin und wieder unplausible Werte ab, wie z.B. "Aussenfeuchtigkeit" ist -9999%. Diese Werte werden dann in die influxDB geschrieben und führen dann zu hässlichen Grafiken. Ich habe nun einiges zusammen gesucht und das folgende Script geschrieben. Insgesamt sind 5 Wertereihen betroffen.

Influx wird aufgefordert:

• erstelle eine neue Wertereihe, nimm dabei alle Werte aus der alten Reihe , die größer oder kleiner als ein bestimmter Wert sind und schreibe diese in die neue Reihe
• lösch die alte Reihe
• schreib die Werte aus der neuen Reihe in die Reihe mit dem alten Namen
• lösch die neue Reihe

Wenn ich die Schritte einzeln als Script ausführen lasse, dann funktioniert das. In meinem Script aber kommt es zu einem Absturz von influx. Was könnte ich ändern, um das Script lauffähig zu bekommen?

Vielen Dank
XxJooO

main();

function main () {

    console.log("Korrigiere Aussenfeuchtigkeit")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Aussenfeuchtigkeit_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Aussenfeuchtigkeit" WHERE value>0 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussenfeuchtigkeit"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Aussenfeuchtigkeit" FROM "0_userdata.0.Wetterstation.Aussenfeuchtigkeit_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Aussenfeuchtigkeit_clean"');

    console.log("Korrigiere Aussentemperatur")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Aussentemperatur_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Aussentemperatur" WHERE value>-50 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussentemperatur"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Aussentemperatur" FROM "0_userdata.0.Wetterstation.Aussentemperatur_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Aussentemperatur_clean"');

    console.log("Korrigiere Regen_Tag")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Regen_Tag_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Regen_Tag" WHERE value<30 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Regen_Tag"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Regen_Tag" FROM "0_userdata.0.Wetterstation.Regen_Tag_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Regen_Tag_clean"');

    console.log("Korrigiere Sonnenstrahlung")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Sonnenstrahlung_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Sonnenstrahlung" WHERE value>0 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Sonnenstrahlung"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Sonnenstrahlung" FROM "0_userdata.0.Wetterstation.Sonnenstrahlung_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Sonnenstrahlung_clean"');

    console.log("Korrigiere Wind_max")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Wind_max_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Wind_max" WHERE value>0 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Wind_max"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Wind_max" FROM "0_userdata.0.Wetterstation.Wind_max_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Wind_max_clean"');

}

[Rene55]

@SBorg Danke für die Erklärung. Dann hab ich (wahrscheinlich) alles sauber. Ich hatte bisher immer die Dateien in ein Verzeichnis gelegt, die handvoll eigener Parameter in der .conf geändert und dann einen Container erstellt. Ok, bei der .conf muss man dann ein bisschen aufpassen. Ich werd den updater beim nächsten Versionssprung mal testen. Dann sehe ich vielleicht auch mal ein Hunk #1 succeeded at 1 with furz 2. Danke nochmals - auch bei der wenigen freien Zeit - für das Script und die schnellen Antworten.
LG Rainer