"Warn" Logeinträge InfluxDB-Adapter
-
So, hab nun selbst gebastelt und den Adapter mal angepasst.
Ergebnis:2023-03-11 10:28:33.910 - debug: influxdb.1 (3577787) Incoming message getHistory from system.adapter.admin.0 2023-03-11 10:28:33.910 - debug: influxdb.1 (3577787) 0_userdata.0.Zaehler.SmartMeter.Zaehlerstand16785269139100.18926732151144776 getHistory message: {"id":"0_userdata.0.Zaehler.SmartMeter.Zaehlerstand","options":{"start":1678440515587,"end":1678526915587,"aggregate":"minmax","from":false,"ack":false,"q":false,"addID":false,"count":300,"instance":"system.adapter.influxdb.1","sessionId":5,"user":"system.user.admin"}} 2023-03-11 10:28:33.911 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2023-03-10T09:28:35.587Z, stop: 2023-03-11T09:28:35.587Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.Zaehlerstand" and contains(value: r._value, set: [true, false])) |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> group() 2023-03-11 10:28:34.012 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2022-03-10T09:28:35.587Z, stop: 2023-03-10T09:28:35.586Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.Zaehlerstand") |> last() |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") 2023-03-11 10:28:34.030 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2023-03-10T09:28:35.587Z, stop: 2023-03-11T09:28:35.587Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.Zaehlerstand") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> sort(columns:["_time"], desc: false) 2023-03-11 10:28:34.181 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2023-03-11T09:28:35.588Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.Zaehlerstand") |> first() |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") 2023-03-11 10:28:34.237 - debug: influxdb.1 (3577787) Send: 602 of: 7557 in: 327ms 2023-03-11 10:28:34.445 - debug: influxdb.1 (3577787) Incoming message getHistory from system.adapter.admin.0 2023-03-11 10:28:34.445 - debug: influxdb.1 (3577787) 0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung16785269144450.6908542122702093 getHistory message: {"id":"0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung","options":{"start":1678440515587,"end":1678526915587,"aggregate":"minmax","from":false,"ack":false,"q":false,"addID":false,"count":300,"instance":"system.adapter.influxdb.1","sessionId":5,"user":"system.user.admin"}} 2023-03-11 10:28:34.446 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2023-03-10T09:28:35.587Z, stop: 2023-03-11T09:28:35.587Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung" and contains(value: r._value, set: [true, false])) |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> group() 2023-03-11 10:28:34.542 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2022-03-10T09:28:35.587Z, stop: 2023-03-10T09:28:35.586Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung") |> last() |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") 2023-03-11 10:28:34.556 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2023-03-10T09:28:35.587Z, stop: 2023-03-11T09:28:35.587Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> sort(columns:["_time"], desc: false) 2023-03-11 10:28:34.664 - debug: influxdb.1 (3577787) Query to execute: from(bucket: "iobrokerV2") |> range(start: 2023-03-11T09:28:35.588Z) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung") |> first() |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") 2023-03-11 10:28:34.716 - debug: influxdb.1 (3577787) Send: 1111 of: 7198 in: 271msErgebnis: laut Debugs Verbesserung der Laufzeit von 11,8s auf 0,8s.
@mango1402 Goil ... machste einen PR? oder wenigstens die Infos bitte ins GitHub Issue.
DANKE!
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@mango1402 Goil ... machste einen PR? oder wenigstens die Infos bitte ins GitHub Issue.
DANKE!
@apollon77 passt das dann auch zu history und flot?
da gibt es einige Threads, dass das zu lange dauert.kein Support per PN! - Fragen im Forum stellen -
Benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
Das Forum freut sich über eine Spende. Benutzt dazu den Spendenbutton im Header. Danke!
der Installationsfixer: curl -fsL https://iobroker.net/fix.sh | bash - -
@apollon77 passt das dann auch zu history und flot?
da gibt es einige Threads, dass das zu lange dauert.@homoran Ja klar ... wenn die alle sich um InfluxDB drehen dann betrifft der Fix dort alle
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@homoran Ja klar ... wenn die alle sich um InfluxDB drehen dann betrifft der Fix dort alle
@apollon77 sagte in "Warn" Logeinträge InfluxDB-Adapter:
wenn die alle sich um InfluxDB drehen
eben nicht
@homoran sagte in "Warn" Logeinträge InfluxDB-Adapter:
passt das dann auch zu history und flot?
kein Support per PN! - Fragen im Forum stellen -
Benutzt das Voting rechts unten im Beitrag wenn er euch geholfen hat.
Das Forum freut sich über eine Spende. Benutzt dazu den Spendenbutton im Header. Danke!
der Installationsfixer: curl -fsL https://iobroker.net/fix.sh | bash - -
@apollon77 sagte in "Warn" Logeinträge InfluxDB-Adapter:
wenn die alle sich um InfluxDB drehen
eben nicht
@homoran sagte in "Warn" Logeinträge InfluxDB-Adapter:
passt das dann auch zu history und flot?
@homoran Wenn "History" dann ist das durch einen Fix bei Influxdb nicht abgedeckt.
Ich kenne Keine Github issues zu performanceproblemen bei history ... ;-) Bei History muss man dinge anders prüfen ... auch hier sollte der Anfang ein Debug log sein und ein Github issue
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@homoran Wenn "History" dann ist das durch einen Fix bei Influxdb nicht abgedeckt.
Ich kenne Keine Github issues zu performanceproblemen bei history ... ;-) Bei History muss man dinge anders prüfen ... auch hier sollte der Anfang ein Debug log sein und ein Github issue
@apollon77 sagte in "Warn" Logeinträge InfluxDB-Adapter:
Ich kenne Keine Github issues zu performanceproblemen bei history
ich auch nicht.
muss mal die entsprechenden Threads durchflöhen und@apollon77 sagte in "Warn" Logeinträge InfluxDB-Adapter:
ein Debug log s
versuchen zu bekommen
DANKE
-
@homoran Wenn "History" dann ist das durch einen Fix bei Influxdb nicht abgedeckt.
Ich kenne Keine Github issues zu performanceproblemen bei history ... ;-) Bei History muss man dinge anders prüfen ... auch hier sollte der Anfang ein Debug log sein und ein Github issue
@apollon77
File im GIT angehängt. kenn mich leider nixht so mit PR usw aus.....Hab auch mit float gecheckt - Ja, rennt wieder rund :grinning:
Wobei - es dürft egal sein, wer am Adapter das getHistory() abfragt. Die alle zünden wieder den Turbo.DANKE schon mal vorab für's rasche einhängen und releasen in eine saubere Version ;)
lg
Manfred -
@apollon77
File im GIT angehängt. kenn mich leider nixht so mit PR usw aus.....Hab auch mit float gecheckt - Ja, rennt wieder rund :grinning:
Wobei - es dürft egal sein, wer am Adapter das getHistory() abfragt. Die alle zünden wieder den Turbo.DANKE schon mal vorab für's rasche einhängen und releasen in eine saubere Version ;)
lg
Manfred@mango1402 sagte in "Warn" Logeinträge InfluxDB-Adapter:
File im GIT angehängt. kenn mich leider nixht so mit PR usw aus.....
Im zweifel einfach: Im Github auf das zu ändernde File gehen, rechts oben auf den Stift klicken, ändern was zu ändern ist und dann unten "propose change" klicken, und auf der nächsten Seite "Create pull request", done :-) Aber mit dem File kann ichs auch so vergleichen. Danke
Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77
- Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
- Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
-
@mango1402 sagte in "Warn" Logeinträge InfluxDB-Adapter:
File im GIT angehängt. kenn mich leider nixht so mit PR usw aus.....
Im zweifel einfach: Im Github auf das zu ändernde File gehen, rechts oben auf den Stift klicken, ändern was zu ändern ist und dann unten "propose change" klicken, und auf der nächsten Seite "Create pull request", done :-) Aber mit dem File kann ichs auch so vergleichen. Danke
-
@apollon77
Danke für die GitHub-Einschulung ;) Geht ja einfacher als ich gedacht habe.
Hab jetzt meinen ersten PR erstellt. Hoffe es passt so.lg
manfred@mango1402 Cool, checke die Tage ... (Bin gerade in anderen Themen zu tief drin ... aber bald, DANKE!) und ja GitHub ist ganz einfach :-)
-
@mango1402 said in [Linux Shell-Skript] WLAN-Wetterstation:
@viper4iob @ilovegym @Latzi
zum Thema mit der lahmen Influx-V2 Abfrage siehe hier:
https://forum.iobroker.net/post/958290Es erscheint Licht am Ende des Tunnels ;)
Vielen Dank fürs Analysieren :+1:
Somit hat sich bestätigt, dass es am Influx Adapter vom iobroker liegt.
Ich bin gespannt, wann dein Pull Request in einem Release landet. -
@mango1402
Ich habe mal deinen Code in der iobroker/node_modules/iobroker.influxdb/main.js eingesetzt und die ECharts gehen wieder deutlich schneller :+1:
Wenn man aber bei einem Datenpunkt auf das Zahnrädchen klickt und den Verlauf von z.B. einem Tag anschaut, dauert es im Vergleich zum V1 Modus immer noch mehrere Sekunden bis die Daten angezeigt werden. Da hat sich also zumindest bei mir nichts verbessert.
Hat deine Änderung da keinen Einfluss? -
@mango1402
Ich habe mal deinen Code in der iobroker/node_modules/iobroker.influxdb/main.js eingesetzt und die ECharts gehen wieder deutlich schneller :+1:
Wenn man aber bei einem Datenpunkt auf das Zahnrädchen klickt und den Verlauf von z.B. einem Tag anschaut, dauert es im Vergleich zum V1 Modus immer noch mehrere Sekunden bis die Daten angezeigt werden. Da hat sich also zumindest bei mir nichts verbessert.
Hat deine Änderung da keinen Einfluss?@viper4iob
also bei mir ist auch bei dem 'Zahnrädchen' eine deutliche Verbesserung wahrnehmbar.
Ich werwende aber diese Art von Darstellung nicht - war schon mit V1 ein Lotteriespiel ob und wann man überhaupt eine Anzeige bekommt..... -
@viper4iob
also bei mir ist auch bei dem 'Zahnrädchen' eine deutliche Verbesserung wahrnehmbar.
Ich werwende aber diese Art von Darstellung nicht - war schon mit V1 ein Lotteriespiel ob und wann man überhaupt eine Anzeige bekommt.....@mango1402
Das sieht auch gar nicht so richtig danach aus, dass eine Abfrage an Influx so lange braucht, denn die Sekunden, in denen es lädt, steht das Datum auf 01.01.1970.
Sobald er auf das richtige Zeitfenster springt, sind die Daten sofort da.
Im V1 Modus zeigt er gleich den richtigen Zeitraum an, ist also eventuell noch ein anderer Fehler an dieser Stelle.
Aber ich nutze das auch nicht wirklich, wichtiger ist, dass die ECharts und eventuell andere Adpater die Daten schneller laden können. -
@mango1402
Ich habe mal deinen Code in der iobroker/node_modules/iobroker.influxdb/main.js eingesetzt und die ECharts gehen wieder deutlich schneller :+1:
Wenn man aber bei einem Datenpunkt auf das Zahnrädchen klickt und den Verlauf von z.B. einem Tag anschaut, dauert es im Vergleich zum V1 Modus immer noch mehrere Sekunden bis die Daten angezeigt werden. Da hat sich also zumindest bei mir nichts verbessert.
Hat deine Änderung da keinen Einfluss?ich habe eure Beiträge hierher verschoben. Passen besser hier als zur Wetterstation ;)
-
@mango1402
Das sieht auch gar nicht so richtig danach aus, dass eine Abfrage an Influx so lange braucht, denn die Sekunden, in denen es lädt, steht das Datum auf 01.01.1970.
Sobald er auf das richtige Zeitfenster springt, sind die Daten sofort da.
Im V1 Modus zeigt er gleich den richtigen Zeitraum an, ist also eventuell noch ein anderer Fehler an dieser Stelle.
Aber ich nutze das auch nicht wirklich, wichtiger ist, dass die ECharts und eventuell andere Adpater die Daten schneller laden können.@viper4iob
das 'Zahnrädchen' möchte scheinbar immer alle daten ab 2000 bis jetzt:2023-03-24 12:49:39.344 - debug: influxdb.0 (489) 0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung16796585793440.6297946848561795 getHistory message: {"id":"0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung","options":{"instance":"influxdb.0","start":946681200000,"end":1679658580637,"limit":1,"from":false,"ack":false,"q":false,"addID":false,"aggregate":"none","user":"system.user.admin"}}946681200000 = Fri Dec 31 1999 23:00:00 GMT+0000
Hat aber nix mit dem Influx-Adapter zu tun. Der macht ja nur was ihm 'aufgetragen' wird.
Ich glaub das geht hier in Richtung 'admin-Adapter'..... -
@viper4iob
das 'Zahnrädchen' möchte scheinbar immer alle daten ab 2000 bis jetzt:2023-03-24 12:49:39.344 - debug: influxdb.0 (489) 0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung16796585793440.6297946848561795 getHistory message: {"id":"0_userdata.0.Zaehler.SmartMeter.aktuelleLeistung","options":{"instance":"influxdb.0","start":946681200000,"end":1679658580637,"limit":1,"from":false,"ack":false,"q":false,"addID":false,"aggregate":"none","user":"system.user.admin"}}946681200000 = Fri Dec 31 1999 23:00:00 GMT+0000
Hat aber nix mit dem Influx-Adapter zu tun. Der macht ja nur was ihm 'aufgetragen' wird.
Ich glaub das geht hier in Richtung 'admin-Adapter'.....Den Startzeitpunkt kann ich bestätigen, habe das im Log auch gerade nachvollzogen, macht irgendwie nicht so viel Sinn, erst mal alle Werte seit 2000 zu laden, erklärt aber zumindest, warum es mehrere Sekunden dauert.
Und jetzt kommts, im Influx Adpater V1 Modus macht er das nicht, habe ich gerade ausprobiert.
Wenn ich da den Verlauf von z.B. "Dieser Tag" anzeigen lasse:2023-03-24 13:40:38.527 - debug: influxdb.0 (2583993) javascript.0.Wetterstation.Aussentemperatur16796616385270.6902108576272359 getHistory message: {"id":"javascript.0.Wetterstation.Aussentemperatur","options":{"instance":"influxdb.0","start":1679612400000,"end":1679661660000,"from":true,"ack":true,"q":true,"addID":false,"aggregate":"none","returnNewestEntries":true,"user":"system.user.admin"}}Da steht als Start-Zeitpunkt 1679612400000 = Fri Mar 24 2023 00:00:00 GMT+0100
Support us
667
Online32.7k
Users82.5k
Topics1.3m
Posts