[Aufrug] sql 1.7.0 testen

Kueppert

Hi Ingo,

macht es denn nicht Sinn, wenn das Null-Loggen bei manchen Objekten sinnvoll ist, das Null-Loggen beim Objekt ein- bzw. abschaltbar zu machen?

Aktuell habe ich ja mit der 1.7.0 nur die Möglichkeit, generell dafür oder dagegen zu sein ;) Das auf Objekt-Ebene zu machen, würde ich dann gefühlt sinnvoll erachten.

Werden den neuen Adapter auch testen - aktuell aber ohne die null ;-D

VG Thorsten

BBTown

~~@apollon77:~~

Hi,

nachdem es bei der 1.6.x einige Diskussionen um das "NULL Werte bei Start/Ende zur Abgrenzen der geloggten Werte" gab habe ich es in der 1.7.0 konfigurierbar gemacht. Standard ist "ja". Ist über Adapterkonfiguration änderbar.

Bitte testen.

Ingo F ` die v.1.7.0 läuft bei mir bisher einwandfrei 8-) :lol:

Kueppert

Hi,

Installation über die Konsole lief durch (log unten anbei). Im 2. Konsolen-Fenster konnte ich sehen, dass die benötigen Ressourcen für das Update echt hoch sind. Da bei mir der rpi3 immer abschmiert, wenn iobroker parallel weiter läuft, gehe ich jetzt davon aus, dass dies am fehlenden RAM beim Update liegt. Kann man auch gut am 2.Screen erkennen. Nach Start von ioBroker hab ich noch 30MB frei :shock: :o

Version 1.7.0 teste ich dann jetzt mal ;)

VG Thorsten

! ` > root@raspberrypi3:/opt/iobroker# sudo npm install https://github.com/ioBroker/ioBroker.sql

npm WARN deprecated node-uuid@1.4.8: Use uuid module instead

npm WARN deprecated sprintf@0.1.5: The sprintf package is deprecated in favor of sprintf-js.

sqlite3@3.1.13 install /opt/iobroker/node_modules/iobroker.sql/node_modules/sqlite3

node-pre-gyp install –fallback-to-build

node-pre-gyp ERR! Tried to download(403): https://mapbox-node-binary.s3.amazonaws ... arm.tar.gz

node-pre-gyp ERR! Pre-built binaries not found for sqlite3@3.1.13 and node@4.8.7 (node-v46 ABI) (falling back to source compile with node-gyp)

make: Entering directory '/opt/iobroker/node_modules/iobroker.sql/node_modules/sqlite3/build'

ACTION deps_sqlite3_gyp_action_before_build_target_unpack_sqlite_dep Release/obj/gen/sqlite-autoconf-3150000/sqlite3.c

TOUCH Release/obj.target/deps/action_before_build.stamp

CC(target) Release/obj.target/sqlite3/gen/sqlite-autoconf-3150000/sqlite3.o

AR(target) Release/obj.target/deps/sqlite3.a

COPY Release/sqlite3.a

CXX(target) Release/obj.target/node_sqlite3/src/database.o

../src/database.cc: In static member function ‘static void node_sqlite3::Database::Work_BeginOpen(node_sqlite3::Database::Baton*)’:

../src/database.cc:144:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(),

^

../src/database.cc: In static member function ‘static void node_sqlite3::Database::Work_BeginClose(node_sqlite3::Database::Baton*)’:

../src/database.cc:230:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(),

^

../src/database.cc: In static member function ‘static void node_sqlite3::Database::Work_BeginExec(node_sqlite3::Database::Baton*)’:

../src/database.cc:525:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(),

^

../src/database.cc: In static member function ‘static void node_sqlite3::Database::Work_BeginLoadExtension(node_sqlite3::Database::Baton*)’:

../src/database.cc:625:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(),

^

CXX(target) Release/obj.target/node_sqlite3/src/node_sqlite3.o

CXX(target) Release/obj.target/node_sqlite3/src/statement.o

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginPrepare(node_sqlite3::Database::Baton*)’:

../src/statement.cc:118:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(),

^

In file included from ../src/statement.cc:6:0:

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginBind(node_sqlite3::Statement::Baton*)’:

../src/macros.h:125:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(), \

^

../src/statement.cc:322:5: note: in expansion of macro ‘STATEMENT_BEGIN’

STATEMENT_BEGIN(Bind);

^

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginGet(node_sqlite3::Statement::Baton*)’:

../src/macros.h:125:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(), \

^

../src/statement.cc:370:5: note: in expansion of macro ‘STATEMENT_BEGIN’

STATEMENT_BEGIN(Get);

^

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginRun(node_sqlite3::Statement::Baton*)’:

../src/macros.h:125:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(), \

^

../src/statement.cc:438:5: note: in expansion of macro ‘STATEMENT_BEGIN’

STATEMENT_BEGIN(Run);

^

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginAll(node_sqlite3::Statement::Baton*)’:

../src/macros.h:125:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(), \

^

../src/statement.cc:504:5: note: in expansion of macro ‘STATEMENT_BEGIN’

STATEMENT_BEGIN(All);

^

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginEach(node_sqlite3::Statement::Baton*)’:

../src/macros.h:125:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(), \

^

../src/statement.cc:601:5: note: in expansion of macro ‘STATEMENT_BEGIN’

STATEMENT_BEGIN(Each);

^

../src/statement.cc: In static member function ‘static void node_sqlite3::Statement::Work_BeginReset(node_sqlite3::Statement::Baton*)’:

../src/macros.h:125:9: warning: unused variable ‘status’ [-Wunused-variable]

int status = uv_queue_work(uv_default_loop(), \

^

../src/statement.cc:724:5: note: in expansion of macro ‘STATEMENT_BEGIN’

STATEMENT_BEGIN(Reset);

^

SOLINK_MODULE(target) Release/obj.target/node_sqlite3.node

COPY Release/node_sqlite3.node

COPY /opt/iobroker/node_modules/iobroker.sql/node_modules/sqlite3/lib/binding/node-v46-linux-arm/node_sqlite3.node

TOUCH Release/obj.target/action_after_build.stamp

make: Leaving directory '/opt/iobroker/node_modules/iobroker.sql/node_modules/sqlite3/build'

iobroker.sql@1.7.0 node_modules/iobroker.sql

├── pg@6.4.2 (js-string-escape@1.0.1, packet-reader@0.3.1, pg-connection-string@0.1.3, buffer-writer@1.0.1, semver@4.3.2, pg-pool@1.8.0, pg-types@1.13.0, pgpass@1.0.2)

├── mysql@2.15.0 (safe-buffer@5.1.1, sqlstring@2.3.0, bignumber.js@4.0.4, readable-stream@2.3.3)

├── sql-client@0.7.0 (argf@0.0.1, optimist@0.6.1, inote-util@0.8.1)

├── mssql@3.3.0 (generic-pool@2.5.4, promise@7.3.1, tedious@1.14.0)

└── sqlite3@3.1.13 (nan@2.7.0)

root@raspberrypi3:/opt/iobroker# `

apollon77

Echter freier Speicher ist „free+buffers“ … also 90mb ... und weiß gerade nicht ob cached mem auch als frei zählt. Linux cached viele Dinge wodurch speicher erstmal belegt ist. Aber sobald ein Prozess was braucht gibt das os das sofort frei.

Was ist den. Speed_test ?! Braucht auch einiges an Speicher.

Kueppert

~~@apollon77:~~

Echter freier Speicher ist „free+buffers“ … also 90mb ... und weiß gerade nicht ob cached mem auch als frei zählt. Linux cached viele Dinge wodurch speicher erstmal belegt ist. Aber sobald ein Prozess was braucht gibt das os das sofort frei.

Was ist den. Speed_test ?! Braucht auch einiges an Speicher. ` Hi APO,

ist ein Script mit den ich regelmäßig extern meinen Internet Speed teste und den Wert logge und visualisiere :)

~~![](</s><URL url=)<link_text text="https://uploads.tapatalk-cdn.com/201802 ... 0aeedd.jpg">https://uploads.tapatalk-cdn.com/20180211/24fad69ad452388a4cd23b94cf0aeedd.jpg</link_text>" />

Gesendet von meinem HUAWEI RIO-L01 mit Tapatalk~~

Kueppert

Have jetzt auch nochmal wegen der Löcher in der Darstellung bei flot geschaut. Hänge das Ergebnis hier an. Ggf macht es Sinn, dass der flot Entwickler auch da auch einschaltet?

Schalte die Instanz jetzt Mal auf debug um, Mal schauen dann…~~![](</s><URL url=)<link_text text="https://uploads.tapatalk-cdn.com/201802 ... fb4ce3.jpg">https://uploads.tapatalk-cdn.com/20180211/72c47cf88fd86a7d33ccf8314ffb4ce3.jpg</link_text>" />

Gesendet von meinem HUAWEI RIO-L01 mit Tapatalk~~

Kueppert

So,

habe jetzt das log exportiert und die DOPPLUNGEN hier einmal angehangen.

Log 2:58 Uhr:

! ` > 2018-02-15 02:58:08.912 - debug: sql.0 new value received for ping.1.raspberrypi3.www_google_de, new-value=true, ts=1518659888908, relog=false

2018-02-15 02:58:08.912 - debug: sql.0 value not changed ping.1.raspberrypi3.www_google_de, last-value=true, new-value=true, ts=1518659888908

2018-02-15 02:58:20.364 - debug: sql.0 new value received for rpi2.0.temperature.soc_temp, new-value=48.31, ts=1518659900362, relog=false

2018-02-15 02:58:21.366 - debug: sql.0 Datatype rpi2.0.temperature.soc_temp: Currently: number, StorageType: Number

2018-02-15 02:58:21.367 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(1, 1518659900362, 48.31, 1, 1, 0);

2018-02-15 02:58:33.485 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.temperature, new-value=19.33, ts=1518659913482, relog=false

2018-02-15 02:58:33.486 - debug: sql.0 Min-Delta not reached mihome.0.devices.sensor_ht_158d000149c2cc.temperature, last-value=19.28, new-value=19.33, ts=1518659913482

2018-02-15 02:58:33.489 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.humidity, new-value=59.37, ts=1518659913485, relog=false

2018-02-15 02:58:33.490 - debug: sql.0 Min-Delta reached mihome.0.devices.sensor_ht_158d000149c2cc.humidity, last-value=59.05, new-value=59.37, ts=1518659913485

2018-02-15 02:58:33.490 - debug: sql.0 Datatype mihome.0.devices.sensor_ht_158d000149c2cc.humidity: Currently: number, StorageType: Number

2018-02-15 02:58:33.491 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(13, 1518656416889, 59.05, 1, 7, 0);

2018-02-15 02:58:33.497 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.temperature, new-value=19.33, ts=1518659913494, relog=false

2018-02-15 02:58:33.498 - debug: sql.0 value not changed mihome.0.devices.sensor_ht_158d000149c2cc.temperature, last-value=19.28, new-value=19.33, ts=1518659913494

2018-02-15 02:58:33.500 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.humidity, new-value=59.37, ts=1518659913496, relog=false

2018-02-15 02:58:33.500 - debug: sql.0 value not changed mihome.0.devices.sensor_ht_158d000149c2cc.humidity, last-value=59.37, new-value=59.37, ts=1518659913496

2018-02-15 02:58:38.954 - debug: sql.0 new value received for ping.1.raspberrypi3.www_google_de, new-value=true, ts=1518659918951, relog=false

2018-02-15 02:58:38.955 - debug: sql.0 value not changed ping.1.raspberrypi3.www_google_de, last-value=true, new-value=true, ts=1518659918951

2018-02-15 02:58:43.497 - debug: sql.0 Datatype mihome.0.devices.sensor_ht_158d000149c2cc.humidity: Currently: number, StorageType: Number

2018-02-15 02:58:43.498 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(13, 1518659913485, 59.37, 1, 7, 0); `

Log 3:50 Uhr:

! > 2018-02-15 03:49:57.010 - debug: sql.0 INSERT INTOiobroker`.ts_number (id, ts, val, ack, _from, q) VALUES(1, 1518662996005, 49.39, 1, 1, 0);

2018-02-15 03:50:13.849 - debug: sql.0 new value received for ping.1.raspberrypi3.www_google_de, new-value=true, ts=1518663013845, relog=false

2018-02-15 03:50:13.850 - debug: sql.0 value not changed ping.1.raspberrypi3.www_google_de, last-value=true, new-value=true, ts=1518663013845

2018-02-15 03:50:43.900 - debug: sql.0 new value received for ping.1.raspberrypi3.www_google_de, new-value=true, ts=1518663043895, relog=false

2018-02-15 03:50:43.900 - debug: sql.0 value not changed ping.1.raspberrypi3.www_google_de, last-value=true, new-value=true, ts=1518663043895

2018-02-15 03:50:53.970 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.temperature, new-value=19.35, ts=1518663053963, relog=false

2018-02-15 03:50:53.971 - debug: sql.0 Min-Delta reached mihome.0.devices.sensor_ht_158d000149c2cc.temperature, last-value=19.28, new-value=19.35, ts=1518663053963

2018-02-15 03:50:53.971 - debug: sql.0 Datatype mihome.0.devices.sensor_ht_158d000149c2cc.temperature: Currently: number, StorageType: Number

2018-02-15 03:50:53.972 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(14, 1518659913494, 19.33, 1, 7, 0);

2018-02-15 03:50:53.981 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.humidity, new-value=58.49, ts=1518663053968, relog=false

2018-02-15 03:50:53.982 - debug: sql.0 Min-Delta reached mihome.0.devices.sensor_ht_158d000149c2cc.humidity, last-value=59.37, new-value=58.49, ts=1518663053968

2018-02-15 03:50:53.982 - debug: sql.0 Datatype mihome.0.devices.sensor_ht_158d000149c2cc.humidity: Currently: number, StorageType: Number

2018-02-15 03:50:53.983 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(13, 1518659913496, 59.37, 1, 7, 0);

2018-02-15 03:50:53.999 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.temperature, new-value=19.35, ts=1518663053989, relog=false

2018-02-15 03:50:54.000 - debug: sql.0 value not changed mihome.0.devices.sensor_ht_158d000149c2cc.temperature, last-value=19.35, new-value=19.35, ts=1518663053989

2018-02-15 03:50:54.005 - debug: sql.0 new value received for mihome.0.devices.sensor_ht_158d000149c2cc.humidity, new-value=58.49, ts=1518663053991, relog=false

2018-02-15 03:50:54.005 - debug: sql.0 value not changed mihome.0.devices.sensor_ht_158d000149c2cc.humidity, last-value=58.49, new-value=58.49, ts=1518663053991

2018-02-15 03:50:56.561 - debug: sql.0 new value received for rpi2.0.temperature.soc_temp, new-value=48.85, ts=1518663056559, relog=false

2018-02-15 03:50:57.563 - debug: sql.0 Datatype rpi2.0.temperature.soc_temp: Currently: number, StorageType: Number

2018-02-15 03:50:57.564 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(1, 1518663056559, 48.85, 1, 1, 0);

2018-02-15 03:51:03.975 - debug: sql.0 Datatype mihome.0.devices.sensor_ht_158d000149c2cc.temperature: Currently: number, StorageType: Number

2018-02-15 03:51:03.976 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(14, 1518663053963, 19.35, 1, 7, 0);

2018-02-15 03:51:03.989 - debug: sql.0 Datatype mihome.0.devices.sensor_ht_158d000149c2cc.humidity: Currently: number, StorageType: Number

2018-02-15 03:51:03.990 - debug: sql.0 INSERT INTO iobroker.ts_number (id, ts, val, ack, _from, q) VALUES(13, 1518663053968, 58.49, 1, 7, 0); `

Hoffe, das hilft weiter…
2700_sql_dopplungen.png

apollon77

Aaaaalso … ist kein echtes Doppellogging, sieht nur so aus :-)

Die Logik funktioniert wie folgt:

Wenn Datenpunkte nicht geloggt werden weil Sie "verworfen" werden - in deinem Fall weil sich der Wert nicht geändert hat - wird der letzte dieser "verworfenen" Werte intern gespeichert. Sobald die nächste Änderung kommt wird dieser Wert dann zusätzlich in der Db gespeichert um eine korrekte Grafik zu bekommen wenn man die Daten visualisiert. Somit hättest Du dann so lange der Wert gleich geblieben ist das auch Grafisch so dargestellt (gerade Linie) und erst danach die Änderung zum neuen Wert. Viele Diagrammtools verbinden nur die Punkte 8es sei denn man kann "Treppendarstellung" wählen.

An der Stelle ist interessant das der "mihome"-Adapter so kurz nacheinander den gleichen Wert generiert. Das wäre eher das was interessant ist.

apollon77

~~@Kueppert:~~

Have jetzt auch nochmal wegen der Löcher in der Darstellung bei flot geschaut. Hänge das Ergebnis hier an. Ggf macht es Sinn, dass der flot Entwickler auch da auch einschaltet? `

Hier ist die Frage was für Daten im Hintergrund existieren. Also man müsste schauen was genau an "GetHistory" als Daten zurückkommen.

BBTown

Ich habe gerade gesehen dass es eine v.1.7.1 gibt und diese Installiert.

Erneut ist mein Raspi dabei eingefroren :(

Ich habe mal einen ScreenShot des letzten Zustandes beim freeze angefügt, vlt ist der hilfreich?!

[EDIT] ich sehe gerade erneut den Eintrag bzgl. SQL-Lite
1917_sql_adapzer_log.jpg

apollon77

Naja, wie zuletzt gesagt: Die letzte Meldung sagt das er "sqlite" kompilieren muss und das wohl auch tut. Ich kann da nichts tun :-(

Ein anderer user hatte erfgolg mit einem Update per Konsole indem er ioBroker vorher gestoppt hat. Scheinbar wird viel CPU/RAM bei dem Kompilieren gebraucht und es lief durch von nicht viel neben her auf dem Rechner lief. versuch das mal.

Wenn Du sqlite nicht brauchst sollte nach einem "ipbroekr upload sql" alles aktuell sein mit der 1.7.1 trotzdem :-)

Kueppert

~~@apollon77:~~

Naja, wie zuletzt gesagt: Die letzte Meldung sagt das er "sqlite" kompilieren muss und das wohl auch tut. Ich kann da nichts tun :-(

Ein anderer user hatte erfgolg mit einem Update per Konsole indem er ioBroker vorher gestoppt hat. Scheinbar wird viel CPU/RAM bei dem Kompilieren gebraucht und es lief durch von nicht viel neben her auf dem Rechner lief. versuch das mal.

Wenn Du sqlite nicht brauchst sollte nach einem "ipbroekr upload sql" alles aktuell sein mit der 1.7.1 trotzdem :-) ` Hi,

jaaa, ich habe immer das Problem beim SQL Update das der pi3 einfriert. Updates mache ich daher nur noch über die Konsole. Mache daneben eine 2. Konsole auf im mit dem Befehl TOP die Auslastung zu kontrollieren.

Wichtig ist, vorher den ioBroker zu stoppen… Ich gehe davon aus, dass der RAM das Problem ist.

Gesendet von meinem HUAWEI RIO-L01 mit Tapatalk

BBTown

Ich brauche sqlite nicht, und nach einem reboot des Raspi (Stecker zeiehn 8-) ) kommt der SQL-Adapter auch korrekt in der v.1.7.1 hoch.

Ein wenig hatte ich die Hoffnung, dass beim Update ggf. sqlite ignoriert werden kann, wenn es gar keine sqlite vorinstalltion (Konfiguration) gibt.

BBTown

Dennoch natürlich danke für den Hinweis auf den Workaround, ich werde versuchen mir den zu merken 8-)

apollon77

~~@BBTown:~~

Ein wenig hatte ich die Hoffnung, dass beim Update ggf. sqlite ignoriert werden kann, wenn es gar keine sqlite vorinstalltion (Konfiguration) gibt. `

Dann müste man zwei Adapter machen. Einmal "sql mit sqlite" und einmal "sql ohne". Dadurch das sqlite in den dependecy vom Paket steht macht npm das halt immer :-( Der Installationsprozess weiss ja nicht was Du nutzen willst.

grundsätzlich sage ich mal das einer von Euch sehr gern mal unter https://github.com/mapbox/node-sqlite3/issues ein Issue auf machen sollte das der Buildprozess auf einem RaspiX viel Speicher bla brauct … die sind die einzigen die da was checken und optimieren können.

BBTown

~~@apollon77:~~

grundsätzlich sage ich mal das einer von Euch sehr gern mal unter https://github.com/mapbox/node-sqlite3/issues ein Issue auf machen sollte das der Buildprozess auf einem RaspiX viel Speicher bla brauct ` Ich habe da mal ein issue erstellt, in der Hoffnung dass mein Anliegen verstanden wird 8-)

Ich will das auch gar nicht zu hoch aufhängen, womöglich betrifft das ganze Procedere gar nicht viele Anwender und es gäbe ja auch einen Workaround.

Da ich kein Programmierer bin, ist meine Vorstellung davon wo man womöglich etwas umschiffen/optimieren kann ja durchaus mitunter weit weg von der Realität ;)

Community Forum

NEWS

[Aufrug] sql 1.7.0 testen

Support us

843

32.4k

81.5k

1.3m