Test Adapter SQL History Statistics

[Scrounger]

Aktuelle Test Version	0.2.0
Veröffentlichungsdatum	18.04.2020
Github Link	https://github.com/Scrounger/iobroker.sqlstatistics

SQL History Adapater benötigt!

SQL History Statistics erstellt Statistiken für euren Datenbank Provider. Es werden Statistiken wie Größe in MB, Anzahl der Reihen, etc. für Datenbanken und Tabellen erstellt.

Für die verwendete IoBroker Datenbank werden zusätzlich Statistiken über nicht mehr verwendete Datenpunkte und die verbundenen Datensätze erzeugt.

SQLite3 Datenbank wird nicht unterstützt!

Adapter ist Alpha und deshlab noch nicht im latest. Bitte direkt von github installieren.

Tester für mssql & postgresql benötigt

Da ich selber nur MySql nutze, habe ich den Adapter nur mit MySql getestet!
Ich benötige Unterstützung beim testen mit mssql und postgresql

[Latzi]

@Scrounger
klingt interessant, hab ich gleich mal ausprobiert (ich benutze aber auch mysql).
Adapter installiert, Instanz erzeugt, Einstellungen vorgenommen, doch leider bekomme ich folgende Fehlermeldung:

2020-04-18 13:12:14.377 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 10540
2020-04-18 13:12:16.405 - info: sqlstatistics.0 (10540) starting. Version 0.1.0 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
2020-04-18 13:12:16.472 - info: sqlstatistics.0 (10540) connected with 'sql.0' instance.
2020-04-18 13:12:16.618 - info: sqlstatistics.0 (10540) updating statistics for database provider 'mysql'...
2020-04-18 13:12:18.041 - error: sqlstatistics.0 (10540) [updateStatistic] error: Cannot read property '0' of null, stack: TypeError: Cannot read property '0' of null
at Sqlstatistics.updateStatistic (/opt/iobroker/node_modules/iobroker.sqlstatistics/main.js:118:50)
at process._tickCallback (internal/process/next_tick.js:68:7)

Kannst du damit etwas anfangen?

[Scrounger]

@Latzi
Habs gefixt, bitte die github version 0.1.1 testen, danke!

[Latzi]

@Scrounger

schaut gut aus, bekomme zwar noch warnings (siehe unten) läuft aber. Werde mich mal damit auseinandersetzen.
Kannst du mir bitte mitteilen, was die 2 checkboxes

genau bewirken?

2020-04-18 17:10:16.311 - info: host.Pi4-Server "system.adapter.sqlstatistics.0" enabled
2020-04-18 17:10:16.377 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 8438
2020-04-18 17:10:18.428 - info: sqlstatistics.0 (8438) starting. Version 0.1.1 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
2020-04-18 17:10:18.496 - info: sqlstatistics.0 (8438) connected with 'sql.0' instance.
2020-04-18 17:10:18.646 - info: sqlstatistics.0 (8438) updating statistics for database provider 'mysql'...
2020-04-18 17:10:19.469 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_DATAFILES' rowsCount is 'null'
2020-04-18 17:10:19.508 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_TABLESTATS' rowsCount is 'null'
2020-04-18 17:10:19.519 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_LOCKS' rowsCount is 'null'
2020-04-18 17:10:19.533 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_TABLESPACES_SCRUBBING' rowsCount is 'null'
2020-04-18 17:10:19.545 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMPMEM' rowsCount is 'null'
2020-04-18 17:10:19.556 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP_PER_INDEX' rowsCount is 'null'
2020-04-18 17:10:19.570 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP' rowsCount is 'null'
2020-04-18 17:10:19.581 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_FOREIGN_COLS' rowsCount is 'null'
2020-04-18 17:10:19.592 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP_RESET' rowsCount is 'null'
2020-04-18 17:10:19.644 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_TABLESPACES_ENCRYPTION' rowsCount is 'null'
2020-04-18 17:10:19.658 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_BUFFER_PAGE_LRU' rowsCount is 'null'
2020-04-18 17:10:19.666 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_FIELDS' rowsCount is 'null'
2020-04-18 17:10:19.675 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMPMEM_RESET' rowsCount is 'null'
2020-04-18 17:10:19.684 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_COLUMNS' rowsCount is 'null'
2020-04-18 17:10:19.693 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_INDEX_TABLE' rowsCount is 'null'
2020-04-18 17:10:19.702 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP_PER_INDEX_RESET' rowsCount is 'null'
2020-04-18 17:10:19.717 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_INDEX_CACHE' rowsCount is 'null'
2020-04-18 17:10:19.732 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_BEING_DELETED' rowsCount is 'null'
2020-04-18 17:10:19.744 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_BUFFER_POOL_STATS' rowsCount is 'null'
2020-04-18 17:10:19.757 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_TRX' rowsCount is 'null'
2020-04-18 17:10:19.766 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_FOREIGN' rowsCount is 'null'
2020-04-18 17:10:19.782 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_TABLES' rowsCount is 'null'
2020-04-18 17:10:19.802 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_CONFIG' rowsCount is 'null'
2020-04-18 17:10:19.810 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_BUFFER_PAGE' rowsCount is 'null'
2020-04-18 17:10:19.822 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_TABLESPACES' rowsCount is 'null'
2020-04-18 17:10:19.831 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_METRICS' rowsCount is 'null'
2020-04-18 17:10:19.839 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_INDEXES' rowsCount is 'null'
2020-04-18 17:10:19.848 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_VIRTUAL' rowsCount is 'null'
2020-04-18 17:10:19.855 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_SEMAPHORE_WAITS' rowsCount is 'null'
2020-04-18 17:10:19.869 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_LOCK_WAITS' rowsCount is 'null'
2020-04-18 17:10:19.876 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_MUTEXES' rowsCount is 'null'
2020-04-18 17:10:19.892 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_DELETED' rowsCount is 'null'

Vielen Dank!!!

[Scrounger]

@Latzi

Aktiviert -> es werden Datenpunkt für jede Tabellen von allen Datenbanken erzeugt.
Deaktiviert -> nur Datenpunkte für Tabellen der IoBroker Datenbank werden erzeugt.

Löscht automatisch Datenpunkt die nicht mehr aktualisiert werden. Z.B. wenn du eine Datenbank auf die Blacklist setzt.

Kannst beide Punkte gefahrlos ausprobieren, an deiner Datenbank geht da nix kaputt!

2020-04-18 17:10:16.311 - info: host.Pi4-Server "system.adapter.sqlstatistics.0" enabled
2020-04-18 17:10:16.377 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 8438
2020-04-18 17:10:18.428 - info: sqlstatistics.0 (8438) starting. Version 0.1.1 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
2020-04-18 17:10:18.496 - info: sqlstatistics.0 (8438) connected with 'sql.0' instance.

Welche MySql Version hast du?

[Latzi]

@Scrounger sagte in Test Adapter SQL History Statistics:

Welche MySql Version hast du?

Datenbank ist MariaDB 10 (Server-Version: 10.3.21) auf einer Synology.

Interessant ist, dass die Größen der Einzeltabellen in Summe nicht der Gesamtgröße entspricht, ist das erklärbar?

Vielen Dank für die Erklärung der Auswahlfelder!!!

Der Adapter gefällt mir richtig gut, sehr wertvoll

[Scrounger]

@Latzi sagte in Test Adapter SQL History Statistics:

Interessant ist, dass die Größen der Einzeltabellen in Summe nicht der Gesamtgröße entspricht, ist das erklärbar?

Das wird jetzt glaub hart für dich, aber weil du nicht rechnen kannst
Du addierst die Datenbankgröße 190,92MB (Summe) mit der Größe der in dieser Datenbank enthaltenen Tabellen. Aber die sind natürlich in der Datenbankgröße schon enthalten.

Der Adapter gefällt mir richtig gut, sehr wertvoll

Danke, es gibt inzwischen noch mehr statistiken übers System:

Wenn du es testen magst, von github installieren version 0.1.2
Und hier ist erklärt was die einzelnen Systemdaten ausssagen:
http://blog.monyog.com/top-performance-metrics-monitor-mysql-connections-buffer-pool-usage/

[Latzi]

@Scrounger sagte in Test Adapter SQL History Statistics:

Das wird jetzt glaub hart für dich, aber weil du nicht rechnen kannst

Verdammt, du hast mich entlarvt Ist aber auch gemein die Gesamtgröße in ts_number zu packen

@Scrounger sagte in Test Adapter SQL History Statistics:

Wenn du es testen magst, von github installieren version 0.1.2

schon installiert, warnings kommen noch

@Scrounger sagte in Test Adapter SQL History Statistics:

Und hier ist erklärt was die einzelnen Systemdaten ausssagen:

Danke für die Informationen, da hab ich für eine Weile Lesestoff!

[liv-in-sky]

@Scrounger

coole idee

• mysql
• keine warnungen oder fehler
• datenpunkte sind gefüllt

[Scrounger]

@Latzi sagte in Test Adapter SQL History Statistics:

schon installiert, warnings kommen noch

Hast du bei deiner MariaDb die InnoDb funktion nicht aktiviert?

[Latzi]

@Scrounger sagte in Test Adapter SQL History Statistics:

@Latzi sagte in Test Adapter SQL History Statistics:

schon installiert, warnings kommen noch

Hast du bei deiner MariaDb die InnoDb funktion nicht aktiviert?

Nein

[Glasfaser]

@Latzi

Nur als Hinweis , setze global max_connections höher als vorgegeben .
Habe mich auch letzten bei meiner Synology MariaDB/SQL ausgesperrt ..

set global max_connections = 200;

Meldung in ioBroker : mysqladmin flush-hosts

[Latzi]

@Glasfaser
wo mach ich das (geht das direkt in MariaDB)?

[Glasfaser]

@Latzi

in der Konsole phpMyAdmin .. ganz unten

oder als Festeintrag in der Config ( /etc/mysql )

[Latzi]

@Glasfaser
Ahhh, vielen Dank, wieder was gelernt (ist mir noch nie aufgefallen)!

[Glasfaser]

@Scrounger sagte in Test Adapter SQL History Statistics:

@Latzi sagte in Test Adapter SQL History Statistics:
Und hier ist erklärt was die einzelnen Systemdaten ausssagen:
http://blog.monyog.com/top-performance-metrics-monitor-mysql-connections-buffer-pool-usage/

Ich würde den Link oben anheften und auf den Eintrag verweisen !?

[Scrounger]

@Latzi , @Glasfaser

max connections gibts in der nächsten Version dann auch als info, also was die höchste Anzahl war seit dem DB läuft:

@Glasfaser sagte in Test Adapter SQL History Statistics:

Ich würde den Link oben anheften und auf den Eintrag verweisen !?

Ist schon geplant wenn ich die Doku nachziehe.

[Scrounger]

Version 0.2.0 (2020-04-25)

• system statistics added
• adapter settings added
• translation added
• option to reset session statistics every day added
• sum of not used rows in iob database added

Der Adapter sollte davor vollständig gelöscht werden, da ich einiges an der struktur geändert habe.
Diese Version wird es auch demnächst im latest geben.

[Latzi]

@Scrounger sagte in Test Adapter SQL History Statistics:

Version 0.2.0 (2020-04-25)

Hi, neue Version läuft (ich bekomme auch keine warnings mehr bezüglich innodb), bei jedem Adapterstart (nicht nur beim Erststart) wird folgendes gemeldet:

2020-04-25 13:14:57.322 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 32510
2020-04-25 13:14:59.123 - info: sqlstatistics.0 (32510) starting. Version 0.2.0 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
2020-04-25 13:14:59.202 - info: sqlstatistics.0 (32510) connected with 'sql.0' instance.
2020-04-25 13:14:59.327 - info: sqlstatistics.0 (32510) updating avaiable datapoint infos for database provider 'mysql'...
2020-04-25 13:14:59.431 - error: sqlstatistics.0 (32510) [mysql] list of available system / session infos is null. Please report this issue to the developer!
2020-04-25 13:14:59.557 - error: sqlstatistics.0 (32510) [mysql] list of client is null. Please report this issue to the developer!
2020-04-25 13:14:59.569 - info: sqlstatistics.0 (32510) Successful updating avaiable datapoint infos!
2020-04-25 13:14:59.570 - info: sqlstatistics.0 (32510) connected with 'sql.0' instance.
2020-04-25 13:14:59.625 - info: sqlstatistics.0 (32510) updating system statistics for database provider 'mysql'...
2020-04-25 13:14:59.635 - error: sqlstatistics.0 (32510) [mysql] system statistics is null. Please report this issue to the developer!
2020-04-25 13:14:59.635 - info: sqlstatistics.0 (32510) updating session statistics for database provider 'mysql'...
2020-04-25 13:14:59.645 - error: sqlstatistics.0 (32510) [mysql] session statistics is null. Please report this issue to the developer!
2020-04-25 13:14:59.647 - info: sqlstatistics.0 (32510) updating client statistics for database provider 'mysql'...
2020-04-25 13:14:59.664 - error: sqlstatistics.0 (32510) [mysql] client statistics is null. Please report this issue to the developer!
2020-04-25 13:14:59.668 - info: sqlstatistics.0 (32510) connected with 'sql.0' instance.
2020-04-25 13:14:59.687 - info: sqlstatistics.0 (32510) updating statistics for database provider 'mysql'...

Muss ich bei den Einstellungen etwas angeben? Derzeit hab ich keine weiteren Änderungen vorgenommen (auch nicht in den "neuen" Reitern Blacklist, Datenpunke,..)?

EDIT: Meldungen kommen jedesmal, wenn die Abfrage läuft

[liv-in-sky]

@Scrounger

habe diese meldungen - muss ich was machen ?

sqlstatistics.0	2020-05-02 11:42:31.528	warn	(14449) [updateDatabaseStatistic] database: 'hilde-pass', table: 'kenn' rowsCount is 'null'
sqlstatistics.0	2020-05-02 11:42:31.396	info	(14449) updating statistics for database provider 'mysql'...
sqlstatistics.0	2020-05-02 11:42:31.354	info	(14449) connected with 'sql.0' instance.
sqlstatistics.0	2020-05-02 11:42:31.344	error	(14449) [mysql] client statistics is []. Please report this issue to the developer!
sqlstatistics.0	2020-05-02 11:42:31.329	info	(14449) updating client statistics for database provider 'mysql'...
sqlstatistics.0	2020-05-02 11:42:31.328	info	(14449) Successful updating session statistics!
sqlstatistics.0	2020-05-02 11:42:31.249	info	(14449) updating session statistics for database provider 'mysql'...