Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Tester
    4. Test Adapter SQL History Statistics

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    Test Adapter SQL History Statistics

    This topic has been deleted. Only users with topic management privileges can see it.
    • Scrounger
      Scrounger Developer last edited by Scrounger

      Aktuelle Test Version 0.2.0
      Veröffentlichungsdatum 18.04.2020
      Github Link https://github.com/Scrounger/iobroker.sqlstatistics

      SQL History Adapater benötigt!

      SQL History Statistics erstellt Statistiken für euren Datenbank Provider. Es werden Statistiken wie Größe in MB, Anzahl der Reihen, etc. für Datenbanken und Tabellen erstellt.

      Für die verwendete IoBroker Datenbank werden zusätzlich Statistiken über nicht mehr verwendete Datenpunkte und die verbundenen Datensätze erzeugt.

      SQLite3 Datenbank wird nicht unterstützt!

      Adapter ist Alpha und deshlab noch nicht im latest. Bitte direkt von github installieren.

      Tester für mssql & postgresql benötigt

      Da ich selber nur MySql nutze, habe ich den Adapter nur mit MySql getestet!
      Ich benötige Unterstützung beim testen mit mssql und postgresql

      Latzi liv-in-sky 3 Replies Last reply Reply Quote 1
      • Latzi
        Latzi @Scrounger last edited by

        @Scrounger
        klingt interessant, hab ich gleich mal ausprobiert (ich benutze aber auch mysql).
        Adapter installiert, Instanz erzeugt, Einstellungen vorgenommen, doch leider bekomme ich folgende Fehlermeldung:

        2020-04-18 13:12:14.377 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 10540
        2020-04-18 13:12:16.405 - info: sqlstatistics.0 (10540) starting. Version 0.1.0 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
        2020-04-18 13:12:16.472 - info: sqlstatistics.0 (10540) connected with 'sql.0' instance.
        2020-04-18 13:12:16.618 - info: sqlstatistics.0 (10540) updating statistics for database provider 'mysql'...
        2020-04-18 13:12:18.041 - error: sqlstatistics.0 (10540) [updateStatistic] error: Cannot read property '0' of null, stack: TypeError: Cannot read property '0' of null
        at Sqlstatistics.updateStatistic (/opt/iobroker/node_modules/iobroker.sqlstatistics/main.js:118:50)
        at process._tickCallback (internal/process/next_tick.js:68:7)
        

        Kannst du damit etwas anfangen?

        Scrounger 1 Reply Last reply Reply Quote 0
        • Scrounger
          Scrounger Developer @Latzi last edited by

          @Latzi
          Habs gefixt, bitte die github version 0.1.1 testen, danke!

          Latzi 1 Reply Last reply Reply Quote 0
          • Latzi
            Latzi @Scrounger last edited by

            @Scrounger

            schaut gut aus, bekomme zwar noch warnings (siehe unten) läuft aber. Werde mich mal damit auseinandersetzen.
            Kannst du mir bitte mitteilen, was die 2 checkboxes

            81b08f8d-343a-407e-a5c2-98132047a831-grafik.png
            genau bewirken?

            2020-04-18 17:10:16.311 - info: host.Pi4-Server "system.adapter.sqlstatistics.0" enabled
            2020-04-18 17:10:16.377 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 8438
            2020-04-18 17:10:18.428 - info: sqlstatistics.0 (8438) starting. Version 0.1.1 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
            2020-04-18 17:10:18.496 - info: sqlstatistics.0 (8438) connected with 'sql.0' instance.
            2020-04-18 17:10:18.646 - info: sqlstatistics.0 (8438) updating statistics for database provider 'mysql'...
            2020-04-18 17:10:19.469 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_DATAFILES' rowsCount is 'null'
            2020-04-18 17:10:19.508 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_TABLESTATS' rowsCount is 'null'
            2020-04-18 17:10:19.519 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_LOCKS' rowsCount is 'null'
            2020-04-18 17:10:19.533 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_TABLESPACES_SCRUBBING' rowsCount is 'null'
            2020-04-18 17:10:19.545 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMPMEM' rowsCount is 'null'
            2020-04-18 17:10:19.556 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP_PER_INDEX' rowsCount is 'null'
            2020-04-18 17:10:19.570 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP' rowsCount is 'null'
            2020-04-18 17:10:19.581 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_FOREIGN_COLS' rowsCount is 'null'
            2020-04-18 17:10:19.592 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP_RESET' rowsCount is 'null'
            2020-04-18 17:10:19.644 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_TABLESPACES_ENCRYPTION' rowsCount is 'null'
            2020-04-18 17:10:19.658 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_BUFFER_PAGE_LRU' rowsCount is 'null'
            2020-04-18 17:10:19.666 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_FIELDS' rowsCount is 'null'
            2020-04-18 17:10:19.675 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMPMEM_RESET' rowsCount is 'null'
            2020-04-18 17:10:19.684 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_COLUMNS' rowsCount is 'null'
            2020-04-18 17:10:19.693 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_INDEX_TABLE' rowsCount is 'null'
            2020-04-18 17:10:19.702 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_CMP_PER_INDEX_RESET' rowsCount is 'null'
            2020-04-18 17:10:19.717 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_INDEX_CACHE' rowsCount is 'null'
            2020-04-18 17:10:19.732 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_BEING_DELETED' rowsCount is 'null'
            2020-04-18 17:10:19.744 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_BUFFER_POOL_STATS' rowsCount is 'null'
            2020-04-18 17:10:19.757 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_TRX' rowsCount is 'null'
            2020-04-18 17:10:19.766 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_FOREIGN' rowsCount is 'null'
            2020-04-18 17:10:19.782 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_TABLES' rowsCount is 'null'
            2020-04-18 17:10:19.802 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_CONFIG' rowsCount is 'null'
            2020-04-18 17:10:19.810 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_BUFFER_PAGE' rowsCount is 'null'
            2020-04-18 17:10:19.822 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_TABLESPACES' rowsCount is 'null'
            2020-04-18 17:10:19.831 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_METRICS' rowsCount is 'null'
            2020-04-18 17:10:19.839 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_INDEXES' rowsCount is 'null'
            2020-04-18 17:10:19.848 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_VIRTUAL' rowsCount is 'null'
            2020-04-18 17:10:19.855 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_SYS_SEMAPHORE_WAITS' rowsCount is 'null'
            2020-04-18 17:10:19.869 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_LOCK_WAITS' rowsCount is 'null'
            2020-04-18 17:10:19.876 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_MUTEXES' rowsCount is 'null'
            2020-04-18 17:10:19.892 - warn: sqlstatistics.0 (8438) [updateStatistic] database: 'information_schema', table: 'INNODB_FT_DELETED' rowsCount is 'null'
            

            Vielen Dank!!!

            Scrounger 1 Reply Last reply Reply Quote 0
            • Scrounger
              Scrounger Developer @Latzi last edited by

              @Latzi
              e886506c-26fe-4a6e-8562-74e8789de048-grafik.png
              Aktiviert -> es werden Datenpunkt für jede Tabellen von allen Datenbanken erzeugt.
              Deaktiviert -> nur Datenpunkte für Tabellen der IoBroker Datenbank werden erzeugt.

              d8f2fd4b-535a-46af-b5ed-6cf265cbd739-grafik.png
              Löscht automatisch Datenpunkt die nicht mehr aktualisiert werden. Z.B. wenn du eine Datenbank auf die Blacklist setzt.

              Kannst beide Punkte gefahrlos ausprobieren, an deiner Datenbank geht da nix kaputt!

              2020-04-18 17:10:16.311 - info: host.Pi4-Server "system.adapter.sqlstatistics.0" enabled
              2020-04-18 17:10:16.377 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 8438
              2020-04-18 17:10:18.428 - info: sqlstatistics.0 (8438) starting. Version 0.1.1 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
              2020-04-18 17:10:18.496 - info: sqlstatistics.0 (8438) connected with 'sql.0' instance.
              

              Welche MySql Version hast du?

              Latzi 1 Reply Last reply Reply Quote 0
              • Latzi
                Latzi @Scrounger last edited by Latzi

                @Scrounger sagte in Test Adapter SQL History Statistics:

                Welche MySql Version hast du?

                Datenbank ist MariaDB 10 (Server-Version: 10.3.21) auf einer Synology.

                Interessant ist, dass die Größen der Einzeltabellen in Summe nicht der Gesamtgröße entspricht, ist das erklärbar?
                7197bf8d-78aa-4065-9916-3554d458041f-grafik.png

                Vielen Dank für die Erklärung der Auswahlfelder!!!

                Der Adapter gefällt mir richtig gut, sehr wertvoll 👏 👏

                Scrounger 1 Reply Last reply Reply Quote 0
                • Scrounger
                  Scrounger Developer @Latzi last edited by Scrounger

                  @Latzi sagte in Test Adapter SQL History Statistics:

                  Interessant ist, dass die Größen der Einzeltabellen in Summe nicht der Gesamtgröße entspricht, ist das erklärbar?
                  7197bf8d-78aa-4065-9916-3554d458041f-grafik.png

                  Das wird jetzt glaub hart für dich, aber weil du nicht rechnen kannst 😁 😉
                  Du addierst die Datenbankgröße 190,92MB (Summe) mit der Größe der in dieser Datenbank enthaltenen Tabellen. Aber die sind natürlich in der Datenbankgröße schon enthalten.

                  Der Adapter gefällt mir richtig gut, sehr wertvoll 👏 👏

                  Danke, es gibt inzwischen noch mehr statistiken übers System:

                  ab70b001-6d9b-4608-aad9-5b2ba15c1470-grafik.png

                  Wenn du es testen magst, von github installieren version 0.1.2
                  Und hier ist erklärt was die einzelnen Systemdaten ausssagen:
                  http://blog.monyog.com/top-performance-metrics-monitor-mysql-connections-buffer-pool-usage/

                  Latzi Glasfaser 2 Replies Last reply Reply Quote 0
                  • Latzi
                    Latzi @Scrounger last edited by

                    @Scrounger sagte in Test Adapter SQL History Statistics:

                    Das wird jetzt glaub hart für dich, aber weil du nicht rechnen kannst

                    Verdammt, du hast mich entlarvt 😉 Ist aber auch gemein die Gesamtgröße in ts_number zu packen 🙂

                    @Scrounger sagte in Test Adapter SQL History Statistics:

                    Wenn du es testen magst, von github installieren version 0.1.2

                    schon installiert, warnings kommen noch

                    @Scrounger sagte in Test Adapter SQL History Statistics:

                    Und hier ist erklärt was die einzelnen Systemdaten ausssagen:

                    Danke für die Informationen, da hab ich für eine Weile Lesestoff!

                    Scrounger 1 Reply Last reply Reply Quote 0
                    • liv-in-sky
                      liv-in-sky @Scrounger last edited by

                      @Scrounger

                      coole idee

                      • mysql
                      • keine warnungen oder fehler
                      • datenpunkte sind gefüllt
                      1 Reply Last reply Reply Quote 0
                      • Scrounger
                        Scrounger Developer @Latzi last edited by

                        @Latzi sagte in Test Adapter SQL History Statistics:

                        schon installiert, warnings kommen noch

                        Hast du bei deiner MariaDb die InnoDb funktion nicht aktiviert?

                        Latzi 1 Reply Last reply Reply Quote 0
                        • Latzi
                          Latzi @Scrounger last edited by

                          @Scrounger sagte in Test Adapter SQL History Statistics:

                          @Latzi sagte in Test Adapter SQL History Statistics:

                          schon installiert, warnings kommen noch

                          Hast du bei deiner MariaDb die InnoDb funktion nicht aktiviert?

                          Nein

                          Glasfaser 1 Reply Last reply Reply Quote 0
                          • Glasfaser
                            Glasfaser @Latzi last edited by Glasfaser

                            @Latzi

                            Nur als Hinweis , setze global max_connections höher als vorgegeben .
                            Habe mich auch letzten bei meiner Synology MariaDB/SQL ausgesperrt ..

                            set global max_connections = 200;
                            

                            Meldung in ioBroker : mysqladmin flush-hosts

                            Latzi 1 Reply Last reply Reply Quote 1
                            • Latzi
                              Latzi @Glasfaser last edited by

                              @Glasfaser
                              wo mach ich das (geht das direkt in MariaDB)?

                              Glasfaser 1 Reply Last reply Reply Quote 0
                              • Glasfaser
                                Glasfaser @Latzi last edited by

                                @Latzi

                                in der Konsole phpMyAdmin .. ganz unten

                                1.JPG

                                oder als Festeintrag in der Config ( /etc/mysql )

                                2.JPG

                                Latzi 1 Reply Last reply Reply Quote 1
                                • Latzi
                                  Latzi @Glasfaser last edited by

                                  @Glasfaser
                                  Ahhh, vielen Dank, wieder was gelernt (ist mir noch nie aufgefallen)! 👏

                                  Scrounger 1 Reply Last reply Reply Quote 0
                                  • Glasfaser
                                    Glasfaser @Scrounger last edited by

                                    @Scrounger sagte in Test Adapter SQL History Statistics:

                                    @Latzi sagte in Test Adapter SQL History Statistics:
                                    Und hier ist erklärt was die einzelnen Systemdaten ausssagen:
                                    http://blog.monyog.com/top-performance-metrics-monitor-mysql-connections-buffer-pool-usage/

                                    Ich würde den Link oben anheften und auf den Eintrag verweisen !?

                                    1 Reply Last reply Reply Quote 0
                                    • Scrounger
                                      Scrounger Developer @Latzi last edited by

                                      @Latzi , @Glasfaser

                                      max connections gibts in der nächsten Version dann auch als info, also was die höchste Anzahl war seit dem DB läuft:
                                      dd025aec-de5d-4f62-a0d1-35f3b5becc4b-grafik.png

                                      @Glasfaser sagte in Test Adapter SQL History Statistics:

                                      Ich würde den Link oben anheften und auf den Eintrag verweisen !?

                                      Ist schon geplant wenn ich die Doku nachziehe.

                                      Scrounger 1 Reply Last reply Reply Quote 1
                                      • Scrounger
                                        Scrounger Developer @Scrounger last edited by

                                        Version 0.2.0 (2020-04-25)

                                        • system statistics added
                                        • adapter settings added
                                        • translation added
                                        • option to reset session statistics every day added
                                        • sum of not used rows in iob database added

                                        Der Adapter sollte davor vollständig gelöscht werden, da ich einiges an der struktur geändert habe.
                                        Diese Version wird es auch demnächst im latest geben.

                                        Latzi 1 Reply Last reply Reply Quote 0
                                        • Latzi
                                          Latzi @Scrounger last edited by Latzi

                                          @Scrounger sagte in Test Adapter SQL History Statistics:

                                          Version 0.2.0 (2020-04-25)

                                          Hi, neue Version läuft (ich bekomme auch keine warnings mehr bezüglich innodb), bei jedem Adapterstart (nicht nur beim Erststart) wird folgendes gemeldet:

                                          2020-04-25 13:14:57.322 - info: host.Pi4-Server instance system.adapter.sqlstatistics.0 started with pid 32510
                                          2020-04-25 13:14:59.123 - info: sqlstatistics.0 (32510) starting. Version 0.2.0 in /opt/iobroker/node_modules/iobroker.sqlstatistics, node: v10.19.0
                                          2020-04-25 13:14:59.202 - info: sqlstatistics.0 (32510) connected with 'sql.0' instance.
                                          2020-04-25 13:14:59.327 - info: sqlstatistics.0 (32510) updating avaiable datapoint infos for database provider 'mysql'...
                                          2020-04-25 13:14:59.431 - error: sqlstatistics.0 (32510) [mysql] list of available system / session infos is null. Please report this issue to the developer!
                                          2020-04-25 13:14:59.557 - error: sqlstatistics.0 (32510) [mysql] list of client is null. Please report this issue to the developer!
                                          2020-04-25 13:14:59.569 - info: sqlstatistics.0 (32510) Successful updating avaiable datapoint infos!
                                          2020-04-25 13:14:59.570 - info: sqlstatistics.0 (32510) connected with 'sql.0' instance.
                                          2020-04-25 13:14:59.625 - info: sqlstatistics.0 (32510) updating system statistics for database provider 'mysql'...
                                          2020-04-25 13:14:59.635 - error: sqlstatistics.0 (32510) [mysql] system statistics is null. Please report this issue to the developer!
                                          2020-04-25 13:14:59.635 - info: sqlstatistics.0 (32510) updating session statistics for database provider 'mysql'...
                                          2020-04-25 13:14:59.645 - error: sqlstatistics.0 (32510) [mysql] session statistics is null. Please report this issue to the developer!
                                          2020-04-25 13:14:59.647 - info: sqlstatistics.0 (32510) updating client statistics for database provider 'mysql'...
                                          2020-04-25 13:14:59.664 - error: sqlstatistics.0 (32510) [mysql] client statistics is null. Please report this issue to the developer!
                                          2020-04-25 13:14:59.668 - info: sqlstatistics.0 (32510) connected with 'sql.0' instance.
                                          2020-04-25 13:14:59.687 - info: sqlstatistics.0 (32510) updating statistics for database provider 'mysql'...
                                          

                                          Muss ich bei den Einstellungen etwas angeben? Derzeit hab ich keine weiteren Änderungen vorgenommen (auch nicht in den "neuen" Reitern Blacklist, Datenpunke,..)?

                                          EDIT: Meldungen kommen jedesmal, wenn die Abfrage läuft

                                          1 Reply Last reply Reply Quote 0
                                          • liv-in-sky
                                            liv-in-sky @Scrounger last edited by

                                            @Scrounger

                                            habe diese meldungen - muss ich was machen ?

                                            sqlstatistics.0	2020-05-02 11:42:31.528	warn	(14449) [updateDatabaseStatistic] database: 'hilde-pass', table: 'kenn' rowsCount is 'null'
                                            sqlstatistics.0	2020-05-02 11:42:31.396	info	(14449) updating statistics for database provider 'mysql'...
                                            sqlstatistics.0	2020-05-02 11:42:31.354	info	(14449) connected with 'sql.0' instance.
                                            sqlstatistics.0	2020-05-02 11:42:31.344	error	(14449) [mysql] client statistics is []. Please report this issue to the developer!
                                            sqlstatistics.0	2020-05-02 11:42:31.329	info	(14449) updating client statistics for database provider 'mysql'...
                                            sqlstatistics.0	2020-05-02 11:42:31.328	info	(14449) Successful updating session statistics!
                                            sqlstatistics.0	2020-05-02 11:42:31.249	info	(14449) updating session statistics for database provider 'mysql'...
                                            
                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate

                                            821
                                            Online

                                            31.8k
                                            Users

                                            80.0k
                                            Topics

                                            1.3m
                                            Posts

                                            adapter history mssql mysql postgresql sql statistic adapter
                                            4
                                            20
                                            1009
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo