Grafana und Prometheus in iobroker ein-bzw.anbinden

sissiwup

Was ist das Ziel: Ein grafisches Dashboard für iobroker-Grafiken:

Und eine Überwachung des Rechners etc.

Welche Schritte braucht man dafür:

1.) History in MySql

Hier erweitern die die Tabellen für eine einfachere Verwendbarkeit

Export der notwendigen Werte per Script

2.) Installation grafana

3.) Anbindung grafana an mySQL

Datenreihen in grafana anzeigen

4.) Installation prometheus

und prometheus-node-exporter

5.) Anbindung prometheus an grafana

Import von Beispiel-Dashboards

6.) Integration grafana in vis

7.) Überwachung mysql mit prometheus-mysql-exporter (inArbeit)

=> für jeden Punkt werde ich einen eigenen Artikel in diesen Thread schreiben.

sissiwup

Zuerst exportieren wir alle Datenpunkte aus iobroker:

im Skriptadapter erzeuge ein Skript:

(Hier nutzt besser die optimierte Version von Dutchman - ein paar Posts weiter unten)

var anz=0;
var data="";
var states = $('*').each(function(id,i) {

    if (getObject(id)) {
        anz=anz+1;
        var devname=getObject(id).common.name;
        var channel=getObject(id).common.name.split(":");
        var dp = getObject(id,"rooms");
        var raum=dp.enumNames;
        if (raum.length>0) {
        //    log(anz+"->"+id+":::::"+devname+"----"+channel[0]+">"+raum+"<");
        } else {
        //    log(anz+"->"+id+":::::"+devname+"----"+channel[0]+">"+"----------"+"<");
            raum="-"
        }
        data = data + '"'+id+'","'+channel[0]+'","'+devname+'","'+raum+'"'+String.fromCharCode(10);

    }
});
  //log(data);
  var fs = require('fs');
  fs.writeFile('/home/shares/allusers/namen.csv', data,'binary', function (error) {
    console.log(' file written-'+anz);
});

Der Pfad "/home/shares/allusers/namen.csv" muss natürlich angepasst werden.

Im MySQL erzeugen wir eine neue Tabelle:

Importieren: Hier ist die Zeichentabelle für ein Linux-System ausgewählt, ggf. anpassen.

Jetzt erweitern wir die Tabelle Datapoints:

(hier brauchen nur sname,lname und raum hinzugefügt werden, alle als TEXT und NULLable)

(Achtung, wenn ihr type0,… auch hinzufügt, macht sie Nullable, nicht wie auf dem Bild!)

Jetzt füllen wir die Datenpunkte mit sprechenden Namen:

````
UPDATE datapoints SET lname=(select lname from namen where namen.name=datapoints.name limit 1);
UPDATE datapoints SET sname=(select sname from namen where namen.name=datapoints.name limit 1);
UPDATE datapoints SET raum=(select raum from namen where namen.name=datapoints.name limit 1);

sissiwup

Installation grafana:

http://docs.grafana.org/installation/debian/

Grafana ist nach der Installation mit

http://euerrechner:3000 aufrufbar. Der Defaultuser ist admin, das Passwort ist auch admin.

sissiwup

Jetzt kommen die Rechte in MySql:

 CREATE USER 'grafanaReader' IDENTIFIED BY 'password';
 GRANT SELECT ON *.* TO 'grafanaReader';

Anschließend kann man die Datasource "MySQL" hinzufügen.

(User:grafanaReader, Passwort:password

Um dann Grafiken anzuzeigen muss man:

SELECT
floor(n.ts/1000) as time_sec,
n.val as value,
concat(d.lname,"(",d.raum,")") as metric
FROM ts_number n,datapoints d
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 152 and n.id=d.id
ORDER BY n.ts ASC

oder falls man nicht die Tabellen erweitert hat:

SELECT
floor(n.ts/1000) as time_sec,
n.val as value,
"Datenpunkt" as metric
FROM ts_number n
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 152 
ORDER BY n.ts ASC

oder für Bool:

Mehrere Bool-Werte in einem Diagramm

SELECT
  floor(n.ts/1000) as time_sec,
  case when n.val=true then 9 else 0 end as value,
  "Bool1" as metric
FROM ts_bool n
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 225 
ORDER BY n.ts ASC

SELECT
  floor(n.ts/1000) as time_sec,
  case when n.val=true then 19 else 10 end as value,
  "Bool2" as metric
FROM ts_bool n
WHERE $__unixEpochFrom()*1000<n.ts and $__unixEpochTo()*1000>n.ts and n.id = 226 
ORDER BY n.ts ASC

in einen neuen Dashboard (z.B. ioBroker) eingeben

(neues Dashboard, AddRow,Graph)

Mit Klick auf den Titel kann man per Edit die ersten Werte anzeigen:

sissiwup

Je nach System gibt es verschiedene Varianten Prometheus zu installieren.

Hier die für Jessie: deb http://ftp.debian.org/debian jessie-backports main zur Datei in /etc/apt/sources.list hinzufügen

 more sources.list
#

deb http://ftp.de.debian.org/debian/ jessie main contrib non-free
deb-src http://ftp.de.debian.org/debian/ jessie main contrib non-free

deb http://security.debian.org/ jessie/updates main contrib non-free
deb-src http://security.debian.org/ jessie/updates main contrib non-free

deb https://packagecloud.io/grafana/stable/debian/ jessie main

deb http://ftp.debian.org/debian jessie-backports main

anschließend:

apt-get update
apt-get -t jessie-backports install prometheus-node-exporter
apt-get -t jessie-backports install prometheus

Starten des Datensammlers und des Servers:

../init.d/prometheus-node-exporter restart
 ../init.d/prometheus restart
 ../init.d/prometheus stop
 ../init.d/prometheus start

Der Server läuft dann auf

localhost:9090

Die Datenquelle auf

localhost:9100

Sollte 9090 belegt sein, dann: in /etc/default/prometheus

# Set the command-line arguments to pass to the server.
ARGS="-web.listen-address=0.0.0.0:9190"

In /etc/prometheus/ dann auch (nur wenn der Port belegt ist)

/etc/prometheus# more prometheus.yml
# Sample config for Prometheus.

global:
  scrape_interval:     15s # By default, scrape targets every 15 seconds.
  evaluation_interval: 15s # By default, scrape targets every 15 seconds.
  # scrape_timeout is set to the global default (10s).

  # Attach these labels to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
      monitor: 'example'

# Load and evaluate rules in this file every 'evaluation_interval' seconds.
rule_files:
  # - "first.rules"
  # - "second.rules"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 5s
    scrape_timeout: 5s

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ['localhost:9190']

  - job_name: node
    # If prometheus-node-exporter is installed, grab stats about the local
    # machine by default.
    static_configs:
      - targets: ['localhost:9100']</job_name>

Wenn man die Webadressen aufruft sollte folgendes kommen:

http://192.168.1.13:9190/status

(sollte hier ein Fehler kommen, wenn man den Server von einen anderen Rechner aufruft, dann bitte -web.listen-address=0.0.0.0:9?90 (siehe oben) einfügen (?=0 oder 1))

http://192.168.1.13:9100/metrics

sissiwup

In grafana -> Add Datasource

609_bildschirmfoto_2018-02-27_um_20.23.41.png

Unter https://grafana.com/dashboards?dataSour … deExporter

findet ihr Beispiel-Dashboard für die Maschinendaten:

z.B.:
609_bildschirmfoto_2018-02-27_um_20.26.01.png

Unter Dashboard rechts: Import Dashboard
609_bildschirmfoto_2018-02-27_um_20.26.49.png

Hier die Nummer aus der Übersichtsseite eingeben (z.B. 1860):
609_bildschirmfoto_2018-02-27_um_20.28.52.png

Wichtig hier die Prometheus Datenquelle auswählen:
609_bildschirmfoto_2018-02-27_um_20.29.25.png

Viel Spaß beim testen

sissiwup

… wird fortgesetzt ...

sissiwup

1. Beispiel:

Dutchman

Hi sissiwup,

Danke für dein tutorial !

Ich bekomme leider fehlen bei dem script zum datenpunkt extrahieren ?

javascript.0	2018-04-13 20:35:17.277	error	at script.js.VerbruikLogging.SQL_export:8:46
javascript.0	2018-04-13 20:35:17.277	error	TypeError: Cannot read property 'split' of undefined
javascript.0	2018-04-13 20:35:17.277	error	^
javascript.0	2018-04-13 20:35:17.277	error	var channel=getObject(id).common.name.split(":");
javascript.0	2018-04-13 20:35:17.277	error	script.js.VerbruikLogging.SQL_export: script.js.VerbruikLogging.SQL_export:8

kannst du damit was anfangen ?

Thanks, greets Dutch

sissiwup

~~@Dutchman:~~

Hi sissiwup,

Danke für dein tutorial !

Ich bekomme leider fehlen bei dem script zum datenpunkt extrahieren ?

javascript.0	2018-04-13 20:35:17.277	error	at script.js.VerbruikLogging.SQL_export:8:46
javascript.0	2018-04-13 20:35:17.277	error	TypeError: Cannot read property 'split' of undefined
javascript.0	2018-04-13 20:35:17.277	error	^
javascript.0	2018-04-13 20:35:17.277	error	var channel=getObject(id).common.name.split(":");
javascript.0	2018-04-13 20:35:17.277	error	script.js.VerbruikLogging.SQL_export: script.js.VerbruikLogging.SQL_export:8

kannst du damit was anfangen ?

Thanks, greets Dutch `

Sieht so aus, als wenn er mit einen Objekt nicht klar kommt.

Füg mal vor die Zeile mit Split ein log(devname); ein, damit du siehst bei welchem er Probleme hat.

Dann kann man das auslassen. Vlt. wählst du auch einfach mal nicht per "*" alle aus sondern schränkst das ein.

Dutchman

Danke, durch Entfernen der Wildcard klappt es ein Wert im openhab Adapter lässt das Script crashen.

~Dutch

–-----------------------

Send from mobile device

Das schöne ios hat Auto Korrektur zum k****

Wer Schreibfehler findet darf sie behalten oder auf eBay verkaufen, mindest Umsatz 10% für die community

Dutchman

Hi sissiwup,

Ich habe mir den code ein wenig erweitert um diese Fehler ab zu fangen, was genau:

das script ist in der basis geblieben
es fragt jetzt ab ob ein wert den status sql logging enabled hat
nur dan wird es in die Datei geschrieben

vorteile

den crash welche ich hatte wird damit abgefangen
die generierte Namen dabei enthält nur die object welche auch SQL logging aktiviert haben

code:

var anz = 0;
var total = 0;
var data = "";
var states = $('*').each(function(id, i) {

    if (getObject(id)) {
        anz = anz + 1;
        try {
            var devname = getObject(id).common.name;
            var logenabled = getObject(id).common.custom["sql.0"].enabled;
            //count total states with sql logging enabled
            total = total + 1;
            //onlz write states to file with sql logging enabled
            if (logenabled === true) {
                log('extract : ' + devname);
                var channel = getObject(id).common.name.split(":");
                var dp = getObject(id, "rooms");
                var raum = dp.enumNames;
                if (raum.length > 0) {
                    //    log(anz+"->"+id+":::::"+devname+"----"+channel[0]+">"+raum+"<");
                } else {
                    //    log(anz+"->"+id+":::::"+devname+"----"+channel[0]+">"+"----------"+"<");
                    raum = "-";
                }
                data = data + '"' + id + '","' + channel[0] + '","' + devname + '","' + raum + '"' + String.fromCharCode(10);

            }

        } catch (err) {}
    }
});

//log(data);
var fs = require('fs');
fs.writeFile('/home/shares/allusers/namen.csv', data, 'binary', function(error) {
    console.log(' object scanned : ' + anz);
    console.log(' SQL enabled objects written to file : ' + total);
});

Ergebnis bei mir:

javascript.2	2018-04-15 15:03:14.108	info	script.js.Testing.SQL_Extract: SQL enabled objects written to file : 119
javascript.2	2018-04-15 15:03:14.108	info	script.js.Testing.SQL_Extract: object scanned : 4758

das sind schon mal ein par tausend unnötige Einträge weniger

~Dutch

ruhr70

Mir fehlt die Bedanken Funktion

Schönes Howto!

Dutchman

So nachdem ich mich die letzten tage mit Grafana auseinander geschlagen habe und einige Fehlversuche hatte möchte ich meinen Beitrag liefern dieses tutorial zu erweitern.

Ziel : Grafana in vis integrieren auf eine art und weise das die Grafiken sowohl im internen als auch externen Netzwerk erreichbar sind [emoji3]

dazu müssen wir:

einen proxy einrichten
die configuration von Grafana ändern damit es über den proxy funktioniert
anonymous Zugang aktivieren
die richtigen links in vis iFrames einsetzen

Schritt 1 und 2 kan man weglassen wen man grafan nur intern erreichbar machen möchte

1ster schritt : Damit Grafiken sowohl intern als extern erreichbar ist müssen wir einen proxy verwenden, dafür installieren wird den proxy adapater

Die konfigurations dazu sollte so aussehen :

Wichtig : unter context muss der name mit "/" enden ! die ip-adresse muss übereinstimmen mit eurer grafana installation, in meinen fall läuft diese auf einen andere server als iObroker selber

979_screen_shot_2018-04-19_at_10.16.17.png

2 ter schritt : jetzt konfigurieren wir Grafana damit es über den proxy erreichbar ist, Nachteil hiervon ist das grafana nur noch über die proxy URL erreichbar sein wird.

in der datei "/etc/grafana/grafana.ini" ändern wir den wert "root_url =" passend zu unseren iObroker installation und Konfiguration des proxy adapters.

Vorsicht, standard steht vor der weile ein ";", das muss man entfernen ! Bei mir sieht es dan so aus:

root_url = http://192.168.1.210:8082/proxy.0/grafana/

sudo service grafana-server restart

Ab jetzt ist Grafana nur noch erreichbar über die IP-Adresse : http://<ip eurer/iobroker/installation="">:8082/proxy.0/grafana/ !</ip>

3 ter schritt : Jetzt aktivieren wir den anonymen Zugang, damit werden Grafiken immer angezeigt auch ohne login. Änderungen kann man nur als admin/eingelogter user ausführen:

in der datei "/etc/grafana/grafana.ini" folgende wert ändern:
` > #################################### Anonymous Auth ##########################

[auth.anonymous]

enable anonymous access

enabled = true `

Jetzt grafana neu starten:

sudo service grafana-server restart

Ab jetzt kann man die Grafiken erreichen ohne vorher ein username/password ein zu fügen ! Möchten man etwas änder muss man sich unten links erst anmelden

4ter schritt : Grafana Grafiken in vis integrieren. Es gibt 2 unterschiedliche links A) Link, hierin kann man auch die Zeitspannen ändern B) Embed, die wird ein fester link zu der Grafik.

Erst holen wir uns den link der Grafik, dazu klicken wir auf den Pfeil neben den Namen und dan "share" :
979_screen_shot_2018-04-19_at_10.31.00.png

Jetzt sehen wird die dazugehörigen links, Vorsicht : Damit die Grafiken in vis von überall Funktionieren müssen wir die IP-Adresse weglassen !

In grafana steht z.b.:

http://192.168.1.210:9092/proxy.0/grafana/d/JgcWHHZiz/iobroker?refresh=10s&orgId=1&panelId=4&fullscreen&from=1523953868218&to=1524126668218

Wir kopieren aber nur

/proxy.0/grafana/d/JgcWHHZiz/iobroker?refresh=10s&orgId=1&panelId=4&fullscreen&from=1523953868218&to=1524126668218

Als letzten nehmen wir in vis das widget "iFrame" und fügen hier die entsprechende URL ein:
979_screen_shot_2018-04-19_at_10.38.29.png

und das wars auch schon, viel spass damit ! [emoji2] [emoji2] [emoji2]

Zugang per Cloud wird leider nicht unterstützt.

Ich habe dafür eine 2te Webinhalte mit Reader only User eingerichtet welche extern erreichbar ist.

sissiwup

Noch was cooles, was mit grafana möglich ist:

https://homematic-forum.de/forum/viewto … 18&t=43486
609_bildschirmfoto_2018-05-01_um_15.04.47.png

Dafür braucht es noch ein wenig Skript etc. Da ich java verwendet habe, habe ich das nicht im iobroker implementiert.

Wenn jemand daraus einen Schicken Adapter macht, Sourceode ist im homematic-forum enthalten.

ChristianF

Hallo zusammen,

auch von mir herzlichen Dank für das Tutorial. Funktioniert sehr gut Habe allerdings bisher nur Grafana installiert und Daten aus der iobroker DB visualisiert. Prometheus kommt später

Haken an der Sache: seit ich die Datenbank erweitert habe, kann ich keine weiteren Objekte in die History nehmen:

Hat jemand eine Idee, was ich tun kann?

Danke und viele Grüße

Christian

sissiwup

~~@ChristianF:~~

Hallo zusammen,

auch von mir herzlichen Dank für das Tutorial. Funktioniert sehr gut Habe allerdings bisher nur Grafana installiert und Daten aus der iobroker DB visualisiert. Prometheus kommt später

Haken an der Sache: seit ich die Datenbank erweitert habe, kann ich keine weiteren Objekte in die History nehmen:

f1.JPG

Hat jemand eine Idee, was ich tun kann?

Danke und viele Grüße

Christian `
Hi,

hast du die Felder vlt. nicht nullable gemacht?

609_bildschirmfoto_2018-08-09_um_18.44.15.png
=> Null = Ja

=> Standard = NULL

ChristianF

Ich denke eigentlich schon… aber bei Dir gibt es auch deutlich mehr Spalten als bei mir..

sissiwup

~~@ChristianF:~~

Hallo zusammen,

auch von mir herzlichen Dank für das Tutorial. Funktioniert sehr gut Habe allerdings bisher nur Grafana installiert und Daten aus der iobroker DB visualisiert. Prometheus kommt später

Haken an der Sache: seit ich die Datenbank erweitert habe, kann ich keine weiteren Objekte in die History nehmen:

f1.JPG

Hat jemand eine Idee, was ich tun kann?

Danke und viele Grüße

Christian `

Hi,

das scheint ein Fehler im SQL-Adapter zu sein. Hier ist der Datentyp falsch. Wähle man anstelle von Automatisch den korrekten Typ.

ChristianF

Danke, das hat die Lösung gebracht.

NEWS

Grafana und Prometheus in iobroker ein-bzw.anbinden

enable anonymous access

Support us

1.5k
Online

30.4k
Users

76.7k
Topics

1.2m
Posts

NEWS

Grafana und Prometheus in iobroker ein-bzw.anbinden

enable anonymous access

Support us

1.5kOnline

30.4kUsers

76.7kTopics

1.2mPosts

1.5k
Online

30.4k
Users

76.7k
Topics

1.2m
Posts