Grafana und Prometheus in iobroker ein-bzw.anbinden

sissiwup

1. Beispiel:

Dutchman

Hi sissiwup,

Danke für dein tutorial !

Ich bekomme leider fehlen bei dem script zum datenpunkt extrahieren ?

javascript.0	2018-04-13 20:35:17.277	error	at script.js.VerbruikLogging.SQL_export:8:46
javascript.0	2018-04-13 20:35:17.277	error	TypeError: Cannot read property 'split' of undefined
javascript.0	2018-04-13 20:35:17.277	error	^
javascript.0	2018-04-13 20:35:17.277	error	var channel=getObject(id).common.name.split(":");
javascript.0	2018-04-13 20:35:17.277	error	script.js.VerbruikLogging.SQL_export: script.js.VerbruikLogging.SQL_export:8

kannst du damit was anfangen ?

Thanks, greets Dutch

sissiwup

~~@Dutchman:~~

Hi sissiwup,

Danke für dein tutorial !

Ich bekomme leider fehlen bei dem script zum datenpunkt extrahieren ?

javascript.0	2018-04-13 20:35:17.277	error	at script.js.VerbruikLogging.SQL_export:8:46
javascript.0	2018-04-13 20:35:17.277	error	TypeError: Cannot read property 'split' of undefined
javascript.0	2018-04-13 20:35:17.277	error	^
javascript.0	2018-04-13 20:35:17.277	error	var channel=getObject(id).common.name.split(":");
javascript.0	2018-04-13 20:35:17.277	error	script.js.VerbruikLogging.SQL_export: script.js.VerbruikLogging.SQL_export:8

kannst du damit was anfangen ?

Thanks, greets Dutch `

Sieht so aus, als wenn er mit einen Objekt nicht klar kommt.

Füg mal vor die Zeile mit Split ein log(devname); ein, damit du siehst bei welchem er Probleme hat.

Dann kann man das auslassen. Vlt. wählst du auch einfach mal nicht per "*" alle aus sondern schränkst das ein.

Dutchman

Danke, durch Entfernen der Wildcard klappt es ein Wert im openhab Adapter lässt das Script crashen.

~Dutch

–-----------------------

Send from mobile device

Das schöne ios hat Auto Korrektur zum k****

Wer Schreibfehler findet darf sie behalten oder auf eBay verkaufen, mindest Umsatz 10% für die community

Dutchman

Hi sissiwup,

Ich habe mir den code ein wenig erweitert um diese Fehler ab zu fangen, was genau:

das script ist in der basis geblieben
es fragt jetzt ab ob ein wert den status sql logging enabled hat
nur dan wird es in die Datei geschrieben

vorteile

den crash welche ich hatte wird damit abgefangen
die generierte Namen dabei enthält nur die object welche auch SQL logging aktiviert haben

code:

var anz = 0;
var total = 0;
var data = "";
var states = $('*').each(function(id, i) {

    if (getObject(id)) {
        anz = anz + 1;
        try {
            var devname = getObject(id).common.name;
            var logenabled = getObject(id).common.custom["sql.0"].enabled;
            //count total states with sql logging enabled
            total = total + 1;
            //onlz write states to file with sql logging enabled
            if (logenabled === true) {
                log('extract : ' + devname);
                var channel = getObject(id).common.name.split(":");
                var dp = getObject(id, "rooms");
                var raum = dp.enumNames;
                if (raum.length > 0) {
                    //    log(anz+"->"+id+":::::"+devname+"----"+channel[0]+">"+raum+"<");
                } else {
                    //    log(anz+"->"+id+":::::"+devname+"----"+channel[0]+">"+"----------"+"<");
                    raum = "-";
                }
                data = data + '"' + id + '","' + channel[0] + '","' + devname + '","' + raum + '"' + String.fromCharCode(10);

            }

        } catch (err) {}
    }
});

//log(data);
var fs = require('fs');
fs.writeFile('/home/shares/allusers/namen.csv', data, 'binary', function(error) {
    console.log(' object scanned : ' + anz);
    console.log(' SQL enabled objects written to file : ' + total);
});

Ergebnis bei mir:

javascript.2	2018-04-15 15:03:14.108	info	script.js.Testing.SQL_Extract: SQL enabled objects written to file : 119
javascript.2	2018-04-15 15:03:14.108	info	script.js.Testing.SQL_Extract: object scanned : 4758

das sind schon mal ein par tausend unnötige Einträge weniger

~Dutch

ruhr70

Mir fehlt die Bedanken Funktion

Schönes Howto!

Dutchman

So nachdem ich mich die letzten tage mit Grafana auseinander geschlagen habe und einige Fehlversuche hatte möchte ich meinen Beitrag liefern dieses tutorial zu erweitern.

Ziel : Grafana in vis integrieren auf eine art und weise das die Grafiken sowohl im internen als auch externen Netzwerk erreichbar sind [emoji3]

dazu müssen wir:

einen proxy einrichten
die configuration von Grafana ändern damit es über den proxy funktioniert
anonymous Zugang aktivieren
die richtigen links in vis iFrames einsetzen

Schritt 1 und 2 kan man weglassen wen man grafan nur intern erreichbar machen möchte

1ster schritt : Damit Grafiken sowohl intern als extern erreichbar ist müssen wir einen proxy verwenden, dafür installieren wird den proxy adapater

Die konfigurations dazu sollte so aussehen :

Wichtig : unter context muss der name mit "/" enden ! die ip-adresse muss übereinstimmen mit eurer grafana installation, in meinen fall läuft diese auf einen andere server als iObroker selber

979_screen_shot_2018-04-19_at_10.16.17.png

2 ter schritt : jetzt konfigurieren wir Grafana damit es über den proxy erreichbar ist, Nachteil hiervon ist das grafana nur noch über die proxy URL erreichbar sein wird.

in der datei "/etc/grafana/grafana.ini" ändern wir den wert "root_url =" passend zu unseren iObroker installation und Konfiguration des proxy adapters.

Vorsicht, standard steht vor der weile ein ";", das muss man entfernen ! Bei mir sieht es dan so aus:

root_url = http://192.168.1.210:8082/proxy.0/grafana/

sudo service grafana-server restart

Ab jetzt ist Grafana nur noch erreichbar über die IP-Adresse : http://<ip eurer/iobroker/installation="">:8082/proxy.0/grafana/ !</ip>

3 ter schritt : Jetzt aktivieren wir den anonymen Zugang, damit werden Grafiken immer angezeigt auch ohne login. Änderungen kann man nur als admin/eingelogter user ausführen:

in der datei "/etc/grafana/grafana.ini" folgende wert ändern:
` > #################################### Anonymous Auth ##########################

[auth.anonymous]

enable anonymous access

enabled = true `

Jetzt grafana neu starten:

sudo service grafana-server restart

Ab jetzt kann man die Grafiken erreichen ohne vorher ein username/password ein zu fügen ! Möchten man etwas änder muss man sich unten links erst anmelden

4ter schritt : Grafana Grafiken in vis integrieren. Es gibt 2 unterschiedliche links A) Link, hierin kann man auch die Zeitspannen ändern B) Embed, die wird ein fester link zu der Grafik.

Erst holen wir uns den link der Grafik, dazu klicken wir auf den Pfeil neben den Namen und dan "share" :
979_screen_shot_2018-04-19_at_10.31.00.png

Jetzt sehen wird die dazugehörigen links, Vorsicht : Damit die Grafiken in vis von überall Funktionieren müssen wir die IP-Adresse weglassen !

In grafana steht z.b.:

http://192.168.1.210:9092/proxy.0/grafana/d/JgcWHHZiz/iobroker?refresh=10s&orgId=1&panelId=4&fullscreen&from=1523953868218&to=1524126668218

Wir kopieren aber nur

/proxy.0/grafana/d/JgcWHHZiz/iobroker?refresh=10s&orgId=1&panelId=4&fullscreen&from=1523953868218&to=1524126668218

Als letzten nehmen wir in vis das widget "iFrame" und fügen hier die entsprechende URL ein:
979_screen_shot_2018-04-19_at_10.38.29.png

und das wars auch schon, viel spass damit ! [emoji2] [emoji2] [emoji2]

Zugang per Cloud wird leider nicht unterstützt.

Ich habe dafür eine 2te Webinhalte mit Reader only User eingerichtet welche extern erreichbar ist.

sissiwup

Noch was cooles, was mit grafana möglich ist:

https://homematic-forum.de/forum/viewto … 18&t=43486
609_bildschirmfoto_2018-05-01_um_15.04.47.png

Dafür braucht es noch ein wenig Skript etc. Da ich java verwendet habe, habe ich das nicht im iobroker implementiert.

Wenn jemand daraus einen Schicken Adapter macht, Sourceode ist im homematic-forum enthalten.

ChristianF

Hallo zusammen,

auch von mir herzlichen Dank für das Tutorial. Funktioniert sehr gut Habe allerdings bisher nur Grafana installiert und Daten aus der iobroker DB visualisiert. Prometheus kommt später

Haken an der Sache: seit ich die Datenbank erweitert habe, kann ich keine weiteren Objekte in die History nehmen:

Hat jemand eine Idee, was ich tun kann?

Danke und viele Grüße

Christian

sissiwup

~~@ChristianF:~~

Hallo zusammen,

auch von mir herzlichen Dank für das Tutorial. Funktioniert sehr gut Habe allerdings bisher nur Grafana installiert und Daten aus der iobroker DB visualisiert. Prometheus kommt später

Haken an der Sache: seit ich die Datenbank erweitert habe, kann ich keine weiteren Objekte in die History nehmen:

f1.JPG

Hat jemand eine Idee, was ich tun kann?

Danke und viele Grüße

Christian `
Hi,

hast du die Felder vlt. nicht nullable gemacht?

609_bildschirmfoto_2018-08-09_um_18.44.15.png
=> Null = Ja

=> Standard = NULL

ChristianF

Ich denke eigentlich schon… aber bei Dir gibt es auch deutlich mehr Spalten als bei mir..

sissiwup

~~@ChristianF:~~

Hallo zusammen,

auch von mir herzlichen Dank für das Tutorial. Funktioniert sehr gut Habe allerdings bisher nur Grafana installiert und Daten aus der iobroker DB visualisiert. Prometheus kommt später

Haken an der Sache: seit ich die Datenbank erweitert habe, kann ich keine weiteren Objekte in die History nehmen:

f1.JPG

Hat jemand eine Idee, was ich tun kann?

Danke und viele Grüße

Christian `

Hi,

das scheint ein Fehler im SQL-Adapter zu sein. Hier ist der Datentyp falsch. Wähle man anstelle von Automatisch den korrekten Typ.

ChristianF

Danke, das hat die Lösung gebracht.

ChristianF

Hallo zusammen,

Mein Grafana werkelt ganz prächtig vor sich hin. Danke nochmal für die tolle Anleitung!

Nun habe ich eine ganze Reihe neuer Datenpunkte in den History Adapter mit aufgenommen, die er auch alle brav mitplottet. Wie kann ich diese neu hinzugekommenen Datenpunkte nun für Grafana bereitstellen bzw. darin nutzen?

Herzlichen Dank!

Viele Grüße

Christian

sissiwup

~~@ChristianF:~~

Hallo zusammen,

Mein Grafana werkelt ganz prächtig vor sich hin. Danke nochmal für die tolle Anleitung!

Nun habe ich eine ganze Reihe neuer Datenpunkte in den History Adapter mit aufgenommen, die er auch alle brav mitplottet. Wie kann ich diese neu hinzugekommenen Datenpunkte nun für Grafana bereitstellen bzw. darin nutzen?

Herzlichen Dank!

Viele Grüße

Christian `

Hi,

die Datenpunkte sind schon so da, nur die Namen sind vlt. noch nicht da.

Dafür das Script von Dutchman laufen lassen (Export der Namen).

Dann die Daten wie im 2. Post beschrieben importieren.

Und dann das SQL:

UPDATE `datapoints` SET `lname`=(select lname from namen where namen.name=datapoints.name limit 1);
UPDATE `datapoints` SET `sname`=(select sname from namen where namen.name=datapoints.name limit 1);
UPDATE `datapoints` SET `raum`=(select raum from namen where namen.name=datapoints.name limit 1);

erneut durchführen.

Ich habe das bei mir automatisiert.

Das Script läuft einmal pro Nacht (oder auf Anforderung).

Import und SQL laufen anschließend cron-gesteuert.

Holger76

Hallo,

ich habe mich nun auch mal an Grafana gewagt und ein paar Probe-dashboards erstellt. Prometheus habe ich bisher nicht installiert - was genau ist dann besser ?

Ich habe auch entsprechende iFrame Widget erstellt und nach Anleitung (incl proxy.0) den link eingefügt. Leider bekomme ich es nicht hin, dass das nackte Diagramm incl Überschrift erscheint, es ist immer incl der linken Menüzeile sowie der oberen Zeile (Zeit,Zoom…) Das muss doch auch anders gehen, zumindest sehe ich es so in den ersten Bildern im thread ?!

Ein anderes Problem: Ich habe 3 der Widgets bzw Diagramme untereinander und nutze auf dem Handy & Tablet ide Android App. Leider wird immer nur ein Diagramm dargestellt, auf den anderen erscheint immer eine Fehlermeldung (failed to load application files - Proxy, ini settings, usw)

Gibts da noch Möglichkeiten, außer den Browser zu nutzen (da gehts) ?

Gruß Holger

Holger76

Das meiste habe ich schon selbst hinbekommen, wie zb as ausblenden der ganzen Symbole. Wo ich gerade dran zu knabbern habe ist das übereinanderstellen von Linien (im FLOT ging das mit Offset)

Wie bekomme ich es hin, wie bei dem Bild bei Türen zu sehen (oder auch 1. Bild - Bewegung), dass die Linien übereinander stehen und nicht alle auf 0 Linie ?

~~@sissiwup:~~

1. Beispiel:

Bildschirmfoto_2018-02-28_um_21_03_05.jpg `

sissiwup

@Holger76:

Das meiste habe ich schon selbst hinbekommen, wie zb as ausblenden der ganzen Symbole. Wo ich gerade dran zu knabbern habe ist das übereinanderstellen von Linien (im FLOT ging das mit Offset)

Wie bekomme ich es hin, wie bei dem Bild bei Türen zu sehen (oder auch 1. Bild - Bewegung), dass die Linien übereinander stehen und nicht alle auf 0 Linie ?

@sissiwup:

1. Beispiel:

Bildschirmfoto_2018-02-28_um_21_03_05.jpg

Hi,

siehe Post 3 dazu:

Mehrere Bool-Werte in einem Diagramm

SELECT

floor(n.ts/1000) as time_sec,

case when n.val=true then ****9 else 0**** end as value,

"Bool1" as metric

FROM ts_bool n

WHERE $__unixEpochFrom()*1000<n.ts and/$__unixepochto()*1000="">n.ts and n.id = 225

ORDER BY n.ts ASC

SELECT

floor(n.ts/1000) as time_sec,

case when n.val=true then ****19 else 10**** end as value,

"Bool2" as metric

FROM ts_bool n

WHERE $__unixEpochFrom()*1000<n.ts and/$__unixepochto()*1000="">n.ts and n.id = 226

ORDER BY n.ts ASC

true ist mal 9, mal 19

Holger76

Danke erstmal für die Antwort

hab das da oben irgendwie ignoriert, da das für mich zur mysql integration gehörte… da ich aber influxdb nutze, hab ich mir das nicht genauer angeschaut. Damit habe ich es nun aber auch nicht hinbekommen - weil wohl Influxdb das so nicht umsetzen kann. Bin auch wirklich ein Laie was das betrifft, vor alles das scripten.

Hab mich dann mal mit einem Plugin befasst (Discrete Plugin) und das für meine Zwecke ganz gut hinbekommen:

So kann ich nun meine Bool Werte gut darstellen. Mal schauen, was man da noch optisch verbesseren kann, aber für den Anfang reichts..

Super finde ich hier, dass ich keine Legende benötige.

PrinzEisenherz1

~~@Dutchman:~~

So nachdem ich mich die letzten tage mit Grafana auseinander geschlagen habe und einige Fehlversuche hatte möchte ich meinen Beitrag liefern dieses tutorial zu erweitern.

Ziel : Grafana in vis integrieren auf eine art und weise das die Grafiken sowohl im internen als auch externen Netzwerk erreichbar sind [emoji3]

dazu müssen wir:

einen proxy einrichten

die configuration von Grafana ändern damit es über den proxy funktioniert

anonymous Zugang aktivieren

die richtigen links in vis iFrames einsetzen

Schritt 1 und 2 kan man weglassen wen man grafan nur intern erreichbar machen möchte

1ster schritt : Damit Grafiken sowohl intern als extern erreichbar ist müssen wir einen proxy verwenden, dafür installieren wird den proxy adapater

Die konfigurations dazu sollte so aussehen :

Wichtig : unter context muss der name mit "/" enden ! die ip-adresse muss übereinstimmen mit eurer grafana installation, in meinen fall läuft diese auf einen andere server als iObroker selber

Screen Shot 2018-04-19 at 10.16.17.png

2 ter schritt : jetzt konfigurieren wir Grafana damit es über den proxy erreichbar ist, Nachteil hiervon ist das grafana nur noch über die proxy URL erreichbar sein wird.

in der datei "/etc/grafana/grafana.ini" ändern wir den wert "root_url =" passend zu unseren iObroker installation und Konfiguration des proxy adapters.

Vorsicht, standard steht vor der weile ein ";", das muss man entfernen ! Bei mir sieht es dan so aus:
root_url = http://192.168.1.210:8082/proxy.0/grafana/
sudo service grafana-server restart
Ab jetzt ist Grafana nur noch erreichbar über die IP-Adresse : http://<ip eurer/iobroker/installation="">:8082/proxy.0/grafana/ !</ip>

3 ter schritt : Jetzt aktivieren wir den anonymen Zugang, damit werden Grafiken immer angezeigt auch ohne login. Änderungen kann man nur als admin/eingelogter user ausführen:

in der datei "/etc/grafana/grafana.ini" folgende wert ändern:
` > #################################### Anonymous Auth ##########################

[auth.anonymous]

enable anonymous access

enabled = true `

Jetzt grafana neu starten:
sudo service grafana-server restart
Ab jetzt kann man die Grafiken erreichen ohne vorher ein username/password ein zu fügen ! Möchten man etwas änder muss man sich unten links erst anmelden

4ter schritt : Grafana Grafiken in vis integrieren. Es gibt 2 unterschiedliche links A) Link, hierin kann man auch die Zeitspannen ändern B) Embed, die wird ein fester link zu der Grafik.

Erst holen wir uns den link der Grafik, dazu klicken wir auf den Pfeil neben den Namen und dan "share" :

Screen Shot 2018-04-19 at 10.31.00.png

Jetzt sehen wird die dazugehörigen links, Vorsicht : Damit die Grafiken in vis von überall Funktionieren müssen wir die IP-Adresse weglassen !

In grafana steht z.b.:
http://192.168.1.210:9092/proxy.0/grafana/d/JgcWHHZiz/iobroker?refresh=10s&orgId=1&panelId=4&fullscreen&from=1523953868218&to=1524126668218
Wir kopieren aber nur
/proxy.0/grafana/d/JgcWHHZiz/iobroker?refresh=10s&orgId=1&panelId=4&fullscreen&from=1523953868218&to=1524126668218
Als letzten nehmen wir in vis das widget "iFrame" und fügen hier die entsprechende URL ein:

Screen Shot 2018-04-19 at 10.38.29.png

und das wars auch schon, viel spass damit ! [emoji2] [emoji2] [emoji2]

Zugang per Cloud wird leider nicht unterstützt.

Ich habe dafür eine 2te Webinhalte mit Reader only User eingerichtet welche extern erreichbar ist. `

Hi zusammen,

Ich habe bei mir in einer VM (proxmox) einen Grafana-Server aufgesetzt und wie oben beschrieben die Grafiken in VIS eingebunden.

Leider funktioniert das im VIS-App nicht.

Im Broweser seh ich die Grafiken aber im VIS-App nicht.

Wenn ich den Link wie folgt eingebe

http://192.168.178.2:8082/proxy.0/grafana/d-solo/z0AuLUxmz/warmwasserpumpe?orgId=1&panelId=2&from=1540677600000&to=1540723323006" width="750" height="160" frameborder="0"

dann erscheint im VIS-App folgende Meldung
1058_2018-10-26_13.23.58.png
Wenn ich den Link wo folgt eingebe

/proxy.0/grafana/d-solo/z0AuLUxmz/warmwasserpumpe?orgId=1&panelId=2&from=1540677600000&to=1540723323006" width="750" height="160" frameborder="0"

dann erscheint folgende Meldung
1058_2018-10-28_12.52.52.png

Beide Grafiken sind in einem basic-iframe Widget.

Im Browser gehen aber beide Varianten.

Kann mir da vielleicht jemand weiterhelfen?

Liegt es evtl. am VIS-App selber?

Gruß

Johnny

NEWS

Grafana und Prometheus in iobroker ein-bzw.anbinden

Grafana und Prometheus in iobroker ein-bzw.anbinden

enable anonymous access

enable anonymous access

Support us

73

32.4k

81.3k

1.3m