[HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren

[wolfgang1962]

@crunchip
Hallo und gutes neues Jahr,
ich habe mich wohl zu ungenau ausgedrückt.
Ich musste mein System komplett neu aufsetzen - also auf eine völlig leere SD-Card, da von der bisherigen Karte kein booten mehr möglich war und auch sonst kein Zugriff auf den Inhalt mehr gelungen ist. Meine Backups befinden sich zum Glück auf einem NAS.
Also frisches System mit Debian 11 Bullseye auf Raspberry PI4b und nach Installation vm ioBroker das Backup eingespielt. Da sich auf der neuen SD-Card also kein influxDB befindet, möchte ich die Datenbank installieren und bekomme das nicht hin, da die besherigen Anleitungen immer nur bis Debian 11 Buster behandeln....

[Thomas Braun]

@wolfgang1962

In der Datei /etc/apt/sources.list.d/influxdb.list muss drin stehen:

deb [signed-by=/etc/apt/trusted.gpg.d/influxdb.gpg] https://repos.influxdata.com/debian bullseye stable

Ggf. muss dann der gpg-key noch reingeholt werden.

Davon abgesehen sollte man das auch per

sudo apt install influxdb

installieren können, liegt nämlich auch im Debian-Repo vor:

echad@chet:~ $ apt policy influxdb
influxdb:
  Installed: (none)
  Candidate: 1.8.10-1
  Version table:
     1.8.10-1 500
        500 https://repos.influxdata.com/debian bullseye/stable arm64 Packages
     1.6.7~rc0-1+b5 500
        500 http://deb.debian.org/debian bullseye/main arm64 Packages

[Segway]

@wolfgang1962 sagte in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

@crunchip
Da sich auf der neuen SD-Card also kein influxDB befindet, möchte ich die Datenbank installieren und bekomme das nicht hin, da die besherigen Anleitungen immer nur bis Debian 11 Buster behandeln....

Auch hier der Hinweis auf die offizielle Dokumentation zu achten. Dort ist alles erklärt.

Download and install InfluxDB v2.1

Bitte daran denken dass die die 2er version der Influx eine völlig andere Struktur hat als die 1er. Die Verbindung mittels Grafana geht NICHT mehr per InfluxQL sondern per FLUX. Somit sind alle (ALLE!) vorhandenen Plots anzupassen !

Noch ein Hinweis:
Eine Datenbank auf eine SD-Karte laufen zu lassen ist sehr riskant und mMn nicht zu empfehlen !

[crunchip]

@wolfgang1962 sagte in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

da die besherigen Anleitungen immer nur bis Debian 11 Buster behandeln....

einfach die offizielle Anleitung nehmen

[Thomas Braun]

@crunchip
An der Stelle evtl. von Belang:

To run InfluxDB on Raspberry Pi, you need:

a Raspberry Pi 4+ or 400

a 64-bit operating system.

Raspberry OS ist standardmäßig ein 32-bit System.

[crunchip]

@thomas-braun sagte in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

Raspberry OS ist standardmäßig ein 32-bit System.

ok, stimmt
dann könnte man aber auch ins Rasperry Forum gucken und wird fündig

[lobomau]

Zur Info.
Ich habe nun nach dem Jahreswechsel die Speicherung abgeändert von influxDB 1. auf 2.
Dabei habe ich lediglich die Einstellungen angepasst von der vorhandenen Adapter-Instanz influxdb.0, also die neue IP des neuen Containers angegeben und auf influxdb 2.x umgestellt.

Vorteil:

• wenig Aufwand, alle Daten die geloggt wurden, werden weiterhin geloggt. Flot und ECharts funktionieren genau wie vorher (das gilt jedoch nicht für Grafana).
• neues sauberes System (Debian Container), kein Upgrade des vorhandenen Containers

Nachteil:

• Graphen zeigen nur den Verlauf ab der Umstellung. Man könnte aber alten Container starten, influxdb-Adapter darauf umstellen, um alte Daten nachzuschauen, wenn es mal sein müsste (noch nicht ausprobiert).

Nach dem Umstellen wurde Container erstmal an seine RAM-Grenze gebracht und der SWAP ging an100%. Hat sich aber wieder beruhigt:

[crunchip]

@lobomau ich hab mir gestern/vorgestern das auch mal etwas angesehen, testweise nen neuen LXC mit v2 erstellt, jedoch bin ich da noch schwer am überlegen, den Schritt zu machen.

• klar, ist ungewohnt im ersten Moment, aber da blick ich fürs erste, nicht so richtig durch
• Neuanfang oder Upgrade, gibt ja auch Daten, die man Jahresübergreifend in Grafana haben möchte
• automatisches/manuelles upgrade der bestehenden Influx, ist mir jedoch zu aufwendig/kompliziert, glaub das muss ich noch paar Tage studieren
• Prometheus wird nicht direkt unterstützt, das heisst dann auch wieder umbauen und neue Dashboards

zumindest hab ich heute mal Grafana auf den neusten Stand gebracht( mit Hinternissen, da lief noch v7.5.11) musste lange googeln, da nach dem Upgrade der Grafana Server nicht mehr lief.

[fir3drag0n]

Habt ihr bei Flux schon verstanden, wie ich die Namen von Datenreihen ändern kann?

Also zB adapter0.wert1.januar zu Januar ändern?

Und falls ja wie sieht da die Abfrage als Code beispielhaft aus? Früher ging es wohl mit Alias by, aber ich habe es damit bisher noch nicht hinbekommen. Für Tipps bin ich dankbar!

[ftd]

@fir3drag0n

kannst du mit map oder mit set machen

|> map(fn: (r) => ({ _value:r._value, _time:r._time, _field:"Januar" }))

siehe hier: https://docs.influxdata.com/flux/v0.x/stdlib/universe/map/

oder

|> set (key: "_field", value: "Januar")

siehe hier: https://docs.influxdata.com/flux/v0.x/stdlib/universe/set/

Für die Darstellung in Grafana würde ich aber die Overrides bevorzugen.

[fir3drag0n]

@ftd wie funktioniert das dann bei mehreren Datenreihen?

Per regex overrides hab ich es inzwischen auch hinbekommen in grafana

[ftd]

@fir3drag0n Ich nehme an, deine Abfrage heisst so in der Art?

from(bucket: "mein_kleines_bucket")
|> filter(fn: (r) => r["_measurement"] == "adapter0.wert1.januar" or r["_measurement"] == "adapter0.wert1.februar") or r["_measurement"] == "adapter0.wert1.maerz")

Und du möchtest hier schon den Alias für jeden Monat setzen? Bei OR wird das nicht funktionieren... Flux weiss ja nun nicht, welches der 3 ODER es nehmen soll/darf. Du musst die Abfrage in 3 Abfragen aufteilen, wenn du hier schon den Alias setzen möchtest.

from(bucket: "mein_kleines_bucket")
|> filter(fn: (r) => r["_measurement"] == " adapter0.wert1.januar")
|> ...
|> set (key: "_measurement", value: "Januar")

from(bucket: "mein_kleines_bucket")
|> filter(fn: (r) => r["_measurement"] == " adapter0.wert1.februar")
|> ...
|> set (key: "_measurement", value: "Februar")

from(bucket: "mein_kleines_bucket")
|> filter(fn: (r) => r["_measurement"] == " adapter0.wert1.maerz")
|> ...
|> set (key: "_measurement", value: "Maerz")

Meine Meinung: Viel zu viel Tippsel und Copy/Paste Arbeit. Wenn du so oder so mit Grafana schon warm bist, nimm die Overrides.

[Segway]

@ftd sagte in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

Meine Meinung: Viel zu viel Tippsel und Copy/Paste Arbeit. Wenn du so oder so mit Grafana schon warm bist, nimm die Overrides.

Tja genauso hab Ichs auch gemacht. Einfach Override und gut.
Die neue FLUX Verbindung ist ja noch beta Status. Ich hoffe das wird noch was ansonsten mpfh

[ftd]

@segway said in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

Die neue FLUX Verbindung ist ja noch beta Status. Ich hoffe das wird noch was ansonsten mpfh

Naja.... es gibt seit 22.09.2020 (!) ein offenes Issue auf Github.

[Segway]

@ftd
Tja, dauert halt leider

[lobomau]

@lobomau leider habe ich doch Probleme mit InfluxDB2.x
Wenn ich bestimmte Graphen aufrufe (flot oder echart) bekomme ich Warnungen, Fehler und der influxdb-container geht an seine CPU Grenze. Kann jemand damit etwas anfangen?

influxdb.0
2022-01-11 13:10:06.456	warn	Error in query "from(bucket: "Speicher") |> range(start: 2021-01-11T00:09:54.319Z, stop: 2022-01-11T00:09:54.319Z) |> filter(fn: (r) => r["_measurement"] == "proxmox.0.node_proxmox.cpu") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> sort(columns: ["_time"], desc: true) |> group() |> limit(n: 1)": RequestTimedOutError: Request timed out

influxdb.0
2022-01-11 13:09:57.449	warn	Error in query "from(bucket: "Speicher") |> range(start: 2021-01-11T00:09:43.437Z, stop: 2022-01-11T00:09:43.437Z) |> filter(fn: (r) => r["_measurement"] == "linkeddevices.0.Leistung_PV-4000W.power") |> pivot(rowKey:["_time"], columnKey: ["_field"], valueColumn: "_value") |> sort(columns: ["_time"], desc: true) |> group() |> limit(n: 1)": RequestTimedOutError: Request timed out

influxdb.0
2022-01-11 13:21:53.792	error	Error: read ECONNRESET

influxdb.0
2022-01-11 13:21:52.952	error	RequestTimedOutError: Request timed out

influxdb.0
2022-01-11 13:21:39.892	error	RequestTimedOutError: Request timed out

influxdb.0
2022-01-11 13:21:26.878	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:26.462	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:25.166	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:19.879	error	Error during ping: RequestTimedOutError: Request timed out. Attempting reconnect.

influxdb.0
2022-01-11 13:21:17.204	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:15.474	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:13.517	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:10.540	error	getHistory: Error: 3 Error happened while processing 3 queries

influxdb.0
2022-01-11 13:21:10.051	error	getHistory: Error: 3 Error happened while processing 3 queries

[ftd]

@lobomau Kannst du die gleiche Abfrage mal in der Influx GUI starten? Wie lange dauert die?

[lobomau]

@ftd werde ich gleich mal testen. Im Augenblick geht gar nix mehr. Influx nimmt was es kriegen kann an CPU. Ist seit paar Stunden so, komme grad nach Hause...

top - 17:57:26 up 39 days,  3:27,  3 users,  load average: 156.61, 149.68, 142.3
Tasks: 400 total,   1 running, 399 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.4 us, 25.4 sy,  0.0 ni,  0.0 id, 74.1 wa,  0.0 hi,  0.1 si,  0.0 st
MiB Mem :   7813.9 total,    298.7 free,   6960.1 used,    555.1 buff/cache
MiB Swap:   7168.0 total,   4583.1 free,   2584.9 used.    510.3 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
3778649 100998    20   0 5575048   1.9g  23268 S 100.3  24.5 130:41.03 influxd
3783114 root      20   0   10700   4432   3480 R   0.7   0.1   0:00.38 top
3842149 101000    20   0  758568  56352  10836 S   0.7   0.7  28:54.91 io.syno+
1233138 100108    20   0 3392572 377880   9380 S   0.3   4.7  57:21.34 java
3181972 101000    20   0  951068  34604   8768 S   0.3   0.4   7:17.51 io.back+
      1 root      20   0  164588   8896   6480 S   0.0   0.1   0:42.85 systemd
      2 root      20   0       0      0      0 S   0.0   0.0   0:03.13 kthreadd
      3 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_gp
      4 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_par+
      6 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kworker+
      9 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 mm_perc+
     10 root      20   0       0      0      0 S   0.0   0.0   0:00.00 rcu_tas+
     11 root      20   0       0      0      0 S   0.0   0.0   0:00.00 rcu_tas+
     12 root      20   0       0      0      0 S   0.0   0.0  12:03.82 ksoftir+

[Thomas Braun]

@lobomau sagte in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

load average: 156.61, 149.68, 142.3

Das kannst du dir fast rahmen lassen. Selten so eine hohe Load gesehen.

[Rushmed]

@segway sagte in [HowTo] InfluxDB 2.1 auf Debian 11 (proxmox CT) installieren:

Die neue native Syntax für eine neue Datenbank/Bucket in Influx 2.1 ist Flux. InfluxQL wird in 2.1 nicht mehr unterstützt.

Im Prinzip hast du Recht aber würde die Hoffnung noch nicht aufgeben.
Angeblich soll der Zugriff auch per InfluxQL klappen nur leider ist die Doku von Influx echt grauselig !
Ich tüftle grad wie man das evtl hinbekommt

Für mich ist das Umstellen aller Dashboards und auch das neu Anlegen echt mühselig. Gibts hier schon etwas Neues