BackItUp für InfluxDB

[smarti2015]

@simatec Ich möchte auch ein riesen Dankeschön loswerden für die Integration von InfluxDB.
Hab es grad ausprobiert und das Sichern hat schonmal super geklappt. Oft ist mir schon die gesamte InfluxDB Datenbank verloren gegangen, wenn ich den iobroker neu aufgesetzt habe.
DANKESCHÖN!!!

[FreunderNacht]

@simatec
Vielen Dank für die Möglichkeit des Backups der InfluxDB über den Adapter.

Ich habe allerdings ein Frage.
Bei der Bind-Adresse in der influxdb.conf muss ich die IP-Adresse des IO Brokers eintrage, richtig?

Meine influxdb.conf sieht wie folgt aus:

### Welcome to the InfluxDB configuration file.

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "192.168.2.123:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata

Die 192.168.2.123 ist die IP-Adresse meines IO Brokers.
Meine Einstellungen im Adapter des IO Brokers sehen wie folgt aus:

In den Einstellungen finde ich keine Button mit "Jetzt Sichern".
Habe ich einen Fehler in den Einstellungen oder gibt es den Button bei der InfulxDB nicht?

MfG

Freund der Nacht

[simatec]

@FreunderNacht
Wenn du influx im gleichen System wie deinen iobroker laufen hast, musst du an der Config nix ändern und in Backitup auf lokal stellen.
Influx wird mit dem iobroker Backup mitgesichert und hat keine eigene Zeiteinstellung.

[Segway]

@simatec
Kurze Frage:
Wann geht die 1.8.3 ins stable ?

Bei mir ist die Inful auf einer anderen Maschine und ich habe mehrere Datenbanken zu sichern; Biobroker, iobrokerTest, unifiziert etc.
Wie werden diese gesichert ?

[FreunderNacht]

@simatec
Vielen Dank für die schnelle Antwort.

Die Influx DB läuft bei mir, zusammen mit Grafana, auf einem anderen Server (192.168.2.97).
Der IO Broker hat die IP-Adresse 192.168.2.123.

Bei der bind-adresse in der Influxdb.conf habe ich die IP-Adresse des IO-Brokers eingetragen und ihn einkommentiert (siehe mein vorheriger Post).

Ist das soweit korrekt?
Weitere Einstellungen sind nicht erforderlich?

backitup.0	2021-01-03 23:05:43.978	debug	(162114) sendTo "send" to system.adapter.telegram.0 from system.adapter.backitup.0
backitup.0	2021-01-03 23:05:43.809	debug	(162114) [iobroker/clean] done
backitup.0	2021-01-03 23:05:43.519	debug	(162114) [iobroker/cifs] done
backitup.0	2021-01-03 23:05:43.368	debug	(162114) [iobroker/influxDB] /bin/sh: 1: influxd: not found
backitup.0	2021-01-03 23:05:43.367	debug	(162114) [iobroker/influxDB] [IGNORED] Error: Command failed: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_03-23_05_43_Home_backupiobrok
backitup.0	2021-01-03 23:05:43.366	debug	(162114) [iobroker/influxDB] InfluxDB tmp directory was successfully deleted
backitup.0	2021-01-03 23:05:43.362	debug	(162114) [iobroker/influxDB] Try deleting the InfluxDB tmp directory
backitup.0	2021-01-03 23:05:43.350	debug	(162114) [iobroker/influxDB] exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_03-23_05_43_Home_backupiobroker
backitup.0	2021-01-03 23:05:43.349	debug	(162114) [iobroker/influxDB] Created InfuxDB Backup dir
backitup.0	2021-01-03 23:05:43.345	debug	(162114) [iobroker/influxDB] Start infulxDB Backup ...
backitup.0	2021-01-03 23:05:43.193	debug	(162114) [iobroker/zigbee] done
backitup.0	2021-01-03 23:05:43.192	debug	(162114) [iobroker/zigbee] no zigbee database found!!
backitup.0	2021-01-03 23:05:42.438	debug	(162114) [iobroker/iobroker] done
backitup.0	2021-01-03 23:05:41.424	debug	(162114) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2021_01_03-23_05_38_Home_backupiobroker.tar.gz
backitup.0	2021-01-03 23:05:39.859	debug	(162114) [iobroker/iobroker] host.io-broker 5624 objects saved
backitup.0	2021-01-03 23:05:39.841	debug	(162114) [iobroker/iobroker] host.io-broker 4853 states saved
backitup.0	2021-01-03 23:05:38.183	debug	(162114) [iobroker/mount] done
backitup.0	2021-01-03 23:05:38.180	debug	(162114) [iobroker/mount] mount successfully completed
backitup.0	2021-01-03 23:05:28.046	debug	(162114) Backup has started ...

Ich bekomme bei Zeile 5 noch eine Error-Meldung, allerdings mit [IGNORED] davor, ist das richtig?

Vielen Dank
Gruß

Freund der Nacht

[simatec]

@FreunderNacht
Influx muss zur Sicherung auch auf dem System auf dem iobroker läuft installiert sein.
Die zu sichernde Datenbank kann auf einem anderen Server sein.

[simatec]

@Segway
Danke die kommt in den nächsten Wochen ins stable.
Pro Instanz von Backitup kann aktuell eine Datenbank von Influx gesichert werden

[FreunderNacht]

@simatec
Ok, Influx jetzt auch auf dem System des Io Brokers installiert (ohne Datenbanken).
Die bind-adresse der Influx auf dem IO Broker System ist die IP Adresse des Grafana/Influx-Systems und die bind-adresse auf dem Grafana/Influx-System ist die IP-Adresse des IO Broker Systems.

Mein Log sieht wie folgt aus:

Gestartet...
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.io-broker 4949 states saved

[DEBUG] [iobroker] - host.io-broker 5695 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2021_01_04-13_04_44_Home_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - Start infulxDB Backup ...
[DEBUG] [influxDB] - Created InfuxDB Backup dir
[DEBUG] [influxDB] - exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-13_04_49_Home_backupiobroker
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted
[ERROR] [influxDB] - [IGNORED] Error: Command failed: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-13_04_49_Home_backupiobroker
2021/01/04 13:04:49 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2s and retrying (0)...
2021/01/04 13:04:51 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2s and retrying (1)...
2021/01/04 13:04:53 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2s and retrying (2)...
2021/01/04 13:04:55 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2s and retrying (3)...
2021/01/04 13:04:57 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2s and retrying (4)...
2021/01/04 13:04:59 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2s and retrying (5)...
2021/01/04 13:05:01 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 3.01s and retrying (6)...
2021/01/04 13:05:04 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 11.441s and retrying (7)...
2021/01/04 13:05:16 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 43.477s and retrying (8)...
2021/01/04 13:05:59 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused.  Waiting 2m45.216s and retrying (9)...
backup: dial tcp 192.168.2.97:8088: connect: connection refused

[DEBUG] [cifs] - done
[DEBUG] [clean] - done
[DEBUG] [telegram] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ... umount in 60 Seconds!!
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

Das Backup funktioniert allerdings nicht.

Hier steht als Port die :8088 ist dies korrekt?
Müsste dort nicht die :8086 stehen?

Gruß

Freund der Nacht

[simatec]

@FreunderNacht
Für die Sicherung ist Port 8088 der Standardport.
Was hast du in deine config eingtragen?
Hast du influx nach der Änderung der Config neu gestartet?

Im Adapter Menü ist ein Link zu der Config.
Falls die IP des Influx-Systems nicht geht, trage mal folgendes ein.

0.0.0.0:8088

Und anschließend Influx neustarten

[FreunderNacht]

@simatec
Bei mir läuft der IO-Broker auf Server 1 (192.168.2.98) und die Influx auf Server 2 (192.168.2.97).

Ich habe jetzt auch auf dem Server 1 (192.168.2.98) die Influx DB installiert wie du in deinem Post oben gesagt hast.

Bei der Installation der Influx auf dem Server 1 und Server 2 bin ich nach folgender Anleitung vorgegangen:
https://www.verdrahtet.info/2020/02/14/installation-von-influxdb-grafana-inkl-verbindung-zu-iobroker/

Auf dem Server 2 habe ich allerdings keine Datenbank angelegt, den Rest habe ich so gemacht wie in der Anleitung.

Hier der Auszug aus der influxdb.conf vom Server 1 (192.168.2.98):

### Welcome to the InfluxDB configuration file.

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "192.168.2.97:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata
### about the InfluxDB cluster.
###

[meta]
  # Where the metadata/raft database is stored
  dir = "/var/lib/influxdb/meta"

  # Automatically create a default retention policy when creating a database.
  # retention-autocreate = true

  # If log messages are printed for the meta service
  # logging-enabled = true

###
### [data]
###
### Controls where the actual shard data for InfluxDB lives and how it is
### flushed from the WAL. "dir" may need to be changed to a suitable place
### for your system, but the WAL settings are an advanced configuration. The
### defaults should work for most systems.
###

[data]
  # The directory where the TSM storage engine stores TSM files.
  dir = "/var/lib/influxdb/data"

  # The directory where the TSM storage engine stores WAL files.
  wal-dir = "/var/lib/influxdb/wal"

  # The amount of time that a write will wait before fsyncing.  A duration
  # greater than 0 can be used to batch up multiple fsync calls.  This is useful for slower
  # disks or when WAL write contention is seen.  A value of 0s fsyncs every write to the WAL.
  # Values in the range of 0-100ms are recommended for non-SSD disks.
  # wal-fsync-delay = "0s"


  # The type of shard index to use for new shards.  The default is an in-memory index that is
  # recreated at startup.  A value of "tsi1" will use a disk based index that supports higher
  # cardinality datasets.

Hier der Auszug aus der influxdb.conf vom Server 2 (192.168.2.97):

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "192.168.2.98:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata
### about the InfluxDB cluster.
###

[meta]
  # Where the metadata/raft database is stored
  dir = "/var/lib/influxdb/meta"

  # Automatically create a default retention policy when creating a database.
  # retention-autocreate = true

  # If log messages are printed for the meta service
  # logging-enabled = true

###
### [data]
###
### Controls where the actual shard data for InfluxDB lives and how it is
### flushed from the WAL. "dir" may need to be changed to a suitable place
### for your system, but the WAL settings are an advanced configuration. The
### defaults should work for most systems.
###

[data]
  # The directory where the TSM storage engine stores TSM files.
  dir = "/var/lib/influxdb/data"

  # The directory where the TSM storage engine stores WAL files.
  wal-dir = "/var/lib/influxdb/wal"

  # The amount of time that a write will wait before fsyncing.  A duration
  # greater than 0 can be used to batch up multiple fsync calls.  This is useful for slower
  # disks or when WAL write contention is seen.  A value of 0s fsyncs every write to the WAL.
  # Values in the range of 0-100ms are recommended for non-SSD disks.
  # wal-fsync-delay = "0s"

Und hier die Adaptereinstellung für die Influx DB im BachitUp-Adapter:

Ich habe jetzt meinen kompletten Proxmox-Server mal neu gestartet.

Nach dem Neustart konnte sich der Influx-Adapter des IO Brokers nicht mehr mit der Datenbank verbinden.
Ich musste die bind-adresse auf Server 2 wieder auskommentieren, danach kam eine Verbindung zwischen dem Influx-Adapter und der Datenbank wieder Zustande.

Kann es etwas mit den Einstellungen die ich bei der Einrichtung der InfluxDB's gemacht habe zu tun haben (siehe Link oben)?

Gruß

Freund der Nacht

[simatec]

@FreunderNacht
Mach mal nur auf dem Server, auf dem die Datenbank läuft ein bind auf 0.0.0.0.

Der Rest wird nicht benötigt.

[FreunderNacht]

@simatec
Können die anderen Einstellungen (siehe Link von Verdrahtet) so bleiben, oder soll ich die wieder zurück auf Standard setzen?

[simatec]

@FreunderNacht
Wenn du nach der Anleitung von verdrahtet gehst, hast du sicher einen Denkfehler bei der bind-address.

Suche mal in der Config nach rpc oder 8088.
Dort musst du die Bind ändern.

0.0.0.0:8088

Hier die Doku von influx dazu
https://docs.influxdata.com/influxdb/v1.8/administration/config#bind-address-127-0-0-1-8088

[FreunderNacht]

@simatec
Hab's geändert:

### Welcome to the InfluxDB configuration file.

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "0.0.0.0:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata
### about the InfluxDB cluster.
###

[meta]
  # Where the metadata/raft database is stored
  dir = "/var/lib/influxdb/meta"

  # Automatically create a default retention policy when creating a database.
  # retention-autocreate = true

  # If log messages are printed for the meta service
  # logging-enabled = true

###
### [data]
###
### Controls where the actual shard data for InfluxDB lives and how it is
### flushed from the WAL. "dir" may need to be changed to a suitable place
### for your system, but the WAL settings are an advanced configuration. The
### defaults should work for most systems.
###

Jetzt scheint es funktioniert zu haben:

Gestartet...
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.io-broker 4923 states saved

[DEBUG] [iobroker] - host.io-broker 5695 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2021_01_04-21_31_08_Home_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - Start infulxDB Backup ...
[DEBUG] [influxDB] - Created InfuxDB Backup dir
[DEBUG] [influxDB] - exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-21_31_14_Home_backupiobroker
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2021_01_04-21_31_14_Home_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted
[DEBUG] [influxDB] - done
[DEBUG] [cifs] - done
[DEBUG] [clean] - done
[DEBUG] [telegram] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ... umount in 60 Seconds!!
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

Die Bind-Adresse auf der InfluxDB die ich (nur für das Backup) auf dem Server des IO Brokers installiert habe, habe ich wieder auskommentiert.

@simatec
Vielen Dank für deine Hilfe, das hat mir sehr geholfen.

Gruß

Freund der Nacht

[smile]

Ich habe mich gerade riesig gefreut als ich gesehen hab dass influxDB Backup mit integriert ist. Großes Dankeschön dafür!
Als ich bei mir das Backup machen wollte, konnte ich jedoch den Reiter influxDB nicht sehen.

influxDB läuft bei mir auf dem gleichen System (Windows 10) zusammen mit dem iobroker.

[FreunderNacht]

@smile
Hallo,
hast du die neuste Version des Adapters auf deinem System?

Bei mir ist es die Version 1.8.3.

Läuft allerdings unter Linux, könnte sein, das es da unterschiede gibt.

Gruß

Freund der Nacht

[smile]

@FreunderNacht Oh, interessant, bei mir ist Version 1.7 drauf und die 1.8 steht mir auch nicht zur Installation zur Verfügung. Kann es daran liegen dass node und nom nicht auf dem neusten Stand sind? 10.17.0 und npm 6.11.3 Sowie Admin auf 3.7.8

Ja könnte aber natürlich auch an dem Linux Unterschied liegen.

[Glasfaser]

@smile sagte in BackItUp für InfluxDB:

Ja könnte aber natürlich auch an dem Linux Unterschied liegen.

Nö ... am Verwahrungsort im ioBroker.

[FreunderNacht]

@Glasfaser
Stimmt, ich hatte vergessen, das ich die Version aus "latest" installiert hatte.

Ich glaube aber oben in einem Post von @simatec gelesen zu haben, dass die Version 1.8.3 bald in den "stabel" kommt.

[FreunderNacht]

@simatec sagte in BackItUp für InfluxDB:

@Segway
Danke die kommt in den nächsten Wochen ins stable.
Pro Instanz von Backitup kann aktuell eine Datenbank von Influx gesichert werden

Jepp, da stehts.