BackItUp für InfluxDB

[FreunderNacht]

@simatec
Bei mir läuft der IO-Broker auf Server 1 (192.168.2.98) und die Influx auf Server 2 (192.168.2.97).

Ich habe jetzt auch auf dem Server 1 (192.168.2.98) die Influx DB installiert wie du in deinem Post oben gesagt hast.

Bei der Installation der Influx auf dem Server 1 und Server 2 bin ich nach folgender Anleitung vorgegangen:
https://www.verdrahtet.info/2020/02/14/installation-von-influxdb-grafana-inkl-verbindung-zu-iobroker/

Auf dem Server 2 habe ich allerdings keine Datenbank angelegt, den Rest habe ich so gemacht wie in der Anleitung.

Hier der Auszug aus der influxdb.conf vom Server 1 (192.168.2.98):

### Welcome to the InfluxDB configuration file.

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "192.168.2.97:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata
### about the InfluxDB cluster.
###

[meta]
  # Where the metadata/raft database is stored
  dir = "/var/lib/influxdb/meta"

  # Automatically create a default retention policy when creating a database.
  # retention-autocreate = true

  # If log messages are printed for the meta service
  # logging-enabled = true

###
### [data]
###
### Controls where the actual shard data for InfluxDB lives and how it is
### flushed from the WAL. "dir" may need to be changed to a suitable place
### for your system, but the WAL settings are an advanced configuration. The
### defaults should work for most systems.
###

[data]
  # The directory where the TSM storage engine stores TSM files.
  dir = "/var/lib/influxdb/data"

  # The directory where the TSM storage engine stores WAL files.
  wal-dir = "/var/lib/influxdb/wal"

  # The amount of time that a write will wait before fsyncing.  A duration
  # greater than 0 can be used to batch up multiple fsync calls.  This is useful for slower
  # disks or when WAL write contention is seen.  A value of 0s fsyncs every write to the WAL.
  # Values in the range of 0-100ms are recommended for non-SSD disks.
  # wal-fsync-delay = "0s"


  # The type of shard index to use for new shards.  The default is an in-memory index that is
  # recreated at startup.  A value of "tsi1" will use a disk based index that supports higher
  # cardinality datasets.

Hier der Auszug aus der influxdb.conf vom Server 2 (192.168.2.97):

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "192.168.2.98:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata
### about the InfluxDB cluster.
###

[meta]
  # Where the metadata/raft database is stored
  dir = "/var/lib/influxdb/meta"

  # Automatically create a default retention policy when creating a database.
  # retention-autocreate = true

  # If log messages are printed for the meta service
  # logging-enabled = true

###
### [data]
###
### Controls where the actual shard data for InfluxDB lives and how it is
### flushed from the WAL. "dir" may need to be changed to a suitable place
### for your system, but the WAL settings are an advanced configuration. The
### defaults should work for most systems.
###

[data]
  # The directory where the TSM storage engine stores TSM files.
  dir = "/var/lib/influxdb/data"

  # The directory where the TSM storage engine stores WAL files.
  wal-dir = "/var/lib/influxdb/wal"

  # The amount of time that a write will wait before fsyncing.  A duration
  # greater than 0 can be used to batch up multiple fsync calls.  This is useful for slower
  # disks or when WAL write contention is seen.  A value of 0s fsyncs every write to the WAL.
  # Values in the range of 0-100ms are recommended for non-SSD disks.
  # wal-fsync-delay = "0s"

Und hier die Adaptereinstellung für die Influx DB im BachitUp-Adapter:

Ich habe jetzt meinen kompletten Proxmox-Server mal neu gestartet.

Nach dem Neustart konnte sich der Influx-Adapter des IO Brokers nicht mehr mit der Datenbank verbinden.
Ich musste die bind-adresse auf Server 2 wieder auskommentieren, danach kam eine Verbindung zwischen dem Influx-Adapter und der Datenbank wieder Zustande.

Kann es etwas mit den Einstellungen die ich bei der Einrichtung der InfluxDB's gemacht habe zu tun haben (siehe Link oben)?

Gruß

Freund der Nacht

[simatec]

@FreunderNacht
Mach mal nur auf dem Server, auf dem die Datenbank läuft ein bind auf 0.0.0.0.

Der Rest wird nicht benötigt.

[FreunderNacht]

@simatec
Können die anderen Einstellungen (siehe Link von Verdrahtet) so bleiben, oder soll ich die wieder zurück auf Standard setzen?

[simatec]

@FreunderNacht
Wenn du nach der Anleitung von verdrahtet gehst, hast du sicher einen Denkfehler bei der bind-address.

Suche mal in der Config nach rpc oder 8088.
Dort musst du die Bind ändern.

0.0.0.0:8088

Hier die Doku von influx dazu
https://docs.influxdata.com/influxdb/v1.8/administration/config#bind-address-127-0-0-1-8088

[FreunderNacht]

@simatec
Hab's geändert:

### Welcome to the InfluxDB configuration file.

# The values in this file override the default values used by the system if
# a config option is not specified. The commented out lines are the configuration
# field and the default value used. Uncommenting a line and changing the value
# will change the value used at runtime when the process is restarted.

# Once every 24 hours InfluxDB will report usage data to usage.influxdata.com
# The data includes a random ID, os, arch, version, the number of series and other
# usage data. No data from user databases is ever transmitted.
# Change this option to true to disable reporting.
# reporting-disabled = false

# Bind address to use for the RPC service for backup and restore.
bind-address = "0.0.0.0:8088"

###
### [meta]
###
### Controls the parameters for the Raft consensus group that stores metadata
### about the InfluxDB cluster.
###

[meta]
  # Where the metadata/raft database is stored
  dir = "/var/lib/influxdb/meta"

  # Automatically create a default retention policy when creating a database.
  # retention-autocreate = true

  # If log messages are printed for the meta service
  # logging-enabled = true

###
### [data]
###
### Controls where the actual shard data for InfluxDB lives and how it is
### flushed from the WAL. "dir" may need to be changed to a suitable place
### for your system, but the WAL settings are an advanced configuration. The
### defaults should work for most systems.
###

Jetzt scheint es funktioniert zu haben:

Gestartet...
[DEBUG] [mount] - mount successfully completed
[DEBUG] [mount] - done
[DEBUG] [iobroker] - host.io-broker 4923 states saved

[DEBUG] [iobroker] - host.io-broker 5695 objects saved

[DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2021_01_04-21_31_08_Home_backupiobroker.tar.gz

[DEBUG] [iobroker] - done
[DEBUG] [influxDB] - Start infulxDB Backup ...
[DEBUG] [influxDB] - Created InfuxDB Backup dir
[DEBUG] [influxDB] - exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-21_31_14_Home_backupiobroker
[DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2021_01_04-21_31_14_Home_backupiobroker.tar.gz
[DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory
[DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted
[DEBUG] [influxDB] - done
[DEBUG] [cifs] - done
[DEBUG] [clean] - done
[DEBUG] [telegram] - done
[DEBUG] [historyHTML] - new history html values created
[DEBUG] [historyHTML] - done
[DEBUG] [historyJSON] - new history json values created
[DEBUG] [historyJSON] - done
[DEBUG] [umount] - mount activ... umount in 60 Seconds!!
[DEBUG] [umount] - umount successfully completed
[DEBUG] [umount] - done
[EXIT] 0

Die Bind-Adresse auf der InfluxDB die ich (nur für das Backup) auf dem Server des IO Brokers installiert habe, habe ich wieder auskommentiert.

@simatec
Vielen Dank für deine Hilfe, das hat mir sehr geholfen.

Gruß

Freund der Nacht

[smile]

Ich habe mich gerade riesig gefreut als ich gesehen hab dass influxDB Backup mit integriert ist. Großes Dankeschön dafür!
Als ich bei mir das Backup machen wollte, konnte ich jedoch den Reiter influxDB nicht sehen.

influxDB läuft bei mir auf dem gleichen System (Windows 10) zusammen mit dem iobroker.

[FreunderNacht]

@smile
Hallo,
hast du die neuste Version des Adapters auf deinem System?

Bei mir ist es die Version 1.8.3.

Läuft allerdings unter Linux, könnte sein, das es da unterschiede gibt.

Gruß

Freund der Nacht

[smile]

@FreunderNacht Oh, interessant, bei mir ist Version 1.7 drauf und die 1.8 steht mir auch nicht zur Installation zur Verfügung. Kann es daran liegen dass node und nom nicht auf dem neusten Stand sind? 10.17.0 und npm 6.11.3 Sowie Admin auf 3.7.8

Ja könnte aber natürlich auch an dem Linux Unterschied liegen.

[Glasfaser]

@smile sagte in BackItUp für InfluxDB:

Ja könnte aber natürlich auch an dem Linux Unterschied liegen.

Nö ... am Verwahrungsort im ioBroker.

[FreunderNacht]

@Glasfaser
Stimmt, ich hatte vergessen, das ich die Version aus "latest" installiert hatte.

Ich glaube aber oben in einem Post von @simatec gelesen zu haben, dass die Version 1.8.3 bald in den "stabel" kommt.

[FreunderNacht]

@simatec sagte in BackItUp für InfluxDB:

@Segway
Danke die kommt in den nächsten Wochen ins stable.
Pro Instanz von Backitup kann aktuell eine Datenbank von Influx gesichert werden

Jepp, da stehts.

[DF612]

Hallo,

bei mir will der Restore der InfluxDB nicht klappen.
Influx ist in der Version 1.8.3 installiert und funktioniert auch.
Backitup läuft in Version 1.8.5

Wiederhergestellt werden soll eine ca. 140MB große Datenbank, welche auf einem NAS über FTP abgerufen wird. Die Datei wird auch im Wiederherstellen Menü gefunden und kann ausgewählt werden.
Sobald ich die Datei anklicke werde ich darauf hingewiesen, dass der IBroker neustarten wird und die kleine Uhr neben dem Datensatz verschwindet.
Ab diesem Punkt gibt es kein weiteres Feedback.

Nach ein paar Minuten lässt sich über die Konsole überprüfen, dass in InfluxDB die Datenbank und die Measurements angelegt wurden, allerdings sind in den Measurements keine Datenpunkte.
Im Log sehe ich ebenfalls nichts.

Hat jemand eine Idee wo hier das Problem liegen könnte?

[simatec]

@df612
Versuche es bitte lokal zu restoren.

[passuff]

@simatec
Folgende Konfig:

Server 1: iobroker
Server 2. influxdb mit datenbank (läuft seit Jahren)

Ich habe nun auf Server 1 influxdb nachinstalliert. Ich verstehe es zwar nicht, habe es aber dennoch einfach mal getan. Ich habe weder eine db noch einen Benutzer angelegt. Zusätzlich habe ich nun auf Server 2 ein bind auf 0.0.0.0:8088 eingerichtet. Vermutlich ergibt das alles keinen Sinn und der Grund warum das backup nicht funktioniert ist offensichtlich - ich verstehe hier leider nur Bahnhof:

influxDB: Error: Command failed: influxd backup -portable -database iobroker -host 192.168.1.10:8088 "/opt/iobroker/backups/influxDB_2021_02_01-11_02_37_backupiobroker"
2021/02/01 11:02:37 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2s and retrying (0)...
2021/02/01 11:02:39 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2s and retrying (1)...
2021/02/01 11:02:41 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2s and retrying (2)...
2021/02/01 11:02:43 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2s and retrying (3)...
2021/02/01 11:02:45 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2s and retrying (4)...
2021/02/01 11:02:47 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2s and retrying (5)...
2021/02/01 11:02:49 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 3.01s and retrying (6)...
2021/02/01 11:02:52 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 11.441s and retrying (7)...
2021/02/01 11:03:04 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 43.477s and retrying (8)...
2021/02/01 11:03:47 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused.  Waiting 2m45.216s and retrying (9)...
backup: dial tcp 192.168.1.10:8088: connect: connection refused

Meine adapter settings zeigen auf die aktive db auf Server2.

[simatec]

@passuff sagte in BackItUp für InfluxDB:

bind auf 0.0.0.0:8088

Hast du Influx auf Server 2 mit "bind auf 0.0.0.0:8088" geändert?
Wurde im Anschluss an die Änderungen Influx auf Server 2 neugestartet?

[passuff]

@simatec sagte in BackItUp für InfluxDB:

nflux auf Server 2 mit "bind auf 0.0.0.0:8088"

beides korrekt.

[simatec]

@passuff
Zeige mal bitte deine Config der Influx und deine IP-Adressen der Server

[passuff]

@simatec

Server 1 (iobroker; 192.168.1.19; influxdb ohne db/user/etc.)
Server 2 (influxdb; 192.168.1.10; bind 0.0.0.0:8088)

[simatec]

@passuff sagte in BackItUp für InfluxDB:

192.168.1.10; bind 0.0.0.0:8088

Trage mal bitte als remote bind folgendes ein und starte im Anschluss influxdb oder besser dein komplettes System mal neu

bind 192.168.1.10:8088

Zeige hier mal bitte die influxdb.conf

[passuff]

@simatec

welche influxdb.conf soll ich ändern bzw zeigen? Es gibt ja zwei:

• Server 1 (ioboker + influxdb)
• ListenpunktServer 2 (influxdb - aktive db)