BackItUp für InfluxDB
-
@simatec
Kurze Frage:
Wann geht die 1.8.3 ins stable ?Bei mir ist die Inful auf einer anderen Maschine und ich habe mehrere Datenbanken zu sichern; Biobroker, iobrokerTest, unifiziert etc.
Wie werden diese gesichert ? -
@simatec
Vielen Dank für die schnelle Antwort.Die Influx DB läuft bei mir, zusammen mit Grafana, auf einem anderen Server (192.168.2.97).
Der IO Broker hat die IP-Adresse 192.168.2.123.Bei der bind-adresse in der Influxdb.conf habe ich die IP-Adresse des IO-Brokers eingetragen und ihn einkommentiert (siehe mein vorheriger Post).
Ist das soweit korrekt?
Weitere Einstellungen sind nicht erforderlich?backitup.0 2021-01-03 23:05:43.978 debug (162114) sendTo "send" to system.adapter.telegram.0 from system.adapter.backitup.0 backitup.0 2021-01-03 23:05:43.809 debug (162114) [iobroker/clean] done backitup.0 2021-01-03 23:05:43.519 debug (162114) [iobroker/cifs] done backitup.0 2021-01-03 23:05:43.368 debug (162114) [iobroker/influxDB] /bin/sh: 1: influxd: not found backitup.0 2021-01-03 23:05:43.367 debug (162114) [iobroker/influxDB] [IGNORED] Error: Command failed: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_03-23_05_43_Home_backupiobrok backitup.0 2021-01-03 23:05:43.366 debug (162114) [iobroker/influxDB] InfluxDB tmp directory was successfully deleted backitup.0 2021-01-03 23:05:43.362 debug (162114) [iobroker/influxDB] Try deleting the InfluxDB tmp directory backitup.0 2021-01-03 23:05:43.350 debug (162114) [iobroker/influxDB] exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_03-23_05_43_Home_backupiobroker backitup.0 2021-01-03 23:05:43.349 debug (162114) [iobroker/influxDB] Created InfuxDB Backup dir backitup.0 2021-01-03 23:05:43.345 debug (162114) [iobroker/influxDB] Start infulxDB Backup ... backitup.0 2021-01-03 23:05:43.193 debug (162114) [iobroker/zigbee] done backitup.0 2021-01-03 23:05:43.192 debug (162114) [iobroker/zigbee] no zigbee database found!! backitup.0 2021-01-03 23:05:42.438 debug (162114) [iobroker/iobroker] done backitup.0 2021-01-03 23:05:41.424 debug (162114) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2021_01_03-23_05_38_Home_backupiobroker.tar.gz backitup.0 2021-01-03 23:05:39.859 debug (162114) [iobroker/iobroker] host.io-broker 5624 objects saved backitup.0 2021-01-03 23:05:39.841 debug (162114) [iobroker/iobroker] host.io-broker 4853 states saved backitup.0 2021-01-03 23:05:38.183 debug (162114) [iobroker/mount] done backitup.0 2021-01-03 23:05:38.180 debug (162114) [iobroker/mount] mount successfully completed backitup.0 2021-01-03 23:05:28.046 debug (162114) Backup has started ...Ich bekomme bei Zeile 5 noch eine Error-Meldung, allerdings mit [IGNORED] davor, ist das richtig?
Vielen Dank
GrußFreund der Nacht
-
@FreunderNacht
Influx muss zur Sicherung auch auf dem System auf dem iobroker läuft installiert sein.
Die zu sichernde Datenbank kann auf einem anderen Server sein. -
@Segway
Danke die kommt in den nächsten Wochen ins stable.
Pro Instanz von Backitup kann aktuell eine Datenbank von Influx gesichert werden -
@simatec
Ok, Influx jetzt auch auf dem System des Io Brokers installiert (ohne Datenbanken).
Die bind-adresse der Influx auf dem IO Broker System ist die IP Adresse des Grafana/Influx-Systems und die bind-adresse auf dem Grafana/Influx-System ist die IP-Adresse des IO Broker Systems.Mein Log sieht wie folgt aus:
Gestartet... [DEBUG] [mount] - mount successfully completed [DEBUG] [mount] - done [DEBUG] [iobroker] - host.io-broker 4949 states saved [DEBUG] [iobroker] - host.io-broker 5695 objects saved [DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2021_01_04-13_04_44_Home_backupiobroker.tar.gz [DEBUG] [iobroker] - done [DEBUG] [influxDB] - Start infulxDB Backup ... [DEBUG] [influxDB] - Created InfuxDB Backup dir [DEBUG] [influxDB] - exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-13_04_49_Home_backupiobroker [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory [DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted [ERROR] [influxDB] - [IGNORED] Error: Command failed: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-13_04_49_Home_backupiobroker 2021/01/04 13:04:49 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2s and retrying (0)... 2021/01/04 13:04:51 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2s and retrying (1)... 2021/01/04 13:04:53 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2s and retrying (2)... 2021/01/04 13:04:55 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2s and retrying (3)... 2021/01/04 13:04:57 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2s and retrying (4)... 2021/01/04 13:04:59 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2s and retrying (5)... 2021/01/04 13:05:01 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 3.01s and retrying (6)... 2021/01/04 13:05:04 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 11.441s and retrying (7)... 2021/01/04 13:05:16 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 43.477s and retrying (8)... 2021/01/04 13:05:59 Download shard 0 failed dial tcp 192.168.2.97:8088: connect: connection refused. Waiting 2m45.216s and retrying (9)... backup: dial tcp 192.168.2.97:8088: connect: connection refused [DEBUG] [cifs] - done [DEBUG] [clean] - done [DEBUG] [telegram] - done [DEBUG] [historyHTML] - new history html values created [DEBUG] [historyHTML] - done [DEBUG] [historyJSON] - new history json values created [DEBUG] [historyJSON] - done [DEBUG] [umount] - mount activ... umount in 60 Seconds!! [DEBUG] [umount] - umount successfully completed [DEBUG] [umount] - done [EXIT] 0Das Backup funktioniert allerdings nicht.
Hier steht als Port die :8088 ist dies korrekt?
Müsste dort nicht die :8086 stehen?Gruß
Freund der Nacht
-
@FreunderNacht
Für die Sicherung ist Port 8088 der Standardport.
Was hast du in deine config eingtragen?
Hast du influx nach der Änderung der Config neu gestartet?Im Adapter Menü ist ein Link zu der Config.
Falls die IP des Influx-Systems nicht geht, trage mal folgendes ein.0.0.0.0:8088Und anschließend Influx neustarten
-
@simatec
Bei mir läuft der IO-Broker auf Server 1 (192.168.2.98) und die Influx auf Server 2 (192.168.2.97).Ich habe jetzt auch auf dem Server 1 (192.168.2.98) die Influx DB installiert wie du in deinem Post oben gesagt hast.
Bei der Installation der Influx auf dem Server 1 und Server 2 bin ich nach folgender Anleitung vorgegangen:
https://www.verdrahtet.info/2020/02/14/installation-von-influxdb-grafana-inkl-verbindung-zu-iobroker/Auf dem Server 2 habe ich allerdings keine Datenbank angelegt, den Rest habe ich so gemacht wie in der Anleitung.
Hier der Auszug aus der influxdb.conf vom Server 1 (192.168.2.98):
### Welcome to the InfluxDB configuration file. # The values in this file override the default values used by the system if # a config option is not specified. The commented out lines are the configuration # field and the default value used. Uncommenting a line and changing the value # will change the value used at runtime when the process is restarted. # Once every 24 hours InfluxDB will report usage data to usage.influxdata.com # The data includes a random ID, os, arch, version, the number of series and other # usage data. No data from user databases is ever transmitted. # Change this option to true to disable reporting. # reporting-disabled = false # Bind address to use for the RPC service for backup and restore. bind-address = "192.168.2.97:8088" ### ### [meta] ### ### Controls the parameters for the Raft consensus group that stores metadata ### about the InfluxDB cluster. ### [meta] # Where the metadata/raft database is stored dir = "/var/lib/influxdb/meta" # Automatically create a default retention policy when creating a database. # retention-autocreate = true # If log messages are printed for the meta service # logging-enabled = true ### ### [data] ### ### Controls where the actual shard data for InfluxDB lives and how it is ### flushed from the WAL. "dir" may need to be changed to a suitable place ### for your system, but the WAL settings are an advanced configuration. The ### defaults should work for most systems. ### [data] # The directory where the TSM storage engine stores TSM files. dir = "/var/lib/influxdb/data" # The directory where the TSM storage engine stores WAL files. wal-dir = "/var/lib/influxdb/wal" # The amount of time that a write will wait before fsyncing. A duration # greater than 0 can be used to batch up multiple fsync calls. This is useful for slower # disks or when WAL write contention is seen. A value of 0s fsyncs every write to the WAL. # Values in the range of 0-100ms are recommended for non-SSD disks. # wal-fsync-delay = "0s" # The type of shard index to use for new shards. The default is an in-memory index that is # recreated at startup. A value of "tsi1" will use a disk based index that supports higher # cardinality datasets.Hier der Auszug aus der influxdb.conf vom Server 2 (192.168.2.97):
# The values in this file override the default values used by the system if # a config option is not specified. The commented out lines are the configuration # field and the default value used. Uncommenting a line and changing the value # will change the value used at runtime when the process is restarted. # Once every 24 hours InfluxDB will report usage data to usage.influxdata.com # The data includes a random ID, os, arch, version, the number of series and other # usage data. No data from user databases is ever transmitted. # Change this option to true to disable reporting. # reporting-disabled = false # Bind address to use for the RPC service for backup and restore. bind-address = "192.168.2.98:8088" ### ### [meta] ### ### Controls the parameters for the Raft consensus group that stores metadata ### about the InfluxDB cluster. ### [meta] # Where the metadata/raft database is stored dir = "/var/lib/influxdb/meta" # Automatically create a default retention policy when creating a database. # retention-autocreate = true # If log messages are printed for the meta service # logging-enabled = true ### ### [data] ### ### Controls where the actual shard data for InfluxDB lives and how it is ### flushed from the WAL. "dir" may need to be changed to a suitable place ### for your system, but the WAL settings are an advanced configuration. The ### defaults should work for most systems. ### [data] # The directory where the TSM storage engine stores TSM files. dir = "/var/lib/influxdb/data" # The directory where the TSM storage engine stores WAL files. wal-dir = "/var/lib/influxdb/wal" # The amount of time that a write will wait before fsyncing. A duration # greater than 0 can be used to batch up multiple fsync calls. This is useful for slower # disks or when WAL write contention is seen. A value of 0s fsyncs every write to the WAL. # Values in the range of 0-100ms are recommended for non-SSD disks. # wal-fsync-delay = "0s"Und hier die Adaptereinstellung für die Influx DB im BachitUp-Adapter:
Ich habe jetzt meinen kompletten Proxmox-Server mal neu gestartet.
Nach dem Neustart konnte sich der Influx-Adapter des IO Brokers nicht mehr mit der Datenbank verbinden.
Ich musste die bind-adresse auf Server 2 wieder auskommentieren, danach kam eine Verbindung zwischen dem Influx-Adapter und der Datenbank wieder Zustande.Kann es etwas mit den Einstellungen die ich bei der Einrichtung der InfluxDB's gemacht habe zu tun haben (siehe Link oben)?
Gruß
Freund der Nacht
-
@FreunderNacht
Mach mal nur auf dem Server, auf dem die Datenbank läuft ein bind auf 0.0.0.0.Der Rest wird nicht benötigt.
-
@simatec
Können die anderen Einstellungen (siehe Link von Verdrahtet) so bleiben, oder soll ich die wieder zurück auf Standard setzen? -
@FreunderNacht
Wenn du nach der Anleitung von verdrahtet gehst, hast du sicher einen Denkfehler bei der bind-address.Suche mal in der Config nach rpc oder 8088.
Dort musst du die Bind ändern.0.0.0.0:8088Hier die Doku von influx dazu
https://docs.influxdata.com/influxdb/v1.8/administration/config#bind-address-127-0-0-1-8088 -
@simatec
Hab's geändert:### Welcome to the InfluxDB configuration file. # The values in this file override the default values used by the system if # a config option is not specified. The commented out lines are the configuration # field and the default value used. Uncommenting a line and changing the value # will change the value used at runtime when the process is restarted. # Once every 24 hours InfluxDB will report usage data to usage.influxdata.com # The data includes a random ID, os, arch, version, the number of series and other # usage data. No data from user databases is ever transmitted. # Change this option to true to disable reporting. # reporting-disabled = false # Bind address to use for the RPC service for backup and restore. bind-address = "0.0.0.0:8088" ### ### [meta] ### ### Controls the parameters for the Raft consensus group that stores metadata ### about the InfluxDB cluster. ### [meta] # Where the metadata/raft database is stored dir = "/var/lib/influxdb/meta" # Automatically create a default retention policy when creating a database. # retention-autocreate = true # If log messages are printed for the meta service # logging-enabled = true ### ### [data] ### ### Controls where the actual shard data for InfluxDB lives and how it is ### flushed from the WAL. "dir" may need to be changed to a suitable place ### for your system, but the WAL settings are an advanced configuration. The ### defaults should work for most systems. ###Jetzt scheint es funktioniert zu haben:
Gestartet... [DEBUG] [mount] - mount successfully completed [DEBUG] [mount] - done [DEBUG] [iobroker] - host.io-broker 4923 states saved [DEBUG] [iobroker] - host.io-broker 5695 objects saved [DEBUG] [iobroker] - Backup created: /opt/iobroker/backups/iobroker_2021_01_04-21_31_08_Home_backupiobroker.tar.gz [DEBUG] [iobroker] - done [DEBUG] [influxDB] - Start infulxDB Backup ... [DEBUG] [influxDB] - Created InfuxDB Backup dir [DEBUG] [influxDB] - exec: influxd backup -portable -database io-broker -host 192.168.2.97:8088 /opt/iobroker/backups/influxDB_2021_01_04-21_31_14_Home_backupiobroker [DEBUG] [influxDB] - Backup created: /opt/iobroker/backups/influxDB_2021_01_04-21_31_14_Home_backupiobroker.tar.gz [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory [DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted [DEBUG] [influxDB] - done [DEBUG] [cifs] - done [DEBUG] [clean] - done [DEBUG] [telegram] - done [DEBUG] [historyHTML] - new history html values created [DEBUG] [historyHTML] - done [DEBUG] [historyJSON] - new history json values created [DEBUG] [historyJSON] - done [DEBUG] [umount] - mount activ... umount in 60 Seconds!! [DEBUG] [umount] - umount successfully completed [DEBUG] [umount] - done [EXIT] 0
Die Bind-Adresse auf der InfluxDB die ich (nur für das Backup) auf dem Server des IO Brokers installiert habe, habe ich wieder auskommentiert.
@simatec
Vielen Dank für deine Hilfe, das hat mir sehr geholfen.Gruß
Freund der Nacht
-
Ich habe mich gerade riesig gefreut als ich gesehen hab dass influxDB Backup mit integriert ist. Großes Dankeschön dafür!
Als ich bei mir das Backup machen wollte, konnte ich jedoch den Reiter influxDB nicht sehen.
influxDB läuft bei mir auf dem gleichen System (Windows 10) zusammen mit dem iobroker.
-
@smile
Hallo,
hast du die neuste Version des Adapters auf deinem System?Bei mir ist es die Version 1.8.3.
Läuft allerdings unter Linux, könnte sein, das es da unterschiede gibt.Gruß
Freund der Nacht
-
@FreunderNacht Oh, interessant, bei mir ist Version 1.7 drauf und die 1.8 steht mir auch nicht zur Installation zur Verfügung. Kann es daran liegen dass node und nom nicht auf dem neusten Stand sind? 10.17.0 und npm 6.11.3 Sowie Admin auf 3.7.8
Ja könnte aber natürlich auch an dem Linux Unterschied liegen.
-
@smile sagte in BackItUp für InfluxDB:
Ja könnte aber natürlich auch an dem Linux Unterschied liegen.
Nö ... am Verwahrungsort im ioBroker.
-
@Glasfaser
Stimmt, ich hatte vergessen, das ich die Version aus "latest" installiert hatte.Ich glaube aber oben in einem Post von @simatec gelesen zu haben, dass die Version 1.8.3 bald in den "stabel" kommt.
-
@simatec sagte in BackItUp für InfluxDB:
@Segway
Danke die kommt in den nächsten Wochen ins stable.
Pro Instanz von Backitup kann aktuell eine Datenbank von Influx gesichert werdenJepp, da stehts.
-
Hallo,
bei mir will der Restore der InfluxDB nicht klappen.
Influx ist in der Version 1.8.3 installiert und funktioniert auch.
Backitup läuft in Version 1.8.5Wiederhergestellt werden soll eine ca. 140MB große Datenbank, welche auf einem NAS über FTP abgerufen wird. Die Datei wird auch im Wiederherstellen Menü gefunden und kann ausgewählt werden.
Sobald ich die Datei anklicke werde ich darauf hingewiesen, dass der IBroker neustarten wird und die kleine Uhr neben dem Datensatz verschwindet.
Ab diesem Punkt gibt es kein weiteres Feedback.Nach ein paar Minuten lässt sich über die Konsole überprüfen, dass in InfluxDB die Datenbank und die Measurements angelegt wurden, allerdings sind in den Measurements keine Datenpunkte.
Im Log sehe ich ebenfalls nichts.Hat jemand eine Idee wo hier das Problem liegen könnte?
-
@df612
Versuche es bitte lokal zu restoren. -
@simatec
Folgende Konfig:Server 1: iobroker
Server 2. influxdb mit datenbank (läuft seit Jahren)Ich habe nun auf Server 1 influxdb nachinstalliert. Ich verstehe es zwar nicht, habe es aber dennoch einfach mal getan. Ich habe weder eine db noch einen Benutzer angelegt. Zusätzlich habe ich nun auf Server 2 ein bind auf 0.0.0.0:8088 eingerichtet. Vermutlich ergibt das alles keinen Sinn und der Grund warum das backup nicht funktioniert ist offensichtlich - ich verstehe hier leider nur Bahnhof:
influxDB: Error: Command failed: influxd backup -portable -database iobroker -host 192.168.1.10:8088 "/opt/iobroker/backups/influxDB_2021_02_01-11_02_37_backupiobroker" 2021/02/01 11:02:37 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2s and retrying (0)... 2021/02/01 11:02:39 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2s and retrying (1)... 2021/02/01 11:02:41 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2s and retrying (2)... 2021/02/01 11:02:43 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2s and retrying (3)... 2021/02/01 11:02:45 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2s and retrying (4)... 2021/02/01 11:02:47 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2s and retrying (5)... 2021/02/01 11:02:49 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 3.01s and retrying (6)... 2021/02/01 11:02:52 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 11.441s and retrying (7)... 2021/02/01 11:03:04 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 43.477s and retrying (8)... 2021/02/01 11:03:47 Download shard 0 failed dial tcp 192.168.1.10:8088: connect: connection refused. Waiting 2m45.216s and retrying (9)... backup: dial tcp 192.168.1.10:8088: connect: connection refusedMeine adapter settings zeigen auf die aktive db auf Server2.
