NEWS
Update von influxDB2 und restore über backitup
-
@simatec und die anderen Freunde,
beim Versuch, meine influxdb2-Installation upzudaten bin ich ein weitläufiges Opfer der "Linux Package Signing Key Rotation" https://www.influxdata.com/blog/linux-package-signing-key-rotation/
geworden. Wenn ich das System nach der genannten Anleitung mit dem neuen key ausstatte und dann ein apt update && apt upgrade durchführe, dann wird influxdb2 ( für mich merkwürdigerweise) neu installiert und meine ioboker DB sowie die eingestellten Nutzer sind futsch.
Zum Glück läuft das System in einem privilegierten Proxmox LXC und konnte nach einem restore komplett wieder hergestellt werden.Auf dem ioBroker ist nun die influx Datei aus dem influx-CLI influxdb2-client-2.6.0-linux-amd64.tar.gz installiert.
Hiermit kann backitup die iobroker DB aus der influxDB2 Version auf meinem NAS sichern.Wenn ich nun nach der oben genannten Anleitung für die Key Rotation das System mit einem apt update && apt upgrade auf die Version 2.6.1 anhebe, dann kann der iobroker plötzlich nicht mehr zugreifen.
Wenn man über die ip-der-influxdb2:8086 dann auf das System zugreifen will, dann erkennt man, dass alle user und Datenbanken verloren sind.Die sind nun schnell wieder eingerichtet. Dabei wird allerdings das token für den admin ja auch neu erstellt.
Nun Zwei Fragen:
- Kann man den neu erstellten token einfach in influx.0 und backitup.0 neu hinterlegen und die Datenbank dann über backitup-Restore zurück spielen, obwohl der token jetzt ein anderer ist?
- Überseh ich etwas, bei dem Versuch influxDB2 von 2.6.0 auf 2.6.1 anzuheben? Warum verliert er dabei sämtliche Einstellungen? Sollte man das anders machen?
Vielen Dank
Jo -
@simatec und die anderen Freunde,
beim Versuch, meine influxdb2-Installation upzudaten bin ich ein weitläufiges Opfer der "Linux Package Signing Key Rotation" https://www.influxdata.com/blog/linux-package-signing-key-rotation/
geworden. Wenn ich das System nach der genannten Anleitung mit dem neuen key ausstatte und dann ein apt update && apt upgrade durchführe, dann wird influxdb2 ( für mich merkwürdigerweise) neu installiert und meine ioboker DB sowie die eingestellten Nutzer sind futsch.
Zum Glück läuft das System in einem privilegierten Proxmox LXC und konnte nach einem restore komplett wieder hergestellt werden.Auf dem ioBroker ist nun die influx Datei aus dem influx-CLI influxdb2-client-2.6.0-linux-amd64.tar.gz installiert.
Hiermit kann backitup die iobroker DB aus der influxDB2 Version auf meinem NAS sichern.Wenn ich nun nach der oben genannten Anleitung für die Key Rotation das System mit einem apt update && apt upgrade auf die Version 2.6.1 anhebe, dann kann der iobroker plötzlich nicht mehr zugreifen.
Wenn man über die ip-der-influxdb2:8086 dann auf das System zugreifen will, dann erkennt man, dass alle user und Datenbanken verloren sind.Die sind nun schnell wieder eingerichtet. Dabei wird allerdings das token für den admin ja auch neu erstellt.
Nun Zwei Fragen:
- Kann man den neu erstellten token einfach in influx.0 und backitup.0 neu hinterlegen und die Datenbank dann über backitup-Restore zurück spielen, obwohl der token jetzt ein anderer ist?
- Überseh ich etwas, bei dem Versuch influxDB2 von 2.6.0 auf 2.6.1 anzuheben? Warum verliert er dabei sämtliche Einstellungen? Sollte man das anders machen?
Vielen Dank
Jonoch eine kleine Ergänzung: Im Wiki unter https://github.com/simatec/ioBroker.backitup/wiki/ioBroker.backitup-Wiki-Deutsch finde ich im Abschnitt "Restore" keine besonderen Hinweise zu einem Restore einer influxDB2-Datenbank.
Soweit ich das im Netz gelesen habe, sollte der Service vorher gestoppt werden mitsudo systemctl stop influxdbSoweit ich mich erinnere steht da aber auch nicht, ob man die vorhandene DB in influxDB2 vor einem Restore löschen sollte. Oder nimmt backitup über den remote Zugriff entsprechende Änderungen vor?
-
noch eine kleine Ergänzung: Im Wiki unter https://github.com/simatec/ioBroker.backitup/wiki/ioBroker.backitup-Wiki-Deutsch finde ich im Abschnitt "Restore" keine besonderen Hinweise zu einem Restore einer influxDB2-Datenbank.
Soweit ich das im Netz gelesen habe, sollte der Service vorher gestoppt werden mitsudo systemctl stop influxdbSoweit ich mich erinnere steht da aber auch nicht, ob man die vorhandene DB in influxDB2 vor einem Restore löschen sollte. Oder nimmt backitup über den remote Zugriff entsprechende Änderungen vor?
-
@simatec und die anderen Freunde,
beim Versuch, meine influxdb2-Installation upzudaten bin ich ein weitläufiges Opfer der "Linux Package Signing Key Rotation" https://www.influxdata.com/blog/linux-package-signing-key-rotation/
geworden. Wenn ich das System nach der genannten Anleitung mit dem neuen key ausstatte und dann ein apt update && apt upgrade durchführe, dann wird influxdb2 ( für mich merkwürdigerweise) neu installiert und meine ioboker DB sowie die eingestellten Nutzer sind futsch.
Zum Glück läuft das System in einem privilegierten Proxmox LXC und konnte nach einem restore komplett wieder hergestellt werden.Auf dem ioBroker ist nun die influx Datei aus dem influx-CLI influxdb2-client-2.6.0-linux-amd64.tar.gz installiert.
Hiermit kann backitup die iobroker DB aus der influxDB2 Version auf meinem NAS sichern.Wenn ich nun nach der oben genannten Anleitung für die Key Rotation das System mit einem apt update && apt upgrade auf die Version 2.6.1 anhebe, dann kann der iobroker plötzlich nicht mehr zugreifen.
Wenn man über die ip-der-influxdb2:8086 dann auf das System zugreifen will, dann erkennt man, dass alle user und Datenbanken verloren sind.Die sind nun schnell wieder eingerichtet. Dabei wird allerdings das token für den admin ja auch neu erstellt.
Nun Zwei Fragen:
- Kann man den neu erstellten token einfach in influx.0 und backitup.0 neu hinterlegen und die Datenbank dann über backitup-Restore zurück spielen, obwohl der token jetzt ein anderer ist?
- Überseh ich etwas, bei dem Versuch influxDB2 von 2.6.0 auf 2.6.1 anzuheben? Warum verliert er dabei sämtliche Einstellungen? Sollte man das anders machen?
Vielen Dank
Jo@xxjooo sagte in Update von influxDB2 und restore über backitup:
Kann man den neu erstellten token einfach in influx.0 und backitup.0 neu hinterlegen und die Datenbank dann über backitup-Restore zurück spielen, obwohl der token jetzt ein anderer ist?
Sollte soweit ich weiß gehen ...
-
@xxjooo sagte in Update von influxDB2 und restore über backitup:
Kann man den neu erstellten token einfach in influx.0 und backitup.0 neu hinterlegen und die Datenbank dann über backitup-Restore zurück spielen, obwohl der token jetzt ein anderer ist?
Sollte soweit ich weiß gehen ...
nach dem update auf 2.6.1 wurden der Nutzer admin, die Organisation und eine Testdatenbank neu angelegt. Anschließend versucht, die über backitup gesicherte DB zurück zu spielen. Dabei leider folgendes:
Started restore ... [DEBUG] [influxDB] - Created tmp directory [DEBUG] [influxDB] - Start infuxDB Restore ... [DEBUG] [influxDB] - influxdb.0 is stopped [ERROR] [influxDB] - Error: failed to check existence of organization "iob": 401 Unauthorized: unauthorized access [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory [DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted [DEBUG] [influxDB] - infuxDB Restore completed successfully [EXIT] influxDB restore done [DEBUG] [influxDB] - influxdb.0 startedHast Du eine Idee, was die Error-Meldung auslöst?
Falls Du keine Idee hast, folgt nun die Frage: Kann man nicht eine komplett neue Installation von influxDB2 erstellen und mit backitup darein die DB zurück spielen?
@SBorg ,
ich meine mich zu erinnern, dass Du geschrieben hattest, das gleiche schon mehrfach bei einem Rechner Wechsel durchgeführt zu haben. Wie hast Du dann die InfluxDB2 Installation gemacht bzw. welche Nutzer und sonstigen Angaben erstellt. Letztlich wird doch nur eine DB zurück gespielt.
Was ich noch nicht gemacht hatte war den all access token zu erstellen und in backitup einzutragen. Liegt hier das Problem? -
nach dem update auf 2.6.1 wurden der Nutzer admin, die Organisation und eine Testdatenbank neu angelegt. Anschließend versucht, die über backitup gesicherte DB zurück zu spielen. Dabei leider folgendes:
Started restore ... [DEBUG] [influxDB] - Created tmp directory [DEBUG] [influxDB] - Start infuxDB Restore ... [DEBUG] [influxDB] - influxdb.0 is stopped [ERROR] [influxDB] - Error: failed to check existence of organization "iob": 401 Unauthorized: unauthorized access [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory [DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted [DEBUG] [influxDB] - infuxDB Restore completed successfully [EXIT] influxDB restore done [DEBUG] [influxDB] - influxdb.0 startedHast Du eine Idee, was die Error-Meldung auslöst?
Falls Du keine Idee hast, folgt nun die Frage: Kann man nicht eine komplett neue Installation von influxDB2 erstellen und mit backitup darein die DB zurück spielen?
@SBorg ,
ich meine mich zu erinnern, dass Du geschrieben hattest, das gleiche schon mehrfach bei einem Rechner Wechsel durchgeführt zu haben. Wie hast Du dann die InfluxDB2 Installation gemacht bzw. welche Nutzer und sonstigen Angaben erstellt. Letztlich wird doch nur eine DB zurück gespielt.
Was ich noch nicht gemacht hatte war den all access token zu erstellen und in backitup einzutragen. Liegt hier das Problem?@xxjooo Ich habe aktuell V1 auf Host A und V2 auf Host B laufen. Dabei läuft "Wetter" parallel auf beiden, damit ich das Skript gefahrlos umstellen und testen kann. Immerhin sind bei mir Wetterdaten der letzten 4 Jahre drin, die will ich nicht durch einen blöden Fehler grillen. Ich habe die einfach aus der V1 exportiert und in die V2 importiert. Wg. der Menge an Datensätzen hat das Ganze dann ca. 5 Minuten gedauert.
So werde ich dann auch alles andere einzeln umziehen, da meine Datenbank eindeutig zu groß ist. Da muss jede Menge Müll drin sein. Ich sehe auch diverse Measurements die ich nicht droppen kann.
Kurzzeitreihen (zB. Retention von 7 Tagen) ex-/importiere ich überhaupt nicht. Dann dauert es eben 7 Tage bis die wieder kpl. gefüllt sind... -
@xxjooo Ich habe aktuell V1 auf Host A und V2 auf Host B laufen. Dabei läuft "Wetter" parallel auf beiden, damit ich das Skript gefahrlos umstellen und testen kann. Immerhin sind bei mir Wetterdaten der letzten 4 Jahre drin, die will ich nicht durch einen blöden Fehler grillen. Ich habe die einfach aus der V1 exportiert und in die V2 importiert. Wg. der Menge an Datensätzen hat das Ganze dann ca. 5 Minuten gedauert.
So werde ich dann auch alles andere einzeln umziehen, da meine Datenbank eindeutig zu groß ist. Da muss jede Menge Müll drin sein. Ich sehe auch diverse Measurements die ich nicht droppen kann.
Kurzzeitreihen (zB. Retention von 7 Tagen) ex-/importiere ich überhaupt nicht. Dann dauert es eben 7 Tage bis die wieder kpl. gefüllt sind...@sborg ,
OK, daraus folgt, dass es ja problemlos funktionieren sollte. Hast Du denn irgendwas besonderes in V2 machen müssen, damit das problemos ging? Hast Du das händisch auf der Konsole mit dem File und dem Befehl "influx restore" gemacht, oder über den backitup Adapter?
-
nach dem update auf 2.6.1 wurden der Nutzer admin, die Organisation und eine Testdatenbank neu angelegt. Anschließend versucht, die über backitup gesicherte DB zurück zu spielen. Dabei leider folgendes:
Started restore ... [DEBUG] [influxDB] - Created tmp directory [DEBUG] [influxDB] - Start infuxDB Restore ... [DEBUG] [influxDB] - influxdb.0 is stopped [ERROR] [influxDB] - Error: failed to check existence of organization "iob": 401 Unauthorized: unauthorized access [DEBUG] [influxDB] - Try deleting the InfluxDB tmp directory [DEBUG] [influxDB] - InfluxDB tmp directory was successfully deleted [DEBUG] [influxDB] - infuxDB Restore completed successfully [EXIT] influxDB restore done [DEBUG] [influxDB] - influxdb.0 startedHast Du eine Idee, was die Error-Meldung auslöst?
Falls Du keine Idee hast, folgt nun die Frage: Kann man nicht eine komplett neue Installation von influxDB2 erstellen und mit backitup darein die DB zurück spielen?
@SBorg ,
ich meine mich zu erinnern, dass Du geschrieben hattest, das gleiche schon mehrfach bei einem Rechner Wechsel durchgeführt zu haben. Wie hast Du dann die InfluxDB2 Installation gemacht bzw. welche Nutzer und sonstigen Angaben erstellt. Letztlich wird doch nur eine DB zurück gespielt.
Was ich noch nicht gemacht hatte war den all access token zu erstellen und in backitup einzutragen. Liegt hier das Problem? -
@sborg ,
OK, daraus folgt, dass es ja problemlos funktionieren sollte. Hast Du denn irgendwas besonderes in V2 machen müssen, damit das problemos ging? Hast Du das händisch auf der Konsole mit dem File und dem Befehl "influx restore" gemacht, oder über den backitup Adapter?
@xxjooo Ich habe vorher in de V2 nur den entsprechenden Bucket angelegt.
Export der drei Serien (eine Befehlszeile):
echo '#datatype measurement,dateTime:RFC3339,boolean,string,double,double' > export.csv && influx -database [DB-name] -username [username] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Aussentemperatur","javascript.0.Wetterstation.Regen_Tag","javascript.0.Wetterstation.Wind_max"' -format csv -precision='rfc3339' >> ./export.csvDie "export.csv" dann kopiert und am Zielhost nur noch
influx write -b [bucketname] -f ./export.csv
Meine 4 Jahre Daten (alle 30 Sek. ein Datensatz) ergab eine ~200MB Datei und der Import dauerte 3-4 Minuten.
Man kann natürlich auch weitere/andere Datenobjekte ex-/importieren ;) -
@xxjooo so wie ich den error sehe gast du entweder mit dem Token keine Rechte oder die Organisation existiert nicht.
Der Token muss zwingend der Admin Token sein@simatec sagte in Update von influxDB2 und restore über backitup:
@xxjooo so wie ich den error sehe gast du entweder mit dem Token keine Rechte oder die Organisation existiert nicht.
Der Token muss zwingend der Admin Token seinVielen Dank, das war der entscheidende Hinweis. Ich war immer davon ausgegangen, dass ein all-access token den Job erledigen müsste.
Auf einer neuen Installation mit dem user admin und einem neuen all-access token meckerte er immer, dass die Organisation "iob" nicht vorhanden sei, obwohl ich sie bereits hinterlegt hatte.
Das clonen des admin-tokens und dessen Verwendung brachte dann den erfreulichen restore...Vielen Dank!!!
PS: Die Wirkung des all-access token leuchtet mir dann allerdings nicht ein...
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden