influxdb cloud Daten importieren

[dirk_1930]

Hallo zusammen,

ich bin gerade etwas ratlos...

Ich habe 2 Instanzen der influxdb installiert.
Die 1. Instanz läuft schon viele Monate und sichert die Daten lokal in der "iobroker" Datenbank.
Jetzt habe ich eine 2. Instanz installiert, die mit "iobroker2" in der influxdb cloud laufen soll.

Die erste Instanz ist manuell lokal über die Kommandozeile gesichert und auch im Verzeichnis sichtbar.

sudo influxd backup -portable -database iobroker /tmp/iobroker_backup

Ich würde jetzt gerne diese Sicherung in der Cloud Instanz wiederherstellen.
Ich bin nach der Anleitung unter https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/
vorgegangen, allerdings sind keine Daten in dem iobroker2 bucket.

sudo influxd restore -portable -db iobroker -newdb iobroker2  /tmp/iobroker_backup

Kann mir jemand helfen?

[A Former User]

@dirk_1930

Moin,

vielleicht noch nicht gleich, denn es sind noch einige Fragen offen.

1.) Die lokale influxDB ist welche Version?
2.) Die influxDB in der Cloud ist welche Version?
3.) Wieso willst Du in die Cloud?

Hier mal etwas Lesestoff zu influxDB V 1.8
Backup / Restore

Hier das passende zu influxDB V1.8 migration nach influxDB Cloud
Migration in die Cloud

VG
Bernd

[dirk_1930]

@dp20eic
Hallo Bernd,

die lokale db hat die Version 1, die Cloud sollte Version 2 sein.

Ich wollte in die Cloud, um die Daten von anderen Rechner abrufen zu können.

Die Doks lese ich mir mal durch, aber vielleicht kannst du mit den Angaben oben mir schon einen Tip geben?

[A Former User]

@dirk_1930 sagte in influxdb cloud Daten importieren:

@dp20eic
Hallo Bernd,

die lokale db hat die Version 1, die Cloud sollte Version 2 sein.

Dann musst Du dir alles aus dem zweiten Link durchlesen, ich habe keine Erfahrung mit Lokal/Cloud. Nur so beim überfliegen ahbe ich gesehen, dass auf dem lokalen Rechner das influxdb_inspect Utility installiert haben musst.

[dp20eic@influxDB ~]$ influx_inspect 
Usage: influx_inspect [[command] [arguments]]

The commands are:

    deletetsm            bulk measurement deletion of raw tsm file
    dumptsi              dumps low-level details about tsi1 files
    dumptsm              dumps low-level details about tsm1 files
    export               exports raw data from a shard to line protocol
    buildtsi             generates tsi1 indexes from tsm1 data
    help                 display this help message
    report               displays a shard level cardinality report
    report-disk          displays a shard level disk usage report
    verify               verifies integrity of TSM files
    verify-seriesfile    verifies integrity of the Series file

"help" is the default command.

Use "influx_inspect [command] -help" for more information about a command.

Ich wollte in die Cloud, um die Daten von anderen Rechner abrufen zu können.

Ok, ich kann da sicherlich nicht mitreden, aber Du bist Dir bewusst, dass Du dein Heimnetz öffnest?

Die Doks lese ich mir mal durch, aber vielleicht kannst du mit den Angaben oben mir schon einen Tip geben?
Das musst Du wohl, so wie ich das aber überflogenhabe, ist das recht gut beschrieben und ist auch nicht so unterschiedlich zu einer Migration, wenn man beides lokal betreibt.

VG
Bernd

[dirk_1930]

influx_inspect habe ich schon versucht, allerdings schreibt er keine Daten...

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

allerdings schreibt er keine Daten...

Test mit lp :

sudo influx_inspect export -database iobroker  -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal -retention autogen  -out /tmp/iobroker_backup/influxv1backup.lp -lponly

auch nicht so !?

[A Former User]

@dirk_1930

Moin,

gib bitte immer alle Eingaben und Ausgaben hier mit, dann fällt es uns leichter den Gedankengang nach zu vollziehen.
So kann ich nicht viel mit anfangen.

VG
Bernd

[dirk_1930]

@glasfaser said in influxdb cloud Daten importieren:

@dirk_1930 sagte in influxdb cloud Daten importieren:

allerdings schreibt er keine Daten...

Test mit lp :

sudo influx_inspect export -database iobroker  -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal -retention autogen  -out /tmp/iobroker_backup/influxv1backup.lp -lponly

auch nicht so !?

Jetzt passiert etwas

writing out tsm file data for iobroker/autogen...

allerdings hört er nicht auf, und das Verzeichnis kann ich nicht aufrufen um zu sehen was drin steht

Linux ist nicht wirklich meine Stärke...

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

allerdings hört er nicht auf, und das Verzeichnis kann ich nicht aufrufen um zu sehen was drin steht

mhh ... wie groß ist denn dein Influxd Datenbank mb/ GB oder

Schonmal ein Backup mit dem Backitup adapter gemacht

[dirk_1930]

@glasfaser
Sicherung 1x täglich
Die Datenbank ist 226MB groß

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

Die Datenbank ist 226MB groß

ist winzig .. klein

[dirk_1930]

@glasfaser
Irgend eine Idee, warum er dann die Daten nicht so sichert, wie du vorher beschrieben hast?

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

die lokale db hat die Version 1, die Cloud sollte Version 2 sein.

So ganz verstehe ich das nicht , denn Cloud habe ich nicht

Dann wäre von ioBroker aus dann

Instanz.0 für 1.8
Instanz.1 für 2.0

sein , die diese Datenpunkte dann beschreiben !!?

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

Irgend eine Idee, warum er dann die Daten nicht so sichert, wie du vorher beschrieben hast?

Sollte eigenlich gehen ...

auch das hier , in eine neue Datenbank schreiben

@dirk_1930 sagte in influxdb cloud Daten importieren:

sudo influxd restore -portable -db iobroker -newdb iobroker2 /tmp/iobroker_backup

iobroker2 darf nicht vorhanden sein !!

[dirk_1930]

@glasfaser said in influxdb cloud Daten importieren:

@dirk_1930 sagte in influxdb cloud Daten importieren:

die lokale db hat die Version 1, die Cloud sollte Version 2 sein.

So ganz verstehe ich das nicht , denn Cloud habe ich nicht

Dann wäre von ioBroker aus dann

Instanz.0 für 1.8
Instanz.1 für 2.0

sein , die diese Datenpunkte dann beschreiben !!?

Meine Idee wäre es gewesen, die alte Instanz schlafen zu legen und nur noch in die Neue Version zu schreiben

[A Former User]

@dirk_1930

Moin,

ich schaffe das heute nicht mehr, aber morgen würde ich mir ein Zugang zur Cloud besorgen, und dann mal Testen, da ich hier sowohl V1.8er und V 2.xer InfluxDb nutze.

VG
Bernd

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

die alte Instanz schlafen zu legen

du brauchts doch nur in der vorhandenen Instanz.0 ( 1.8 ) die neuen Zugangsdaten für die InfluxDB 2.0 ändern .

Ich habe auch vor kurzen von 1.8 auf 2.0 gewechselt . ( keine Cloud )

Alte Datenbank übernommen ... ca. 2 GB groß

Habe aber bemerkt das nach der Umstellung immer Fehler im ioBroker Log waren .
Absturz von ioBroker usw.

andauert Influx query .... timeout usw.

Auch ein Teilimport von der alten Datenbank brachte nach kuzer Zeit immer diesen Fehler .

Also habe jetzt mit InfluxDB2.0 von 0 angefangen ... ohne Fehler .

[dirk_1930]

@dp20eic

[dirk_1930]

@glasfaser
Kann man nicht die Daten unter Umständen in eine CSV exportieren und dann in der V2 wieder einlesen?

[Glasfaser]

@dirk_1930 sagte in influxdb cloud Daten importieren:

Kann man nicht die Daten unter Umständen in eine CSV exportieren und dann in der V2 wieder einlesen?

Habe es nicht so geschafft ...

habe eine neuen VM mit influx 1.8 aufgesetzt , dann ein Backup von 1.8 eingespielt und dann ein Upgrade auf InfluxDB2 gemacht .