Frage : Migrate MySQL nach Influxdb

Sputnik24

Vielen Dank für das tolle Script. Das Script läuft bei mir erfolgreich durch, Grafana zeigt mir auch alle Datenpunkte an, sagt aber "No data". Die Daten werden vom sql Adapter in eine MariaDB auf der Synology gespeichert.

Muss ich im Script etwas anpassen?

Danke

JackGruber

@sputnik24
Hört sich eher danach an, dass etwas in der auswertung nicht stimmt.

Einfach das influx Kommandozeilenwerkzeug per influx öffnen, dann die Datenbank auswählen
use <DATENBANK> und per SELECT * FROM <MEASUREMENT_NAME> LIMIT 5 sich ein paar Datensätze anzeigen lassen um dies zu überprüfen.

Sputnik24

@jackgruber Ich lass iobroker mittlerweile Daten in influxdb speichern. Diese werden mir in Grafana auch angezeigt. Ich vermute ein Problem mit dem timestamp Format.

Ich hab die database nochmal gelöscht und neu angelegt, jetzt funktioniert es.

marco-mh

@jackgruber Hallo, ich wollte mich auch mal versuchen an deinem Script. Meine MYSQL DB umfasst mittlerweile 1,8 Mio Einträge. Ich bin allerdings ne absolute NULL in sachen Scripte und bekomme schon graue Haare.
Jetzt hab ich das Script mit meinen Daten, so das ich denke das es richtig ist, geändert. Nun bekomme ich folgende meldung


C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>migrate.py ALL
  File "C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master\migrate.py", line 156
    print(f"Processing row {processed_rows + 1:,} to {processed_rows + len(selected_rows):,} from LIMIT {start_row:,} / {start_row + query_max_rows:,} " +
                                                                                                                                                       ^
SyntaxError: invalid syntax

C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>

wo kann hier der Fehler sein?

Meine geänderten Daten sehen so aus


{\rtf1\ansi\deff0\nouicompat{\fonttbl{\f0\fnil\fcharset0 Courier New;}}
{\*\generator Riched20 10.0.14393}\viewkind4\uc1 
\pard\f0\fs22\lang1033\par
    MYSQL_CONNECTION = pymysql.connect(host=db['MySQL']['192.168.178.8'],\par
                                       port=db['MySQL']['3306'],\par
                                       user=db['MySQL']['root'],\par
                                       password=db['MySQL']['XXXXXX'],\par
                                       db=db['MySQL']['database'])\par
except pymysql.OperationalError as error:\par
    print(error)\par
    sys.exit(1)\par
except Exception as ex:\par
    print("MySQL connection error")\par
    print(ex)\par
    sys.exit(1)\par
\par
\par
INFLUXDB_CONNECTION = InfluxDBClient(host=db['InfluxDB']['192.168.178.102'],\par
                                     ssl=db['InfluxDB']['ssl'],\par
                                     verify_ssl=True,\par
                                     port=db['InfluxDB']['22'],\par
                                     username=db['InfluxDB']['iobroker'],\par
                                     password=db['InfluxDB']['XXXXXX'],\par
                                     database=db['InfluxDB']['iobroker_import'])\par
}

Danke für die hilfe. Gruß Marco

JackGruber

@marco-mh bitte nur die database.json.example in database.json umbenennen und die daten dort eintragen.

marco-mh

@jackgruber Danke für die schnelle Antwort. Aber der Fehler bleibt leider.
ichnhab die Daten jetzt in der Json geändert.

JackGruber

@marco-mh Welche python version ist im einsatz?

marco-mh

@jackgruber 3.9.5

JackGruber

@marco-mh OK, das ist ok. Aber die Fehlermeldung deutet auf ein altes python ...

Die Zeile ist nur für den Status, kann daher auch auskommentiert/gelöscht werden.

marco-mh

@jackgruber ok, die 157 und 181 musste ich auch # setzen
jetzt kommt folgendes


C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>migrate.py ALL
Traceback (most recent call last):
  File "C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master\migrate.py", line 5, in <module>
    from influxdb import InfluxDBClient
ImportError: No module named influxdb

JackGruber

wie in der anleitung beschrieben pip install -r requirements.txt ausgeführt?

marco-mh

@jackgruber ja hab ich im extrahierten ordner gemacht

marco-mh

@jackgruber ach quatsch, hab den ja gelöscht und neu extrahiert

marco-mh

@jackgruber bei der installation kam folgendes, ist das ok?


WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)

aber nach der installation kommt immer noch der selbe fehler

JackGruber

@marco-mh Morgen, also ich bin mir fast sicher, dass ne alte python version < 3.6 beim aufruf genutzt wird.
Ich hab das Script angepasst um dies zu überüfen. Bitte nochmals herunterladen und testen.

Zum pip fehler. Da stimmt was nicht mit den installierten packeten.
Was passiert bei einem pip freeze und dann pip list.

marco-mh

@jackgruber guten Morgen und vielen Dank für die frühe und viele Hilfe.
Ich muss mal gucken wann Ich das am WE schaffe. Heute is erstmal schönes Wetter und heute Abend 15 Scheiben Steaks vergrillen.
Ich melde mich , schönen Start ins WE

JackGruber

@marco-mh guter Plan

marco-mh

@jackgruber ach das mach ich schnell noch


C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>pip freeze
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)
certifi==2021.5.30
chardet==4.0.0
idna==2.10
influxdb==5.3.1
msgpack==1.0.2
PyMySQL==1.0.2
python-dateutil==2.8.1
pytz==2021.1
requests==2.25.1
six==1.16.0
urllib3==1.26.5


C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>pip list
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)
Package         Version
--------------- ---------
certifi         2021.5.30
chardet         4.0.0
idna            2.10
influxdb        5.3.1
msgpack         1.0.2
pip             21.1.2
PyMySQL         1.0.2
python-dateutil 2.8.1
pytz            2021.1
requests        2.25.1
setuptools      56.0.0
six             1.16.0
urllib3         1.26.5
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages)
WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)

marco-mh

@marco-mh ach weiß nicht ob es wichtig ist, WIN läuft auf dem Proxmox in einer VM

JackGruber

@marco-mh

Irgend was ist im Verzeichnis c:\python39\lib\site-packages krum bei dir.
Gibt es dort evtl ordner die mit ~ beginnen?

Oder post mal die Ausgabe von dir /b c:\python39\lib\site-packages

Das es eine VM auf Proxmox ist macht kein unterschied.

NEWS

Frage : Migrate MySQL nach Influxdb

Support us

1.6k
Online

30.6k
Users

77.2k
Topics

1.2m
Posts

NEWS

Frage : Migrate MySQL nach Influxdb

Support us

1.6kOnline

30.6kUsers

77.2kTopics

1.2mPosts

1.6k
Online

30.6k
Users

77.2k
Topics

1.2m
Posts