Frage : Migrate MySQL nach Influxdb
-
@jackgruber Hallo, ich wollte mich auch mal versuchen an deinem Script. Meine MYSQL DB umfasst mittlerweile 1,8 Mio Einträge. Ich bin allerdings ne absolute NULL in sachen Scripte und bekomme schon graue Haare.
Jetzt hab ich das Script mit meinen Daten, so das ich denke das es richtig ist, geändert. Nun bekomme ich folgende meldungC:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>migrate.py ALL File "C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master\migrate.py", line 156 print(f"Processing row {processed_rows + 1:,} to {processed_rows + len(selected_rows):,} from LIMIT {start_row:,} / {start_row + query_max_rows:,} " + ^ SyntaxError: invalid syntax C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>wo kann hier der Fehler sein?
Meine geänderten Daten sehen so aus
{\rtf1\ansi\deff0\nouicompat{\fonttbl{\f0\fnil\fcharset0 Courier New;}} {\*\generator Riched20 10.0.14393}\viewkind4\uc1 \pard\f0\fs22\lang1033\par MYSQL_CONNECTION = pymysql.connect(host=db['MySQL']['192.168.178.8'],\par port=db['MySQL']['3306'],\par user=db['MySQL']['root'],\par password=db['MySQL']['XXXXXX'],\par db=db['MySQL']['database'])\par except pymysql.OperationalError as error:\par print(error)\par sys.exit(1)\par except Exception as ex:\par print("MySQL connection error")\par print(ex)\par sys.exit(1)\par \par \par INFLUXDB_CONNECTION = InfluxDBClient(host=db['InfluxDB']['192.168.178.102'],\par ssl=db['InfluxDB']['ssl'],\par verify_ssl=True,\par port=db['InfluxDB']['22'],\par username=db['InfluxDB']['iobroker'],\par password=db['InfluxDB']['XXXXXX'],\par database=db['InfluxDB']['iobroker_import'])\par }Danke für die hilfe. Gruß Marco
@marco-mh bitte nur die
database.json.exampleindatabase.jsonumbenennen und die daten dort eintragen. -
@marco-mh bitte nur die
database.json.exampleindatabase.jsonumbenennen und die daten dort eintragen. -
@jackgruber Danke für die schnelle Antwort. Aber der Fehler bleibt leider.
ichnhab die Daten jetzt in der Json geändert.@marco-mh Welche python version ist im einsatz?
-
@marco-mh Welche python version ist im einsatz?
-
@jackgruber 3.9.5
@marco-mh OK, das ist ok. Aber die Fehlermeldung deutet auf ein altes python ...
Die Zeile ist nur für den Status, kann daher auch auskommentiert/gelöscht werden.
-
@marco-mh OK, das ist ok. Aber die Fehlermeldung deutet auf ein altes python ...
Die Zeile ist nur für den Status, kann daher auch auskommentiert/gelöscht werden.
@jackgruber ok, die 157 und 181 musste ich auch # setzen
jetzt kommt folgendesC:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>migrate.py ALL Traceback (most recent call last): File "C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master\migrate.py", line 5, in <module> from influxdb import InfluxDBClient ImportError: No module named influxdbnode.js 16.15.1, NPM 8.11, js.Controller 4.0.23
-
@jackgruber ok, die 157 und 181 musste ich auch # setzen
jetzt kommt folgendesC:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>migrate.py ALL Traceback (most recent call last): File "C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master\migrate.py", line 5, in <module> from influxdb import InfluxDBClient ImportError: No module named influxdbwie in der anleitung beschrieben
pip install -r requirements.txtausgeführt? -
wie in der anleitung beschrieben
pip install -r requirements.txtausgeführt?@jackgruber ja hab ich im extrahierten ordner gemacht
-
wie in der anleitung beschrieben
pip install -r requirements.txtausgeführt?@jackgruber ach quatsch, hab den ja gelöscht und neu extrahiert
-
wie in der anleitung beschrieben
pip install -r requirements.txtausgeführt?@jackgruber bei der installation kam folgendes, ist das ok?
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)aber nach der installation kommt immer noch der selbe fehler
node.js 16.15.1, NPM 8.11, js.Controller 4.0.23
-
@jackgruber bei der installation kam folgendes, ist das ok?
WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages)aber nach der installation kommt immer noch der selbe fehler
@marco-mh Morgen, also ich bin mir fast sicher, dass ne alte python version < 3.6 beim aufruf genutzt wird.
Ich hab das Script angepasst um dies zu überüfen. Bitte nochmals herunterladen und testen.Zum pip fehler. Da stimmt was nicht mit den installierten packeten.
Was passiert bei einempip freezeund dannpip list. -
@marco-mh Morgen, also ich bin mir fast sicher, dass ne alte python version < 3.6 beim aufruf genutzt wird.
Ich hab das Script angepasst um dies zu überüfen. Bitte nochmals herunterladen und testen.Zum pip fehler. Da stimmt was nicht mit den installierten packeten.
Was passiert bei einempip freezeund dannpip list.@jackgruber guten Morgen und vielen Dank für die frühe und viele Hilfe. 👍😀
Ich muss mal gucken wann Ich das am WE schaffe. Heute is erstmal schönes Wetter und heute Abend 15 Scheiben Steaks vergrillen.
Ich melde mich 👍, schönen Start ins WEnode.js 16.15.1, NPM 8.11, js.Controller 4.0.23
-
@jackgruber guten Morgen und vielen Dank für die frühe und viele Hilfe. 👍😀
Ich muss mal gucken wann Ich das am WE schaffe. Heute is erstmal schönes Wetter und heute Abend 15 Scheiben Steaks vergrillen.
Ich melde mich 👍, schönen Start ins WE@marco-mh guter Plan :)
-
@marco-mh Morgen, also ich bin mir fast sicher, dass ne alte python version < 3.6 beim aufruf genutzt wird.
Ich hab das Script angepasst um dies zu überüfen. Bitte nochmals herunterladen und testen.Zum pip fehler. Da stimmt was nicht mit den installierten packeten.
Was passiert bei einempip freezeund dannpip list.@jackgruber ach das mach ich schnell noch
C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>pip freeze WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) certifi==2021.5.30 chardet==4.0.0 idna==2.10 influxdb==5.3.1 msgpack==1.0.2 PyMySQL==1.0.2 python-dateutil==2.8.1 pytz==2021.1 requests==2.25.1 six==1.16.0 urllib3==1.26.5C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>pip list WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) Package Version --------------- --------- certifi 2021.5.30 chardet 4.0.0 idna 2.10 influxdb 5.3.1 msgpack 1.0.2 pip 21.1.2 PyMySQL 1.0.2 python-dateutil 2.8.1 pytz 2021.1 requests 2.25.1 setuptools 56.0.0 six 1.16.0 urllib3 1.26.5 WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) -
@jackgruber ach das mach ich schnell noch
C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>pip freeze WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) certifi==2021.5.30 chardet==4.0.0 idna==2.10 influxdb==5.3.1 msgpack==1.0.2 PyMySQL==1.0.2 python-dateutil==2.8.1 pytz==2021.1 requests==2.25.1 six==1.16.0 urllib3==1.26.5C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>pip list WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) Package Version --------------- --------- certifi 2021.5.30 chardet 4.0.0 idna 2.10 influxdb 5.3.1 msgpack 1.0.2 pip 21.1.2 PyMySQL 1.0.2 python-dateutil 2.8.1 pytz 2021.1 requests 2.25.1 setuptools 56.0.0 six 1.16.0 urllib3 1.26.5 WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -p (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution -ip (c:\python39\lib\site-packages) WARNING: Ignoring invalid distribution - (c:\python39\lib\site-packages) -
Irgend was ist im Verzeichnis
c:\python39\lib\site-packageskrum bei dir.
Gibt es dort evtl ordner die mit~beginnen?Oder post mal die Ausgabe von
dir /b c:\python39\lib\site-packagesDas es eine VM auf Proxmox ist macht kein unterschied.
-
Irgend was ist im Verzeichnis
c:\python39\lib\site-packageskrum bei dir.
Gibt es dort evtl ordner die mit~beginnen?Oder post mal die Ausgabe von
dir /b c:\python39\lib\site-packagesDas es eine VM auf Proxmox ist macht kein unterschied.
-
@jackgruber ja ich hab 3 Ordner die mit einer welle beginnen
@marco-mh Ok, lösch die mal weg. Dann sollte das pip problem behoben sein.
-
@jackgruber Danke für das Script import/migrierte von "Migrated: 2,697,221" hat auf Anhieb funktioniert ! :+1: :grinning:
1000 Dank
Gruss
Christian -
@marco-mh Ok, lösch die mal weg. Dann sollte das pip problem behoben sein.
@jackgruber jetzt hab ich Pyton nochmal Deinstalliert, es war zusätzlich noch ein 2er Pyton drauf. Installation der Pakete hat geklappt. Aber irgendwie ist hier bei mir der Wurm drin, es kommt eins nach dem anderen.
Beim ausführen von migrate.py ALL kam dann das, da wirst verrückt!C:\Users\marco\Downloads\iobroker_mysql_2_influxdb-master>migrate.py ALL (1045, "Access denied for user 'iobroker'@'Proxmox-Windows10.fritz.box' (using password: YES)")node.js 16.15.1, NPM 8.11, js.Controller 4.0.23
582
Online32.7k
Users82.5k
Topics1.3m
Posts