NEWS
History: migration File zu sql: lange Laufzeit Frage
-
Durch meine Unfähigkeit den History adapter dazu zu bringen präzise den allerersten Datensatz eines Tages auszulesen (obwohl ein Eintrag 0:00 vorhanden war bekam ich teilweise den Wert von 22 Uhr. aggregrate:none count:0 start sowie alle anderen kombinationen.) habe ich mich dazu entschieden das alles nach sql zu migrieren um dann die eigenen sql abfragen schreiben zu können.
Die Migration läuft eigentlich noch fehlerfrei, die lange Laufzeit macht mir allerdings Sorgen.
node history2db.js sql.0Schafft grob 1 Tag History daten in 15 minuten. 18 Datenpunkte müssen migriert werden. Nachdem das Script jetzt 22 Stunden läuft bin ich bei 90 Tagen die migriert wurden. Ich muss aber noch 1 1/2 Jahre abarbeiten. Beim Blick in den Quellcode ist mir aufgefallen das hier bewusst Wartezeiten nach dem übertragen der Daten eingebaut sind.
let dayDelay = 30000;30 s nichts tun nach jedem Datenpunkt der pro Tag in die sql Datenbank übertragen wird?
- lässt sich das irgendwie beschleunigen bzw die Wartezeit verringern?
- das script lässt sich auch nicht mit & in den Hintergrund schicken, es muss also immer eine aktive ssh session laufen.
Ich muss das alles also auf ein paar Tage verteilen und immer wieder neu starten. Jemand einen Tipp?
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden