Monatsrückblick Januar/Februar 2026 ist online!

[Armilar]

@homoran

Ach so... Wäre eine influx.0 oder sql.0 nichts für dich zum anfreunden? Könntest du die vorhandenen Daten exportieren und anschließend alles an history.0 in den Müll werfen. Dann sollten die benötigten Daten bereits in der anderen Variante schlummern und die Datenleichen werden mit den history.0 vernichtet. Oder nochmaliger Reimport aus sql oder influx zurück in history.0 . Einen echten Datenleichensucher kenne ich auch noch nicht ;-)

Daten zur Auswertung sind bei mir nicht auf dem PROD-System. Genau weil sie irgendwann zur Bremse werden.

[BananaJoe]

@homoran sagte in ehemalige Historydaten finden:

Gibt es eine Möglichkeit solche Datenpunkte wieder ausfindig machen zu können, ohne die History-Verzeichnisse der ketzten 3-4 Jahre manuell durchsuchen zu müssen?

Ich würde mir ein Skript schreiben bzw. es in der Bash lösen:

find /tmp/* -mtime +7 

würde alle Dateien älter als 7 Tage finden
Nimm das auf den History-Stamm-Ordner und dann z.B. mit 365 Tagen
Man kann auch einen Befehl anhängen, z.B. löschen:

find /tmp/* -mtime +7 -exec rm {} \;

ich würde aber erste den Find-befehl perfektionieren - dann siehts du ja was "Alt" ist und ob das passt.

Siehe auch https://www.baeldung.com/linux/find-exec-command

Nachtrag: Wenn es mehr ist (ich zeichne so 200 Datenpunkte auf) würde ich langfristig zu einem Wechsel zu SQL oder Influx empfehlen.

[Armilar]

@bananajoe

Ich nahm an, das etliche Dateien auch noch einen Nutzen haben, auch wenn sie älter sind... Aber der Ansatz um uralte Daten zu finden (>2 Jahre) ist echt gut...

[BananaJoe]

@armilar So genau weis ich nicht wie der History-Adapter das ablegt, aber ja, verschaffe dir einen Überblick und prüfe doppelt (+ backup) wenn du was löscht

[Homoran]

@bananajoe sagte in ehemalige Historydaten finden:

Wenn es mehr ist (ich zeichne so 200 Datenpunkte auf) würde ich langfristig zu einem Wechsel zu SQL oder Influx empfehlen.

@armilar sagte in ehemalige Historydaten finden:

Wäre eine influx.0 oder sql.0 nichts für dich zum anfreunden?

im Moment nicht.
kenne mich weder mit SQL noch mit influx aus.
klar, ich hatte beides damals zum Testen laufen, als die Adapter herauskamen, um die Doku zu schreiben.
war kein Hexenwerk. Allerdings warxes für mich persönlich nicht zufriedenstellend dass ich nicht wusste und verstand was da abläuft.

Abschließend war es auch noch erst als Hörtetest gedacht um zu prüfen was man mit history eigentlich schafft.
Jetzt nach > 3 Jahren hat es dann auch noch eine Eigendynamik bekommen, so dass due history DB lnzwischen 48GB groß ist :scream:

@armilar sagte in ehemalige Historydaten finden:

Ich nahm an, das etliche Dateien auch noch einen Nutzen haben, auch wenn sie älter sind...

korrekt! die will ich auch behalten.
ich möchte nur temporär verwendete Daten, die ich in history ggf. schon lange deaktiviert habe, bereinigen

@bananajoe sagte in ehemalige Historydaten finden:

So genau weis ich nicht wie der History-Adapter das ablegt

der schreibt für jeden Tag ein Verzeichnis und darin für jeden geloggten Datenpunkt ein JSON.
klar kann ich 1000 Verzeichnisse manuell öffnen und die JSONs löschen, die ich nicht mehr brauche.

Allerdings tue ich mich schwer ohne Objektstruktur nur anhand der ID zu entscheiden ob ich den DP noch brauche.
ich stelle mir prinzipiell vor, dass ich eine Liste der IDs bekäme, die aktuell nicht mehr in history geloggt werden.

Damit müsste ich dann die älteren Verzeichnisse überprüfen.

[MCU]

@homoran Ungefähr so?

 159 Verzeichnisse wurde(n) gelesen!
 fromDir und toDir dürfen nur im Bereich von 0 bis 159 sein! Bitte in 10er-Schritten verwenden!
 Es wurde ein Bereich von 0 bis 10 gewählt-> es dauert 20 Sekunden
 75 DPs im Verzeichnis: 20220602
 70 DPs im Verzeichnis: 20220601
 72 DPs im Verzeichnis: 20220603
 72 DPs im Verzeichnis: 20220604
 73 DPs im Verzeichnis: 20220605
 68 DPs im Verzeichnis: 20220606

https://mcuiobroker.gitbook.io/jarvis-infos/tipps/scripte-blockly-javascript/javascript/history-adapter/nicht-mehr-geloggte-dps-in-history-verzeichnissen-finden

[Homoran]

@mcu klingt gut!
muss ich mir am PC mal zu Gemüte führen.

Der Titel hatte mich erstmal irritiert, aber im Text steht dann der wichtige Punkt:

Möchte man die alten DP-Leichen aus seiner umfangreichen historyDB löschen, kann man sich mit diesem Script die DPs (Dateien), die nicht mehr aktiv geloggt werden, anzeigen lassen.

[Homoran]

@mcu hab es jetzt doch nicht abwarten können und vom Tablet versucht. Bekomme Fehler:

javascript.1
	2022-11-05 10:25:19.721	error	at processTimers (internal/timers.js:500:7)
javascript.1
	2022-11-05 10:25:19.721	error	at listOnTimeout (internal/timers.js:557:17)
javascript.1
	2022-11-05 10:25:19.720	error	at Timeout._onTimeout (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:2239:34)
javascript.1
	2022-11-05 10:25:19.720	error	at Object.<anonymous> (script.js.historyLeichen:31:13)
javascript.1
	2022-11-05 10:25:19.720	error	at searchDir (script.js.historyLeichen:136:5)
javascript.1
	2022-11-05 10:25:19.719	error	Error in callback: ReferenceError: fs is not defined
javascript.0
	2022-11-05 10:18:41.702	warn	State "javascript.0.scriptEnabled.historyLeichen" has no existing object, this might lead to an error in future versions

irgendwo stand auch erro, wahrscheinlich statt error.

SORRY! bekomme am Tablet den code nicht kopiert!

auch hier noch Mecker:

[Homoran]

@mcu
passend dazu das log

2022-11-05 10:22:21.336 - info: javascript.1 (1578246) Stop script script.js.historyLeichen
2022-11-05 10:23:41.168 - info: javascript.1 (1578246) Start javascript script.js.historyLeichen
2022-11-05 10:23:41.179 - info: javascript.1 (1578246) script.js.historyLeichen: registered 1 subscription and 0 schedules
2022-11-05 10:25:14.722 - info: javascript.1 (1578246) script.js.historyLeichen: Anzahl der aktiv geloggten DPs: 421
2022-11-05 10:25:19.719 - error: javascript.1 (1578246) Error in callback: ReferenceError: fs is not defined
2022-11-05 10:25:19.720 - error: javascript.1 (1578246) at searchDir (script.js.historyLeichen:136:5)
2022-11-05 10:25:19.720 - error: javascript.1 (1578246) at Object. (script.js.historyLeichen:31:13)
2022-11-05 10:25:19.720 - error: javascript.1 (1578246) at Timeout._onTimeout (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:2239:34)
2022-11-05 10:25:19.721 - error: javascript.1 (1578246) at listOnTimeout (internal/timers.js:557:17)
2022-11-05 10:25:19.721 - error: javascript.1 (1578246) at processTimers (internal/timers.js:500:7)

[MCU]

@homoran Javascript 6.1.3 und history 2.2.4 im Einsatz?
Bei früheren Javascript Versionen muss man fs bei npm Modulen eintragen.

[Homoran]

@mcu sagte in ehemalige Historydaten finden:

Javascript 6.1.3 und history 2.2.4 im Einsatz?

noch nicht.

@mcu sagte in ehemalige Historydaten finden:

Bei früheren Javascript Versionen muss man fs bei npm Modulen eintragen.

mach ich!

Danke

EDIT:
ist bereits drin

[MCU]

@homoran Welche javascript Version hast du?
Zeile setzen.

let fs = require('fs');

[Homoran]

@mcu sagte in ehemalige Historydaten finden:

Welche javascript Version hast du?

5.70

Danke!
ist gestartet

EDIT:

oops

javascript.1
	2022-11-05 12:21:33.463	info	script.js.historyLeichen: fromDir und toDir dürfen nur im Bereich von 0 bis 1193 sein! Bitte in 10er-Schritten verwenden!
javascript.1
	2022-11-05 12:21:33.463	info	script.js.historyLeichen: 1193 Verzeichnisse wurde(n) gelesen!
javascript.1
	2022-11-05 12:21:28.472	info	script.js.historyLeichen: Anzahl der aktiv geloggten DPs: 421

das mit den 10er Schritten stand doch vorher nicht da?

[MCU]

@homoran Hast du als dirEnd 1193 eingegeben? Dann 2x 1193 Sekunden warten!

[Homoran]

@mcu sagte in ehemalige Historydaten finden:

@homoran Hast du als dirEnd 1193 eingegeben? Dann 2x 1193 Sekunden warten!

nee, ganz so mutig war ich nicht.
bei den ersten hatte ich 0-100 und jetzt 101-200

[MCU]

@homoran Und wie sieht es aus?

[Homoran]

@mcu erstmal sieht es gut aus!
bekomme nur den Download des logs am Tablet nicht hin, da friert der Feuerfuchs ein.

Spoiler

73

Log-Größe: 1.3 MB
Zeit
   
Nachricht
javascript.1
   2022-11-05 12:24:52.016	info	script.js.historyLeichen: system.host.ioBroker01.uptime
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.memRss
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.memHeapTotal
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.load
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.freemem
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.$__hostname__$.outputCount
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.$__hostname__$.inputCount
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: system.host.$__hostname__$.freemem
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: system.adapter.proxmox.0.memHeapUsed
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: smartmeter.0.1-0~2_8_0__255.value
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: smartmeter.0.1-0~16_7_0__255.value
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: proxmox.0.storage_local.total
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: proxmox.0.qemu_ioBroker01.netin
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.$__hostname__$.load
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.alive
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.inputCount
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.mem
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.memHeapUsed
javascript.1
   2022-11-05 12:24:52.015	info	script.js.historyLeichen: system.host.ioBroker01.outputCount
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: proxmox.0.qemu_ioBroker01.mem
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: proxmox.0.qemu_ioBroker01.cpu
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: proxmox.0.node_iobroker-pve.loadavg.0
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: luftdaten.1.28288.SDS_P2
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: hm-rpc.1.0014D709AEF7EF.2.PRESS_SHORT
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: proxmox.0.qemu_ioBroker01.netout
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: proxmox.0.storage_local.used
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: smartmeter.0.1-0~1_8_0__255.value
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: system.adapter.node-red.0.memHeapUsed
javascript.1
   2022-11-05 12:24:52.014	info	script.js.historyLeichen: system.adapter.unifi.0.memHeapUsed
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: hm-rpc.1.0014D709AEF7EF.2.PRESS_LONG
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.1.0014D709AEF7EF.1.PRESS_LONG
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.LEQ0773306.5.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.KEQ0543560.5.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.KEQ0543560.3.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.KEQ0543553.4.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: luftdaten.1.28288.SDS_P1
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: parser.0.NO2_Niort
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: proxmox.0.node_iobroker-pve.loadavg.2
javascript.1
   2022-11-05 12:24:52.013	info	script.js.historyLeichen: proxmox.0.qemu_ioBroker01.maxmem
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543553.3.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543553.1.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543528.4.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543528.2.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.JEQ0201654.1.RAMP_TIME
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.KEQ0543553.5.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.KEQ0543560.4.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.KEQ0963067.3.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.0.NEQ1547414.3.STATE
javascript.1
   2022-11-05 12:24:52.012	info	script.js.historyLeichen: hm-rpc.1.0014D709AEF7EF.1.PRESS_SHORT
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.JEQ0201654.1.LEVEL
javascript.1
   2022-11-05 12:24:52.010	info	script.js.historyLeichen: hm-rega.0.46241
javascript.1
   2022-11-05 12:24:52.010	info	script.js.historyLeichen: Messwerte.0.Stromzaehler.Verbrauch_Badheizer
javascript.1
   2022-11-05 12:24:52.010	info	script.js.historyLeichen: Messwerte.0.Pool.Pumpenlaufzeit
javascript.1
   2022-11-05 12:24:52.010	info	script.js.historyLeichen: system.host.ioBroker01.uptime
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543528.1.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543528.3.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543528.5.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.011	info	script.js.historyLeichen: hm-rpc.0.KEQ0543553.2.TEMPERATURE
javascript.1
   2022-11-05 12:24:52.010	info	script.js.historyLeichen: system.host.ioBroker01.outputCount
javascript.1
   2022-11-05 12:24:52.009	info	script.js.historyLeichen: system.host.ioBroker01.memHeapUsed
javascript.1
   2022-11-05 12:24:52.009	info	script.js.historyLeichen: system.host.ioBroker01.mem
javascript.1
   2022-11-05 12:24:52.009	info	script.js.historyLeichen: system.host.ioBroker01.inputCount
javascript.1
   2022-11-05 12:24:52.009	info	script.js.historyLeichen: system.host.ioBroker01.alive
javascript.1
   2022-11-05 12:24:52.009	info	script.js.historyLeichen: system.host.$__hostname__$.load
javascript.1
   2022-11-05 12:24:52.010	warn	script.js.historyLeichen: Im Verzeichnis: 20200216 können folgende Dateien gelöscht werden:

also könnte ich auch alles auf einmal Abfragen?

Zeit und Leistung vorausgesetzt!

[MCU]

@homoran Alles eine Frage des Speichers? Die Menge muss ja verarbeitet werden! Könnte einen System Zusammenbruch verursachen?

[Homoran]

@mcu sagte in ehemalige Historydaten finden:

Könnte einen System Zusammenbruch verursachen?

no risk no fun!

DANKE!

das mache ich aber erst wenn ich mal am PC bin

[MCU]

@homoran Man kann sie auch direkt löschen, möchtest du das?

Wenn ja, dann folgende Zeile einfügen!

fs.unlinkSync(sysAdaptDir+'/'+notActiveDPs[i].dir+'/history.'+notActiveDPs[i].id+'.json');

Aber erst in einem Bereich von 0-2 testen!

Mit neuer Programm-Version v1.0.1 einschaltbar.