Pflege der InfluxDB

Thomas Braun

Und wächst unaufhaltsam.

Deswegen splittet man die irgendwann.

Laser

Splitten- OK, da muß ich mich erst belesen, wie man das macht. Ohne Datenverlust. Das manuelle Backup rödelt immer noch. Ich lasse das mal durchlaufen und morgen die 8 Uhr Sicherung. Ich muß jetzt erst mal außer Haus.

Marc Berg

@Laser sagte in backitup Speicherort:

Ändern- da habe ich Bedenken, daß Alles auf einmal weg ist.

Dann ist die Strategie, so lange zu warten (bis es knallt) natürlich genau die richtige.

Laser

2Tage warten und nachlesen, wie das Splitten geht, werden nicht das große Drama sein.

Marc Berg

@Laser sagte in backitup Speicherort:

zum "splitten" der Datenbank habe ich nur Folgendes gefunden:

Die Funktion ist zum "Splitten" (was auch immer das ist) einer Datenbank ungefähr so gut geeignet wie ein Streichholz für den Bau einer Interkontinentalrakete.

Mein Vorschlag: Schau erstmal, wo die dicken Brocken herkommen. Dazu könntest du diese Query nutzen, die du mal in der Weboberfläche der InfluxDB ausführst:

from(bucket: "iobroker")
|> range(start: 0)
|> filter(fn: (r) => r["_field"] == "value")
|> count()
|> group()
|> keep(columns: ["_measurement", "_value"])
|> sort(columns: ["_value"], desc: true)
|> rename(columns: {_value: "Anzahl"})

Vielleicht ist da viel Müll drin, den man einfach löschen kann.

Laser

Da sind sehr viele Daten drin. Die Daten im 60 Sec Zyklus von vor 2 Jahren werde ich mir vermutlich nie ansehen. Aber ein "einfaches" Löschen gibt es doch in der InfluxDB nicht? Über die grafische Oberfläche. Ich habe schon einmal etwas gelöscht. Das war äußert mühselig. Mit Konsolenbefehl für jeden Wert und Zeitbereich.

Marc Berg

@Laser sagte in backitup Speicherort:

Da sind sehr viele Daten drin. Die Daten im 60 Sec Zyklus von vor 2 Jahren werde ich mir vermutlich nie ansehen. Aber ein "einfaches" Löschen gibt es doch in der InfluxDB nicht?

Darum solltest du schauen, wo die vielen Daten herkommen und dann direkt an der Quelle die Einstellungen so ändern, dass in Zukunft nicht mehr so viele Einträge zusammenkommen.

16GB ist VIEL zu viel. Zum Vergleich: Mein Backup aus den letzten vier Jahren ist 3,7 MB groß. Ich räume aber zugegebenermaßen regelmäßig auf, habe aber trotzdem die wichtigen Daten der letzten Jahre abrufbereit.

Vielleicht (und das ist hier auch schon einigen passiert) loggst du auch die Telemetriedaten der Datenbank mit. Dazu müsste man das Ergebnis mal sehen

Über die grafische Oberfläche. Ich habe schon einmal etwas gelöscht. Das war äußert mühselig. Mit Konsolenbefehl für jeden Wert und Zeitbereich.

Ja, das ist mühselig. Deshalb würde ich jetzt die Ursache bekämpfen anstatt dich mit den Auswirkungen rumzuschlagen.

Laser

Ich habe schon mal eine Aufräumaktion gestartet. Muß offenbar nochmals durchsehen.
Nebenbei: Habe heute auch die CIFS Version auf 3.1.1 geändert. Gestern noch nicht.

Defaultmäßig ist in influxDB ein "scraper" angelegt. Kann ich den ohne Nachteile löschen?

Marc Berg

@Laser sagte in backitup Speicherort:

Defaultmäßig ist in influxDB ein "scraper" angelegt. Kann ich den ohne Nachteile löschen?

Der wird nicht defaultmäßig angelegt, aber egal. Das erklärt jetzt aber auch, wo die vielen Daten herkommen.

@marc-berg sagte in backitup Speicherort:

Vielleicht (und das ist hier auch schon einigen passiert) loggst du auch die Telemetriedaten der Datenbank mit.

Also: Scraper löschen und danach alle durch den Scraper angelegten Measurements löschen. Damit dürfte sich die Größe der DB auf ein Bruchteil reduzieren. (nach einer gewissen Zeit, die die DB zum Aufräumen benötigt)

Laser

Bin beim Versuch, Measurements des Scrapes zu löschen, gescheitert. Mein Befehl:

influx delete --bucket iobroker --token KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZeXYZ== --org privat --start 1970-01-01T00:00:00Z --stop $(date +"%Y-%m-%dT%H:%M:%SZ") --predicate '_measurement="storage"'

löscht einfach nicht die Measurements mit dieser Bezeichnung.

Marc Berg

@Laser sagte in backitup Speicherort:

'_measurement="storage"'

Sicher, dass das Measurement so heißt?

EDIT: Außerdem würde ich nicht mit Variablen arbeiten, dass ist hier unnötig und eine Fehlerquelle.

--start '2000-01-01T00:00:00Z' --stop '2030-12-31T23:59:59Z'

Laser

Eines heißt z.B so: "storage_bucket_measurement_num"

influx delete --bucket iobroker --token KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZeXYZ== --org privat --start 1970-01-01T00:00:00Z --stop '2030-12-31T23:59:59Z' --predicate '_measurement="*storage*"'

Marc Berg

@Laser sagte in backitup Speicherort:

_measurement="*storage*"'

Du kannst nicht mit Wildcards arbeiten, das funktioniert an dieser Stelle nicht. Entweder einzeln löschen, oder aber das Script nutzen. Diese Anfragen kommen ja immer mal wieder rein:

#!/bin/bash

# InfluxDB Konfiguration
BUCKET="<BUCKET-NAME>"
ORG="<ORG-NAME>"
TOKEN=""   # Leer lassen, wenn kein Token verwendet werden soll
START="1970-01-01T00:00:00Z"
STOP="2030-01-01T00:00:00Z"

# Liste aller zu löschenden Measurements
MEASUREMENTS=(
"boltdb_reads_total"
"boltdb_writes_total"
"go_gc_duration_seconds"
"go_goroutines"
"go_info"
"go_memstats_alloc_bytes"
"go_memstats_alloc_bytes_total"
"go_memstats_buck_hash_sys_bytes"
"go_memstats_frees_total"
"go_memstats_gc_sys_bytes"
"go_memstats_heap_alloc_bytes"
"go_memstats_heap_idle_bytes"
"go_memstats_heap_inuse_bytes"
"go_memstats_heap_objects"
"go_memstats_heap_released_bytes"
"go_memstats_heap_sys_bytes"
"go_memstats_last_gc_time_seconds"
"go_memstats_lookups_total"
"go_memstats_mallocs_total"
"go_memstats_mcache_inuse_bytes"
"go_memstats_mcache_sys_bytes"
"go_memstats_mspan_inuse_bytes"
"go_memstats_mspan_sys_bytes"
"go_memstats_next_gc_bytes"
"go_memstats_other_sys_bytes"
"go_memstats_stack_inuse_bytes"
"go_memstats_stack_sys_bytes"
"go_memstats_sys_bytes"
"go_threads"
"http_api_request_duration_seconds"
"http_api_requests_total"
"http_query_request_bytes"
"http_query_request_count"
"http_query_response_bytes"
"influxdb_buckets_total"
"influxdb_dashboards_total"
"influxdb_info"
"influxdb_organizations_total"
"influxdb_remotes_total"
"influxdb_replications_total"
"influxdb_scrapers_total"
"influxdb_telegrafs_total"
"influxdb_tokens_total"
"influxdb_uptime_seconds"
"influxdb_users_total"
"qc_all_active"
"qc_all_duration_seconds"
"qc_compiling_active"
"qc_compiling_duration_seconds"
"qc_executing_active"
"qc_executing_duration_seconds"
"qc_memory_unused_bytes"
"qc_queueing_active"
"qc_queueing_duration_seconds"
"qc_requests_total"
"query_influxdb_source_read_request_duration_seconds"
"service_bucket_new_call_total"
"service_bucket_new_duration"
"service_bucket_new_error_total"
"service_onboard_new_call_total"
"service_onboard_new_duration"
"service_org_call_total"
"service_org_duration"
"service_org_new_call_total"
"service_org_new_duration"
"service_org_new_error_total"
"service_password_new_call_total"
"service_password_new_duration"
"service_session_call_total"
"service_session_duration"
"service_session_error_total"
"service_urm_new_call_total"
"service_urm_new_duration"
"service_user_new_call_total"
"service_user_new_duration"
"storage_bucket_measurement_num"
"storage_bucket_series_num"
"storage_cache_disk_bytes"
"storage_cache_inuse_bytes"
"storage_cache_latest_snapshot"
"storage_cache_writes_dropped"
"storage_cache_writes_err"
"storage_cache_writes_total"
"storage_compactions_queued"
"storage_retention_check_duration"
"storage_shard_disk_size"
"storage_shard_fields_created"
"storage_shard_series"
"storage_shard_write_count"
"storage_shard_write_dropped_sum"
"storage_shard_write_err_count"
"storage_shard_write_err_sum"
"storage_shard_write_sum"
"storage_tsm_files_disk_bytes"
"storage_tsm_files_total"
"storage_wal_size"
"storage_wal_writes"
"storage_wal_writes_err"
"storage_writer_dropped_points"
"storage_writer_err_points"
"storage_writer_ok_points"
"storage_writer_req_points"
"storage_writer_timeouts"
"task_executor_promise_queue_usage"
"task_executor_total_runs_active"
"task_executor_workers_busy"
"task_scheduler_current_execution"
"task_scheduler_execute_delta"
"task_scheduler_schedule_delay"
"task_scheduler_total_execute_failure"
"task_scheduler_total_execution_calls"
"task_scheduler_total_release_calls"
"task_scheduler_total_schedule_calls"
"task_scheduler_total_schedule_fails"
)

echo "Starte Löschvorgang für ${#MEASUREMENTS[@]} Measurements..."
echo "Bucket: $BUCKET"
echo "Organisation: $ORG"
echo ""

SUCCESS=0
FAILED=0

# Basis-Argumente fürs influx-CLI
INFLUX_ARGS=(delete --bucket "$BUCKET" --org "$ORG" --start "$START" --stop "$STOP")

# Token nur anhängen, wenn nicht leer
if [[ -n "$TOKEN" ]]; then
    INFLUX_ARGS+=(--token "$TOKEN")
fi

# Durch alle Measurements iterieren
for measurement in "${MEASUREMENTS[@]}"; do
    echo -n "Loesche '$measurement'... "
    
    if influx "${INFLUX_ARGS[@]}" \
        --predicate "_measurement=\"$measurement\"" 2>/dev/null; then
        echo "✓"
        ((SUCCESS++))
    else
        echo "✗"
        ((FAILED++))
    fi
done

echo ""
echo "Fertig!"
echo "Erfolgreich geloescht: $SUCCESS"
echo "Fehlgeschlagen: $FAILED"

Laser

OK. keine Wildcards. Direkt eingegeben:
influx delete --bucket iobroker --token KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZeXYZ== --org privat --start 1970-01-01T00:00:00Z --stop '2030-12-31T23:59:59Z' --predicate '_measurement="storage_bucket_measurement_num"'

löscht auch nicht.

Marc Berg

@Laser sagte in backitup Speicherort:

löscht auch nicht.

influx bucket list --org privat --token ...

sagt?

Laser

Befehlssyntax scheint falsch zu sein. Meldung: Error: flag provided but not defined: -KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZXYZ

(Hochsicherheits- Token ist etwas abgeändert)

Marc Berg

@Laser sagte in backitup Speicherort:

Befehlssyntax

Dann zeigt doch den kompletten Befehl ...

Laser

influx bucket list --org privat --KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZeXYZ==...

mit und ohne die 3 Punkte gtestet

Marc Berg

@Laser sagte in backitup Speicherort:

influx bucket list --org privat --KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZeXYZ==...

da fehlt das "--token"

influx bucket list --org privat --token KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZeXYZ==...

Laser

otto@neuheizung:~ $ influx bucket list --org privat --token KTLmduvh_2ocvh25GueyRrQmob_hcMaVqg2XJUnEuE2iFYhhretw-PtP-sBEAsQiQOD0u68fhpwFnmrBAZXYZ==
ID                      Name            Retention       Shard group duration   Organization ID          Schema Type
bd3baaf8e14d8ac9        _monitoring     168h0m0s        24h0m0s                2d3c37361d7b8576 implicit
3fa5f9c2ffa043d0        _tasks          72h0m0s         24h0m0s                2d3c37361d7b8576 implicit
7b6dd0929a6bb818        iobroker        17520h0m0s      168h0m0s               2d3c37361d7b8576 implicit

Community Forum

NEWS

Pflege der InfluxDB

Support us

389

32.6k

82.0k

1.3m