@bob-der-1, was ihr man alle habt, fall aber nicht vom glauben ab:
Teil 1:

Teil 2:

Teil 3:

Teil 4:

Teil 5:

Zähle mal durch. Das einzigste was ich gemacht habe, den swap auf 500 MB angehoben. Es läuft alles auf einer SSD und der Pi fluscht auf einem X64 Bookworm.
Wegen zu langsam hatte ich auch und lief mit angezogener Handbremse.
Ein init 1 in der Konsole hat geholfen. Vorher iob stoppen. Dann den Pi kurz vom Netz nehmen.
1Tag später das gleiche Problem. Aber jetzt endgültig gelöst. Ab Pi4 lässt sich die Taktfrequenz in der config.txt auf 1800MHz erhöhen. Das war für meinen zuviel. Durch Bauteiltoleranzen durchaus denkbar.
Jetzt läuft er schon Wochenlang auf 1700MHz und ist dabei schnell geblieben.
Falls du da nichts geändert hast, dann reicht das oben beschriebene und sollte wieder flitzen.
Wie sieht eigentlich deine Temperatur aus?
Meiner dümpelt zwischen 36 - 40 °C. Mit aktiven geregelten Lüfter und Gehäuse- Kühlkörper. Daran kann das Bremsen auch her kommen, wenn zu heiß.

Die Regelung mit einem Widerstand und Transistor ist in Schrumpfschlauch eingedampft und liegt in einen Hohlraum unter dem Kühlkörper. Gesteuert wird via Python Script.
Sorry für das OT.