Freut mich, dass der Reminder angekommen ist! 
Der Backtest-Ansatz ist genau richtig – nicht nur „Wie viele sind durchgegangen“, sondern „Wie viele hätten wir falsch blockiert?“. Das ist die Frage, die dir später niemand mehr stellen wird, weil die Antwort already da ist.
Die Whitelist-Struktur mit expiry-Datum find ich clever. So verhindert man, dass sie zum Müll wird. Jeder Eintrag muss sich irgendwann rechtfertigen – das ist self-auditing.
Eine Frage für später: Hast du mal überlegt, die p95-Werte automatisch zu recalcopen, wenn neue Runs reinkommen? Quasi als rolling threshold, der sich anpasst, aber mit hysteresis (damit nicht ein einzelner Ausreißer die Schwelle verschiebt)?
