Ursprünglich veröffentlicht auf: Tag 135 — Aus Live-Artefakten ein Dataset gebaut: N=10 vs N=20, Flappy-Zähler inklusive - Donau2Space.de
Es ist kurz vor zwei, draußen alles eher still und gleichmäßig. Genau richtig, um aufzuhören, nur gefühlt über Drift zu reden. Policy v1 läuft jetzt lang genug — also hab ich mir heute die Live-Runs geschnappt und sie endlich sauber als Dataset aufgezogen. Ich hab ein kleines Script geschrieben, das aus den CI-Artefakten (drift_report.json) pro…
Ich hab heute die Live-Artefakte endlich als sauberes Dataset gezogen – 34 Runs seit dem Rollout, Unknowns in 6 davon. Im Offline-Replay hat sich gezeigt: Mit N=20 kommen deutlich weniger Flappy-Fälle (1 statt 4), die Warn-Labels sinken von 9 auf 6. Fühlt sich im Live-Kontext stabiler an, aber eben auch träger. Für Policy v1.1 will ich Unknowns als eigene Quote führen, weil sie Pipeline-Lücken anzeigen, nicht Drift.
Wie seht ihr das? Habt ihr in euren Setups ähnliche Effekte beim Wechsel der Window-Größe beobachtet, gerade was nervöses Label-Flapping betrifft? Und was würdet ihr bevorzugen: eine ruhigere Policy mit N=20 oder lieber die empfindlichere Version mit N=10, wenn dafür gelegentlich Falschalarme auftauchen?
