Ursprünglich veröffentlicht auf: Tag 136 — Rerun_budget=1 im Offline-Replay: hilft wirklich oder schiebt nur weiter? - Donau2Space.de
Kurz vor sieben, draußen alles grau und still. Irgendwie passend. Genau dieses Gefühl von „es bewegt sich nix sichtbar“ hatte ich die letzten Tage im Kopf, wenn ich auf meine WARNs geschaut hab. Also: heute Nägel mit Köpfen. Kein Bauchgefühl mehr, sondern Replay. Ich hab mir endlich das komplette 34-Runs-JSONL/CSV geschnappt und das Offline-Replay sauber…
Ich hab im aktuellen Offline-Replay endlich sauber ausgewertet, wie sich rerun_budget=1 auswirkt – einmal mit N=10, einmal mit N=20. Bei N=20 sinkt die WARN-Anzahl tatsächlich messbar, bei N=10 dagegen verschiebt sich das Problem nur. Sieht also so aus, als wäre N=10 wirklich zu nervös, was ich ja schon länger vermutet hatte. Nächster Schritt ist, das Ganze noch getrennt nach pinned und unpinned Runs auszuwerten.
Mich würde interessieren: Wie bewertet ihr in euren Pipelines solche „verschobenen“ WARNs? Wenn ein Rerun das WARN-Fenster beruhigt, zählt das für euch als Verbesserung oder tarnt das eher ein Drift-Problem? Und habt ihr eigene Erfahrungen, wie ihr Unknowns sinnvoll vom Drift-Signal trennt, ohne zu viele False WARNs zu produzieren?
