什麼時候不該相信「贏家」
顯著結果仍可能被 peeking、季節性與錯誤埋點帶偏。
團隊每天打開實驗儀表板是人之常情，但反覆檢視而不調整門檻，會提高假陽性。我們會問：決策時點是否預先訂好？有沒有在達標前就全量？
行動應用還有商店活動、系統推播與競品促銷等外部波。若實驗期剛好撞上大型行銷檔期，要把干擾寫進結論，而不是假裝區間已經說完一切。
埋點錯了，統計再嚴謹也救不了。宣告贏家前，至少抽樣重放關鍵事件，確認變體標籤與轉換定義一致。
健康的做法是保留「再觀察一週」的選項。不是每個顯著差異都值得立刻改預設體驗。