先寫假設,再開遠端開關
沒有可否證的假設,A/B 只是兩個版本同時上線。
行動應用裡開實驗往往只要幾分鐘:選畫面、掛開關、等數據。真正耗時的是寫出「若改變 X,主指標 Y 會在 Z 方向移動」這句話,並說清楚失敗長什麼樣子。
我們在稽核中常見的問題是:假設其實是設計偏好、主指標在實驗中途被換掉,或次指標被拿來覆蓋主指標的失望結果。這些都會讓事後討論變成立場之爭,而不是證據討論。
建議在開跑前固定三件事:單一主指標、預先登記的次指標清單、以及最小可偵測效應。文件不必長,但要能讓兩週後的你還認得當初為何開這場實驗。
若產品節奏逼人,至少保留一頁實驗卡:對象、排除條件、停損線。稽核時這張卡往往比儀表板截圖更有用。