行動應用 A/B 實驗設計稽核
審查假設、分流方式、樣本與成功指標，避免實驗一開始就偏向某一個變體。
我們從產品假設寫法開始：主指標是否對得上商業目標、次指標是否被拿來事後合理化結果、以及排除條件是否清楚記錄。接著檢查分流實作——裝置、帳號、安裝來源是否真的獨立，還是在深層連結與登入狀態間產生洩漏。
了解範圍與交付物Cloudnetworkingtools
變體 A 通過了。
變體 B 還沒被真正看見。
我們稽核行動應用的 A/B 實驗：假設是否可證偽、分流有沒有洩漏、埋點與結果解讀能不能支撐全量決策。
主要委託
一場實驗，從設計到宣告贏家
多數團隊找我們，是因為結果看起來漂亮卻說不過去，或準備把單一變體推成預設體驗前，想多一道外部檢視。
委託回饋
實際合作過的說法
「我們以為轉換率差來自按鈕顏色，稽核後才發現登入後 assignment 換了鍵，有一群人兩邊都看過。報告寫得很直，沒有把問題說成「優化空間」。」
林雅婷 · 產品經理 · 訂閱制 App時程上比預期多等了兩天才拿到埋點對照表，不過內容值得。
「變體實作審查把推播與應用內橫幅的不一致抓出來，否則我們可能把錯誤的全量版本推上去。」
阿凱 · 成長工程
想先對齊審查範圍？
留下實驗目標與目前卡關處，我們會回覆是否適合單次健檢或整季稽核。