[問題] 關於 A/B Test 觀察指標討論

看板Statistics作者 (bruce)時間4年前 (2020/01/19 23:04), 編輯推噓3(3推 0噓 32→)
留言35則, 4人參與, 4年前最新討論串1/1
Hi 大家好， 最近小弟在工作上討論 A/B Test 遇到了一些卡住的地方 想看看有沒有人可以幫助解惑 XD 也想了解一下大家都怎麼理解這些問題～ 我們最近在討論的問題是關於使用時長的 A/B Test 在 A/B Test 裡我們做的步驟是這樣: 1. 關於實驗的步驟我們的假說是隨機抽取兩組人 (根據隨機試驗，我們相信足夠多人就可以代表母體) 2. 對他們過去幾天的使用時長做檢測，分佈一致才進行 3，否則回 1 重抽 3. 開始實驗 然而現在有一個爭論點是這樣的 我們要比較使用時長，我們應該看的指標是下列二者哪一種 1. 時長平均數 or 整體時長 2. 時長中位數 使用 1 的原因是我們的總體指標想看的是整體時長 所以用平均數或是直接用整體時長都可以有很好的 align 商業指標 另外因為平均 or 總體時長做出來會符合中央極限定理 所以很自然的可以使用 normal distribution 的 test 來做檢測 跟 confidence interval 的推估 市面上蠻多關於 skew dataset 的檢測也是類似的 (像是電商的 order revenue，做實驗有沒有平均 order revenue 成長， 也是觀測這類型 skew dataset 的變化) 這個的理論基礎大概是: https://www.mdrc.org/sites/default/files/full_533.pdf 使用 2 目前的狀況是因為 a. 平均時長很容易被時長很高的人拉走 b. 原本使用者的時長分佈並非 normal，所以不該用平均數 所以有部分的人認為應該是要觀測中位數的變化 這個的缺點大概是不一定能夠反映我們整體的指標變化 不確定這樣描述夠不夠清楚 QQ 想說看看板上各位大師的意見， 小弟也算是半路出家 K 這些資料， 不確定到底哪種描述 + 實驗方式比較正確 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.132.139 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1579446250.A.34C.html
→
01/19 23:11, 4年前 , 1F
題外話，我對第二段第2點的內容覺得怪怪的。怎麼叫一致?
01/19 23:11, 1F
→
01/19 23:13, 4年前 , 2F
回到話題。我猜你的問題核心在於離群值嚴不嚴重。
01/19 23:13, 2F
→
01/19 23:14, 4年前 , 3F
但這要等到收完資料才看得出來。
01/19 23:14, 3F
→
01/19 23:16, 4年前 , 4F
你需要的可能是Kolmogorov-Smirnov test來比較分佈，
01/19 23:16, 4F
→
01/19 23:16, 4年前 , 5F
而不是用平均數或中位數
01/19 23:16, 5F
→
01/19 23:21, 4年前 , 6F
檢測一致的指標也是我們在討論的重點之一
01/19 23:21, 6F
→
01/19 23:22, 4年前 , 7F
現在的點比較像是如果想要比較總體時長，這樣採樣的點
01/19 23:22, 7F
→
01/19 23:22, 4年前 , 8F
應該要是個人的點還是一個 aggregate 過的結果當一個點
01/19 23:22, 8F
→
01/19 23:25, 4年前 , 9F
現在使用2提出來的檢驗法應該是 Mann-Whitney U test
01/19 23:25, 9F
推
01/20 08:13, 4年前 , 10F
小心挑選樣本的方式。我沒看懂這部分，但這最重要。
01/20 08:13, 10F
→
01/20 12:41, 4年前 , 11F
挑選樣本的方式應該要 align metric 或是個人的某項數
01/20 12:41, 11F
→
01/20 12:41, 4年前 , 12F
值比較合理 @@?
01/20 12:41, 12F
推
01/20 12:52, 4年前 , 13F
我也不知道。我也不懂你如何挑，但看起來似乎挑很大，
01/20 12:52, 13F
→
01/20 12:52, 4年前 , 14F
謹慎。
01/20 12:52, 14F
→
01/20 23:46, 4年前 , 15F
hmm 我再想一下..謝謝!
01/20 23:46, 15F
→
01/21 05:15, 4年前 , 16F
不懂你們所要的以及你們所做的. 我有上網查了所謂 A/B test
01/21 05:15, 16F
→
01/21 05:18, 4年前 , 17F
是指什麼, 似乎是在比較兩種東西的效果, 例如兩個廣告用語
01/21 05:18, 17F
推
01/21 05:22, 4年前 , 18F
何者較有效.實驗方法是隨機選取兩組人分別提示 A 或 B 事物
01/21 05:22, 18F
→
01/21 05:24, 4年前 , 19F
據以評估二者的效果何者較佳. 例如廣告詞實驗分別寄發電子
01/21 05:24, 19F
→
01/21 05:26, 4年前 , 20F
郵件提示兩種廣告詞之一並告知對方採用某一優惠代碼.
01/21 05:26, 20F
→
01/21 05:27, 4年前 , 21F
你說耍觀察的是使用時長,"對他們過去幾天的使用時長做檢測"
01/21 05:27, 21F
→
01/21 05:29, 4年前 , 22F
我不懂是什麼的使用時長? 以經驗使用時長來評選樣本又是怎
01/21 05:29, 22F
→
01/21 05:31, 4年前 , 23F
麼回事? 在我想來, A/B test 就是兩樣本隨機實驗, 兩組樣本
01/21 05:31, 23F
→
01/21 05:33, 4年前 , 24F
應是在某個群體中隨機選取的, 而你要給兩組樣本不同的處理,
01/21 05:33, 24F
→
01/21 05:35, 4年前 , 25F
如廣告詞一例中提示不同廣告詞並給予不同優惠代碼, 然後觀
01/21 05:35, 25F
→
01/21 05:37, 4年前 , 26F
測其反應以評佔哪種 "處理" 較好. 如果是 "經驗使用時長"
01/21 05:37, 26F
→
01/21 05:40, 4年前 , 27F
可能影響實驗效果 (經驗使用時長與A/B實驗的 "使用時長" 究
01/21 05:40, 27F
→
01/21 05:41, 4年前 , 28F
竟是什麼東西?) 有兩種方式, 一是不採用兩獨立樣本而採配對
01/21 05:41, 28F
→
01/21 05:43, 4年前 , 29F
樣本; 二是維持原隨機樣本, 即使抽出後發現兩組樣本使用經
01/21 05:43, 29F
→
01/21 05:45, 4年前 , 30F
驗有明顥差異, 但在分析方法上不採用單純的平均數比較、中
01/21 05:45, 30F
→
01/21 05:46, 4年前 , 31F
位數比較, 或分布函數比較, 而是採用按使用經驗分組後比較
01/21 05:46, 31F
→
01/21 05:48, 4年前 , 32F
同組 A/B 之差異, 或用使用經驗當調整項, 例如 ANCOVA 或
01/21 05:48, 32F
→
01/21 05:49, 4年前 , 33F
分別對接受 A/B 處理者建立反應模式(例如實驗之使用時長對
01/21 05:49, 33F
→
01/21 05:52, 4年前 , 34F
經驗使用時常及其他變項的j歸模式, 而後比較接受A處理和接
01/21 05:52, 34F
→
01/21 05:53, 4年前 , 35F
受B處理者所建立的模式的差異.
01/21 05:53, 35F
‣ 更多 bruce3557 的文章
文章代碼(AID): #1U96_gDC (Statistics)