Re: [心得] A/B Testing 常見的「偷看結果」問題
: 推 bearching: 請問一下 如果用蒙提霍爾問題的觀點來看這個問題，偷看 09/15 16:24
: → bearching: 結果再做決策，我想也許比較容易提高成功機率吧 09/15 16:24
: → bearching: ? 如果把偷看當作主持人開門看到山羊的話，也許可以多 09/15 16:25
: → bearching: 做些討論? 09/15 16:25
注意原文的概念是「偷看導致你原本可以做對決策的機率降低了」。
我就用你所說的三門問題來解釋。原本的三門問題之所以換了很棒，是因為主持
人保證100%開出一扇錯誤的門。那麼以原文中偷看的概念，我們改變一下主持人的行
為：
主持人不會打開門，而是指著某一扇你沒有選擇的門，然後跟你說「如果你選對
了，那這扇門當然就是錯的。但如果你選錯了，那麼這扇門有70%機率是另一扇錯的
門。」
假設是a b c三扇門，你選的是a。>表示主持人指給你看的門。有以下可能性：
a b c
1 >0 0
1 0 >0 1/3 * 100%
0 1 >0 1/3 * 70%
0 >1 0 1/3 * 30%
0 >0 1 1/3 * 70%
0 0 >1 1/3 * 30%
結果，換的勝率是1/3(70% + 70%) = 0.467。
是的，這還是比你原本選中機率的1/3好，可是如果你不偷看而是乖乖等主持人
願意用100%機率指出錯的門時，你就能得到2/3的更好機率。也就是因為這個不耐煩
，你損失了約20%的成功率。
也就是說，你偷看的結果如果還有一定的正確性，確實它還是可能（請注意只是
可能，不是所有問題型態都跟三門問題一樣）幫助你比你沒做這個實驗前更正確的決
策，但是還是會比乖乖做完實驗才看差。
補充一下：你可以很容易發現在上面的計算中，如果你偷看得太早，主持人只願
意用50%機率指門，那你就會得到跟原本一樣的1/3機率。
如果你還更早偷看，導致主持人指出非正確門的機率降到50%以下，則你換門反
而會得到1/3以下的成功率。在未知主持人指門的機率下，換門策略的正確率上限是
2/3，下限卻可以低到0。
因此，過早地偷看有時不只是「讓實驗對你的幫助變小」而已，有時更會導致「
讓實驗變成反效果」。這時就需要估算你的實驗在各種資料量之信心水準來「幫助你
下決定『要累積多少資料量才開箱來幫助你下決定』」了XD
--
「去質疑親眼所見的事是最愚昧的行為。這又分為兩種－－質疑自己所見是不是
真的，或是用見到的事去質疑沒見到的事。呵。」
－－芙莉雅，謊言事務所實現使者
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.17.60 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1600252576.A.534.html
推
09/17 12:32,
3年前
, 1F
09/17 12:32, 1F
※ 編輯: ddavid (114.32.17.60 臺灣), 09/17/2020 15:30:09
推
09/18 09:49,
3年前
, 2F
09/18 09:49, 2F
推
09/18 22:00,
3年前
, 3F
09/18 22:00, 3F
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 2 之 2 篇)：