Re: [心得] A/B Testing 常見的「偷看結果」問題

看板DataScience作者ddavid (謊言接線生)時間4年前 (2020/09/16 18:36)推噓3(3推 0噓 0→)

留言3則, 3人參與討論串2/2 (看更多)

: 推 bearching: 請問一下如果用蒙提霍爾問題的觀點來看這個問題，偷看 09/15 16:24 : → bearching: 結果再做決策，我想也許比較容易提高成功機率吧 09/15 16:24 : → bearching: ? 如果把偷看當作主持人開門看到山羊的話，也許可以多 09/15 16:25 : → bearching: 做些討論? 09/15 16:25 注意原文的概念是「偷看導致你原本可以做對決策的機率降低了」。我就用你所說的三門問題來解釋。原本的三門問題之所以換了很棒，是因為主持人保證100%開出一扇錯誤的門。那麼以原文中偷看的概念，我們改變一下主持人的行為：主持人不會打開門，而是指著某一扇你沒有選擇的門，然後跟你說「如果你選對了，那這扇門當然就是錯的。但如果你選錯了，那麼這扇門有70%機率是另一扇錯的門。」假設是a b c三扇門，你選的是a。>表示主持人指給你看的門。有以下可能性： a b c 1 >0 0 1 0 >0 1/3 * 100% 0 1 >0 1/3 * 70% 0 >1 0 1/3 * 30% 0 >0 1 1/3 * 70% 0 0 >1 1/3 * 30% 結果，換的勝率是1/3(70% + 70%) = 0.467。是的，這還是比你原本選中機率的1/3好，可是如果你不偷看而是乖乖等主持人願意用100%機率指出錯的門時，你就能得到2/3的更好機率。也就是因為這個不耐煩，你損失了約20%的成功率。也就是說，你偷看的結果如果還有一定的正確性，確實它還是可能（請注意只是可能，不是所有問題型態都跟三門問題一樣）幫助你比你沒做這個實驗前更正確的決策，但是還是會比乖乖做完實驗才看差。補充一下：你可以很容易發現在上面的計算中，如果你偷看得太早，主持人只願意用50%機率指門，那你就會得到跟原本一樣的1/3機率。如果你還更早偷看，導致主持人指出非正確門的機率降到50%以下，則你換門反而會得到1/3以下的成功率。在未知主持人指門的機率下，換門策略的正確率上限是 2/3，下限卻可以低到0。因此，過早地偷看有時不只是「讓實驗對你的幫助變小」而已，有時更會導致「讓實驗變成反效果」。這時就需要估算你的實驗在各種資料量之信心水準來「幫助你下決定『要累積多少資料量才開箱來幫助你下決定』」了XD -- 「去質疑親眼所見的事是最愚昧的行為。這又分為兩種－－質疑自己所見是不是真的，或是用見到的事去質疑沒見到的事。呵。」－－芙莉雅，謊言事務所實現使者 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.17.60 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1600252576.A.534.html