[問題] 避免多重統計測試偽陽提高

看板Statistics作者 (SaltLake)時間5年前 (2020/08/28 06:59), 編輯推噓1(1推 0噓 20→)
留言21則, 5人參與, 5年前最新討論串1/1
統計測試裡面控制偽陽性的參數用 a 表示時，常用 5% 值做限制。 但是遇到多重測試的狀況，因為測試的次數多了，即使真正狀況是 虛無假說正確，也有機會 (a) 遇到偽陽狀況，及測到可以推翻虛無 假說的情況。 書上查到這時候可以把機率域值 (p-value) 調低: pk = p/k k 是測試的次數。 這樣就可以確定進行所有的測試還是只會遇到 a (5%) 的偽陽性。 有人知道這怎麼證明嗎? 另外，用較小的 pk 代替 p，雖然偽陽性控制了，但是這一來每次 測試要達到「有效果」的標準更嚴，不會把「本該有效果卻誤以為沒 效」的偽陰性機率提高了嗎? 怎樣控制偽陰性呢? 如果要做多重測試的話? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.24.70.64 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1598569192.A.4E5.html
→
08/28 07:46, 5年前 , 1F
採用power更好的矯正方法
08/28 07:46, 1F
→
08/28 07:49, 5年前 , 2F
你的 "偽陽性" 在統計上稱 "型Ｉ誤", "偽陰性" 是 "型II誤"
08/28 07:49, 2F
→
08/28 07:51, 5年前 , 3F
另，因目的不同，控制型一錯也有不同容許程度。不見得
08/28 07:51, 3F
→
08/28 07:51, 5年前 , 4F
非得一個錯都不可發生。
08/28 07:51, 4F
→
08/28 07:52, 5年前 , 5F
談 "型II誤" 或你所謂 "偽陰性" 要論真實值離假設值多遠才
08/28 07:52, 5F
→
08/28 07:54, 5年前 , 6F
算 "陽性"(有差異、差異顯著等等).
08/28 07:54, 6F
→
08/28 07:55, 5年前 , 7F
控制 "型II誤" 的方法是靠樣本大小.
08/28 07:55, 7F
→
08/28 12:15, 5年前 , 8F
可以參考 FDR
08/28 12:15, 8F
推
08/28 12:39, 5年前 , 9F
google bonferroni
08/28 12:39, 9F
→
08/28 21:16, 5年前 , 10F
證明基本就是Markov inequality而已
08/28 21:16, 10F
→
08/31 07:10, 5年前 , 11F
在多組資料相互比較時有整體多組資料有無差異之整體性檢定
08/31 07:10, 11F
→
08/31 07:12, 5年前 , 12F
控制整體型Ｉ誤, 而個別兩兩比較則可以用較寬鬆方法. 但此
08/31 07:12, 12F
→
08/31 07:15, 5年前 , 13F
處是比如一個研究報告中做了無數個檢定, 基於型Ｉ誤之被允
08/31 07:15, 13F
→
08/31 07:16, 5年前 , 14F
許存在, 大量統計檢定中幾乎必然出現隨機性的 "顯著" 結論.
08/31 07:16, 14F
→
08/31 07:18, 5年前 , 15F
Bonerroni 是解決這種虛假顯著的重要方法, 卻也只是理論之
08/31 07:18, 15F
→
08/31 07:20, 5年前 , 16F
談. 想像一個研究可能做多少次假說檢定? 列於報告中的不過
08/31 07:20, 16F
→
08/31 07:21, 5年前 , 17F
是其中少數罷了. 即使如此, 也不可能真把每個檢定的顯著水
08/31 07:21, 17F
→
08/31 07:23, 5年前 , 18F
準由 0.05 降為 0.0005 之類的, 更別說這樣做造成低檢定力
08/31 07:23, 18F
→
08/31 07:25, 5年前 , 19F
難以令人接受. 因此, 真正關鍵還是在研究者心態: 別為那
08/31 07:25, 19F
→
08/31 07:26, 5年前 , 20F
"顯著" 結果沾沾自喜, 更別為之擴大解讀. 多點謙卑的心, 多
08/31 07:26, 20F
→
08/31 07:27, 5年前 , 21F
點懷疑的精神, 對結果做保守的解釋吧!
08/31 07:27, 21F
‣ 更多 saltlake 的文章
文章代碼(AID): #1VI3heJb (Statistics)