[問題] P值大小與顯著、非常顯著？

看板Statistics作者 (youchen)時間9年前 (2016/06/13 17:03), 編輯推噓7(7推 0噓 19→)
留言26則, 8人參與, 最新討論串1/1
各位高手先進大家好，最近我遇到一個問題，想尋求各位大大解惑... 我們知道P值的定義是“在H0成立（u1 - u2 = 0，或是u1 = u2）的情況下， 出現我們這次實驗結果的機率”。如果說機率過小（小於0.05或0.01）的話， 表示H0的假設可能是錯誤的，應該要reject。 但有些資料寫說，“P < 0.05表示顯著，P < 0.01表示非常顯著， P < 0.001表示極為顯著”。 但是我又看到有參考資料表示說，“因為P值是表示機率，所以不能用P值來描述 顯著差異的程度，只有表示有，或無顯著差異”。 比如：不能說P < 0.01的結果比P < 0.05的結果還要顯著， 也不能說P < 0.01的差異程度比P < 0.05還要大。 但是，如果把H0: u1-u2 = 0畫成分布圖的話（如圖） http://i.imgur.com/qYO5ddW.jpg
若u1與u2的差異愈大，其u1 - u2的值就會愈接近兩邊2SD或3SD以外的 0.05或是0.01棄卻區（為求簡單化，請忽略單雙尾）。 也就是說如果u1 - u2的值位於0.01的棄卻區的話，u1和u2的差異 就是比位於0.05時還要大。 那這樣也不能說P < 0.01時的差異比P < 0.05時還要顯著嗎？ 想請問一下以上論述的盲點在哪裡？ P值又是否可以表示顯著差異的程度呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 160.252.170.14 ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1465808622.A.972.html
推
06/13 19:22, , 1F
其實是兩面相輔說法
06/13 19:22, 1F
推
06/13 21:01, , 2F
想一下什麼是「顯著差異的程度」
06/13 21:01, 2F
→
06/13 21:06, , 3F
另外，從你的描述來看，猜測你似乎在問effect size
06/13 21:06, 3F
推
06/14 08:12, , 4F
可以p值很小但effect size 也很小
06/14 08:12, 4F
推
06/14 08:15, , 5F
有很強的證據顯示差距只有一點點
06/14 08:15, 5F
推
06/15 02:42, , 6F
下這樣的決策 犯錯的機會較小 <=> 口語說 顯著的證據
06/15 02:42, 6F
→
06/15 04:58, , 7F
(1) p值不是 "出現我們這次實驗結果的機率", 是
06/15 04:58, 7F
→
06/15 04:59, , 8F
"出現比目前結果更極端或同樣極端的機率".
06/15 04:59, 8F
→
06/15 05:01, , 9F
另一定義是 "目前結果可判定顯著的最小顯著水準".
06/15 05:01, 9F
→
06/15 05:03, , 10F
所以 p< 0.05 表 顯著水準在0.05以上目前結果是顯著的.
06/15 05:03, 10F
→
06/15 05:05, , 11F
(2) p當然可以代表 "顯著的程度", 但它不代表 "差異程度".
06/15 05:05, 11F
→
06/15 05:08, , 12F
"顯著程度" 是指在允許多大的顯著水準下, 也就是在允
06/15 05:08, 12F
→
06/15 05:09, , 13F
許多大的型I誤機率下依目前結果能判定顯著, 也被當作
06/15 05:09, 13F
→
06/15 05:11, , 14F
"證據強度" 的一種指標. "差異程度" 則是指真實參數與
06/15 05:11, 14F
→
06/15 05:12, , 15F
虛無假說距離多遠.
06/15 05:12, 15F
推
06/17 02:23, , 16F
理論上alpha是實驗開始前就選定的 P<alpha就是不顯著
06/17 02:23, 16F
→
06/17 02:25, , 17F
alpha代表了你這個實驗能容忍的type I error rate
06/17 02:25, 17F
→
06/17 02:26, , 18F
所以實驗的可信度是和一開始就決定的alpha有關 不是P
06/17 02:26, 18F
→
06/17 02:32, , 19F
事實上你跑個簡單模擬就知道了 從符合H0的亂數中取
06/17 02:32, 19F
→
06/17 02:33, , 20F
1000次data來做檢驗 就發現其中會讓你拒絕H0的比例就
06/17 02:33, 20F
→
06/17 02:35, , 21F
是alpha 而這些錯誤拒絕H0的檢驗 P可以很小 也可以
06/17 02:35, 21F
→
06/17 02:35, , 22F
只比alpha小一點
06/17 02:35, 22F
推
06/19 23:14, , 23F
ASA's statement on statistical significance and p-values
06/19 23:14, 23F
→
06/19 23:16, , 24F
www.amstat.org/newsroom/pressreleases/P-ValueStatement.p
06/19 23:16, 24F
→
06/19 23:16, , 25F
df
06/19 23:16, 25F
→
07/05 04:43, , 26F
P值的定義就錯了
07/05 04:43, 26F
‣ 更多 youchen 的文章
文章代碼(AID): #1NNdRkbo (Statistics)