Re: [問題] 型1錯誤的「期望值」
※ 引述《x565x (把握當下)》之銘言：
: 先解釋一下，「期望值」是因為我不太確定這個狀況是否可以這樣解釋，所以先
: 括弧起來，請高手協助解惑。
: 問題是這樣：
: 假設有100篇使用t-test的研究（先想像成都是很單純地做一個實驗介入然後比較
: 差異性的研究），而其alpha值都設定為.05，則發生型1錯誤的「期望篇數」是否
: 是5篇？
似乎好像是。
所以若同時有100個相同的研究被執行 達到顯著的研究數如果只在5個附近
那我們幾乎可以說 這個研究假設 是難以被支持的
一個真正有效果的研究被執行 會達到顯著的機會 肯定要遠大於5%
這好像也就是 power要遠大於alpha的意思
從統計的假設考驗來看 power的最小值就是alpha
即所有顯著都是錯誤的顯著，這代表H0 H1兩分配重合
完全沒差異的情況 才會造成power=alpha
: 會想問這個問題是因為我們看很多實驗設計都會使用t-test去做驗證，在這麼龐大
: 的科學研究世界中，有這麼多篇（遠超過100篇）都使用t-test，而其alpha值也都
: 設定為.05（先都想像成大家都很有良心沒有去操弄），那這樣是否代表...
: 別說人為操弄或實驗上的誤差，其實光因統計上犯的錯就夠多了？
沒錯 統計的錯 還包括 統計假設(常態母群、變異數同異、獨立性)是否符合假設
另一層是 測量資料的問題 測量資料本身通常也有信效度的問題
更嚴重是等距量尺的問題，很多資料並非等距量尺 但也被拿來做母數統計分析
再者 就是實驗操弄、標準化的問題 也可能會有誤差存在
以及 很多沒顯著的研究都不會發表 通常有顯著的研究才會發表
這更容易造成 type1error 絕對比宣稱的5% 還要大的多
我們總結來看一個研究有三層誤差存在
1 純統計推論誤差
2 資料測量誤差
3 研究執行與操弄誤差、是否很多人做類似的研究
所以 我再次重申 我個人的心得結論
只要同時具備以上三種可能的誤差
所有 研究剛過.05的顯著水準 都不可信
我認為 至少要過.01 才具有一定的可靠性。
我看研究都是這樣看 什麼 .07 .06 .05 .04 .03 .02的p-value
我都覺的 可靠性是不足的
不過這也屬我個人的主觀解釋
但當然 我們也不能因為 這樣的p-value就咬定不夠顯著 而抹煞整個研究
顯著性還有其他的問題 待釐清
比如樣本數的大小、power、effect size效果的強弱 等等
但是 必須切記 所有研究都是建立在機率的角度上 沒有什麼是絕對一定的事。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.43.248.214
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1454815178.A.197.html
※ 編輯: circlelee (114.43.248.214), 02/07/2016 11:25:54
推
02/07 23:15, , 1F
02/07 23:15, 1F
討論串 (同標題文章)