[問題] Reviewer叫我解釋P值小於0.05的部份?

看板Statistics作者 (喔~MY GOD)時間10年前 (2015/05/23 01:15), 編輯推噓3(3024)
留言27則, 7人參與, 最新討論串1/1
不好意思想請教各位統計高手 我寫的paper最近被要求revise,其中關於統計的部份 Reviewer回覆"Lines 112-113 on statistical significance need to be clarified. There are 27 p values, so by chance alone one or two would be expected to fall at p < 0.05. The authors should explain that p < 0.05 was used to look for potential differences, not statistical significance. The only cases of p < 0.05 favored the Stratus, so readers can be confident that Spectralis was not better, and this was not a matter of sample size." 其實我的原文只有"A p value of < 0.05 was considered to be statistically significant, and all statistical tests were two-sided." 不知道有沒有板友知道reviewer想要我解釋的是什麼? 我不是學統計出身...一直以為P<0.05就代表statistically significant呀 = = 補充說明: Stratus跟Spectralis是我比較兩種工具,paper是利用兩種工具做出的參數值 來比較它們兩個的表現能力孰優孰劣 我使用的統計只是很簡單的t-test (for continuous variables)跟chi-square (for categorical variables)... 盼統計強者不吝回答>< -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.117.232.112 ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1432314926.A.9F9.html

05/23 01:56, , 1F
應該不是方法的問題,而是解釋的問題。
05/23 01:56, 1F

05/23 01:57, , 2F
不用去強調p,而是去白話解釋統計意義。
05/23 01:57, 2F

05/23 01:59, , 3F
譬如 結果顯示St比Sp的表現能力好(P<.05)
05/23 01:59, 3F

05/23 02:22, , 4F
第二句話要注意是否有型一錯誤膨脹的問題,因為你的p值
05/23 02:22, 4F

05/23 02:23, , 5F
非常多個。
05/23 02:23, 5F

05/23 02:24, , 6F
例如,alpha=0.05時,H0為真的情況做20次約一次會拒絕
05/23 02:24, 6F

05/23 02:25, , 7F
H0,所以reviewer也是在提醒你這個問題。
05/23 02:25, 7F

05/23 02:26, , 8F
以上只是推測啦,沒看到完整內容也不確定有沒有這個問題
05/23 02:26, 8F

05/23 02:28, , 9F
如果你的27個p值都是以t-test比較這二種方法,那就要注
05/23 02:28, 9F

05/23 02:28, , 10F
意我說的了。
05/23 02:28, 10F

05/23 02:33, , 11F
試著用一些multiple comparison的方法來調整p-value?
05/23 02:33, 11F

05/23 02:36, , 12F
或著是多變量分析,如果是多變量的設計。
05/23 02:36, 12F

05/23 11:19, , 13F
只有兩組方法為什麼會有27組p-value?
05/23 11:19, 13F

05/23 13:50, , 14F
評審的意見是說你有27個檢定(27個 p值), 單純機會因素就能
05/23 13:50, 14F

05/23 13:50, , 15F
導致一兩個 p值小於 0.05.
05/23 13:50, 15F

05/23 13:52, , 16F
因此你只能說用 p值小於 0.05 來尋找可能的差異, 而不能說
05/23 13:52, 16F

05/23 13:52, , 17F
那就是具有顯著性.
05/23 13:52, 17F

05/23 13:53, , 18F
如果你的27個 p 值之中小於 0.05 的只有極少幾個, 那麼這結
05/23 13:53, 18F

05/23 13:54, , 19F
果是可議的. 如果有很多 p 值小於 0.05, 那麼要確定顯著性,
05/23 13:54, 19F

05/23 13:55, , 20F
可考慮 allen1985 的提議. 一個簡單的方法是以 0.05/27 為
05/23 13:55, 20F

05/23 13:55, , 21F
t 檢定的顯著水準.
05/23 13:55, 21F

05/24 06:51, , 22F
你只需要多加一句話就可以
05/24 06:51, 22F

05/24 06:52, , 23F
P-values were not adjusted for multiple comparisons due
05/24 06:52, 23F

05/24 06:53, , 24F
to exploratory nature of the study.
05/24 06:53, 24F

05/24 06:53, , 25F
reviewer想看到的就是這句話出現在你的文章中
05/24 06:53, 25F

05/24 06:55, , 26F
不必重做分析
05/24 06:55, 26F

05/24 15:46, , 27F
謝謝樓上強者們的建議!! 我大概瞭解意思了
05/24 15:46, 27F
文章代碼(AID): #1LNsGkdv (Statistics)