[問題] 二因子主要效果的族系錯誤率

看板Statistics作者 (懶人一族)時間13年前 (2012/10/04 22:14), 編輯推噓1(1推 0噓 93→)
留言94則, 4人參與, 最新討論串1/1
對不起 關於族系錯誤率還是有些疑問 A因子2個 B因子5個 用spss跑主要效果檢驗無交互作用 但是B因子達顯著 A沒有 這時用B因子跑主要效果檢驗 族系錯誤率的設定 是.05/5=.01 還是.05/10=.005 感謝大家的回答 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 122.118.57.169 ※ 編輯: auda 來自: 122.118.57.169 (10/04 22:16) ※ 編輯: auda 來自: 122.118.57.169 (10/04 22:16)
→
10/04 22:27, , 1F
B的主要效果 C5取2=10 用.005 跟 onewayANOVA一樣
10/04 22:27, 1F
→
10/05 08:35, , 2F
其實c大的建議還是有點算作弊,因為畢竟已經先跑了其他model
10/05 08:35, 2F
→
10/05 08:58, , 3F
不過,一般都還是"假裝"只跑了最終報告的model XD
10/05 08:58, 3F
→
10/05 10:58, , 4F
作弊? 何來之說?　交互作用不存在　只探討主要效果
10/05 10:58, 4F
→
10/05 10:59, , 5F
主要效果 B有顯著差異 A無 當然只看B的多重比較結果
10/05 10:59, 5F
→
10/05 11:00, , 6F
B的多重比較族系錯誤率 當然只看B因子水準 何來作弊?
10/05 11:00, 6F
→
10/05 11:15, , 7F
用FWER的主要目的是要控制overall type I error rate
10/05 11:15, 7F
→
10/05 11:18, , 8F
但是大家常常忽略model selection過程(drop A and AXB)也
10/05 11:18, 8F
→
10/05 11:18, , 9F
會影響overall Type I error rate.
10/05 11:18, 9F
→
10/05 11:20, , 10F
如果要把這些都考慮進去,又太intractable,所以有些統計學家
10/05 11:20, 10F
→
10/05 11:23, , 11F
提倡要誠實"申報", 坦白交代最終model的決定過程
10/05 11:23, 11F
→
10/05 11:29, , 12F
這樣分析結果才會被適當的interpreted with caution
10/05 11:29, 12F
→
10/05 11:31, , 13F
不過,目前大部分的paper還是只報final model,用C大建議的方法
10/05 11:31, 13F
→
10/05 11:33, , 14F
去控制type I error rate, 但是實際上只控制了一部分
10/05 11:33, 14F
→
10/05 12:28, , 15F
所以b大認為應當考量drop A and AXB的Type I error ?
10/05 12:28, 15F
→
10/05 12:29, , 16F
換言之 也就是要用simple main effect的觀點去處理?
10/05 12:29, 16F
→
10/05 12:30, , 17F
說真的 在interaction不存在的情況之下
10/05 12:30, 17F
→
10/05 12:31, , 18F
探討drop A and AXB的model 有什麼意義?
10/05 12:31, 18F
→
10/05 12:33, , 19F
在原po的模型裡 A和AxB根本不存在解釋力和效果
10/05 12:33, 19F
→
10/05 12:34, , 20F
以主要效果的觀點而言 A和B可以視為獨立事件
10/05 12:34, 20F
→
10/05 13:02, , 21F
b大不是建議要考量drop A and AXB的Type I error, 而是說
10/05 13:02, 21F
→
10/05 13:03, , 22F
一個 procedure 分兩步來做就會影響 overall Type I error
10/05 13:03, 22F
→
10/05 13:04, , 23F
b大建議要坦白交代最終 model 的決定過程, 以免被認為
10/05 13:04, 23F
→
10/05 13:05, , 24F
type one error 已經被控制妥善了
10/05 13:05, 24F
→
10/05 13:07, , 25F
(也就是b大字句中作弊的意思)
10/05 13:07, 25F
→
10/05 13:11, , 26F
或許是認知上有出入 "一個procedure分兩步來做"是指?
10/05 13:11, 26F
→
10/05 13:12, , 27F
最終model 一樣是二因子飽合模式 不是嗎?
10/05 13:12, 27F
→
10/05 13:19, , 28F
第一步: 找出 A B AXB 哪個 covraite 是重要的, 結果是 B
10/05 13:19, 28F
→
10/05 13:20, , 29F
第二步: 在B是重要的前提下, 去控制 B 兩兩比較的 type 1
10/05 13:20, 29F
→
10/05 13:22, , 30F
如果沒有直接做第二步, 用 .005 是 OK 的, overall type 1
10/05 13:22, 30F
→
10/05 13:23, , 31F
的確不會超過 0.05。但在分兩步下, 第一步也犯了 type 1
10/05 13:23, 31F
→
10/05 13:25, , 32F
error。
10/05 13:25, 32F
→
10/05 13:25, , 33F
考量drop A and AXB的Type I error 應該不是個簡單的問題
10/05 13:25, 33F
→
10/05 13:26, , 34F
所以建議告之model決定的過程.
10/05 13:26, 34F
→
10/05 13:28, , 35F
原來是這件事 procedure的確是要分這樣兩步驟沒錯呀
10/05 13:28, 35F
→
10/05 13:29, , 36F
第一步完成後 A.B.AxB僅有B的效果達顯著才作第二步呀
10/05 13:29, 36F
→
10/05 13:30, , 37F
而且 要先完全交代第一步的結果 第二步才能用.005呀
10/05 13:30, 37F
→
10/05 13:31, , 38F
假如第一步的結果是A.B都顯著 AxB不顯著用.005就錯了
10/05 13:31, 38F
→
10/05 13:32, , 39F
所以 原則上本來就不能跳過交代第一步的模型結果
10/05 13:32, 39F
→
10/05 13:32, , 40F
甚至 我認為也不能夠因為知道第一步的模型結果了
10/05 13:32, 40F
→
10/05 13:32, , 41F
直接選擇不呈現 跳過以第二步的模型作為研究最終模型
10/05 13:32, 41F
→
10/05 13:34, , 42F
以這例子而言 還是要以二因子飽合模型為研究最終模型
10/05 13:34, 42F
→
10/05 13:34, , 43F
這點的認知 應該跟A大和b大的意見 不衝突吧?
10/05 13:34, 43F
→
10/05 13:37, , 44F
只是這例子 剛好給了一個跳過呈現步驟一模型的機會
10/05 13:37, 44F
→
10/05 13:38, , 45F
選擇跳過或如實呈現模型選擇的過程 這是良心的問題了
10/05 13:38, 45F
→
10/05 13:39, , 46F
以我的研究精神來說 我是不會跳過啦 就如實呈現
10/05 13:39, 46F
→
10/05 13:39, , 47F
畢竟 方法學追求的不是結果完美 而是沒有使用錯方法
10/05 13:39, 47F
→
10/05 13:41, , 48F
ps.dropA&AxB的TypeI error就是看simple main effect
10/05 13:41, 48F
→
10/05 14:25, , 49F
都說明是兩步驟了！當然要效正啊 ...
10/05 14:25, 49F
→
10/05 14:39, , 50F
如果是要看 overall type 1 error, 不顯著的應該也不能跳
10/05 14:39, 50F
→
10/05 14:40, , 51F
過。其實我不確定我講的這樣是不是完全正確,再等b大回應。
10/05 14:40, 51F
→
10/05 15:00, , 52F
更正: "如果沒有直接做第二步" 改成 "如果只有第二步"
10/05 15:00, 52F
→
10/05 19:36, , 53F
謝謝A大幫忙解釋.
10/05 19:36, 53F
→
10/05 19:39, , 54F
c大的論述裡面犯了一個錯誤,就是interaction不顯著,不代表
10/05 19:39, 54F
→
10/05 19:39, , 55F
不存在, 當你"決定"不顯著所以只看main effect時,決定本身
10/05 19:39, 55F
→
10/05 19:40, , 56F
就帶有增加type I/II error的後果
10/05 19:40, 56F
→
10/05 19:47, , 57F
只是目前大部分的paper都假裝沒發生這件事 XD
10/05 19:47, 57F
→
10/05 19:54, , 58F
其實 我知道interaction不顯著 不代表不存在
10/05 19:54, 58F
→
10/05 19:55, , 59F
如同我們也清楚大部分paper都假裝沒發生這件事
10/05 19:55, 59F
→
10/05 19:55, , 60F
在實務上 要把A,B,AxB的type I/II error都考量進去
10/05 19:55, 60F
→
10/05 19:56, , 61F
目前也無法被大多數審查paper的人所接受
10/05 19:56, 61F
→
10/05 19:57, , 62F
因為 多數的實務處理做法上 還是退一步看main effect
10/05 19:57, 62F
→
10/05 19:58, , 63F
不能說無法被reviewer接受(畢竟這是正確的作法),應該說大部分
10/05 19:58, 63F
→
10/05 19:58, , 64F
的人不知道該怎麼處理
10/05 19:58, 64F
→
10/05 19:58, , 65F
或許 是不是要用到那麼嚴格的處理方式 是要考量的點
10/05 19:58, 65F
→
10/05 19:59, , 66F
我記得聽過LJ Wei(還是Fran Harrell)的演講,就是一直強調這
10/05 19:59, 66F
→
10/05 19:59, , 67F
哈哈~我做過也被reviewer問過 XD
10/05 19:59, 67F
→
10/05 20:00, , 68F
件事, 要統計學家負起責任來
10/05 20:00, 68F
→
10/05 20:01, , 69F
這就像早期 onewayANOVA多重比較要用LSD HSD還是雪費
10/05 20:01, 69F
→
10/05 20:01, , 70F
我們都知道雪費法是嚴謹的做法 但有沒有必要那嚴格
10/05 20:01, 70F
→
10/05 20:02, , 71F
甚至弄到後來 一堆不明究理的人跟著用雪費卻不會解讀
10/05 20:02, 71F
→
10/05 20:03, , 72F
嗯,其實除非該領域約定俗成一定要處理false discovery rate
10/05 20:03, 72F
→
10/05 20:04, , 73F
我通常會在stat section宣告 "p-values are not adjusted
10/05 20:04, 73F
→
10/05 20:04, , 74F
for multiple comparisons", 如果要強調pairwise comparison
10/05 20:04, 74F
→
10/05 20:05, , 75F
會在主文另外加註. 算是一種disclaimer(攤手)
10/05 20:05, 75F
→
10/05 20:06, , 76F
沒錯 我覺得到後來 有時候是自己良心要做到幾分功夫
10/05 20:06, 76F
→
10/05 20:07, , 77F
要做到最嚴謹當然可以 但遇到些阿殺不魯的reviewer
10/05 20:07, 77F
→
10/05 20:08, , 78F
就有種覺得自己幹嘛多此一舉的感嘆
10/05 20:08, 78F
→
10/05 20:15, , 79F
統計分析本來就得摸著良心做(笑).不過也就是因為忽略model
10/05 20:15, 79F
→
10/05 20:16, , 80F
selection 過程會帶來inflated type I error rate, 現在
10/05 20:16, 80F
→
10/05 20:17, , 81F
呼籲大家一定要做model validation(如果有足夠大的樣本數)
10/05 20:17, 81F
→
10/05 20:18, , 82F
的聲音也越來越大. 還好現在套裝軟體已經有提供這個功能了
10/05 20:18, 82F
推
10/06 00:46, , 83F
是呀 model validation現在都是很基本的要求了~
10/06 00:46, 83F
→
10/06 14:36, , 84F
但我還是隱約的看到c大有個觀與我不一樣, c大認為(以原po)
10/06 14:36, 84F
→
10/06 14:36, , 85F
念
10/06 14:36, 85F
→
10/06 14:39, , 86F
的例子為例)第一步的模型(A B)作為研究最終模型, 在將B控
10/06 14:39, 86F
→
10/06 14:40, , 87F
制在type one error 是0.005這樣就是control住overall
10/06 14:40, 87F
→
10/06 14:40, , 88F
type 1 error 是嗎?
10/06 14:40, 88F
→
10/07 00:03, , 89F
不是耶~ .005是指不考慮二因子飽合模式為最終模型
10/07 00:03, 89F
→
10/07 00:04, , 90F
因為 交互作用不顯著 所以退一步只用onewayANOVA觀點
10/07 00:04, 90F
→
10/07 00:04, , 91F
看B變項的主要效果後的多重比較
10/07 00:04, 91F
→
10/07 00:10, , 92F
如果是要看control後的overall type 1 error....
10/07 00:10, 92F
→
10/07 00:11, , 93F
可以用simple main effects 再以這樣模型做多重比較
10/07 00:11, 93F
→
10/07 12:24, , 94F
那我會錯意了 XD
10/07 12:24, 94F
‣ 更多 auda 的文章
文章代碼(AID): #1GRPd08y (Statistics)