[問題] t test vs. chi-sq contingency test
各位大大好,在此有個實務運用的問題想請教大家。
我所在為生科領域,實驗通常是小樣本多次replicates確定有相同趨勢後,
才進行統計分析。實驗效果的評估常常是"比率"(例如死亡率)。
就我粗淺的認知,比率型資料會用chi-square contingency test。
但實務上,常常是先計算各replicate的死亡率再做independent samples t test。
我個人的意見是,先算死亡率相當於是犧牲掉sample size的資訊得到較少的資料點,
而且"比率"的資料分布其實並不符合t test的假設,
所以t test會比chi-sq test更不易顯著。
但實務上卻遇到相反的情形。以下是某次實驗真實數據遇到的狀況。
[基本資訊]
同一個實驗設計,用五批不同的魚各做一次replicate,
分別計算control組與treatment組死亡隻數,比較有無差異。
五次數據如下。
replicate 1
control treatment
survive 9 10
dead 2 1
replicate 2(排列法相同)
21 23
4 2
replicate 3
8 9
2 1
replicate 4
10 10
1 1
replicate 5
9 10
2 1
我建議的做法是先做CMH Test,確認五次replicates無顯著差異,再合併5 replicates
變成:
57 62
11 6
然後做chi-square contingency test,結果control vs. treatment差異未達顯著(
p=0.19)。而同事的做法是計算各replicate死亡率然後做independent samples t test,
也就是先算出:
control: 0.181818 0.160000 0.200000 0.090909 0.181818
treatment: 0.090909 0.080000 0.100000 0.090909 0.090909
再做t test結果有顯著(p<.01)。
為了進一步確認,我寫了個小程式模擬 death rate = 10% 但兩組無差異的狀況下,
5 replicates做t test的false positive rate,結果在alpha設定為0.05時,
誤判率確實低於0.05。因此我覺得t test得出的顯著結論值得採信。
其實若直接觀察上述數據會發現control死亡率大於treatment的現象蠻穩定,
估計出來的variance低,也難怪會顯著。
現在問題是:
1. 整個研究的其他實驗都是用chi-sq test,總不能光只有這個實驗report t test。
但t test有顯著卻不能採用而只能report不顯著好像也說不過去。
2. 有什麼理由可說明這個dataset不適用chi-square test?
3. 還是我犯了什麼基本觀念的錯誤?
有勞大家解惑了。謝謝~
--
→
08/01 03:52,
2年前
, 1F
08/01 03:52, 1F
→
08/01 03:52,
2年前
, 2F
08/01 03:52, 2F
我有思考過這個問題。實際上n=1, 10, 100, 1000得到的死亡率variance大不相同,
這也會反映到t test的檢定結果中。
→
08/01 03:59,
2年前
, 3F
08/01 03:59, 3F
→
08/01 03:59,
2年前
, 4F
08/01 03:59, 4F
做的不是配對樣本,是two-sample t test
→
08/01 04:04,
2年前
, 5F
08/01 04:04, 5F
→
08/01 04:04,
2年前
, 6F
08/01 04:04, 6F
→
08/01 04:04,
2年前
, 7F
08/01 04:04, 7F
分次做是不得不然,受到實驗準備的限制,例如一次只能容納10隻魚接受實驗刺激。
例如這裡考慮是孵化後第24小時的魚接受刺激後,在第25小時的存活率。
那就會分五天各做一次實驗,每次取剛好孵化24小時的20隻魚,
分一半到control,一半到treatment去做實驗,其他條件一概相同。
※ 編輯: neutralID (1.200.107.229 臺灣), 08/01/2021 10:28:12
→
08/01 13:41,
2年前
, 8F
08/01 13:41, 8F
→
08/01 13:41,
2年前
, 9F
08/01 13:41, 9F
→
08/01 13:44,
2年前
, 10F
08/01 13:44, 10F
→
08/01 13:44,
2年前
, 11F
08/01 13:44, 11F
了解。我原本也沒意識到用2 sample t會有問題。容我想想。謝謝您提供的見解。
※ 編輯: neutralID (1.200.107.229 臺灣), 08/01/2021 20:34:37
→
08/02 03:12,
2年前
, 12F
08/02 03:12, 12F
→
08/02 03:13,
2年前
, 13F
08/02 03:13, 13F
→
08/02 03:14,
2年前
, 14F
08/02 03:14, 14F
→
08/02 03:14,
2年前
, 15F
08/02 03:14, 15F
→
08/02 03:15,
2年前
, 16F
08/02 03:15, 16F
→
08/02 03:18,
2年前
, 17F
08/02 03:18, 17F
→
08/02 03:19,
2年前
, 18F
08/02 03:19, 18F
推
08/02 03:27,
2年前
, 19F
08/02 03:27, 19F
→
08/02 03:28,
2年前
, 20F
08/02 03:28, 20F
→
08/02 03:29,
2年前
, 21F
08/02 03:29, 21F
→
08/02 03:30,
2年前
, 22F
08/02 03:30, 22F
這我同意。其實要用統計說服一般人"看到的只是巧合"本來就不容易,
更別說還做了t test發現有顯著,連我都忍不住寫了模擬程式來驗證。
我想我的模擬可能設計上有疏忽之處,我再想想怎麼做比較合理。
※ 編輯: neutralID (1.200.107.229 臺灣), 08/02/2021 22:39:47
→
08/02 23:40,
2年前
, 23F
08/02 23:40, 23F