[問題] 請教這該用哪種檢定？

看板Statistics作者 (Fotograf)時間13年前 (2012/08/13 02:55), 編輯推噓1(1推 0噓 27→)
留言28則, 4人參與, 最新討論串1/1
我想請教一下我這種情況該用哪種檢定？ 爬了很多文但是似乎沒有找到跟我類似的案例.. 情況是這樣： 有兩種搜尋引擎A,B 共有六個不同的任務 i,ii,iii...vi 每個受測者都必須完成4個任務(每系統各2) 任務編號是隨機的 會得到如以下結果： (A1即表用A系統做的第一項任務) ID\System A1 A2 B1 B2 user1 45 54 32 42 user2 33 44 22 33 user3 . . . 結果為完成任務所需要的時間(秒) 如果我要比較使用者使用A,B兩種引擎的速度是否有顯著差異 那我該用哪種檢定呢？ 本來覺得是用paired sample T-Test....但感覺又不大對 (把資料整理成 SysA SysB 45 32 54 42 33 22 44 33 下去跑？) 用two-sample t-test 拿sysA sysB 分組應該也不對? 是要用Repeated-measure ANOVA嗎？ ...謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 132.252.242.25
→
08/13 10:11, , 1F
每個 user 做的任務不同, 那 user 之間的比較有意義嗎?
08/13 10:11, 1F
→
08/13 19:28, , 2F
倘若任務一樣只是不同引擎的話 那學習效應就太強了..
08/13 19:28, 2F
→
08/13 19:29, , 3F
變成後做的那組數據一定狂勝前組..
08/13 19:29, 3F
→
08/14 02:37, , 4F
不同 user 哪來 "學習效果"?
08/14 02:37, 4F
→
08/14 02:39, , 5F
似乎你不理 user 之間的差別. 但即使不同引擎比較, 難道不同
08/14 02:39, 5F
→
08/14 02:42, , 6F
任務就不會影響表現? 6個任務每個 user 做4個, 資料中又把
08/14 02:42, 6F
→
08/14 02:44, , 7F
做什麼任務的訊息給丟棄---忽略了就等於無效應?
08/14 02:44, 7F
y大您好 抱歉可能是我文字敘述的不是很清楚 A,B兩種引擎其實是非常相近的 (就像你用google或yahoo搜尋東西..但兩者資料庫一樣) Database也完全一樣，差在兩個引擎有不同的介面 任務內容也很日常 就像：請找幾本了解都更案的書 倘若user1 先用系統A做了任務i, 他再用系統B做任務i時 因為出現的東西他之前都看過了 所以速度與找到的量 會變得非常之快 反之易然 也因為這個緣故所以一個user在他的4次嘗試之中不會做兩個一樣的任務 (後做的那個結果一定好相當多 無論他用A或B) 另外做任務的訊息這些是有保留起來 我上面那個表格只是為了讓大家容易理解簡化 實際的看起來類似下面這個樣子 AnswerNr. User System Task TotalTime Found 找到第一筆時間 1 1 A 1 x x 2 1 A 2 x x 3 1 B 3 x x 4 1 B 4 x x 5 2 A 2 x x 6 2 A 3 x x 7 2 B 4 x x 8 2 B 5 x x 9 3 A 6 x x . . . ------------------ 又倘若我把任務縮為4個 那任務表會像下面這樣 (i,ii,iii,iv是任務編號) userID\ System A A B B 1 i ii iii iv 2 ii i iv iii 3 iii i ii iv 4 iv ii i iii 5 如果是這樣的話，那要比較系統A,B要怎麼比較呢？ 又要做這類型的實驗時，每個user一定要做所有的任務嗎？ 不能設計多領域的任務，然後隨機抽樣測試？ 其實我這想法是看以下這篇論文衍生出來的 網路自動分群搜尋引擎之使用者評估研究 User Evaluation of Web Clustering Search Engines Sih-Ying Chen 他在裡面也做了有點類似的事,但沒有檢驗差異性是否顯著 只是單純比較時間而已.. 感謝
→
08/14 13:34, , 8F
考慮一下generalized estimating equations吧
08/14 13:34, 8F
感謝 正在研究這個是什麼東西! ※ 編輯: kido183 來自: 77.181.112.152 (08/14 19:56)
→
08/15 10:36, , 9F
不先弄清楚資料特性談什麼分析方法那是扯淡.
08/15 10:36, 9F
→
08/15 10:38, , 10F
影響耗用時間的因素有: user, task, system, 熟悉度.
08/15 10:38, 10F
→
08/15 10:39, , 11F
也就是說: 在設計方面要能分離出以上各項效應, 所以, 一個
08/15 10:39, 11F
→
08/15 10:41, , 12F
task 不能只在一個 system 上執行. 但為了避免任務熟念效應
08/15 10:41, 12F
→
08/15 10:42, , 13F
(學習效應), 一個人不能執行同一個任務兩次. 那麼, 實驗對象
08/15 10:42, 13F
→
08/15 10:43, , 14F
(user) 的均質性會是影響結果正確性的重要因素. 為了避免系
08/15 10:43, 14F
→
08/15 10:46, , 15F
統性偏誤, 還要考慮隨機性指派. 上述 "熟悉度" 指的是對
08/15 10:46, 15F
→
08/15 10:47, , 16F
system 的熟悉度, 一個系統初次使用, 再次使用與經常使用,
08/15 10:47, 16F
→
08/15 10:48, , 17F
在操作順暢上當然有所不同, 任務完成所需時間當然也有所不同
08/15 10:48, 17F
→
08/15 10:49, , 18F
在資料記錄方面, 影響結果(任務耗費時間)的各因素都應包括在
08/15 10:49, 18F
→
08/15 10:50, , 19F
內. 最初所列資料把幾項因素都忽視了, 後來列的資料似乎還欠
08/15 10:50, 19F
→
08/15 10:51, , 20F
缺表現 "熟悉度" 的資料.
08/15 10:51, 20F
→
08/15 10:52, , 21F
明確了實驗設計和資料架構, 接下來是考慮模型: 所列諸多因素
08/15 10:52, 21F
→
08/15 10:54, , 22F
如何作用於反應變數(任務耗費時間)? 是相加的嗎?是直線的嗎?
08/15 10:54, 22F
→
08/15 10:55, , 23F
除了可歸因於所列因素的系統成分以外, 不可歸因的(誤差)又是
08/15 10:55, 23F
→
08/15 10:56, , 24F
如何? 是單一誤差, 或多重誤差項(user誤差, system 誤差,
08/15 10:56, 24F
→
08/15 10:57, , 25F
task 誤差). 這些誤差是加上去的?乘上去的?或複雜組合?
08/15 10:57, 25F
→
08/15 10:58, , 26F
模型有了, 再來才是考慮這樣的模型有哪些可用的統計方法.
08/15 10:58, 26F
→
08/15 10:59, , 27F
p.s.: 請別再寄信來, 信箱早已滿了!
08/15 10:59, 27F
感謝指導... 因為我也不是文商統計本科的 有的東西沒有學過這麼深 統計也就教到T-Test跟chi而已 剩下只能自己摸索爬文 所以會有些看來荒謬的問題 還感謝不吝指教 ※ 編輯: kido183 來自: 93.130.185.192 (08/15 19:43)
推
08/17 02:20, , 28F
三因子ANOVA?
08/17 02:20, 28F
‣ 更多 kido183 的文章
文章代碼(AID): #1G9_mW9H (Statistics)