[問題] 多位評分者的評分者信度

看板Statistics作者 (stuffy)時間16年前 (2009/10/11 20:52), 編輯推噓3(303)
留言6則, 4人參與, 最新討論串1/2 (看更多)
大於2位評分者(也就是有3,4,5,6,7,8,9, ....以上的評分者), 皆對同一份資料評分的情況, 國內似乎常採用Holsti's method加強版 國內一些統計書上提供Holsti's method多人版的算法 不過我看英文的書或paper 只看到2人版的 好像只有國內用多人加強版 我個人是有點懷疑加強版的公式啦 我算過 加強版的平均相互同意值 就算只是0.3~0.4偏低的數值 只要人數多一些 (7~8人以上) 信度仍然能超過0.8 多人版有什麼跑法嗎? 我是有查到Krippendorff's alpha,不過要另外用巨集等公式下去代,很麻煩且複雜。 剛查到Cohen Kappa也有多人版 沒試過 http://cosmion.net/jeroen/software/kappa/ http://justus.randolph.name/kappa -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.122.30.140 ※ 編輯: tomin 來自: 140.122.30.140 (10/11 21:08)

10/11 22:20, , 1F
如果用肯德爾和諧係數呢?
10/11 22:20, 1F

10/12 00:55, , 2F
好點子^^ 之前不知道有這東西
10/12 00:55, 2F

10/12 12:13, , 3F
你可以去找找multiple rater's kappa 但文獻好像不多
10/12 12:13, 3F

10/12 12:18, , 4F
好像有一個公式可以用..但是使用macro來寫的...
10/12 12:18, 4F

10/13 03:26, , 5F
2005年就有人在SUGI30發表過相關的SAS macro了
10/13 03:26, 5F

10/13 03:27, , 6F
你可以參考這篇: http://ppt.cc/KS(1
10/13 03:27, 6F
文章代碼(AID): #1AqTJrAg (Statistics)
文章代碼(AID): #1AqTJrAg (Statistics)