[問題] 多位評分者的評分者信度
大於2位評分者(也就是有3,4,5,6,7,8,9, ....以上的評分者),
皆對同一份資料評分的情況,
國內似乎常採用Holsti's method加強版
國內一些統計書上提供Holsti's method多人版的算法
不過我看英文的書或paper 只看到2人版的 好像只有國內用多人加強版
我個人是有點懷疑加強版的公式啦
我算過 加強版的平均相互同意值 就算只是0.3~0.4偏低的數值
只要人數多一些 (7~8人以上) 信度仍然能超過0.8
多人版有什麼跑法嗎?
我是有查到Krippendorff's alpha,不過要另外用巨集等公式下去代,很麻煩且複雜。
剛查到Cohen Kappa也有多人版 沒試過
http://cosmion.net/jeroen/software/kappa/
http://justus.randolph.name/kappa
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.122.30.140
※ 編輯: tomin 來自: 140.122.30.140 (10/11 21:08)
推
10/11 22:20, , 1F
10/11 22:20, 1F
→
10/12 00:55, , 2F
10/12 00:55, 2F
推
10/12 12:13, , 3F
10/12 12:13, 3F
→
10/12 12:18, , 4F
10/12 12:18, 4F
推
10/13 03:26, , 5F
10/13 03:26, 5F
→
10/13 03:27, , 6F
10/13 03:27, 6F
討論串 (同標題文章)