Re: [請益] writing ETS 是給真人改的嗎?

看板TOEFL_iBT作者時間15年前 (2008/10/13 16:30), 編輯推噓6(609)
留言15則, 7人參與, 最新討論串3/3 (看更多)
※ 引述《brightroad (哈哈)》之銘言: : http://www.ets.org/portal/site/ets/menuitem.1488512ecfd5b8849a77b13bc3921509/? : vgnextoid=302433c7f00c5010VgnVCM10000022f95190RCRD&vgnextchannel=7196e3b5f64f4 : 010VgnVCM10000022f95190RCRD : How are the sections of the General Test scored? : Note: In the fourth quarter of 2008, the GRE Program expects to implement : e-rater scoring technology in the scoring process for the computer-based GRE : Analytical Writing section. E-rater is a computerized natural : language-processing program developed by ETS. The scoring process described : in the paper-based Analytical Writing section will be in effect for the : scoring of both the computer-based and paper-based Analytical Writing section : until e-rater is implemented. : Analytic Scoring of TOEFL CBT Essays: Scores From Humans and E-rater : www.ets.org/Media/Research/pdf/RR-08-01.pdf 我大致看完了這一篇paper. ETS各項考試的作文(包括TOEFL,GRE,GMAT)都使用"e-rater"電腦軟體評分, 這份報告明白指出"ETS沒有使用人工閱卷". 然而這篇研究的重點是比較二種電腦閱卷模式的優劣: Holistic and Analytic. ETS所使用的"e-rater"軟體是採用後者. 針對TOEFL作文,"e-rater"有多達50項以上的評分指標,但主要可以分成12大項, 在第9頁有說明. 我只列出單字的部份: Lexical sophistication Type/token ratio 特殊字(unique words)佔全部字數的比例 Word length 字的平均長度 Vocabulary level 字的等級. 由此可知,所有的評分標準都是由電腦計算統計出來的, 就單字而言, 使用越多特殊的,稀有的單字, 以及很長的,難度高的單字,就可以拿到高分. 另外,像是文法錯誤次數,文章長度等,也都是評分標準. e-rater還會對照範文(sample essays),比較考生文章和範文之間的差異性, 換句話說,越接近範文格式的文章,分數自然也就越高. 以上是大略內容. 有興趣的人可以參考看看^^"" -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 122.120.214.178

10/13 16:47, , 1F
推!
10/13 16:47, 1F

10/13 17:09, , 2F
推一個
10/13 17:09, 2F

10/13 17:21, , 3F
不完全對.去ETS正式的付費模考.實測可知.E-rater有障礙..
10/13 17:21, 3F

10/13 17:22, , 4F
單放模板+高字數,就可以在相同的E-rater拿30..
10/13 17:22, 4F

10/13 17:23, , 5F
但實際考試就沒這麼爽了.當模版+萬用理由的寫作非常上手.
10/13 17:23, 5F

10/13 17:24, , 6F
代表兩個的評分標準大同小異,但難易度有別。差別在哪?
10/13 17:24, 6F

10/13 17:25, , 7F
邏輯連慣,這一點 缺少人工智慧的e-rater作不到.還是要靠真
10/13 17:25, 7F

10/13 17:26, , 8F
人..因為邏輯架構可以用 轉折字騙e-rater,所以內文可以虎
10/13 17:26, 8F

10/13 17:26, , 9F
爛..實際考會發現.太扯的邏輯會自爆.XD
10/13 17:26, 9F

10/13 17:31, , 10F
所以比較可能的還是電腦挑文法單字錯誤(第1改),人工看
10/13 17:31, 10F

10/13 17:31, , 11F
你的內容好不好(第二改)嗎?
10/13 17:31, 11F

10/13 18:35, , 12F
我也覺得需要人工批閱內文吧 不然文法+單字全精準使用 結果
10/13 18:35, 12F

10/13 18:35, , 13F
全文離題這樣也能拿高分嗎...
10/13 18:35, 13F

10/13 18:43, , 14F
GMAT 是 ETS的考試嗎?
10/13 18:43, 14F

10/13 19:38, , 15F
以前是 現在是GMAC
10/13 19:38, 15F
文章代碼(AID): #18ymSrA4 (TOEFL_iBT)
文章代碼(AID): #18ymSrA4 (TOEFL_iBT)