Re: [情報] 主審瞎眼的病症正慢慢減退
※ 引述《Zamned (宮園かをり R.I.P.)》之銘言：
: 推 maxspeed150: Angel Hernandez真的很令人想知道..... 08/21 20:26
: 我...這不就來了？
: 今年Angel Hernandez總共碰到3624個壞球與1036個好球
: 壞球被他判成好球的比例是16.56%
: 好球被他判成壞球的比例則是6.47%
: → charlie01: Joe West才真的是個爛咖... 08/22 09:53
: Joe West總計碰到3784個壞球、1258個好球
: 其中有14.14%的壞球被他當成好球，然後11.84%的好球被當成壞球
感恩Z大貼了數位裁判今年目前的好壞球判斷的結果。以一個鬼混機器學習數年的本魯的觀點，觀察一顆棒球的軌跡來分類好球與壞球而言，裁判就可以當作一種分類器(classifier)，所以就能以機器學習中監督式學習(supervised learning)常用的效能指標來評估這幾位裁判的效能(performance)。
先說結論：以數個常見用以評估分類器效能的指標來評估這幾位裁判的話，C. B. Bucknor > Joe West > Angel Hernandez > Bob Davidson，不過Angel Hernandez與Bob Davidson的差距不甚明顯。四人之中Angel Hernandez是投手天堂、當然Bob Davidson則次之。
==背景知識，詳情請參酌wiki或機器學習相關等書籍與網站==
由於這是不平衡的樣本分布，所以看整體正確率不準，這部分就跳過惹。假設好球當作positive、壞球就是negative。所以好球判好球就是True positive，壞球判好球就是false positive，反之False negative與False positive亦然。Sensitivity為該裁判將好球判別為好球的百分率；Specificity為將壞球正確地判別為壞球的百分率。MCC與F1 Score為不平衡學習(imbalanced learning)的常用效能評估指標，另外Precision為該裁判裁定該球為好球時結果該球真為好球的百分率。MCC是個均衡考量True positive、True negative、False negative與False
positive的不平衡評估指標，且計算很複雜；F1 Score則是偏重在positive的部分，只參酌True positive、True negative與False positive，也就是將好球判對比較重要。
==背景知識結束==
下表就是以Z大提供的好壞球數與正確率得出的結果。可以看到好球誤判率為1-Sensitivity與壞球的誤判率為1-Specificity。
https://images.plurk.com/71BA8s2NnWO2KJ1vYe8o73.jpg
以下簡單幾點分析：
1. 上表提及的各項指標顯示C. B. Bucknor顯然優於其他三位裁判。Specificity、MCC、F1 Score與Precision皆最高，除了把好球判成好球的正確率Sensitivity輸給Angel Hernandez外。
2. 但Bucknor每次判好球且正好判對的百分率(Precision)也不到七成，四人最差的Angel Hernandez也有近六成二。
3. 如果是投手大概四個裁判中最喜歡Angel Hernandez惹。Angel Hernandez判好球的正確率Sensitivity有九成三多，看來跟他的六成二的Precision拖不了干係。數據上推測來他判好球的標準比較寬鬆，所以數大便是美，多判幾顆球是好球就有機會多判對幾顆好球，這是個trade-off的概念。
4. 至於有鄉民表示Joe West才真的是個爛咖...。其實他的績效是Bucknor外三人中最好的。他的F1 Score三成八相較另兩人的約三成七，而他的MCC六成八，另外兩人分別只有六成七或者六成六。其實這是因為Joe West舉手時是該球是好球的百分率(Precision)也是四人中第二高的，推測他可能對好球比較嚴苛，結果是放過了很多好球不舉手，所以他的Sensitivity顯著低於其他三人。這點也表現在他把壞球判對成壞球的狀況，他的Specificity是八成五八強排第二，壞球判得多就判對比較多顆壞球，與Angel Hernandez的結果剛好相反。
5. 如果今天投手投球不是Angel Hernandez當主審，Bob Davidson當主審也是個替代方案，因為他們很常把壞球判成好球。但Bob Davidson相對比較不準一點，他的Precision只有不到六成三，與Angel Hernandez相去不遠，但他的Sensitivity低了Angel Hernandez達三趴強，也就是說該是好球而他判對的績效相對差了很多。這也是為何他F1 Score與Angel Hernandez表現差不多，但MCC卻表現較差，可能比較變形蟲吧。
6. 但對打者而言，以Precision而言，沒有Bucknor的話還是Joe West比較好(見4)，畢竟怎麼看其他指標都比另外兩位好，或許手可能舉不太起來。不過不管怎樣打者看到球來不去揮的話，統計上來看有三成強的結果主審會舉手。。。只能說打者要保重啦(汗
一點外行的淺見，請各位大大鞭小力一點。
--
Sent from my Windows
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.113.136.219
※ 文章網址: https://www.ptt.cc/bbs/MLB/M.1443705486.A.C77.html
推
10/01 21:26, , 1F
10/01 21:26, 1F
→
10/01 21:27, , 2F
10/01 21:27, 2F
→
10/01 21:27, , 3F
10/01 21:27, 3F
→
10/01 21:28, , 4F
10/01 21:28, 4F
→
10/01 21:28, , 5F
10/01 21:28, 5F
→
10/01 21:29, , 6F
10/01 21:29, 6F
→
10/01 21:30, , 7F
10/01 21:30, 7F
→
10/01 21:30, , 8F
10/01 21:30, 8F
→
10/01 21:31, , 9F
10/01 21:31, 9F
推
10/01 21:34, , 10F
10/01 21:34, 10F
推
10/01 21:50, , 11F
10/01 21:50, 11F
推
10/01 22:04, , 12F
10/01 22:04, 12F
推
10/01 23:28, , 13F
10/01 23:28, 13F
→
10/02 00:05, , 14F
10/02 00:05, 14F
→
10/02 00:06, , 15F
10/02 00:06, 15F
→
10/02 00:09, , 16F
10/02 00:09, 16F
→
10/02 00:09, , 17F
10/02 00:09, 17F
→
10/02 00:10, , 18F
10/02 00:10, 18F
→
10/02 00:10, , 19F
10/02 00:10, 19F
→
10/02 00:10, , 20F
10/02 00:10, 20F
推
10/02 08:05, , 21F
10/02 08:05, 21F
→
10/02 08:06, , 22F
10/02 08:06, 22F
→
10/02 14:03, , 23F
10/02 14:03, 23F
推
10/02 15:13, , 24F
10/02 15:13, 24F
→
10/02 17:43, , 25F
10/02 17:43, 25F
→
10/02 17:43, , 26F
10/02 17:43, 26F
→
10/02 17:43, , 27F
10/02 17:43, 27F
討論串 (同標題文章)