[閒聊] 閱讀WMO排行榜：A Statistical Approach

看板WOW作者Parhelia (Macroprocessing)時間13年前 (2011/04/25 14:43)推噓30(30推 0噓 67→)

留言97則, 27人參與討論串1/1

關於 pve dps 的平衡與否，大家心裡都有一把尺或者參考的標準，一個常見的參考數據就是 WMO/WOL 的排行榜，上榜數量的高低和各職業最前列的排名常常是一個被拿來論戰的點，但是這些排行榜是不是真的可以這樣看呢？以下的資料(模擬的WMO DPS紀錄)是由Mathwave公司的EasyFit來產生的，之後比較簡單的資料處理是用excel進行的，我們假設同職業的dps分布都是 gaussian (要不然要用啥 XD) 我會盡量用高中等級的統計來解釋，起碼一些怪名詞還是別出現好，這裡不是統計學版 XD 1. 職業本身變異性對排行榜的影響請看 Excel 檔案 http://www.megaupload.com/?d=31RW0DNV 假設職業A和職業B兩個職業各有某王的1000筆資料上傳，假如大家裝備都差不多職業A和職業B的平均dps都是30000，但職業A的傷害變數很大，標準差會到6000，職業B相對穩定，他們的標準差只有3000 這兩個職業模擬出來的分布大約像這樣 http://www.glog.cc/1_pic/0E6EE26A09063.jpg

事實上你能看到，職業A因為本身變異大，出現的最大最小極值自然也特別大假如你取最前面的幾名來看(就是現在WMO/WOL那樣)，大概會做出A職比B職威的結論 Class A Class B Top 1% (top 10) 46099.78588 38273.48347 Top 5% (top 50) 42276.38634 36296.03269 Top 10%(top 100) 40384.66923 35376.46425 Top 25%(top 250) 37531.52244 33978.94519 Top 50%(top 500) 34731.49391 32552.72866 AVG 29856.55372 30166.04668 但是這兩個職業的平均期望值是一樣的，考慮其分布方式相同，同條件下職A打贏職B或倒過來，兩者的機率會是一樣的，前者的結論跟這個就不一致了。換句話說，職業本身的變異性會讓人在看極值的時候被帶到錯誤的結論，甚至有可能期望值低的因為變異性較大，造成出現的極值反而比期望值高的大的狀況，這樣子來判斷的結論就出現了偏差。 2. 職業本身人口數對排行榜的影響請看Excel檔案 http://www.megaupload.com/?d=HNNPIPHB 假設職業A和職業B他們威力可說相當，打某王平均皆為30000 dps，標準差皆為 3000，但是職業B因為套裝造型太醜沒人要玩，所以職業A有3000筆資料上傳，職業B只有1000筆這兩個職業的模擬分佈大概像這樣 http://www.glog.cc/1_pic/0E6EE2DF5FF4B.jpg

其照比例看的平均大概像這樣 Class A Class B Top 1% 38253.66189 38146.13278 Top 5% 36244.61259 36199.14679 Top 10% 35299.60868 35212.99643 Top 25% 33818.93452 33780.08532 Top 50% 32325.56346 32346.23414 Average 29893.54547 29977.45931 都滿一致的，但是假如依照WMO/WOL的排行榜，你會看到這個 Class A Class B Top 10 39427.10323 38146.13278 Top 25 38460.43129 37120.03562 Top 50 37658.00759 36199.14679 Top 100 36792.49363 35212.99643 假如只看到這份資料，應該結論也會變成 A > B 但是要注意的是，同樣是 Top 10，A職是前百分之0.33，B職是前百分之一，在所有分佈條件/參數都相當的情況下，前百分之0.33較高也很正常，更不用說數量大會造成出現較大的極值次數變高。但是這兩個職業的平均期望值是一樣的，考慮其分布方式相同，同條件下職A打贏職B或倒過來，兩者的機率會是一樣的，前者的結論跟這個就不一致了。換句話說，職業本身的人口數差異會讓人在看極值的時候被帶到錯誤的結論，甚至有可能期望值低的因為人口數較多較大，大極值出現得多，造成出現的極值反而比期望值高的大的狀況，這樣子來判斷的結論就出現了偏差。 --- 那實際上要怎麼比呢？拿前50/100/whatever作平均一定是有問題的，已前述當然你可以把這一段資料當作對母體(i.e 同職業全體)做的取樣，然後選擇適當的檢定方式去檢定其差異性是否成立，或者複數職業的話就是做 ANOVA 來檢定這複數個母體是否平均有差異不過很不幸的，這些取樣都是 biased 的，因此有結論也不算數比較好的方法是： 1. 做定量分析直接給出固定的平均值作為解，然而現在這個遊戲要這樣做越來越難了，特別是很多隱藏的參數或式子我們不知道，可以翻前兩天熱狗大推韌性公式修正的就可以知道，其實很多隱藏的東西要推都要先做一些實驗取樣，再用已知的數學模型套套看去推 2. 像 Simulation Craft 一樣做大量模擬(Monte-carlo method)，這要花很長時間同時每次跑的結果都會有差，另外也有人批評其環境太理想化，但是有些實驗變數本來就是要控制的不過無論如何都比拿極值出來說嘴對，實際上我上面講的東西沒有用到什麼專門的統計學，很多都只是邏輯問題而已，為什麼說看資料要有一點統計的 sense，因為統計就是在教大家怎麼解讀資料，你不會解讀的話出來的結論會很可怕另外永遠不要忘記，最後的檢定目標都是比母體平均，而母體要由經過適當取樣的資料才能代表，而不是前五十或兩百。 ---

→

*********

1. 錯誤的解讀WOL/WMO資料比不看還糟 2. 打得快不代表他懂得多，世界第一個拿到太陽井橘弓的獵人，Last Resort的Stefang 當時因為寶石插得很怪在WOW.com被砲的盛況我還有印象，但這不影響該公會世界第六全破太陽井的事實，我們應該高興這個遊戲要倒王不是光靠每個人盯著排行榜或者只靠各種最佳化就辦得到。 3. 關於上排行榜這件事情，我以前還在打公會團的時候，有一天黑廟阿卡馬不知道為啥打了 6000+ dps(冰封前夕的T6畢業混SWP裝火法)，就霸佔那隻王排行，連CWOW無限刷太陽井的都壓不過去直到那個排行停止統計，要說原因就是，剛好火球全爆而且數字都偏大(怎麼知道偏大？我自己一直在用火法實戰我當然知道啥時哪隻王數字會長啥樣子)，上榜你需要的不只是技術和團隊配合，有時候運氣才是決勝關鍵。 -- [G][小灰]: 欸蛋糕 <神樣>公會網站2011/02/13正式開張 [G][Marculescu]: 蛤 http://www.godlike-guild.com/ [G][小灰]: 你很閒對吧計數器第15000者抓圖證明可獲冷毛口頭嘉獎一次 [G][Marculescu]: 有一點 [G][小灰]: 來做個公會網吧！只有討論區看起來超虛的 [G][Marculescu]:蛤？ Marculescu <神樣> Wrathbringer-TW -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 114.42.94.96

→

Deadend

04/25 14:45, , 1^F

04/25 14:45, 1^F

→

Parhelia

04/25 14:47, , 2^F

04/25 14:47, 2^F

推

choosin

04/25 14:48, , 3^F

04/25 14:48, 3^F