Re: [新聞] 外媒質疑DXOMark的評分機制,一個付錢分數越高的標準

看板MobileComm作者 (神采飛揚)時間4年前 (2019/11/17 23:00), 4年前編輯推噓23(361381)
留言130則, 37人參與, 4年前最新討論串3/3 (看更多)
我個人認為這篇文章把很多概念全部拉在一起講,反而讓主題混亂。 甚至有點先射箭後畫靶了。 裡面講到的幾個論點: 1. DXO 分數是不是跟付費與否成正比? 簡單檢視: 有付費一定高分 ? 沒付錢一定低分 ? 以目前各家測試結果而言,顯然沒有一定的相關性的。 2. DXO 測項是否足夠全面? 無疑不夠全面,比如說變焦與夜間拍攝測試很久到最近才加上。 但有其他機構測項比 DXO 更全面的嗎 ? 似乎是沒有。 那 DXO 的測試結果當然具有參考性。 3. DXO 測試標準對各廠商是否一致? 這個項目文章中有點東拉西扯了 裡面把兩個概念拿來混著講: 1. 測項測試標準一致性問題: 在同一個測項中,比如曝光,廠商付費與否會有不一樣的「測試標準」嗎 ? 我想是沒有,如果雙標情況,早就被噴爆了。 2. DXO 測試的產品,是否有先經過針對 DXO 測試標準優化過的? 以第一點的「測試標準」來說,應該會是一樣的。 因為各項數據其實都有科學上嚴格的定義。 以曝光來說,相機曝光只認「黑」跟「白」,與顏色無關。 正確曝光值定義在 18% 灰度的參數值,曝光中心點一律會準在這點。 相機演算法對 18% 灰度的偏差就是曝光值的偏差,這是有嚴格定義的。 真正有問題的在第二點:拿針對測試標準優化過的機型來測是否算作弊 ? 這其實有點偷換概念。 這有點像是你質疑一個在考前寫過考古題,知道出題方向的考生作弊一樣。 又或是 在考前老師已經說了某幾題會考,A 就是不去看,而 B 寫完也背好答案了。 考試時 B 全對,A 對錯各半,這時候你說 B 作弊一樣。 以此來質疑「公平性」,難道不覺得哪邊怪怪的嗎 ? 最重要的一點是: 至今仍沒有證據顯示 DXO 有針對付費客戶給予特殊優化或諮詢,而這個優化會直接影響 測試標準的適用性。 比如 DXO 曝光度測試標準除了黑、白,還另外加上了黃,但卻沒有告訴未付費廠商。 又或者 DXO 有跟付費廠商說測項有白平衡,但卻沒跟未付費廠商說。 這個才會有問題。 但目前沒有證據顯示 DXO 在測試標準上對於客戶付費與否有不一樣的標準。 所有的推論僅僅在於 DXOMark 背後的 DXO Labs 是諮詢公司這一點而已。 就算 DXO Labs 真的有提供客戶優化指導,只要測項跟標準一致,為何就不客觀不公平了? 4. DXO 分數絕對值是否真實代表相機水準? 因為測項的不全面,看絕對值應該是無法客觀的。 這在於測項的不全面,是沒測到,而與是否優化無關,因為標準就擺在那裡。 5. DXO 分數相對值是否可以代表各廠相機相對水準? 測項雖不是完全全面,但只要各家測試的「測項」與「標準」一致。 那相對值就應該有參考性。 6. DXO 有沒有為特定廠商帶風向? 以文章所述: 「DXO 的業務都是來自這些大公司,而這對他們的評論就會有很多影響,像是必須鼓勵消 費者購買某些特定手機,而不是其他。當然,目前沒有任何證據證明有這狀況。」 所以以全文來看,其實作者就是先以 DXO Labs 提供各廠商諮詢這一點, 來質疑 DXOMark 不具客觀公平性。 但測試的客觀性與公平性,在於測項與標準是否一致。 若無法證明「測項」與「標準」對廠商付費與否有雙標,那就不能推論公平性問題。 -- 願你走出半生,歸來仍是少年。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.4.201 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1574002857.A.366.html

11/17 23:19, 4年前 , 1F
我覺得有些部分真的沒辦法用數據而是主觀認定那不管
11/17 23:19, 1F

11/17 23:19, 4年前 , 2F
怎樣付費的廠商多少都有優勢
11/17 23:19, 2F

11/17 23:23, 4年前 , 3F
←看dxo分數買fz1000回來幹死的人
11/17 23:23, 3F

11/17 23:34, 4年前 , 4F
打個比方 假如影響相機表現有ABCDEFG七個面相 dxo只
11/17 23:34, 4F

11/17 23:35, 4年前 , 5F
取其中ABCDE五個面相做評測 另外兩個放生 結果消費
11/17 23:35, 5F

11/17 23:35, 4年前 , 6F
簡單講就是DXO的評分不直接等於人眼覺得好看 所以我
11/17 23:35, 6F

11/17 23:35, 4年前 , 7F
者買回來才發現另外兩個面相很重要 那dxo只用五個
11/17 23:35, 7F

11/17 23:35, 4年前 , 8F
面相做評測推薦是否有足夠的代表性?
11/17 23:35, 8F
這個就是我講的第二點:是否足夠全面。 以目前來看明顯是不夠的,但無奈的是我們可能也很難找到全部面向都測到的機構。 那只能取測到最多面向的機構的數據了。

11/17 23:35, 4年前 , 9F
覺得問題是在這個評分機制的缺陷 而不是在手機廠或
11/17 23:35, 9F

11/17 23:35, 4年前 , 10F
相機廠或鏡頭廠
11/17 23:35, 10F

11/17 23:38, 4年前 , 11F
另外想請問 送去評分的和實際銷售的同款手機 在演算
11/17 23:38, 11F

11/17 23:38, 4年前 , 12F
法上是完全一樣嗎? 有沒有送測手機針對DXO標準調整
11/17 23:38, 12F

11/17 23:38, 4年前 , 13F
而實際販售的手機較貼近一般大眾審美的情形?
11/17 23:38, 13F
你講的這點其實是個值得討論的問題。 著名的例子就是小米。 小米送測的軟體版本跟實際面向消費者的版本不同,所以導致消費者使用體驗跟 DXO 評測 結果有差異。 但這指代表了:DXO 評測結果不能完全代表消費者端的實際體驗。 但這並不能代表 DXO 評測「不公平」或「不客觀」。

11/17 23:40, 4年前 , 14F
你的第一點論述就錯了
11/17 23:40, 14F

11/17 23:40, 4年前 , 15F
你怎麼知道哪些手機廠有諮詢過DXO
11/17 23:40, 15F
說有諮詢的是板上鄉民跟文章,而不是我。

11/17 23:41, 4年前 , 16F
取樣錯誤 後面推論根本不可信
11/17 23:41, 16F

11/17 23:41, 4年前 , 17F
而且你的推論也很多都是你認為
11/17 23:41, 17F
我只是有多少資料說多少話,沒有資訊的我都當沒有。

11/17 23:42, 4年前 , 18F
你手上也沒有DXO的評分標準 所以沒有證據佐證
11/17 23:42, 18F

11/17 23:42, 4年前 , 19F
整篇都是廢話
11/17 23:42, 19F
我說沒證據對方有作弊,就不能說對方作弊。 而你是先說對方作弊,要對方證明沒作弊。 你覺得對? 你要不要先證明他們作弊,不然也是廢話。

11/17 23:49, 4年前 , 20F
怎麼會是DXO出來佐證自己準?要推翻DXO複測重現不就
11/17 23:49, 20F

11/17 23:49, 4年前 , 21F
好了,測試樣張都有公布呀
11/17 23:49, 21F

11/17 23:49, 4年前 , 22F
整篇都沒有依據啊
11/17 23:49, 22F
因為原文就沒有證據阿。 說沒證據的,你們要不要先提出 DXO 有作弊、不公平、不客觀的證據 ?

11/17 23:50, 4年前 , 23F
DXO有給測試樣張 但沒有說分數是怎麼出來的啊
11/17 23:50, 23F

11/17 23:50, 4年前 , 24F
按照DXO的標準同個版本重拍一次,不就可以打臉了,
11/17 23:50, 24F

11/17 23:50, 4年前 , 25F
可是沒人要做,還是沒人可以打臉所以沒人放出結果?
11/17 23:50, 25F

11/17 23:52, 4年前 , 26F
dxo自己就打臉自己了 標準每年都變
11/17 23:52, 26F

11/17 23:52, 4年前 , 27F
之前版友有把以前nokia的照片來比對 明顯以前好
11/17 23:52, 27F
偷換概念。 只要同一年度的標準對各家相同,你就不能說他不客觀不公正。

11/17 23:53, 4年前 , 28F
有收錢 人家懷疑很合理阿
11/17 23:53, 28F
※ 編輯: ceaserman (220.133.4.201 臺灣), 11/17/2019 23:55:17

11/17 23:53, 4年前 , 29F
但是分數差很多 因為要比較硬體分數
11/17 23:53, 29F

11/17 23:58, 4年前 , 30F
標準就DXO想改就改啊
11/17 23:58, 30F

11/17 23:59, 4年前 , 31F
所以每年標準都不一樣是可以的喔
11/17 23:59, 31F
還有 59 則推文
還有 1 段內文
11/18 11:24, 4年前 , 91F
送測版本不同DXO都會明講好嘛,小米有講三星有講華
11/18 11:24, 91F

11/18 11:24, 4年前 , 92F
為也有講,要作弊講出來幹嘛?http://i.imgur.com/X
11/18 11:24, 92F

11/18 11:24, 4年前 , 93F
DxOTk8.jpg
11/18 11:24, 93F

11/18 11:25, 4年前 , 94F

11/18 11:26, 4年前 , 95F
而且小米在2天內就發表更新了,反而是華為直接送測
11/18 11:26, 95F

11/18 11:26, 4年前 , 96F
不同版本號
11/18 11:26, 96F

11/18 11:30, 4年前 , 97F
哪個機構會把預設4k,A B版本號講出來?
11/18 11:30, 97F

11/18 11:31, 4年前 , 98F
DXO已經做到盡量客觀了,廠商要作弊干DXO什麼事
11/18 11:31, 98F

11/18 11:39, 4年前 , 99F
送測分數跟使用者樣張評比 倒過來 本來就會讓DxO的
11/18 11:39, 99F

11/18 11:39, 4年前 , 100F
信用打上問號 還不包括 是否自主送測 消費者連為什
11/18 11:39, 100F

11/18 11:39, 4年前 , 101F
麼上市前有分數 有的手機都上市多久了 突然公布分數
11/18 11:39, 101F

11/18 11:39, 4年前 , 102F
選機標準 發佈標準 是有在DxO內部經歷什麼流程都不
11/18 11:39, 102F

11/18 11:39, 4年前 , 103F
知道 你就放心 真的放心佛心公司 就是慈悲的做公益?
11/18 11:39, 103F

11/18 11:41, 4年前 , 104F
這篇要是當作論文早就被噴爆了
11/18 11:41, 104F

11/18 11:44, 4年前 , 105F
很簡單 以長焦和廣角為例 廠商只要知道DXO這兩項
11/18 11:44, 105F

11/18 11:45, 4年前 , 106F
分數的比重 就可以買比較好的感光衝分數
11/18 11:45, 106F

11/18 11:46, 4年前 , 107F
而這種評分標準並不會對外公佈 所以才被人質疑
11/18 11:46, 107F

11/18 11:46, 4年前 , 108F
是否只有諮詢的廠商才知道評分標準
11/18 11:46, 108F

11/18 11:47, 4年前 , 109F
而像google努力衝夜拍技術的廠商
11/18 11:47, 109F

11/18 11:48, 4年前 , 110F
因為沒有權重反而分數低 這就是只有DXO的盲點
11/18 11:48, 110F

11/18 11:49, 4年前 , 111F
所以標準都是DXO制定 現在的手機鏡頭越來越多
11/18 11:49, 111F

11/18 11:49, 4年前 , 112F
DXO的評分標準也是原因之一
11/18 11:49, 112F

11/18 12:44, 4年前 , 113F
這篇讚喔 邏輯好棒呢
11/18 12:44, 113F

11/18 12:57, 4年前 , 114F
如什麼都要實證有無雙標 利益迴避制度就可以廢掉了
11/18 12:57, 114F

11/18 12:59, 4年前 , 115F
就算真的要評 也應該是沒付錢的放一區 有付的另一區
11/18 12:59, 115F

11/18 13:04, 4年前 , 116F
利益迴避?哪一間自媒體或機構沒拿過手機廠的媒體機
11/18 13:04, 116F

11/18 13:04, 4年前 , 117F
的?以後我都看那一家
11/18 13:04, 117F

11/18 13:13, 4年前 , 118F
拿錢評測就業配啊,沒拿錢評測還有可能有中立性
11/18 13:13, 118F

11/18 13:44, 4年前 , 119F
寫過論文嗎?自己觀點本來主張要客觀
11/18 13:44, 119F

11/18 13:44, 4年前 , 120F
卻在文中用到 我想... 你不覺得很好笑嗎
11/18 13:44, 120F

11/18 13:45, 4年前 , 121F
更何況在商業世界中 不是沒有證據就不能合理質疑
11/18 13:45, 121F

11/18 13:45, 4年前 , 122F
更多的case都是因為合理質疑 才有後續的真相
11/18 13:45, 122F

11/18 13:46, 4年前 , 123F
那個這篇原文的稿子 哪一點不是合理質疑?
11/18 13:46, 123F

11/18 19:09, 4年前 , 124F
iPhone生出什麼功能它就加進評測,反過來不測,呵
11/18 19:09, 124F

11/18 20:24, 4年前 , 125F
「只要同一年度的標準對各家相同....
11/18 20:24, 125F

11/18 20:26, 4年前 , 126F
,你就不能說他不客觀不公正。」 這句話我認為很有
11/18 20:26, 126F

11/18 20:27, 4年前 , 127F
值得商榷的地方 確實不會雙標 因為把標準直接改掉呀
11/18 20:27, 127F

11/18 21:03, 4年前 , 128F
簡單說,看分數買手機,你會買到全部旗艦夜拍最爛的
11/18 21:03, 128F

11/18 21:03, 4年前 , 129F
小米9
11/18 21:03, 129F

11/19 09:26, 4年前 , 130F
樓上倒是修張比較圖來看看啊
11/19 09:26, 130F
文章代碼(AID): #1TqM2fDc (MobileComm)
文章代碼(AID): #1TqM2fDc (MobileComm)