[新聞] 外媒稱聯發科 SoC 效能分數造假，官方否認但反駁又來了

看板Tech_Job作者 (請勿拍打餵食)時間5年前 (2020/04/11 16:01), 編輯推噓24(27推 3噓 43→)
留言73則, 36人參與, 5年前最新討論串1/3 (看更多)
外媒稱聯發科 SoC 效能分數造假，官方否認但反駁又來了 TechNews https://technews.tw/2020/04/10/mobile-benchmark-cheating/ 現在的手機跑分，是否真的不能信。手機廠商、晶片廠商越來越追求晶片的跑分數值， Benchmark（基準性能測試）逐漸成為衡量裝置性能的重要標準。 但在一味追求分值的同時，廠商們也逐漸深陷「分值禁錮」之中，近期的聯發科，就是如 此。 聯發科晶片 Benchmark 造假 事情的開始，要從 OPPO Reno3 說起。 外媒 Anandtech 發現，搭載 P95 CPU 的歐洲版 OPPO Reno3 Pro 的跑分數值比搭載性能 更強大的最新 Dimensity 1000L CPU 的國行版 Reno3 的高，這引起 Anandtech 的質疑 。 由此，Anandtech 分別使用匿名版（可幫助分值作弊）和常規版的 PCMark 對 MediaTek P95 CPU 進行跑分。 https://is.gd/mkdGeX （Source：Anandtech，下同） 結果顯示，P95 CPU 的真實總分比匿名版得分低 30%；在寫入負載方面，兩者得分的差異 甚至達到 75%。 同時，Anandtech 指出，透過對 OPPO Reno3 Pro 進行測試，結果表明並非是 OPPO Reno3 Pro 導致的跑分差異。也就是說，造成跑分差異的根源在於聯發科晶片。 為了證明這個結論，Anandtech 對 Reno3 搭載的聯發科晶片做進一步調查。結果發現， 在手機的韌體（/vendor/etc 文件夾）中，包含一個「power_whitelist_cfg.xml」文件 。 該文件中存在一個涵蓋各種基準測試的列表，包括 GeekBench、AnTuTu、3 dbench,、 PCMark、魯大師、AndroBench2 等。不僅如此，列表中還新增了人工智慧基準測試，包括 Master Lu AIBench、ZTH AI 。 https://is.gd/lFliCZ ▲ Reno3 Pro「運動模式」基準白名單部分截圖。 在這其中，Anandtech 找到了 PCMark 的 APK ID，發現 ID 中採用了一些電源管理提示 ，其中一個共同的提示為「運動模式」。 該模式能夠修正 SoC 晶片的一些 DVFS （動態電壓頻率調整）特性，比如始終以最大頻 率執行記憶體控制器。另外，在負載跟蹤方面，排程也被更改了設置，在工作負載時 CPU 核心的頻率能夠更快地上升，並停留更長時間。 不僅如此，其 APK ID 還包含了企業版的 GFXBench，雖然在清單中沒有配置「運動模式 」提示，但在使用應用程式是會改為默認的 DVFS、熱力和調度器設置。 值得注意的是，「power_whitelist_cfg.xml」文件不僅存在於 OPPO 裝置上， Anandtech 還在其他裝置上（搭載聯發科晶片的裝置）發現了類似文件以及幾乎相同的基 準清單條目。如表所示（表中缺少 AI 測試，並非完整的基準測試列表）： https://is.gd/kHvSfg 巧合的是，在 Anandtech 解壓文件之後，OPPO 向手機推送了一個韌體更新，文件中原有 的基準列表消失了。Anandtech 認為該文件列表僅是被移動了位置，因為基準測試中依然 能夠觸發「運動模式」，從而使性能大大提升。 聯發科回應 對於 Anandtech 提出的質疑，聯發科方面也給出正面回應。以下為回應聲明： 聯發科技遵循公認的行業標準，並且對基準測試準確地代表了我們晶片組的功能充滿信心。 在測試和基準測試由我們的晶片組驅動的裝置時，我們與全球裝置製造商緊密合作，但最終 ，品牌商可以靈活地配置自己認為合適的裝置。許多公司將裝置設計為在進行基準測試時以 最高性能執行，以顯示晶片組的全部功能。這揭示了任何給定晶片組的性能能力的最高端。 當然，在現實世界中，有許多因素決定晶片組的性能。聯發科技的晶片組旨在優化功耗和性 能，以在盡可能延長電池壽命的同時提供最佳的用戶體驗。如果有人正在執行諸如要求苛刻 的遊戲之類的計算密集型程式，則該晶片組將智慧地適應計算模式以提供持續的性能。 這意味著，隨著晶片組根據出色的用戶體驗所需的功能和性能動態管理 CPU、GPU 和記憶體 資源，用戶將從不同的應用程式中看到不同的性能水平。此外，某些品牌在不同地區具有不 同類型的模式，因此裝置性能可能會因地區市場需求而異。 我們認為，在基準測試中展示晶片組的全部功能與其他公司的做法是一致的，並且可以為消 費者提供有關裝置性能的準確資訊。 但這個回應遭到 Anandtech 的反駁。Anandtech 認為，聯發科並無回應出問題的本質。 其具有欺騙性的 Benchmarks 不僅針對的是與 SoC 相關的跑分軟體（例如 GeekBench、 GFXBench），而且面向了與用戶體驗相關的跑分軟體，也就是前文提到的 PCMark。 Anandtech 解釋稱，PCMark 是一個系統基準測試，其分值代表了晶片的工作負載和裝置 響應能力。雖然 PCMark 反映的是晶片的性能，但會受 DVFS 和調度程式等軟體和機制的 影響；這也印證了前文提及「運動模式」會修正 SoC 晶片的 DVFS 特性，進而影響 Benchmarks 分值。 另外，Anandtech 指出，PCmark 分值反映的是用戶使用體驗，而不僅是晶片組的性能。 也就是說，Anandtech 認為聯發科干涉 PCmark 分值已超出了晶片跑分的範圍。 用產品說話，才擲地有聲 事實上，在聯發科之前，三星、華為都曾因欺騙 Benchmark 結果陷入輿論中心。 2014 年，測試人員發現三星透過添加原始碼在基準測試中作弊，該原始碼能夠檢測基準 測試應用程式是否在手機上執行，一旦發現，則以更快的速度（532MHz，正常情況下為 480MHz）執行手機。 由此，三星遭遇集體訴訟，且該訴訟長達 4 年。2019 年 9 月 30 日，三星敗訴，承認 在基準測試中作弊，同意向 Galaxy S4 的購買者支付 10 美元賠償。 同樣的事情在華為身上也發生了。Anandtech 發現，華為會在新裝置中配備基準檢測機制 ，為 SoC 提供了更高的功率限制。最終，在某些白名單應用程式中，裝置的性能會更高 。 不過，這種做法會帶來一些負面影響，包括消耗電能、降低機組效率、降低電池壽命等。 對此，華為表示，僅憑一個單一的基準數字並不能顯示完整體驗。但對於部分項目，進行 基準測試是整個行業中被認可的方式，每個公司都在朝著更好的客觀結果而努力。同時， 華為消費者 BG 軟體工程部總裁王成錄表示，其他廠商都在進行同樣的測試獲得高分，華 為不能保持沉默。 不難看出，Benchmark 的高分值正成為晶片製造商追求的目標，也逐漸成為了行業的行銷 手段。Benchmark 分值固然能反映裝置的性能，但為了行銷、數值攀比而進行跑分造假不 應是業界常態。 且不論「你做我也做」追求 Benchmark 高分值的盲目性，就跑分造假這個行徑而言，其 分值只能在短時間內獲取用戶體驗的好感度，但從長期視角來看，追求高分值會帶來裝置 性能的損耗，這並不是與用戶建立良好關係的正確途徑。 正如 AnandTech 在文中提及，更好地與用戶體驗建立聯繫的唯一方式，就是讓每個常規 遊戲在標準的功率範圍內執行。也就是說，性能最具說服力的表現不是分值，而是產品本 身。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.160.84 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1586592062.A.5E9.html
→
04/11 16:24, 5年前 , 1F
benchmark有問題 沒把發熱電池壽命耗電放進考量
04/11 16:24, 1F
→
04/11 16:24, 5年前 , 2F
歪掉的benchmark 就吸引人去特化作跑分
04/11 16:24, 2F
→
04/11 16:25, 5年前 , 3F
要回200了?
04/11 16:25, 3F
推
04/11 16:26, 5年前 , 4F
老實說很多chip vendor都這樣作，偵測到在跑評測軟體或
04/11 16:26, 4F
→
04/11 16:26, 5年前 , 5F
是PK就進入turbo mode，你不這樣搞，就是跑輸別人，不過
04/11 16:26, 5F
→
04/11 16:26, 5年前 , 6F
B和Q更厲害的是在他的穩定性
04/11 16:26, 6F
→
04/11 16:28, 5年前 , 7F
作弊沒關係 作弊被抓到就GG 檔名還直接寫白名單...
04/11 16:28, 7F
噓
04/11 16:31, 5年前 , 8F
這種是早就見怪不怪惹 手機就比cpu螢幕相機
04/11 16:31, 8F
推
04/11 16:31, 5年前 , 9F
用這個檔名...是沒藏過A片嗎
04/11 16:31, 9F
→
04/11 16:32, 5年前 , 10F
照相還一堆買榜的 跑分算還比較客觀一咪咪
04/11 16:32, 10F
→
04/11 16:32, 5年前 , 11F
"my_hentai_porn_mom_donot_open.xml"
04/11 16:32, 11F
推
04/11 16:36, 5年前 , 12F
隨時開著調整狀態叫做優化 因為他就反應你日常使用 如果
04/11 16:36, 12F
→
04/11 16:36, 5年前 , 13F
只針對測試就作弊了 針對白名單的優化是設定強化模式都ㄦ
04/11 16:36, 13F
→
04/11 16:37, 5年前 , 14F
不可能達到的針對性優化
04/11 16:37, 14F
→
04/11 16:50, 5年前 , 15F
哈哈哈 白名單被發現惹
04/11 16:50, 15F
→
04/11 17:01, 5年前 , 16F
應該是假的，前人已經被抓包過，不敢再這樣搞吧
04/11 17:01, 16F
推
04/11 17:46, 5年前 , 17F
真的吧
04/11 17:46, 17F
噓
04/11 17:52, 5年前 , 18F
韓國貨不意外
04/11 17:52, 18F
推
04/11 17:54, 5年前 , 19F
其實手機廠也都會這樣 不作弊才是新聞 cemera dxo
04/11 17:54, 19F
→
04/11 17:54, 5年前 , 20F
測試也是 那家廠商敢說沒作弊的？
04/11 17:54, 20F
推
04/11 18:10, 5年前 , 21F
不要說手機啦，只要和效能有關的chip，幾乎都有作弊模式
04/11 18:10, 21F
推
04/11 18:39, 5年前 , 22F
這就是要看分數是要代表"硬體效能"或是"使用效能"的差別..
04/11 18:39, 22F
推
04/11 18:48, 5年前 , 23F
這不叫作弊吧，就像跑步我慢慢跑以跑得更遠，測一百公
04/11 18:48, 23F
→
04/11 18:48, 5年前 , 24F
尺時，我當然他媽全力衝爆啊。我平常慢跑這樣衝還得了
04/11 18:48, 24F
→
04/11 18:48, 5年前 , 25F
?
04/11 18:48, 25F
→
04/11 18:49, 5年前 , 26F
要嘛app就限制2w內看誰算的快啊 不然你叫人全力衝又不
04/11 18:49, 26F
→
04/11 18:49, 5年前 , 27F
給衝是怎樣
04/11 18:49, 27F
推
04/11 19:26, 5年前 , 28F
是不是一堆人不看內文阿 都說是測使用者體驗了
04/11 19:26, 28F
→
04/11 19:28, 5年前 , 29F
只是讓晶片偵測不出是在跑分 分數就掉了 這樣算正常？
04/11 19:28, 29F
→
04/11 19:32, 5年前 , 30F
測試內容完全相同 只有程式識別上不一樣 行為就不一樣了
04/11 19:32, 30F
推
04/11 20:04, 5年前 , 31F
翻譯：不是我幹的. 客戶自己搞我也管不了
04/11 20:04, 31F
推
04/11 20:11, 5年前 , 32F
等等那個s4陪十億美金我要怎麼領
04/11 20:11, 32F
推
04/11 20:13, 5年前 , 33F
有啊 iphone就沒有搞dx0測試啊
04/11 20:13, 33F
→
04/11 20:14, 5年前 , 34F
所以iphone拍照才是最強的
04/11 20:14, 34F
→
04/11 20:14, 5年前 , 35F
沒有任何針對評測的調校就可以排前面
04/11 20:14, 35F
推
04/11 20:23, 5年前 , 36F
以前老師說：作弊不可恥，抓到才可恥
04/11 20:23, 36F
→
04/11 20:42, 5年前 , 37F
說實在 跑分軟體 有給chip vendor spec 嗎？不然大家各
04/11 20:42, 37F
→
04/11 20:42, 5年前 , 38F
憑本事 不是嗎？
04/11 20:42, 38F
→
04/11 21:11, 5年前 , 39F
安兔兔
04/11 21:11, 39F
→
04/11 21:14, 5年前 , 40F
重點還是測試有毛病 你也測溫度耗電 不就行了
04/11 21:14, 40F
→
04/11 21:15, 5年前 , 41F
別給幾分幾秒的速度評分 而是給速度/溫度/穩定/耗電
04/11 21:15, 41F
→
04/11 21:15, 5年前 , 42F
的一個綜合評分分數 而且不列速度 就行了
04/11 21:15, 42F
→
04/11 21:15, 5年前 , 43F
取這檔名的484要PDCA一下
04/11 21:15, 43F
推
04/11 21:24, 5年前 , 44F
就被發現了啊 下一步是M拿律師要脅提告 看那個外媒要不要
04/11 21:24, 44F
→
04/11 21:24, 5年前 , 45F
拿和解金在宣告道歉 照SOP走
04/11 21:24, 45F
推
04/11 22:18, 5年前 , 46F
就跟吃禁藥一樣啊,完全開放
04/11 22:18, 46F
→
04/11 22:18, 5年前 , 47F
大家都吃,看誰有本事,吃完後仍最強
04/11 22:18, 47F
推
04/11 22:57, 5年前 , 48F
這還好吧，進入turbo mode就不管耗電啦
04/11 22:57, 48F
推
04/11 23:02, 5年前 , 49F
台灣保時捷跟德國保時捷的差別...
04/11 23:02, 49F
→
04/12 00:00, 5年前 , 50F
贏了跑分能對銷售多大影響
04/12 00:00, 50F
推
04/12 00:16, 5年前 , 51F
跑分對銷售沒影響；但對RD考績有影響
04/12 00:16, 51F
推
04/12 02:02, 5年前 , 52F
o.o
04/12 02:02, 52F
推
04/12 08:45, 5年前 , 53F
iphone有測dxomark啊… 只是排名稍後 畢竟他的isp 鏡頭都
04/12 08:45, 53F
→
04/12 08:45, 5年前 , 54F
比前面幾家慢上來
04/12 08:45, 54F
推
04/12 09:42, 5年前 , 55F
小粉紅快來護主
04/12 09:42, 55F
推
04/12 11:25, 5年前 , 56F
04/12 11:25, 56F
推
04/12 13:33, 5年前 , 57F
很正常啊 有什麼市場就開發什麼功能
04/12 13:33, 57F
推
04/12 17:39, 5年前 , 58F
限制power讓大家都跑基本不就好了
04/12 17:39, 58F
推
04/12 17:41, 5年前 , 59F
又要比誰快 又不讓人衝 是在哈囉？ 要不然就定好spec 大
04/12 17:41, 59F
→
04/12 17:41, 5年前 , 60F
家都不要衝比其他的就好
04/12 17:41, 60F
→
04/13 06:35, 5年前 , 61F
去克念的ati
04/13 06:35, 61F
噓
04/13 07:30, 5年前 , 62F
別人作弊你就跟著作弊？ 這什麼道理
04/13 07:30, 62F
推
04/13 08:31, 5年前 , 63F
你不作弊被別人打趴，客戶就不願你的啊，你以為客戶都
04/13 08:31, 63F
→
04/13 08:31, 5年前 , 64F
能理性溝通喔，市場上量大的客戶就是道理
04/13 08:31, 64F
→
04/13 08:32, 5年前 , 65F
我是不信Q跟A就沒作弊啦
04/13 08:32, 65F
→
04/13 08:34, 5年前 , 66F
沒限制功耗的跑分憑什麼要求這麼多
04/13 08:34, 66F
推
04/13 11:54, 5年前 , 67F
華為作弊一堆 mtk學壞？
04/13 11:54, 67F
→
04/13 11:55, 5年前 , 68F
跑benchmark本來就是要衝高cpu使用
04/13 11:55, 68F
→
04/13 11:55, 5年前 , 69F
難道要不用cpu去跑？
04/13 11:55, 69F
→
04/16 17:30, 5年前 , 70F
真的一堆人看不懂內文 你要針對負載調整效能可以
04/16 17:30, 70F
→
04/16 17:30, 5年前 , 71F
只針對App名字調整 當然就算作弊
04/16 17:30, 71F
→
04/16 17:34, 5年前 , 72F
人家現在就是用兩個幾乎一樣的測試App 只差在程式名稱
04/16 17:34, 72F
→
04/16 17:34, 5年前 , 73F
跑分就不一樣了 這樣明顯有問題好嗎
04/16 17:34, 73F
‣ 更多 wahaha23 的文章
文章代碼(AID): #1UaNa-Nf (Tech_Job)
‣ 更多 wahaha23 的文章
文章代碼(AID): #1UaNa-Nf (Tech_Job)