[技術] 從AV-Comparative看統計數字可以怎麼利用
很多人提到掃毒評比, 都會說 AV-Comparatives 很公正,
首先請看 AV-Comparatives 網頁, 介紹 "sample":
www.av-comparatives.org/seiten/ergebnisse/methodology.pdf
講了一堆他們很努力確保公正, 但是有幾個重點沒有:
1. vendor sample 比率, 以 nda 之名隱藏
2. 如何斷定這個 sample 是 malware
這就衍生出一個大問題, 如果他們只能用掃毒軟體判斷 sample 是不是 malware,
之後又用來評比掃毒軟體效果, 這不是廢話嗎, 當然至少有一家會抓到
如果他們用人工的, 他們有多少人, 能蒐集分析多少?
所以這樣會導致大多數 sample 來自 vendor, 一樣會球員兼裁判
未知病毒部份, 也一樣, 這種方法未來能抓到的新 "sample",
當然也受這些軟體自己未知病毒偵測能力影響
一個 malware 只要現有掃毒掃不到, 也不會出現在他的數據裡,
所以這些數據當然就很好看
所以當一個東西的樣本, 跟要分析的現象本身就有因果關聯, 這個統計就是沒意義的,
這就相當於: 過生日有益健康, 統計顯示過生日越多次的人越長命
AV-comparative 的公正, 最多只能算對廠商, 對 user 並沒有公正可言
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.116.218.88
→
05/05 13:04, , 1F
05/05 13:04, 1F
→
05/05 13:04, , 2F
05/05 13:04, 2F
→
05/05 13:07, , 3F
05/05 13:07, 3F
不重要, 因為大家不做考古, 網路來的 email 都是新鮮的,
只要你是小白, 裝掃毒給你的幫助太低, 反而因為 Risk theory,
有錯誤的安全感, 增加危險, 除非掃毒軟體盒子上印公正的一個月不中毒率,
然後一套賣五毛錢, 不然就是詐欺
※ 編輯: sniffer 來自: 122.116.218.88 (05/05 13:16)
→
05/05 13:18, , 4F
05/05 13:18, 4F
→
05/05 13:18, , 5F
05/05 13:18, 5F
→
05/05 13:22, , 6F
05/05 13:22, 6F
→
05/05 13:22, , 7F
05/05 13:22, 7F
→
05/05 13:23, , 8F
05/05 13:23, 8F
→
05/05 13:24, , 9F
05/05 13:24, 9F
→
05/05 15:20, , 10F
05/05 15:20, 10F
推
05/05 15:41, , 11F
05/05 15:41, 11F
→
05/05 15:41, , 12F
05/05 15:41, 12F
→
05/05 16:19, , 13F
05/05 16:19, 13F
→
05/05 16:20, , 14F
05/05 16:20, 14F
→
05/05 16:20, , 15F
05/05 16:20, 15F
→
05/05 16:21, , 16F
05/05 16:21, 16F
→
05/05 16:21, , 17F
05/05 16:21, 17F
→
05/05 16:22, , 18F
05/05 16:22, 18F
→
05/05 17:05, , 19F
05/05 17:05, 19F
→
05/05 17:06, , 20F
05/05 17:06, 20F
→
05/05 18:44, , 21F
05/05 18:44, 21F
→
05/05 21:22, , 22F
05/05 21:22, 22F
→
05/05 21:31, , 23F
05/05 21:31, 23F
→
05/05 21:31, , 24F
05/05 21:31, 24F
→
05/05 21:38, , 25F
05/05 21:38, 25F
→
05/05 21:38, , 26F
05/05 21:38, 26F
我還有更多數據, 看來發一下paper好了, 之前算法都太客氣了,
有因果關係的數字也應該要修正, 掃毒的效果會更接近zero,
打死一個產業很有成就感, 出自 napster 創辦人 :D
→
05/05 21:47, , 27F
05/05 21:47, 27F
→
05/05 23:52, , 28F
05/05 23:52, 28F
→
05/06 00:36, , 29F
05/06 00:36, 29F
※ 編輯: sniffer 來自: 123.204.215.193 (05/06 02:08)
→
05/06 10:57, , 30F
05/06 10:57, 30F
→
05/06 10:58, , 31F
05/06 10:58, 31F
→
05/08 00:24, , 32F
05/08 00:24, 32F
討論串 (同標題文章)
以下文章回應了本文:
完整討論串 (本文為第 1 之 11 篇):