Re: [技術] 從AV-Comparative看統計數字可以怎麼利用

看板Soft_Job作者 (again)時間13年前 (2011/05/06 12:32), 編輯推噓5(5推 0噓 76→)
留言81則, 10人參與, 最新討論串4/11 (看更多)
※ 引述《iincho (世界的盡頭)》之銘言： : ※ 引述《sniffer (again)》之銘言： : : 很多人提到掃毒評比, 都會說 AV-Comparatives 很公正, : : 首先請看 AV-Comparatives 網頁, 介紹 "sample": : : www.av-comparatives.org/seiten/ergebnisse/methodology.pdf : : 講了一堆他們很努力確保公正, 但是有幾個重點沒有: : : 1. vendor sample 比率, 以 nda 之名隱藏 : : 2. 如何斷定這個 sample 是 malware : 這個看法嚴格來說是對的，這些測試都有這些問題沒錯。 : 但是，問題來了，這個測試不公正 -> 防毒軟體沒有用? : 這是什麼邏輯? 也太跳tone了吧。 這當然跟防毒軟體有沒有用有關, 首先報告裡的偵測率就是大灌水, N=0.99 跟 N=0.90 的 N^10 就差很多了, 只要 detection rate 低一點點, 防毒軟體實用性就低很多, 所以廠商才要不遺餘力灌水 : 實際上業內做過的都知道每家的防毒評比可能對某些vendor有利， : 但是可能影響到的多半是八十分到一百分這段，因為這個原因 : 說人家一定會考零分只會笑掉人家大牙而已。 : 不過2.其實很簡單，弄個honeypot丟進去跑一跑大部分都知道， : 只是搞測試的不一定有時間這樣搞。但是說真的，大部分的測試 : Sample分類也沒有你講的這麼不堪，基本品質還是有的。 1. honeypot 只能抓到隨機亂發的東西, 能比較確定是毒的只有有附檔的, 廣告也說不定有附檔, 哪裡不用分析 2. vendor sample 分析當然有 "QA", 因為一定是自己抓得到的才會給出去, 他越有 "QA", 結果越灌水 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 122.116.218.88
→
05/06 12:57, , 1F
請提供防毒軟體抓不到的病毒sample
05/06 12:57, 1F
→
05/06 13:26, , 2F
只要提供4萬個就可以證明dr是從90%灌到99%喔 ^.<
05/06 13:26, 2F
數學不佳, 臉皮一流, 如果拿出40000sample, 加上原來40000, detection rate 全部低於50%, 這麼簡單都算錯 ※ 編輯: sniffer 來自: 122.116.218.88 (05/06 13:46) 這樣好了, 我提供大家賺錢的途徑, 既然認為抓不到的很少, 不知道哪家 掃毒公司敢花錢徵求掃不到的, 一隻1000就好, 光用產生器就可以讓他破產, 或者版上有人要來對拼, 一人拿10萬出來, 我寫個毒, 為了公正, 先給你檔案F的 SHA2(F+random), 一個月後才給檔案跟原來的random, 一個月後隨便你拿掃毒來掃, 抓得到你得10萬, 抓不到我得10萬, 我當成賺零用錢, 6位數以下我不感興趣, 看看所謂proactive是不是放屁 ※ 編輯: sniffer 來自: 122.116.218.88 (05/06 13:56)
→
05/06 13:53, , 3F
原本的sample是40萬 到底有沒有看報告啊
05/06 13:53, 3F
→
05/06 13:57, , 4F
連報告都看不懂還能在這裡扯
05/06 13:57, 4F
→
05/06 13:58, , 5F
該不會是說你找不到40萬在哪吧
05/06 13:58, 5F
記錯數字了, 有差嗎, 寫一隻抓不到的, 加上 random 要變成多少隻都可以, 就算你要100萬隻也可以, 現在電腦這麼快
→
05/06 14:09, , 6F
給不出病毒檔就說 把病毒偵測當成比對hash真是笑話
05/06 14:09, 6F
密碼學沒學好, 或者你怕我是國安局, 可以一個月內讓sha2 collision? 這只是證明這個檔案一個月前就寫好了
→
05/06 14:15, , 7F
你都用嘴巴讓防毒軟體公司破產的?如果你真的做的到那
05/06 14:15, 7F
→
05/06 14:16, , 8F
防毒軟體公司早就給你八位數了
05/06 14:16, 8F
→
05/06 14:17, , 9F
只會在板上撂狠話的臉皮就比較薄?
05/06 14:17, 9F
你這麼信賴防毒, 那要不要賺一下, 還是只能用嘴說?
→
05/06 14:18, , 10F
我建議你們放棄, 夏蟲不可語冰zz
05/06 14:18, 10F
→
05/06 14:34, , 11F
另外，有QA就有可能灌水的邏輯是啥？能解釋一下嗎...XD
05/06 14:34, 11F
QA 當然就是掃毒廠商確定掃得到的 sample, 才放出去, 免得打自己, 所以vendor sample完全不該用於評比
→
05/06 14:47, , 12F
自己寫的毒, 你要防毒掃得到? 會不會想太多
05/06 14:47, 12F
→
05/06 14:47, , 13F
kaho 就是一個實例, 防毒未能消, 自己手動消.
05/06 14:47, 13F
對呀, 所以用凍結三個月不更新, 當作未知偵測的benchmark無意義, 時間跟掃到未知病毒的機率無關, 沒看過的永遠抓不到
→
05/06 14:52, , 14F
給樓上，我覺得原po本身很care防毒軟體不可能掃得到所有毒的這
05/06 14:52, 14F
→
05/06 14:52, , 15F
個點。我想說再多也沒用.....
05/06 14:52, 15F
→
05/06 15:09, , 16F
我也覺得防毒軟體QA自家產品後拿給別人測為啥叫灌水?很奇怪
05/06 15:09, 16F
→
05/06 15:22, , 17F
另外，S大你應該要先放random出來吧？ o.0a 不然給file的hash
05/06 15:22, 17F
→
05/06 15:22, , 18F
就夠了，不用加random
05/06 15:22, 18F
當然要加random, 不然掃毒直接比對hash就好, 你當別人跟你一樣無知
→
05/06 15:26, , 19F
他覺得病毒只要放病毒的SHA出去就會動了啦~
05/06 15:26, 19F
→
05/06 15:30, , 20F
每愛天天進醫院(灌防毒)也是不錯的, 反正你愛就好.
05/06 15:30, 20F
→
05/06 15:31, , 21F
但你要強調防毒如何強, 就不必了, 因為你提得出防毒多
05/06 15:31, 21F
→
05/06 15:32, , 22F
有效, 很更容易及更多例子說明, 灌個防毒只是讓你安心
05/06 15:32, 22F
→
05/06 15:33, , 23F
要說數據, 支持者是提不上來的, 但要說者恆信, 倒是可以
05/06 15:33, 23F
→
05/06 16:13, , 24F
產生器? 你是真的覺得那種自動產生的抓不倒是不是....
05/06 16:13, 24F
來呀,多說無益,要不要簽個約賺錢,很簡單驗證,10萬又不多,哪個上班的拿不出來?
→
05/06 16:14, , 25F
實際上這些軟體的運作方式可能比你想的更精密一些...
05/06 16:14, 25F
→
05/06 16:15, , 26F
說自己寫的毒防毒掃不到的更是笑話，功力不夠的一樣被抓包
05/06 16:15, 26F
※ 編輯: sniffer 來自: 122.116.218.88 (05/06 16:53)
→
05/06 17:02, , 27F
未知病毒偵測是靠病毒特徵和病毒行為好嗎
05/06 17:02, 27F
→
05/06 17:06, , 28F
我是說你的方法要公布random，不公布random的話random等於沒
05/06 17:06, 28F
→
05/06 17:07, , 29F
加，因為你可以先寫完毒再配一個碼去湊hash...誰在跟你掃不掃
05/06 17:07, 29F
→
05/06 17:07, , 30F
得到XDDD 另外是你要測pattern掃毒的話，正確做法是你先做一隻
05/06 17:07, 30F
→
05/06 17:08, , 31F
別人掃不到的毒出來，然後給防毒軟體公司去抽pattern，接著你
05/06 17:08, 31F
→
05/06 17:08, , 32F
寫出10萬隻變種毒，看看防毒是否真可以不靠feedback當場抓出來
05/06 17:08, 32F
→
05/06 17:09, , 33F
你這麼寫只是讓人知道你不懂防毒軟體的運作而已啊 囧...
05/06 17:09, 33F
→
05/06 17:10, , 34F
另外，廠商用第一段那種連續中毒幾次機率降低來做廣告，我覺
05/06 17:10, 34F
→
05/06 17:11, , 35F
得這才是真正的愚民。因為這和實際使用的case是不同的
05/06 17:11, 35F
→
05/06 17:11, , 36F
你怕a廠在測試報告灌水，那就看b廠對a廠做的測試報告就可以安
05/06 17:11, 36F
→
05/06 17:12, , 37F
心點，最少競爭對手沒幫別人灌水的必要 當然老話一句，數據只
05/06 17:12, 37F
→
05/06 17:12, , 38F
是參考用，你得了解防毒軟體的運作，才知道他有沒有用
05/06 17:12, 38F
→
05/06 17:16, , 39F
另外是，掃毒廠真的要提供sample的話，本來就只能提供確定是毒
05/06 17:16, 39F
→
05/06 17:17, , 40F
的sample，難不成每個使用者feedback確定沒毒的都要當sample?
05/06 17:17, 40F
→
05/06 17:17, , 41F
像是真的拆了三十幾層packer後發現只是張貓的相片 這當然不是
05/06 17:17, 41F
→
05/06 17:18, , 42F
毒？這明顯不可能啊||||
05/06 17:18, 42F
→
05/06 17:18, , 43F
我上面打錯，是說那張照片不是毒，所以不可能給別人當virus
05/06 17:18, 43F
→
05/06 17:19, , 44F
sample 我想這很合理啊XDDD
05/06 17:19, 44F
→
05/06 17:36, , 45F
最後,單純用sha1當pattern,誤判率會很高 不會有人這麼做 放心
05/06 17:36, 45F
推
05/06 18:45, , 46F
到底要講幾次 惡意程式不一定要附檔 有種東西叫XSS
05/06 18:45, 46F
→
05/06 18:45, , 47F
而且worm本來就是隨機尋找有脆弱點的主機攻擊..
05/06 18:45, 47F
→
05/06 18:45, , 48F
到底要跳tone幾次阿.. 回到不想回了..
05/06 18:45, 48F
→
05/06 18:46, , 49F
另外 請提出 ^10 的理論根據, 那我說高達八成好了..
05/06 18:46, 49F
推
05/06 18:51, , 50F
另外mime信件也都可以藏惡意程式碼..
05/06 18:51, 50F
→
05/06 22:09, , 51F
這篇推文蠻不錯的
05/06 22:09, 51F
→
05/06 22:39, , 52F
插個話，XSS攻擊算惡意攻擊的一種，不過算惡意程式嗎？
05/06 22:39, 52F
→
05/06 22:40, , 53F
不過我覺得有人還是覺得那不算什麼，反正資安都騙錢 XD
05/06 22:40, 53F
→
05/06 23:12, , 54F
我覺得 得先知道有XSS這個東西 才能判斷XSS算不算“什麼”XDD
05/06 23:12, 54F
推
05/07 01:17, , 55F
透過XSS取得的程式總叫惡意程式吧? XD?
05/07 01:17, 55F
→
05/07 01:18, , 56F
"XSS"本身和終端用戶似乎關係並不大, 不過好好利用搭配一下
05/07 01:18, 56F
→
05/07 01:18, , 57F
很好用的~!!! ((燦笑
05/07 01:18, 57F
→
05/07 01:19, , 58F
我提XSS主要是 他可以很輕易讓信件再不附檔的前提下讓用戶
05/07 01:19, 58F
→
05/07 01:19, , 59F
取得並執行奇怪的程式..!
05/07 01:19, 59F
→
05/07 01:23, , 60F
其實也不用收什麼信 你電腦擺著接上網路別人就能開始打了XD
05/07 01:23, 60F
推
05/07 01:25, , 61F
他會說那不是病毒 是肉雞 xD! 最速中講傳說..
05/07 01:25, 61F
→
05/07 01:26, , 62F
win2000 沒update沒service pack拿public ip,
05/07 01:26, 62F
→
05/07 01:26, , 63F
5分鐘內就會開始倒數讀秒重開機 xD!
05/07 01:26, 63F
→
05/07 01:26, , 64F
中獎
05/07 01:26, 64F
→
05/07 01:28, , 65F
說到這個，就覺得ActiveX設計很怪…跳出來要你裝
05/07 01:28, 65F
→
05/07 01:29, , 66F
不裝看不到東西，裝下去又不知道會被裝啥…
05/07 01:29, 66F
→
05/07 01:30, , 67F
一般使用者看到上面跳出來要裝，通常就直接點安裝了
05/07 01:30, 67F
→
05/07 01:30, , 68F
感覺這東西也很危險 O_O?
05/07 01:30, 68F
→
05/07 01:32, , 69F
標準的M$思維阿 xDa 所有的安全警示都這樣..!
05/07 01:32, 69F
→
05/07 01:32, , 70F
不點yes就不能用.. xDa
05/07 01:32, 70F
→
05/07 01:33, , 71F
點了 中獎 你家的事!
05/07 01:33, 71F
→
05/07 01:33, , 72F
最保險的方法... VMware~! 至少我都這樣玩啦 .__.a
05/07 01:33, 72F
→
05/07 01:38, , 73F
但感覺以後會有越來越多針對Hypervisor的惡意程式
05/07 01:38, 73F
→
05/07 01:39, , 74F
目前應該已經有不少程式可做到發現自己在VM中就裝乖 :P
05/07 01:39, 74F
推
05/07 01:43, , 75F
沒錯 xDa 不過偵測自己在vm裡面似乎比惡搞vm簡單多了!
05/07 01:43, 75F
→
05/07 01:43, , 76F
對 有virus可以做到在vm裡就裝乖XD
05/07 01:43, 76F
→
05/07 01:43, , 77F
其實也蠻好奇惡意程式會怎摸玩的 .__.!
05/07 01:43, 77F
→
05/07 01:44, , 78F
還有偵測virus pattern version或是一堆有的沒的
05/07 01:44, 78F
→
05/07 01:44, , 79F
話說我們vmware的第一個用途通常都是執行vmware的keygen xD
05/07 01:44, 79F
→
05/07 01:44, , 80F
惡意程式很多的啦......攻擊比防守要簡單很多 XDDD
05/07 01:44, 80F
→
05/07 01:45, , 81F
有趣很多 XDDD
05/07 01:45, 81F
‣ 更多 sniffer 的文章
文章代碼(AID): #1DmtdsuA (Soft_Job)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 4 之 11 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共11篇)
‣ 更多 sniffer 的文章
文章代碼(AID): #1DmtdsuA (Soft_Job)