[情報] 人類利用AI發掘的漏洞再度擊敗圍棋AI

看板GO作者 (鬼斗)時間1年前 (2023/02/18 08:33), 1年前編輯推噓20(20推 0噓 37→)
留言57則, 12人參與, 1年前最新討論串1/1
先前板上也有板友分享相關論文 最簡單說 原理是訓練另外一組AI模型對抗式的去找出頂尖模型（Katago/Leela）的漏洞 現在的進度則是 棋力達到業餘頂尖的棋手有能力學習該模型的策略 反過來擊敗先前已經遠遠超過人類等級的模型 並且有穩定表現（KGS 14勝1負） 現在這個網站有棋譜可以線上閱覽 https://goattack.far.ai/human-evaluation 摘要 1. 這個鑽漏洞模型的對局下不贏尋常棋手（網頁第一譜） 2. 鑽漏洞策略精神之一：讓AI包圍自己，自己委屈兩眼活 3. 鑽漏洞策略精神之二：從外面偷偷包抄AI的包圍網，會發現AI的反應有點異常 成功的話就能反包抄AI原先的超厚勢 有趣的點 1. Leela 那一局，對抗者的114手在黑陣中掙扎，Leela 115 竟然是滑標級脫先？ 感覺上是真的是一種漏洞... 2. Katago 那一局，對抗者86跳、88飛已經以客犯主。 AI 黑棋 97、101 連續照顧自己其他的疆界，結果上方對抗者的孤棋就這樣異軍突出， 完成了反包圍。 這一譜佈局時，對抗者的白棋在左邊與下邊的連續二線潛水很好笑， 另一篇報導中提到，這個反包圍策略需要「在其他角落行棋使AI分心」， 所以應是為此的準備。 報導：https://www.ft.com/content/175e5314-a7f7-4741-a786-273219f433a1 3. 大家應該想問，為什麼不對絕藝這樣操作？我也很好奇。 4. 現在球又被丟回來AI研究者這邊了，深度強化學習為什麼會出現這樣的盲點？ 從圍棋領域內來講，看起來是對於自己的厚勢產生了超過常理的自信？ 雖然從棋的內容來看未必符合大家期望的弒神的快感， 但這也是剛起步的機器智慧與掙扎的人類智慧的碰撞吧，也是一局很大的棋。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.135.113 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/GO/M.1676680409.A.9FE.html
推
02/18 10:16, 1年前 , 1F
這樣下成功率有多高我很懷疑
02/18 10:16, 1F
高段業餘棋手在 kgs 15戰14勝 不過的確很難想像會偷襲成功
推
02/18 10:27, 1年前 , 2F
這種漏洞目前各類AI多少都有，像是圖片辨識的AI可以用
02/18 10:27, 2F
→
02/18 10:28, 1年前 , 3F
雜訊攻擊，雖然人眼看不出來，但是AI就分不出了
02/18 10:28, 3F
推
02/18 10:30, 1年前 , 4F
只能說，AI雖然很強了，但離真正大規模運用還有段路
02/18 10:30, 4F
→
02/18 10:30, 1年前 , 5F
圍棋AI無關人命，要是車用AI被攻擊，後果不堪設想
02/18 10:30, 5F
推
02/18 10:35, 1年前 , 6F
簡單說叫做偷吃，或者說要製造超長氣的對殺
02/18 10:35, 6F
推整理 ※ 編輯: KAOKAOKAO (36.230.135.113 臺灣), 02/18/2023 15:09:15
推
02/18 16:28, 1年前 , 7F
故意過擬合 這很不容易
02/18 16:28, 7F
→
02/18 16:29, 1年前 , 8F
簡單來說是故意往算法不適用的特例去走
02/18 16:29, 8F
推
02/18 21:27, 1年前 , 9F
Overfitting 是 training 的事情，應該說是刻意找出已經存
02/18 21:27, 9F
→
02/18 21:27, 1年前 , 10F
在於 model 內的 overfitting 然後針對性地對抗
02/18 21:27, 10F
→
02/18 21:29, 1年前 , 11F
當然也未必是 overfitting，單純的就是模型本來就沒有處理
02/18 21:29, 11F
推
02/18 21:35, 1年前 , 12F
到也是可能
02/18 21:35, 12F
AI初心者想請教 ddavid 大大多描述些這兩者的差異 小弟只知道MNIST的監督式學習的一點概念 overfitting 大概就是會變成手寫字寫得不夠像 dataset 裡面的數字的話會辨認錯 但這又如何與「本來就沒處理到」區別開來呢？
→
02/18 21:37, 1年前 , 13F
其實深度學習會有這種盲點對研究者而言是可預見的，這個球
02/18 21:37, 13F
→
02/18 21:38, 1年前 , 14F
應該算是本來就知道的球，不是現在才丟回來的XD
02/18 21:38, 14F
的確 adversarial attack 至少五年以前就有理論了 但除了對抗式模型能夠成功之外 小弟認為這則新聞裡面的「人」的成份特別有趣 先前板上的討論分享之中 大家原本都以為是AI模型對非常理虛手的處理不佳 導致有漏洞可鑽、會輸掉 但這篇 blog 強調了另外一組對抗策略：反包圍偷殺 而且反包圍偷殺作戰的執行是可以由人類去復現執行的 很多圍棋 youtuber 把 AI 捧的跟神一樣 但是 AI 面對反包圍偷殺作戰 將自己的包圍網顢頇地送掉 在厚薄的判斷上顯然有盲點 ※ 編輯: KAOKAOKAO (114.25.73.146 臺灣), 02/19/2023 09:29:25
推
02/19 12:14, 1年前 , 15F
點進去看譜太爆笑，竟然允許填子自殺
02/19 12:14, 15F
→
02/19 12:15, 1年前 , 16F
反正就是各種無下限攻擊讓AI精神錯亂是吧？
02/19 12:15, 16F
推
02/19 12:51, 1年前 , 17F
這幾盤AI好像不會虛手？真怪
02/19 12:51, 17F
→
02/19 12:52, 1年前 , 18F
難怪最後可以反讓AI 九子
02/19 12:52, 18F
推
02/19 22:52, 1年前 , 19F
overfitting：訓練資料有涵蓋到的部份，但模型太過嘗試極
02/19 22:52, 19F
→
02/19 22:57, 1年前 , 20F
端吻合每一筆測試資料，導致模型像是在背每個不同的答案而
02/19 22:57, 20F
→
02/19 22:57, 1年前 , 21F
沒有整合出共通規則
02/19 22:57, 21F
→
02/19 23:15, 1年前 , 22F
但如果某些區域根本就沒有成功整理出規則，或者模型本來就
02/19 23:15, 22F
→
02/19 23:16, 1年前 , 23F
參數量不足以解釋，根本沒有收斂成功，就 underfitting 了
02/19 23:16, 23F
→
02/19 23:17, 1年前 , 24F
就比如那堆奇怪的下法，AI 自戰學習可能早早就覺得很爛，
02/19 23:17, 24F
→
02/19 23:18, 1年前 , 25F
很快就不會在自戰挑選相關下法了，結果反而在那堆奇怪下法
02/19 23:18, 25F
推
02/19 23:22, 1年前 , 26F
裡面找出複雜場面就可能突破，這沒有看到訓練時的數據就不
02/19 23:22, 26F
→
02/19 23:22, 1年前 , 27F
太確定會是哪種情況
02/19 23:22, 27F
推
02/19 23:29, 1年前 , 28F
畢竟圍棋複雜度夠高，特定區域 underfitting 肯定是會發生
02/19 23:29, 28F
→
02/19 23:29, 1年前 , 29F
的，只是人類根本沒那個能力自己想出又亂搞卻又夠複雜的棋
02/19 23:29, 29F
→
02/19 23:30, 1年前 , 30F
來攪出問題，結果還是需要靠沒有先入偏見的 AI 來挖問題
02/19 23:30, 30F
→
02/19 23:33, 1年前 , 31F
只是因為這點就說 AI 圍棋不神，我覺得反而過度反應，事實
02/19 23:33, 31F
→
02/19 23:34, 1年前 , 32F
上還是 AI 才擊敗了 AI，不然 AlphaGo 都已經八、九年了，
02/19 23:34, 32F
→
02/19 23:35, 1年前 , 33F
如果隨便亂搞就能凹贏，怎麼不見哪個人直接出來宣稱自己研
02/19 23:35, 33F
→
02/19 23:35, 1年前 , 34F
究出了擊敗 AI 的方法XD
02/19 23:35, 34F
推
02/19 23:39, 1年前 , 35F
另外，這種漏洞有可能不同模型不一樣，有可能絕藝就沒這一
02/19 23:39, 35F
→
02/19 23:40, 1年前 , 36F
個洞。這跟訓練過程及模型容量都可能有關係。
02/19 23:40, 36F
→
02/19 23:42, 1年前 , 37F
但終究這沒有改變 AI 就是比人還神的事實，人類靠了 AI 才
02/19 23:42, 37F
→
02/19 23:44, 1年前 , 38F
勉強找到的打敗部份 AI 辦法，人家真的有心要解決，加大一
02/19 23:44, 38F
→
02/19 23:45, 1年前 , 39F
下模型容量可能就又搞定了XD
02/19 23:45, 39F
感謝 ddavid 大的說明 剛巧小弟最近在 trace Katago 所以這裡想回饋點不一樣的想法 我的結論是 以 Katago 的 selfplay 作法 幾乎不可能靠自己挖掘到這個盲點 現在 katago 的模型棋力演進是靠眾人貢獻算力 技術細節上 OpenCL 安裝完下個 "katago contribute" 就會自動開始跑 GPU 自我對戰 然後上傳某些盤面下的著手給伺服器端去訓練下一輪的模型 這個網址有貢獻者的清單 https://katagotraining.org/contributions/kata1/ 其中每個人貢獻的內容有分 training 和 rating training 是使用最新的 katago 模型自我對戰當中的某些著手 rating 則是新舊版本間的 katago 模型對戰 用來幫新模型定段（ELO） 那這就有趣了 儘管一路走來 新的模型等級分總是越來越高 那為什麼還會留下這些對人類業餘低段甚至低級棋手都覺得很荒謬的盲區呢？ d 大說說圍棋 AI 不神的人們是過度反應 我倒覺得武斷了 AlphaGo/AlphaZero/MuZero 等深度強化學習體系的模型裡面 至少 Leela/Katago 這兩者在成長過程中竟然會留有盲區 這不是很不神的事情嗎？ 換個領域做比方 當我們說到「速度之神」這個概念的時候 不管腦中想像的是希臘神話的荷米斯 或是紅牛的F1賽車 至少我們不會預期祂或它經過訓練或研發之後 跑一跑回過頭來倒輸烏龜吧？ 甚至 人類自己努力跑還是會跑輸 但只要學烏龜跑就能跑贏「神」 當然 任何人類都已經很難靠自己贏過 ELO 上萬的模型 這是事實 但是思考「神」這個字本身的意義以及理想的境界以作為未來的指引 應不至於那麼無聊 上述的「神」的意義論述 其實都是在表達一個驚異感 「強度」這個我們一直以為是單一維度的東西 竟然也開始扭曲了 變得像是剪刀石頭布一樣有生剋在裡面 至於這個是方法論上的性質（只要調整AI的參數、設計、演算法本身）就可以改良 或是學理上註定會有這種特徵 （所有的線性等級分度量註定在某個尺度後扭曲、強度的遞移律並不普遍存在） 在接下來被 AI 所影響的長遠的未來的各個領域 人們必須發展出不同的策略去應對 針對前者 可以預期大型機構持續探索各種方法 但如果後者的理論被證明或建立 大家就會終於恍然大悟 田忌賽馬一般的賽局到處都存在 只是尺度不是三匹賽馬的數量級而已
→
02/19 23:45, 1年前 , 40F
只是搞定這些硬搞出來的贏法根本沒有什麼商業價值，現在
02/19 23:45, 40F
→
02/19 23:46, 1年前 , 41F
AI 的主要定位本來就不是自己出來下棋而是輔助學習了，對
02/19 23:46, 41F
→
02/19 23:47, 1年前 , 42F
人類完全無效的下法完全沒有商業價值，只是證明了設計 AI
02/19 23:47, 42F
→
02/19 23:47, 1年前 , 43F
本來就已經可以預想得到的事實而已
02/19 23:47, 43F
也許 AI 對於圍棋這個經典遊戲來說就只能停留在「輔助學習」的定位 西洋棋界人機混戰（https://en.wikipedia.org/wiki/Advanced_chess）也仍是少數 也許圍棋賽事裡面的 AI 影響力未來也很難從現在的離線學習、賽況分析進入到即時對抗 所以評論說一個對抗式圍棋模型完全沒有商業價值 是合理的 這個東西本來就是一個研究專案、幾篇論文 而不是哪個棋院或是法人推出來的產品 但對於未來將使用強化學習模型作為界面的其他領域應用的話 對抗式AI 也就是「硬搞出來的」的那些作法 不管是在攻擊端還是防禦端都會有需求的 比方說 chatGPT 現在只需要有技巧的詠唱就可以繞過限制器以產生情色與仇恨內容 但是未來可能會升級成 連限制器本身都是 AI 模型 屆時 破解這些限制器的對抗模型就可能會很值錢了 ※ 編輯: KAOKAOKAO (114.25.73.146 臺灣), 02/20/2023 11:22:38
推
02/20 16:53, 1年前 , 44F
有bug就要處理，讓圍棋AI變完美吧!
02/20 16:53, 44F
推
02/21 07:48, 1年前 , 45F
對絕藝也能用哦，可以看看大橋拓文的推特
02/21 07:48, 45F
推
02/21 08:53, 1年前 , 46F
有盲點很合理，畢境圍棋的狀態樹用整個宇宙存都存不下
02/21 08:53, 46F
→
02/21 08:53, 1年前 , 47F
區區一丁點大小的權重就想cover整個圍棋數學上就不可能
02/21 08:53, 47F
→
02/21 08:55, 1年前 , 48F
也許你會覺得用業餘下法就能破解很不可能，但從數學上
02/21 08:55, 48F
→
02/21 08:55, 1年前 , 49F
講，就只是一條分枝而已
02/21 08:55, 49F
推
02/21 14:37, 1年前 , 50F
我覺得可能就是引導到像這篇的盤面
02/21 14:37, 50F
推
02/21 14:40, 1年前 , 51F
02/21 14:40, 51F
推
02/21 15:19, 1年前 , 52F
覺得有點搞笑，原po大概沒學過張量才會有這種強度三一
02/21 15:19, 52F
→
02/21 15:19, 1年前 , 53F
律的誤解
02/21 15:19, 53F
小弟確實是學藝不精 根柢不深 不過本文並不是拿神經網路訓練好的 model 張量來互相比較大小 而是以這三組模型（Leela、Adversial、業餘高段人肉大腦）的長時間綜合行為的結果來比 所謂長時間綜合結果 或說互相對局 表示我不是單純的以某些張量的函數在比較 f(L) f(A) f(Human) 的值 如果我有什麼誤會 那就請 T 大多多指教了 回到我在推文中的速度之神的類比 F1 賽車也是現代工藝的頂尖成果之一 裡面牽涉的控制模型、空力動力熱力電力 應該也很複雜吧 哪一天有一隻針對性的緩慢機械可以拼贏它的話 不是很誇張嗎？ ※ 編輯: KAOKAOKAO (114.25.73.146 臺灣), 02/21/2023 15:48:13
→
02/21 21:20, 1年前 , 54F
要做出三個AI模型A穩定勝B，B穩定勝C，C穩定勝A並不難吧
02/21 21:20, 54F
→
02/21 21:20, 1年前 , 55F
，勝負本來就沒有遞移律
02/21 21:20, 55F
→
02/21 21:20, 1年前 , 56F
跟比速度的概念完全不同
02/21 21:20, 56F
推
02/21 23:59, 1年前 , 57F
人類棋手也有棋風相剋的問題啊.....
02/21 23:59, 57F
‣ 更多 KAOKAOKAO 的文章
文章代碼(AID): #1Zy1pPd- (GO)