Re: [問卦] AI怎麼會突然爆發？已刪文
簡單講就是一些老學者很愛賣弄數學
你可以去聽一聽早期的類神經網路
裡面都在賣弄數學
台灣一些有名的AI學者也是
誰誰誰就不能講了因為幾乎全部都會命中
早期在開課時第一堂課裡面滿滿的數學從線性代數、微積分、高微、微方、泛函
一定會有
而且一定會有滿滿的工學院碩班以上才會開始用的數學
不只是數學還有一堆跨領域的數學
例如統計、高統
他們有很強的理由逼迫你要這些東西
為什麼？
因為他們要求強烈的最佳化、最穩定化所以什麼熱力學、化工的熵、機械退火、
交管的簡算法、排隊理論、仿生蟻群、圖論、分群、基因配對都會跑出來
這樣請問誰看得下去？
一個人有辦法同時懂電機、物理、機械、化學、商學嗎？
這還不包括訊號處理會跑出複利葉、電磁學散射、訊號陣列處理、香濃擴散、量子疊加
就算你唸了三個不同領域的博士可能都還不夠
你要去哪裡找這種人可以夠資格學AI
但是早期AI、類神經網絡是真的這樣教的
但是你仔細想想
類神經模仿的是什麼？
模仿的是神經元
神經元會做統計、微積分、熵、簡算、高微、量子物理嗎？
你的神經元如果會算上述的運算那你工數應該是無師自通吧
你去上個廁所後發現哇好清爽
這時候你的大腦會去算一次微分方程後才會決定釋放多巴胺感覺愉悅嗎？
神經元根本就沒做那麼多超複雜的數學運算
事實上AI的概念裡面最重要的是憑感覺
所有還能正常運作的模型都在是在維護這個東西
其他的都死光了
但是你如果在過去做這種研究或是跟你的指導教授、同儕談個憑感覺你會被電死
如果是博班更慘
博論一定要弄出一堆沒人看得懂的東西不然你一定會被砲
寫完了東西是一堆跑了半天只出現像是一個影子的垃圾那種是很正常的
不然就是跑出一個似是而非一定要精簡再精簡包裝完避免人家看出那不是人話的東西
多半最後一層都會有一種類似寵物溝通師或是靈媒這種神奇的訊號處理掩人耳目
反正錯了也沒有關係只要量大就可以去計算猜中的機率其實就算人類也會猜錯嘛
輸了人類也沒有關係啊因為那是機器大家都可以理解的
那個時代很厲害的研究往往都有這種機制但是懂的人基於同情也不好意思去揭穿
通常比的都是很難的題目
人答不出來的題目是最好的
例如語言就要比很難很難的語言正常人類沒有學過的怪語言
因為兩個很爛的分數在比的時候你比較不會發覺出模型真的很爛
圍棋是剛好矇到的
圍棋很難深度很深當時選題的時候alphago是選對的當然alphago是當時很強的東西
alphago當時有用了一個蒙地卡羅樹的工具在輔助
現在的模型是絕對可以不靠蒙地卡羅樹在相同資源下輕易打敗alphago那種才是真正的ai
蒙地卡羅樹是alphago在跑的時候他同時會啟動的一個外掛
這個外掛會用電腦運算來偷跑每一步棋往後模擬十萬到百萬次
這種東西絕對不是神經元的工作他是用電腦在跟人類火拼
其實是一種很像作弊的方式就好像是用電子計算機在跟人類比珠心算一樣
如果真的要用當時的alphago再跟李世石比一次小妹會覺得蒙地卡羅外掛也要開李世石
不能電腦可以偷查人類卻不能查
那時候大家都在比數學誰會理你什麼是憑感覺
那個感覺就是後來幾乎是唯一活下來的觀念attention
其他的名詞幾乎都是在呼弄人的
也就是神經網路唯一必須貫徹存在的東西
attention消失幻覺就會出現或者是失去知覺亂做一通是ai失敗的元兇
任何多加的數學不是傷害到attention不然就是浪費資源
但憑感覺這個東西你如果在以前發在期刊不意外應該會被當成垃圾
那是因為發表的人他們的身分比較特殊而且他們敢做敢衝不在乎別人的眼光
而且他們不是學者也不在學校工作或是開課
如果開課教一堆數學可能大腦會被污染不會再去想這種東西
早期的類神經網路的科學家真的很可憐
也不得不這樣教
第一堂課就要搬出滿滿的數學來折磨學生
折磨完了做出來的東西應該也是垃圾
數學那麼多電腦哪跑得動
但是你如果拿數學去問他他也幾乎一定不會理你因為他不是上數學課也不在面對論文口試
沒意外的話他會跟你說這個東西很簡單你自己去查
那你可以說你早期做AI不碰這些東西嗎？
那你論文應該看不懂或是一直跳過反正一直跳過的人也大有人在幹麻去背別人的論文
現在做AI研究
一般都是模型比較、再訓練、模型縮小化、訊源縮減
甚至以前改個參數比較改良效果會被罵得半死的研究現在拿出來都會讓人眼睛一亮
現在你如果發出一篇幾層、斷詞方法、參數容量可達最佳
頂多加上一些分析第幾層因為什麼因素導致什麼東西喪失
經過交叉比對後覺得可能的問題在哪裡
啊你有打算往哪裡方向改進稍微補充一下
這樣也可以是一篇很讚的研究
那些其實都是在維護attention
那種東西在以前每個教授都會拿出來砲成調參仔啊你一整篇一個數學函式都沒有貢獻在哪
現在這種東西都是各大AI公司的閉門技術哪會做給你
現在如果你發了一篇超級數學的AI論文
報告的時候聽得人覺得噢噢噢你好厲害下一位。心裡想那真的有用嗎？
只差沒問你一句你加了這些破爛東西電腦還跑得動嗎？
現在做AI研究的真的幸福很多啦
※ 引述《zxc0312 (11)》之銘言：
: 好像是去年還是前年開始
: 網路上突然同時跑出好幾個AI的網站
: 說是語言模型
: 可以理解語言 創造語言
: 幫你整理資料 做東西
: 大家不覺得很奇怪嗎？
: 這種東西基本上2010年那時候也有
: 怎麼大家都不重視？
: 突然在這幾年一起爆發？
: 為什麼ＡＩ會突然出現？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.216.134 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1779489552.A.B35.html
→
05/23 07:22,
3月前
, 1F
05/23 07:22, 1F
→
05/23 07:22,
3月前
, 2F
05/23 07:22, 2F
→
05/23 07:23,
3月前
, 3F
05/23 07:23, 3F
現在的模型用以前的半導體也跑得動啊
不單純是算力問題
現在用家用電腦也可以輕鬆跑出相當於李世石版本alphago
當年李世石版本的alphago用的是上百顆cpu和上百顆gpu
現在家用電腦來跑可以99%勝率打敗當時的alphago
推
05/23 07:26,
3月前
, 4F
05/23 07:26, 4F
→
05/23 07:27,
3月前
, 5F
05/23 07:27, 5F
→
05/23 07:27,
3月前
, 6F
05/23 07:27, 6F
→
05/23 07:29,
3月前
, 7F
05/23 07:29, 7F
→
05/23 07:29,
3月前
, 8F
05/23 07:29, 8F
現在有一種方向是說
是不是我們不需要什麼卡了
把他們全都集中在一起
串在一起再用超高效冷卻會比什麼卡都還快
記憶體也是啊
比起去倉庫拿現在一次全放在大圓桌上一起做誰要讀寫自己動手
比起以前要播分機給某某部門做什麼事現在一張大圓桌大家一起做
不用在那邊分什麼資源是誰的誰能用誰不能用結果都是浪費啦
GPU算完自然會輪到CPU每個人都是在占著資源不放
然後我的資料再從GPU的資源複製到CPU的資源
那不是重覆的東西嗎為什麼這樣複製來複製去每個人都要自己同步一份再確認資料一致
不用在那邊現在輪到我工作了你休息了啊你的資源沒在用可以讓出來給我嗎？
喔好啊桌上都有空間你自己用
現在老黃拿得是一顆超大顆的CPU比兩支手機拼在一起還大
一顆CPU有一整個手掌那麼大顆說不定以後還會更大
甚至一個主機板有二分之一的面積都是cpu
而且散熱這種事情
面積越大越集中越容易散熱
風散半徑越大同樣散熱品質越省電、噪音越小、軸承越不容易磨損
一顆大晶片一個大風扇比起一張卡三顆小風扇高效多了
現在的AI做起來才開始發現
電腦花了很多時間在傳資料
也花了很多資源在檢驗這些東西是不是正確有沒有傳錯
不然就是在比對有沒有重複或是被更改到而且又被一堆不同步的韌體在管
其實都是在浪費電跟浪費時間
nv第一個產品nv1不是也在做這種事嗎？
把什麼音效、手把的全部都集中在一顆晶片上
不過nv1當時失敗了
會不會有一天老黃的夢想成真什麼卡的就真的消失了
一個集成晶片一統天下
※ 編輯: gyGirl (58.114.216.134 臺灣), 05/23/2026 10:59:47
討論串 (同標題文章)
完整討論串 (本文為第 8 之 12 篇)：
問卦
-1
19