Re: [新聞] 女大生念資工哥稱「工程師會被AI取

看板Gossiping作者sxy67230 (charlesgg)時間7月前 (2023/11/09 19:27)推噓1(1推 0噓 9→)

留言10則, 4人參與討論串2/2 (看更多)

阿肥外商碼農阿肥啦！我覺得哥哥的回答蠻半吊子的，資工也不是只有寫程式而已，套一句阿肥大學教授的話，程式碼要學拿一本書來翻一翻只要不是智障都寫得出來。資工真正培養的核心知識是計算機系統工程、數學。別忘了，chatGPT也是建立在複雜的系統工程上的，光是分散式神經網路要怎麼傳遞權重更新推理都還是很新的系統工程領域，這邊舉一個例子，像是以現在的大語言模型來說，裡面有很多MoE層，這些層為了要讓模型成為不同領域的專家，有些會需要在nod A激活某些模塊上的神經節點，Node B又要 Active 另一群，由於系統當前是分散式的pipeline( 流水線)，Node B的中間結果梯度跟權重也要更新給Node A才能讓Node A往下跑，Node B 也會需要更新完後傳給Node A，這種情況超級容易發生race condition 導致系統鎖死。這個是Google 的神級工程師 2022年的論文，人家在討論當我需要處理一個有一百甚至一千台機器要做分散式運算，而我的系統不能有鎖死或是delay一秒以上的問題，這種如果不是有前人研究chatGPT也答不出來這種專業問題的，更別提設計。 https://i.imgur.com/3ELoQUH.jpg

再來當前AI也是資工系研究的領域，如果你熟悉AI發展的歷程會發現到過往人工智慧有一大段時間跟表徵符號是脫離不了關係的，像lambda、Boolean operators 等等，這些都是現代程式語言的前身，從這邊過度到近二十年大家才發現人類的表徵符號已經走到極限依然沒有辦法窮盡現實世界的規則，後來才是神經網路死灰復燃，可以說人工智慧跟計算機科學本來就有千絲萬縷的聯繫。不過當前GPT也不是說完全沒有問題，像是很多研究都發現GPT其實對於世界結構化的本質沒有充分的理解，人類哪怕哺乳類中的貓狗蝙蝠對於世界的認識都比GPT高，但是GPT卻又對某些領域表現比人類都還要好，這個當前還是無解。此外就是隨著模型訓練次數的疊代，GPT出現了翹翹板現象，每次finetune 都會有舊有領域的表現降低，而且也很難預測到底每次會降低哪個領域的表現，這代表這樣的優化未來可能會有臨界值。另外就是從GPT回歸模型的本質去驗證假設有一個error epsilon，隨著模型預測的長度提升最終會導致一個小錯誤累積到錯誤無窮大，但人類跟動物自己其實是有辦法隨著時間序列更新representation 的，這點當前還是難解問題，所以Yan Lecun才會提出世界模型。這邊要說的東西還很多，還是保留一下以後再談，反正人工智慧的出現絕對不會是資工系的末路，真的到末路那就是天網出現那全體人類都要害怕被取代才是。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.126.107 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1699529251.A.C89.html

→

Qaaaa

11/09 19:30, 7月前 , 1^F

11/09 19:30, 1^F

推

vvrr

11/09 19:38, 7月前 , 2^F

11/09 19:38, 2^F

→

vvrr

11/09 19:38, 7月前 , 3^F

11/09 19:38, 3^F