[新聞] Ilya離開OpenAI內部曝光:奧特曼砍他團隊算力,優先搞產品賺錢

看板Stock作者 (j)時間4周前 (2024/05/18 18:45), 編輯推噓55(605101)
留言166則, 70人參與, 3周前最新討論串1/3 (看更多)
原文標題: Ilya離開OpenAI內部曝光:奧特曼砍他團隊算力,優先搞產品賺錢 原文連結: https://www.qbitai.com/2024/05/143688.html 發布時間: 2024-05-18 13:11:58 記者署名: 衡宇白交 原文內容: 連發13條推文! OpenAI超級對齊負責人 Jan Leike ,也就是剛剛追隨Ilya離開公司的那位,自曝離職的 真正原因,以及更多內幕。 一來算力不夠用 ,承諾給超級對齊團隊的20%缺斤少兩,導致團隊逆流而行,但也越來越 困難。 二來安全不重視 ,對AGI的安全治理問題,優先順序不如推出「閃亮的產品」。 緊接著,更多的八卦被其他人挖出來。 例如OpenAI離職成員都要簽一份協議, 保證離職後不在外說OpenAI壞話 ,不簽的話視為 自動放棄公司股份。 但仍有拒不簽署的硬骨頭出來放猛料(笑死),說核心領導階層對安全問題優先順序的分 歧由來已久。 去年宮鬥至今,兩派的觀念衝突到達了臨界點,這才看上去頗為體面地崩了。 因此,儘管奧特曼已經派了共同創辦人來接手超級對齊團隊,但仍舊不被外界看好。 衝在最一線的推特網友們感謝Jan有勇氣說出這個驚人大瓜,並感嘆: 我勒個去,看來OpenAI真的不太注重這個安全性! 不過回過頭來,如今執掌OpenAI的奧特曼這邊,暫時還坐得住。 他站出來感謝了Jan對OpenAI超級對齊和安全方面的貢獻,表示Jan離開,他其實很難過、 很捨不得。 當然了,重點其實是這句話: 等著,過兩天我會發一篇比這更長的推文 。 承諾的20%算力居然有畫大餅成分 從去年OpenAI宮鬥到現在,靈魂人物、前首席科學家Ilya幾乎不再公開露面、公開發聲。 在他公開宣稱離職前,就已經眾說紛紜。 很多人認為Ilya看到了一些可怕的事情,例如 可能毀滅人類的AI系統啥的。 △網友:我每天醒來第一件事就是想Ilya看到了啥 這次Jan算是攤開了說,核心原因是技術派和市場派對安全的優先等級產生了不同看法。 分歧很嚴重,目前後果嘛……大家也都看到了。 根據Vox報道,熟悉OpenAI的消息人士透露, 更注重安全的員工已經對奧特曼失去了信 心 ,「這是一個信任一點一點崩潰的過程」。 但如你所見,在公開平台和場合,沒有太多離職員工願意公開談論此事。 一部分原因是OpenAI一直以來,都有 讓員工簽署帶有非貶低協議的離職協議的傳統。 如 果拒絕簽署,就等於放棄了先前拿到的OpenAI的選擇權, 這意味著出來說話的員工可能 會損失一筆巨款。 然而,多米諾骨牌還是一張接一張的倒下了—— Ilya的辭職加劇了OpenAI近期的離職潮。 緊接著宣布離職的,除了超級對齊團隊負責人Jan以外,目前有至少五個安全團隊成員離 職。 其中還有個沒簽署非貶低協議的硬骨頭,Daniel Kokotajlo(以下簡稱DK哥)。 △去年DK哥寫道,他認為AI發生生存災難的可能性為70% DK哥在2022年加入OpenAI,在治理團隊工作,主要工作內容是引導OpenAI安全部署AI。 但他也在近期辭職了,並且對外接受了採訪: OpenAI正在訓練更強大的AI系統,目標是最終全面超越人類智慧。 這可能是人類有史以來發生過的最好的事情,但如果我們不小心行事,也可能是最糟 糕的事情。 DK哥闡述,當年,他加入OpenAI,滿懷對安全治理的報復與希望,期望OpenAI越靠近AGI 能越負責任。 但團隊中 許多人 慢慢意識到,OpenAI不會這樣了。 「逐漸對OpenAO領導層以及他們負責地處理AGI的能力失去了信心」,這就是DK哥辭職的 原因。 對未來AGI安全工作的失望,是Ilya加劇的離職潮中眾人離開的一部分原因。 還有一部分原因,是 超級對齊團隊,恐怕沒有外界想像的那樣能資源充沛地進行研究。 即便超級對齊團隊滿載工作,團隊也只能獲得OpenAI承諾的20%的算力。 而且團隊的一些請求經常被拒絕。 當然是因為算力資源對AI公司來說重要至極,每一點都要合理分配;也因為超級對齊團隊 的工作是「解決如果公司成功建構AGI,實際上會出現不同類型的安全問題」。 換句話說,超級對齊團隊對應的是OpenAI需要面對的未來的安全問題——劃重點,是未來 的、不知是否會出現的。 截至發稿,奧特曼還沒有發出他那篇「(比Jan爆料內幕的)更長的推文」。 但他簡單提到,Jan對安全問題的擔憂是對的, “我們還有很多事情要做;我們也致力於 這樣做。” 就這一點,大夥兒可以先辦個小板凳等等,到時候咱一起第一時間吃瓜。 綜上,現在超級對齊團隊走了好些人,尤其是Ilya和Jan的離職,讓這個風雨中的團隊面 臨群龍無首的窘況。 後續安排,是 共同創辦人John Schulma來接手 ,但不再有專門的團隊。 新的超級對齊團隊將是聯繫更鬆散的小組,成員分佈在整個公司的各個部門,OpenAI發言 人將其描述為「更深入地整合」。 這一點也為外界所質疑,因為 John的原本全職工作是確保目前的OpenAI產品的安全問題 。 不知道突然多了份責任後,John能不能忙得過來,好好領導關注現在和關注未來安全問題 的兩個團隊? Ilya-Altman之爭 如果把時間陣線拉長, 其實今天的分崩離析是OpenAI「宮鬥」Ilya-Altman之爭的續集。 時間回溯到去年11月,當時Ilya還在,他與OpenAI董事會合作試圖解僱掉奧特曼。 當時給的理由是,他在溝通上不夠真誠。 換言之,我們不信任他。 但最終結果顯而易見,奧特曼帶著他的「盟友」威脅加入微軟,結果董事會屈服,罷免行 動失敗。 Ilya離開董事會。 而奧特曼這邊,選擇了對他更有利的成員加入董事會。 在這之後,Ilya就再也社交平台上消失了,直到前幾天官宣離職。 而且據說,已經大約6 個月沒有出現在OpenAI辦公室了。 當時他還留下一則耐人尋味的推文,但很快就刪除了。 在過去的一個月裡,我學到了許多教訓。 其中一個教訓是,「在士氣提高之前,毆 打會一直持續下去」這句話比它應有的含義更經常適用。 但據內部人士透露, Ilya一直遠端共同領導超級對齊團隊 。 而在奧特曼這邊,員工們對他最大的指控就是言行不一,例如他聲稱自己想優先考慮安全 ,但他的行為卻很矛盾。 除了原本承諾的運算資源沒有給到外。 還有像前陣子找沙烏地阿拉伯等募款來造芯。 那些注重安全的員工懵了。 如果他真的關心以盡可能安全的方式建構和部署人工智慧,那麼就不會這麼瘋狂地累積晶 片,來加速技術的發展? 更早之前,OpenAI也從一家奧特曼投資的一家新創公司訂購晶片。 金額高達5,100萬美元 (約3.6億元)。 而當時宮鬥那幾天OpenAI前員工的檢舉信中,對於奧特曼的描述似乎也再一次印證。 https://tinyurl.com/2s4b42rm 也正因這樣 從頭到尾「言行不一」 的操作,讓員工們逐漸對OpenAI以及奧特曼失去信心 。 Ilya是這樣,Jan Laike是這樣,超級對齊團隊也是這樣。 有貼心的網友整理出這幾年年間,發生的相關事情的重要節點-先來個貼心提示,下文提 到的 P(doom) ,指「AI引發世界末日場景的可能性」。 2021年,GPT-3團隊負責人因「安全」問題離開OpenAI,創立Anthropic;其中一位認 為P(doom)為10-25%; 2021年,RLHF安全研究負責人離職,P(doom)為50%; 2023年,OpenAI董事會解僱奧特曼; 2024年,OpenAI解僱兩位安全研究員; 2024年,一位特別關注安全的OpenAI研究員離職,他認為P(doom)已經在70%。 2024 年,伊利亞和簡·萊克退休。 https://tinyurl.com/vcw877d3 技術派還是市場派? 大模型發展至今,「如何實現AGI?」其實可歸結為兩條路線。 技術學派 希望技術成熟可控再應用; 市場派 則認為邊開放邊應用「漸進式」走到終點 。 這也是Ilya-Altman之爭的根本分歧,即OpenAI的使命: 是專注於AGI和超對齊,還是專注於擴展ChatGPT服務? ChatGPT服務規模越大,代表所需的計算量越大;這也會佔用AGI安全研究的時間。 如果OpenAI是個致力於研究的非營利組織,他們應該將更多時間花在超級對齊上。 而從OpenAI對外的一些措施來看,結果顯然不是, 他們只是想要在大模型這個競爭中拔 得頭籌,為企業和消費者提供更多的服務 。 這在Ilya看來,這是件非常危險的事。 即便我們不清楚隨著規模的擴大會發生什麼,但 在Ilya看來,最好的辦法就是安全第一 。 開放和透明,這樣我們人類才能確保安全地建構AGI,而不是以某種隱密的方式。 但在奧特曼帶領之下OpenAI,似乎既不追求開源,也不追求超級對齊。 相反,它一 心只想朝著AGI 的方向狂奔,同時試圖建立一條護城河。 那麼最後AI科學家Ilya的選擇正確,還是矽谷商人奧特曼能走到最後呢? 現在還無從得知。 但至少OpenAI現在面臨關鍵抉擇。 有業內人士總結了兩個關鍵訊號, 一個 是ChatGPT是OpenAI主要收入,如果沒有更好的模型支撐,就不會免費向所有人提供 GPT-4; 另一個 則是如果離職的團隊成員(Jan、Ilya 等)不擔心很快會有更強大的功能,他們 就不會關心對齊的問題……如果AI停留在這個水平上,基本上也無所謂。 但OpenAI的根本矛盾沒有解決,一邊是盜火一樣的AI科學家對負責任發展AGI的憂慮,另 一邊則是矽谷市場派對於用商業化方式推動技術可持續的急迫。 雙方已經不可調和,科學派正在完全出局OpenAI,而外界至今也不知道,GPT究竟到哪一 步了? 迫切想要知道這個問題答案的吃瓜群眾都有點累了。 一種無力感湧上心頭,就像Ilya的老師、圖靈獎三巨頭之一Hinton說的: 我老了,我擔憂,但我無能為力了。 參考連結: [1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence [2]https://x.com/janleike/status/1791498174659715494 [3]https://twitter.com/sama/status/1791543264090472660 心得/評論: 奧特曼違背防止人工智慧威脅人類的承諾 這導致安全團隊一直有人辭職 OpenAI會重蹈微軟和谷歌的覆轍 走向沒落嗎?? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.177.213 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1716029157.A.2FC.html

05/18 18:49, 4周前 , 1F
字太多 我不識字 怎麼辦 :(
05/18 18:49, 1F

05/18 18:49, 4周前 , 2F
不然投資幾千億免費給大眾用 股東又不是吃素的0.0
05/18 18:49, 2F

05/18 18:53, 4周前 , 3F
反正就內鬥,字太多就丟給chatgpt看囉
05/18 18:53, 3F

05/18 18:58, 4周前 , 4F
魔鬼終結者 天網 難道不是天馬行空的想像而已? 還
05/18 18:58, 4F

05/18 18:58, 4周前 , 5F
有幾集可以逃?
05/18 18:58, 5F

05/18 18:58, 4周前 , 6F
重點是原本是非營利基金會啊
05/18 18:58, 6F

05/18 18:59, 4周前 , 7F
要對股東負責,一般來說確實不會分太多資源給安全
05/18 18:59, 7F

05/18 18:59, 4周前 , 8F
問題的部分
05/18 18:59, 8F

05/18 19:01, 4周前 , 9F
以後就是AI詐騙了
05/18 19:01, 9F

05/18 19:01, 4周前 , 10F
晶片要錢 不快點商業化誰還提供你算力?
05/18 19:01, 10F

05/18 19:15, 4周前 , 11F
感覺GPT-5可能已經超乎預期的強大,所以技術派才會
05/18 19:15, 11F

05/18 19:15, 4周前 , 12F
那麼擔憂
05/18 19:15, 12F

05/18 19:16, 4周前 , 13F
4o對比一年前已經不是同個量級的東西了
05/18 19:16, 13F

05/18 19:26, 4周前 , 14F
吸睛重要 股價大於all
05/18 19:26, 14F

05/18 19:30, 4周前 , 15F
火好危險 會燒死人 請大家不能用火 不然我生77
05/18 19:30, 15F

05/18 19:36, 4周前 , 16F
笑鼠 這奧特曼看起來也是很會內鬥嘛
05/18 19:36, 16F

05/18 19:39, 4周前 , 17F
05/18 19:39, 17F

05/18 19:42, 4周前 , 18F
末日劇本-天網 目前進度領先
05/18 19:42, 18F

05/18 19:42, 4周前 , 19F
緊追其後的是Fallout和明天過後
05/18 19:42, 19F

05/18 19:45, 4周前 , 20F
文長好煩喔,拍成視頻演繹一下好嗎?
05/18 19:45, 20F

05/18 19:55, 4周前 , 21F
這就非營組織變成營利導向必然的狀況
05/18 19:55, 21F

05/18 20:04, 4周前 , 22F
:不相信光了(?!
05/18 20:04, 22F

05/18 20:12, 4周前 , 23F
如果看到了危險,選擇離職,沒人顧不是更危險嗎?
05/18 20:12, 23F

05/18 20:20, 4周前 , 24F
鹹蛋超人
05/18 20:20, 24F

05/18 20:32, 4周前 , 25F
結論就是鏟子買不夠多
05/18 20:32, 25F

05/18 20:33, 4周前 , 26F
簡體報導
05/18 20:33, 26F

05/18 20:36, 4周前 , 27F
怎麼覺得腦補摻水的部份很多
05/18 20:36, 27F

05/18 20:44, 4周前 , 28F
要發大財了噴爛
05/18 20:44, 28F

05/18 20:54, 4周前 , 29F
奧特之母: 哭呀
05/18 20:54, 29F

05/18 21:01, 4周前 , 30F
台積電要恰住世界的脖子了嗎?慘了 匹夫無罪 懷璧其
05/18 21:01, 30F

05/18 21:01, 4周前 , 31F
05/18 21:01, 31F

05/18 21:11, 4周前 , 32F
可以買amd的貨啊 嘻嘻
05/18 21:11, 32F

05/18 21:11, 4周前 , 33F
我不管 我依舊相信著奧特曼
05/18 21:11, 33F

05/18 21:30, 4周前 , 34F
公司賺錢才是對員工股東負責,不符合你意就要爆料
05/18 21:30, 34F

05/18 21:30, 4周前 , 35F
傷害,做免錢的去學術研究單位不是更好
05/18 21:30, 35F

05/18 21:37, 4周前 , 36F
OPEN AI從一開始就是以促進人類福祉研究開始作AI的
05/18 21:37, 36F

05/18 21:38, 4周前 , 37F
所以裡面本來就有一堆很左膠的理想家
05/18 21:38, 37F

05/18 21:39, 4周前 , 38F
Altman則是本來就是募資專長 他本來就是商人
05/18 21:39, 38F

05/18 21:40, 4周前 , 39F
對他來講怎麼把AI變現賺更多錢比較重要
05/18 21:40, 39F
還有 87 則推文
05/19 08:23, 3周前 , 127F
影視作品看太多會產生的誤解罷了 以現在的情況如果
05/19 08:23, 127F

05/19 08:23, 3周前 , 128F
AI不受控直接剝奪算力就搞定了 這麼弱的天網說能造
05/19 08:23, 128F

05/19 08:23, 3周前 , 129F
成什麼威脅?
05/19 08:23, 129F

05/19 08:40, 3周前 , 130F
誰知道ai會不會寄生在加密幣上面
05/19 08:40, 130F

05/19 08:40, 3周前 , 131F
現在一堆聽都沒聽過的小幣
05/19 08:40, 131F

05/19 09:32, 3周前 , 132F
商業化到一定程度組織就會走偏了
05/19 09:32, 132F

05/19 11:55, 3周前 , 133F
理想很美好 但研發AI的錢要從哪裡來?
05/19 11:55, 133F

05/19 11:56, 3周前 , 134F
如果有常聽陳泰谷的TK talk或看Freddy的blog
05/19 11:56, 134F

05/19 11:57, 3周前 , 135F
他們都常常講到 新創團隊最大的問題就是太陶醉在
05/19 11:57, 135F

05/19 11:57, 3周前 , 136F
自己的技術 但不知道怎麼募資不知道怎麼找投資人
05/19 11:57, 136F

05/19 11:57, 3周前 , 137F
不知道怎麼和市場溝通 這些需要懂財務懂募資有人脈
05/19 11:57, 137F

05/19 11:58, 3周前 , 138F
的人來協助 Altman很嘴砲愛做秀沒錯
05/19 11:58, 138F

05/19 11:58, 3周前 , 139F
但這就是他的工作不是嗎?
05/19 11:58, 139F

05/19 12:33, 3周前 , 140F
不重要,人材散出來給其他團隊吸收,賣鏟子的生意
05/19 12:33, 140F

05/19 12:33, 3周前 , 141F
會更好XD
05/19 12:33, 141F

05/19 13:46, 3周前 , 142F
OpenAI就沒超越多少,沒看隔天Google就抄了一大堆
05/19 13:46, 142F

05/19 13:46, 3周前 , 143F
OpenAI假如停下來其實不會停下AI進步,而是被超越
05/19 13:46, 143F

05/19 13:46, 3周前 , 144F
真要停下AI進步,只能靠跨國際組織,搞OpenAI無用
05/19 13:46, 144F

05/19 13:50, 3周前 , 145F
奧特曼不打怪獸改砍人????
05/19 13:50, 145F

05/19 15:06, 3周前 , 146F
什麼AI末日是小說看太多嗎 要安全政確可以加入谷歌
05/19 15:06, 146F

05/19 15:40, 3周前 , 147F
這樣沒錯啊 產品能賺錢才能說服股東繼續投資
05/19 15:40, 147F

05/19 16:44, 3周前 , 148F
記者名字真特別
05/19 16:44, 148F

05/19 18:31, 3周前 , 149F
Miula也講過很多次OpenAI的內部問題
05/19 18:31, 149F

05/19 18:32, 3周前 , 150F
很多優質的podcast都有聊過 多聽吧
05/19 18:32, 150F

05/19 18:32, 3周前 , 151F
中國另一檔podcast 科技早知道也講過很多
05/19 18:32, 151F

05/19 19:31, 3周前 , 152F
文太長了啦
05/19 19:31, 152F

05/20 08:20, 3周前 , 153F
就一般公司爭取資源的鬥爭而已,事實是open AI強到
05/20 08:20, 153F

05/20 08:20, 3周前 , 154F
05/20 08:20, 154F

05/20 09:23, 3周前 , 155F
本來就是盈利優先 不然算力的錢哪來 笑死 這種想法
05/20 09:23, 155F

05/20 09:23, 3周前 , 156F
只能待學術界
05/20 09:23, 156F

05/20 15:17, 3周前 , 157F
那不就是Google 認為不安全就拖了好幾年不拿出來
05/20 15:17, 157F

05/20 15:19, 3周前 , 158F
但某種意義上也是可以理解那種心態啦
05/20 15:19, 158F

05/20 15:19, 3周前 , 159F
跟當初看到原子彈試爆成功的科學家一樣
05/20 15:19, 159F

05/20 16:46, 3周前 , 160F
安全影響技術發展 AI發展的危險性不是只有安全 還有
05/20 16:46, 160F

05/20 16:46, 3周前 , 161F
要怕其他國家會不會因為不注重安全反而追上
05/20 16:46, 161F

05/20 21:55, 3周前 , 162F
我以為是什麼大瓜 不就台廠辦公日常
05/20 21:55, 162F

05/21 05:22, 3周前 , 163F
安全又不能吃
05/21 05:22, 163F

05/21 05:22, 3周前 , 164F
危險也不會馬上發生 在那之前就高歌離席了
05/21 05:22, 164F

05/21 07:09, 3周前 , 165F
其實llya反而是比較在乎安全問題的人吧,所以不想
05/21 07:09, 165F

05/21 07:09, 3周前 , 166F
這麼快推出產品
05/21 07:09, 166F
文章代碼(AID): #1cI8RbBy (Stock)
討論串 (同標題文章)
文章代碼(AID): #1cI8RbBy (Stock)