Re: [請益] 算力需求到底是缺還是快飽和了？

看板Stock作者 (fenzang)時間4周前 (2026/07/03 20:34), 編輯推噓16(16推 0噓 13→)
留言29則, 18人參與, 4周前最新討論串16/18 (看更多)
看了一下W大跟L大的回文 我也來分享一下關於這鬼故事的想法 我引用了L大的文章，然後會砍掉部分 因為太長了 如果LDPC大認為不妥我再修正 小弟我從出道以來就是做純inference的，從來沒幹過training，所以單就我自己的經驗 分享一下我認為現在的瓶頸 還有一些故事(?) 給大家自己決定怎麼解釋 ※ 引述《LDPC (Channel Coding)》之銘言： : inference 並不代表 NVIDIA : 就會失去優勢， : 我反而認為它目前仍然是 : 最大的受益者， : 至少短中期如此。 : 原因有幾個： : 第一， : CUDA 生態系的護城河， : 比很多人想像的大得多。 : 現在幾乎所有主流 : inference optimization， : 都是先支援 CUDA。 : 例如： : 尤其 vLLM， : 是目前 LLM inference : 最主流的 serving framework。 : SGLang 近一年成長也非常快， : GitHub 也已經累積 : 萬級以上 Stars。 : 兩者最成熟、 : 效能最好的 backend， : 都仍然是 NVIDIA GPU。 其實你講的反而是NV容易被取代的點 SGLang/vLLM並不是綁定NV的 而且其實真正有資源的team都不是用純版的 像是vLLM原本在MSL出現前也是Meta主力，但TBD最一開始也不用 (TBD一開始還有很多有趣的事情 像是不用torch之類的lol) SGL現在Lianmin去了TBD 我聽到的八卦是Lianmin當初拿了offer之後說還是想 把SGLang給搞好，那Jeff就說可以先去然後討論他去TBD之後要做什麼 後來兔哥看到了SGLang的一些作法認為很值得借鑒 所以就開始投入SGL了 但也是有用著SGLang但是把router給扔了去用NV的Dynamo或是各種花式frankenstein 我不認為現在NV的優勢是在Serving framework上。 OpenAI的serving也是有自己的serving engine，其實每家code我聽到的都是屎山 因為大家現在就是要榨出inference的最後一滴汁，能不能同時用NV/AMD/INTC/TPU根本 不重要，所有的code都是特化的，CUDA的生態系其實在oAI/Ant/TBD有資源的公司前沒想 像中那麼強，現在我知道有team甚至是直接PTX開始寫的lol : 第二， : 大規模 Data Center : 的系統能力， : 目前 NVIDIA : 仍然領先。 : 單張 GPU : 已經不是重點。 : 真正困難的是： : 幾百到幾千張 GPU 的互連 這是真的，而且這還不只是NV硬體本身，還有CSP也是很大的一個價值 小八卦是某家frontier lab跟某兩個neocloud租了cluster，結果發現一模一樣的code 在某家neocloud作RL的時候會crash 另一邊竟然不會，後來發現會crash的那邊是 numerical不determinism所以在climbing的時候不夠穩定就train不上去了。 一樣的硬體 一樣的driver 一樣的code，但卻有numerical difference 很有趣的:) 至於說Meta算力過剩這件事情，我倒覺得不太可能，問題應該是說，Meta放出這消息的 目的是什麼？ 各位不知道還記不記得，阿祖在前幾次的財報會議有人問過，不擔心over invest嗎？ 阿祖的回答很直接，如果說後來發現LLM搞不起來 他大可把算力拿給其他team，來讓本 業的廣告投放更精準。這件事情所言不假，我們當初Ads/MRS根本拿不到NV的卡，更恐怖 的事是卡還缺到有team被從原本有卡踢到要他們只能用CPU... 所以你說Meta算力過剩？微軟AMZN或是甲骨文之類的說還有可能。Meta絕對是巨頭裡面最 直接可以把算力轉換成鈔票的公司，NV微軟AMZN還要看有沒有客戶要用，對Meta來說算力 就是印鈔機，端看他要怎麼用而已 我還記得在Meta這新聞出來的時候，我在跟之前team上另一個老中聊天，他只說了： 這真他媽的離譜 我KFS等了一個禮拜才排到隊，你跟我說有多的算力？ 除非說阿祖覺得這些卡跟馬斯克一樣租出去比較賺，不然Meta這種Ads起家的公司，說算 力過剩這種話，絕對是不安好心的lol -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.139.200 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783082082.A.9B4.html
推
07/03 20:43, 4周前 , 1F
有趣 越來越多這種優文很不錯
07/03 20:43, 1F
推
07/03 20:44, 4周前 , 2F
好文 推推
07/03 20:44, 2F
推
07/03 20:46, 4周前 , 3F
謝謝
07/03 20:46, 3F
推
07/03 20:48, 4周前 , 4F
可以了解下 前兩天NV公布的算力分成模式
07/03 20:48, 4F
→
07/03 20:59, 4周前 , 5F
阿祖:但是Ant給的真的太多了(X
07/03 20:59, 5F
推
07/03 21:02, 4周前 , 6F
高層真的是腦子有洞 頭突然撞到就會 轉向
07/03 21:02, 6F
推
07/03 21:04, 4周前 , 7F
這是一個關於元蒜粒的故事
07/03 21:04, 7F
推
07/03 21:12, 4周前 , 8F
財報狗也解析，差不多一樣地看法。本來meta就有考量
07/03 21:12, 8F
→
07/03 21:12, 4周前 , 9F
出租算力也是一個業務
07/03 21:12, 9F
推
07/03 21:24, 4周前 , 10F
看那個臉書如今只變成廣告溫床，就知道meta只想賺
07/03 21:24, 10F
→
07/03 21:24, 4周前 , 11F
錢，只要能賺，什麼話都敢說
07/03 21:24, 11F
推
07/03 22:19, 4周前 , 12F
推 不安好心 是說他什麼時候好心過了
07/03 22:19, 12F
→
07/03 22:20, 4周前 , 13F
出租算力很賺吧，一堆礦商都轉型neocloud
07/03 22:20, 13F
→
07/03 22:21, 4周前 , 14F
只是前期資本開支多才會讓人有無底洞的感覺
07/03 22:21, 14F
推
07/04 00:08, 4周前 , 15F
推第一線人員優文
07/04 00:08, 15F
推
07/04 00:34, 4周前 , 16F
不知道你是否注意到 阿祖那邊本身根本從沒說過算力
07/04 00:34, 16F
→
07/04 00:34, 4周前 , 17F
過剩相關的事 就連出租的事也是年初稍微提過
07/04 00:34, 17F
→
07/04 00:35, 4周前 , 18F
所有的故事都是來自媒體的知情人士 懂得就懂
07/04 00:35, 18F
→
07/04 00:35, 4周前 , 19F
然後媒體又莫明奇妙的可以拿到阿祖內部談話內容
07/04 00:35, 19F
→
07/04 00:35, 4周前 , 20F
一切都是在這幾天 而不是上週 上上週 或上個月
07/04 00:35, 20F
→
07/04 00:36, 4周前 , 21F
就這麼巧本週大跌 又這麼巧一堆新聞 就是這麼巧
07/04 00:36, 21F
推
07/04 02:45, 4周前 , 22F
推
07/04 02:45, 22F
推
07/04 02:50, 4周前 , 23F
好人一生推
07/04 02:50, 23F
推
07/04 08:02, 4周前 , 24F
專業好文
07/04 08:02, 24F
推
07/04 13:47, 4周前 , 25F
07/04 13:47, 25F
推
07/04 18:26, 4周前 , 26F
廣告投放更精準就等於meta更賺錢嗎 可是meta在ai時
07/04 18:26, 26F
→
07/04 18:26, 4周前 , 27F
代不斷推出浪費客戶費用、不精準的廢功能 廣告不夠
07/04 18:26, 27F
→
07/04 18:26, 4周前 , 28F
有用 品牌才會追加預算 不能比Google廣告沒效 但不
07/04 18:26, 28F
→
07/04 18:26, 4周前 , 29F
能太有效
07/04 18:26, 29F
‣ 更多 fenzang 的文章
文章代碼(AID): #1gHwnYcq (Stock)
討論串 (同標題文章)
完整討論串 (本文為第 16 之 18 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共18篇)
‣ 更多 fenzang 的文章
文章代碼(AID): #1gHwnYcq (Stock)