Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高

看板Stock作者 (降息の恐怖嘎鱷)時間1月前 (2026/06/26 08:42), 1月前編輯推噓69(70推 1噓 89→)
留言160則, 80人參與, 4周前最新討論串3/5 (看更多)
※ 引述《Pixma258 (鄉民們!別爭了!!)》之銘言： : 乳題，為何記憶體可以瘋漲價成這樣 : 川狗一句話都不敢出來叫 : 但晶圓不行，漲價要漲的小心奕奕 : 川狗不時出來叫 : 如要論記憶體和晶圓，晶圓製造技術門檻更高 : 而且對AI基建晶圓重要性也絕對不會輸記憶體 : 有沒有記憶體可以隨便喊漲那麼高的毛利率 : 晶圓不行 : 股價更是晶圓瘋漲成這樣，晶圓卻被倒貨 : 實在看不懂，想請教一下大家 「HBM容量每GPU大概每年增長40%以上 這條需求曲線的陡峭程度，是DRAM供給端 14% 的晶圓產能增長， 乘以 9% 的密度提升，很難追上的 在硬體領域，因為解碼階段KV快取的極高頻寬 和極高記憶體容量的要求，也導致了HBM獨特的地位。即便是HBM漲價三五倍， 把錢花在HBM上帶來的邊際token產出提升，仍然比花在其他地方要划算的多。 其他幾個記憶體路線，SRAM，HBF，CXL，PIM， 目前都無法在HBM的主力賽道KV快取/解碼階段上正面競爭， 起碼未來5年甚至更長時間，不太可能找到替代路線」 https://x.com/fi56622380/status/2070029693810847988?s=20 //////////// 只要LLM還是當前自回歸生成(AR, Autoregressive Generation)工程範式, 每生成1個token都需要搬運KV快取計算上文每一個token和下文的注意力(Attention) 那記憶體問題就是供給側無解的問題, 因為LLM對記憶體頻寬擴展的需求會是 token生成長度二次方增長. 將token生成長度1M token -> 10M token, 記憶體頻寬需要擴展100倍 這遠遠高於現實世界工廠建設和製程優化的速度. 要解決該問題, 唯一的方法是從算法根本上去解決. 我很久之前就認為文本Diffusion模型很可能是下一代新工程範式 從流形假設的觀點看Diffusion的生成更穩定, 從工程實踐去看其生成更有效率 文本Diffusion模型可以一次性讀取KV快取就透過GPU迭代生成大量token 目前工程實踐可以做到一次生成256 token以上, 這表示KV快取搬運減少256倍 而未來顯然會更長. 這會把當前的記憶體受限問題重新拉回到GPU, 算力受限問題上 關鍵的轉折點會落在什麼時候上下文長度已經長到這個效益無法忽視 文本Diffusion模型, 隨著前陣子Google釋出開源DiffusionGemma, 使用起來差距 跟同參數量的AR模型已經在1~2個世代之內. 這表示文本Diffusion已經誇過研究階段 正式進入工程實踐和大規模部署可能. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.134.246 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1782434524.A.DB0.html
推
06/26 08:43, 1月前 , 1F
每個字都看得懂 組合起來就不懂 QQ
06/26 08:43, 1F
推
06/26 08:43, 1月前 , 2F
推
06/26 08:43, 2F
→
06/26 08:43, 1月前 , 3F
到底為何要用晶晶體打文章
06/26 08:43, 3F
→
06/26 08:44, 1月前 , 4F
CXL應該是次方案分流
06/26 08:44, 4F
→
06/26 08:44, 1月前 , 5F
回一樓
06/26 08:44, 5F
→
06/26 08:45, 1月前 , 6F
換回GPU，台積電可以學美光宣布漲價10倍嗎？
06/26 08:45, 6F
推
06/26 08:47, 1月前 , 7F
真的是隔行如隔山，完全看無...
06/26 08:47, 7F
推
06/26 08:47, 1月前 , 8F
這文英文快比中文多了
06/26 08:47, 8F
→
06/26 08:48, 1月前 , 9F
這個很不晶晶體了吧。頂多memory 改記憶體
06/26 08:48, 9F
推
06/26 08:48, 1月前 , 10F
同一樓
06/26 08:48, 10F
推
06/26 08:48, 1月前 , 11F
最大的問題是記憶體沒長進 不像邏輯
06/26 08:48, 11F
推
06/26 08:48, 1月前 , 12F
你這些Sentence比較difficult many版友read不懂
06/26 08:48, 12F
改一下, 有些詞不用英文真的不知道要怎麼寫
→
06/26 08:49, 1月前 , 13F
導致只能以量取勝
06/26 08:49, 13F
→
06/26 08:50, 1月前 , 14F
這樣就晶晶體，要求太多了吧，專有名詞就很難用中
06/26 08:50, 14F
→
06/26 08:50, 1月前 , 15F
文好好表達，台灣人習慣直接用英文名詞吧
06/26 08:50, 15F
→
06/26 08:51, 1月前 , 16F
頻寬需求應該沒有二次增長吧
06/26 08:51, 16F
推
06/26 08:51, 1月前 , 17F
我覺得文不錯 吐槽的自己等級不夠
06/26 08:51, 17F
推
06/26 08:54, 1月前 , 18F
我看完了但我不記得看了什麼
06/26 08:54, 18F
→
06/26 08:54, 1月前 , 19F
現在科技進展這麼快,預測未來5年發展太難
06/26 08:54, 19F
推
06/26 08:54, 1月前 , 20F
我還以為走錯板 科普大神出現了嗎
06/26 08:54, 20F
推
06/26 08:55, 1月前 , 21F
Diffusion 在 Speculative Decoding，現在就可以用
06/26 08:55, 21F
推
06/26 08:55, 1月前 , 22F
光看近十年邏輯電晶體密度大概就贏幾十倍
06/26 08:55, 22F
→
06/26 08:56, 1月前 , 23F
每次有新的 Diffusion Model ，我也很興奮。
06/26 08:56, 23F
→
06/26 08:57, 1月前 , 24F
但就像原文說的，因為差了一點點，所以應用就侷限
06/26 08:57, 24F
→
06/26 08:57, 1月前 , 25F
了
06/26 08:57, 25F
→
06/26 08:58, 1月前 , 26F
記憶體之所以隨便調漲毛利，是因為記憶體可以隨便
06/26 08:58, 26F
→
06/26 08:58, 1月前 , 27F
調漲毛利。
06/26 08:58, 27F
推
06/26 08:58, 1月前 , 28F
基層邏輯沒改就是HBM效益海放任何其他方案，這麼強
06/26 08:58, 28F
推
06/26 09:01, 1月前 , 29F
推推
06/26 09:01, 29F
噓
06/26 09:01, 1月前 , 30F
講中文
06/26 09:01, 30F
推
06/26 09:03, 1月前 , 31F
晶晶體在哪....第一線的技術文章本來就這樣
06/26 09:03, 31F
推
06/26 09:03, 1月前 , 32F
看完了但好像又沒看
06/26 09:03, 32F
→
06/26 09:04, 1月前 , 33F
覺得晶晶體的 八成也不是原PO想一起討論的族群
06/26 09:04, 33F
→
06/26 09:05, 1月前 , 34F
第一手資訊通常是英文的 中譯詞很難精準表達
06/26 09:05, 34F
推
06/26 09:05, 1月前 , 35F
KV cache搬運減少256倍 金融業會覺得記憶體要崩盤
06/26 09:05, 35F
→
06/26 09:05, 1月前 , 36F
且未必有大家共識的中譯詞可用
06/26 09:05, 36F
→
06/26 09:07, 1月前 , 37F
不習慣的就等二手資訊 但那時間就滯後了
06/26 09:07, 37F
→
06/26 09:08, 1月前 , 38F
問就是數學
06/26 09:08, 38F
還有 82 則推文
還有 2 段內文
推
06/26 11:23, 1月前 , 121F
diffusion產文字在目前還是追不上自回歸 但有機會
06/26 11:23, 121F
推
06/26 11:26, 1月前 , 122F
GOOG不是一堆天才跳槽到其他家了？怎麼還是最大贏家
06/26 11:26, 122F
推
06/26 11:29, 1月前 , 123F
天下武功出少林 天下AI出谷歌
06/26 11:29, 123F
推
06/26 11:30, 1月前 , 124F
謝謝優文
06/26 11:30, 124F
推
06/26 11:32, 1月前 , 125F
為什麼一定要有結論？
06/26 11:32, 125F
→
06/26 11:39, 1月前 , 126F
今天雨下得很大 這樣
06/26 11:39, 126F
推
06/26 11:42, 1月前 , 127F
謝謝優文
06/26 11:42, 127F
推
06/26 11:44, 1月前 , 128F
跳槽的底下說不定有其它天才
06/26 11:44, 128F
推
06/26 12:03, 1月前 , 129F
看不懂的自己去玩一遍本地模型就懂了
06/26 12:03, 129F
推
06/26 12:13, 1月前 , 130F
谷歌變成記憶體的血包，唉
06/26 12:13, 130F
→
06/26 12:14, 1月前 , 131F
谷歌最大的問是的Gemini 3.5 Pro 從五月IO大會缺席
06/26 12:14, 131F
→
06/26 12:15, 1月前 , 132F
說六月會來，然後六月底AI大將不是去OAI 就是去A家
06/26 12:15, 132F
→
06/26 12:15, 1月前 , 133F
模型現在要延到7月，大將走了7月不知道出不出的來
06/26 12:15, 133F
→
06/26 12:16, 1月前 , 134F
以及出來的品質如何，要是Gemini沒辦法跟上模型第一
06/26 12:16, 134F
→
06/26 12:16, 1月前 , 135F
梯隊，會有護成河鬆動的問題。這個目前還沒被定價
06/26 12:16, 135F
→
06/26 12:17, 1月前 , 136F
目前只被定價記憶體血包，各大CSP都在跌
06/26 12:17, 136F
→
06/26 12:19, 1月前 , 137F
現在這個狀況谷歌倉位不宜過重。QQ
06/26 12:19, 137F
推
06/26 12:40, 1月前 , 138F
太深奧
06/26 12:40, 138F
推
06/26 12:47, 1月前 , 139F
翻譯一下，google的gemma diffusion會讓記憶體頻寬
06/26 12:47, 139F
→
06/26 12:47, 1月前 , 140F
下降256倍，輝達alphabet繼續漲，美光跌（是不是真
06/26 12:47, 140F
→
06/26 12:47, 1月前 , 141F
的就不重要了，股版不在乎
06/26 12:47, 141F
推
06/26 13:00, 1月前 , 142F
你太抬舉這邊的人了 這邊87%只想知道股票代號和點位
06/26 13:00, 142F
→
06/26 13:01, 1月前 , 143F
講這麼多，如果還是無法明確表示該買還是賣，就是
06/26 13:01, 143F
→
06/26 13:01, 1月前 , 144F
沒有意義的文章阿。就像非洲人有一半沒有穿鞋子
06/26 13:01, 144F
→
06/26 13:02, 1月前 , 145F
你知我知上帝知，但這到底對賣鞋的來說是好還是壞？
06/26 13:02, 145F
推
06/26 13:14, 1月前 , 146F
推文本diffusion，應該是未來
06/26 13:14, 146F
推
06/26 13:15, 1月前 , 147F
所以說啊 這陣子一堆投資網紅都在講基本面
06/26 13:15, 147F
→
06/26 13:15, 1月前 , 148F
笑死 這種才是基本面 結果大家每天追消息當成基本面
06/26 13:15, 148F
→
06/26 13:15, 1月前 , 149F
真正基本面超枯燥無聊一堆天書
06/26 13:15, 149F
→
06/26 13:16, 1月前 , 150F
不是在那邊誰搶單誰掉酖誰改規格好嗎
06/26 13:16, 150F
→
06/26 13:16, 1月前 , 151F
講難聽點那些網紅所謂的基本面根本只是想追內線
06/26 13:16, 151F
→
06/26 13:17, 1月前 , 152F
然後再用小學生簡單乘法抓個目標價 大家拍拍手
06/26 13:17, 152F
推
06/26 13:22, 1月前 , 153F
好專業的文
06/26 13:22, 153F
推
06/26 13:27, 1月前 , 154F
推
06/26 13:27, 154F
→
06/26 13:57, 1月前 , 155F
覺得狗家團隊太多了 他們不只一個模型在玩 他們網
06/26 13:57, 155F
→
06/26 13:57, 1月前 , 156F
頁AI跟gemini還有LM用起來是完全不同的體驗
06/26 13:57, 156F
推
06/26 16:04, 1月前 , 157F
空間複雜度O(n^2)的演算法....是遲早要死沒錯
06/26 16:04, 157F
推
06/26 18:04, 1月前 , 158F
空間複雜度是線性。
06/26 18:04, 158F
→
06/26 18:06, 1月前 , 159F
現在用flash attention 是線性的
06/26 18:06, 159F
推
06/28 18:35, 4周前 , 160F
用過codex和cc就不會想用gemini這東西了
06/28 18:35, 160F
‣ 更多 maplefff 的文章
文章代碼(AID): #1gFShSsm (Stock)
討論串 (同標題文章)
完整討論串 (本文為第 3 之 5 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共5篇)
‣ 更多 maplefff 的文章
文章代碼(AID): #1gFShSsm (Stock)