[請益] AI伺服器成本分析——記憶體是最大的輸家

看板Stock作者 (neone)時間11月前 (2023/05/29 22:13), 編輯推噓44(46推 2噓 106→)
留言154則, 49人參與, 11月前最新討論串1/4 (看更多)
剛看到半導體產業分析機構semianalysis的這篇新文章: https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is 雖然沒付費只能看到部分 bing摘要: 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂 ，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限， 因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準 CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代 ，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也 會發生重大變化。 分析cpu server和ai server的成分價格 概念不錯 https://i.imgur.com/mHf654R.png
但intel server沒把gpu+switch baseboard部分的價格抓出來來比 就說憶體幾乎是伺服器成本的40% 問號? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.155.185 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1685369616.A.A84.html
→
05/29 22:17, 11月前 , 1F
AI伺服器會走AWS那種營運模式啦，真以為每家公司自
05/29 22:17, 1F
→
05/29 22:17, 11月前 , 2F
己架設自己要的AI伺服器喔？頭殼壞才這樣搞，就連Op
05/29 22:17, 2F
→
05/29 22:17, 11月前 , 3F
enAI 微軟都砸多少錢花了幾年
05/29 22:17, 3F
推
05/29 22:17, 11月前 , 4F
尬死空軍總部
05/29 22:17, 4F
推
05/29 22:17, 11月前 , 5F
這篇文章的成本計算好奇妙，
05/29 22:17, 5F
推
05/29 22:19, 11月前 , 6F
大老黃買越多(Gpu)省越多(cpu) 應該是真的server總
05/29 22:19, 6F
→
05/29 22:19, 11月前 , 7F
數量可能下降 Ai server佔比大提升…
05/29 22:19, 7F
推
05/29 22:30, 11月前 , 8F
這樣GG是受益者還是受害者啊？
05/29 22:30, 8F
推
05/29 22:33, 11月前 , 9F
把原本記憶體的費用轉向高速運算了
05/29 22:33, 9F
推
05/29 22:33, 11月前 , 10F
SmartNIC成本是過去的16倍 那間台廠不就賺爆
05/29 22:33, 10F
推
05/29 22:34, 11月前 , 11F
所以爽到韓國hbm記憶體
05/29 22:34, 11F
→
05/29 22:36, 11月前 , 12F
memory這麼貴是用CXL嗎... 這誰算的啊
05/29 22:36, 12F
推
05/29 22:37, 11月前 , 13F
爽到海力士
05/29 22:37, 13F
推
05/29 22:39, 11月前 , 14F
99旺宏
05/29 22:39, 14F
推
05/29 22:39, 11月前 , 15F
最近確實這種論述蠻多的
05/29 22:39, 15F
→
05/29 22:39, 11月前 , 16F
但這個論述的邏輯是有漏洞的
05/29 22:39, 16F
→
05/29 22:39, 11月前 , 17F
基本上建立在AI伺服器和一般伺服器是替代品
05/29 22:39, 17F
→
05/29 22:39, 11月前 , 18F
但其實並不是
05/29 22:39, 18F
→
05/29 22:39, 11月前 , 19F
若一般伺服器能做到AI伺服器能做的事
05/29 22:39, 19F
→
05/29 22:39, 11月前 , 20F
那不會有人願意買AI伺服器
05/29 22:39, 20F
推
05/29 22:42, 11月前 , 21F
2023的預算已經訂了 短期確實會這樣搞
05/29 22:42, 21F
→
05/29 22:42, 11月前 , 22F
但2024後 其實應該是整體資本支出往上噴
05/29 22:42, 22F
→
05/29 22:42, 11月前 , 23F
AI伺服器的資本支出是額外往上加的
05/29 22:42, 23F
→
05/29 22:42, 11月前 , 24F
而非用於取代一般伺服器
05/29 22:42, 24F
→
05/29 22:44, 11月前 , 25F
拿AI伺服器來做一般伺服器能做的事
05/29 22:44, 25F
→
05/29 22:44, 11月前 , 26F
也很不合邏輯
05/29 22:44, 26F
→
05/29 22:46, 11月前 , 27F
老黃今天不是有說嗎 cpu伺服器又貴又耗能 你可以買
05/29 22:46, 27F
→
05/29 22:46, 11月前 , 28F
低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿
05/29 22:46, 28F
推
05/29 22:48, 11月前 , 29F
cpu跟gpu適合的任務是不同的
05/29 22:48, 29F
→
05/29 22:48, 11月前 , 30F
如果gpu能完美取代cpu 那nv早年不會那麼慘
05/29 22:48, 30F
→
05/29 22:49, 11月前 , 31F
很多東西不能只看算力和能耗
05/29 22:49, 31F
推
05/29 22:50, 11月前 , 32F
狙擊槍跟散彈槍不能拿來比較
05/29 22:50, 32F
→
05/29 22:50, 11月前 , 33F
你講的是"伺服器" 你如果是要做其他用途 譬如儲存
05/29 22:50, 33F
→
05/29 22:51, 11月前 , 34F
你就買NAS阿 cpu當然不可能消失 只是在算力上面
05/29 22:51, 34F
推
05/29 22:52, 11月前 , 35F
今天新的 gh200 直接存取記憶體用很兇
05/29 22:52, 35F
→
05/29 22:52, 11月前 , 36F
低電壓記憶體
05/29 22:52, 36F
→
05/29 22:52, 11月前 , 37F
特點是今天有賣高級switch
05/29 22:52, 37F
→
05/29 22:53, 11月前 , 38F
而且全部走光纖
05/29 22:53, 38F
→
05/29 22:53, 11月前 , 39F
gpu是更好的選擇 沒有人說不能買籃球鞋跑步
05/29 22:53, 39F
還有 75 則推文
→
05/30 00:00, 11月前 , 115F
不管是 notebook, 手機, 甚至 藍芽audio, GPS ..
05/30 00:00, 115F
→
05/30 00:03, 11月前 , 116F
這種小到不行的MCU要跑AI都要加RAM
05/30 00:03, 116F
推
05/30 00:16, 11月前 , 117F
所以美國黃董會跟台灣惶懂合作嗎？
05/30 00:16, 117F
推
05/30 00:18, 11月前 , 118F
我預估記憶體內運算至少還要等三年
05/30 00:18, 118F
→
05/30 00:20, 11月前 , 119F
AI列車早就開了，誰還跟你等記憶體內運算，而且SoC
05/30 00:20, 119F
→
05/30 00:20, 11月前 , 120F
的command要不要變都還是個問題，PIM也會造成capac
05/30 00:20, 120F
→
05/30 00:20, 11月前 , 121F
ity下降
05/30 00:20, 121F
→
05/30 00:22, 11月前 , 122F
IO BW足夠支撐算力，其實PIM不見得是市場趨勢
05/30 00:22, 122F
→
05/30 00:25, 11月前 , 123F
記憶體內運算...你要確定model改了你還算得出來
05/30 00:25, 123F
→
05/30 00:28, 11月前 , 124F
很久前gpu吃浮點尾數的小問題不知改正沒有 舊cpu版
05/30 00:28, 124F
→
05/30 00:28, 11月前 , 125F
程式除非遇到嚴重效能瓶頸 修改的成本還是高 gpu推
05/30 00:28, 125F
→
05/30 00:28, 11月前 , 126F
了十多年才終於冒出頭
05/30 00:28, 126F
→
05/30 00:30, 11月前 , 127F
記憶體內運算記得也做好一陣子了 跟gpu/cpu二回事吧
05/30 00:30, 127F
→
05/30 00:30, 11月前 , 128F
那是省寫硬碟的時間
05/30 00:30, 128F
推
05/30 00:50, 11月前 , 129F
不過dram需求一定會跟著AI發展水漲船高
05/30 00:50, 129F
→
05/30 00:51, 11月前 , 130F
記憶體會是成本輸家？這邏輯我無法參透
05/30 00:51, 130F
推
05/30 01:02, 11月前 , 131F
記憶體高階技術成本降不下來嗎？學一下晶片
05/30 01:02, 131F
→
05/30 02:54, 11月前 , 132F
記憶體內運算是啥意思?運算永遠在處理器裏吧...還是
05/30 02:54, 132F
→
05/30 02:55, 11月前 , 133F
說馮紐曼的架構大改了?頂多就把整顆硬碟塞進Ram...
05/30 02:55, 133F
→
05/30 02:56, 11月前 , 134F
就開機的時候特別久...不過記憶體分層發展至今應該
05/30 02:56, 134F
→
05/30 02:56, 11月前 , 135F
差不了那點IO了吧...
05/30 02:56, 135F
→
05/30 02:58, 11月前 , 136F
記憶體一直是效能的gating啊...不足就等著慢...不過
05/30 02:58, 136F
→
05/30 02:59, 11月前 , 137F
超過的確是不會爆發什麼...就是不卡系統運算天限...
05/30 02:59, 137F
推
05/30 04:00, 11月前 , 138F
樓上PIM參考一下
05/30 04:00, 138F
推
05/30 04:36, 11月前 , 139F
GDDR6-AiM -- SK hynix 在 ISSCC 2022 發表的論文(&
05/30 04:36, 139F
→
05/30 04:36, 11月前 , 140F
展示晶片)，人類在半導體技術的進步將帶領電腦突破
05/30 04:36, 140F
→
05/30 04:36, 11月前 , 141F
von Neumann bottleneck
05/30 04:36, 141F
→
05/30 04:38, 11月前 , 142F
tinyurl.com/5n6unnby
05/30 04:38, 142F
噓
05/30 07:47, 11月前 , 143F
人工智慧
05/30 07:47, 143F
推
05/30 07:58, 11月前 , 144F
05/30 07:58, 144F
→
05/30 08:25, 11月前 , 145F
為啥是輸家？ 因為%下降？
05/30 08:25, 145F
→
05/30 08:26, 11月前 , 146F
AI伺服器哪有可能回到CPU為主...
05/30 08:26, 146F
推
05/30 08:49, 11月前 , 147F
雲端AI越來越強 手機有必要升級嗎? 不是都丟到雲嗎
05/30 08:49, 147F
推
05/30 09:37, 11月前 , 148F
邊緣運算，因為資安因素，終端設備也要有一定算力
05/30 09:37, 148F
推
05/30 10:57, 11月前 , 149F
邊緣運算市場一定會有，資安問題是一點。再來就是b
05/30 10:57, 149F
→
05/30 10:57, 11月前 , 150F
usiness問題，edge端的產品可以玩的公司比較多
05/30 10:57, 150F
→
05/30 11:42, 11月前 , 151F
什麼都要訂閱一下以為人人受得了嗎
05/30 11:42, 151F
推
05/30 12:52, 11月前 , 152F
圖應該是一般server吧 一般的泛指沒裝GPU
05/30 12:52, 152F
推
05/31 09:21, 11月前 , 153F
今天記憶體狂噴 ??
05/31 09:21, 153F
推
05/31 14:39, 11月前 , 154F
ptt骨神超多
05/31 14:39, 154F
‣ 更多 neone 的文章
文章代碼(AID): #1aTBCGg4 (Stock)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 4 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共4篇)
‣ 更多 neone 的文章
文章代碼(AID): #1aTBCGg4 (Stock)