Re: [請益] AI伺服器成本分析——記憶體是最大的輸家

看板Stock作者 (Keep The Faith)時間11月前 (2023/05/30 01:06), 編輯推噓-16(3推 19噓 12→)
留言34則, 30人參與, 11月前最新討論串4/4 (看更多)
覺得大家好像都看錯重點吧 以前伺服器需要大量記憶體 是因為要維持即時服務非常多人的需求 就像 PTT 可以有十萬人一起上站嘛 如果無法做到 就很像是被 DDOS 攻擊 網站就連不上惹 但一到深夜 PTT 根本沒啥活人在線上惹 然後現在是資料爆量的時代 譬如以抖音來說 甚至可以用 AI 去做人臉的影像分析 人臉影像分析可以在伺服器內部做的 那根本不需要做到即時分析 伺服器有空閒餘裕的時候再做就好 所以成本可以降低沒錯阿 ※ 引述《mooto (退出會比較好, 就退出)》之銘言： : ※ 引述《neone (neone)》之銘言： : : 剛看到半導體產業分析機構semianalysis的這篇新文章: : : https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is : : 雖然沒付費只能看到部分 : : bing摘要: : : 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂 : : ，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限， : : 因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準 : : CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代 : : ，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也 : : 會發生重大變化。 : 老黃今天展示的那櫃 Grace Hooper : 就用了144TB GPU Memory 透過NVLink共享 : (NVLink是他們自研的SERDES : 簡單來說就是PCIe更快的介面) : 所以重點只是高速 共享 : 記憶體還是存在的 : 還有也不用擔心大家嫌貴不買啦 : 老黃今天不就列了1600家要做AI的公司 : 挖不挖得到金礦又不關他的事 : 只要鏟子賣得出去就好了 : 這種時候大家都爭搶先當第一個啦 : 有機會變成AI界的m$, adobe誰不幹 : 在那邊省小錢 到時候就看別人鼠錢 : 反正新創花的也不是自己錢 : 燒光當然是再繼續吹 : 話說老黃真的值得領那個錢 : 美國人訓練不是蓋的 : 相比之下今天下午發哥找他來蹭 : 那些高層講話的台風 投影片的格局 真的差好多喔 -- Q 人類基本需求2.0 ◢◣ █ 自我實現 創意.問題解決.真偽.自發性 S ◢██◣ █ 尊重需求 自尊.自信.成就感 W ◢████◣ █ 社交需求 E ◢██████◣ █ 安全需求 E ◢████████◣ █ 生存需求 空氣.水.食物.住所 T ▄▄▄▄▄▄▄▄▄▄▄▄ █ WiFi█ 電池 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.227.216.247 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1685379970.A.A98.html
→
05/30 01:24, 11月前 , 1F
你也只講到了一種層面的狀況
05/30 01:24, 1F
噓
05/30 01:48, 11月前 , 2F
05/30 01:48, 2F
噓
05/30 01:50, 11月前 , 3F
感覺你是文組的
05/30 01:50, 3F
噓
05/30 01:56, 11月前 , 4F
喔
05/30 01:56, 4F
噓
05/30 02:00, 11月前 , 5F
記憶體最好會變輸家啦，需求是越來越高
05/30 02:00, 5F
→
05/30 02:10, 11月前 , 6F
你知道你在說門外漢的話嗎？
05/30 02:10, 6F
噓
05/30 02:18, 11月前 , 7F
可憐啊 菜成這樣為什麼敢發言
05/30 02:18, 7F
→
05/30 04:36, 11月前 , 8F
是我太菜所以不懂你想表達什麼嗎...
05/30 04:36, 8F
噓
05/30 04:48, 11月前 , 9F
如果只是單方面思考單層問題 伺服器不是這樣運作
05/30 04:48, 9F
推
05/30 06:51, 11月前 , 10F
現在顯卡的記憶體越來越多好嘛，尤其牽扯算力，記憶
05/30 06:51, 10F
→
05/30 06:51, 11月前 , 11F
體越大越好，ai最好記憶體會少用
05/30 06:51, 11F
→
05/30 07:02, 11月前 , 12F
看不懂
05/30 07:02, 12F
噓
05/30 07:33, 11月前 , 13F
外行的拜託不要亂發文
05/30 07:33, 13F
→
05/30 07:55, 11月前 , 14F
顯卡如果不吃記憶體 為什麼顯存也越來越大？
05/30 07:55, 14F
→
05/30 08:09, 11月前 , 15F
新手就潛水就好
05/30 08:09, 15F
噓
05/30 08:28, 11月前 , 16F
？
05/30 08:28, 16F
噓
05/30 08:43, 11月前 , 17F
這ID不就AI 最大用戶，連回答也是
05/30 08:43, 17F
推
05/30 08:51, 11月前 , 18F
找AI來回答，可能會好一點。
05/30 08:51, 18F
噓
05/30 08:59, 11月前 , 19F
你到底在講啥
05/30 08:59, 19F
噓
05/30 09:11, 11月前 , 20F
...
05/30 09:11, 20F
噓
05/30 09:15, 11月前 , 21F
講這麼多，怎不問GPT
05/30 09:15, 21F
噓
05/30 09:18, 11月前 , 22F
那你這種神邏輯，那麼散熱也可以減少，成本可以變
05/30 09:18, 22F
→
05/30 09:18, 11月前 , 23F
更低，反正伺服器有空再做運算就不燙了
05/30 09:18, 23F
噓
05/30 09:27, 11月前 , 24F
哩咧公殺小？？？
05/30 09:27, 24F
噓
05/30 09:38, 11月前 , 25F
聽君一席話
05/30 09:38, 25F
推
05/30 09:49, 11月前 , 26F
顯卡顯存大應該現在遊戲畫面太精緻圖像處理太多要預
05/30 09:49, 26F
→
05/30 09:49, 11月前 , 27F
先載入顯卡記憶體中供GPU處理吧，不然容易卡頓讀畫
05/30 09:49, 27F
→
05/30 09:49, 11月前 , 28F
面
05/30 09:49, 28F
噓
05/30 10:28, 11月前 , 29F
這種程度也趕回這文
05/30 10:28, 29F
噓
05/30 10:56, 11月前 , 30F
我是覺得外行就不要硬要發文丟臉啦
05/30 10:56, 30F
→
05/30 12:11, 11月前 , 31F
你的主修是不是小喇叭
05/30 12:11, 31F
噓
05/30 14:04, 11月前 , 32F
這神邏輯是有顆cpu或gpu其他都不用是吧？
05/30 14:04, 32F
噓
05/30 14:23, 11月前 , 33F
你這回答是GPT教你討噓的嗎
05/30 14:23, 33F
→
05/30 16:58, 11月前 , 34F
尖峰跟離峰問題....你扯到什麼去了@@
05/30 16:58, 34F
‣ 更多 deepdish 的文章
文章代碼(AID): #1aTDk2gO (Stock)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 4 之 4 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共4篇)
‣ 更多 deepdish 的文章
文章代碼(AID): #1aTDk2gO (Stock)