[新聞] 超微推出具192GB記憶體的純GPU之AI晶片MI300X，搶奪AI市場

看板Tech_Job作者 (H)時間2年前 (2023/06/21 08:41), 編輯推噓8(9推 1噓 10→)
留言20則, 16人參與, 2年前最新討論串1/1
超微推出具192GB記憶體的純GPU之AI晶片MI300X，搶奪AI市場 https://bit.ly/464WD15 超微（AMD）為了追趕輝達，於2023年6月13日正式向外介紹一款純高性能GPU的AI晶片 MI300X。 前不久，超微推出結合CPU和GPU雙架構的Instinct MI 300進軍AI訓練晶片，這款晶片在 規格和性能直接對準了輝達的Grace Hopper。不過，為了直接瞄準大型語言模型市場，專 為需要所有記憶體容量來運行最大模型的客戶而設計的MI300X不再是混合使用CPU和GPU， 而是用兩顆CDNA 3 GPU小晶片取代了MI300A的三顆CPU小晶片，從而形成了12顆小晶片設 計，包含：8顆GPU小晶片和另外4顆IO記憶體小晶片。 除了純GPU性能之外，超微的MI300X亦提高記憶體容量，讓當前這一代AI大型語言模型（ LLM）能獲得192GB記憶體。由於AI客戶正在以最快的速度搶購GPU和其他加速器，同時需 要更多記憶體來運行更大的模型。因此，超微提供一個使用8個HBM3記憶體通道的192GB GPU將成為當前市場上的一個相當大的優勢。 其實，AI晶片可以分為雲端、終端和邊緣。根據任務劃分又可以分為訓練晶片和推理晶片 。雲端就是在數據中心進行模型訓練，晶片需要支撐大量的數據運算，終端和邊緣對運算 要求稍弱一些，但卻要求快速回應和低功耗。如今輝達H100晶片霸佔了訓練晶片這一領域 ，超微似乎想利用MI300X來爭取更多客戶的支持。 除了192GB MI300X公布之外，超微還簡要宣布了他們所謂的AMD Infinity架構平台。 這 是一種允許最多8顆超微的高階GPU互連在一起以處理更大的工作負載的8-way MI300X設計 。 就如輝達的8-way HGX和英特爾的Ponte Vecchio的x8 UBB那樣，8-way處理器配置目前是 高階伺服器的最佳選擇的架構。 另外值得注意的是，AI開發人員歷來偏愛輝達晶片的一個原因是它有一個名為 CUDA的開 發完善的軟體包，使他們能夠利用晶片的核心硬體功能。超微也推出擁有自己的AI晶片軟 體，稱為ROCm。其希望建構一個強大的軟體堆疊方面取得了真正的巨大進步，讓該軟體堆 疊可與模型、庫、框架和工具的開放生態系統一起使用。 超微認為數據中心之AI加速器市場將從2023年的300億美元左右，以超過50% 的年複合成 長率增長到2027年的1500億美元以上。 雖然超微沒有透露MI300X的價格，但此舉可能會給輝達的GPU帶來價格壓力，畢竟，H100 的價格高達30,000美元或更多，如果超微能夠在性能提升的同時，又給市場更合理的價格 ，這有助於降低生成式AI應用程式的高成本，也可為其帶來可觀的市場佔有率。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1687308077.A.0C0.html
→
06/21 10:32, 2年前 , 1F
MI250跑pytorch training 跟A100已經互有勝負了
06/21 10:32, 1F
→
06/21 10:33, 2年前 , 2F
MI300看來值得一戰R
06/21 10:33, 2F
推
06/21 10:42, 2年前 , 3F
8顆HBM3 好猛
06/21 10:42, 3F
噓
06/21 12:08, 2年前 , 4F
不能跑Cuda就pass
06/21 12:08, 4F
→
06/21 12:37, 2年前 , 5F
Cuda才是核心阿 你AMD要推啥跟Cuda打
06/21 12:37, 5F
推
06/21 12:42, 2年前 , 6F
cuda都多久了 誰會自己找麻煩用新語言
06/21 12:42, 6F
推
06/21 13:00, 2年前 , 7F
支援cuda再發新聞好嗎？
06/21 13:00, 7F
推
06/21 13:31, 2年前 , 8F
不是早就能兼容了嗎...
06/21 13:31, 8F
推
06/21 13:43, 2年前 , 9F
99AMD
06/21 13:43, 9F
→
06/21 14:46, 2年前 , 10F
是透過HIP讓AMD能跑 而不是直接搬過去 完整性有差
06/21 14:46, 10F
→
06/21 14:47, 2年前 , 11F
API不兼容的你還要自己重K 光這點就不好推了
06/21 14:47, 11F
推
06/21 15:13, 2年前 , 12F
友x光電還想捨棄CUDA自己寫呢 :) 我直接說不接
06/21 15:13, 12F
→
06/21 16:12, 2年前 , 13F
CUDA? OPENCL 不好?
06/21 16:12, 13F
推
06/21 17:00, 2年前 , 14F
OpenCL沒有像CUDA那樣能對自家GPU最佳化吧 而且open
06/21 17:00, 14F
→
06/21 17:00, 2年前 , 15F
cl 出來之前 很多科學家程式師都已經習慣CUDA很多年
06/21 17:00, 15F
→
06/21 17:00, 2年前 , 16F
了
06/21 17:00, 16F
推
06/21 17:54, 2年前 , 17F
看不懂 能跑貪食蛇嗎
06/21 17:54, 17F
→
06/22 14:08, 2年前 , 18F
可怕，以前我用Trident SuperVGA才1MB顯存
06/22 14:08, 18F
推
06/23 03:40, 2年前 , 19F
A只能喝湯
06/23 03:40, 19F
→
06/23 14:31, 2年前 , 20F
大VRAM才是王道
06/23 14:31, 20F
‣ 更多 stpiknow 的文章
文章代碼(AID): #1aaaSj30 (Tech_Job)