[新聞] Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍

看板Tech_Job作者 (pl132)時間2月前 (2024/02/24 10:36), 編輯推噓9(20推 11噓 27→)
留言58則, 42人參與, 2月前最新討論串1/2 (看更多)
Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍 http://tinyurl.com/2y4cehyv 不論何種 AI 應用，速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵件 或翻譯文稿時，我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客製 化硬體，並致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈現 結果。 Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案，千萬 不要和馬斯克（Elon Musk）的 Grok 聊天機器人混淆，它並非聊天機器人，而且這家總 部位於加州山景城（Mountain View）的公司目前沒有打算要訓練自己的 AI 語言模型， 而會致力讓其他公司開發的模型高速運行。 當前幾乎所有 AI 工具都使用 GPU，但 Gorq 卻使用截然不同的硬體，亦即專為處理大型 語言模型（LLM）而設計的 LPU（Language Processing Unit，語言處理單元）。 由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料序 列，因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱，其用戶已經使用其引擎和 API 運行 LLM 模型，其運行速度比基於 GPU 的替代方案快 10 倍。 目前 Grog 在自家官網上提供基於三種不同 LLM 模型（目前提供的模型包括 Meta 旗下 Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B）的聊天機器人， 使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.2.53 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1708742210.A.771.html
→
02/24 10:40, 2月前 , 1F
自 FPU 開始又多了一種特化處理器
02/24 10:40, 1F
→
02/24 10:42, 2月前 , 2F
以前計概說 FPU 算小數比 CPU 快很多
02/24 10:42, 2F
→
02/24 10:43, 2月前 , 3F
後來玩遊戲又說 GPU 處理渲染比 CPU 快很多
02/24 10:43, 3F
→
02/24 10:43, 2月前 , 4F
現在又來 LPU
02/24 10:43, 4F
推
02/24 11:02, 2月前 , 5F
各種 PU 就對了
02/24 11:02, 5F
推
02/24 11:09, 2月前 , 6F
懶趴優
02/24 11:09, 6F
推
02/24 11:14, 2月前 , 7F
重點是有效內容吧
02/24 11:14, 7F
推
02/24 11:15, 2月前 , 8F
Sora都出來了，對LLM特化跑的動Sora嗎?
02/24 11:15, 8F
噓
02/24 11:17, 2月前 , 9F
這個特化過的不是廢話嗎
02/24 11:17, 9F
推
02/24 11:29, 2月前 , 10F
專門處理語言當然比較快...重點是商用化才會賺錢
02/24 11:29, 10F
推
02/24 11:45, 2月前 , 11F
一張卡就要2萬美而且只有230MB記憶體
02/24 11:45, 11F
→
02/24 11:47, 2月前 , 12F
他們團隊跑一個LLaMA 2 70B就要十台多卡機架式伺服
02/24 11:47, 12F
→
02/24 11:47, 2月前 , 13F
器了
02/24 11:47, 13F
推
02/24 12:11, 2月前 , 14F
都要台積
02/24 12:11, 14F
推
02/24 12:13, 2月前 , 15F
難怪以後客戶都想自製，效率比較好
02/24 12:13, 15F
→
02/24 12:24, 2月前 , 16F
這兩個用途不一樣吧
02/24 12:24, 16F
→
02/24 12:32, 2月前 , 17F
Groq不能拿來訓練
02/24 12:32, 17F
噓
02/24 12:32, 2月前 , 18F
專用的ASIC比GPU差就不要做了
02/24 12:32, 18F
噓
02/24 12:38, 2月前 , 19F
短跑選手 vs 鐵人選手 比短跑 哪有這樣比的
02/24 12:38, 19F
噓
02/24 12:47, 2月前 , 20F
只能推理
02/24 12:47, 20F
推
02/24 12:49, 2月前 , 21F
感覺像之前挖礦的榮景
02/24 12:49, 21F
噓
02/24 12:54, 2月前 , 22F
Nvidia：誰？
02/24 12:54, 22F
推
02/24 13:20, 2月前 , 23F
通用GPU跟ASIC還是不太能比較
02/24 13:20, 23F
噓
02/24 13:38, 2月前 , 24F
外行記者亂寫騙不懂的人
02/24 13:38, 24F
推
02/24 13:42, 2月前 , 25F
覺得有點唬爛 GPU算是基本的數學運算了
02/24 13:42, 25F
→
02/24 13:43, 2月前 , 26F
你ASIC要做 也是把所有的運算串起來而已
02/24 13:43, 26F
→
02/24 14:36, 2月前 , 27F
跟石墨烯屌打線在半導體材料一樣讓我有夢靨
02/24 14:36, 27F
→
02/24 15:09, 2月前 , 28F
怎麼覺得這家公司買新聞買得很厲害，最頭先的新聞有
02/24 15:09, 28F
→
02/24 15:12, 2月前 , 29F
特別說明無法用來訓練，怎麼後面的新聞變超強的感覺
02/24 15:12, 29F
噓
02/24 15:25, 2月前 , 30F
專門特化過的處理器要來跟通用GPU比有沒有搞錯
02/24 15:25, 30F
推
02/24 15:32, 2月前 , 31F
成本好像很高
02/24 15:32, 31F
→
02/24 16:02, 2月前 , 32F
通稱DSP
02/24 16:02, 32F
→
02/24 16:29, 2月前 , 33F
google不是還有個TPU嗎
02/24 16:29, 33F
→
02/24 16:46, 2月前 , 34F
ASIC 嘖嘖。
02/24 16:46, 34F
推
02/24 18:04, 2月前 , 35F
如果價格夠低 可以賣斷給不懂又想省錢的客戶
02/24 18:04, 35F
推
02/24 18:14, 2月前 , 36F
不可能夠低啦 都用sram
02/24 18:14, 36F
推
02/24 18:25, 2月前 , 37F
等a~z用完就可以開始PUA了
02/24 18:25, 37F
→
02/24 20:21, 2月前 , 38F
黃董都親自點名groq這類晶片很快就過時惹= =
02/24 20:21, 38F
→
02/24 20:21, 2月前 , 39F
dojo都要過氣惹
02/24 20:21, 39F
噓
02/24 21:28, 2月前 , 40F
拿特化的比較是有啥意義
02/24 21:28, 40F
推
02/24 22:53, 2月前 , 41F
特化的又不是沒出現過，都一個一個消失了
02/24 22:53, 41F
推
02/25 06:50, 2月前 , 42F
我覺得特化晶片還是有競爭意義，畢竟LLM也不是經常t
02/25 06:50, 42F
→
02/25 06:50, 2月前 , 43F
rain，剩下大家使用chatgpt 的活都是建立在inferenc
02/25 06:50, 43F
→
02/25 06:50, 2月前 , 44F
e上，所以如果推論的特化晶片好用了，能部署在雲端
02/25 06:50, 44F
→
02/25 06:50, 2月前 , 45F
的話，可以少買很多GPU吧！
02/25 06:50, 45F
推
02/25 12:09, 2月前 , 46F
特化晶片ASIC未來應該有機會成為加分的奇兵
02/25 12:09, 46F
→
02/25 12:09, 2月前 , 47F
但主架構還是要 GPU
02/25 12:09, 47F
推
02/25 16:22, 2月前 , 48F
以後沒有軟體，全刻成IC
02/25 16:22, 48F
→
02/25 16:24, 2月前 , 49F
想玩天堂，就去7-11買ic來插
02/25 16:24, 49F
→
02/25 16:35, 2月前 , 50F
相對而言這種特製的東西只要下一代一出來就整批沒用
02/25 16:35, 50F
→
02/25 16:37, 2月前 , 51F
你覺得做DNA的設備有可能會把設備轉賣給做音樂的嗎?
02/25 16:37, 51F
→
02/25 16:38, 2月前 , 52F
大家都想最快到達終點誰願意慢人一步?
02/25 16:38, 52F
→
02/25 16:39, 2月前 , 53F
功虧一簣懂嗎?
02/25 16:39, 53F
噓
02/25 23:01, 2月前 , 54F
記者寫這什麼洨 功能都搞不清楚 去讀書好嗎
02/25 23:01, 54F
推
02/26 12:29, 2月前 , 55F
但是很多沒本錢搞特化的還是乖乖用GPU
02/26 12:29, 55F
噓
02/26 18:21, 2月前 , 56F
記者沒讀書好可憐 特化的比泛用的還爛建議收一收了
02/26 18:21, 56F
→
02/27 13:11, 2月前 , 57F
等新的演算法出來 特化的就是垃圾了
02/27 13:11, 57F
噓
02/27 15:06, 2月前 , 58F
ASIC輸給通用GPU，那還要ASIC幹嘛?
02/27 15:06, 58F
‣ 更多 pl132 的文章
文章代碼(AID): #1bsLP2Tn (Tech_Job)
‣ 更多 pl132 的文章
文章代碼(AID): #1bsLP2Tn (Tech_Job)