Re: [新聞] 減少依賴輝達 傳微軟將推自研首款AI晶片

看板Stock作者 (嘴砲無雙)時間7月前 (2023/10/08 16:05), 7月前編輯推噓23(25推 2噓 34→)
留言61則, 31人參與, 6月前最新討論串3/3 (看更多)
每次討論到Nvidia 就會引戰， 但是看到一堆不實的指控， 又會讓我忍不住想說明， 然後就引戰刪文，無限循環 先說結論：CUDA 就此打住，再多說就是引戰 這幾家大型軟體公司有自己的晶片與硬體研發團隊已經十幾年以上， 當然有自己的AI晶片一點都不會意外， 就以新聞說的微軟來討論， 微軟AI晶片主要有兩個項目: OpenAI, Cloud OpenAI 用的晶片是微軟跟AMD合作， 由AMD主力開發賣給微軟 Cloud的部分才是新聞說的首款自製晶片， 這款自製晶片的研發團隊由兩個主力組成: xbox硬體團隊 + 原snapdragon cpu core團隊， 原snapdragon cpu core團隊被高通整組裁員之後全部被微軟收下， 改作微軟Cloud 的晶片, xbox硬體團隊除了xbox之外， 比較有名的是hololen project, 這個團隊實力很強， 做出來的AI晶片應該是不錯, 不過微軟很多時候做硬體只是為了殺價用， 讓人懷疑他們自己軟體部門是否會願意使用這款自製的晶片 同樣情況Amazon AWS有一堆自製的晶片與硬體， 最有名的是AWS ARM CPU 跟 lab126, 同樣的Google Cloud 也有一堆自制晶片與硬體， 甚至安卓/pixel/nest 也有一堆自製晶片， 所以不要以為市場只有Nvidia 能做AI晶片， 這些大型軟體公司都有能力做AI晶片， 效能都不輸Nvidia， 問題在CUDA (我不多做解釋了) ※ 引述《Lushen (pttlushen)》之銘言： : 上次台裔Google科學家紀懷新Ed H. Chi (L9)來台灣接受訪問的時候就有談到這個: : 今天記者會上，紀懷新也解密，其實 Google 在訓練 AI 時，100% 使用的都是自家的 : TPU，「Google 很早就在 AI 領域投入了大量資源，包括硬體，包括裡頭的數學、算法等 : ，這些都是我們的強項。」 並不是100% 使用的都是自家的TPU， 最多就只是他的部門的某一兩個project 用自家的TPU, 我沒有詳細數字， 但是我猜大概50%用自家的TPU 原因很簡單， 自家的TPU是對自家特殊的算法做加速, 每個TPU的設計都不同，不能共用， 比方說， 現在最熱門的LLM需要極大的記憶體空間， 對運算速度需求反而不是最大瓶頸， 所以會有一款特製TPU把記憶體拉到最大來符合LLM需要， 但是這款TPU拿去做search, youtube 圖像辨識等等卻又不適用了， 並不是每個算法與專案項目都有相對應的TPU， 可能難度過大或是需要的資源過多， 也有可能這個專案只需要一些機器就夠用， 也有可能這個專案只需要一次性短時間train data, 所以很多算法與專案項目是直接拿Nvidia or AMD GPU : Google 2023 最新的論文 : TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with : Hardware Support for Embeddings : Abstract : 1.2x–1.7x faster and uses : 1.3x–1.9x less power than the Nvidia A100 客製化的TPU or ASIC一定比GPU快， 某些TPU在某些特殊算法上面的應用甚至比H100 快很多， 但是這些TPU or ASIC並不是通用AI 晶片， 無法通用在各式各樣的算法與應用 : 大公司自己搞這些東西沒問題 : 沒資源搞這些有的沒的 還是只能跟Nvidia買沒衝突 : 至於什麼生態 : 大公司完全可以自己在公司搞一套自己專用的工具 : 進來的人自然會想辦法學會這套工具怎麼用 : https://www.inside.com.tw/article/32510-Google-Bard-Ed : 微軟要搞鏟子好啊 : 還是只能找台積電代工 : 代工鏟子94舒服 : ※ 引述《jerrychuang ()》之銘言： : : 原文標題： : : 減少依賴輝達 傳微軟將推自研首款AI晶片 : : 原文連結： : : https://ec.ltn.com.tw/article/breakingnews/4451397 : : 發布時間： : : 2023/10/07 11:13 : : 記者署名： : : 原文內容： : : 〔財經頻道／綜合報導〕根據《The Information》報導，微軟（Microsoft）可能下個月 : : 在其年度開發者大會上，推出首款專為人工智慧 （AI）設計的晶片。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1696752319.A.D76.html
推
10/08 16:07, 7月前 , 1F
CUDA只是一個語言.要取代很容易
10/08 16:07, 1F
推
10/08 16:08, 7月前 , 2F
蘋果只是一種手機 要取代很容易?
10/08 16:08, 2F
推
10/08 16:09, 7月前 , 3F
晶片只是一堆砂子 要取代很容易
10/08 16:09, 3F
推
10/08 16:11, 7月前 , 4F
長久下來還是會不斷有人試著用ASIC
10/08 16:11, 4F
→
10/08 16:11, 7月前 , 5F
那你慢慢取代 我都賺爛了10幾年後你再開始賺
10/08 16:11, 5F
→
10/08 16:21, 7月前 , 6F
CUDA是框架吧？Linux: fxxx you NV
10/08 16:21, 6F
→
10/08 16:22, 7月前 , 7F
怎沒人弄一個開源的？還是都寄望OpenCL?不可能吧
10/08 16:22, 7F
→
10/08 16:25, 7月前 , 8F
不過玩大顆GPU的其他大廠也只有AMD、牙膏，他們不合
10/08 16:25, 8F
→
10/08 16:25, 7月前 , 9F
作搞開源新框架，其他廠就是繼續自己開ic
10/08 16:25, 9F
推
10/08 16:25, 7月前 , 10F
可以參考George Hotz的想法
10/08 16:25, 10F
→
10/08 16:26, 7月前 , 11F
他講過AMD驅動就是爛到爆 軟體爛
10/08 16:26, 11F
→
10/08 16:27, 7月前 , 12F
一堆想搞ai晶片的思路是錯的 要從軟體先下手
10/08 16:27, 12F
推
10/08 16:30, 7月前 , 13F
1F嘴砲誰不會？ 這麼多年有人取代了？
10/08 16:30, 13F
推
10/08 16:35, 7月前 , 14F
10/08 16:35, 14F
→
10/08 16:35, 7月前 , 15F
23/05/24/the-tiny-corp-raised-5M.html
10/08 16:35, 15F
推
10/08 16:40, 7月前 , 16F
一堆新創ai晶片多少死掉 根本騙投資人 重點是讓現
10/08 16:40, 16F
→
10/08 16:40, 7月前 , 17F
有的軟體無腦運作順暢在你的晶片
10/08 16:40, 17F
→
10/08 16:42, 7月前 , 18F
通常開源的缺點就是驅動力不足,優點也是沒驅動力的
10/08 16:42, 18F
→
10/08 16:42, 7月前 , 19F
情況下
10/08 16:42, 19F
→
10/08 16:58, 7月前 , 20F
像IOS的生態? NV也創建自己的生態
10/08 16:58, 20F
→
10/08 17:03, 7月前 , 21F
生態圈是幾萬幾十萬開發者的力量 你要一家公司對幹
10/08 17:03, 21F
→
10/08 17:04, 7月前 , 22F
你要嘛證明說你有成倍的提升 要嘛你更簡單好用上手
10/08 17:04, 22F
→
10/08 17:05, 7月前 , 23F
不然你就要降價夠便宜讓其他公司跟你租
10/08 17:05, 23F
→
10/08 17:22, 7月前 , 24F
1F嘴砲 csp用自己的晶片不可能完全取代gpu的
10/08 17:22, 24F
推
10/08 17:53, 7月前 , 25F
1F是我看過今天最好笑的話，完美的展現出對軟體業
10/08 17:53, 25F
→
10/08 17:53, 7月前 , 26F
的無知
10/08 17:53, 26F
推
10/08 19:46, 7月前 , 27F
黃董說過：NVDA是軟體公司。知道了吧？
10/08 19:46, 27F
推
10/08 20:18, 7月前 , 28F
C++也是一種語言 要取代很容易XD
10/08 20:18, 28F
→
10/08 21:42, 7月前 , 29F
我在等tinygrad超猛電腦只要15000鎂
10/08 21:42, 29F
推
10/08 21:44, 7月前 , 30F
可以先預購 超便宜的啦
10/08 21:44, 30F
推
10/08 21:45, 7月前 , 31F
台積電也只是一家公司，要取代很容易
10/08 21:45, 31F
推
10/08 22:06, 7月前 , 32F
1F是在反串嗎嚇死了
10/08 22:06, 32F
推
10/08 22:08, 7月前 , 33F
其實AMD也有在搞 但是沒有CUDA 加上一堆演算法專家
10/08 22:08, 33F
→
10/08 22:08, 7月前 , 34F
不去支援 所以CUDA就讀大了!
10/08 22:08, 34F
推
10/08 22:55, 7月前 , 35F
微軟今年初已經把整個cpu core團隊裁掉了…
10/08 22:55, 35F
能做事比不上政治正確, 這件事我十年前就看破了, 十年前明明做出64bit kryo, 卻因為政治問題被上層壓著不出反而去用ARM IP, 之後卻把過錯怪在這個組上面大裁員, 當時我就看破離開, IP 組沒掛revenue 的都是這樣任人宰割, 後來他們約我去微軟開發AI 晶片, 但是我進去之後還是覺得這條路不是辦法, 必須要自己掌握住revenue 跟 end product 才行, 所以我又離開了 現在他們加入ARM 應該會比較好一點, 在Jeff 下面有他保護著, 不會有這些政治問題, Jeff 是個好人, 也跟我一起流浪到這幾個組, 他算是自己人, 也很了解他們的政治問題
噓
10/08 23:14, 7月前 , 36F
CUDA弄開源XDDD 我看你逆向工程要做到哪時
10/08 23:14, 36F
推
10/09 00:22, 7月前 , 37F
你忘了推TQQQ
10/09 00:22, 37F
→
10/09 00:35, 7月前 , 38F
那為啥tesla要搞dojo？這些在台面上的都富可敵國，
10/09 00:35, 38F
→
10/09 00:35, 7月前 , 39F
請foundry代工後自用，針對自己的應用優化設計，也
10/09 00:35, 39F
→
10/09 00:35, 7月前 , 40F
不對外銷售，nv想阻擋都無從下手。這幾家開始
10/09 00:35, 40F
→
10/09 00:35, 7月前 , 41F
tape out就是現在進行式
10/09 00:35, 41F
推
10/09 00:50, 7月前 , 42F
很多地方很精闢喔 他們的SoC團隊跟DDR團隊很有實力
10/09 00:50, 42F
推
10/09 01:44, 7月前 , 43F
CUDA 應該是類似編譯器
10/09 01:44, 43F
推
10/09 01:50, 7月前 , 44F
那還是皮衣刀客有遠見啊
10/09 01:50, 44F
※ 編輯: waitrop (76.103.225.6 美國), 10/09/2023 04:55:21
推
10/09 08:17, 7月前 , 45F
看CUDA的歷史 十幾年前就開始推了 用習慣很難跳吧
10/09 08:17, 45F
→
10/09 08:17, 7月前 , 46F
除非有足夠誘因 更便宜 更好用之類的
10/09 08:17, 46F
推
10/09 08:30, 7月前 , 47F
只是一個語言(笑爛
10/09 08:30, 47F
推
10/09 11:48, 7月前 , 48F
把軟體做好對一群vendors 來說是很困難的.. 誰不想
10/09 11:48, 48F
→
10/09 11:48, 7月前 , 49F
往大型軟體公司跳..
10/09 11:48, 49F
推
10/09 22:36, 6月前 , 50F
不是政治問題吧 而是cp問題 用別人的ip划算就不用
10/09 22:36, 50F
→
10/09 22:36, 6月前 , 51F
自己養 ip廠當然就沒這個問題
10/09 22:36, 51F
推
10/09 23:07, 6月前 , 52F
tesla開dojo兩個原因
10/09 23:07, 52F
→
10/09 23:07, 6月前 , 53F
1.tesla focus 在自駕 應用相當狹隘 適合自己開ADIC
10/09 23:07, 53F
→
10/09 23:07, 6月前 , 54F
2.Musk本來就是很愛搞新項目的人 他想試試看
10/09 23:07, 54F
→
10/09 23:08, 6月前 , 55F
但tesla終究在遇到非自駕的部分 還是要回來買H100
10/09 23:08, 55F
→
10/10 07:52, 6月前 , 56F
問題在產量和整合問題，自製晶片整合要靠自己
10/10 07:52, 56F
→
10/10 07:52, 6月前 , 57F
只有大公司才玩得起，但AI是個百家爭鳴的時代
10/10 07:52, 57F
→
10/10 07:53, 6月前 , 58F
大家都在挖礦，賣鏟子的比起自製鏟子關起門來挖的
10/10 07:53, 58F
→
10/10 07:53, 6月前 , 59F
優勢還是大多了
10/10 07:53, 59F
噓
10/10 19:54, 6月前 , 60F
並頒發這些大公司內部都有自己的開發框架，用不
10/10 19:54, 60F
→
10/10 19:54, 6月前 , 61F
用CUDA根本不是問題！
10/10 19:54, 61F
‣ 更多 waitrop 的文章
文章代碼(AID): #1b8cA_rs (Stock)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 3 之 3 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共3篇)
‣ 更多 waitrop 的文章
文章代碼(AID): #1b8cA_rs (Stock)