Re: [討論] AI晶片

看板Tech_Job作者 (AI專家)時間1年前 (2022/09/18 00:55), 編輯推噓19(27推 8噓 70→)
留言105則, 39人參與, 1年前最新討論串2/5 (看更多)
這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm 當然convolution 可以透過線性代數幾次的轉換 變成gemm 這也是一門學問 所以矩陣相乘等於是最重要的運算了 你只要能加速這麼簡單的東西 就能號稱你在做AI晶片了 不斷的堆硬體上去 性能就出來了 甚至有些公司走火入魔 連非矩陣運算的指令都做了 因為深度學習的模型越來越大 所以並行去運算矩陣相乘就是很重要的事了 你的硬體並行時 耗電跟降頻做得夠好的話 就能有點能見度了 現在中國的新創沒有一家做到的 所以就有一些人腦袋動到光計算上面 訊號轉成光能計算 算完再轉回電 但這非常的不穩定 基本上也是不可能回收成本 好了 你說這麼簡單的話 那也很容易啊 然而 深度學習在運行過程中 還有一個很大的耗損 就是算子與算子之間的資料傳輸 用硬體加速過後 每個算子的時間大幅縮短 但是彼此之間的memory copy仍然耗損嚴重 於是cache或是local memory變的異常重要 算子與算子之間的fusion做得好 搭配上速度夠快又大的memory基本上也很厲害了 中國那一堆新創耗電降頻不行 現在就往這方向拼命做 那麼AI晶片前景怎麼樣呢 老實說 前景是死路一條 CPU GPU 大公司都在從自家指令來優化模型 或是直接配上特殊資料格式 如tf32 fp8 華為的c4比起來就是個花拳繡腿 還推行不起來 我現在底下50多人就在做未來的方向 從模型優化演算法 記憶體策略 框架 到底層assembly加速 完整的一套方案 如果你有關注一些新的paper 優化到最後 對比常用硬體 AI晶片根本沒有優勢 就像挖礦沒有收益時的礦機一樣 純電子垃圾 ※ 引述《QQmickey》之銘言 : 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的 : 自己也是理工背景 但是想問科技版的大大們 : 這是真的嗎? : 我所學的 覺得不太可能 : 雖然很多事很難講 已知用火 : 諾貝爾物理獎也一堆錯的 : 難道是神學 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.1.30 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1663433702.A.04B.html
推
09/18 01:07, 1年前 , 1F
推！
09/18 01:07, 1F
推
09/18 01:11, 1年前 , 2F
推
09/18 01:11, 2F
推
09/18 01:16, 1年前 , 3F
電子垃圾那幹嗎做??大數據之前就有了
09/18 01:16, 3F
推
09/18 01:20, 1年前 , 4F
而且優化到最後ai不是會自算嗎??
09/18 01:20, 4F
推
09/18 01:27, 1年前 , 5F
推
09/18 01:27, 5F
→
09/18 01:34, 1年前 , 6F
疑惑？哪個做AI晶片的不最佳化暫存器不最佳化快取的
09/18 01:34, 6F
推
09/18 01:49, 1年前 , 7F
請問最近Graphcore的IPU有搞頭嗎？
09/18 01:49, 7F
→
09/18 01:58, 1年前 , 8F
老闆請問有缺人嗎?
09/18 01:58, 8F
推
09/18 02:01, 1年前 , 9F
涼
09/18 02:01, 9F
推
09/18 02:19, 1年前 , 10F
謝謝補充說明
09/18 02:19, 10F
推
09/18 02:32, 1年前 , 11F
涼
09/18 02:32, 11F
推
09/18 02:53, 1年前 , 12F
有缺人嗎(舉手
09/18 02:53, 12F
→
09/18 03:01, 1年前 , 13F
說穿了Ai晶片只是GPU的subset
09/18 03:01, 13F
→
09/18 03:03, 1年前 , 14F
GPU DSP VPU NPU TPU 科科
09/18 03:03, 14F
推
09/18 03:35, 1年前 , 15F
用asic做不贏gpu cpu based的ai晶片，倒一倒算了
09/18 03:35, 15F
推
09/18 03:42, 1年前 , 16F
BIREN的BR100/BR104 你評價如何?
09/18 03:42, 16F
推
09/18 04:33, 1年前 , 17F
ASIC做不贏收收會好點 現在問題不是做不贏 是時候還
09/18 04:33, 17F
→
09/18 04:33, 1年前 , 18F
沒到
09/18 04:33, 18F
推
09/18 06:10, 1年前 , 19F
唉，將帥無能累死三軍就是這樣...明明能賺錢的東東
09/18 06:10, 19F
→
09/18 06:10, 1年前 , 20F
自以為垃圾
09/18 06:10, 20F
推
09/18 07:11, 1年前 , 21F
推
09/18 07:11, 21F
推
09/18 08:56, 1年前 , 22F
大公司都有AI processor 像tpu等 cpu/gpu/tpu很難
09/18 08:56, 22F
→
09/18 08:56, 1年前 , 23F
互相取代
09/18 08:56, 23F
→
09/18 08:57, 1年前 , 24F
同意樓樓上
09/18 08:57, 24F
→
09/18 08:58, 1年前 , 25F
你自己不行 希望你底下的人能取代你
09/18 08:58, 25F
推
09/18 09:06, 1年前 , 26F
看不出是真的還是唬爛的 只看的出想被喊"大大你好厲
09/18 09:06, 26F
→
09/18 09:06, 1年前 , 27F
害"哈
09/18 09:06, 27F
推
09/18 09:09, 1年前 , 28F
你意思是給你50人，然後你做出垃圾嗎
09/18 09:09, 28F
→
09/18 09:09, 1年前 , 29F
你哪個部門說一下 我不敢去...
09/18 09:09, 29F
推
09/18 09:17, 1年前 , 30F
推電子垃圾
09/18 09:17, 30F
噓
09/18 09:35, 1年前 , 31F
這個人的文章 可信度存疑 給噓
09/18 09:35, 31F
推
09/18 10:02, 1年前 , 32F
MIT 韓那個lab看一看抄一抄搭上台積電很難嗎
09/18 10:02, 32F
噓
09/18 10:08, 1年前 , 33F
那個未來的方向早就做好幾年了,一聽就知道你不是那
09/18 10:08, 33F
→
09/18 10:09, 1年前 , 34F
方面背景的,只是年資長就被不懂的人資抓去當大頭
09/18 10:09, 34F
→
09/18 10:10, 1年前 , 35F
呵 好幾年 怎麼減小transformer的sequence說來聽聽
09/18 10:10, 35F
→
09/18 10:10, 1年前 , 36F
你有top conference嗎
09/18 10:10, 36F
→
09/18 10:27, 1年前 , 37F
這種優化還要搭配硬體 PTT臥虎藏龍啊 還能早好幾年
09/18 10:27, 37F
→
09/18 10:27, 1年前 , 38F
做出新硬體並軟硬配合 看來data center cpu gpu
09/18 10:27, 38F
→
09/18 10:27, 1年前 , 39F
都是台廠天下了 但市佔率好像是0欸
09/18 10:27, 39F
還有 26 則推文
→
09/18 14:34, 1年前 , 66F
一定不是大公司的,八成就是待過大公司跳到小公司
09/18 14:34, 66F
→
09/18 14:35, 1年前 , 67F
或竹北中資騙騙錢那種等級的
09/18 14:35, 67F
→
09/18 14:35, 1年前 , 68F
呵呵 讓你酸又不要緊 我可不想被認出來 比起一個徵
09/18 14:35, 68F
→
09/18 14:35, 1年前 , 69F
友徵四年的人 我還是蠻注重隱私的
09/18 14:35, 69F
→
09/18 14:52, 1年前 , 70F
講top conf外行? 不如你先說自己發幾篇吧 不是很水?
09/18 14:52, 70F
→
09/18 14:57, 1年前 , 71F
不公開 整個社群哪會進步? github都是佛心來的?
09/18 14:57, 71F
→
09/18 15:38, 1年前 , 72F
確實挺佛心的
09/18 15:38, 72F
噓
09/18 16:43, 1年前 , 73F
先贏得了耐能再來說嘴
09/18 16:43, 73F
噓
09/18 18:19, 1年前 , 74F
口憐喔，還沒退休...
09/18 18:19, 74F
推
09/18 18:31, 1年前 , 75F
09/18 18:31, 75F
→
09/18 19:03, 1年前 , 76F
就連不是做電路端做材料的都知道你講的問題解答在哪
09/18 19:03, 76F
→
09/18 19:03, 1年前 , 77F
你到底多久沒看文獻...
09/18 19:03, 77F
→
09/18 20:28, 1年前 , 78F
哇你知道問題解答在哪好厲害 Nvidia的秘密都被你挖
09/18 20:28, 78F
→
09/18 20:28, 1年前 , 79F
出來了 NV記憶體存取的專利就是這產業最有價值的東
09/18 20:28, 79F
→
09/18 20:28, 1年前 , 80F
西 你看看文獻就能找到 intel amd的人都不如你呢
09/18 20:28, 80F
→
09/18 20:28, 1年前 , 81F
想必是個fellow吧
09/18 20:28, 81F
→
09/18 20:30, 1年前 , 82F
Raja Mike hong 都解決不掉的問題 你查文獻就能查
09/18 20:30, 82F
→
09/18 20:30, 1年前 , 83F
到欸 奇才啊
09/18 20:30, 83F
→
09/18 20:32, 1年前 , 84F
啊不對 連jim keller 這種傳奇人物都沒處理掉這問
09/18 20:32, 84F
→
09/18 20:32, 1年前 , 85F
題 你一個材料專業的人吊打這些大神喔
09/18 20:32, 85F
→
09/18 20:39, 1年前 , 86F
連citadel這種頂級投行找了專業的人去研究nv硬體的
09/18 20:39, 86F
→
09/18 20:39, 1年前 , 87F
行為 最後的分析報告也沒能觸碰到核心 你說看文獻
09/18 20:39, 87F
→
09/18 20:39, 1年前 , 88F
就可以了 太神了
09/18 20:39, 88F
推
09/19 09:31, 1年前 , 89F
我也不看好 XD
09/19 09:31, 89F
→
09/19 21:17, 1年前 , 90F
他就是之前工作十年 美商主管職哥啊 呵呵
09/19 21:17, 90F
推
09/20 01:12, 1年前 , 91F
Top conference 都嘛做完 賺完錢去秀肌肉的
09/20 01:12, 91F
→
09/20 01:16, 1年前 , 92F
現在問題是market 做了要賣誰？ 做了會不會被卡 能
09/20 01:16, 92F
→
09/20 01:16, 1年前 , 93F
做AI針對某NN專用IC的公司數起來都沒幾家
09/20 01:16, 93F
推
09/20 01:17, 1年前 , 94F
Special purpose的電路效能會輸general purpose，
09/20 01:17, 94F
→
09/20 01:17, 1年前 , 95F
聽起來就不合理
09/20 01:17, 95F
→
09/20 01:18, 1年前 , 96F
TVM卡了好一陣了 說實話概念好 但很難推
09/20 01:18, 96F
→
09/20 01:19, 1年前 , 97F
是啊 但誰會那麼做 那來市場可賣？
09/20 01:19, 97F
→
09/20 01:22, 1年前 , 98F
Top conference 硬體相關的一堆都在玩bit … 壓縮
09/20 01:22, 98F
→
09/20 01:22, 1年前 , 99F
XD 做NN也ㄧ堆搞這個…. 真正做AIC的人都知道這不是
09/20 01:22, 99F
→
09/20 01:22, 1年前 , 100F
這樣搞啊
09/20 01:22, 100F
推
09/21 00:20, 1年前 , 101F
推！
09/21 00:20, 101F
→
09/21 15:07, 1年前 , 102F
誰跟你比電路效能 最後都是整網性能下去看 硬體性
09/21 15:07, 102F
→
09/21 15:07, 1年前 , 103F
能再強也強不過直接從模型優化
09/21 15:07, 103F
推
09/22 05:18, 1年前 , 104F
現在都是ㄧ起做好嗎？ 這也是很多公司搞得不上不下
09/22 05:18, 104F
→
09/22 05:18, 1年前 , 105F
死在沙灘上的原因
09/22 05:18, 105F
‣ 更多 sheepmanager 的文章
文章代碼(AID): #1Z9Vlc1B (Tech_Job)
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
討論
11
21
Re: [討論] AI晶片 Re: AI晶片
waitrop
1年前, 09/18
完整討論串 (本文為第 2 之 5 篇)：
排序： 最舊先 | 最新先 | 留言數
討論
11
35
[討論] AI晶片 AI晶片
QQmickey
1年前, 09/17
討論
11
21
Re: [討論] AI晶片 Re: AI晶片
waitrop
1年前, 09/18
在新視窗開啟完整討論串 (共5篇)
‣ 更多 sheepmanager 的文章
文章代碼(AID): #1Z9Vlc1B (Tech_Job)