Re: [討論] AI晶片已刪文
現在業界單純說AI晶片是太籠統的說法了，
為了獲得最高效能與最高CP值，
業界把AI晶片細分成以下幾類，
1. Training 訓練:
這是目前業界最難做的部分，
目前只有Nvidia 跟 Google TPU 有量產並且是大規模用在資料中心，
基本上Training 需要用到的算力是Inference 的百倍到百萬倍以上，
這塊主要是用大量的資料來訓練出最佳深度學習模型
2. Inference 推理:
這塊是目前大部分的公司與新創公司最想要做的部分，
畢竟算力要求比Training低很多，
但是需求的量卻是Training的百萬倍以上，
這塊也是你我大部分人每天在接觸的AI晶片，
主要是拿已有深度學習模型來套用即時資料得到即時結果，
比方說手機裡頭的AI晶片: Google tensor, Huawei NPU 等，
監視器(尤其中國出產的)裏頭的即時人臉辨識, 天網系統，
自駕車裡頭的即時自駕運算晶片，
另一種說法，就是 edge computing,
當然Inference 推理不完全等於 edge computing，
因為很多資料中心還是會用Inference 推理晶片來做Training/Inference,
但是edge computing就一定是Inference，
然後ㄋ，這又可以因為演算法與應用的不同，
而又更細分不同應用的AI晶片，
目前最成熟也是最精準的就是影像應用的AI晶片，
精准度可到99.x%,
這也是中國最大力推動的部分，
例子就是我前面說的人臉辨識, 天網系統, 自駕車, 手機等，
目前你看到中國甚至是大部分的新創公司，都是做這塊，
中國甚至在一些地方可以得到更高的效能跟更精準的結果
但是還是有非常多不同的應用與需求，
比方說自然語言處理，
包含文字或是語音的處理，
這塊目前的發展就相對不理想，
不論是效能或是精準度都不理想，
不信你去玩一下一堆線上語音幫助系統，你就知道我說的，
但是這塊需求很大，
想想看接客服電話的工作就是個例子，
還有更多的應用，像是Ptt灌水機器人，
臉書發言省查系統等，
目前這塊只有Nvidia Google TPU兩家有晶片
然後還有一些非常特殊也相對冷門的AI晶片，
像是 youtube argos chip
https://9to5google.com/2021/04/22/youtube-google-custom-chip/
Smart NIC 等...
※ 引述《sheepmanager (AI專家)》之銘言：
: 這我來回答吧
: AI晶片一般是指用來加速深度學習模型推理的晶片
: 如果是訓練通常還是利用Gpu 因為生態系比較成熟
: 那麼深度學習推理時間會耗在哪裡呢
: 通常就是convolution 或是Gemm
: 當然convolution 可以透過線性代數幾次的轉換
: 變成gemm 這也是一門學問
: 所以矩陣相乘等於是最重要的運算了
: 你只要能加速這麼簡單的東西
: 就能號稱你在做AI晶片了
: 不斷的堆硬體上去 性能就出來了
: 甚至有些公司走火入魔
: 連非矩陣運算的指令都做了
: 因為深度學習的模型越來越大
: 所以並行去運算矩陣相乘就是很重要的事了
: 你的硬體並行時 耗電跟降頻做得夠好的話
: 就能有點能見度了 現在中國的新創沒有一家做到的
: 所以就有一些人腦袋動到光計算上面
: 訊號轉成光能計算 算完再轉回電
: 但這非常的不穩定 基本上也是不可能回收成本
: 好了 你說這麼簡單的話 那也很容易啊
: 然而 深度學習在運行過程中 還有一個很大的耗損
: 就是算子與算子之間的資料傳輸
: 用硬體加速過後 每個算子的時間大幅縮短
: 但是彼此之間的memory copy仍然耗損嚴重
: 於是cache或是local memory變的異常重要
: 算子與算子之間的fusion做得好
: 搭配上速度夠快又大的memory基本上也很厲害了
: 中國那一堆新創耗電降頻不行
: 現在就往這方向拼命做
: 那麼AI晶片前景怎麼樣呢
: 老實說 前景是死路一條
: CPU GPU 大公司都在從自家指令來優化模型
: 或是直接配上特殊資料格式 如tf32 fp8
: 華為的c4比起來就是個花拳繡腿 還推行不起來
: 我現在底下50多人就在做未來的方向
: 從模型優化演算法 記憶體策略 框架
: 到底層assembly加速 完整的一套方案
: 如果你有關注一些新的paper
: 優化到最後 對比常用硬體 AI晶片根本沒有優勢
: 就像挖礦沒有收益時的礦機一樣
: 純電子垃圾
: ※ 引述《QQmickey》之銘言
: : 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: : 自己也是理工背景 但是想問科技版的大大們
: : 這是真的嗎?
: : 我所學的 覺得不太可能
: : 雖然很多事很難講 已知用火
: : 諾貝爾物理獎也一堆錯的
: : 難道是神學
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 24.5.140.67 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1663469201.A.93F.html
推
09/18 12:35,
3年前
, 1F
09/18 12:35, 1F
看你怎麼定義AI 晶片,
狹義定義當然Smart Nic 不是 AI 晶片,
廣義定義所有AI 晶片都是硬體加速器 Accelerator,
Smart Nic 當然算是Accelerator,
而且你也不知道Smart Nic 裏頭偷藏了甚麼東西,
搞不好主動幫你濾過關鍵字跟特定網站/ip,
充分展現天網價值
→
09/18 12:47,
3年前
, 2F
09/18 12:47, 2F
→
09/18 12:47,
3年前
, 3F
09/18 12:47, 3F
→
09/18 12:55,
3年前
, 4F
09/18 12:55, 4F
→
09/18 12:57,
3年前
, 5F
09/18 12:57, 5F
那個充其量就是個coprocessor,
類似neon, vfp這種,
跟專屬的tensor/NPU 比起來, 效能還是差很多,
推
09/18 13:01,
3年前
, 6F
09/18 13:01, 6F
→
09/18 13:03,
3年前
, 7F
09/18 13:03, 7F
推
09/18 13:16,
3年前
, 8F
09/18 13:16, 8F
推
09/18 13:18,
3年前
, 9F
09/18 13:18, 9F
→
09/18 13:19,
3年前
, 10F
09/18 13:19, 10F
推
09/18 15:28,
3年前
, 11F
09/18 15:28, 11F
→
09/18 15:51,
3年前
, 12F
09/18 15:51, 12F
edge 需求量很大, 尤其在中國, 你知道的,
全世界的手機現在幾乎都需要一顆影像處理AI晶片, 幾乎每家都有,
以後自駕車普及的話也是每台車要好幾顆這種即時影像處理晶片,
價格我不熟
→
09/18 15:51,
3年前
, 13F
09/18 15:51, 13F
推
09/18 16:03,
3年前
, 14F
09/18 16:03, 14F
以研發人員的進入門檻而言,
不論是data center 或是 edge computing 都是一樣的門檻,
就是CPU/GPU技術背景,
基本上目前全世界在做AI晶片的人都是做CPU 或 GPU出身的,
但是邊緣運算 絕對不是類CPU這麼簡單,
裏頭硬體設計最複雜的是多核處理(遠比CPU多很多得多核),
用數學的說法就是矩陣運算硬體實現,
還有 memory cache bus 等非常複雜
推
09/19 04:10,
3年前
, 15F
09/19 04:10, 15F
我只知道 Jim Keller 到這家公司當CTO,
其他的我不清楚
※ 編輯: waitrop (24.5.140.67 美國), 09/19/2022 04:55:31
推
09/19 09:08,
3年前
, 16F
09/19 09:08, 16F
推
09/19 22:27,
3年前
, 17F
09/19 22:27, 17F
推
09/20 00:33,
3年前
, 18F
09/20 00:33, 18F
→
09/20 00:34,
3年前
, 19F
09/20 00:34, 19F
→
09/20 00:34,
3年前
, 20F
09/20 00:34, 20F
推
09/21 00:36,
3年前
, 21F
09/21 00:36, 21F
討論串 (同標題文章)
本文引述了以下文章的的內容：
討論
19
105
以下文章回應了本文：
討論
5
12
完整討論串 (本文為第 4 之 5 篇)：
討論
5
12
討論
11
21
討論
-9
26
討論
19
105
討論
11
35