[討論] 谷歌的SoC/IPU: Pixel Visual Core

看板MobileComm作者 (OCISLY)時間6年前 (2017/10/17 23:18), 6年前編輯推噓41(41推 0噓 32→)
留言73則, 35人參與, 6年前最新討論串1/1
趁新鮮趕緊寫一寫發發 首先, 容許小弟我先自爽一下吧 雖然它被稱為SoC 但我之前看法是正確的 This is Google's Pixel Visual Core. https://i.imgur.com/n55guav.jpg
這就是盛傳(算有嗎?)谷歌自行設計的SoC, 目前沉睡在Pixel 2母板上 雖然有稱SoC 它不是你第一印象想到的手機全家桶的SoC平台 它上頭是有顆ARM A53低電耗核心 另外搭配8顆IPU核心 (Image Processing Unit) 馬力每秒大達 3 teraflops (就稍稍笑一笑昨日才高調發布AI硬體的某家大企業啦) 上頭還有內建LPDDR4 RAM MIPI M-PHY lane 應該是接相機 PCIe 應該是接 真●SoC SnapDragon835 (真失策, 一直不知道835有配一條PCIe渠道) 它的首項應用就是在HDR+成像處理, Pixel 2上HDR+成像速度"將會"比傳統CPU方案快5x 且省9成電 我說將是因為目前Pixel Visual Core是處於擺設品狀態 目前尚未被啟用 幾個月後會透過OTA啟用 Oreo 8.1的DP將會提供新camera API 讓三方開發者也能夠達成HDR+照片 雖然它叫IPU 又稱Pixel Visual Core, 看似都與視覺有關 但谷歌目前大格局方向明確 這其實就是移動版TPU了 文稿有說Pixel Visual Core "設計來應付最有挑戰性的圖像與機器學習[ML]應用" 谷歌也已經在"準備下一系列適用於"此硬體的應用方案 == 此SoC非彼SoC也 自己設計一顆獨立IC 用來催促/引領出谷歌想要的AI方案 這樣就不必和高通對撞 也不必去趟手機SoC渾水啦 至於為何這麼說, 請參閱不久前駁斥說谷歌不太可能推出SoC的文章內提到的內容 #1PtBheec -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.51.86.189 ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1508253513.A.8E1.html
推
10/17 23:22, 6年前 , 1F
這顆只用來做HDR+跟google lens的處理嗎？如果是移
10/17 23:22, 1F
→
10/17 23:22, 6年前 , 2F
動版tpu這麼感覺會不太夠力
10/17 23:22, 2F
別忘了 谷歌骨子是網路公司 Lens多是在遙遠的一方 但有經初步處理 每秒3000000000000flops 不慢了 何況在手機晶片上 昨日高調發佈將手機嵌在主機板那顆NPU是1.9 : 3.0 tflops 兩者都沒說是基於那個fp 暫時先當默認的half-precision 也別忘了谷歌衝很快 發布會當天有提及的autoML 新一版 認物體就從32b降為23.2bflops 還提升了1%準確性
推
10/17 23:23, 6年前 , 3F
首推
10/17 23:23, 3F
→
10/17 23:23, 6年前 , 4F
哎呀一樓被搶走了
10/17 23:23, 4F
→
10/17 23:27, 6年前 , 5F
一樓，神經網路在訓練的確需要非常高的資源
10/17 23:27, 5F
→
10/17 23:27, 6年前 , 6F
但是等他訓練好了之後會把吸納的精華寫成"武功秘笈"
10/17 23:27, 6F
→
10/17 23:27, 6年前 , 7F
讓一般功力不深的一般人(也就是行動版TPU)
10/17 23:27, 7F
→
10/17 23:27, 6年前 , 8F
也可以一樣化葫蘆，用較少資源就得到大師數十年功力
10/17 23:27, 8F
推
10/17 23:30, 6年前 , 9F
谷歌拍照強大的演算法又要更強了
10/17 23:30, 9F
推
10/17 23:31, 6年前 , 10F
開啟後相機會不會突破天際
10/17 23:31, 10F
推
10/17 23:31, 6年前 , 11F
所以這個是獨立的影像演算晶片？再透過PCIe與SoC連
10/17 23:31, 11F
→
10/17 23:31, 6年前 , 12F
接？
10/17 23:31, 12F
推
10/17 23:32, 6年前 , 13F
雖然我很信任Google但是麥克風永遠開啟跟這個
10/17 23:32, 13F
→
10/17 23:32, 6年前 , 14F
我覺得拿pixel真的最好別亂幹壞事
10/17 23:32, 14F
壞事嘛 即時在待機時 本地辨認2萬首歌曲 他們算蠻謹慎的 home mini少數誤判觸碰 發現當天取樣品 隔天完成OTA禁用 再隔天決定直接閹掉觸碰功能
推
10/17 23:32, 6年前 , 15F
這應該是一個可編程的晶片
10/17 23:32, 15F
→
10/17 23:32, 6年前 , 16F
可用作TPU也可用作HDR+演算
10/17 23:32, 16F
可編程是重點
推
10/17 23:34, 6年前 , 17F
主要目的應該是為了Machine Learning吧?
10/17 23:34, 17F
推
10/17 23:35, 6年前 , 18F
推，不過看起來主要是用韌體實作功能而非特殊硬體？
10/17 23:35, 18F
推
10/17 23:37, 6年前 , 19F
等等別理我，我先查一下資料
10/17 23:37, 19F
推
10/17 23:38, 6年前 , 20F
推 m大真的專業
10/17 23:38, 20F
推
10/17 23:43, 6年前 , 21F
麥克風永遠開啟這件事情別想太多，就耗電的角度來
10/17 23:43, 21F
→
10/17 23:43, 6年前 , 22F
看，它根本不可能會存
10/17 23:43, 22F
※ 編輯: mainline (60.51.86.189), 10/17/2017 23:48:37
→
10/17 23:48, 6年前 , 23F
除了pixel 誰會買來放? HTC? SONY? SAMSUNG?
10/17 23:48, 23F
還沒說要賣 不過按谷歌角度拿出來賣養android生態 可行性可能性都大 屆時首當其衝的是高通完成的高但半溫不火的SNPE ※ 編輯: mainline (60.51.86.189), 10/17/2017 23:50:12 ※ 編輯: mainline (60.51.86.189), 10/17/2017 23:55:17
→
10/17 23:56, 6年前 , 24F
麥克風唯一的功能只有歌曲辨識嗎？對我來說不太需要
10/17 23:56, 24F
訂正 谷歌主動說認歌技術與ambient sense論文無關 其實從Moto時代就一直在聽啦 現今高通SD也有讓DSP支援一直聽 差別是之前都只拿來抓關鍵 XDA剛發現技術來自於13年IEEE一篇發表的論文說
推
10/17 23:57, 6年前 , 25F
詹小妹訂了嗎
10/17 23:57, 25F
※ 編輯: mainline (60.51.86.189), 10/17/2017 23:59:44
推
10/17 23:59, 6年前 , 26F
我一向對隱私不怎麼在意
10/17 23:59, 26F
→
10/17 23:59, 6年前 , 27F
不過ambient sense這個功能我認為……
10/17 23:59, 27F
→
10/17 23:59, 6年前 , 28F
應該可以被拿去做更多意想不到的用途
10/17 23:59, 28F
→
10/17 23:59, 6年前 , 29F
不過為避免隱私焦慮患者因此大作文章
10/17 23:59, 29F
→
10/17 23:59, 6年前 , 30F
我還是先不要提太細好了
10/17 23:59, 30F
→
10/17 23:59, 6年前 , 31F
簡單說，既然ambient sense可以存在
10/17 23:59, 31F
→
10/17 23:59, 6年前 , 32F
就代表用取巧的方式進行全時收音是可行的
10/17 23:59, 32F
推
10/18 00:00, 6年前 , 33F
可以解釋一下home mini 那段在講什麼嗎？
10/18 00:00, 33F
android police創辦人拿到一台mini有製造/設計問題 一直以為有人在猥褻它 結果一直在錄音傳去谷歌 那些錄音記錄也可在谷歌用戶控制面板'我的活動'查詢到 他察覺會後一通知谷歌PR 十分鐘回mail 傍晚有工程師衝到他家拿去研究 發現原因後 隔天發OTA全面禁用中央觸控 谷歌發現只有小部分有這問題 基於私隱疑慮觀感 就立馬決定從此禁用還未上市的mini的中央觸控
→
10/18 00:00, 6年前 , 34F
我要去哪訂，實在不想給盤子網賺
10/18 00:00, 34F
→
10/18 00:01, 6年前 , 35F
所以不用等下一代，現在的pixel 2已經有google 自
10/18 00:01, 35F
→
10/18 00:01, 6年前 , 36F
製的CPU 了嗎？
10/18 00:01, 36F
推
10/18 00:01, 6年前 , 37F
樓上你要不要先去爬文再來回應……
10/18 00:01, 37F
→
10/18 00:02, 6年前 , 38F
全天錄音很適合中國
10/18 00:02, 38F
※ 編輯: mainline (60.51.86.189), 10/18/2017 00:03:34
推
10/18 00:08, 6年前 , 39F
酷斃了，可惜台灣沒有官方發售
10/18 00:08, 39F
推
10/18 00:12, 6年前 , 40F
中國會為了全天錄音恩準pixel上市嗎xD
10/18 00:12, 40F
推
10/18 00:12, 6年前 , 41F
mainline大文章必推
10/18 00:12, 41F
推
10/18 00:12, 6年前 , 42F
推M大
10/18 00:12, 42F
※ 編輯: mainline (60.51.86.189), 10/18/2017 00:13:05
推
10/18 00:18, 6年前 , 43F
哦哦 感謝資訊
10/18 00:18, 43F
推
10/18 00:18, 6年前 , 44F
中國即使上市了，他們做神經網路的工程師
10/18 00:18, 44F
→
10/18 00:18, 6年前 , 45F
也無法把Google那套拿過來用
10/18 00:18, 45F
→
10/18 00:18, 6年前 , 46F
應該要注意華為會不會把這套學走
10/18 00:18, 46F
→
10/18 00:18, 6年前 , 47F
目前看起來970裡面那顆寒武紀是不可編程的晶片
10/18 00:18, 47F
→
10/18 00:18, 6年前 , 48F
應該還好
10/18 00:18, 48F
推
10/18 00:19, 6年前 , 49F
再推一下 好文
10/18 00:19, 49F
推
10/18 00:20, 6年前 , 50F
推推 期待封印解除
10/18 00:20, 50F
居然禁用 怒賣GOOG 倒買AAPL
推
10/18 00:20, 6年前 , 51F
不對，我錯了，這個功能應該跟可不可編程沒關係
10/18 00:20, 51F
推
10/18 00:20, 6年前 , 52F
推
10/18 00:20, 52F
推
10/18 00:29, 6年前 , 53F
感謝回覆
10/18 00:29, 53F
→
10/18 00:31, 6年前 , 54F
手機記憶體大 RAW存著 有好的演算法慢慢算也可以
10/18 00:31, 54F
※ 編輯: mainline (60.51.86.189), 10/18/2017 00:43:41
推
10/18 00:56, 6年前 , 55F
看不太懂 所以別的手機升上8.1也可以用hdr+了？
10/18 00:56, 55F
否定的 谷歌這是準備給有原生HDR+的手機一個API 讓三方開發者能夠套用 基本上就是用對講機傳喚工具人做事 沒有工具人的手機 發給對講機 得到的答案都是no
推
10/18 01:24, 6年前 , 56F
之前某P大，應該手上有完整的Google soc
10/18 01:24, 56F
※ 編輯: mainline (60.51.86.189), 10/18/2017 02:28:23 ※ 編輯: mainline (60.51.86.189), 10/18/2017 02:34:09
推
10/18 03:22, 6年前 , 57F
裱框
10/18 03:22, 57F
→
10/18 09:15, 6年前 , 58F
愈看愈覺得google就是skynet了(抖)
10/18 09:15, 58F
不怕 不怕 CPU邏輯有6P擔著 DSP加速有Pixel擔著 谷歌短期內還會維護它們 相機軟體只做一份 不會拔掉
推
10/18 09:26, 6年前 , 59F
好專業...所以現在port的以後用不到解封的真hdr+?
10/18 09:26, 59F
推
10/18 09:40, 6年前 , 60F
推，手機大廠現在都往內建tpu走
10/18 09:40, 60F
推
10/18 10:07, 6年前 , 61F
推推
10/18 10:07, 61F
推
10/18 11:03, 6年前 , 62F
好奇和apple這次推的神經網絡引擎，在用途上可說是
10/18 11:03, 62F
→
10/18 11:03, 6年前 , 63F
類似的模式嗎？
10/18 11:03, 63F
一模一樣 ※ 編輯: mainline (60.51.86.189), 10/18/2017 11:59:38
推
10/18 12:25, 6年前 , 64F
推
10/18 12:25, 64F
※ 編輯: mainline (60.51.86.189), 10/18/2017 12:36:13
→
10/18 13:33, 6年前 , 65F
昨天在AP看到原本想Po，不過m大比較專業，推一個
10/18 13:33, 65F
推
10/18 13:36, 6年前 , 66F
只能搶龜山廠的貨櫃車了嗎？
10/18 13:36, 66F
推
10/18 14:08, 6年前 , 67F
推
10/18 14:08, 67F
推
10/18 14:33, 6年前 , 68F
再請問大大，開放後是不是會比a11還強大啊！？
10/18 14:33, 68F
開放 這兒說的開放是指在O 8.1新增相機API 讓三方開發者的App的內建相機也能拍出HDR+ 我想你問的是開放IPU 一定開放的 大家要擺顆AI晶圓在手機的目的就是要讓人用 = 蘋果一貫不說 bionic多少tflops要靠擲杯才知 比華為慢不意外 華為NPU 1.9 tflops 這兩家都擺在正規SoC內 谷歌SoC用SD835 只能採取另搭一顆策略 優點 不用顧及SoC大小而限縮自身 達3.0tflops 壞處 占空間 升成本 latency反應會高一些
推
10/18 14:58, 6年前 , 69F
好文推~! 晶片真的是做重點項目就好
10/18 14:58, 69F
→
10/18 14:58, 6年前 , 70F
何必全部都自己來 效益不大
10/18 14:58, 70F
※ 編輯: mainline (60.51.65.222), 10/18/2017 16:06:50
推
10/18 20:17, 6年前 , 71F
原來如此，感謝大大回覆阿！獲益良多
10/18 20:17, 71F
→
10/19 01:12, 6年前 , 72F
狂
10/19 01:12, 72F
teardown出來了 果然很大 至少有半顆835那麼大 應該是Intel fab的 有SR3型號+圈圈圖案 再補充一下 抱歉 蘋果有說neural eng是0.6tflops ※ 編輯: mainline (60.51.65.222), 10/20/2017 02:51:40 ※ 編輯: mainline (60.51.65.222), 10/20/2017 02:53:58
推
10/21 00:21, 6年前 , 73F
專業優文，推
10/21 00:21, 73F
‣ 更多 mainline 的文章
文章代碼(AID): #1PvXz9ZX (MobileComm)