[情報] 老黃正與HTC合作開發注視點渲染

看板VR作者時間7年前 (2019/01/08 23:47), 7年前編輯推噓6(6推 0噓 95→)
留言101則, 5人參與, 7年前最新討論串1/1
來源: https://www.twitch.tv/videos/360153308?t=01h33m33s 應該就是針對vive pro eye 希望最終能從driver層就支援注視點渲染，這樣舊遊戲也能直接使用 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.11.189.152 ※ 文章網址: https://www.ptt.cc/bbs/VR/M.1546962428.A.CE4.html
推
01/09 06:46, 7年前 , 1F
不知道實際運作能夠降低多少資源，我猜跟固定前方視點
01/09 06:46, 1F
→
01/09 06:46, 7年前 , 2F
渲染的需求差不多，只是變成不用把頭轉來轉去，眼球動
01/09 06:46, 2F
→
01/09 06:47, 7年前 , 3F
一動就可以了
01/09 06:47, 3F
→
01/09 08:42, 7年前 , 4F
差不多減少幾成. 其實還是會很吃效能
01/09 08:42, 4F
→
01/09 09:56, 7年前 , 5F
降低多少其實要看設定
01/09 09:56, 5F
→
01/09 15:28, 7年前 , 6F
邊緣解析度看要降多少倍
01/09 15:28, 6F
→
01/09 15:29, 7年前 , 7F
Go的FFR也是可選的，但不會省太多
01/09 15:29, 7F
→
01/09 15:29, 7年前 , 8F
因為太省就連中間範圍畫質也明顯影響
01/09 15:29, 8F
→
01/09 15:30, 7年前 , 9F
目前FOV90-110規格，能省的外圍邊緣不多
01/09 15:30, 9F
→
01/09 15:31, 7年前 , 10F
如果以後180-200度，能省的外圍面積就很大
01/09 15:31, 10F
→
01/09 15:32, 7年前 , 11F
但由於最高階顯卡差幾成性能的價差很大
01/09 15:32, 11F
→
01/09 15:33, 7年前 , 12F
所以即使省不多也可能很划算
01/09 15:33, 12F
→
01/09 15:36, 7年前 , 13F
Go還有個因素是因為不知視線位置所以無法開太大
01/09 15:36, 13F
→
01/09 15:36, 7年前 , 14F
如果有眼追，Go也能開更大達到相同效果
01/09 15:36, 14F
→
01/09 15:36, 7年前 , 15F
2080有Ti跟沒Ti只差15-25％性能，價差1萬
01/09 15:36, 15F
→
01/09 15:37, 7年前 , 16F
Go是知道眼神位置啊，就預設中間嘛
01/09 15:37, 16F
→
01/09 15:38, 7年前 , 17F
它是要用戶自己習慣只看中間
01/09 15:38, 17F
→
01/09 15:40, 7年前 , 18F
有眼追我是覺得能省的範圍沒差
01/09 15:40, 18F
→
01/09 15:40, 7年前 , 19F
因為人多數時候仍然只看中間
01/09 15:40, 19F
→
01/09 16:53, 7年前 , 20F
我的意思是要你看"中間"也不可能是"中間一個點"而是一個區域
01/09 16:53, 20F
→
01/09 16:53, 7年前 , 21F
而這區域可以因為眼追的加入更縮小
01/09 16:53, 21F
→
01/10 00:08, 7年前 , 22F
無論有無眼追都是區域啊
01/10 00:08, 22F
→
01/10 00:08, 7年前 , 23F
因為人類眼睛需要高解析的範圍也不窄
01/10 00:08, 23F
→
01/10 00:09, 7年前 , 24F
精確知道看哪點，它周圍蠻大範圍也得高解析
01/10 00:09, 24F
→
01/10 00:10, 7年前 , 25F
不然視覺上會明顯發現解析度變差
01/10 00:10, 25F
→
01/10 00:10, 7年前 , 26F
能動解析度的只有類似眼角餘光的外圍視野
01/10 00:10, 26F
→
01/10 00:12, 7年前 , 27F
而目前頭顯FOV太小，所以正常往前看時
01/10 00:12, 27F
→
01/10 00:12, 7年前 , 28F
200多度大部分餘光範圍本來就在畫面外沒畫
01/10 00:12, 28F
一、參考這邊的說明: https://goo.gl/8Sz4xa ------------------------------------------------------------------- 1. 視野(visual field) 眼睛所能看到的區域稱為視野。視網膜中央的小窩是感光細胞高度集中的區域，提供細部 視覺及辨色力，一般對物體對焦僅在小窩呈像，稱為小窩視覺(foveal vision)，僅佔視 野中央約 2°的極小區域，故眼睛須不停移動以便對焦於不同細部。整個視野範圍涵蓋左 、右共 180°(雙眼重疊的區域為120°)，中央視線往上 60°、往下 70°。最有效的視 力範圍在中央 30°視角內，可提供清楚的視覺影像與色彩資訊，愈往視野周邊愈不精確 ，主要藉對明暗強度的反應辨識視覺線索，周邊視覺僅供視者維持一般方向感與空間動態 活動的察覺(圖3-4) ------------------------------------------------------------------- 得知 - 人眼視力最高解析度區域僅占2° - 人眼視力最有效的範圍在30°內 這也可以測試自己的眼睛來驗證，先讓電腦螢幕上顯示一大片小一點的文字， 固定注視著中間某一個字，不移動視線的情形下試著把旁邊的文字"看清楚" 可以發現確實就只有固定注視的文字旁邊非常小的範圍可以辨別， 詳細幾度或許因人而異但不會差2度太多 (記得用小字比較明顯) 二、再參考Go的 Fixed Foveated Rendering 做法: https://goo.gl/CPkUjA 可以得知他主要概念是基於以下兩個: - 因鏡片變形，眼睛看中間區域的10度和看邊緣的10度所佔的面板區域不同大， 旁邊占較大，故將旁邊的解析度降低後因佔的區域大實際看到的解析度不會差太多 我想這可以這樣類比，放兩個4K螢幕在正前方: A. 20吋，距離眼睛100公分，撥放4K畫面 B. 40吋，距離眼睛200公分，播放同畫面2K解析度 此時人眼看起來應分不出兩者的差異 而A就是FFR的中央區域，B就是邊緣區域，B就算播放4K畫面人眼看起來也沒太大差異 - 一般人眼視線習慣會"掃描"的區域只有中央大範圍，很少人常常斜眼看東西，太累。 由這兩點的概念產生了FFR，且建議開發者盡可能開高，主要是降低四周10~20度區域 的解析度，保留中央70~80度區域不降解析度 綜合以上一二資訊可以推論出如果有眼追用來精確知道注視點，那麼 這中央區域可以再縮小進而將更多的區域降低解析度而不影響視覺上的品質 畢竟人眼最高解析度只有約2度，較高解析度只有約30度，而現在FFR的作法是 中間部分約70~80度都畫最高解析度，加了眼追後可能畫30度最高解就行 ※ 編輯: zebb (61.228.154.33), 01/10/2019 11:18:45
推
01/10 11:31, 7年前 , 29F
想到縮小渲染範圍就想到相反的概念，360° 3d錄影，好
01/10 11:31, 29F
→
01/10 11:31, 7年前 , 30F
像很少看過哪個遊戲有360° 3d通關影片，多數都只用2d
01/10 11:31, 30F
→
01/10 11:31, 7年前 , 31F
拍給大家看，但vr遊戲的最大價值就是沉浸感呀，是不是
01/10 11:31, 31F
→
01/10 11:31, 7年前 , 32F
問題在技術上很麻煩？
01/10 11:31, 32F
→
01/10 13:32, 7年前 , 33F
遊戲中FOV外的沒有render，要全部render的話FPS應該很可怕
01/10 13:32, 33F
推
01/10 13:59, 7年前 , 34F
那之後大視野的pimax大量出貨比較有機會看到vr180°遊
01/10 13:59, 34F
→
01/10 13:59, 7年前 , 35F
戲影片囉？因為目前連vr180°都好像沒看過
01/10 13:59, 35F
→
01/10 14:00, 7年前 , 36F
小派沒到180，最多水平170，另外問題是遊戲中玩家會看來看去
01/10 14:00, 36F
→
01/10 14:01, 7年前 , 37F
直接把雙眼影像鏡射錄成影片或live理論上有可能但
01/10 14:01, 37F
→
01/10 14:01, 7年前 , 38F
實際上觀看者會非常容易暈
01/10 14:01, 38F
還有 24 則推文
→
01/10 14:24, 7年前 , 63F
只是兩者要協作才能完整運用
01/10 14:24, 63F
→
01/10 14:29, 7年前 , 64F
老黃協助HTC實作到SDK的只是軟體面
01/10 14:29, 64F
→
01/10 14:29, 7年前 , 65F
的FR渲染，EyeTrace硬體技術大概來自供應商
01/10 14:29, 65F
→
01/10 14:31, 7年前 , 66F
Oculus的FR繪圖技法應該自己在搞，
01/10 14:31, 66F
→
01/10 14:31, 7年前 , 67F
而EyeTrace硬體他有收購丹麥的眼球追蹤公司
01/10 14:31, 67F
→
01/10 14:32, 7年前 , 68F
HTC太小，傾向整合產業上下供應商技術
01/10 14:32, 68F
→
01/10 14:33, 7年前 , 69F
Oculus有財大氣粗FB,傾向垂直整合自有方案
01/10 14:33, 69F
→
01/10 14:34, 7年前 , 70F
但也受限FB對HardCore市場沒啥興趣....
01/10 14:34, 70F
→
01/10 14:35, 7年前 , 71F
它的眼球追蹤與高階硬體，已經不優先了
01/10 14:35, 71F
→
01/10 14:39, 7年前 , 72F
除非眼球追蹤技術能再Costdown能下放
01/10 14:39, 72F
→
01/10 14:46, 7年前 , 73F
目前蘋果谷歌Oculus都有併購眼球追蹤公司
01/10 14:46, 73F
→
01/10 14:47, 7年前 , 74F
避免專利卡在供應商.
01/10 14:47, 74F
→
01/10 14:48, 7年前 , 75F
要實作產品其實不是軟硬體問題，
01/10 14:48, 75F
→
01/10 14:48, 7年前 , 76F
而是何時成本壓低與VR/AR市場成熟度的問題
01/10 14:48, 76F
Foveated rendering就是"注視點"渲染，wiki第一句就是 ----------------------------------------------------------- Foveated rendering is an upcoming graphics rendering technique which uses an eye tracker integrated with a virtual reality headset to reduce the rendering workload by greatly reducing the image quality in the peripheral vision (outside of the zone gazed by the fovea).[1][2] ----------------------------------------------------------- 為何叫Foveated(注視點)rendering也就是這方式目標是"注視點以外的區域反正也看不出 來所以可以利用一些不同的rendering方式在這些區域偷效能"，所以需要眼追才能得知正 確的"注視點"來做到以上目標。 oculus做的FFR、MBFR並不是正規的注視點渲染，而是為了CP值所做的取捨。這取捨相對 的因為不知注視位置導致中央不偷效能的區域就必須夠大涵蓋一般人習慣轉眼珠掃描的 範圍，70~80度視角代表他預設大部分用戶轉眼珠大多都在這70~80度內，但不會/很少 直接看最邊緣的那10~20度，所以從那邊緣10~20度來偷效能。 這也就是我稍早說的FFR第二概念。 是故FR並不能稱為繪圖技法，繪圖技法是"FFR的降解"或者"MBFR的遮罩"，FR是"從注視點 以外的區域偷效能的方式"，而他需要使用眼追(有很多不同實作方式)配合繪圖技法(同樣 很多不同實作方式例如FFR的降解或MBFR的遮罩少畫再升頻回來)才能完美實現。 當然少了眼追也行，只是能省下的資源較少。 但FFR與MBFR沒用眼追不能結論為 "用FFR或MBFR就不需要眼追" 而是 "因為眼追還很貴， 考量CP後決定先不加眼追硬體而預設用戶就是只能看中央70~80度才清楚" 所以稍早我解釋的是"FFR再加上眼追的話可以進一步提升效能" 至於oculus的做法，我也覺得很實際，眼追硬體成本下來前先從軟體面能做的盡量做。但 效果上不會比真正配上眼追硬體還好。 ※ 編輯: zebb (61.228.154.33), 01/10/2019 15:14:12
→
01/10 16:04, 7年前 , 77F
那是當然，oc現在走cp值衝量的路線
01/10 16:04, 77F
→
01/10 16:05, 7年前 , 78F
無意追求更高大上的完美方案
01/10 16:05, 78F
→
01/10 16:06, 7年前 , 79F
所以一些內部元老級走了
01/10 16:06, 79F
→
01/10 16:07, 7年前 , 80F
軟體提升至少不花什麼成本又立即見效
01/10 16:07, 80F
→
01/10 16:07, 7年前 , 81F
之後看看Vive Pro Eye到底會什麼價格
01/10 16:07, 81F
→
01/10 16:09, 7年前 , 82F
感覺會創下vive系列新高價紀錄
01/10 16:09, 82F
→
01/10 16:52, 7年前 , 83F
pro eye我無法看好...曲高和寡，眼追對體驗提升又不若大FOV
01/10 16:52, 83F
→
01/10 18:17, 7年前 , 84F
我也覺得大FOV比較優先，還有紗窗
01/10 18:17, 84F
推
01/10 21:18, 7年前 , 85F
如果仔細看能看得清 慢一點 小一點應該無訪 至少要看的清
01/10 21:18, 85F
→
01/14 09:03, 7年前 , 86F
滿好奇用什麼追蹤技術，穩定性如何。以前用眼動儀的經驗
01/14 09:03, 86F
→
01/14 09:03, 7年前 , 87F
是這玩意兒很容易失焦，大概連續用10分鐘要校正焦點一次
01/14 09:03, 87F
→
01/14 09:03, 7年前 , 88F
（要校正的是眼動推斷的使用者視焦點
01/14 09:03, 88F
推
01/14 09:07, 7年前 , 89F
至於眼動追蹤技術，國內也有自產的唷
01/14 09:07, 89F
→
01/14 09:39, 7年前 , 90F
應該就是紅外線LED+紅外線攝影機+影像處理，放VR頭顯內
01/14 09:39, 90F
→
01/14 09:40, 7年前 , 91F
因為距離眼睛非常近所以精確度可以更好，或許也不用常校正
01/14 09:40, 91F
→
01/14 10:40, 7年前 , 92F
目前多是紅外光源與感測器堆在眼周
01/14 10:40, 92F
→
01/14 10:40, 7年前 , 93F
用眼睛不同部位反射度不同去推定視點角度
01/14 10:40, 93F
→
01/14 10:41, 7年前 , 94F
原理其實蠻單純，一堆新創企業在搞
01/14 10:41, 94F
→
01/14 10:42, 7年前 , 95F
軟體與硬體組合都還在優化（成本上的）
01/14 10:42, 95F
→
01/14 10:42, 7年前 , 96F
技術成熟但成本重量怕會讓頭顯很難賣
01/14 10:42, 96F
→
01/14 10:43, 7年前 , 97F
所以遲遲不見標配
01/14 10:43, 97F
→
01/14 10:44, 7年前 , 98F
其實VR不要求用眼神控制的精度
01/14 10:44, 98F
→
01/14 10:44, 7年前 , 99F
只要大略角度允許小誤差，也能拿來省效能
01/14 10:44, 99F
推
01/14 12:58, 7年前 , 100F
沒用過頭盔/眼鏡型，不知如何XD 以前混的地方考慮過tobi
01/14 12:58, 100F
→
01/14 12:58, 7年前 , 101F
i的眼睛型，但最後沒入手
01/14 12:58, 101F
‣ 更多 zebb 的文章
文章代碼(AID): #1SDCNypa (VR)