拓展虛擬視界—移動(dòng)虛擬現(xiàn)實(shí)的未來(lái)

ARM高級(jí)圖形架構(gòu)設(shè)計(jì)工程師

Sam Martin

?

拓展虛擬視界—移動(dòng)虛擬現(xiàn)實(shí)的未來(lái)

ARM高級(jí)圖形架構(gòu)設(shè)計(jì)工程師

Sam Martin

如果你還未曾見(jiàn)過(guò)人們初次體驗(yàn)虛擬現(xiàn)實(shí)(VR)的情景，強(qiáng)烈建議你來(lái)感受一下。無(wú)論是七歲的孩童，還是七十歲的老人，他們戴上眼鏡之后，都情不自禁會(huì)像演員一般手舞足蹈，伸長(zhǎng)著脖子，盯著周?chē)奶摂M空間，仿佛突然進(jìn)入了全新的世界維度。然后，他們還會(huì)興奮地分享眼前景象。這讓我想起隨身聽(tīng)興起的那些日子，我們興奮地朝著對(duì)面的人大聲說(shuō)話，卻忘了歌曲只有自己才能聽(tīng)見(jiàn)。

這樣來(lái)介紹VR非常貼切：這是一個(gè)令人興奮的新事物，能夠立刻吸引你，讓你情不自禁地想要和別人分享。的確，F(xiàn)acebook收購(gòu)Oculus，說(shuō)明他們已經(jīng)看到了VR應(yīng)用于社交媒體的巨大潛力。想象這樣一個(gè)未來(lái)場(chǎng)景并不困難：我們坐在虛擬咖啡廳，對(duì)著親朋好友栩栩如生的頭像聊天；或者在你最喜愛(ài)的社交網(wǎng)絡(luò)上瀏覽VR視頻和360度全景照片，而事實(shí)上，你卻只是穿著睡衣坐在家里的沙發(fā)上。關(guān)于VR未來(lái)發(fā)展的展望無(wú)處不在，然而，VR未來(lái)將如何被使用和消費(fèi)，我們?nèi)孕枋媚恳源?。就目前而言，也有一些其他技術(shù)擁有和VR同樣的潛力和影響力，比如和VR來(lái)自同一家族的增強(qiáng)現(xiàn)實(shí)(AR)。本文將討論當(dāng)今的VR市場(chǎng)及其面臨的挑戰(zhàn)，并介紹一些能夠?qū)崿F(xiàn)VR的技術(shù)。

游戲被認(rèn)為是VR率先采用的領(lǐng)域，盡管它只是VR技術(shù)眾多潛在用途之一。VR技術(shù)打開(kāi)了全新的世界，讓游戲開(kāi)發(fā)者可以營(yíng)造更高級(jí)的沉浸感，創(chuàng)造全新的游戲機(jī)制、體驗(yàn)與控制方法，這些體驗(yàn)絕對(duì)是傳統(tǒng)技術(shù)無(wú)法實(shí)現(xiàn)的。移動(dòng)游戲剛問(wèn)世時(shí)，很多開(kāi)發(fā)商都只是單純地將傳統(tǒng)游戲移植到移動(dòng)平臺(tái)，但這一做法因無(wú)法實(shí)現(xiàn)而被舍棄。兩者不同的控制方法和形狀因子、多樣化的用戶與使用模式，以及移動(dòng)市場(chǎng)截然不同的期望，都促使開(kāi)發(fā)商必須重新思考移動(dòng)游戲的核心。從PC、電視遷移到移動(dòng)設(shè)備，游戲本身所受到的影響遠(yuǎn)遠(yuǎn)超過(guò)預(yù)期。今天，手機(jī)游戲仍然與PC、電視游戲共享品牌。盡管在高端設(shè)備上，已經(jīng)可以支持相同的圖像內(nèi)容，但游戲行業(yè)已經(jīng)知道了該如何調(diào)整傳統(tǒng)游戲，使其更適應(yīng)移動(dòng)市場(chǎng)，并針對(duì)移動(dòng)市場(chǎng)開(kāi)發(fā)了完全不同的游戲類型。這樣的轉(zhuǎn)變推動(dòng)了移動(dòng)游戲市場(chǎng)的快速成長(zhǎng)，有時(shí)，移動(dòng)游戲的收益甚至超過(guò)傳統(tǒng)的PC、電視游戲。

我們正處于新一輪的探索期：如何將VR更好地應(yīng)用于游戲，了解哪些有用、哪些沒(méi)用。所有人都在探尋并試圖抓住這一千載難逢的機(jī)遇，接下來(lái)的數(shù)年將是見(jiàn)證奇跡的時(shí)刻，我們將親眼目睹VR的發(fā)展和演化。歷史的經(jīng)驗(yàn)告訴我們，全沉浸式的游戲盡管可以營(yíng)造出更加身臨其境的感官體驗(yàn)，但是被外星人一槍爆頭的感覺(jué)只會(huì)讓人驚恐萬(wàn)分。相較于此，溫和的娛樂(lè)形式盡管乍看起來(lái)沒(méi)什么特別，但通常卻更令人印象深刻。當(dāng)然，不排除會(huì)有很多開(kāi)發(fā)商覺(jué)得白天嚇人一大跳是件值得驕傲的事情，有的玩家也很樂(lè)意體驗(yàn)一下世界最大的虛擬過(guò)山車(chē)是什么感覺(jué)。市場(chǎng)需求是多種多樣的，所以不能一概而論。Oculus Store中多元化的應(yīng)用告訴我們，“體驗(yàn)”和“概念”將各自衍生出全新的娛樂(lè)形式。即便只在其中添加細(xì)微的交互元素，也有可能打造出一款全新的“游戲”。

現(xiàn)在，已經(jīng)很難找到哪個(gè)創(chuàng)意產(chǎn)業(yè)不考慮VR電影、照片及現(xiàn)場(chǎng)直播的潛在影響力。對(duì)媒體而言，VR將非常受歡迎。站在球場(chǎng)中間，參加你最喜歡的體育賽事，或親臨重大新聞事件，或目睹坐在身旁的演員捧得夢(mèng)寐以求的奧斯卡獎(jiǎng)，或者在美國(guó)下一任總統(tǒng)的就職典禮上占據(jù)靠前或居中的好位置。記者、劇院、藝術(shù)家、音樂(lè)家、教育中心和博物館都已經(jīng)蓄勢(shì)待發(fā)，探索應(yīng)用VR的可能性。盡管標(biāo)準(zhǔn)化的視頻及圖像容器與元數(shù)據(jù)技術(shù)都尚未成熟、亟待發(fā)展，但能夠拍攝360°全景視頻和照片的專業(yè)攝像機(jī)已悄然上市。此外，人們對(duì)消費(fèi)型VR攝像機(jī)也抱有極大的興趣，不遠(yuǎn)的未來(lái)，將可以通過(guò)VR拍攝貓咪過(guò)生日、全家度假的點(diǎn)點(diǎn)滴滴以及令你瞬間發(fā)笑的嬰兒視頻，相信這將引爆新一輪的社交分享狂潮。在探討VR視頻分享時(shí)，F(xiàn)acebook首席產(chǎn)品官Chris Cox如是說(shuō)：“你會(huì)這樣做，Beyoncé也不例外?！蹦壳埃現(xiàn)acebook和YouTube都已支持360° VR視頻流及相關(guān)項(xiàng)目，以期進(jìn)一步提高質(zhì)量標(biāo)準(zhǔn)的Google Jump 就是一個(gè)例子。

并不是所有的VR視頻都采用傳統(tǒng)意義上的實(shí)景錄制來(lái)完成拍攝。Oculus電影工作室正在探索利用游戲引擎技術(shù)來(lái)講述動(dòng)畫(huà)故事——對(duì)故事進(jìn)行渲染，而不是拍攝后的重新播放?！坝肰R進(jìn)行故事講述”的概念已經(jīng)激發(fā)了很多天馬行空的想象。不過(guò)，首次嘗試將電影和游戲進(jìn)行結(jié)合的時(shí)候，勇于吃螃蟹的制片方也嘗到了痛苦的教訓(xùn)：盡管整合游戲技術(shù)可以打造沉浸式更強(qiáng)的故事情節(jié)，但將交互元素與故事情節(jié)隨便雜糅只會(huì)營(yíng)造出四不像的體驗(yàn)。即便挑戰(zhàn)重重，使用渲染仍然是一項(xiàng)不錯(cuò)的技術(shù)選擇。粗略計(jì)算，相比普通高清視頻，高清立體的VR電影對(duì)視頻流及編碼的要求明顯高出一個(gè)量級(jí)。如果使用傳統(tǒng)方法進(jìn)行視頻拍攝、壓縮及流化，大量的制作過(guò)程都會(huì)被浪費(fèi)，360°拍攝的內(nèi)容約有5/6都無(wú)法呈現(xiàn)在屏幕上。如果能夠從用戶取景的角度來(lái)考量，其實(shí)可以做得更好。這種新的思維方法特別適用于內(nèi)容渲染，并進(jìn)一步突出視圖自適應(yīng)技術(shù)的優(yōu)勢(shì)。從OTOY和8i正在開(kāi)發(fā)的新技術(shù)，或者光場(chǎng)相機(jī)相關(guān)及新型領(lǐng)域的快速成長(zhǎng)中，不難發(fā)現(xiàn)，以GPU為中心的視頻技術(shù)正快速發(fā)展，希望整個(gè)行業(yè)也可以跟上步伐。

圖1　Huang et al的光照野外立體鏡

實(shí)現(xiàn)高品質(zhì)VR的挑戰(zhàn)

高品質(zhì)移動(dòng)VR不僅對(duì)GPU有更高的要求，對(duì)整個(gè)系統(tǒng)都是很大的挑戰(zhàn)。發(fā)熱限值是VR設(shè)備的重要參數(shù)，為確保設(shè)備在運(yùn)行時(shí)間內(nèi)不超出發(fā)熱限制，很多組件都需要重新設(shè)計(jì)，才能夠?qū)崿F(xiàn)視頻、GPU和顯示器的超低延遲、零拷貝路徑，以及嚴(yán)格的功耗管理。Linux系統(tǒng)對(duì)實(shí)時(shí)操作的要求不高，但低延遲的VR應(yīng)用則需要接近實(shí)時(shí)的系統(tǒng)運(yùn)行。因此，線程間通信、線程優(yōu)先級(jí)、動(dòng)態(tài)調(diào)頻調(diào)壓(DVFS)以及其他系統(tǒng)集成細(xì)微的改變都會(huì)對(duì)“光子運(yùn)動(dòng)”關(guān)鍵路徑的穩(wěn)健性產(chǎn)生影響。暫時(shí)不談VR，一款安卓應(yīng)用需要經(jīng)過(guò)操作系統(tǒng)的三重緩沖，僅僅圖像提交路徑就會(huì)產(chǎn)生50 ms的延遲。盡管最后的效果還過(guò)得去，短時(shí)視頻體驗(yàn)也還不錯(cuò)，但是眼睛和屏幕的延遲非常明顯。如此，看不了太久，延遲就會(huì)使人不舒服，甚至感到惡心，哪怕是觀看相對(duì)靜態(tài)的內(nèi)容也不會(huì)有很大的改觀。盡管VR體驗(yàn)讓人印象深刻，但產(chǎn)業(yè)發(fā)展的重點(diǎn)是為大眾市場(chǎng)帶來(lái)高品質(zhì)VR產(chǎn)品，只有如此，才能進(jìn)一步釋放其巨大的發(fā)展?jié)摿Α?/p>

業(yè)界通用的“光子運(yùn)動(dòng)”延遲最高為20 ms，只要低于20 ms，延遲就難以被察覺(jué)。對(duì)刷新率為60 fps的標(biāo)準(zhǔn)面板來(lái)講，這一目標(biāo)很難實(shí)現(xiàn)，但通過(guò)一系列技術(shù)的結(jié)合，三星Gear VR設(shè)備現(xiàn)在已經(jīng)可以實(shí)現(xiàn)，比如異步時(shí)間扭曲流程、接渲染到顯示器前置緩沖、使用低持續(xù)性的OLED顯示器。

一旦通過(guò)應(yīng)用框架，應(yīng)用程序就可以收集最新的頭部追蹤數(shù)據(jù)，將當(dāng)前世界渲染成“眼部緩沖區(qū)(eyebuffer)”(一種特殊紋理，對(duì)應(yīng)左右眼分成邏輯兩側(cè))。如果可能的話，建議應(yīng)用程序以60 fps的速度運(yùn)行，但實(shí)際應(yīng)用中很難保證，所以將目標(biāo)設(shè)定為30 fps更為現(xiàn)實(shí)。為了保證幀速率，降低有效延遲時(shí)間，異步運(yùn)行的時(shí)間扭曲流程會(huì)負(fù)責(zé)收集最新的有效eyebuffer，并在顯示器讀取之前直接將其寫(xiě)入前置緩沖。安裝ARM Mali GPU的“context-priority”擴(kuò)展后，時(shí)間扭曲流程能采用單獨(dú)的高優(yōu)先級(jí)OpenGL ES(嵌入式系統(tǒng)開(kāi)放圖形庫(kù))內(nèi)容進(jìn)行渲染。提交高優(yōu)先級(jí)內(nèi)容后，GPU上現(xiàn)有的渲染工序會(huì)自動(dòng)中斷，完成高優(yōu)先級(jí)內(nèi)容渲染后再繼續(xù)執(zhí)行原有任務(wù)。采用該流程，時(shí)間扭曲流程可以及時(shí)提交渲染任務(wù)，顯示器也可以再次讀取返回的數(shù)據(jù)。時(shí)間扭曲流程對(duì)顯示屏的渲染時(shí)間比應(yīng)用程序更短，其獲得的頭部追蹤數(shù)據(jù)也就更新、更快，進(jìn)而可以調(diào)整eyebuffer內(nèi)容，使之與頭部的實(shí)際方向更加匹配。時(shí)間扭曲流程僅能針對(duì)頭部轉(zhuǎn)動(dòng)進(jìn)行調(diào)整，而無(wú)法根據(jù)頭部固定位置或動(dòng)畫(huà)場(chǎng)景來(lái)調(diào)節(jié)，但在實(shí)際應(yīng)用中，因?yàn)轭^部轉(zhuǎn)動(dòng)的時(shí)間延遲低于可被注意到的閾值，流暢的體驗(yàn)就可以形成。這種“剛好及時(shí)”將內(nèi)容渲染到前置緩沖的方式最適合低持續(xù)性的OLED顯示器。

對(duì)全局背光LCD顯示器來(lái)講，屏幕必須及時(shí)照亮單點(diǎn)圖像。相反，低持續(xù)性O(shè)LED顯示器的照亮?xí)r間很短，因?yàn)閹彌_已經(jīng)完成讀取。若屏幕保持水平，使用慢動(dòng)作攝影機(jī)觀看，每一幀的畫(huà)面都會(huì)看到一道在面板上從左到右運(yùn)行的光波。這使得觀看屏幕時(shí)，頭部可以旋轉(zhuǎn)至不同方向，并進(jìn)一步降低延遲。

圖2　減少延遲時(shí)間的方法

盡管延遲時(shí)間是一個(gè)亟待攻克的技術(shù)難關(guān)，但人們對(duì)VR的需求不會(huì)因此而終結(jié)。在頭部佩戴鏡頭以放大面板倍率的做法，則進(jìn)一步印證了我們對(duì)高清面板的渴望。哪怕原始分辨率已經(jīng)達(dá)到1440p，面板的視差發(fā)光格柵仍清晰可見(jiàn)；但對(duì)分辨率大于1440p、幀率超過(guò)60 fps的顯示屏來(lái)講，還需要在系統(tǒng)上花更大的功夫，并進(jìn)一步提高外置存儲(chǔ)器帶寬。隨著壓縮視頻、GPU和顯示器間的幀緩沖交換變得愈加重要，所有ARM IP均使用無(wú)損ARM幀緩沖壓縮(AFBC)技術(shù)，以盡可能地減少幀緩沖存儲(chǔ)器流量。還有一點(diǎn)非常重要，為了高效地創(chuàng)建eyebuffer，且無(wú)需為左右眼重復(fù)做功，應(yīng)用程序需要更有效地渲染至多視圖。在具備該技術(shù)的平臺(tái)上，Mali可以支持“多視圖”O(jiān)penGL ES擴(kuò)展，允許應(yīng)用程序在一幀圖像到達(dá)驅(qū)動(dòng)器后提交繪制命令，同步完成左右眼的eyebuffer創(chuàng)建。這一流程可以顯著縮短應(yīng)用程序和驅(qū)動(dòng)器所需要的CPU計(jì)算時(shí)間。同時(shí)，我們進(jìn)一步優(yōu)化了Midgard Mali GPU的頂點(diǎn)運(yùn)算能力，運(yùn)行頂點(diǎn)著色器中不依賴眼睛的部分，并實(shí)現(xiàn)雙眼共享。

Vulkan是Khronos公司開(kāi)發(fā)的全新跨平臺(tái)API，可以進(jìn)一步降低CPU開(kāi)銷，讓開(kāi)發(fā)者對(duì)產(chǎn)品有更大的掌控力度，促進(jìn)移動(dòng)VR的發(fā)展。

VR是一項(xiàng)開(kāi)創(chuàng)性的技術(shù)，正在快速發(fā)展。得益于現(xiàn)代移動(dòng)設(shè)備的普及和強(qiáng)大功能，VR不再只是昂貴的定制臺(tái)式機(jī)或控制臺(tái)系統(tǒng)的專屬。

為了真正實(shí)現(xiàn)VR，發(fā)揮其對(duì)世界的潛在影響，移動(dòng)VR必須面向大眾市場(chǎng)。作為這一領(lǐng)域的業(yè)界領(lǐng)袖，ARM致力于推動(dòng)其持續(xù)發(fā)展并與合作伙伴密切協(xié)作，提供高品質(zhì)的VR體驗(yàn)，發(fā)揮該技術(shù)的最大潛力，實(shí)現(xiàn)更加美好的虛擬世界。