谷歌VR光場技術實驗

Paul Debevec

直以來，人們相信VR（虛擬現實）可以讓我們身臨其境，足不出戶就可游歷大千世界。正因如此，我們創(chuàng)造了VR探險，人們只需戴上VR設備，五光十色或奇幻、或險峻、亦或是難以觸及的精彩場面就可近在眼前。此后，谷歌進一步推出了“Jump”——一項實現360全景拍攝的完整VR錄制系統。而VR180全新視頻格式的推出，更是一次全新的體驗，即使對那些不熟悉VR技術的人來說，也能夠用它輕松制作出VR內容，留住生活中每一個珍貴的瞬間。

不過，想要創(chuàng)造出最真實的存在感，我們在VR中所呈現的景象就需要盡可能地近距離呈現，猶如你置身其中所看到的一切一樣。當你真實地站在一個地方，只要頭來回轉動，整個世界就會回應你：光以不同方式從各個物體表面被折射出來，觀眾就可以從不同角度看到物體。為在VR中營造更加逼真的存在感，谷歌一直在進行“光場”（Light Fields）技術實驗。

光場的本質

光場是捕捉、線跡和渲染等一系列計算的組合。目前仍有許多部分有待完善，不過由于運動視差的產生以及超真實的紋理和光照，它們呈現的效果仍然能夠給你一種極高品質的存在感。我們生活在一個充滿光線的世界，無論來自太陽還是人造光源，光線在我們周圍沿著每一個方向傳播，形成一個連續(xù)的光場。簡單來說，光場是整個三維空間內所有光線的總和，如果能將光線的傳播過程記錄下來，并且能在顯示端還原，就是完整的光場技術。

事實上，人眼對感知深度信息是非常敏感的，這包括雙目視差、運動視差、遮擋和聚散度等幾種方式。當人在自然狀態(tài)下觀察目標物體時，眼睛是在不斷變焦的，并且能夠通過前庭視反射消除畫面切換時的抖動和模糊。

而現在的一些電影中采用了120幀4K的拍攝手法，本以為可以滿足人眼的要求，卻忽略了投影的電影屏幕是一個固定焦距，迫使觀眾長時間將眼睛固定在一個焦距上而產生大量的不適感?？梢?，只有當我們能真正采集和顯示完整的光場信息，才能創(chuàng)造真正的虛擬世界。

而與全景視頻相比，VR視頻允許人們在視頻里自由移動觀看——提供場景中任意位置的360度自由視角。而全景視頻是傳統視頻單一的觀看視角，拍攝機位在哪兒，觀看者就必須在哪兒。而如果是一部VR電影，那么傳統的“鏡頭運動、場景切換”可能都將被取代，由觀眾來決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動”。

為驗證光場技術的市場潛力，谷歌推出了“歡迎來到光場”App——在HTC VIVE、Oculus Rift和Windows 混合現實耳機上均可使用。下面我們來看一下它具體是怎樣操作的。

捕捉和處理光場

光場的特別之處在于，可以生動地呈現現實中捕捉的2D連續(xù)鏡頭，并形成VR體驗，因為光場可以記錄進入空間體量中的所有不同光線。同時，VR頭顯還可以支持定位追蹤。

這款相機設備僅需1分鐘就能四周擺動，記錄下70厘米范圍內數以千計的對外視角，這些提供了2英尺寬直徑的光線體量，同時決定了頂部空間的大小，一旦畫面處于處理狀態(tài)，用戶就需要轉動頭顯捕捉畫面。從球體表面上的相機定點抽取光線，構建一種從球體內部向外看的獨特視角，配合用戶頭部的轉動。它們被排列好，壓縮進一個定制的數據庫中，由專業(yè)的繪制軟件讀取。目前谷歌已經將它應用于一項統一游戲引擎的插件中。

光場記錄世界

我們選擇了一些特別的地方試驗光場記錄相機。其中，最喜歡加州帕薩迪納市的蓋博住宅中，那些用上漆柚木和紅木裝潢的室內，威尼斯馬賽克房子上光滑的陶瓷片和閃耀的鏡子，西班牙格拉納達山上的St.tephen教堂里畫滿太陽的彩色玻璃窗。最重要的是，在史密森學會航空航天博物館和3D 數字化辦公室的幫助下，我們進入了NASA的發(fā)現號宇宙飛船內。他們提供給我們在人造衛(wèi)星駕駛艙內宇航員的視角，這是之前從未對公眾開放過的。此外，谷歌還記錄了多種光場，并試驗眼神交互如何能夠應用在六自由度的物體空間內。

“歡迎來到光場”試水

在《歡迎來到光場》中，7分鐘的導視體驗，幫助用戶學到更多關于這項技術和位置的知識。之后，他們可以在走廊上自由地探索空間。

作為虛擬現實領域最具有變革性的新技術，光場同時提供雙目視差、移動視差、選擇性聚焦三方面的視覺信息，從傳統的2D平面圖像提升到了4D光場圖像，極大地提升沉浸感和逼真度，模糊了虛擬和現實的邊界。盡管只是處于實驗階段，但光場仍然達到了體驗虛擬現實的新高度，希望“歡迎來到光場”得到大家的認可。目前這款App已經在Steam VR上推出。

可是，光場技術從拍攝到重建，再到顯示都需要從軟硬件各方面的共同配合。而如何從冗余的光場信息中實現超分辨率光場成像，也是亟待解決的一個問題。不過，現在我們由衷地為VR向更真實畫面邁進了一步，感到無比興奮。

編譯自《谷歌博客》《Tech crunch》

（責任編輯 姜懿翀）