VR與AR：半個(gè)世紀(jì)之路

劉敏++蒲實(shí)

三聯(lián)生活周刊：為什么20世紀(jì)60、70年代就有VR（虛擬現(xiàn)實(shí)）這個(gè)概念，但以前那幾個(gè)浪潮都沒(méi)有發(fā)展起來(lái)？這中間技術(shù)的掣肘點(diǎn)在哪里？短板在哪里？您是研究圖形學(xué)的，您最早開(kāi)始接觸VR這個(gè)概念，包括混合現(xiàn)實(shí)的概念，是什么時(shí)候？

童欣：其實(shí)早在圖形學(xué)開(kāi)始發(fā)展的時(shí)候起，VR和AR（增強(qiáng)現(xiàn)實(shí)）這些概念就已經(jīng)存在了。90年代初，那時(shí)圖形學(xué)里高端的VR系統(tǒng)叫做CAVE System，當(dāng)時(shí)由EVL研發(fā)的，由幾個(gè)顯示屏組成屋子的墻，提供了一個(gè)沉浸的環(huán)境。每個(gè)屏幕后面有圖形能力很強(qiáng)的圖形工作站。用戶戴上立體眼鏡，通過(guò)一些穿戴上的跟蹤設(shè)備和數(shù)據(jù)手套，可以在里面自由地走動(dòng)旁邊的內(nèi)容會(huì)隨著交互而改變。在當(dāng)時(shí)這是一個(gè)非常高端、售價(jià)非常昂貴的系統(tǒng)。那個(gè)時(shí)候VR更多的還是面向工業(yè)應(yīng)用，包括美國(guó)的航天系統(tǒng)或者是軍事應(yīng)用。PC出現(xiàn)之后，大家開(kāi)始用PC來(lái)代替原來(lái)的超級(jí)計(jì)算機(jī)，用PC把所有的顯示屏搭起來(lái)就能做成一個(gè)CAVE系統(tǒng)。這是VR發(fā)展的一條線索。另一條線索則是供單個(gè)人使用的頭戴顯示器這樣的VR系統(tǒng)。

AR方面也很早，主要還是面向非常專門(mén)的工業(yè)應(yīng)用。一個(gè)是軍工。比如說(shuō)，一家軍工廠需要修理一顆導(dǎo)彈，有了AR就可以知道先打開(kāi)什么地方，需要執(zhí)行什么樣的操作，可以極大地提高效率，減少失誤。因?yàn)閷?duì)軍工來(lái)說(shuō)，如果能提高效率，這個(gè)成本是值當(dāng)?shù)?。一個(gè)是飛機(jī)制造和維修。波音公司很早就采用了AR的系統(tǒng)，就是小的半透明顯示器在眼睛前面，顯示的內(nèi)容疊加在真實(shí)場(chǎng)景中。裝配飛機(jī)或者是修理飛機(jī)，這是非常高難度和復(fù)雜的任務(wù)，需要得到維修指南，哪怕告訴你手冊(cè)需要查哪兒。

微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣

我覺(jué)得這撥VR/AR浪潮的興起，一個(gè)原因是手機(jī)產(chǎn)業(yè)過(guò)去這幾年的發(fā)展，讓所有的傳感器和顯示器小型化，且價(jià)格真的能讓大家接受。同時(shí)隨著個(gè)人計(jì)算機(jī)計(jì)算能力的增長(zhǎng)，和圖形處理器的發(fā)展，使得內(nèi)容顯示的計(jì)算能力跟得上。所有條件結(jié)合在一起，終于可以以一個(gè)普通用戶能接受的價(jià)格為大家提供比較好的VR體驗(yàn)。VR一直都在那，但之前很小眾很昂貴，現(xiàn)在慢慢地終于到了面向普通用戶的時(shí)候了。

三聯(lián)生活周刊：在這一波VR/AR浪潮里，計(jì)算圖形學(xué)、人機(jī)交互和傳感方面的技術(shù)水平有沒(méi)有突飛猛進(jìn)的進(jìn)步？

童欣：有幾個(gè)最重要的進(jìn)步。硬件上，過(guò)去的傳感器已經(jīng)非常精確，但售價(jià)非常昂貴。智能手機(jī)普及后，傳感器大量生產(chǎn)，價(jià)格變得非常便宜，傳感器的發(fā)展也讓很多定位技術(shù)有所進(jìn)步。GPU的發(fā)展也很快，在這么高的分辨率下，能做到非常真實(shí)的顯示。當(dāng)然，在這所有的背后，需要有很多實(shí)時(shí)算法進(jìn)行支持，能夠結(jié)合傳感器數(shù)據(jù)進(jìn)行實(shí)時(shí)的定位，同時(shí)把真實(shí)感很強(qiáng)的內(nèi)容顯示出來(lái)。另一個(gè)方面是交互技術(shù)的進(jìn)展。目前在VR中，大家的交互基本上還是依靠設(shè)備。首先靠傳感器幫助用戶確定在虛擬環(huán)境中的位置和頭的朝向。此外還需要有輸入，用游戲手柄，或者依靠語(yǔ)音、手勢(shì)，提供很好的自然的交互體驗(yàn)。這也是一個(gè)很大的突破。

微軟其實(shí)一直在自然交互，VR和AR領(lǐng)域中進(jìn)行著重點(diǎn)的投入和研發(fā)。在真實(shí)感實(shí)時(shí)現(xiàn)實(shí)方面，微軟研發(fā)了很多的算法并且通過(guò)Direct3D提供給用戶，和GPU的發(fā)展相互推動(dòng)，帶給用戶更真實(shí)的內(nèi)容體驗(yàn)。自然交互方面是Kinect，這是第一次把很自然的體感交互體驗(yàn)推給用戶，能用價(jià)格便宜的深度攝像頭，結(jié)合最新的算法，來(lái)達(dá)到用戶姿勢(shì)的實(shí)時(shí)識(shí)別和跟蹤。而近來(lái)推出的全息眼鏡HoloLens則把所有交互，顯示的最新技術(shù)，硬件集大成了。不僅僅是硬件上的波導(dǎo)顯示，全息處理器（HPU），整個(gè)的計(jì)算平臺(tái)的可穿戴化和小型化，更有軟件上的實(shí)時(shí)定位與場(chǎng)景重建技術(shù)，語(yǔ)音識(shí)別和手勢(shì)識(shí)別的技術(shù)。所有這些組合在一起才能讓混合現(xiàn)實(shí)的技術(shù)真正落地和活起來(lái)，才能給用戶帶來(lái)全新的體驗(yàn)。

三聯(lián)生活周刊：HoloLens體現(xiàn)了近幾年技術(shù)發(fā)展的哪些東西？

童欣：我覺(jué)得其實(shí)很多。剛才也提到了，硬件層面，這么小的重量情況下，需要一個(gè)頭戴顯示器。HoloLens有一個(gè)See-Through的屏幕，要半透的，要能看清外面的東西，同時(shí)內(nèi)容要顯示在上面，它的分辨率要夠。另一個(gè)方面，其實(shí)HoloLens就是一臺(tái)頭戴式的計(jì)算機(jī)，所有的計(jì)算單元包括電池都是集成在上面的，這些并不是理所當(dāng)然地往里塞，需要平衡很多方面。硬件集成進(jìn)去，需要保證它高質(zhì)量地工作，續(xù)航能堅(jiān)持足夠長(zhǎng)的時(shí)間，比如說(shuō)3到4個(gè)小時(shí)。所有這些都依賴于硬件的進(jìn)步和工藝的進(jìn)步。

有了這些還不夠，還要有最基礎(chǔ)的軟件去支撐硬件。對(duì)混合現(xiàn)實(shí)來(lái)講，最核心的技術(shù)叫做SLAM（Simultaneous Localization and Mapping），就是實(shí)時(shí)定位和場(chǎng)景建模的技術(shù)。這是什么意思呢？當(dāng)我做VR的時(shí)候，由于整個(gè)視野沉浸在虛擬環(huán)境中，我只需要根據(jù)根據(jù)計(jì)算的位置，顯示整個(gè)虛擬的場(chǎng)景?，F(xiàn)在我在一個(gè)真實(shí)的世界里，虛擬的東西可以按照我計(jì)算的視點(diǎn)移動(dòng)，但是真實(shí)環(huán)境的物體并不會(huì)。所以我要知道你的頭在真實(shí)世界中的精確位置。這樣虛擬的東西和真實(shí)東西混合才會(huì)真實(shí)。比如說(shuō)我想顯示一個(gè)虛擬的杯子，在桌子角上，我現(xiàn)在一轉(zhuǎn)頭再回來(lái)，真實(shí)世界中桌子和杯子還在那里，可是如果我的計(jì)算位置不精確，虛擬的杯子的位置就移動(dòng)了。虛擬世界中，我怎么知道你看的是原來(lái)的位置，我就應(yīng)該把這個(gè)東西顯示出來(lái)在原來(lái)的位置呢？所以計(jì)算機(jī)必須要知道在真實(shí)的世界中，我現(xiàn)在在哪兒，我在看哪兒，這個(gè)東西必須要實(shí)時(shí)算出來(lái)，同時(shí)必須非常穩(wěn)定，不能有擾動(dòng)，不然用戶就會(huì)覺(jué)得顯示的內(nèi)容在空中飄，這個(gè)挑戰(zhàn)是非常大的。微軟通過(guò)HoloLens上的攝像頭和非常先進(jìn)的算法，包括專用的HPU（Holographic Processing Unit，全息處理器，簡(jiǎn)稱HPU）來(lái)進(jìn)行所有的計(jì)算，把所有的位置信息能實(shí)時(shí)地提供給你。這些東西是所有做增強(qiáng)現(xiàn)實(shí)，特別是混合現(xiàn)實(shí)（MR）最關(guān)鍵的技術(shù)。

同時(shí)，我們也認(rèn)識(shí)到混合現(xiàn)實(shí)這一全新體驗(yàn)背后需要一系列的技術(shù)做支撐，無(wú)論是內(nèi)容生成方面、智能交互方面，還是最上面的內(nèi)容的智能理解交互方面，都需要專業(yè)的算法，門(mén)檻很高。如果只有幾個(gè)大公司做內(nèi)容，做開(kāi)發(fā)，可能還是不能滿足大家的需要。那最好的辦法就是我們建立一個(gè)生態(tài)系統(tǒng)。我們不僅提供像HoloLens這樣一個(gè)標(biāo)桿的硬件，而且提供Holographic這樣一個(gè)軟件平臺(tái)，通過(guò)把不同的算法和服務(wù)變成普通用戶都能用的API，想開(kāi)發(fā)某些應(yīng)用的人也可以用我們的工具和服務(wù)來(lái)開(kāi)發(fā)應(yīng)用，最后可以做到HoloLens上去，也可以用到其他虛擬現(xiàn)實(shí)，增強(qiáng)現(xiàn)實(shí)設(shè)備上去。

三聯(lián)生活周刊：無(wú)論是游戲還是電影，我們?cè)诙S屏幕的圖形顯示上已經(jīng)達(dá)到了相當(dāng)高的水平。虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)開(kāi)啟了一個(gè)沉浸式的三維圖形顯示的時(shí)代。在三維圖形領(lǐng)域，還有哪些問(wèn)題是需要解決的？

童欣：光影技術(shù)在圖形學(xué)里叫“繪制技術(shù)”。實(shí)時(shí)的、光影真實(shí)的三維場(chǎng)景繪制技術(shù)，仍然是大家在研究的熱點(diǎn)問(wèn)題。在微軟研究院，我們第一次嘗試用機(jī)器學(xué)習(xí)的方法來(lái)處理這一問(wèn)題，第一次把一些原來(lái)非常難做到的復(fù)雜光影效果真的做成實(shí)時(shí)的。我們相信隨著這些技術(shù)的發(fā)展，會(huì)有更多的酷炫的光影效果，可以在VR和MR中呈獻(xiàn)給大家。

還有一個(gè)是怎么樣更加方便地產(chǎn)生更真實(shí)的三維場(chǎng)景和交互內(nèi)容。傳統(tǒng)上我們需要藝術(shù)家去造型，但另一個(gè)方法是從真實(shí)世界中直接拍攝捕捉。比如，我想做一個(gè)咖啡館，原來(lái)是藝術(shù)家用三維造型軟件手工去做，包括所有的細(xì)節(jié)，這是一種方法。還有一種方法是，拿一個(gè)深度相機(jī)或者普通相機(jī)來(lái)，把一個(gè)咖啡館里所有的桌子和墻的幾何形狀、材質(zhì)完全捕捉下來(lái)，把它放在三維場(chǎng)景里，真實(shí)感一下就提高了，所有桌面的材質(zhì)都會(huì)很真實(shí)。有了這個(gè)技術(shù)，藝術(shù)家就不是無(wú)中生有了，他可以在這個(gè)場(chǎng)景的基礎(chǔ)上把材質(zhì)改改，把桌子讓它生點(diǎn)銹，把它變得更有質(zhì)感。所以內(nèi)容捕捉技術(shù)是非常重要的技術(shù)路徑。微軟研究院在這個(gè)方向做了非常多的研究工作，我們的目標(biāo)也是希望通過(guò)我們的推動(dòng)，能夠讓普通的用戶享受這項(xiàng)技術(shù)，通過(guò)比如Kinect這樣的深度相機(jī)，甚至像手機(jī)或者是普通相機(jī)拍攝的東西，能夠把用戶感興趣的三維物體和幾何形狀表面的豐富材質(zhì)、光影效果都捕捉下來(lái)，完美地再現(xiàn)在虛擬的世界里。一旦這個(gè)問(wèn)題解決了，所有普通用戶都能產(chǎn)生高質(zhì)量的三維內(nèi)容，那虛擬世界，混合現(xiàn)實(shí)的世界就會(huì)變得豐富多彩，用戶的體驗(yàn)也會(huì)提升一個(gè)數(shù)量級(jí)。

三聯(lián)生活周刊：混合現(xiàn)實(shí)真的要變得實(shí)用，還需要解決哪些問(wèn)題？

童欣：首先從交互的角度來(lái)講，要有定位，要有語(yǔ)音和手勢(shì)、表情等自然的交互方式，這方面技術(shù)還需要進(jìn)一步成熟。如果高質(zhì)量的輸出和用戶的輸入方式不匹配，用戶就會(huì)覺(jué)得這個(gè)東西不好用，不自然。一個(gè)常被大家忽略的是智能感知層面的問(wèn)題，為了更好的混合現(xiàn)實(shí)的體驗(yàn)，我需要有更好的下一步的人工智能技術(shù)和識(shí)別技術(shù)。比如說(shuō)在一個(gè)場(chǎng)景中，當(dāng)我戴上AR眼鏡想操作這個(gè)東西。定位技術(shù)告訴計(jì)算機(jī)我在盯著這個(gè)東西，可是這個(gè)東西是什么呢？可能需要識(shí)別技術(shù)知道這是一個(gè)遙控器。然后系統(tǒng)知道用戶想使用遙控器了，把遙控器的操作信息從數(shù)據(jù)庫(kù)中拿出來(lái)傳遞給用戶，變成一些可視的指南，交給用戶說(shuō)，你先按這個(gè)鍵吧，根據(jù)用戶操作的手勢(shì)和出現(xiàn)的問(wèn)題，再給用戶進(jìn)一步指南。你可以看到，這個(gè)簡(jiǎn)單的例子里，自然交互，顯示，識(shí)別，所有的這些都要加在一起，這個(gè)場(chǎng)景才能行。如果里面缺任何一樣，最后都會(huì)變成聽(tīng)起來(lái)很美好，用戶剛開(kāi)始覺(jué)得很新鮮，但很快會(huì)發(fā)現(xiàn)，操作比原有的設(shè)備和方法更費(fèi)事，那么自然帶來(lái)用戶期望和實(shí)際能達(dá)到的之間的巨大落差。所以微軟希望能從各個(gè)層面開(kāi)展研究，提供解決方案，縮小落差，讓混合現(xiàn)實(shí)變成對(duì)用戶真正有用的東西。

長(zhǎng)遠(yuǎn)來(lái)看，從應(yīng)用范圍來(lái)講，AR遠(yuǎn)比VR廣泛得多，將來(lái)會(huì)滲透到生活各個(gè)方面。當(dāng)你戴上VR的時(shí)候，你看不到真實(shí)環(huán)境，完全是在虛擬世界的體驗(yàn)。AR混合現(xiàn)實(shí)更多是可以把它想象成視覺(jué)助手一樣的東西，極大的增強(qiáng)和方便你在真實(shí)世界的生活。但是AR技術(shù)的門(mén)檻更高，所以大家覺(jué)得AR可能普及得會(huì)比VR晚很多。以前大家會(huì)說(shuō)AR怎么也得等10年，我個(gè)人樂(lè)觀估計(jì)可能會(huì)來(lái)得更快。原因有兩個(gè)。第一，AR很多基礎(chǔ)層的智能感知技術(shù)成熟得比我們以前想的要快。第二，隨著AI技術(shù)的成熟，識(shí)別感知層成熟得更快，比如說(shuō)物體識(shí)別的技術(shù)日新月異地在發(fā)展。這些技術(shù)的進(jìn)步能對(duì)AR的場(chǎng)景產(chǎn)生非常大的推動(dòng)作用。這些東西如果比以前成熟得快，AR的場(chǎng)景應(yīng)用就會(huì)更快地來(lái)到，但具體的時(shí)間我覺(jué)得很難預(yù)測(cè)，因?yàn)榧夹g(shù)的發(fā)展真的是太快了。