虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用

馬 衛(wèi)

（北京信息職業(yè)技術(shù)學(xué)院，北京 100018）

虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用

馬 衛(wèi)

（北京信息職業(yè)技術(shù)學(xué)院，北京 100018）

以鄧麗君虛擬人演唱會(huì)和李谷一與30年前“自己”同臺(tái)演唱為例，介紹虛擬現(xiàn)實(shí)技術(shù)、3D全息投影、增強(qiáng)現(xiàn)實(shí)技術(shù)的特點(diǎn)與應(yīng)用，揭開明星“復(fù)活”之謎。

虛擬影像；虛擬人；虛擬現(xiàn)實(shí)技術(shù)；動(dòng)作捕捉；全息投影；增強(qiáng)現(xiàn)實(shí)技術(shù)

作為一代華人歌壇“天后”鄧麗君英年仙逝，始終是“君迷們”心中揮之不去的結(jié)。2015年8月8日，上海大舞臺(tái)迎來(lái)了“如果能許一個(gè)愿”鄧麗君20周年虛擬人紀(jì)念演唱會(huì)。一曲經(jīng)典的《甜蜜蜜》后“鄧麗君”向觀眾致意，亦真亦幻，現(xiàn)場(chǎng)觀眾如癡如醉，有的“君迷”甚至掩面而泣。觀眾們?cè)谟牣愔H，不禁要問(wèn)是什么技術(shù)將鄧麗君又帶回到現(xiàn)實(shí)。

無(wú)獨(dú)有偶，2014年湖南衛(wèi)視的馬年春晚現(xiàn)場(chǎng)，歌唱家李谷一與30年前李谷一同臺(tái)演唱歌曲《鄉(xiāng)戀》。

其實(shí)，鄧麗君的“復(fù)活”所用的是虛擬影像重建技術(shù)。虛擬影像重建技術(shù)目前包括兩類：一種是虛擬現(xiàn)實(shí)+裸眼3D全息投影技術(shù)，應(yīng)用范例即鄧麗君演唱會(huì)；另一種是增強(qiáng)現(xiàn)實(shí)技術(shù)，如歌唱家李谷一與30年前的自己同臺(tái)演出應(yīng)用案例。筆者將通過(guò)解讀虛擬影像重建技術(shù)的特點(diǎn)、實(shí)際應(yīng)用案例，為讀者解開明星“復(fù)活”的神秘面紗。

1 制作鄧麗君虛擬人影像的技術(shù)分析

俗語(yǔ)說(shuō)：“畫鬼容易畫人難”。鄧麗君作為華人歌壇現(xiàn)象級(jí)的歌手，其形象為廣大華人社會(huì)所熟悉，要想將她“復(fù)活”，的確是一個(gè)巨大的挑戰(zhàn)。敢于接受這一挑戰(zhàn)的是世界知名特效公司數(shù)字王國(guó)。

利用虛擬影像重建技術(shù)實(shí)現(xiàn)明星“復(fù)活”，需要經(jīng)歷如圖1所示的幾個(gè)技術(shù)階段。

1.1 素材采集

鄧麗君在世時(shí)留下了數(shù)以千計(jì)的影像資料，數(shù)字王國(guó)特效團(tuán)隊(duì)從眾多的素材中提取有價(jià)值的信息。雖然這項(xiàng)工程得到了鄧麗君兄長(zhǎng)鄧長(zhǎng)富的大力支持，但是特效團(tuán)隊(duì)長(zhǎng)期服務(wù)于西方文化，在該項(xiàng)目中面臨的最大困難是對(duì)東方文化的理解，尤其是對(duì)“婉約”認(rèn)知的不足與偏差。鄧麗君獨(dú)有的“婉約”美，是她廣受華人社會(huì)歡迎的重要原因之一。特效開發(fā)團(tuán)隊(duì)為此找到了本土設(shè)計(jì)師羅婷負(fù)責(zé)從整體上對(duì)虛擬鄧麗君進(jìn)行設(shè)計(jì)把控，因她與鄧麗君生前有過(guò)接觸。她認(rèn)為，20世紀(jì)80年代的歌手打扮都比較傳統(tǒng)，但如果全部照搬，那么出來(lái)的效果可能會(huì)讓觀眾不太容易接受，畢竟現(xiàn)在的觀眾都是二十歲出頭的年輕人。所以形象設(shè)計(jì)上就定為：白色（或紅色）旗袍、亮色淡妝，這樣能夠?qū)F(xiàn)在時(shí)尚文化同中國(guó)傳統(tǒng)文化結(jié)合起來(lái)。

特效團(tuán)隊(duì)收集到很多鄧麗君的演唱細(xì)節(jié)：“她有很美的牙齒，在演唱時(shí)會(huì)常常露出來(lái)，尤其是在‘yi’這個(gè)音。特別是她唱到高音時(shí)喉嚨會(huì)有顫動(dòng)，嘴唇也可能會(huì)有顫動(dòng)?！边@些常人忽略的細(xì)節(jié)為虛擬鄧麗君影像注入了生命力。圖2為鄧麗君真人照與虛擬出的鄧麗君。

1.2 模型重建

任何人物建模最難的就是人臉與毛發(fā)。人物面部建模，數(shù)字王國(guó)有自己的優(yōu)勢(shì)。該特效公司擁有獲得奧斯卡技術(shù)獎(jiǎng)的面部表情捕捉系統(tǒng)MOVA。該系統(tǒng)能夠捕捉正在表演的演員之高度細(xì)致、面貌一致、栩栩如生的網(wǎng)狀結(jié)構(gòu)化的面部表情，以供特效師創(chuàng)作具極高質(zhì)素的人物動(dòng)畫。通過(guò)多相機(jī)（80個(gè)以上）360°全方位拍攝，如圖3所示，并配合先進(jìn)的照明設(shè)備，MOVA可以記錄演員表演的全部細(xì)節(jié)。依據(jù)獲取的大數(shù)據(jù)，軟件創(chuàng)造出該演員面部的高清立體網(wǎng)狀結(jié)構(gòu)，重建演員包括小皺紋在內(nèi)的整張臉，如圖4所示，保留表演最細(xì)微的部分。特效師利用這張動(dòng)畫臉部，可以制作出演員在不同場(chǎng)景的表情。

另外，為虛擬人模擬真人頭發(fā)的制作難度同樣很大，僅頭發(fā)的虛擬圖像，特效人員就繪制了約15 000幅，并且這些頭發(fā)還需要模仿人物的動(dòng)態(tài)。

1.3 動(dòng)作捕捉

動(dòng)作捕捉（motion capture）技術(shù)就是利用計(jì)算機(jī)系統(tǒng)捕捉演員表演時(shí)的表情動(dòng)作，然后把這些動(dòng)作表情同步到計(jì)算機(jī)中的虛擬角色上，使虛擬角色的動(dòng)作表情與真人無(wú)異。從電影《阿凡達(dá)》到《霍比特人》三部曲，好萊塢驚世駭俗的狂飆制作，離不開動(dòng)作捕捉技術(shù)的功勞。

隨著水稻種類的增多，更多的先進(jìn)技術(shù)的研究與出現(xiàn)對(duì)水稻識(shí)別工作具有促進(jìn)作用，其中近紅外光譜技術(shù)已屢見不鮮。在利用近紅外光譜技術(shù)時(shí)，采取全波段與特征波段兩種方法進(jìn)行模型建立，收集純度高的雜交水稻光譜數(shù)據(jù)，隨后對(duì)其純度進(jìn)行鑒定，這種模型測(cè)定的準(zhǔn)確率極高，據(jù)研究表明，可以達(dá)到100%的效果。因而，采用這種方法是有效的，與全波段模型相比，特征波段模型的預(yù)測(cè)精度更高。

因?yàn)樵诮ｋA段，人物是靜態(tài)。通過(guò)動(dòng)作捕捉，可以讓虛擬人物動(dòng)起來(lái)。這個(gè)階段可以請(qǐng)歌手模仿鄧麗君的動(dòng)作，捕捉到身體動(dòng)作（見圖5）、姿態(tài)（見圖6）、表情等數(shù)據(jù)，從而使虛擬人鄧麗君自然逼真。

1.4 虛擬合成

虛擬現(xiàn)實(shí)（virtual reality）技術(shù)是通過(guò)計(jì)算機(jī)系統(tǒng)生成，能夠?qū)崟r(shí)追蹤用戶多感官（視覺、聽覺、觸覺、味覺、嗅覺等）信息，用戶可以高度浸入這個(gè)虛擬實(shí)境進(jìn)行瀏覽、交互與探查。該技術(shù)具有：浸入性、交互性、實(shí)時(shí)性、構(gòu)想性的特點(diǎn)。

當(dāng)完成虛擬鄧麗君建模后，就需要將模型導(dǎo)入虛擬現(xiàn)實(shí)軟件（unity VRPDVS3D等）進(jìn)行調(diào)試、渲染、烘焙、導(dǎo)出。值得一提的是在調(diào)試階段，制作團(tuán)隊(duì)還一點(diǎn)點(diǎn)地?fù)府?、修改嘴型，以便讓虛擬鄧麗君嘴形和聲音同步。在渲染階段，頭發(fā)的渲染非常不易，100次死機(jī)有60次是因?yàn)轭^發(fā)渲染失敗。

不僅如此，即使在導(dǎo)出階段，為了達(dá)到同當(dāng)年的鄧麗君“聲情并茂、形神舉止”的一致，特效人員進(jìn)行了數(shù)百個(gè)版本虛擬鄧麗君的修改。

1.5 全息輸出

全息投影技術(shù)(front-projected holographic display) 原理是利用干涉和衍射原理記錄并再現(xiàn)物體真實(shí)的三維圖像的記錄和再現(xiàn)的技術(shù)。該技術(shù)首先是利用干涉原理記錄物體光波信息，其次是利用衍射原理再現(xiàn)物體光波信息，如圖7所示。

3D全息投影技術(shù)類似于自然界中的海市蜃樓，通過(guò)不同數(shù)量的投影機(jī)把真實(shí)影像或事先經(jīng)過(guò)精心制作并具有立體效果的數(shù)字影像均勻?qū)ΨQ地投射在成像膜上（這種成像膜是一種透明的超薄膜）。經(jīng)過(guò)光的衍射和折射，再現(xiàn)三維影像。

2 制作李谷一穿越對(duì)唱技術(shù)解析

李谷一作為知名歌唱家，其形象也廣為人知，要完成她與30年前自己虛擬影像的對(duì)唱，現(xiàn)實(shí)真人與虛擬人對(duì)比強(qiáng)烈，同樣是一項(xiàng)復(fù)雜的工程。承接這一項(xiàng)目的數(shù)虎圖像公司利用增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)真人與虛擬人物跨時(shí)空對(duì)唱，其技術(shù)特點(diǎn)如下。

2.1 真人3D復(fù)原

數(shù)虎制作團(tuán)隊(duì)收集了大量30年前李谷一的影像資料、生活照片、演出劇照等，但當(dāng)時(shí)的影像都是模擬信號(hào)、成像質(zhì)量差。為了獲得更好的表現(xiàn)效果，重新為現(xiàn)在的李谷一拍攝了全身照作為參考。后續(xù)涉及異常繁重的團(tuán)隊(duì)制作與現(xiàn)場(chǎng)調(diào)試工作，需要完成包括前期資料收集、建模（見圖10）、材質(zhì)、數(shù)據(jù)修復(fù)等一系列工作。

在動(dòng)作捕捉階段，數(shù)虎聘請(qǐng)專業(yè)演員進(jìn)行表演動(dòng)作的捕捉，并按照舞臺(tái)表演要求進(jìn)行數(shù)據(jù)調(diào)試修復(fù)，見圖11。為了真實(shí)還原30年前的服裝，數(shù)虎公司還請(qǐng)李谷一拿出珍藏的當(dāng)年春晚演出服裝，作為布料材質(zhì)模擬的參考。

舞臺(tái)角度與燈光渲染是整個(gè)虛擬人像跟舞臺(tái)配合最多的地方。在調(diào)試階段，特效人員在制作軟件中虛擬設(shè)置了三臺(tái)與實(shí)拍一致的攝像機(jī)，以保證實(shí)際演出時(shí)不出現(xiàn)角度偏差，確保真人與虛擬人的相互配合。

2.2 增強(qiáng)現(xiàn)實(shí)表現(xiàn)

增強(qiáng)現(xiàn)實(shí)（Augmented Reality）技術(shù)就是通過(guò)將虛擬仿真系統(tǒng)產(chǎn)生的圖像信息合成到真實(shí)環(huán)境中，使虛擬與現(xiàn)實(shí)有機(jī)融合。一個(gè)完整的增強(qiáng)現(xiàn)實(shí)系統(tǒng)是由一組緊密聯(lián)結(jié)、實(shí)時(shí)工作的硬件部件與相關(guān)的軟件系統(tǒng)協(xié)同實(shí)現(xiàn)的。

2014年湖南衛(wèi)視春晚李谷一與虛擬“李谷一”完成對(duì)唱，所依靠的增強(qiáng)現(xiàn)實(shí)技術(shù)工作原理如下：虛擬李谷一（30年前影像）是通過(guò)運(yùn)用二維碼類的標(biāo)記來(lái)定位，攝像頭捕捉到標(biāo)記圖像后由軟件計(jì)算出內(nèi)容來(lái)實(shí)現(xiàn)真人與虛擬人的互動(dòng)。直播中至少運(yùn)用了以下幾個(gè)基本設(shè)備。

（1）標(biāo)記點(diǎn)，用于圖像識(shí)別。

（2）捕捉標(biāo)記圖案的攝像頭，攝像頭可能就在標(biāo)記點(diǎn)的上方。

（3）計(jì)算機(jī)綜合系統(tǒng)，主要包括四部分：攝像機(jī)運(yùn)動(dòng)的傳感器跟蹤系統(tǒng)；生成與攝像機(jī)運(yùn)動(dòng)相匹配的虛擬前景渲染系統(tǒng)；切換臺(tái)及背景視頻延時(shí)器；將前景和背景無(wú)縫合成的色鍵系統(tǒng)，如圖13所示。

晚會(huì)現(xiàn)場(chǎng)攝像頭拍攝現(xiàn)實(shí)場(chǎng)景，并通過(guò)計(jì)算機(jī)追蹤技術(shù)捕獲標(biāo)記，實(shí)時(shí)記錄其位置和方向，將虛擬的李谷一影像疊加到該位置，構(gòu)成虛實(shí)融合的景象，從而實(shí)現(xiàn)了李谷一同30年前的自己穿越時(shí)空對(duì)唱《鄉(xiāng)戀》的奇觀，見圖14。

3 虛擬影像技術(shù)發(fā)展的思考

虛擬影像技術(shù)的快速發(fā)展，為觀眾帶來(lái)了影像奇觀與特殊的視聽享受，豐富發(fā)展了舞臺(tái)演藝市場(chǎng)。但是，虛擬影像技術(shù)在舞臺(tái)演藝領(lǐng)域的應(yīng)用也存在一些問(wèn)題，主要表現(xiàn)在以下三個(gè)方面。其一，技術(shù)亟需完善，3D全息成像并不能實(shí)現(xiàn)虛擬演員360°全方位立體逼真呈現(xiàn)，增強(qiáng)現(xiàn)實(shí)技術(shù)呈現(xiàn)的虛擬人像，現(xiàn)場(chǎng)觀眾裸眼無(wú)法看到。虛擬演員活動(dòng)范圍有限，無(wú)法同觀眾互動(dòng)。其二，相關(guān)法律不完善，虛擬影像也涉及到肖像版權(quán)問(wèn)題，相關(guān)法律目前還是空白。其三，制作成本昂貴。目前，國(guó)內(nèi)掌握虛擬人技術(shù)的有數(shù)虎圖像、諾華視創(chuàng)等企業(yè)，但制作成本較高。據(jù)介紹，虛擬鄧麗君臺(tái)北演唱會(huì)的制作成本就高達(dá)1 500萬(wàn)美元。

當(dāng)然，筆者認(rèn)為，一方面，隨著虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)的不斷融合發(fā)展，虛擬影像技術(shù)會(huì)愈加完善；另一方面，隨著國(guó)民收入的增長(zhǎng)，文化娛樂消費(fèi)會(huì)逐年增長(zhǎng)。因此，未來(lái)虛擬人演藝市場(chǎng)有著巨大的發(fā)展空間與商機(jī)，有志于此的創(chuàng)新企業(yè)可以及早謀劃，拓展相關(guān)市場(chǎng)。

注：文中部分照片來(lái)自網(wǎng)站。

[1] 張帆. 數(shù)字時(shí)代的表演藝術(shù)[J]. 北京電影學(xué)院學(xué)報(bào),2010(3)∶85-93.

[2] 丁莉. 人造生命力：數(shù)字時(shí)代CG虛擬角色的創(chuàng)作[J]. 當(dāng)代電影,2010(11)∶114-119.

[3] 黃仲山. 反思數(shù)字虛擬角色對(duì)傳統(tǒng)表演藝術(shù)體系的影響[J]. 四川戲劇,2012( 6)∶147-149.

[4 ]韓飛. 鄧麗君與周杰倫隔空對(duì)唱——特效工程師網(wǎng)上撰文揭秘制作始末[N]. 揚(yáng)子晚報(bào),2013-09-10.

[5] 搜狐資訊. 湖南臺(tái)春晚：數(shù)虎3D復(fù)原讓李谷一遇見“李谷一”[OL]. http∶//roll.sohu.com/20140124/n394145895.shtml ,2014-1-24.

馬衛(wèi)，1970年生，畢業(yè)于中國(guó)傳媒大學(xué)，獲碩士學(xué)位，現(xiàn)為北京信息職業(yè)技術(shù)學(xué)院數(shù)字媒體與藝術(shù)系副教授，主要研究領(lǐng)域：虛擬現(xiàn)實(shí)、影視制作。

（編輯 杜 青）

The Application of Virtual Reality Technology and Augmented Reality Technology

MA Wei
(Beijing Information Technology College, Beijing 100018, China)

Taking the virtual human of Teresa Deng concert and Li Gu Yi singing together ‘own’ in 30 years ago as examples, the characteristics and application of virtual reality technology, 3D front-projected holographic display, augmented reality technology was introduced, thus attempted to discover the mystery star ‘Resurrection’.

virtual image; virtual human; virtual reality technology; motion capture; front-projected holographic display; augmented reality technology

10.3969/j.issn.1674-8239.2016.01.010