虛擬與現(xiàn)實技術的融合

劉卓

【摘 要】人腦天生就富有想象力與創(chuàng)造力，會架構起很多虛幻的場景與人物等。隨著科技的進步，人類利用計算機進行虛擬世界的架構，使這兩個看似不同的領域，進行有機的結合?！睹瑞z囧事》是我導演的一部創(chuàng)意短片，講述外星來的小饅頭人物因飛船發(fā)生故障降落到地球，由于對地球的陌生，以至于發(fā)生一連串搞笑的故事。本文主要就實拍影像與數(shù)字繪景，虛擬元素的制作以及后期合成處理這三部分進行淺談。

【關鍵詞】實拍影像;虛擬元素;數(shù)字繪景;后期合成

中圖分類號：J911? ? ?文獻標志碼：A? ? ? ? ? ? ? ?文章編號：1007-0125（2019）20-0084-02

一、引言

從早期人類在山洞上進行作畫，開始出現(xiàn)圖像的雛形，到皮影戲走馬燈的出現(xiàn)，再到視覺，聽覺，表演相融合的電影，發(fā)展到現(xiàn)在的AR/VR等虛擬現(xiàn)實技術的出現(xiàn)。我們?nèi)四X喜歡刺激，需要接受不同甚至非現(xiàn)實的東西，這也是為什么人類對技術不斷進行變革，來滿足人類對審美的需求。

計算機虛擬技術目前模擬出來的事物，與現(xiàn)實中實拍事物進行完美結合，可以達到讓觀眾難以分辨的程度。并且用戶還可以與虛擬事物進行互動，達到人機交互無縫銜接。電影、游戲、廣告、動畫等領域都在使用該技術，虛擬與現(xiàn)實技術的出現(xiàn)也給人類帶來了不一樣的藝術體驗。

二、實拍影像與數(shù)字繪景

在拍攝影像之前，我們先要確定一個故事的主題，主題是整個片子的核心，整個故事劇情的發(fā)展都會圍繞主題來進行展開。好的人物形象對劇情具有推動作用。要考慮到劇本中每個人物形象的設計，以及拍攝的地點與時間等。之后我們會根據(jù)主題進行鏡頭的設計，每個鏡頭都要對故事有所表達，讓觀眾通過鏡頭語言知道劇情的發(fā)展。在運用鏡頭時要注意畫面的構圖關系，景別深度，角度位置，運動把握，色彩平衡等，這些拍攝因素把握好，拍出來的鏡頭不會太差。

由于我們拍攝的是虛擬與現(xiàn)實技術結合的短片，故事的主人公是兩個虛擬的角色形象。所以在拍攝時就要考慮好角色在鏡頭中的位置。在拍攝時要預先考慮好虛擬角色在哪，為了避免拍攝失誤，耽誤拍攝進度，可以在紙上進行分鏡頭設計，構圖好位置，使用對稱構圖還是斜線構圖，景別是使用遠、全、中、近，還是特寫鏡頭，拍攝手法中推、拉、搖、移、跟蹤每個鏡頭都該如何選擇，這些都要在分鏡頭中具體地體現(xiàn)出來。

拍攝時相機的焦段、光圈開到多少，都要結合現(xiàn)場的場景、光線來做實際的調(diào)整，光線太弱時要進行補光。也可以根據(jù)鏡頭美觀程度，對實地場景中的物體做適當?shù)恼{(diào)整。需要添加虛擬場景物體時，可以用綠幕對該區(qū)域進行遮擋，這樣方便于后期進行摳像。有些鏡頭的制作會使用到特殊的拍攝手法，像《萌饅囧事》項目中有一次主人公饅頭把椅子變沒的鏡頭，在拍攝時，我們先拍了一個演員坐在椅子上，然后再把椅子抽走，再拍一個人懸空坐著的鏡頭，然后在剪輯時，利用兩鏡頭對位重疊方法，做到椅子變沒的效果。

拍攝完的素材有些地方會有一些瑕疵，例如玻璃上有一些破損，有些場景上會被貼上影響視覺美觀的小廣告，甚至有些環(huán)境的背景不夠美觀，或者我們想要模擬出來跟現(xiàn)在季節(jié)不一樣的環(huán)境等。這些情況我們都會用到數(shù)字繪景，通常情況下會使用Ps軟件來處理出現(xiàn)的這些問題，利用摳像工具來擦除這些瑕疵問題。在Ps或者Sai軟件中可以繪制背景效果圖，來處理背景中不理想的景物。

三、虛擬元素制作

根據(jù)前期設定好的人物形象，在Maya軟件中進行模型搭建，建好模型后要檢查模型的布線，減少模型中的三角面的存在。模型中的布線要盡量優(yōu)化，刪減對模型中的形體起不到作用的布線，要注意角色面部表情以及形體關節(jié)處的布線分布，這些區(qū)域的布線分布要盡量圓滑。優(yōu)化完模型后，在菜單欄中，把模型進行分組命名，這樣方便查找模型。在軟件中把坐標軸拉回到模型的中心點上，最后點優(yōu)化場景把文件中產(chǎn)生的一些沒用的垃圾緩存刪減掉，使制作好的角色文件占用電腦的內(nèi)存比較小，運行文件比較流暢。因為短片中有兩個角色形象，需要把兩個角色文件放在一個文件中，根據(jù)人物設計形象比例，和導入拍攝好的場景圖片，進行角色大小的調(diào)整，然后再分別把兩個角色進行儲存。

制作材質(zhì)之前，我們需要把模型來舒展UV，我在《萌饅囧事》項目中使用Uvlayout軟件來做UV的拆分。UV的拆分注意不要分得太碎，不要出現(xiàn)UV的拉伸以及重合的現(xiàn)象。分好UV的模型導進Substance Painter軟件進行貼圖的繪制，體現(xiàn)出材質(zhì)的紋理效果，尤其是在UV的接縫處，材質(zhì)的銜接與過渡要處理好。把繪制好的顏色貼圖、高光貼圖、法線貼圖、凹凸貼圖以及置換貼圖導出。渲染素材使用Arnold渲染器來制作，材質(zhì)貼圖的格式為.TX，這個格式是Arnold渲染器特有的貼圖格式，使用這種貼圖在Arnold中渲染時，速度會有提升。材質(zhì)球的選擇為AiStandard，把在Substance Painter軟件中輸出的貼圖添加到材質(zhì)球上，根據(jù)角色饅頭的形象，調(diào)節(jié)材質(zhì)球中皮膚通透的質(zhì)感。

在綁定饅頭角色模型時，采用可編輯性比較強的AdvancedSkeleton插件進行綁定制作，它最大的優(yōu)點就是省去了手動進行骨骼搭建的步驟，只要在選定的模型位置上確定骨點，就能直接生成IKFK控制系統(tǒng)。插件的出現(xiàn)大大提升了綁定的制作進度，而且骨骼綁定好之后，能夠很便捷地對出現(xiàn)問題的地方進行修改，還不會影響之前刷過權重范圍的大小。為了讓角色的骨骼結構運動起來更符合人體運動特點，我們要參照真實的骨骼中骨點的位置，利用Maya軟件來完成每個控制器的制作。還要不斷調(diào)整骨點位置和控制器的長短，使模型與裝配好的骨骼控制器更加匹配，這就是骨點裝配的過程。在骨骼搭建完成之后，開始進行角色蒙皮的繪制，使用Bind Skin（皮膚蒙皮）命令，讓骨骼控制器能夠帶動模型進行運動。繪制蒙皮權重的時候，要考慮到骨骼控制器所驅(qū)動模型的范圍，哪些部分的影響會強一些，哪些部分會比較弱，達到蒙皮對模型驅(qū)動的效果。角色模型一般大腿附近與肩部的控制點除外，其他部分的點是受兩根骨頭的影響。使權重效果更加圓潤，可以適當加大骨骼的控制范圍。要想角色動起來不會出現(xiàn)穿插效果，蒙皮與權重的繪制起到重要的作用。

在制作三維動畫之前，除了按照之前畫好的分鏡頭來制作，為了能讓制作出來的角色更符合現(xiàn)實中的人物特點，需要我們親身去表演出來，表演的同時用相機進行記錄，分析表演中需要改進的地方，只有不斷地改進和嘗試，制作出來的動畫才能更加真實。根據(jù)拍好的視頻在Maya軟件中進行動畫制作，一個精彩的角色動畫演繹離不開運動規(guī)律的合理運用，饅頭角色的運動快慢、節(jié)奏感的把握，跑步時的預備緩沖動作、跟隨與重疊動作、附屬與擠壓拉伸動作等。這些因素的把握對動畫人物的演繹起到重要作用。角色的擠壓拉伸能充分體現(xiàn)人體的柔軟度與彈性，而饅頭的人物設計軟軟的、富有彈性更符合這一特點。它的預備緩沖動作也干脆有力。在做完的基礎動畫上根據(jù)表演動作的需要再去細分其預備緩沖與擠壓拉伸的力度與速度，這樣制作出來的角色動畫更加富有張力。為了使動畫的表演更加具有趣味性，在每個動作上都可以適度進行夸張，比如說胳膊的擺動幅度，角色跑動準備的夸張等。這樣制作出來的人物更加具有彈性不會那么生硬，像機械那樣運動。最后制作角色的面部表情，它并不像肢體動作那樣，被觀眾第一眼所看見，但是面部表情是傳達角色人物情感的，喜怒哀樂的情感表達牽動著觀眾的情緒，推動著劇情向前發(fā)展。

特效在一部影片中是必不可少的，能讓畫面更加真實，也會讓鏡頭更具有視覺沖擊力。這個項目的特效部分不算太難，像星空、霧氣、煙霧等，使用Maya軟件中的粒子特效進行解算，為了能讓效果更加真實，需要多次試驗調(diào)節(jié)屬性參數(shù)，顏色、光暈、模糊的效果可以在后期軟件中進行調(diào)節(jié)。

四、后期合成處理

在制作《萌饅囧事》項目時，也是我第一次做虛擬與實拍的合成，這樣的合成要求更高，虛擬的角色如何真正融入到現(xiàn)實中的場景里，首先要做到的就是如何讓虛擬角色跟真實的場景中的光源匹配一致。我們租借了一套制作環(huán)境球貼圖的器材，在拍攝鏡頭的同時，也在采集當時環(huán)境的HDR貼圖，這樣可以在Maya軟件中來模擬周圍環(huán)境對虛擬角色產(chǎn)生的環(huán)境影響效果。在拍攝每一個鏡頭場景時，主光源的位置擺放十分重要，他決定了光源的來源方向，以及陰影的產(chǎn)生方向等。由于實拍的鏡頭中有兩種燈光環(huán)境，一種是在室內(nèi)，一種是在室外。室外的主光源比較好確定，主要是以太陽光為主。當時室內(nèi)的拍攝是在學校的圖書館，場景特別大，光源又比較多，很分散，為體現(xiàn)物體的輪廓感，我們在現(xiàn)場擺放了一個主光源。燈光的角度以及位置要做好標注，方便后期在軟件中模擬光源時提供方便。為體現(xiàn)場景中的人物燈光的冷暖對比關系，在主光源相反方向的位置，擺放一個輔助光，可以起到人物與場景區(qū)分開來，增強人物體積感。這些拍攝中的燈光擺放與采集都是很重要的環(huán)節(jié)，直接影響整部作品的視覺效果。

現(xiàn)實場景的燈光采集完后，在Maya軟件中仿照現(xiàn)實中的燈光，進行虛擬燈光的模擬制作。為方便在后期Nuke軟件進行合成調(diào)節(jié)，在Maya中采用分層渲染方法，燈光層會分為主光層、邊緣光層、環(huán)境光層、反彈光層、下補光層等。Arnold渲染器支持多通道渲染方法，為后期調(diào)節(jié)更方便，在制作燈光分層時，在每個燈光層中添加物體的顏色層、高光層、反射層、折射層，如果是角色的話，還需要添加皮膚層等信息。渲染輸出的素材格式要使用exr格式的圖片，該格式支持多通道渲染輸出。除此之外我們還需要制作Occ層、深度層、陰影層、Rgb層等。這樣在后期合成中調(diào)節(jié)起來會更方便。分層渲染輸出之前需要在屬性面板中做參數(shù)設置，如輸出的格式、尺寸大小、攝像機位置、素材采樣值、渲染幀數(shù)等，屬性數(shù)值設置好以后就可以進行批量渲染輸出了。

把Maya中渲染輸出的序列素材和拍攝好的序列放在Nuke軟件中進行合成，一般我們會分成角色和背景兩大部分，為了角色與背景能很好地融合，需要針對背景的顏色，對角色進行校色處理。對于背景的光線強度，對應調(diào)節(jié)角色燈光強度大小，使角色與背景合成得更加真實，需要添加兩者相互影響的效果，像角色饅頭站在大理石的地面上，地面上會反射出饅頭的倒影效果，以及饅頭角色身上會有地面對他的反射效果等。對應再添加上角色的陰影，把角色與背景區(qū)分開來，最后再加上運動模糊效果，使整個畫面效果更加真實。

在做虛擬與現(xiàn)實結合的項目時，會遇到虛擬角色與真實中的人物或者場景出現(xiàn)疊加重合的部分，這就會利用到Nuke軟件中的摳像技術，把重疊的部分扣除。Nuke是一款線性鏈接的軟件，扣像擦除的部分，要注意與其他素材的前后關系，避免出現(xiàn)素材漏空的問題。我們拍攝和制作的都是動態(tài)素材，可是摳出的只是當前的一幀畫面，為了能讓擦除的部分能隨著鏡頭角度一起運動，需要利用跟蹤技術，來解決這個問題。