基于圖像核心的VR技術(shù)在數(shù)字媒體藝術(shù)設(shè)計(jì)中的應(yīng)用

毛 煒

（浙江工業(yè)大學(xué)之江學(xué)院設(shè)計(jì)學(xué)院，浙江 紹興 302030）

導(dǎo)語(yǔ)

虛擬現(xiàn)實(shí)技術(shù)（Virtualreality，簡(jiǎn)稱VR）作為一種能夠模擬真實(shí)世界、建立虛擬環(huán)境的計(jì)算機(jī)技術(shù)，能夠讓使用者沉浸在虛擬環(huán)境中并能幫助人們進(jìn)行不同互動(dòng)體驗(yàn)從而激發(fā)創(chuàng)意。任何一款成熟VR系統(tǒng)都必須要以使用者“第一視角”為核心，通過(guò)相關(guān)設(shè)備操作使用者可在3D虛擬環(huán)境中自由移動(dòng)，可與虛擬場(chǎng)景進(jìn)行互動(dòng)并且可在虛擬場(chǎng)景中自由切換。

1. VR技術(shù)概述

1.1 VR技術(shù)界定及組成

VR技術(shù)是一種能夠模擬真實(shí)世界、建立虛擬環(huán)境計(jì)算機(jī)技術(shù)。VR技術(shù)通常是基于計(jì)算機(jī)、電子技術(shù)利用傳感器采集使用者信息從而形成高度逼真的虛擬環(huán)境，進(jìn)而實(shí)現(xiàn)與使用者視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、力度、動(dòng)作等多個(gè)方面交互，讓使用者形成身臨其境的感覺(jué)。虛擬現(xiàn)實(shí)是研究人員在對(duì)自然界探索中，逐漸發(fā)展起來(lái)的一種科學(xué)技術(shù)，以模仿自然使其更好地發(fā)揮作用。[1]具體如下：

計(jì)算機(jī)設(shè)備。作為VR技術(shù)中心，計(jì)算機(jī)設(shè)備往往要求有高性能硬件設(shè)備來(lái)實(shí)時(shí)地處理和反饋數(shù)據(jù)。如使用者想要建立非常復(fù)雜的虛擬環(huán)境就需要一臺(tái)超級(jí)計(jì)算機(jī)。

輸入資訊裝置。感官是人類(lèi)大腦唯一載體，為實(shí)現(xiàn)用戶真實(shí)虛擬現(xiàn)實(shí)，需要多個(gè)傳感器對(duì)用戶原始感知數(shù)據(jù)進(jìn)行檢測(cè)和收集并產(chǎn)生融合信息，將其反饋到計(jì)算機(jī)上，主要傳感器包括數(shù)據(jù)手套、頭部跟蹤器、移動(dòng)手柄、3D鼠標(biāo)、動(dòng)作捕捉器等。

資訊輸出裝置。VR技術(shù)的終極目標(biāo)是為使用者創(chuàng)造近乎于現(xiàn)實(shí)的虛擬世界，從視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等各方面都能給使用者帶來(lái)真切體驗(yàn)。該系統(tǒng)包括頭盔顯示器、三維聲音合成器、力反饋系統(tǒng)等。

應(yīng)用程序。應(yīng)用軟件是指在特定應(yīng)用中模擬真實(shí)特定內(nèi)容，該軟件具體內(nèi)容取決于VR技術(shù)實(shí)際應(yīng)用。

1.2 VR技術(shù)特征

VR技術(shù)是當(dāng)今最為天然的人機(jī)界面，它能提供全方位聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)和嗅覺(jué)，讓使用者可通過(guò)最直接方式進(jìn)行互動(dòng)。VR技術(shù)特征具有沉浸性、交互性、構(gòu)想性等特征。由于這3個(gè)英文詞匯特征都是“I”英文，因此VR技術(shù)特征也被簡(jiǎn)單地稱為“3I”。概念圖如圖1所示。

圖1 VR技術(shù)特征

沉浸性。VR技術(shù)最突出特征就是沉浸式。使用者在使用鼠標(biāo)和鍵盤(pán)時(shí)，也可與計(jì)算機(jī)進(jìn)行交互，沉浸式體驗(yàn)是其他科技所不能取代的。

交互性。在VR技術(shù)出現(xiàn)以前媒介技術(shù)也是可進(jìn)行互動(dòng)的，但是目前媒介技術(shù)還處于一維、二維水平，它作用主要是通過(guò)對(duì)用戶命令進(jìn)行執(zhí)行和反饋（交互方式如圖2所示），比如通過(guò)鼠標(biāo)、鍵盤(pán)來(lái)控制計(jì)算機(jī)運(yùn)行。VR技術(shù)強(qiáng)調(diào)是互動(dòng)自然，使用者一舉一動(dòng)都會(huì)在游戲中得到即時(shí)反饋，與真實(shí)游戲世界沒(méi)有什么區(qū)別，如使用者想要使用虛擬杯子，那么它就會(huì)自動(dòng)地被舉起，并且能夠感覺(jué)到它重量。[2]

圖2 交互方式

構(gòu)想性。構(gòu)想性泛指使用者在接收輸出裝置所提供資訊后，借由想象創(chuàng)造出虛擬情境。VR頭盔在一定程度上將使用者與現(xiàn)實(shí)世界隔離開(kāi)來(lái)，并利用計(jì)算機(jī)運(yùn)算技術(shù)將感知信息傳達(dá)給使用者，從而為使用者創(chuàng)造全新虛擬環(huán)境。這些想象力可反映使用者意圖和想法，比如城市規(guī)劃、模擬軍事實(shí)驗(yàn)、訓(xùn)練醫(yī)療手術(shù)等。

2.基于圖像核心的VR技術(shù)在數(shù)字媒體藝術(shù)游戲設(shè)計(jì)中應(yīng)用的原則

2.1 項(xiàng)目策劃

VR游戲策劃節(jié)點(diǎn)要保證游戲內(nèi)容不能太復(fù)雜，規(guī)避與其他網(wǎng)游內(nèi)容雷同，既要華麗還要保證劇情發(fā)展。這樣可讓體驗(yàn)者在看到規(guī)劃后對(duì)游戲情況有個(gè)大概解，鼓勵(lì)體驗(yàn)者從這個(gè)角度積極探索游戲。一般來(lái)說(shuō)游戲策劃設(shè)計(jì)都是先確定大致思路，然后再去做，具體策劃則需要各個(gè)部門(mén)及其人員進(jìn)行交流，特別是程序員和美術(shù)設(shè)計(jì)師，要想做出高質(zhì)量作品，就必須建立起良好合作關(guān)系。

2.2 繪制原畫(huà)

基于圖像核心的VR游戲應(yīng)在設(shè)計(jì)之前就已經(jīng)做好充分準(zhǔn)備，因缺少對(duì)原畫(huà)設(shè)計(jì)的重視度，造成后期模型和動(dòng)作設(shè)計(jì)反復(fù)修改的案例較為常見(jiàn)，不僅浪費(fèi)大量時(shí)間和精力，也讓整個(gè)團(tuán)隊(duì)工作效率大打折扣。所以，在原畫(huà)設(shè)計(jì)中，角色、場(chǎng)景、道具都必不可少，在設(shè)計(jì)師、投資商、設(shè)計(jì)師共同努力下，才能完成原畫(huà)設(shè)計(jì)。

2.3 模型貼紙

制作場(chǎng)景低膜時(shí)需使用3DsMax軟件來(lái)完成，將它放入ZBmsh進(jìn)行詳細(xì)處理。ZBrush作為新時(shí)代背景下游戲角色建模的重要依據(jù)，隨著游戲不斷更新人物建模效率也會(huì)越來(lái)越高，可通過(guò)畫(huà)板來(lái)對(duì)模型進(jìn)行科學(xué)處理，以此滿足數(shù)字媒體藝術(shù)游戲設(shè)計(jì)。且該軟件具有UV功能，可讓設(shè)計(jì)者在進(jìn)行設(shè)計(jì)和制造時(shí)更容易控制軟件運(yùn)行，以此降低成本。由于大部分VR游戲互動(dòng)要求相對(duì)較高，所以對(duì)游戲需求也非常高。假定模型面數(shù)不斷增加，勢(shì)必給計(jì)算機(jī)系統(tǒng)操作帶來(lái)困難，所以在進(jìn)行建模時(shí)應(yīng)注意對(duì)模型進(jìn)行點(diǎn)、線優(yōu)化，以保證在運(yùn)行過(guò)程中能夠正常工作。而在繪制貼片時(shí)，要將ZBrush與Photoshop相結(jié)合，前者可使人物和場(chǎng)景細(xì)節(jié)得到優(yōu)化，后者則可保證后期處理。[3]

2.4 實(shí)現(xiàn)交互

VR游戲種類(lèi)較為常見(jiàn)的有冒險(xiǎn)類(lèi)、射擊類(lèi)、解謎類(lèi)，其中最受歡迎的是VR類(lèi)射擊類(lèi)。采用VR技術(shù)設(shè)計(jì)沉浸式游戲場(chǎng)景，配合高科技操縱桿，既能給玩家?guī)?lái)緊張、刺激的感受，又能將注意力集中到虛擬環(huán)境中。要使這個(gè)游戲模式成為現(xiàn)實(shí)，使用Unity3DSteamVR和VRIK非常關(guān)鍵。前者可在官方網(wǎng)站上免費(fèi)下載，主要是為處理玩家視角，即通過(guò)VR技術(shù)構(gòu)建交互模型后，依托關(guān)鍵校本及交互預(yù)制體，根據(jù)使用者目光、接觸實(shí)現(xiàn)反饋、交互。

3.基于圖像核心的VR技術(shù)在數(shù)字媒體藝術(shù)游戲設(shè)計(jì)中應(yīng)用的要點(diǎn)

3.1 3DMax基礎(chǔ)建模

采用3DMax建模軟件對(duì)場(chǎng)景中可互動(dòng)物體進(jìn)行基本復(fù)原，并對(duì)具有動(dòng)畫(huà)效果物體進(jìn)行動(dòng)畫(huà)化處理。在基本造型方面采用基于NURBS的多邊形造型技術(shù)。3DMax中通過(guò)修改程序，例如：放樣、倒角、柔體、編輯多邊形、編輯網(wǎng)格等。同時(shí)，可在項(xiàng)目前期工作中先對(duì)場(chǎng)景中家具和互動(dòng)物件進(jìn)行初步建模、貼圖、渲染工作。例如：以游戲“餐桌”該模型建立的過(guò)程為例。

首先，建立幾何體—長(zhǎng)方體—在場(chǎng)景中畫(huà)出矩形物體—調(diào)整參數(shù)，緊接，選中長(zhǎng)方形物體—右擊—將其轉(zhuǎn)化成可編輯多邊形—選中可編輯多邊形命令—右擊—目標(biāo)屬性—點(diǎn)擊標(biāo)簽—在它屬性面板下面選中點(diǎn)目標(biāo)—調(diào)整每個(gè)頂點(diǎn)，以獲得想要結(jié)果，形成不規(guī)則桌子腿。由于采用模型LOD層次優(yōu)化技術(shù)，所以在建模時(shí)也按順序保留不同精度模型，并將其用于不同層次優(yōu)化。最后，根據(jù)基本建模工作繪制該模型。根據(jù)該項(xiàng)目總體設(shè)計(jì)風(fēng)格，采用Photoshop圖像處理工具進(jìn)行圖像處理，并在3DMax上進(jìn)行貼圖、繪制，最終得到*.FBX。

3.2 碰撞檢測(cè)

碰撞檢測(cè)是計(jì)算機(jī)繪圖和虛擬現(xiàn)實(shí)領(lǐng)域中最基礎(chǔ)的一種實(shí)現(xiàn)方法。由于現(xiàn)實(shí)中無(wú)法穿越墻壁，因此要做到真實(shí)（科幻類(lèi)游戲等需要特殊技術(shù)游戲除外）必須具備真實(shí)物體所有屬性，碰撞檢測(cè)就是其中重要環(huán)節(jié)。同時(shí)，碰撞探測(cè)也是最簡(jiǎn)單、最直觀和物體進(jìn)行交流的方法。在具體設(shè)計(jì)中應(yīng)以第一人稱方式進(jìn)行游戲活動(dòng)設(shè)計(jì)，并以第一人稱方式來(lái)表示用戶在場(chǎng)景中的位置和動(dòng)作，以此實(shí)現(xiàn)游戲內(nèi)容具有更多自然人特征，同時(shí)可增加一些物理性質(zhì)如重力、剛性等。由于物體本身特性，“人”在畫(huà)面中會(huì)有一種自然向下推壓，若沒(méi)有撞擊物體，那么控制系統(tǒng)就會(huì)繼續(xù)朝下直至符點(diǎn)數(shù)滿溢為止。在程序設(shè)計(jì)過(guò)程中，則需要人工增加。此外，當(dāng)使用者希望與場(chǎng)景中物品互動(dòng)時(shí)，需要在沖突物體上增加實(shí)體屬性。

此外，在應(yīng)用Unity3D進(jìn)行游戲開(kāi)發(fā)時(shí)，一般有兩種方式來(lái)探測(cè)虛擬場(chǎng)景中的沖突：一是通過(guò)建立基本幾何模型來(lái)包裹被期望對(duì)象，用立方體將目標(biāo)對(duì)象包起來(lái)，然后將立方體隱藏起來(lái)；另外一種方法是將Box Collider（或Sphere Collider，Capsule Collider）屬性添加到對(duì)象自身。游戲?qū)ο笈鲎部捎蓜傂圆考团鲎膊考–ollider）來(lái)進(jìn)行。碰撞觸發(fā)功能可分為兩大類(lèi)：碰撞器和觸發(fā)器。每個(gè)類(lèi)別包括3個(gè)類(lèi)別，分別是進(jìn)入、保持和退出。其中，運(yùn)動(dòng)學(xué)剛體觸發(fā)是具有Rigid body屬性Collider，而剛性體則是帶有Trigger屬性Kinematic。

3.3 物體屬性

碰撞檢測(cè)作為以圖像為核心的虛擬產(chǎn)品中不可缺少的重要因素，其設(shè)計(jì)準(zhǔn)則與計(jì)算方式雖不盡相同，但卻具有一定規(guī)律性。一般來(lái)說(shuō)，物品都有生成、移動(dòng)、碰撞、拾取、銷(xiāo)毀、觸發(fā)等多種動(dòng)作，不同物品擁有的行為類(lèi)型和數(shù)量不盡相同，其行為方向也各不相同。文章所涉及對(duì)象屬性，主要是指與使用者互動(dòng)的對(duì)象，例如瓷器、油畫(huà)、植物等。為顯示這些道具能夠進(jìn)行互動(dòng)，在場(chǎng)景設(shè)計(jì)時(shí)增加一些特別高亮處理，利用手勢(shì)識(shí)別裝置可對(duì)道具進(jìn)行多個(gè)角度拍攝。

3.4 用戶界面和音響效果設(shè)計(jì)

3.4.1 UI與音效設(shè)計(jì)

3.4.1.1 UI設(shè)計(jì)

用戶接口指的是手機(jī)App、軟件、網(wǎng)頁(yè)、車(chē)載平臺(tái)和各種電子產(chǎn)品。作為使用者和手機(jī)的溝通工具，通過(guò)圖形、色彩、排版等藝術(shù)設(shè)計(jì)要素，擔(dān)負(fù)起互動(dòng)和信息傳遞重任。普通用戶界面設(shè)計(jì)中UI設(shè)計(jì)原則如圖3所示。

圖3 UI設(shè)計(jì)原則

①跟蹤攝像機(jī)：因用戶是隨機(jī)地在場(chǎng)景中運(yùn)動(dòng)，所以必須實(shí)時(shí)地跟蹤攝像機(jī)，并在用戶視線中顯示。

②高亮提示：互動(dòng)物品作為導(dǎo)航，它具有引導(dǎo)使用者進(jìn)行探索的作用。如圖4所示。

圖4 高亮提示

③透過(guò)墻壁：進(jìn)行突出UI提示使用者目前所在位置，并引導(dǎo)使用者不斷探索突出物體。

3.4.1.2 音效設(shè)計(jì)

音效作為一種很有吸引力的互動(dòng)產(chǎn)品，它能為使用者帶來(lái)不同體驗(yàn)，如緊張、愉悅、興奮等，而音效則是其中必不可少的因素，它能讓使用者在游戲中感受到更深層刺激，從而增加互動(dòng)沉浸感。在使用過(guò)程中通過(guò)與游戲軟件交互，可獲得豐富、愉悅和滿足的用戶體驗(yàn)。文章從游戲音響效果設(shè)計(jì)基本原理出發(fā)，結(jié)合VR游戲教學(xué)特色，歸納出一些重要聲效特性。見(jiàn)圖5。

圖5 音效作用示意圖

Unity3D為開(kāi)發(fā)人員提供3大部分：音頻源、音頻片段、音頻監(jiān)控，為開(kāi)發(fā)人員提供簡(jiǎn)單、快速聲音效果。音效采用Unity3D音響系統(tǒng)進(jìn)行音響設(shè)計(jì)，利用三維立體音響效果，增強(qiáng)音響空間感。

3.5 交互方法設(shè)計(jì)

3.5.1 手勢(shì)識(shí)別交互設(shè)計(jì)

傳統(tǒng)游戲操作模式主要依靠鼠標(biāo)、操縱桿、觸摸屏進(jìn)行操作，但隨著VR技術(shù)的發(fā)展，各種觸覺(jué)設(shè)備不斷涌現(xiàn)，豐富玩家游戲體驗(yàn)，帶來(lái)一種全新人機(jī)互動(dòng)模式。文章所討論手勢(shì)識(shí)別互動(dòng)，是以Leap Motion Controller為基礎(chǔ)，進(jìn)行一種互動(dòng)設(shè)計(jì)。[6-7]Leap Motion核心功能是檢測(cè)9塊骨骼29個(gè)關(guān)節(jié)，它能識(shí)別出毫微級(jí)微小位移，能檢測(cè)手指、手掌、手腕、手指等物體（比如鉛筆、鋼筆等），具體互動(dòng)方式要依據(jù)教學(xué)目標(biāo)設(shè)置和教學(xué)對(duì)象而定，而手指基本手勢(shì)如圖6所示。

圖6 基本手指姿勢(shì)

Leap Motion軟件將某一動(dòng)作作為姿勢(shì)。Leap Motion將被探測(cè)到的姿勢(shì)都加入Gesture object，開(kāi)發(fā)人員可根據(jù)畫(huà)面姿勢(shì)來(lái)獲得姿勢(shì)物體。本課題目的在于盡量以最小化方式來(lái)達(dá)到教學(xué)目的，所以在手勢(shì)選取上要兼顧其敏感性和簡(jiǎn)便性，并依據(jù)手的運(yùn)動(dòng)規(guī)律，選取3種姿態(tài)。

Circle-單指畫(huà)圈見(jiàn)圖7。Leap Motion可識(shí)別出手指在空氣中圓形動(dòng)作，并返回圓形動(dòng)作。這種姿勢(shì)具有連續(xù)性，如手指或所用工具太遠(yuǎn)，以及動(dòng)作太慢，其動(dòng)作就會(huì)停止，這一動(dòng)作在很大程度上是作為場(chǎng)景轉(zhuǎn)換函數(shù)。[8]

圖7 食指畫(huà)圈的手勢(shì)

Swipe-手直線移動(dòng)。Leap Motion認(rèn)為，手指直線動(dòng)作就像是在做連續(xù)動(dòng)作。這種姿態(tài)主要是指用戶在場(chǎng)景中進(jìn)行漫游動(dòng)作，在這個(gè)動(dòng)作中一只手前后左右運(yùn)動(dòng)與“人”在虛擬環(huán)境中前后運(yùn)動(dòng)相對(duì)應(yīng)。

雙手在可辨認(rèn)范圍內(nèi)張開(kāi)，保持不動(dòng)。這個(gè)動(dòng)作是根據(jù)對(duì)方屬性來(lái)判定，這個(gè)動(dòng)作可用來(lái)喚醒用戶界面，當(dāng)兩只手都張開(kāi)的時(shí)候，界面就會(huì)出現(xiàn)在屏幕中央，如你手有動(dòng)作，界面就會(huì)消失。

3.5.2 頭戴顯示技術(shù)與射線定位設(shè)計(jì)

Oculus在Unity3D開(kāi)發(fā)平臺(tái)支持下OculusRiftDK2頭戴式顯示器在游戲技術(shù)指南中互動(dòng)設(shè)計(jì)。首先，做硬件配置，計(jì)算機(jī)配置越好，運(yùn)行起來(lái)就越順暢，否則會(huì)導(dǎo)致幀速下降，隨之而來(lái)就是頭昏眼花、惡心，因此在使用過(guò)程中，硬件結(jié)構(gòu)及軟件驅(qū)動(dòng)均可滿足設(shè)計(jì)要求。通過(guò)頭盔角度變化來(lái)實(shí)現(xiàn)交互式操作，在游戲中，光線探測(cè)執(zhí)行情況：在與不同標(biāo)記互動(dòng)物體發(fā)生碰撞時(shí)，相應(yīng)文字或影像說(shuō)明會(huì)出現(xiàn)在物體旁邊。技術(shù)上，Unity3D在5.0之后，還提供Oculus聲音支持，在Unity發(fā)行版中，可選擇“File-Building-Player設(shè)置”，并在彈出面板下添加虛擬現(xiàn)實(shí)支持，再添加OculusSdks。

結(jié)論

綜上所述，通過(guò)虛擬現(xiàn)實(shí)技術(shù)用戶與系統(tǒng)交互變得更加直觀，系統(tǒng)可以根據(jù)用戶視角來(lái)做出自己判斷，也可以通過(guò)系統(tǒng)為用戶提供一種視覺(jué)上的體驗(yàn)。但是現(xiàn)在虛擬現(xiàn)實(shí)系統(tǒng)并沒(méi)有太多應(yīng)用，而且隨著虛擬現(xiàn)實(shí)硬件價(jià)格越來(lái)越低，虛擬現(xiàn)實(shí)應(yīng)用也越來(lái)越少。本文針對(duì)當(dāng)前虛擬現(xiàn)實(shí)技術(shù)發(fā)展?fàn)顩r，分析其在數(shù)碼媒體藝術(shù)游戲領(lǐng)域的應(yīng)用，旨在為廣大學(xué)者提供理論參考。