沉浸式水墨荷花立體導航界面設(shè)計

李舸溯

哈爾濱工業(yè)大學媒體技術(shù)與藝術(shù)系，黑龍江哈爾濱 150001

0 引言

從人類進入21 世紀以來，計算機技術(shù)的不斷發(fā)展，計算機圖形技術(shù)與顯示技術(shù)也在飛速的前進著。1962 年，sutherland 提出“The ultimate Display”[1]的觀點，帶領(lǐng)人類進入有計算機生成圖形模擬真實環(huán)境的研究領(lǐng)域。在“The Ultimate Display”中，Sutherland 給出了虛擬現(xiàn)實的一個概念雛形：使人處在由計算機生成的虛擬環(huán)境中，并且以自然的方式與虛擬場景進行交互，人如同處在真實環(huán)境中，并與虛擬環(huán)境中的物體發(fā)生相互作用。其研制的頭盔顯示器HMD[2]做為其觀點的具體實現(xiàn)使用戶第一次感受到了虛擬場景帶給用戶的沉浸感。在sutherland 的研究中，通過虛擬現(xiàn)實技術(shù)使仿真環(huán)境與現(xiàn)實世界聯(lián)系起來，用戶在體驗中不但體驗到現(xiàn)實環(huán)境的感受，還可以體驗到現(xiàn)實環(huán)境中無法提供的感受。如今，計算機圖形技術(shù)、交互設(shè)備、圖形顯示技術(shù)以及PC 機的圖形處理能力都得到了巨大的發(fā)展。虛擬現(xiàn)實系統(tǒng)也不局限于HMD技術(shù)，大屏幕、多投影機拼接構(gòu)成的虛擬現(xiàn)實系統(tǒng)逐漸進入人們的生活中，并受到用戶的青睞。這類多投影虛擬現(xiàn)實系統(tǒng)給用戶提供了大視野、高分辨率、高質(zhì)量的立體圖像[3][4]。通過逼真的模擬人在自然環(huán)境中的視覺、聽覺、運動等行為來使人產(chǎn)生沉浸感。1992 年，在SIGGRAPH 年會上DeFanti，Sandin以 及Cruz-Neira 提 出 了CAVE（Cave Automatic Virtual Environment）系統(tǒng)[5]，它是一種全新的基于投影的沉浸式虛擬環(huán)境。CAVE 系統(tǒng)支持多用戶的使用，同時解決了HMD 系統(tǒng)造成的用戶眼鏡不適感問題。其投影面幾乎能覆蓋用戶的所有視野，給用戶帶來很強的沉浸感體驗。本實驗主要針對CAVE系統(tǒng)中的用戶界面進行研究，利用CAVE 系統(tǒng)自身具備的大視野、高分辨率、高質(zhì)量的立體圖像顯示技術(shù)，為用戶提供一個較好的沉浸式環(huán)境。

1 實現(xiàn)CAVE 中水墨荷花立體導航的設(shè)備組成

本系統(tǒng)中采用的CAVE 系統(tǒng)就是基于廉價微型計算機系統(tǒng)為主體進行構(gòu)建的全方位投影系統(tǒng)。硬件搭建包括5 個正方體投影屏幕，分別是上、下、前、左、右五個方向，一臺具備高速3D 圖形處理能力的高性能微型計算機系統(tǒng)為主體，進行集中控制。操作系統(tǒng)采用支持OpenGL 和Direct10.1 的Windows 7 專業(yè)版32 位操作系統(tǒng)，建模和渲染選擇MAYA 和3D Max 軟件，圖形處理選擇Photoshop Cs5 軟件，游戲引擎選擇Unity 3D 軟件。微機系統(tǒng)硬件在CPU 選擇上采用Intel（R）Core（TM）i5-2450M 雙核心與Intel GMA HD3000 顯卡進行搭配，內(nèi)存為4GB 的DDR3。其3D 圖形處理能力已經(jīng)超過以前高檔SGI 圖形工作站，可以支持CAVE 系統(tǒng)的整體運行。投影儀選擇標稱亮度（流明）3000 流明的索尼CX80，對比度450：1，分辨率為1024*768，可以高清晰地將場景投射到屏幕上，系統(tǒng)的照相機參數(shù)以每個面試用90 度的視角范圍來設(shè)定，前方照相機參數(shù)為原始參數(shù)，左、右、地面和天空四個面的照相機參數(shù)由PCCAVE 自動推算。

深度攝像頭，采用微軟公司推出的KINECT 體感設(shè)備，并固定于前視角的幕布上方，對用戶的視點及動作信息進行獲取。通過游戲引擎獲取平面的畫面內(nèi)容，并進行投影變換，并根據(jù)KINECT 獲取的用戶頭部信息來調(diào)整投影變換中視點的位置。

2 關(guān)鍵技術(shù)組成及具體實現(xiàn)

沉浸式水墨荷花導航系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)有三部分模塊，分別為：三維美術(shù)模型及場景制作模塊、交互設(shè)計實現(xiàn)模塊、以及硬件系統(tǒng)集成技術(shù)模塊。圖2 給出了完整的水墨荷花導航系統(tǒng)的主要制作步驟和流程。首先是為整個導航系統(tǒng)制定整體策劃，包括導航內(nèi)部結(jié)構(gòu)規(guī)劃，導航呈現(xiàn)在用戶眼中的美術(shù)視覺設(shè)計，規(guī)劃系統(tǒng)交互功能的實現(xiàn)和硬件系統(tǒng)集成方案。

對于荷花的模型構(gòu)建，主要使用MAYA 建模軟件進行模型構(gòu)造、動畫效果制作以及材質(zhì)渲染輸出，視覺畫面定位側(cè)重于水墨風格的表現(xiàn)。本文中，由于場景中還有很多模型需要表現(xiàn)水墨效果，為使整體視覺效果最終保持一直，在unity 3D 中使用shader 進行線描效果的編寫，并將其賦值給每個模型。在交互時，荷花產(chǎn)生動畫效果，此效果在maya 中完成，通過使用maya 中自帶的骨骼綁定來制作荷花的開花效果。

在交互設(shè)計上，采用Microsoft 開發(fā)的kinect 傳感器作為身體動作捕捉設(shè)備，通過系統(tǒng)的功能需求設(shè)計相應(yīng)的手勢動作，進而通過對kinect for Widows SDK 的開發(fā)實現(xiàn)手勢交互。

基于人體生理結(jié)構(gòu)和日常行為動作，在設(shè)計中以人站立姿態(tài)下的身體中軸線為標準中心坐標線，對手勢進行定義命名，包括系統(tǒng)開機動作、確定選項動作、縮放視口動作、打擊熱點動作和退出系統(tǒng)動作。

其他動作與此動作代碼類似，在此不一一列舉。最后在Unity 3D 中整合輸出。

本系統(tǒng)采用CAVE 無縫拼接投影系統(tǒng)，在X86 平臺上實現(xiàn)最高圖形性能的三維圖形處理，實現(xiàn)邏輯矩陣、視音頻同步切換功能的視頻矩陣切換。利用kinect 傳感器獲取手勢動作，并通過投影儀設(shè)備進行輸出，實現(xiàn)交互動作的視覺化效果。

3 結(jié)論

本文對CAVE 中的導航系統(tǒng)界面進行探索，從文中的導航制作流程可以看出，CAVE 中的導航系統(tǒng)界面不同于Web 或移動平臺中的界面顯示，Web 等平臺由于自身條件受限，目前視覺效果多數(shù)停留在二維空間的顯示上，即使實現(xiàn)三維圖像顯示，視覺感上三維效果也不是很明顯，且三維出屏效果有限。而基于CAVE 的應(yīng)用可以很好的實現(xiàn)三維的立體空間顯示效果，因此其導航系統(tǒng)界面具有以下幾方面特性：1）三維性，通過佩戴液晶立體眼鏡能夠感受到物體的出鏡效果，增強視覺空間感；2）現(xiàn)實與虛擬的完美融合，通過將導航擬物化融入于場景中成為場景中的一部分，使用戶在操作中即完成了要實現(xiàn)的任務(wù)，還使場景在視覺上發(fā)生變化，增加了趣味性；3）交互性增強，通過手勢的不同動作，產(chǎn)生不同的交互效果，交互方式沿用移動平臺的基本操作方法，使用戶在具體操作時易于上手，與日常行為認知保持連貫性；4）沉浸性，基于CAVE 的導航系統(tǒng)，使用戶在視覺感受、心理上都形成較好的沉浸性，給用戶帶來意想不到的體驗；5）基于不同的場景中，會增強場景對用戶的影響效果，如本文中的水墨荷花，基于CAVE 的水墨場景體驗，在用戶進入CAVE 時，用戶會對水墨效果有新的認識和理解，提高人們印象中對傳統(tǒng)水墨畫的認知。

[l]Sutherland I.The ultimate display[C].Pro IFIP Congress，1962:506-508.

[2]Sutherland I.A head-mounted three dimensional display[C].Proceedings of Joint Computer Conferenee，1968:755-764.

[3]FP Brooks.What’s real about virtual reality[J].Computer Graphics and Applications，IEEE.1999，19(6):16-27.

[4]Ned Kock.Virtual Reality Technology[J].International Journal of e-Collaboration，2006，2(l):61-64.

[5]Molet T.，Aubel A.，Capin T.，et al.Thalmann.Anyone for Tennis ? Presence，Vol.8，1999，4(2):140-156.