九成宮虛擬場景創(chuàng)建及其交互漫游實現(xiàn)

朱耀麟，許嘉琳＋，楊宇嶠，萬韜阮，2，武 桐，田 蓉

（1.西安工程大學 電子信息學院，陜西 西安710000；2.布拉德福德大學 計算機信息與傳媒學院，西約克郡 布拉德福德BD7 1DP；3.長安大學 建筑學院，陜西 西安710061）

0 引 言

九成宮虛擬場景重現(xiàn)對唐文化展示和保護有著非常重要的意義［1］。虛擬場景漫游技術作為虛擬現(xiàn)實技術的核心技術之一，遵循著 “高性能、低成本”［2］的原則，高速發(fā)展，取得了豐碩的研究成果［3－8］。文獻 ［3－6］采用OpenGL實現(xiàn)虛擬場景漫游，文獻 ［7］提出基于圖像的虛擬場景漫游的實現(xiàn)，文獻 ［8］描述了利用鼠標、鍵盤來完成交互式漫游。但是，這些方法存在著一些不足，比如場景占用內(nèi)存較大，運行緩慢；使用硬件設施較多，以至編寫程序過程中對參數(shù)的設置復雜度增加、程序接入口的設置容易產(chǎn)生沖突等。本文將采用混合建模的方法解決場景復雜程度與創(chuàng)建時間之間的矛盾，提高其真實度，并采用Kinect動作捕捉技術使肢體動作控制代替原始的鍵盤、鼠標控制，從而使漫游過程更加自然、逼真。

1 系統(tǒng)設計總框架

九成宮屬于大型宮殿群建筑，場景復雜，類似宮殿較多，主要采用基于圖形的建模和繪制 （geometry based modeling and rendering，GBMR）和基于圖像的建模和繪制（image based modeling and rendering，IBMR）混合技術對宮殿群進行三維建模，并合理使用紋理貼圖對宮殿進一步修改，使場景更加逼真、自然。本文搭建OpenGL 系統(tǒng)框架進行虛擬場景的渲染和實時顯示，為了增加虛擬場景的真實程度，對燈光、陰影等進行一系列設置，還采用Kinect動作捕捉技術實現(xiàn)人體姿勢控制代替鍵盤控制場景來達到交互目的，使系統(tǒng)的更加生動，沉浸感增強。系統(tǒng)的設計框架如圖1所示。

圖1 系統(tǒng)設計框架

2 九成宮簡介

有詩序記載： “九成宮者，天子之殊庭，群仙之一都也。五城既遠，得昆閬于神京；三山已沈；見蓬萊于右輔。紫樓金閣，雕石壁而鏤群；碧甃銅池，俯銀津而橫眾壑。離宮地險，丹磵四周，徼道天回，翠屏千仞?！保?］

九成宮以隋朝仁壽宮為基礎進行修建，集北朝雄渾大氣與南朝溫婉細膩為一體，將自然山水和宮廷建筑完美結(jié)合，在建筑史上有深遠影響。不但大明宮的一些建筑仿效它，對興慶宮的花萼相輝樓和勤政務本樓的創(chuàng)建也發(fā)揮了巨大的影響力?？脊艑W家證明九成宮總體建筑采用縱軸陪襯手法，左右呈對稱趨勢，整體色調(diào)較為單一，主要殿閣屋頂為重檐歇山頂，其余為單檐歇山頂［10］。鴟吻呈魚尾狀。由于其斗拱布置疏朗，用料碩大，使出檐較為深遠，有平緩的曲線，屋檐向上翹起。瓦片以板瓦，筒瓦居多，色調(diào)以灰瓦和黑瓦為主。柱子較粗且下粗上細，柱礎石以覆盆柱礎為主。門窗多用版門和直欞窗，門扇分上中下，上部高裝直欞便于采光。石制欄桿，長磚鋪地，青掍磚為散水［11］。

3 九成宮虛擬場景的構造

在九成宮虛擬場景的構建過程中，需要解決很多矛盾，如制作精細的模型與占用內(nèi)存少之間的矛盾，場景復雜程度與創(chuàng)建時間之間的矛盾，場景渲染速度與逼真度之間的矛盾等。

3.1 三維建模

在九成宮模型創(chuàng)建過程中，盡量使用參數(shù)化方法構建，使模型單位統(tǒng)一、規(guī)范。另外，采用模塊化建模來得到部分模塊，對這些模塊進行重組，從而得到不同宮殿模型，減少了模型創(chuàng)建所需要的時間，增強了模塊的可重用性。

由于宮殿模型具有統(tǒng)一的特點，所以主要以幾何建模技術為主，圖像建模為輔。對于不同的模塊靈活采用不同技術。對于宮殿墻體，臺階，臺基等的創(chuàng)建，采用多邊形建模。多邊形建模的主要命令是可編輯網(wǎng)格和可編輯多邊形，而幾乎所有的幾何體類型都可以塌陷為可編輯多邊形（包括曲線）。該方式創(chuàng)建的模型占用系統(tǒng)資源少，渲染速度快，并且可以在較少面下創(chuàng)建較復雜的模型。而對于屋檐的創(chuàng)建，由于需要不規(guī)則的、光滑復雜的模型，所以采用NURBS建模方法。另外還采用了擠壓建模、面片建模、復合對象建模等。

模型的創(chuàng)建過程中，細節(jié)程度越高，模型越精細，工作量就越大，并且在面與面的連接處存在許多多余多邊形，這些都嚴重影響場景的渲染速度，使性能下降。為此，在不影響整體視覺基礎上刪除不必要面片，合理分配網(wǎng)格，移除不必要的點和線，點面對齊，焊接重合點，對模型的表面進行處理，合理使用紋理，用紋理代替復雜模型，比如瓦片，欄桿等，進而減少內(nèi)存占用，給人以真實環(huán)境的感覺。創(chuàng)建模型過程中利用紋理貼圖達到效果，如圖2所示經(jīng)過紋理貼圖后模型更加逼真。

圖2 紋理貼圖效果

紋理映射技術不僅增加了模型細節(jié)水平和景物的真實感，而且減少了內(nèi)存占用量，它可以保存其在模型上的三維坐標供模型渲染時使用。billboard技術［12］就是紋理映射技術的演變。比如由billboard技術創(chuàng)建的樹的模型，就是將樹的紋理貼圖貼在一個多邊形上，在漫游程序中定義多邊形的法向量始終與視線方向平行，是樹隨視角的變化而變化，進而使用一個多邊形得到最逼真的樹模型，既節(jié)省了內(nèi)存空間提高了場景渲染的效率，又生動形象的顯示了樹。

3.2 虛擬模型渲染

本文主要在OpenGL 函數(shù)庫基礎上進行虛擬場景的繪制和渲染。OpenGL 能夠通過編程直接繪制模型，但復雜模型需要大量的程序代碼。因此，本文通過讀取由3.1 得到的3DS模型的數(shù)據(jù)，調(diào)用CLoad3DS 類中的show3ds（）函數(shù)進行模型的繪制和顯示。在模型繪制過程中，為了避免紋理坐標出現(xiàn)扭曲，采用glTexParameter（）函數(shù)進行線性濾波。最終，對繪制的模型進行定位、旋轉(zhuǎn)、縮放等操作得到與場景比例協(xié)調(diào)的九成宮三維模型。另外，與現(xiàn)實相近的虛擬場景不僅需要主要建筑物，還需要天空、地面、光照、霧化等來增加場景的真實程度。為此，采用天空盒繪制天空，采用讀取高度圖內(nèi)保存的高度信息的方法來控制地面高度，利用glTexParameterf（GL＿TEXTURE＿2D，GL＿TEXTURE＿WRAP＿S，0×812F）和glTexParameterf（GL ＿TEXTURE ＿2D，GL ＿TEXTURE ＿WRAP＿T，0×812F）語句消除天空盒裂縫，在方位145左右，x在310左右，y在320 左右，仰角為29 天空對比圖，如圖3～圖4所示經(jīng)過濾波裂縫消除。

圖3 有裂縫的天空

4 場景的交互式漫游

本文主要采用了基于Kinect的動作捕捉技術來實現(xiàn)虛擬場景中漫游。Kinect是微軟公司于2010年6月針對游戲主機Xbox360推出的一款體感設備，隨后推出了Kinect for Windows，它功能比較強大、價格低廉，主要由麥克風和攝像頭構成其輸入系統(tǒng)，其中攝像頭有包括彩色攝像頭、紅外投影機和紅外攝像頭。彩色攝像頭可以直接拍攝彩色圖片和視頻，紅外投影機主要用于發(fā)射近紅外光譜，紅外光譜照射到物體表面時會發(fā)生扭曲，從而隨機形成反射斑點 （簡稱散斑）［13］，由紅外攝像頭進行接收并分析，最終得到物體的深度信息。

圖4 消除裂縫后的天空

Kinect的骨骼跟蹤功能在深度信息的基礎上進行的。首先，Kinect通過紅外攝像頭得到場景的深度信息，再將人物的深度信息提取出來，根據(jù)人體比例識別人體的部位，然后推斷出關節(jié)點 （即骨骼點）的位置。隨著人體做出不同的動作，骨骼點之間的相對空間位置發(fā)生改變，從而實現(xiàn)骨骼跟蹤功能。

在場景漫游過程中，主要采用算法匹配的方法，通過跟蹤骨骼點之間的空間位置，結(jié)合三角幾何進行匹配來達到目的。本設計采用事件模式來獲取數(shù)據(jù)，即定義雙手骨骼點之間的距離和雙膝骨骼點之間的距離，當人體開始做出姿勢時，若雙膝之間的前后距離大于定義的最小值MIN＿KneeLeft＿KneeRight時，觸發(fā)前進事件，使向前漫游；當雙手之間的垂直距離超過已定義的閾值rightThreshhold或leftThreshhold時，觸發(fā)向左走或向右走事件，進而進行左轉(zhuǎn)或右轉(zhuǎn)操作；當雙手處于同一平面且雙手之間的水平距離大于已定義值backwardThresh－－h(huán)old時，觸發(fā)后退事件，使后退。另外，通過訪問Window.Dispatcher屬性調(diào)用了Invoke方法更新界面中的控件元素，使控件的變化隨人物動作的指示變化，從而實現(xiàn)前進、后退、向左走、向右走標志的變換。具體動作設計見表1。

表1 現(xiàn)實動作與場景控制對應

5 實驗結(jié)果

本文給出了隋唐遺址九成宮的虛擬場景漫游系統(tǒng)，它更具沉浸感，交互更加自然，滿足了人們對古遺址游覽的需要。本實驗以OpenGL 為基礎，以Kinect為捕捉工具，進行了平臺搭建。仿真圖結(jié)果如圖5～圖8所示。

圖5 向左走

圖6 向右走

圖7 后退

6 結(jié)束語

通過對隋唐行宮九成宮考古資料的大量收集和分析，創(chuàng)建了虛擬場景漫游系統(tǒng)，其中通過混合建模和紋理貼映射等技術實現(xiàn)了九成宮的三維立體顯示，并采用OpenGL系統(tǒng)框架對其進行渲染。采用Kinect動作捕捉技術使現(xiàn)實人體姿勢控制代替原始的鍵盤、鼠標控制，從而使整個漫游過程更趨于自然化，相對于以前的由紅外發(fā)射和接受，數(shù)據(jù)手套等設計的自然交互更加簡單方便，有利于相關程序的開發(fā)。本設計系統(tǒng)中如碰撞檢測，Kinect捕捉精度等方面還可以進一步改進。另外，本系統(tǒng)對古代文化的復興具有推動作用，對文化的保護和傳播有非常深遠的意義。

圖8 前進

［1］LI Zhixing.Jiuchenggong culture and its times’implication［J］.Baoji Social Sciences，2010 （4）：39－41 （in Chinese）.［李志興.九成宮文化及其時代意蘊 ［J］.寶雞社會科學，2010 （4）：39－41.］

［2］XU Wei.Virtual reality research status and development at home and abroad ［J］.Modern Business Trade Industry，2009，21 （2）：279－280 （in Chinese）.［許微.虛擬現(xiàn)實技術的國內(nèi)外研究現(xiàn)狀與發(fā)展 ［J］.現(xiàn)代商貿(mào)工業(yè)，2009，21（2）：279－280.］

［3］ZHANG Rui.Establishment and implementation of OpenGLbased 3Dscene modeling ［D］.Wuhan：Huazhong University of Science and Technology，2010 （in Chinese）.［張銳.Open－GL三維場景模型的建立與實現(xiàn) ［D］.武漢：華中科技大學，2010.］

［4］ZHU Yingjun，LI Guoxiang.Virtual roaming system of Open－GL－based implementation technology ［J］.Science and Business，2011 （8）：38－40 （in Chinese）.［祝英俊，李國祥.基于OpenGL的虛擬漫游系統(tǒng)實現(xiàn)技術 ［J］.科技與企業(yè)，2011（8）：38－40.］

［5］LIU Guodong，LI Hong.The design and implementation of a virtual history museum walking－through system based on Open－GL ［J］.Computer and Information Technology，2010，18（1）：56－60 （in Chinese）. ［劉國棟，李宏.基于OpenGL 的虛擬歷史博物館漫游設計與實現(xiàn) ［J］.電腦與信息技術，2010，18 （1）：56－60］

［6］LIU Wei.Research and implementation of modeling and visual simulation of Chinese ancient buildings based on OpenGL ［D］.Chengdu：Electronic Science and Technology University，2011（in Chinese）.［劉薇.基于OpenGL的中國古建筑的建模與視景仿真的研究和實現(xiàn) ［D］.成都：電子科技大學，2011.］

［7］ZONG Yan.Research and application on the key algorithms in IBR－based virtual reality system ［D］.Lanzhou：Lanzhou Jiaotong University，2012 （in Chinese）.［宗巖.基于IBR 的虛擬漫游系統(tǒng)關鍵算法研究及應用 ［D］.蘭州：蘭州交通大學，2012.］

［8］LIU Qiaohong.Construction of computer virtual campus and human－computer interaction technology ［J］.Computer Engineering and Design，2010，31 （19）：4332－4335 （in Chinese）.［劉巧紅.計算機虛擬校園的建造與人機交互的實現(xiàn)［J］.計算機工程與設計，2010，31 （19）：4332－4335.］

［9］TAN Rui.Jiucheng palace and political history of sui and tang dynasty ［J］.Journal of Yibin University，2009 （2）：62－64（in Chinese）.［譚銳.略論九成宮與隋唐政治的關系 ［J］.宜賓學報，2009 （2）：62－64.］

［10］ZHANG Xia，ZHANG Fangtao.A pair of excellence of wood－structure buildings in tang dynasty－nanchansi temple and the east temple of Fuoguangsi［J］.Shanxi Science and Technology，2007 （1）：22，25 （in Chinese）. ［張霞，張放淘.唐代木構建筑的 “雙壁”—南禪寺大殿和佛光寺東大殿［J］.山西科技，2007 （1）：22，25.］

［11］LIU Yinliang.Comparison Daminggong with Jiuchenggong’architectural features［J］.Journal of Sanmenxia Polytechnic，2012，11 （2）：11－14 （in Chinese）. ［劉銀亮.大明宮與九成宮建筑特點的比較 ［J］.三門峽職業(yè)技術學院學報，2012，11 （2）：11－14.］

［12］HE Chen.The research of tree’s modeling and real－time rendering technology ［D］.Qingdao：Qingdao University，2009（in Chinese）.［何辰.樹木建模與實時渲染技術研究 ［D］.青島：青島大學，2009.］

［13］ZHANG Di.Discussion of the Kinect applications ［J］.Logistics Engineering and Management，2012，34 （6）：39－41（in Chinese）.［張荻.Kinect應用領域的探討 ［J］.物流工程與管理，2012，34 （6）：39－41.］