高興燁,劉建軍,任 鑫,牟伶俐,李春來
(1. 中國科學(xué)院國家天文臺,北京 100012; 2. 中國科學(xué)院大學(xué),北京 100049;3. 中國科學(xué)院月球與深空探測重點實驗室,北京 100012)
?
雙目立體顯示技術(shù)在月表形貌三維可視化中的應(yīng)用*1
高興燁1,2,3,劉建軍1,3,任鑫1,3,牟伶俐1,3,李春來1,3
(1. 中國科學(xué)院國家天文臺,北京100012; 2. 中國科學(xué)院大學(xué),北京100049;3. 中國科學(xué)院月球與深空探測重點實驗室,北京100012)
摘要:基于嫦娥二號探測器獲得的地形及影像數(shù)據(jù),將雙目立體顯示技術(shù)應(yīng)用于月表形貌三維可視化中,構(gòu)建了月球三維立體可視化系統(tǒng)。介紹了雙目立體顯示原理,并對月球三維立體可視化系統(tǒng)的具體實現(xiàn)進行了詳細(xì)的介紹。首先論述了系統(tǒng)的設(shè)計方案及硬件環(huán)境;接著論述了月球海量地形數(shù)據(jù)的組織方式和實時渲染方法;最后采用離軸模型的雙目立體顯示方法,實現(xiàn)了舒適的立體效果。月球科普及科研應(yīng)用表明,系統(tǒng)具有良好的實用價值。
關(guān)鍵詞:嫦娥二號探測器;雙目立體顯示;月球三維可視化
自2007年我國成功發(fā)射第一顆繞月探測器嫦娥一號以來,我國已經(jīng)成功開展了三次月球探測活動,獲取了大量珍貴的月球影像數(shù)據(jù)。嫦娥一號探測器在一年多的繞月探測任務(wù)中利用搭載的三線陣CCD相機,獲取了120 m分辨率的全月球影像,經(jīng)嫦娥工程地面應(yīng)用系統(tǒng)工作人員的精心處理,獲得了空間分辨率500 m的全月球數(shù)字高程模型(Digital Elevation Model, DEM)。嫦娥二號探測器在半年多的繞月探測中,利用搭載的兩線陣CCD相機獲得了7 m分辨率的全月球影像數(shù)據(jù)以及32軌米級分辨率的虹灣地區(qū)影像數(shù)據(jù),經(jīng)地面應(yīng)用系統(tǒng)工作人員的精心處理,獲得了空間分辨率達20 m的全月球數(shù)字高程模型數(shù)據(jù)。2013年12月14日,嫦娥三號探測器將我國首個著陸器和月兔號巡視器送抵月球表面,開始開展月表就位探測和巡視探測活動。至今,利用月兔號巡視器搭載的全景相機已獲取了大量著陸點周圍的月球數(shù)據(jù)。三次成功的月球探測活動,在我國擁有自主月球探測數(shù)據(jù)的同時,彌補了國外獲取的月球影像數(shù)據(jù)不清晰、不全面的不足,為人們真實全面地了解月球形貌提供了良好的數(shù)據(jù)基礎(chǔ)?;谇逦娴逆隙鹛綔y器影像數(shù)據(jù)和高分辨率數(shù)字高程模型數(shù)據(jù),進行月球形貌三維可視化研究,以直觀便捷的方式幫助人們認(rèn)識月球、了解月球,有助于人們對月球開展更深入的定量定性研究;對于我國更好地開展月球探測活動,也具有重要意義?;阪隙鹛綔y器數(shù)據(jù),國內(nèi)學(xué)者開展了大量的月球形貌可視化研究工作。文[1]基于嫦娥一號地形數(shù)據(jù)制作了三維月球形貌圖;文[2]基于嫦娥一號CCD相機數(shù)據(jù)和激光高度計數(shù)據(jù)制作了月球三維可視化系統(tǒng);文[3] 基于嫦娥一號地形數(shù)據(jù)及影像數(shù)據(jù)構(gòu)建了嫦娥二號在軌運行視景仿真系統(tǒng);文[4]對WebGIS技術(shù)應(yīng)用于月球可視化的關(guān)鍵技術(shù)進行了論述。在基于嫦娥探測器數(shù)據(jù)對月表形貌進行可視化的研究中,幾乎所有可視化研究方法是采用二維平面進行顯示,具有一定的局限性。
現(xiàn)實的世界是三維的世界,隨著計算機技術(shù)的發(fā)展,基于雙目立體顯示的三維立體可視化技術(shù)取得了飛速的發(fā)展。與傳統(tǒng)的二維顯示技術(shù)相比,采用雙目立體顯示技術(shù)能夠使人眼在二維顯示平面獲得立體視覺;雙目立體顯示技術(shù)能夠以更符合人眼習(xí)慣的形式再現(xiàn)客觀景物,使視者獲得身臨其境的臨場感;雙目立體顯示技術(shù)顯示的信息量更大,感染力更強,更逼真,更富于實感性和參與性[5]。雙目立體顯示技術(shù)是虛擬現(xiàn)實及可視化中的關(guān)鍵技術(shù),在航天、醫(yī)療、教育、游戲、電影電視等方面具有廣泛的應(yīng)用[6-12]。
本文在介紹雙目立體顯示原理的基礎(chǔ)上,將雙目立體顯示技術(shù)應(yīng)用于月球形貌的三維立體可視化表達中,基于嫦娥二號地形及影像數(shù)據(jù),結(jié)合四通道立體投影系統(tǒng),實現(xiàn)了沉浸式的月球三維立體可視化系統(tǒng),并選擇離軸模型的雙目立體顯示方法,提供了更好的沉浸感,有效地輔助人們以更直觀的方式了解月球的形貌特征。
1雙目立體顯示原理
在觀察真實的三維世界時,雙眼由于存在一定的瞳距,所看到的是現(xiàn)實世界投影于視網(wǎng)膜上具有一定視差的圖像對,大腦通過調(diào)整眼球的運動,綜合視差圖像對信息,從而獲得對物體距離的感知。雙目立體視覺的原理即是根據(jù)人眼的立體視覺成像原理,仿真人眼的立體成像過程,根據(jù)人眼所處的相對屏幕的位置,利用計算機模擬仿真生成該處左右眼所看到的視差圖像,并顯示在屏幕上,再通過專門的雙目立體顯示硬件使人的左眼只看到仿真生成的左圖像,右眼只看到仿真生成的右圖像,以在大腦中形成立體視覺。下面分別對形成雙目立體視覺的決定性因素——視差以及構(gòu)建立體視覺的基礎(chǔ)——雙目立體顯示硬件進行介紹。
1.1視差
視差是指屏幕上顯示的左右視差圖像的兩個對應(yīng)點的水平距離。視差決定了立體圖像在大腦中的立體感受。通過對左右視差圖像的視差大小調(diào)節(jié),可以形成不同的立體視覺。根據(jù)視差在大腦中形成的不同立體感受,可將視差分為正視差、零視差、負(fù)視差和發(fā)散視差4類。
正視差:當(dāng)視差圖像上兩個對應(yīng)點的距離小于瞳距,而且兩眼的視線不在屏幕前交叉時,就會產(chǎn)生正視差(圖1(a))。大腦通過融合這兩個對應(yīng)點,產(chǎn)生三維立體的點,看上去就像位于屏幕平面的后方空間。
零視差:在二維顯示器上顯示零視差的兩個對應(yīng)點重疊在一起,雙眼觀看時,這點顯示在二維屏幕平面上(圖1(b))。
負(fù)視差:當(dāng)左右視差圖像上兩個對應(yīng)點的距離小于瞳距,而且兩眼的視線在屏幕前交叉時,就會產(chǎn)生負(fù)視差(圖1(c))。大腦通過融合這兩個對應(yīng)點,產(chǎn)生三維立體的點,這樣的立體點看上去就像漂浮在屏幕和人眼之間。
發(fā)散視差:當(dāng)兩個對應(yīng)點的距離大于或等于瞳距,大腦無法對這兩個對應(yīng)點對焦,產(chǎn)生具有重影的立體像(圖1(d))。在這種情況下,人腦會本能地不斷對圖像對焦,即使很短一段時間,都會產(chǎn)生疲勞和不舒服的感覺。
圖1屏幕視差
Fig.1Screen parallax
1.2雙目立體顯示硬件
雙目立體顯示硬件是指利用光學(xué)等技術(shù)手段,保證左右雙眼只能看到屏幕上對應(yīng)的左右視差圖像的輔助設(shè)備。根據(jù)雙目立體硬件的實現(xiàn)原理,將立體硬件采用的技術(shù)分為以下幾類:分色技術(shù)、分時技術(shù)、分光技術(shù)、空間劃分技術(shù),如圖2。
2月球三維立體可視化系統(tǒng)的設(shè)計及實現(xiàn)
本文基于雙目立體顯示的原理,結(jié)合計算機圖形學(xué)知識,設(shè)計及構(gòu)建了月球三維立體可視化系統(tǒng)。
2.1月球三維立體漫游系統(tǒng)的構(gòu)建流程
本文采用嫦娥二號7 m分辨率的正射影像數(shù)據(jù)及20 m分辨率的數(shù)字高程數(shù)據(jù)構(gòu)建了可實時交互漫游的月球形貌三維立體可視化系統(tǒng)。整個系統(tǒng)的構(gòu)建流程如圖3。
首先將月表20 m分辨率的數(shù)字高程數(shù)據(jù)及月球數(shù)據(jù)進行預(yù)處理,生成全月球的地形模型數(shù)據(jù)庫;再將地形模型數(shù)據(jù)加入月球三維立體可視化系統(tǒng),根據(jù)視點位置動態(tài)加載地形數(shù)據(jù)塊,并基于雙目視點的離軸模型完成立體渲染;最后將渲染的左右視差圖像信號輸出到四通道立體投影系統(tǒng)進行立體投影顯示。
圖2雙目立體顯示硬件
Fig.2Hardware for binocular stereo display
圖3 月球三維立體可視化系統(tǒng)的構(gòu)建流程
2.2月球三維立體漫游系統(tǒng)立體硬件環(huán)境介紹
月球立體漫游系統(tǒng)以沉浸式四通道立體投影系統(tǒng)為展示平臺 (圖4)。該系統(tǒng)的硬件配置如下:
4臺支持主動立體顯示的無縫融合的巴可投影機,亮度26 000流明,刷新率為120 Hz;投影巨幕弧長31 m,高5.5 m,弧度120°;信號同步矩陣1臺;惠普Z820圖形工作站1臺,外接Quadro Plex顯卡;立體信號發(fā)射器1臺及快門式立體眼鏡若干。
該硬件系統(tǒng)采用支持Nvidia的3DVision分時技術(shù)的Quadro Plex顯卡,實時渲染交替輸出4路左右立體視頻信號,經(jīng)同步矩陣將4路視頻的立體信號同步后,分別輸出到4臺無縫拼接的立體投影儀,以120 Hz的刷新率進行立體投影顯示,同時立體信號發(fā)射器發(fā)射立體同步信號,立體眼鏡進行同步響應(yīng),保證觀看者的左眼只能看到左像,右眼只能看到右像,形成立體視覺。
2.3地形數(shù)據(jù)的組織及渲染
嫦娥二號數(shù)字高程數(shù)據(jù)及數(shù)字正射影像圖(Digital Orthophoto Map, DOM)達到TB級,不可能將其一次性載入計算機內(nèi)存,必須對數(shù)據(jù)進行有效的組織和動態(tài)調(diào)度,才能實現(xiàn)全月球的實時交互漫游和渲染顯示。
本文通過對數(shù)字高程數(shù)據(jù)及數(shù)字正射影像數(shù)據(jù)進行預(yù)處理構(gòu)成地形模型塊,并以四叉樹的組織方式對地形塊進行組織,具體的數(shù)據(jù)組織方式如圖5。先將全球數(shù)據(jù)分為東西兩個半球,然后沿著經(jīng)緯線將東西兩個半球遞歸四等分,以四叉樹的結(jié)構(gòu)進行組織管理。每個四叉樹的結(jié)點懸掛一個地形單元,此地形單元由 256像素 × 256像素的影像塊和地理位置與影像塊對應(yīng)的地形塊融合構(gòu)成。
圖4 4通道立體投影系統(tǒng)結(jié)構(gòu)圖
圖5 全月球地形數(shù)據(jù)四叉樹組織結(jié)構(gòu)圖
本文采用層次細(xì)節(jié)模型(Level of Detail Model, LOD)渲染算法動態(tài)調(diào)度地形單元完成渲染。層次細(xì)節(jié)模型渲染算法是指在場景中進行模型繪制時距離視點越遠的地方分辨率越低,距離視點越近的地方分辨率越高,而且隨著視點的變化,場景的變化具有連續(xù)性,這樣即能保證顯示大規(guī)模數(shù)據(jù)的流暢性,又不影響顯示的效果[13]。
2.4雙目視點模型的選擇和立體顯示的實現(xiàn)
在虛擬月球模型建模完成后,需要選擇合適的雙目視點模型完成立體場景的渲染,才能達到良好的月球立體漫游效果。
2.4.1雙目視點模型的選擇
在虛擬場景中,根據(jù)雙眼視差原理,設(shè)置具有水平距離并內(nèi)聚的左右視點,再將視點所見的虛擬場景投影變換在二維屏幕上立體顯示,利用這種方法構(gòu)建的雙目視點模型,稱為內(nèi)束模型(圖6(a))。內(nèi)束模型不能形成良好的立體效果,它的重要缺陷是引入垂直視差并造成了水平深度面的變形[14]。離軸模型是內(nèi)束模型的改進(圖6(b))。離軸模型在保持左右視點視線平行的同時,將兩個視點投影后的圖像向相反的水平方向移動,形成立體視差圖像。移軸模型在保證雙眼視線平行的同時,通過設(shè)置兩個非對稱的視見體實現(xiàn)。圖6(b)中陰影部分代表非對稱的視見體。采用離軸模型投影后形成的左右視差圖像不但沒有引進垂直視差,還解決了深度面的變形問題。
圖6 內(nèi)束模型和離軸模型
2.4.2三維立體可視化的實現(xiàn)
計算機中虛擬世界的三維效果利用將虛擬場景的三維坐標(biāo)經(jīng)視點變換后再經(jīng)透視投影到二維平面實現(xiàn)。三維立體可視化的實現(xiàn),首先需要根據(jù)離軸模型原理構(gòu)建水平偏移原視點的左右兩個視點,同時利用錯切矩陣乘以原透視投影矩陣,對原透視投影矩陣進行錯切變換;然后再將虛擬世界的三維坐標(biāo)分別乘以經(jīng)平移變換后的左右視點矩陣的逆矩陣,再乘以經(jīng)錯切變換后的左右視點投影矩陣,將虛擬三維世界投影成為具有左右視差的立體圖像;最后分別將得到的左右視差圖像交替顯示輸出。視點變換矩陣及投影變換矩陣的平移及錯切變換過程如下:
LeftViewMatrix=LeftTranslationMatrix×ViewMatrix;
LeftProjectionMatrix=LeftShearMatrix×ProjectionMatrix;
RightViewMatrix=RightTranslationMatrix×ViewMatrix;
RightProjectionMatrix=RightShearMatrix×ProjectionMatrix;
其中,LeftViewMatrix和RightViewMatrix為變換后左右視點的變換矩陣;ViewMatrix為原視點變換矩陣;LeftTranslationMatrix和RightTranslationMatrix分別為將視點向左右平移的平移矩陣;LeftProjection和RightProjection為變換后左右視點的投影矩陣;ProjectionMatrix為原透視投影矩陣;ShearLeftMatrix和ShearRightMatrix為將原透視投影進行錯切變換的左右視點對應(yīng)的錯切變換矩陣。
其中,LeftTranslateMatrix和RightTranslateMatrix兩個平移矩陣分別為
LeftShearMatrix和RightShearMatrix兩個錯切矩陣分別為
以上矩陣中IPD(Inter-Pupillary Distance)為雙眼視差。合適的雙眼視差受視點的視場角、虛擬場景尺寸、顯示屏幕大小和顯示屏幕距離等因素共同影響[15]。
月球三維立體可視化系統(tǒng)渲染時采用QuadBuffer四緩沖渲染技術(shù)。渲染左視點視圖到左后緩沖區(qū),渲染右視點視圖到右后緩沖區(qū),交替渲染左右視點圖像。同時為避免閃爍,交換左后緩沖區(qū)到左前緩沖區(qū),交換右后緩沖區(qū)到右前緩沖區(qū),完成左右渲染圖像交替顯示。基于離軸模型渲染的立體月球效果如圖7(此時雙眼視差設(shè)定值為0.006 m)。
圖7月球三維立體可視化系統(tǒng)紅綠立體效果圖
Fig.7Anaglyph images of stereo display system of virtual Moon
3系統(tǒng)成果
本文將雙目立體顯示技術(shù)應(yīng)用于全月球形貌可視化研究中,結(jié)合4通道立體投影系統(tǒng),基于嫦娥二號數(shù)字高程數(shù)據(jù)及數(shù)字正射影像數(shù)據(jù),采用OpenGL圖形庫,設(shè)計實現(xiàn)了具有良好立體效果的月球三維立體可視化系統(tǒng)。該系統(tǒng)配合1∶1的巡視器模型及投影地幕系統(tǒng)(圖8)仿真構(gòu)建的沉浸式月表虛擬探測場景,多次接待中小學(xué)生、學(xué)者、外國友人、媒體等,為科學(xué)普及月球知識,宣傳嫦娥工程的科學(xué)成果發(fā)揮了重要作用。隨著我國深空探測的深入及進一步發(fā)展,雙目立體顯示技術(shù)必將在深空探測數(shù)據(jù)的三維立體可視化中得到更廣泛的應(yīng)用。
圖 8月球三維立體可視化系統(tǒng)結(jié)合投影地幕及月球車模型構(gòu)建的月表虛擬探測場景
Fig.8Virtual scene of lunar surface probe composed by stereo display system of virtual Moon, lunar rover model and ground screen
參考文獻:
[1]鄒小端, 劉建軍, 李春來. 基于嫦娥一號觀測數(shù)據(jù)的月球形貌可視化技術(shù)[J]. 空間科學(xué)學(xué)報, 2011, 31(1): 100-105.
Zou Xiaoduan, Liu Jianjun, Li Chunlai. Applications of the visualization of lunar surface based on Chang’E-1 observations [J]. Chinese Journal of Space Science, 2011, 31(1): 100-105.
[2]左維, 劉陽, 任鑫, 等. 基于嫦娥一號CCD相機和激光測距數(shù)據(jù)的月球三維可視化系統(tǒng)[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2012, 24(1): 37-42.
Zuo Wei, Liu Yang, Ren Xin, et al. Design and implementation of three-dimensional visualization of the Moon based on Chang’E-1 data of CCD camera and laser altimeter[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(1): 37-42.
[3]高興燁, 劉建軍, 任鑫, 等. 嫦娥二號探測器在軌運行視景仿真系統(tǒng)的研究與實現(xiàn)[J]. 天文研究與技術(shù)——國家天文臺臺刊, 2012, 9(2): 114-120.
Gao Xingye, Liu Jianjun, Ren Xin, et al. Research and implementation of visual simulation system of Chang’E-2 motion in orbit[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2012, 9(2): 114-120.
[4]邢麗平, 左維, 李春來. 建立WebGIS的月球三維可視化關(guān)鍵技術(shù)[J]. 天文研究與技術(shù)——國家天文臺臺刊, 2014, 11(3): 299-304.
Xing Liping, Zuo Wei, Li Chunlai. Key technologies of a WebGIS-based 3D visualization system for the Moon[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2014, 11(3): 299-304.
[5]丁劍飛, 劉永進. 三維立體顯示技術(shù)綜述[J]. 系統(tǒng)仿真學(xué)報, 2008, 20: 132-135.
Ding Jianfei, Liu Yongjin. A survey on three-dimension display technologies[J]. Journal of System Simulation, 2008, 20: 132-135.
[6]孫超. 幾種立體顯示技術(shù)的研究[J]. 計算機仿真, 2008, 25(4): 213-217.
Sun Chao. A probe into several stereoscopic display technologies[J]. Computer Simulation, 2008, 25(4): 213-217.
[7]王瓊?cè)A, 王愛紅. 三維立體顯示綜述[J]. 計算機應(yīng)用, 2010, 30(3): 579-588.
Wang Qionghua, Wang Aihong. Survey on stereoscopic three-dimensional display[J]. Journal of Computer Applications, 2010, 30(3): 579-588.
[8]Wright J, Hartman F, Cooper B. Immersive environment technologies for planetary exploration[C]// Proceedings of the Virtual Reality 2001 Conference. 2001: 183-190.
[9]McAllister D F. Display technology: stereo & 3D display technologies[EB/OL]. [2015-04-07]. http://fp.optics.arizona.edu/opti588/reading/DavidMcAllister_DisplayTech_stereo%20and%203D%20Display_review.pdf.
[10]林征, 宋恩民. 立體顯示技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用[J]. 生命科學(xué)儀器, 2013, 11(2): 63-73.
Lin Zheng, Song Enmin. Application of stereoscopic displays technology in medical[J]. Life Science Instruments, 2013, 11(2): 63-73.
[11]潘家輝, 呂成賓, 彭豐平, 等. 立體顯示技術(shù)在力反饋仿真手術(shù)的應(yīng)用[J]. 軟件, 2014, 35(10): 32-36.
Pan Jiahui, Lv Chengbin, Peng Fengping, et al. The application of stereoscopic on force feedback surgery simulation[J]. Software, 2014, 35(10): 32-36.
[12]譚珂, 潘新華, 蔡守旺, 等. 三維立體顯示技術(shù)在肝臟手術(shù)仿真訓(xùn)練系統(tǒng)中的應(yīng)用[J]. 中國醫(yī)學(xué)教育技術(shù), 2011, 25(5): 522-525.
Tan Ke, Pan Xinhua, Cai Shouwang, et al. Application of 3D stereoscopic display technology in simulation training system for liver surgery[J]. China Medical Education Technology, 2011, 25(5): 522-525.
[13]萬定生, 龔匯豐. 一種基于四叉樹的大規(guī)模地形實時生成算法[J]. 計算機工程與應(yīng)用, 2005, 33: 186-188.
Wan Dingsheng, Gong Huifeng. A quadtree-based and real-time generation algorithm for large scale terrain[J]. Computer Engineering and Applications, 2005, 33: 186-188.
[14]趙猛, 金一丞, 尹勇. 立體顯示中雙目視差模型和深度感知研究[J]. 計算機工程, 2011, 37(17): 271-273.
Zhao Meng, Jin Yicheng, Yin Yong. Research on binocular parallax model and depth perception in stereo display[J]. Computer Engineering, 2011, 37(17): 271-273.
[15]趙猛. 大屏幕多人沉浸式立體顯示系統(tǒng)[D]. 大連: 大連海事大學(xué), 2010.
*基金項目:國家自然科學(xué)基金 (41371414, 11273037) 資助.
收稿日期:2015-11-20;
修訂日期:2016-01-04
作者簡介:高興燁,男,博士. 研究方向:虛擬現(xiàn)實與可視化. Email: gaoxy@nao.cas.cn
中圖分類號:TP391.9
文獻標(biāo)識碼:A
文章編號:1672-7673(2016)03-0358-08
Application of Binocular Stereo Display Technology in hree-Dimensional Visualization of the Moon
Gao Xingye1,2,3, Liu Jianjun1,3, Ren Xin1,3, Mu Lingli1,3, Li Chunlai1,3
(1. National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. Key Laboratory of Lunar and Deep Space Exploration, National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China, Email: gaoxy@nao.cas.cn)
Abstract:Based on the lunar terrain data and image data derived from Chang’E-2 probe, we develop a stereo display system of a virtual moon by using the binocular stereo display technology. This paper first introduces the principle of binocular stereo vision, and then discusses the design and implementation methods of the system in detail. Firstly, a framework and the hardware composition of the system are introduced; then organization mode of terrain data and dynamic scheduling for terrain real-time rendering are discussed; to achieve satisfying stereoscopic effect, off-axis model is used for stereoscopic rendering at last. This system plays an important role in science popularization about the Moon and research of lunar surface.
Key words:Chang’E-2; Binocular stereo display; Three-dimensional visualization of the Moon
CN 53-1189/PISSN 1672-7673