增強現(xiàn)實技術(shù)在載人航天工程中的潛在應(yīng)用

鄭 耀 謝 天 解利軍 杜昌平 潘海斌

（浙江大學(xué)航空航天學(xué)院）

1 引言

增強現(xiàn)實（Augmented Reality,AR）最早可以追溯到上世紀(jì)60年代Sutherland[1]首次用透視式頭盔顯示器（Head-Mounted Display,HMD）展現(xiàn)三維物體。到本世紀(jì)初，增強現(xiàn)實技術(shù)逐漸發(fā)展成為一個重要的科學(xué)研究領(lǐng)域。它借助計算機圖形技術(shù)和可視化技術(shù)生成現(xiàn)實環(huán)境中并不存在的虛擬對象，通過跟蹤注冊技術(shù)將虛擬對象準(zhǔn)確地“放置”在真實環(huán)境中，然后借助顯示設(shè)備或者人機交互設(shè)備將虛擬對象與真實環(huán)境在感官上融為一體。在Milgram[2]定義的虛實環(huán)境集概念中，增強現(xiàn)實是混合現(xiàn)實（Mixed Reality,MR）的子集（圖1）。它與增強虛擬（Augmented Virtuality,AV）和虛擬現(xiàn)實（Virtual Environment,VE）最大的不同，就是它所呈現(xiàn)的環(huán)境主體是真實的而非虛擬的。在增強現(xiàn)實中，計算機產(chǎn)生的虛擬物體只是在局部區(qū)域疊加于真實場景之中，具有虛實融合、實時交互和輔助增強等特點[3]。

圖1 Milgram的虛實集定義[2]

40年來，各國研究者除了在跟蹤技術(shù)、顯示技術(shù)、交互技術(shù)這三個增強現(xiàn)實的支撐技術(shù)上不斷突破外，增強現(xiàn)實的應(yīng)用領(lǐng)域也在被不斷擴展[4]。目前，增強現(xiàn)實技術(shù)的應(yīng)用范圍已經(jīng)逐步從桌面展示、電腦游戲等小型室內(nèi)環(huán)境，向工廠車間、戶外等大的應(yīng)用環(huán)境延伸。諸如波音公司[17]、美國陸軍[18]等，都已將增強現(xiàn)實技術(shù)作為主導(dǎo)技術(shù)用于大型航空和軍械設(shè)備的維修誘導(dǎo)系統(tǒng)。

在我國載人航天工程的許多實踐（例如太空維修和大時延遙操作等）中，如果對增強現(xiàn)實技術(shù)加以研究、發(fā)展和利用，必然可以發(fā)揮其獨特的作用。

2 增強現(xiàn)實的支撐技術(shù)

2.1 跟蹤注冊技術(shù)

虛擬物體在現(xiàn)實場景中是否能完美融合，意味著觀察者在改變自身位置和觀察角度的同時，觀察中的虛擬物體能否融洽地與現(xiàn)實場景保持一致。要實現(xiàn)這個目標(biāo)，首先必須明確虛擬物體將要合并到現(xiàn)實場景的準(zhǔn)確位置，其次要實時地檢測觀察者在場景中的位置、視角，甚至是運動方向，然后才能計算出該時刻虛擬物體應(yīng)該具備的顯示方式，同時按照觀察者的視場重建坐標(biāo)系。這個過程就是跟蹤注冊（Tracking Techniques），目前常用的方法可以分為以下三種[4]：

（1）基于傳感器的跟蹤注冊技術(shù)

基于傳感器的跟蹤注冊技術(shù)（Sensor-Based Tracking Techniques）是在觀察者頭部安裝跟蹤器來探測和跟蹤真實環(huán)境中目標(biāo)的位置和方向。這類跟蹤器包括電磁跟蹤器、超聲波定位器、慣性跟蹤器、測距儀、全球定位系統(tǒng)等，相應(yīng)的技術(shù)各有優(yōu)缺點，在文獻［5］中已有詳盡的介紹。

（2）基于視覺的跟蹤注冊技術(shù)

基于視覺的跟蹤注冊技術(shù)（Vision-Based Tracking Techniques）是通過對一幅或多幅視頻圖像的圖像處理，來計算獲得固定在觀察者頭部的攝像機在真實場景中的位置和姿態(tài)。此類方法又分為基于特征（Feature-Based）和基于模型（Model-Based）兩種，其中后者最為常用，通常為各向互異的規(guī)則圖案（圖2）。

因為其易開發(fā)性和魯棒性，基于計算機視覺的注冊技術(shù)的研究在增強現(xiàn)實領(lǐng)域一直處于主導(dǎo)地位。依據(jù)對 ISMAR（International Symposium on Mixed and Augmented Reality）國際會議論文的統(tǒng)計，近十年來該會議接收的有關(guān)跟蹤注冊技術(shù)的論文中，基于視覺的注冊技術(shù)的研究占80%以上[4]。

（3）混合跟蹤注冊技術(shù)

在某些特殊的增強現(xiàn)實場景中，僅用基于視覺的跟蹤注冊難以達(dá)到魯棒的注冊效果，因此需要一些基于傳感器的跟蹤注冊技術(shù)的輔助?；旌细欁约夹g(shù)（Hybrid Tracking Techniques）就是指基于視覺和基于傳感器共存的跟蹤注冊技術(shù)。

2.2 顯示技術(shù)

如何簡單便捷地讓用戶感知現(xiàn)實場景和虛擬物體的融合，是顯示技術(shù)所必須解決的問題。目前的增強現(xiàn)實系統(tǒng)主要使用透視式頭盔顯示器，而透視式頭盔顯示器又分為光學(xué)透視式頭盔顯示器（Optical See-Through HMD）和視頻透視式頭盔顯示器（Video See-Through HMD）兩種。圖3是這兩種頭盔顯示器的原理結(jié)構(gòu)圖。

圖3 透視式頭盔顯示器原理圖[16]

其中，光學(xué)透視式頭盔顯示器通過半透明鏡片可以直接觀察到真實場景，虛擬物體通過鏡片上方的顯示器投影至鏡片上，形成虛實疊加。這類顯示器可以實時觀察到真實場景，但虛實間由于處理時差會產(chǎn)生一定的時滯。而視頻透視式頭盔顯示器會將拍攝到的真實場景與虛擬物體合成完整后才播放出來，虛實間保持同步，沒有時滯。

目前在增強現(xiàn)實的應(yīng)用領(lǐng)域中，生產(chǎn)透視式頭盔顯示器最著名的幾家公司包括Sony公司[2]、Micro－Vision 公司[9]、MicroOptical公司[10]和 Minolta 公司[11]等[12]，他們的部分產(chǎn)品如圖4所示。

2.3 交互技術(shù)

在增強現(xiàn)實的應(yīng)用中，人們常?？释钭匀坏慕换シ椒ǎ热缈梢浴坝|摸”到虛擬物體，可以隨意拿起放下，并且感覺到虛擬物體的硬軟輕重等。但實際上，要實現(xiàn)這樣的交互是較為困難的。

目前常用的交互工具包括手勢識別、語音識別、力反饋設(shè)備、數(shù)據(jù)手套、六自由度鼠標(biāo)、特制標(biāo)志等。這些工具都需要在數(shù)據(jù)庫中預(yù)先設(shè)定各種命令對應(yīng)的動作，以便在系統(tǒng)識別時對照先驗知識來進行操作。它們有各自的應(yīng)用環(huán)境，針對不同的應(yīng)用要求有不同的組合。

圖4 透視式頭盔顯示器實例

近幾年提出的凝視交互[8]是一個具有重要應(yīng)用意義的交互方式。其硬件設(shè)備比普通HMD多了一個眼追蹤器，使設(shè)備可以檢測到觀察者所凝視的方向，然后針對凝視的區(qū)域執(zhí)行相應(yīng)的操作或給出用戶可能感興趣的信息。這一技術(shù)在維修誘導(dǎo)、戶外環(huán)游等應(yīng)用環(huán)境中必將帶來一次革新。因為根據(jù)用戶的凝視來判斷用戶想要獲取的知識是十分合理且高效的，比以往將所有信息同時呈現(xiàn)在視野或需要借助別的設(shè)備來選取信息的做法，明顯簡潔和便利許多。

3 在載人航天工程中的潛在應(yīng)用

3.1 維修誘導(dǎo)

航天設(shè)備往往都是結(jié)構(gòu)復(fù)雜的大型機電系統(tǒng)，其拆裝和維修十分困難，不僅費用昂貴，而且對維修人員要求極高。在現(xiàn)有復(fù)雜的地面維修中，維修人員往往都是一邊翻閱紙質(zhì)文件或查看電子手冊，一邊對照設(shè)備進行維修。這種方式效率低下，易受環(huán)境影響，出錯率高，而且過于依賴專業(yè)維修人員的個人技能和經(jīng)驗。這種方法在地面操作中就已存在不小隱患，更加難以適應(yīng)太空維修的各種苛刻環(huán)境。

因此，基于增強現(xiàn)實的維修誘導(dǎo)系統(tǒng)應(yīng)運而生。如上文所述，增強現(xiàn)實技術(shù)借助計算機圖形學(xué)和可視化技術(shù)，可以在現(xiàn)實環(huán)境中融入原本不存在的虛擬對象。這樣，針對維修或裝配，增強現(xiàn)實可以智能化地提供誘導(dǎo)信息，比如提供觀察者視野中各部件的具體信息（圖5），提供當(dāng)前步驟應(yīng)該執(zhí)行的操作提示（圖 6）等。

圖5 維修誘導(dǎo)實例——各部件信息提示[17]

在這種條件下，操作者不需精通太多領(lǐng)域的專業(yè)維修知識，也不需繁瑣的翻閱其他任何說明文件，只需在增強現(xiàn)實的誘導(dǎo)提示下就可正確無誤地完成維修任務(wù)。這種基于增強現(xiàn)實的數(shù)字化維修受外界環(huán)境的干擾較小，所需設(shè)備簡單、性能穩(wěn)定、攜帶方便，將是太空維修的不二之選。

圖6 維修誘導(dǎo)實例——操作提示[18]

圖7是增強現(xiàn)實維修誘導(dǎo)系統(tǒng)的數(shù)據(jù)流框圖，整個系統(tǒng)包括三大子系統(tǒng)，分別為交互系統(tǒng)、增強現(xiàn)實系統(tǒng)、智能信息提供系統(tǒng)。

交互系統(tǒng)由運動感知模塊、運動感知數(shù)據(jù)庫、命令解釋模塊、命令數(shù)據(jù)庫組成。其中運動感知模塊用于監(jiān)測和獲取用戶的運動類交互式輸入，讀取數(shù)據(jù)手套、眼動檢測儀、空間鼠標(biāo)、移動鍵盤等外設(shè)的數(shù)據(jù)，通過與運動感知數(shù)據(jù)庫的對比識別解析出交互指令，發(fā)送給命令解釋模塊。命令解釋模塊處理運動感知模塊發(fā)出的交互指令和維修人員發(fā)出的語音命令，然后將這兩者轉(zhuǎn)換為對維修操作指導(dǎo)內(nèi)容的請求。

圖7 增強現(xiàn)實維修誘導(dǎo)系統(tǒng)數(shù)據(jù)流框圖

增強現(xiàn)實系統(tǒng)由場景分析模塊、虛擬場景數(shù)據(jù)庫、信息增強模塊組成。其中場景分析模塊能夠持續(xù)地跟蹤維修場景的變化，并對維修人員所處的真實場景進行分析，解釋來自用戶所處真實環(huán)境的變化，進行環(huán)境相關(guān)數(shù)據(jù)如位置、視點位置等的更新，為系統(tǒng)提供用戶所在場景的變化數(shù)據(jù)。信息增強模塊完成整個維修誘導(dǎo)系統(tǒng)的信息輸出，將工作流控制模塊提供的虛擬信息疊加到對維修人員所在的真實環(huán)境中。

智能信息提供系統(tǒng)由信息獲取模塊、工作流控制模塊、技術(shù)資料數(shù)據(jù)庫和案例/知識數(shù)據(jù)庫組成。其中信息獲取模塊根據(jù)場景分析結(jié)果和工作流請求指令，面向具體的維修任務(wù)，從維修資料數(shù)據(jù)庫和案例／知識數(shù)據(jù)庫中獲取與維修場景相關(guān)的技術(shù)資料，并對獲取的信息進行處理；它所提取與場景變化相適應(yīng)的虛擬信息，可為控制模塊提供依據(jù)。工作流控制模塊作為整個維修誘導(dǎo)系統(tǒng)的核心，具有兩個功能：一是對維修誘導(dǎo)流程進行控制，對輸入信息進行響應(yīng)，對輸出信息進行管理，對整個系統(tǒng)進行維護；二是處理各個模塊之間可能的沖突，保證系統(tǒng)的正常運作。

整個系統(tǒng)以工作流控制模塊為核心，以命令解釋模塊和運動感知模塊為數(shù)據(jù)輸入，以信息增強模塊為輸出，通過場景分析模塊和信息獲取模塊的輔助，完成整個增強現(xiàn)實維修誘導(dǎo)過程。

這一由三個子系統(tǒng)緊密有序分工合作所形成的工作框架，可適用于絕大多數(shù)的應(yīng)用環(huán)境。基于此框架的增強現(xiàn)實維修誘導(dǎo)、操作指導(dǎo)或是訓(xùn)練等，在載人航天工程的未來實踐中，將能有效地提高工作效率、縮小培訓(xùn)周期、減少人為差錯，因此具有非?，F(xiàn)實的潛在應(yīng)用價值。

3.2 遙操作

在載人航天工程中，遙操作是一種廣泛采用的控制技術(shù)，它使操作者能在危險環(huán)境或人類無法進入的環(huán)境中，進行指揮作業(yè)并安全完成作業(yè)任務(wù)。但遠(yuǎn)距離通信導(dǎo)致的時延問題一直是遙操作系統(tǒng)的研究難點和熱點。

過大的時延很容易引起控制系統(tǒng)的不穩(wěn)定，進而大大降低系統(tǒng)的可操作性。研究表明，當(dāng)延遲大于0.25s時，操作人員就能明顯感覺到延遲的存在。而在航天工程領(lǐng)域，遠(yuǎn)距離信號傳輸所導(dǎo)致的大時延幾乎是不可避免的，從幾秒甚至到幾分鐘都有可能。一旦產(chǎn)生大時延，操作者將無法實時地獲取被控物體的信息，被控物體也不可能實時響應(yīng)操作指令，這將對操作者的判斷產(chǎn)生很大的干擾。

圖8 使用增強現(xiàn)實技術(shù)的遙操作系統(tǒng)組成

增強現(xiàn)實技術(shù)的引入，可以很大程度上彌補大時延對遙操作的影響。早在1990年，美國NASA的JPL 實驗室就提出了“Phantom Robot”的概念[14]，指出了用仿真圖像對視頻圖像進行疊加增強，以便克服時延對遙操作的影響。這一方法在1996年NASA Godard太空飛行中心得到驗證，操作時間節(jié)約了近50%。

由于增強現(xiàn)實技術(shù)可以在真實場景中仿真出被控物體的三維運動軌跡，將真實場景和仿真圖像兩者完美地融合[15]，使操作者可以清晰明確地實時預(yù)測各種指令的可能結(jié)果，及時做出下一個判斷，以此補償時延滯后。待新的場景信息返回后，可以對原預(yù)測的結(jié)果進行修正，并改進預(yù)測模型，實現(xiàn)不斷的迭代學(xué)習(xí)和持續(xù)預(yù)測。

圖8示出了一個典型的使用增強現(xiàn)實技術(shù)的遙操作系統(tǒng)。操作者可以通過被增強的視頻信息，方便地觀測到被操作物體的實際運動和預(yù)測運動之間的直觀差異，也可以使用力反饋設(shè)備進行雙向的力傳遞和預(yù)測。同時，還可以如維修誘導(dǎo)一般，直觀實時地獲得虛擬的輔助信息和操作提示（如三維動畫和文字），并加入語音、手勢、操作桿等多種交互指令，以保證及時發(fā)送一些常用指令，這可以提高操作者對未知環(huán)境的適應(yīng)能力，有效地保證遙操作的效率和精度。

采用這種基于增強現(xiàn)實的遙操作技術(shù)，使虛擬的預(yù)測被控物和真實的遠(yuǎn)程工作環(huán)境相互融合，在增強現(xiàn)實環(huán)境中使虛擬被控物對真實被控物的動作進行實時預(yù)測、仿真，這既可進行直觀高效的人性化交互，又避免了直接與遠(yuǎn)程被控物交互的時延，將能大幅度地提高遙操作系統(tǒng)的可操作性、安全性和穩(wěn)定性，這在載人航天工程中必將有所作為。

4 結(jié)束語

增強現(xiàn)實技術(shù)作為一項新興技術(shù)，在載人航天工程中的太空維修、大時延遙操作等領(lǐng)域，有著廣闊的應(yīng)用前景。本文回顧了增強現(xiàn)實的三大支撐技術(shù)，展望了增強現(xiàn)實在載人航天工程中的潛在應(yīng)用，分析了其中的技術(shù)難點，并提出了相應(yīng)的方案。對增強現(xiàn)實技術(shù)的深入研究，一定能為我國載人航天工程的實踐提供有力的技術(shù)支撐。 ◇

［1］I.Sutherland.A Head-Mounted Three-Dimensional Display.Fall Joint Computer Conf.,Am.Federation of Information Processing Soc.（AFIPS）,Conf.Proc.33,Thompson Books,Washington,DC,1968,pp.757-764.

［2］P.Milgram and F.Kishino.A Taxonomy of Mixed Reality Visual Displays.IEICE Trans.Information Systems,1994,vol.E77-D,no.12,pp.1321-1329.

［3］R.Azuma,Y.Baillot,R.Behringer,et al.Recent Advances in Augmented Reality ［J］.IEEE Computer Graphics and Applications,2001,vol.25,no.6,pp.34-43.

［4］F.Zhou,H.B.L.Duh,M.Billinghurst.Trends in Augmented Reality Tracking.Interaction and Display:A Review of Ten Years of ISMAR,Proceedings-7th IEEE International Symposium on Mixed and Augmented Reality 2008,ISMAR 2008,pp.193-202.

［5］J.P.Rolland,L.Davis and Y.Baillot.A Survey of Tracking Technology for Virtual Environments.Fundamentals of Wearable Computers and Augmented Reality,1st ed,W.Barfield and T.Caudell,Eds.Mahwah,NJ:CRC,2001,pp.67-112.

［6］M.Fiala.ARTag.a Fiducial Marker System Using Digital Techniques.IEEE Computer Society Conference,CVPR 2005,vol.2,Canada,pp 590-596.

［7］朱淼良,姚遠(yuǎn),蔣云良.增強現(xiàn)實綜述［J］.中國圖象圖形學(xué)報,2004,vol.9,no.7,pp.767-774.

［8］H.M.Park,S.H.Lee,J.S.Choi.Wearable Augmented Reality System Using Gaze Interaction.Proceedings-7th IEEE International Symposium on Mixed and Augmented Reality 2008,ISMAR 2008,pp.175-176.

［9］H.L.Pryor,T.A.Furness and E.Viirre.The Virtual Retinal Display:A New Display Technology Using Scanned Laser Light.Proceedings of 42nd Human Factors Ergonomics Soc.,Santa Monica,CA,1998,pp.1570–1574.

［10］M.B.Spitzer,N.M.Rensing,R.McClelland and P.Aquilino.Eyeglass-Based Systems for Wearable Computing.Proceedings of First International Symposium on Wearable Computers.Massachusetts,USA,1997,pp.48–51.

［11］I.Kasai,Y.Tanijiri,T.Endo and H.Ueda.A Forgettable Near Eye Display.Proceedings of IEEE International Symposium on Wearable Computers,CA,USA,2000,pp.115–118.

［12］S.K.Ong,M.L.Yuan and A.Y.C.Nee.Augmented Reality Applications in Manufacturing:A Survey.International Journal of Production Research,May 2008,vol.46,no.10,pp.2707-2742.

［13］李薪宇,陳東義.基于混合跟蹤的增強現(xiàn)實系統(tǒng)設(shè)計與實現(xiàn).計算機應(yīng)用,2009.10,vol.29,no.10,pp.2852-2854,2858.

［14］A.Bejczy,W.Kim and S.Venema.The Phantom Robot:Predictive Display for Teleoperation with Time Delay.IEEE International Conference on Robotics and Automation,1990,pp.546-551.

［15］熊友軍.基于增強現(xiàn)實的遙操作關(guān)鍵技術(shù)研究.博士學(xué)位論文.華中科技大學(xué).2005.

［16］譚繼帥,王松山.增強現(xiàn)實技術(shù)及其在維修培訓(xùn)中的應(yīng)用.設(shè)備管理與維修,2008,no.4,pp.8-10.

［17］ E.Memi.Boeing’s working on augmented reality,which could change space training,ops.Boeing Frontiers,Oct.2006,vol.5,issue 6,pp.21.

［18］S.J.Henderson,S.Feiner.Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret.Science and Technology Proceedings-IEEE International Symposium on Mixed and Augmented Reality 2009,ISMAR 2009,pp.135-144.