增強(qiáng)現(xiàn)實(shí)輔助維修技術(shù)研究進(jìn)展

趙守偉，馬東璽，張 勇，馬颯颯，于 明

(1.河北工業(yè)大學(xué)信息工程學(xué)院，天津 300401；2.軍械技術(shù)研究所，河北 石家莊 050000)

增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)借助計(jì)算機(jī)圖形圖像與數(shù)據(jù)交互技術(shù)，將虛擬信息實(shí)時(shí)映射到真實(shí)場(chǎng)景中，兩種信息相互補(bǔ)充，增加了人類感知真實(shí)場(chǎng)景的信息量與理解程度。將AR技術(shù)應(yīng)用于復(fù)雜裝備維修，可在一定程度上解決新型復(fù)雜裝備維修人員少、技術(shù)資料海量等問題，提高維修效率。本文結(jié)合國(guó)外典型AR原型系統(tǒng)，介紹了AR技術(shù)在復(fù)雜裝備維修中的研究進(jìn)展，分析了AR技術(shù)在復(fù)雜裝備維修中應(yīng)用的可行性，并對(duì)關(guān)鍵技術(shù)進(jìn)行了研究。

1 常用術(shù)語

(1) AR又稱混合現(xiàn)實(shí)(mixed reality, MR)，是將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中，實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)[1]。

(2) 顯示設(shè)備(display device)。由顯示器件和相關(guān)電路組成，能提供符合視覺感受因素的視覺信息。根據(jù)所用顯示器件的不同，分為屏幕顯示設(shè)備(monitor-based display, MBD)、頭盔顯示器(head-mounted display, HMD)、吊桿式雙目顯示設(shè)備(binocular omni orientation monitor, BOOM)和頭戴式投影顯示設(shè)備(head-mounted projective display,HMPD)。MBD有采用平板顯示器和投影儀的實(shí)現(xiàn)方案。如Xin等[2]開發(fā)了基于平板電腦的草圖繪制工具用于AR系統(tǒng)交互式3D設(shè)計(jì)，Hakkarainen等[3]研究了手機(jī)AR輔助裝配誘導(dǎo)系統(tǒng)的可能性，Mistry和Maes[4]提出的“第六感項(xiàng)目”則采用投影儀作為顯示設(shè)備實(shí)現(xiàn)空間增強(qiáng)現(xiàn)實(shí)(spatial AR, SAR)，另外也有將便攜式投影設(shè)備用于AR輔助肝臟手術(shù)中[5]。MBD用于增強(qiáng)場(chǎng)景圖片顯示實(shí)現(xiàn)簡(jiǎn)單，但屏幕分辨率低，減少了用戶的場(chǎng)景沉浸感。HMD較好地解決這一問題，根據(jù)實(shí)現(xiàn)原理，HMD可分為光學(xué)透射式 HMD(optical see-through HMD,OST-HMD)和視頻透射式HMD(video see-through HMD, VST-HMD)。OST-HMD視場(chǎng)(FOV)不必太大，用戶可同時(shí)看到外部世界的真實(shí)物體與虛擬場(chǎng)景，但要求二者位置精確對(duì)準(zhǔn)，長(zhǎng)時(shí)間配戴不易眩暈；VST-HMD為了獲得足夠的場(chǎng)景沉浸感，要求顯示視場(chǎng)較大，用戶也只能看到計(jì)算機(jī)產(chǎn)生的圖像，長(zhǎng)時(shí)間佩戴易產(chǎn)生精神上的不適，但對(duì)跟蹤要求較低。BOOM的顯示器由吊桿支撐，可提供用戶高分辨率的影像，但BOOM是一種單用戶虛擬環(huán)境，并不能解決屏幕過近對(duì)眼睛造成的不舒適感。HMPD由一個(gè)微型投影鏡頭、頭戴式顯示屏幕和一個(gè)雙目反射屏幕組成，由于體積重量大，應(yīng)用范圍較窄。

(3) 人-機(jī)交互(human-computer interaction,HCI)。是指人與計(jì)算機(jī)之間使用某種對(duì)話語言，以一定的交互方式，為完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過程[1]。在許多AR應(yīng)用中，大多采用了手勢(shì)[6]和運(yùn)動(dòng)控制[7-8]等交互策略。Ong和Wang[9]提出的裝配輔助系統(tǒng)是一個(gè)典型的支持3D裸手的自然交互系統(tǒng)，可以理解用戶雙手表達(dá)的裝配意圖。ARCADE是一個(gè)可以用手直接操作全息3D對(duì)象的項(xiàng)目[10]。微軟研究院的Kinêtre則是一個(gè)基于Kinect的應(yīng)用，它允許用戶隨意掃描一個(gè)對(duì)象，生成可跟隨模仿人體運(yùn)動(dòng)的3D模型[11]。人-機(jī)交互技術(shù)是衡量AR系統(tǒng)性能優(yōu)劣的重要指標(biāo)之一，以O(shè)penNI為代表的自然接口開源軟件包為快速開發(fā)自然人機(jī)交互程序提供了基礎(chǔ)平臺(tái)，而利用ARToolKit、FLARToolKit、SLARToolKit、ARTag等開源代碼使用計(jì)算機(jī)圖像技術(shù)計(jì)算攝像機(jī)和標(biāo)記物之間的相對(duì)位置，提供的快速和準(zhǔn)確的標(biāo)記跟蹤，能夠加快AR系統(tǒng)開發(fā)速度。

(4) 跟蹤注冊(cè)(tracking and registration)。是指將虛擬信息正確的呈現(xiàn)在真實(shí)場(chǎng)景的特定位置上所采用的技術(shù)和設(shè)備[1]。目前可分為基于傳感器的三維注冊(cè)技術(shù)、基于視覺的三維注冊(cè)技術(shù)和混合注冊(cè)技術(shù)。較為通用的跟蹤設(shè)備包括慣性、磁、聲傳感器、GPS以及射頻設(shè)備等。GPS和射頻設(shè)備常作為室外跟蹤手段，特別適合于大動(dòng)態(tài)范圍下的場(chǎng)景跟蹤，如Hammad等[12]提出了一種基于GPS的分布式AR方法DARCC用于建筑任務(wù)的可視化協(xié)作，Shahi等[13]利用超寬帶雷達(dá)技術(shù)用于可視化建筑過程中的人員定位。基于視覺的三維注冊(cè)技術(shù)利用圖像進(jìn)行空間位置信息提取，易于實(shí)現(xiàn)，定位精度高，可實(shí)現(xiàn)大視場(chǎng)范圍內(nèi)多目標(biāo)跟蹤，特別適用于與HMD結(jié)合使用，但基于視覺的三維注冊(cè)技術(shù)跟蹤算法較復(fù)雜，系統(tǒng)實(shí)時(shí)性較差，易受外界環(huán)境光照影響，對(duì)基準(zhǔn)點(diǎn)的提取也會(huì)產(chǎn)生誤差，從而影響跟蹤精度；混合注冊(cè)技術(shù)綜合了上述兩種方法的技術(shù)優(yōu)勢(shì)，具有廣闊的應(yīng)用前景。

(5) 力反饋(force feedback)。利用機(jī)械表現(xiàn)出的反作用力，將數(shù)據(jù)通過力反饋設(shè)備表現(xiàn)出來，從而使用戶身臨其境的體驗(yàn)各種效果。如Valentini[14]將可穿戴式數(shù)據(jù)手套用于AR系統(tǒng)虛擬裝配過程中的人機(jī)交互，Chen等[15]則將觸覺設(shè)備用于虛擬機(jī)器人的路徑規(guī)劃。

2 典型AR輔助維修原型系統(tǒng)

2.1 ARPPSM(2013年)

2013年阿爾及利亞先進(jìn)技術(shù)發(fā)展中心的Benbelkacem等[16]，針對(duì)偏遠(yuǎn)地區(qū)光伏太陽能系統(tǒng)水泵維修問題，開發(fā)了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的光伏水泵維修系統(tǒng)(augmented reality for photovoltaic pumping systems maintenance, ARPPSM)。ARPPSM原型系統(tǒng)的硬件為一臺(tái)配有攝像頭的掌上電腦。圖1是ARPPSM原理框圖。

由圖1可知，ARPPSM的跟蹤模塊用于實(shí)時(shí)計(jì)算攝像機(jī)和標(biāo)識(shí)物之間的位置和角度信息，描述模塊在跟蹤模塊的引導(dǎo)下將基于Direct X技術(shù)生成的3D虛擬對(duì)象及相關(guān)維修信息準(zhǔn)確地覆蓋在標(biāo)識(shí)物上，從而實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)信息的顯示。考慮到ARtoolkit注冊(cè)技術(shù)采用的是一種靜態(tài)閾值，在光照發(fā)生變化時(shí)難于保證注冊(cè)的穩(wěn)定性，ARPPSM采用了一種改進(jìn)型的i-ARtoolkit注冊(cè)技術(shù)，以消除野外環(huán)境條件下光照變化、背景不均勻性和攝像機(jī)標(biāo)定誤差帶來的影響，其核心思想是采用Otsu算法，對(duì)輸入視頻流的每一幀灰度圖像的直方圖進(jìn)行分析，將直方圖分成兩個(gè)部分，使得兩部分之間的距離最大，從而獲得自適應(yīng)閾值，然后利用獲得的自適應(yīng)閾值進(jìn)行圖像二值化，通過探測(cè)二值圖像中的標(biāo)識(shí)物，計(jì)算攝像機(jī)位姿并獲得變換矩陣參數(shù)，最后，將3D虛擬對(duì)象及維修信息疊加在標(biāo)識(shí)物之上。

圖1 ARPPSM原理框圖

標(biāo)識(shí)物尺寸大小也是影響注冊(cè)精度與穩(wěn)定性的重要因素，Samir Benbelkacem采用統(tǒng)計(jì)實(shí)驗(yàn)的方法，如圖2所示，通過設(shè)定不同的觀測(cè)距離(x)和旋轉(zhuǎn)角度(Ω)，確定注冊(cè)效果最佳的標(biāo)識(shí)物尺寸(d)。實(shí)驗(yàn)中分別選取d=20 mm，30 mm，40 mm，60 mm，80 mm，100 mm；Ω從5°~90°，并以15°作為最小間隔；x從250 mm到3000 mm，并以250 mm作為最小間隔。實(shí)驗(yàn)結(jié)果顯示：對(duì)于ARPPSM原型系統(tǒng)，采用80~100 mm之間的標(biāo)識(shí)物尺寸能夠保證80%以上的識(shí)別準(zhǔn)確度，并可有效保證注冊(cè)精度與穩(wěn)定性。

圖2 以觀測(cè)距離和旋轉(zhuǎn)角度確定標(biāo)識(shí)物尺寸的實(shí)驗(yàn)方法

實(shí)驗(yàn)結(jié)論：ARPPSM原型系統(tǒng)適用于光伏水泵的輔助維修，可節(jié)省維修時(shí)間，提高維修人員專業(yè)技能和執(zhí)行維修任務(wù)的積極性，在一定程度上還可減少事故發(fā)生的風(fēng)險(xiǎn)。ARPPSM原型系統(tǒng)未來還需完善兩個(gè)方面：一是采用多標(biāo)識(shí)物替代單標(biāo)識(shí)物提高識(shí)別精度；二是進(jìn)一步優(yōu)化人-機(jī)交互手段。

2.2 ACARS(2012年)

2012年新加坡國(guó)立大學(xué)綜合科學(xué)與工程研究生學(xué)院的Zhu等[17]針對(duì)傳統(tǒng)意義上的AR輔助維修系統(tǒng)和維修環(huán)境關(guān)聯(lián)性差這一問題，開發(fā)了可編程環(huán)境感知增強(qiáng)現(xiàn)實(shí)系統(tǒng)(authorable context-aware augmented reality system, ACARS)。ACARS原型系統(tǒng)不是單純的被動(dòng)的“只讀”系統(tǒng)，操作人員也不是單純的信息接收者，ACARS將虛擬維修信息的內(nèi)容與操作人員的專業(yè)水平和實(shí)際場(chǎng)景中的維修狀態(tài)結(jié)合起來，允許操作人員根據(jù)實(shí)際維修場(chǎng)景對(duì)ACARS維修內(nèi)容進(jìn)行修改(這些維修內(nèi)容由設(shè)計(jì)者提供)，以達(dá)到進(jìn)一步提高維修效率的目的。ACARS由5個(gè)模塊組成，分別是場(chǎng)景管理(context management, CM)模塊、增強(qiáng)現(xiàn)實(shí)可視化(augmented reality visualization, ARV)模塊、數(shù)據(jù)庫、離線編寫(offline authoring, OFA)模塊和在線編寫(on-site authoring, ONA)模塊。圖3是ACARS原理框圖。

ACARS的硬件包括了用于“虛實(shí)結(jié)合”顯示的Wrap 920型HMD、用于采集場(chǎng)景信息的網(wǎng)絡(luò)攝像機(jī)和一臺(tái)用于數(shù)據(jù)存儲(chǔ)和圖形圖像處理的便攜式計(jì)算機(jī)。圖3中，ACARS的OFA模塊提供桌面級(jí)的人機(jī)交互維修界面，設(shè)計(jì)者在離線狀態(tài)下利用OFA模塊創(chuàng)建與維修活動(dòng)相關(guān)的信息和基于維修場(chǎng)景的維修內(nèi)容。ONA模塊利用OFA產(chǎn)生的數(shù)據(jù)和信息進(jìn)行在線的人機(jī)交互，同時(shí)也提供操作人員在線狀態(tài)下的移動(dòng)式可編程用戶操作界面。數(shù)據(jù)庫存儲(chǔ)相關(guān)的信息內(nèi)容、靜態(tài)過濾規(guī)則和各種多媒體信息，如CAD模型和各種圖形圖像等。CM模塊用于載入用戶輸入和傳感器讀入的數(shù)據(jù)，同時(shí)驅(qū)動(dòng)高層次的場(chǎng)景感知信息并提供給ARV模塊。

ACARS提出的可編程場(chǎng)景感知主要依靠面向維修任務(wù)的場(chǎng)景實(shí)體建模(context ontology for maintenance service, COMS)實(shí)現(xiàn)。COMS包括了類、次類和屬性等概念。其中類定義為裝備、設(shè)備、位置、人員和活動(dòng)5個(gè)方面，分別代表完成一個(gè)完整的維修活動(dòng)所需的各種資源，如“裝備類”中的指示器指維修對(duì)象的顯示儀表，通過讀取相關(guān)數(shù)據(jù)可進(jìn)行故障檢測(cè)和開展預(yù)防性維修，“位置類”中的屬性則包括溫濕度、空氣壓力等。次類分為修復(fù)性維修和預(yù)防性維修兩個(gè)方面，代表故障發(fā)生的不同類型，其中“條件”還可分為頻度和范圍兩個(gè)方面，分別表示維修間隔期和數(shù)據(jù)超差范圍。圖4是COMS關(guān)系圖。

實(shí)驗(yàn)結(jié)論：ACARS原型系統(tǒng)基于COMS概念，明確了維修活動(dòng)開展的時(shí)機(jī)、維修活動(dòng)開展的方法，規(guī)范了操作人員做什么、如何做、在什么地方做等一系列問題。表1是參與實(shí)驗(yàn)的操作人員對(duì)ACARS原型系統(tǒng)性能的主觀評(píng)價(jià)，其中滿意度最高為5分，最低為1分?？梢娤鄬?duì)于紙質(zhì)手冊(cè)、傳統(tǒng)AR輔助維修系統(tǒng)，ACARS原型系統(tǒng)表現(xiàn)出了良好的輔助維修能力。

圖3 ACARS原理框圖

圖4 COMS關(guān)系框圖

表1 主觀評(píng)價(jià)平均分值比較

2.3 ARMAR(2011年)

美空軍于2007年聯(lián)合空軍研究實(shí)驗(yàn)室、人力效能理事會(huì)、戰(zhàn)斗人員準(zhǔn)備研究部、后勤準(zhǔn)備分部、懷特-帕特森空軍基地和哥倫比亞大學(xué)，啟動(dòng)了維修保障增強(qiáng)現(xiàn)實(shí)(augmented reality for maintenance and repair, ARMAR)研究計(jì)劃[18]。該計(jì)劃的目的是探索和評(píng)估增強(qiáng)現(xiàn)實(shí)系統(tǒng)在裝備維修保障中的效能和可行性。圖5是ARMAR原型系統(tǒng)設(shè)計(jì)框圖。

圖5 ARMAR原型系統(tǒng)設(shè)計(jì)框圖

圖5中，有灰色背景的文本框?yàn)橥獠磕Ｐ突驊?yīng)用程序界面，虛框文本框代表未來發(fā)展研究計(jì)劃。ARMAR采用模塊化設(shè)計(jì)，可在不改變整個(gè)維修流程或系統(tǒng)框架前提下，通過修改相應(yīng)的維修模塊，完成維修流程更新和升級(jí)。ARMAR中的維修流程控制器具備虛擬維修、增強(qiáng)現(xiàn)實(shí)維修和實(shí)體維修等功能，內(nèi)置的維修任務(wù)流程集成了包含全部維修輔助活動(dòng)所需的信息和邏輯控制。通過監(jiān)視用戶的維修步驟，包括當(dāng)前狀態(tài)下的維修信息、模型、圖像、聲音、視頻等，適情提供與之對(duì)應(yīng)的維修信息。在人-機(jī)交互界面中，用戶可以選擇需要進(jìn)行的維修活動(dòng)。對(duì)象跟蹤控制器用于跟蹤操作人員和維修對(duì)象。運(yùn)動(dòng)跟蹤軟件包括部件跟蹤和手勢(shì)跟蹤兩部分。部件跟蹤用于跟蹤工具、移除或重置修理單元。手勢(shì)跟蹤用于跟蹤用戶的手勢(shì)狀態(tài)，由一臺(tái)獨(dú)立的攝像機(jī)完成手勢(shì)跟蹤的數(shù)據(jù)處理。

ARMAR采用的人機(jī)交互技術(shù)是一種面向用戶操作的機(jī)會(huì)控制(opportunistic controls, OC)策略[19]，即操作人員自然觸摸維修場(chǎng)景中的被維修對(duì)象時(shí)，利用標(biāo)識(shí)物識(shí)別、手勢(shì)匹配和手勢(shì)分析技術(shù)，得到被維修對(duì)象的虛擬觸摸區(qū)域，手指通過調(diào)整虛擬按鈕可得到實(shí)時(shí)的數(shù)據(jù)反饋，增加了操作人員的沉浸感。如圖6，在對(duì)變換器一個(gè)六角形螺母進(jìn)行拆解的過程中，首先以螺母作為圖像識(shí)別及手勢(shì)識(shí)別的基準(zhǔn)點(diǎn)，將虛擬信息菜單按鈕布置在遠(yuǎn)離螺母區(qū)域的遮光柵格處；然后將手指移動(dòng)至被維修對(duì)象處，激活維修菜單；當(dāng)虛擬維修菜單出現(xiàn)后，手指在需要進(jìn)行的維修項(xiàng)目列表中選擇相應(yīng)的維修活動(dòng)；當(dāng)操作人員進(jìn)行維修活動(dòng)時(shí)，系統(tǒng)載入到第一個(gè)步驟并隱藏菜單；操作人員完成該項(xiàng)目的維修活動(dòng)后可再次將手指移動(dòng)至被維修對(duì)象處，激活維修菜單并進(jìn)行下一步驟的維修工作。

圖6 ARMAR原型系統(tǒng)人-機(jī)交互技術(shù)

實(shí)驗(yàn)結(jié)論：ARMAR原型系統(tǒng)采用的VSTHMD視場(chǎng)角為34°，其中用于實(shí)現(xiàn)雙目立體視覺的攝像機(jī)的圖像分辨率為800×600，具備30 f/s的處理速度。雖然存在觸摸感不夠逼真等問題，但ARMAR提出的OC策略一方面可消除“虛實(shí)結(jié)合”場(chǎng)景中冗余信息對(duì)操作人員的影響，另一方面可和虛擬信息進(jìn)行交互反饋，提高了場(chǎng)景沉浸感[20]。和基于基線比較技術(shù)(baseline comparison, BL)的人-機(jī)交互策略相比，OC策略主觀評(píng)價(jià)的直觀度、滿意度和舒適度分別為4.67、3.87和4.00，而BL策略則只有3.97、3.40和3.43。

3 面向輔助維修的增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)

3.1 維修對(duì)象數(shù)字建模與數(shù)據(jù)規(guī)范技術(shù)

增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)信息來自裝備的維修手冊(cè)、器材目錄和設(shè)計(jì)部門已有的樣機(jī)數(shù)據(jù)等，這些數(shù)據(jù)來源不同，類型多樣，如構(gòu)建虛擬信息的三維造型文件就包括了Solidworks、Pro/E、CATIA、CAXA等，為正確理解和應(yīng)用這些信息，必須要研究符合維修誘導(dǎo)系統(tǒng)要求的數(shù)據(jù)描述和存儲(chǔ)關(guān)系，開展裝備數(shù)字建模及文件格式轉(zhuǎn)換、維修過程建模及維修誘導(dǎo)信息檢索等方面的研究。為保證裝備模型能正確并快速地理解和應(yīng)用，可將不同的三維造型文件轉(zhuǎn)換為增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)可利用的信息模型。另外，基于裝備已有的IETM手冊(cè)或其他維修信息，對(duì)維修過程建模進(jìn)行研究，可將裝備維修手冊(cè)轉(zhuǎn)化為知識(shí)規(guī)則并構(gòu)造規(guī)則庫，由規(guī)則庫和案例信息庫共同構(gòu)成專家系統(tǒng)知識(shí)庫。在維修過程中，首先對(duì)裝備故障進(jìn)行分析處理，通過基于規(guī)則推理，在規(guī)則范圍內(nèi)查找，進(jìn)行維修決策并將決策結(jié)果反饋給用戶；如在基于規(guī)則的推理中出現(xiàn)了難于決策的損傷狀況，可利用基于案例的推理尋找匹配的典型案例，利用相似案例作為輔助維修決策依據(jù)。

3.2 以用戶為核心的人機(jī)交互技術(shù)

AR系統(tǒng)的可用性并不僅僅體現(xiàn)在它的健壯性，還在于它與用戶的交互能力，AR系統(tǒng)發(fā)展方向應(yīng)盡量采用手勢(shì)或人類行為的直接交互方式，而不是采用間接輸入設(shè)備，實(shí)現(xiàn)以用戶為核心的人機(jī)交互。與AR系統(tǒng)的交互一方面包括了虛擬提示信息的翻頁、選擇、拉伸、縮放，還包括手與被識(shí)別對(duì)象的碰撞等研究。目前，很多AR系統(tǒng)為提高識(shí)別率采用佩戴顏色標(biāo)記或數(shù)據(jù)手套等輔助手段對(duì)手部動(dòng)作進(jìn)行識(shí)別，這種方法直接影響維修過程中人手的操作，不適用于裝備維修應(yīng)用，因此，必須研究基于裸手動(dòng)作識(shí)別實(shí)現(xiàn)維修狀態(tài)的感知和與AR系統(tǒng)的交互。裸手識(shí)別是一個(gè)復(fù)雜的模式識(shí)別問題，涉及指尖、腕部等不同部位的動(dòng)作識(shí)別。單攝像頭識(shí)別方法通常用于通信型手勢(shì)交互，而以雙目立體視覺提取手部的三維特征對(duì)手部進(jìn)行識(shí)別，可添加維修場(chǎng)景深度信息，同時(shí)也能部分解決遮擋問題。

3.3 無標(biāo)識(shí)物的跟蹤注冊(cè)技術(shù)

標(biāo)識(shí)物具有特定的幾何或光譜特征，易于在視頻流中被識(shí)別，如ARMAR系統(tǒng)就采用了基準(zhǔn)標(biāo)識(shí)物和傳感器相結(jié)合的混合跟蹤方法，另外采用ARToolKit、FLARToolKit、SLARToolKit、ARTag等開源平臺(tái)為支撐開發(fā)AR應(yīng)用系統(tǒng)，可充分利用其封裝好的復(fù)雜標(biāo)識(shí)物圖像處理和數(shù)字符號(hào)處理方法，快速實(shí)現(xiàn)虛實(shí)場(chǎng)景的注冊(cè)跟蹤。但基于標(biāo)識(shí)物的注冊(cè)跟蹤技術(shù)在使用上存在局限性，因?yàn)闃?biāo)識(shí)物必須提前在真實(shí)場(chǎng)景中放置并記錄其與對(duì)象的對(duì)應(yīng)關(guān)系，視角范圍內(nèi)必須全程可見，某些場(chǎng)合無法放置或不允許放置，而基于自然特征的注冊(cè)跟蹤則大大擴(kuò)展了AR的應(yīng)用范圍。可利用傳感器輸出觀察者頭部三自由度姿態(tài)參數(shù)，計(jì)算觀察者視覺觀察方向，利用攝像機(jī)獲取真實(shí)場(chǎng)景信息并利用機(jī)器視覺提取場(chǎng)景特征，將傳感器與視覺跟蹤獲取的特征信息進(jìn)行融合與濾波處理，進(jìn)而得到攝像機(jī)姿態(tài)信息估計(jì)，然后調(diào)整虛擬攝像機(jī)空間坐標(biāo)使之與攝像機(jī)獲取的真實(shí)場(chǎng)景的空間坐標(biāo)相一致，最后把與觀察者視線方向一致的虛實(shí)結(jié)合的圖像輸出給顯示設(shè)備，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果。

3.4 AR系統(tǒng)評(píng)價(jià)技術(shù)

如何評(píng)價(jià)AR系統(tǒng)的性能優(yōu)劣也是增強(qiáng)現(xiàn)實(shí)技術(shù)研究領(lǐng)域的重要組成部分。如ARMAR和ACARS原型系統(tǒng)都采用了直觀度、滿意度和舒適度作為衡量AR系統(tǒng)性能優(yōu)劣的客觀評(píng)價(jià)指標(biāo)。但AR評(píng)價(jià)方法目前尚不完善。在樣本選擇方面，應(yīng)盡可能的考慮修復(fù)性維修、預(yù)防性維修等故障模式與故障排除的難易程度，體現(xiàn)評(píng)價(jià)過程的典型代表性；在參試人員選擇方面，人數(shù)不易過少，且最好能在年齡、職業(yè)、受教育程度上保持相對(duì)一致性，甚至還可能要求參試者性別有適當(dāng)比例；在評(píng)價(jià)方法上，可采用比較測(cè)量方法，即待評(píng)價(jià)AR原型系統(tǒng)和傳統(tǒng)維修方法進(jìn)行類比，且兩組評(píng)價(jià)實(shí)驗(yàn)間隔一段時(shí)間，以消除參試者形成記憶殘留；在評(píng)價(jià)指標(biāo)構(gòu)建方面，除了直觀度、滿意度和舒適度外，還可增加故障排除時(shí)間、故障難易程度權(quán)重等評(píng)價(jià)指標(biāo)。

4 結(jié)論

隨著計(jì)算機(jī)硬件性能的逐步提升和機(jī)器視覺技術(shù)的快速發(fā)展，滿足實(shí)時(shí)性要求，支持裸手交互策略與無標(biāo)識(shí)物跟蹤注冊(cè)的AR系統(tǒng)成為可能，將增強(qiáng)現(xiàn)實(shí)技術(shù)用于復(fù)雜裝備輔助維修，應(yīng)重點(diǎn)開展以下3個(gè)方面的研究：一是增強(qiáng)現(xiàn)實(shí)維修輔助系統(tǒng)是一個(gè)擁有龐大后端數(shù)據(jù)庫的系統(tǒng)，包括3D模型庫、特征描述庫、維修手冊(cè)、專家知識(shí)庫等，這些數(shù)據(jù)庫涉及到裝備及部組件的識(shí)別、維修誘導(dǎo)信息的產(chǎn)生及知識(shí)推理，這些數(shù)據(jù)庫之間存在耦合關(guān)系并且與維修狀態(tài)緊密關(guān)聯(lián)，對(duì)系統(tǒng)的實(shí)時(shí)性要求高，因此高效合理的數(shù)據(jù)庫架構(gòu)和維修業(yè)務(wù)建模方法是實(shí)現(xiàn)面向復(fù)雜裝備維修的前提和基礎(chǔ)；二是增強(qiáng)現(xiàn)實(shí)維修輔助系統(tǒng)對(duì)機(jī)器視覺技術(shù)的依賴程度高，系統(tǒng)不但需要識(shí)別裝備及部組件的維修狀態(tài)，還要對(duì)人-機(jī)交互進(jìn)行實(shí)時(shí)處理，并完成實(shí)時(shí)的注冊(cè)跟蹤計(jì)算，因此高性能的圖像處理算法和硬件的協(xié)調(diào)配合是實(shí)現(xiàn)高速、高精度增強(qiáng)現(xiàn)實(shí)輔助維修系統(tǒng)的重要手段；三是增強(qiáng)現(xiàn)實(shí)輔助維修系統(tǒng)人機(jī)交互的設(shè)計(jì)及表現(xiàn)形式需結(jié)合實(shí)際應(yīng)用需求，確保人-機(jī)交互的自然性，避免各種維修場(chǎng)景對(duì)“虛實(shí)結(jié)合”維修活動(dòng)產(chǎn)生影響。

[1]Nee A Y C, Ong S K, Chryssolouris G, Mourtzis D.Augmented reality applications in design and manufacturing [J].CIRP Annals-Manufacturing Technology, 2012, 61(2): 657-679.

[2]Xin Min, Sharlin E, Sousa M C.Napkin sketch:handheld mixed reality 3D sketching [C]//Proceedings of 15th ACM Symposium on Virtual Reality Software and Technology, 2008: 223-226.

[3]Hakkarainen M, Woodward C, Billinghurst M.Augmented assembly using a mobile phone [C]//Mixed and Augmented Reality, 2008.ISMAR 2008.7th IEEE/ACM International Symposium on, 2008: 167-168.

[4]Mistry P, Maes P.SixthSense: a wearable gestural interface [C]//Proceeding of ACM SIGGRAPH ASIA 2009 Sketches, 2009: 11.

[5]Gavaghan K A, Peterhans M, Oliveira-Santos T, Weber S.A portable image overlay projection device for computer-aided open liver surgery [J].IEEE Transactions on Biomedical Engineering, 2011, 58(6):1855-1864.

[6]White S, Lister L, Feiner S.Visual hints for tangible gestures in augmented reality [C]//Proceeding of the 2007 6th IEEE/ACM International Symposium on Mixed and Augmented Reality, 2007: 1-4.

[7]Tonn C, Petzold F, Donath D.Put on your glasses and press right mouse button AR-based user interaction using laser pointer tracking [C]//Proceeding of the 26th Conference on Education in Computer Aided Architectural Design in Europe, 2008: 201-208.

[8]Juang J R, Huang Weihan, Kang Shichung.Kinesthetic and stereoscopic vision for crane training systems [C]//Proceedings of 11th International Conference on Construction Applications of Virtual Reality (CONVR)Conference, 2011: 516-527.

[9]Ong S K, Wang Z B.Augmented assembly technologies based on 3D bare-hand interaction [J].CIRP Annals-Manufacturing Technology, 2011, 60(1): 1-4.

[10]Stein M.ARCADE: a system for augmenting Gesture-Based computer graphic presentations [C]//Proceeding of ACM SIGGRAPH 2012 Computer Animation Festival, 2012: 77-77.

[11]Chen Jiawen, Izadi S, Fitzgibbon A.Kinêtre: animating the world with the human body [C]//Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology.ACM, 2012: 435-444.

[12]Hammad A, Wang Hui, Mudur S P.Distributed augmented reality for visualizing collaborative construction tasks [J].Journal of Computing in Civil Engineering, 2009, 23(6): 418-427.

[13]Shahi A, Aryan A, West J S, Haas C T, Haas R C G.Deterioration of UWB positioning during construction [J].Automation in Construction, 2012, 24: 72-80.

[14]Valentini P P.Interactive virtual assembling in augmented reality [J].International Journal on Interactive Design and Manufacturing, 2009, 3(2):109-119.

[15]Chen C J, Ong S K, Nee A Y C, Zhou Y Q.Haptic-based interactive path planning for a virtual robot arm [J].International Journal on Interactive Design and Manufacturing, 2010, 4(2): 113-123.

[16]Benbelkacem S, Belhocine M, Bellarbi A, Zenati-Henda N, Tadjine M.Augmented reality for photovoltaic pumping systems maintenance tasks [J].Renewable Energy, 2013, 55: 428-437.

[17]Zhu J, Ong S K, Nee A Y C.An authorable context-aware augmented reality system to assist the maintenance technicians [J].The International Journal of Advanced Manufacturing Technology, 2013, 66(9-12):1699-1714.

[18]Henderson S J, Feiner S K.Augmented reality in the psychomotor phase of a procedural task [C]//Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on, 2011: 191-200.

[19]Henderson S, Feiner S.Exploring the benefits of augmented reality documentation for maintenance and repair [J].Visualization and Computer Graphics, IEEE Transactions on, 2011, 17(10): 1355-1368.

[20]Henderson S, Feiner S.Opportunistic tangible user interfaces for augmented reality [J].Visualization and Computer Graphics, IEEE Transactions on, 2010, 16(1):4-16.