增強現(xiàn)實輔助維修系統(tǒng)的評價方法研究

趙守偉，王　凱，張　勇，王偉明，于　明

(1.河北工業(yè)大學(xué) 信息工程學(xué)院，天津　300401；2.軍械技術(shù)研究所，河北 石家莊　050000；3.石家莊鐵道大學(xué) 電氣工程學(xué)院，河北 石家莊　050034)

?

增強現(xiàn)實輔助維修系統(tǒng)的評價方法研究

趙守偉1，王凱2，張勇2，王偉明3，于明1

(1.河北工業(yè)大學(xué) 信息工程學(xué)院，天津300401；2.軍械技術(shù)研究所，河北 石家莊050000；3.石家莊鐵道大學(xué) 電氣工程學(xué)院，河北 石家莊050034)

增強現(xiàn)實技術(shù)應(yīng)用于復(fù)雜裝備維修，可增加維修保障工作信息量與對復(fù)雜維修任務(wù)及維修過程的理解能力，提高維修保障效率。針對增強現(xiàn)實輔助維修現(xiàn)有評價方法缺乏指標(biāo)的完備性與系統(tǒng)的驗證手段，為定量分析增強現(xiàn)實輔助維修系統(tǒng)性能優(yōu)劣，在實驗室條件下搭建了一套增強現(xiàn)實輔助維修原型系統(tǒng)，提出直觀度、舒適度、滿意度及故障排除時間等主客觀評價指標(biāo)，結(jié)合主觀評價試驗，對照傳統(tǒng)的基于裝備維修手冊的維修方法，考察了增強現(xiàn)實輔助維修系統(tǒng)的有效性，為進一步優(yōu)化增強現(xiàn)實輔助維修系統(tǒng)設(shè)計、改進人機交互手段提供了評價手段。

信息處理技術(shù)；增強現(xiàn)實；輔助維修；評價；滿意度；故障排除時間

增強現(xiàn)實(Augmented Reality, AR)借助計算機圖形圖像與數(shù)據(jù)交互技術(shù)，將虛擬信息實時映射到真實場景中，兩種信息相互補充，增加了人類感知真實場景的信息量與理解程度。將AR技術(shù)應(yīng)用于復(fù)雜裝備維修，研制開發(fā)的增強現(xiàn)實輔助維修系統(tǒng)(Augmented Reality System to Assistance Maintenan-ces, ARSAM)利用三維注冊技術(shù)、圖像識別技術(shù)以及人機交互技術(shù)，實現(xiàn)了圖像采集、立體顯示、三維注冊以及虛實融合等功能，可輔助操作使用人員開展新型復(fù)雜裝備維修，對提高維修效率，解決維修人員少、技術(shù)資料海量等問題具有重要的參考價值[1-2]。

為定量描述AR技術(shù)應(yīng)用于復(fù)雜裝備維修效率，需開展增強現(xiàn)實輔助維修評價方法研究，相關(guān)文獻[3-4]只是在研制增強現(xiàn)實輔助維修系統(tǒng)過程中，對傳統(tǒng)意義上的維修與增強現(xiàn)實輔助維修進行了粗略比較，缺乏指標(biāo)的完備性與系統(tǒng)的驗證手段。筆者利用實驗室條件下搭建的增強現(xiàn)實輔助維修系統(tǒng)，提出直觀度、舒適度及滿意度等主觀評價指標(biāo)，結(jié)合主觀評價試驗，與傳統(tǒng)的基于紙質(zhì)材料的維修方法進行對照，考察了增強現(xiàn)實輔助維修系統(tǒng)的有效性，為進一步優(yōu)化增強現(xiàn)實輔助維修系統(tǒng)設(shè)計，提高復(fù)雜裝備維修保障效率提供了評價手段。

1　ARSAM原型系統(tǒng)

利用實驗室搭建的ARSAM原型系統(tǒng)考察增強現(xiàn)實輔助維修效率。ARSAM硬件主要包括視頻透射式頭戴系統(tǒng)、內(nèi)置增強現(xiàn)實軟件和維修引導(dǎo)數(shù)據(jù)庫的計算機。視頻透射式頭戴系統(tǒng)主要由自由曲面 (Free-form-surface, FFS) 棱鏡、OLED顯示組件、CMOS攝像機及支架組成。自由曲面棱鏡可解決無中繼鏡系統(tǒng)的小視場問題，同時可滿足頭戴顯示器輕量化要求。自由曲面光學(xué)系統(tǒng)為平面對稱的復(fù)曲面，方程可表示為[5]

(1)

式中:cx是曲面xz平面內(nèi)x方向的曲率半徑;cy是曲面yz平面內(nèi)y方向的曲率半徑;kx是曲面x方向的二次曲線系數(shù);ky是曲面y方向的二次曲線系數(shù);Ai是4,6,8,10，…，2n階非球面系數(shù)，關(guān)于z軸旋轉(zhuǎn)對稱;Pi是4,6,8,10，…，2n階非旋轉(zhuǎn)對稱系數(shù)。

OLED顯示組件置于自由曲面棱鏡焦平面處并可做前后微調(diào)以適應(yīng)不同用戶的視度差異。CMOS攝像機采集維修場景視頻序列經(jīng)處理后，結(jié)合增強現(xiàn)實軟件實時生成的虛擬對象一并送至OLED顯示組件并投影在人眼中，實現(xiàn)增強現(xiàn)實“虛實融合”的立體顯示。圖1是自由曲面棱鏡設(shè)計圖與視頻透射式頭戴系統(tǒng)外觀圖。

ARSAM控制軟件主要包括了自然特征識別模塊和隨機手勢識別控制模塊。自然特征識別模塊基于維修過程，利用積分直方圖進行目標(biāo)區(qū)域分割，結(jié)合被識別維修對象先驗知識實現(xiàn)不同維修對象的自動識別。利用3DS MAX、Creator、Solid- Works等虛擬仿真建模軟件構(gòu)建3D虛擬模型的圖形圖像及動畫視頻。利用Open VRML開源工具將3D虛擬模型轉(zhuǎn)換為VRML格式供ARSAM控制軟件調(diào)用。根據(jù)自然特征識別結(jié)果獲得轉(zhuǎn)換矩陣，實現(xiàn)維修場景的虛實融合[6]。隨機手勢識別控制模塊根據(jù)維修進程實現(xiàn)增強現(xiàn)實人機交互功能。利用膚色累計背景實現(xiàn)手勢分割，根據(jù)隨機手勢位置、形狀等狀態(tài)信息區(qū)分靜態(tài)手勢和動態(tài)手勢，靜態(tài)手勢以NMI和Hu七階不變矩作為特征向量，動態(tài)手勢以方向編碼序列作為特征向量，將特征向量送入SVM分類器實現(xiàn)不同維修狀態(tài)下的手勢識別[7]。

ARSAM工作流程圖如圖2所示。首先通過CMOS攝像機拍攝維修人員感興趣的局部維修場景圖像，并將視頻圖像傳輸至維修引導(dǎo)數(shù)據(jù)庫中，利用ARSAM軟件對場景中的維修對象進行識別，找出目標(biāo)的空間位置并確定當(dāng)前維修狀態(tài)，然后調(diào)出與之對應(yīng)的虛擬維修引導(dǎo)信息(包括文字、圖像、三維動畫等)，利用跟蹤注冊模塊將維修引導(dǎo)信息疊加到真實場景之中，形成虛實結(jié)合圖像在計算機的VGA端口輸出并送至頭戴顯示器的OLED顯示器件，最終顯示立體的虛實結(jié)合圖像。

2　評價試驗設(shè)計

在此提出滿意度、直觀度、舒適度及故障排除時間4個主客觀評價指標(biāo)考察傳統(tǒng)維修方法與ARSAM之間的性能差異。滿意度(Customer Satisfaction Degree, CSD)定義為用戶需求被滿足后的愉悅感，是用戶對產(chǎn)品的事前期望與實際使用后得到實際感受的相對關(guān)系[8]；直觀度(Customer Intuition Degree, CID)定義為用戶通過具體的維修活動對產(chǎn)品的直接接觸而獲得的感性認識的程度[9]；舒適度(Customer Comfort Degree, CCD)定義為用戶對產(chǎn)品從生理與心理方面所感受到的滿意程度而進行的綜合評價，在ARSAM使用過程中，主要指佩戴增強現(xiàn)實頭戴顯示系統(tǒng)后頭部及眼睛的舒適程度[10]；故障排除時間(Fault Maintenance Time, FMT)定義為用戶為解決某種故障，從開始排除到排除結(jié)束所用的時間。

評價分數(shù)的確定采用李克特量表(Likert Scale)[11]，即分別對5級態(tài)度“很滿意、滿意、一般、不滿意、很不滿意”賦予“5，4，3，2，1”的分值。表1是評價分數(shù)確定原則。

為使主觀評價結(jié)果在統(tǒng)計上有意義，參評人數(shù)不易過少，另外參評人員在年齡、職業(yè)、受教育程度及專業(yè)背景上應(yīng)保持相對一致。采用對照組試驗方法，即一組參評人員使用ARSAM(定義為A組)，另外一組采用紙質(zhì)維修手冊輔助下的傳統(tǒng)維修方法(定義為B組)。試驗開始階段均對兩組人員進行初步訓(xùn)練，幫助參評者理解測試目的和評價分數(shù)的確定。

選擇某型軸線檢測設(shè)備開展增強現(xiàn)實輔助維修評價。為確保該設(shè)備能正常有效發(fā)揮技術(shù)指標(biāo)性能，需開展相應(yīng)的預(yù)防性維修(Preventive Maintenance, PM)和修復(fù)性維修(Corrective Maintenance, CM)。預(yù)防性維修主要指通過對產(chǎn)品的系統(tǒng)性檢查、設(shè)備測試和更換以防止功能故障發(fā)生，使其保持在規(guī)定狀態(tài)所進行的維修活動[12]，涉及各種擦拭保養(yǎng)、電池充放電、保險絲更換、機械活動部件檢查等；修復(fù)性維修主要指在產(chǎn)品性能下降或發(fā)現(xiàn)故障后，為使其恢復(fù)到原有性能，并能完成對其所要求的功能而進行的維修活動[13]，涉及光學(xué)系統(tǒng)光路調(diào)整、電路板功能故障排除、無線傳輸圖像信號檢測等。

參評人員共10人，其中6名男性，4名女性，年齡在23至35歲之間，他們都有相同的專業(yè)背景，且都參與過類似設(shè)備的實際維修活動，將10人隨機編為A、B兩組。預(yù)設(shè)5個故障科目，包括3個預(yù)防性維修和2個修復(fù)性維修，故障科目如表2所示。試驗過程中統(tǒng)計每個故障科目的排除時間，試驗結(jié)束后每位參評者給出ARSAM和紙質(zhì)維修手冊的滿意度、直觀度和舒適度評價分數(shù)。

表2　故障科目

以序號PM1的預(yù)防性故障科目為例，ARSAM軟件首先將虛擬信息菜單按鈕布置在屏幕中間靠上位置，當(dāng)用戶手指進入維修場景后，根據(jù)手勢檢測激活維修菜單，當(dāng)虛擬維修菜單被激活后，根據(jù)手勢信息在需要進行的維修項目列表中選擇相應(yīng)的維修活動，當(dāng)用戶進行維修活動時，系統(tǒng)載入到第一個步驟并隱藏菜單，維修活動中檢測到維修對象時，控制軟件激活維修菜單并進行下一步驟的維修工作。針對序號PM1的預(yù)防性故障排除過程如圖3所示。進入控制軟件主程序后，根據(jù)ARSAM“主菜單”提示，選擇“預(yù)防性維修”子菜單，然后選擇其中的“檢查電源按鈕”故障科目，選擇完成后，菜單顏色由紅色變?yōu)榫G色并閃爍2次，提示用戶完成了該項操作。當(dāng)控制軟件完成電源按鈕的特征識別后，程序加載虛擬圖像，并將虛擬的“電源按鈕”圖像顯示在屏幕一側(cè)，同時提示電源按鈕位置、連線、安裝拆解等信息。

針對序號CM2的修復(fù)性故障排除過程如圖4所示。根據(jù)ARSAM“主菜單”提示，選擇“修復(fù)性維修”子菜單，然后選擇其中的“十字分劃虛像”故障科目，ARSAM利用虛擬圖像提示用戶按照既定的操作步驟進行設(shè)備分解并指示分光棱鏡安裝位置，當(dāng)用戶找到分光棱鏡時，ARSAM根據(jù)分光棱鏡進行識別并以虛擬圖像和文字信息提示用戶檢查分光棱鏡安裝位置是否出現(xiàn)松動、變形等情況，結(jié)合設(shè)備主光學(xué)系統(tǒng)成像檢測流程，排除“十字分劃虛像”故障。

利用實驗室搭建的ARSAM原型系統(tǒng)進行的預(yù)防性維修和修復(fù)性維修流程圖如圖5所示。

3　評價結(jié)果與分析

A、B兩組主觀評價平均分值比較如表3所示，可見傳統(tǒng)維修方法在CSD指標(biāo)上明顯低于ARSAM，說明ARSAM對預(yù)防性維修和修復(fù)性維修均展示了良好的輔助維修能力，但ARSAM的主觀評價平均分值介于“一般”和“滿意”之間，說明實驗室搭建的ARSAM原型系統(tǒng)還需在跟蹤注冊和人機交互等方面優(yōu)化完善；A、B兩組在CCD指標(biāo)的主觀評價平均分值差異較小，一方面說明參評人員對基于紙質(zhì)維修手冊的傳統(tǒng)維修方法具有傳統(tǒng)意義上的適應(yīng)性；另一方面也說明了ARSAM用于復(fù)雜裝備維修還需在頭戴系統(tǒng)質(zhì)量、體積及觀察視場方面做進一步優(yōu)化設(shè)計，同時做好維修人員培訓(xùn)。

為確保評價結(jié)果具有代表性和有效性，利用標(biāo)準(zhǔn)差系數(shù)(Coefficient of Variation, COV)觀察數(shù)據(jù)的波動范圍，標(biāo)準(zhǔn)差系數(shù)反映了變量之間的離散程度，是測度數(shù)據(jù)離散程度的相對指標(biāo)，可表示為：

(2)

對A、B兩組CSD、CID及CCD的主觀評價分值進行的均值和標(biāo)準(zhǔn)差系數(shù)統(tǒng)計如圖6所示。圖6中橫坐標(biāo)為3個主觀評價指標(biāo)，縱坐標(biāo)為對應(yīng)的主觀評價分值均值，縱向波動范圍是標(biāo)準(zhǔn)差系數(shù)，可見ARSAM的CSD和CID指標(biāo)較為穩(wěn)定，可以作為衡量增強現(xiàn)實輔助維修系統(tǒng)的評價依據(jù)，而CCD指標(biāo)因參試人員個體差異而呈現(xiàn)較大的波動范圍，說明結(jié)合具體維修任務(wù)，研制符合操作使用人員維修習(xí)慣、滿足一定普適性的人機交互特點的增強現(xiàn)實輔助維修系統(tǒng)將是下一步研究的重點方向。

傳統(tǒng)維修方法和ARSAM針對5個故障科目的故障排除時間比較如圖7所示，可見在預(yù)防性維修科目中，A、B兩組之間的故障排除時間差異較小，說明ARSAM的輔助維修能力體現(xiàn)不明顯，而在修復(fù)性維修科目中，對于較為復(fù)雜的故障科目，故障排除時間差異較大，說明在處理復(fù)雜裝備維修中ARSAM比傳統(tǒng)維修方法更具優(yōu)勢。

4　結(jié)論

筆者結(jié)合實驗室搭建的增強現(xiàn)實輔助維修系統(tǒng)，提出直觀度、舒適度、滿意度及故障排除時間等主客觀評價指標(biāo)，對照傳統(tǒng)維修方法，考察了ARSAM的維修效率。由于目前針對ARSAM并沒有公認的評判依據(jù)，因此筆者設(shè)計的主觀評價試驗方法會受到參評人員數(shù)量偏少、故障樣本設(shè)置不具有廣泛代表性等因素的影響。另外，參評人員是否能夠熟練操作ARSAM、維修引導(dǎo)數(shù)據(jù)庫構(gòu)建策略，以及人機交互手段是否完備等因素也是影響試驗結(jié)果的重要因素，但不失一般性，筆者得出的試驗結(jié)果仍對優(yōu)化增強現(xiàn)實輔助維修系統(tǒng)設(shè)計有促進作用。具有啟發(fā)性的試驗結(jié)論包括：一是相對于傳統(tǒng)方式維修，利用ARSAM進行簡單故障排除，輔助維修效率提高程度不明顯；二是滿意度和直觀度指標(biāo)穩(wěn)定性好，可用于ARSAM性能評價；三是舒適度指標(biāo)受個體影響較大，且穩(wěn)定性較差，可作為改進ARSAM頭戴顯示器的參照依據(jù)。

References)

[1]趙守偉, 馬東璽, 張勇, 等. 增強現(xiàn)實輔助維修技術(shù)研究進展[J]. 圖學(xué)學(xué)報, 2014, 35(4): 648-654.

ZHAO Shouwei,MA Dongxi,ZHANG Yong, et al.Progressing of augmented reality to assistance maintenances technology[J].Journal of Graphics,2014,35(4):648-654. (in Chinese)

[2]NEE A Y C, ONG S K, CHRYSSOLOURIS G, et al. Augmented reality applications in design and manufactu-ring[J].CIRP Annals-manufacturing Technology, 2012, 61(2): 657-679.

[3]ZHU J, ONG S K, NEE A Y C. An authorable context-aware augmented reality system to assist the maintenance technicians[J]. The International Journal of Advanced Manufacturing Technology, 2013, 66(9): 1699-1714.

[4]HENDERSON S J, FEINER S K. Augmented reality in the psychomotor phase of a procedural task[C]∥Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on. Basel: IEEE, 2011: 191-200.

[5]楊波, 韋曉娜, 張薇, 等. 大出瞳自由曲面頭盔顯示器光學(xué)系統(tǒng)的設(shè)計[J]. 光子學(xué)報, 2011, 40(7): 1051-1054.

YANG Bo, WEI Xiaona, ZHANG Wei, et al. Design method of a free-form HMD system with large pupil size[J]. Acta Photonica Sinica, 2011, 40(7): 1051-1054. (in Chinese)

[6]ZHAO Shouwei, WANG Weiming, ZHANG Yong. Fast object tracking with particle filter and compressive sensing[J]. ICIC Express Letters, 2015, 9(8): 2233-2240.

[7]ZHAO Shouwei, ZHANG Yong, ZHOU Bin, et al. Research on gesture recognition of augmented reality maintenance guiding system based on improved SVM[C]∥ ZHANG Yudang,GAO Wei.7th International Symposium on Advanced Optical Manufacturing and Testing Technologies. Harbin: SPIE, 2014,9282: 92822L1-92822L8.

[8]JANUSZKA M,MOCZULSKI W.Augmented reality system for aiding engineering design process of machinery systems[J].Journal of Systems Science and Systems Engineering,2011,20(3):294-309.

[9]ATANASSOV K. Intuitionistic fuzzy sets[J]. Fuzzy Set and System, 1986, 20(1): 87-96.

[10]曾衛(wèi)平, 于春江, 吳志鵬, 等. 虛擬維修人體模型態(tài)舒適性評估庫的設(shè)計與開發(fā)[J]. 直升機技術(shù), 2014(4): 39-44.

ZENG Weiping, YU Chunjiang, WU Zhipeng, et al. Virtual maintenance body model posture comfort evaluation library design and develop[J]. Helicopter Technique, 2014(4): 39-44. (in Chinese)

[11]段振華, 郭建勝. 航空裝備預(yù)防性維修工作確定與優(yōu)化[J]. 火力與指揮控制, 2011, 36(2): 119-121.

DUAN Zhenhua, GUO Jiansheng. Study on determination and optimization of the aviation equipment preventive maintenance[J]. Fire Control and Command Control, 2011, 36(2): 119-121. (in Chinese)

[12]毛一嵐, 康銳, 馬麟, 等. 裝備修復(fù)性維修工作項目確定方法[J]. 北京航空航天大學(xué)學(xué)報, 2011, 37(8): 1039-1043.

MAO Yilan, KANG Rui, MA Lin, et al. Determination of corrective maintenance task item for materiel[J]. Journal of Beijing University of Aeronautics and Astronautics, 2011, 37(8): 1039-1043. (in Chinese)

[13]BENBELKACEM S, BELHOCINE M, BELLARBI A, et al. Augmented reality for photovoltaic pumping systems maintenance tasks[J]. Renewable Energy, 2013, 55(4): 428-437.

Study on Evaluation Method of Augmented Reality to Assistance Maintenances

ZHAO Shouwei1, WANG Kai2, ZHANG Yong2, WANG Weiming3, YU Ming1

(1.Information Engineering College, Hebei University of Technology,Tianjin300401, China;2.Mechanical Technology Institute, Shijiazhuang050000, Hebei, China;3.Electrical and Electronic Engineering College,Shijiazhuang Tiedao University,Shijiazhuang050034, Hebei, China)

Augmented Reality (AR) in the application of complex equipment maintenance is apt to increase the information content of maintenance support and the comprehensive capability of maintenance operation, which apparently improved maintenance support efficiency. Aimed at the problem of the existing method lacking in the completeness of evaluation indexes and the systemic verification method to Augmented Reality Assistance Maintenance Prototype System (ARSAM), a set of ARSAM prototype system was built under lab conditions in order to realize the quantitative analysis to the efficiency of ARSAM. Provided were three subjective evaluation indexes including customer satisfaction degree, customer intuition degree and customer comfort degree and the objective evaluation indexes including fault recovery time. A group of subjective assessment experiment was designed to observe the maintainability of ARSAM compared with the traditional maintenance method based on the equipment maintenance service manual. The experimental results were beneficial to the optimized design of ARSAM and the improved measure of interactive action.

information processing; Augmented Reality; assistance maintenance; evaluation; customer satisfaction degree; fault recovery time

10.19323/j.issn.1673-6524.2016.02.017

2015-09-09

總裝科技創(chuàng)新人才團隊資助基金(XX20090515)；總裝備部基金資助(XX20130301)

趙守偉(1971—)，男，高級工程師，博士研究生，主要從事增強現(xiàn)實輔助維修技術(shù)方面的研究。E-mail：bit10701159@163.com

TJ07

A

1673-6524(2016)02-0082-06