基于增強現(xiàn)實的裝備誘導維修系統(tǒng)設計與實現(xiàn)*

崔波，王崴，2，瞿玨★，李自豪

（1.空軍工程大學防空反導學院，西安710051；2.西安交通大學機械制造系統(tǒng)工程國家重點實驗室，西安710049）

基于增強現(xiàn)實的裝備誘導維修系統(tǒng)設計與實現(xiàn)*

崔波1，王崴1，2，瞿玨1★，李自豪1

（1.空軍工程大學防空反導學院，西安710051；2.西安交通大學機械制造系統(tǒng)工程國家重點實驗室，西安710049）

針對目前裝備維修過程中存在的復雜度高、上手慢和安全性低等問題，構建了一個誘導維修原型系統(tǒng)，并圍繞增強現(xiàn)實關鍵技術闡述了誘導維修系統(tǒng)的設計與實現(xiàn)；采用了模塊化設計方法，通過分析誘導維修系統(tǒng)設計需求，對系統(tǒng)所需要的各個功能模塊進行了設計，并且使得系統(tǒng)的維修任務能夠根據(jù)維修對象的改變在框架不變的前提下得到修改或升級；利用該原型系統(tǒng)對發(fā)動機活塞環(huán)和離合器片更換兩項維修任務進行了誘導，驗證了系統(tǒng)的功能。

增強現(xiàn)實，誘導維修，人機交互，系統(tǒng)設計，數(shù)據(jù)管理

0 引言

隨著我軍機械化、信息化進程的不斷深入，我軍裝備向大型復雜、技術密集的方向發(fā)展，大量武器裝備運用了先進的加工和裝配工藝，在提升武器性能的同時也增大了維護維修的難度，提高了對維修人員的要求。因此，增強部隊維修能力、提升裝備維修性、保證裝備完好率成為提升我軍戰(zhàn)斗力的關鍵因素。面對裝備內大量零部件組成的裝配體系及其內部復雜的約束關系，基層維修人員只能依靠傳統(tǒng)的紙質維修手冊和裝備的工程圖冊的指導進行維修，使得維修人員的注意力需要在手冊和維修對象間頻繁切換，而且在戰(zhàn)場搶修環(huán)境下，維修人員往往處于較為惡劣的維修環(huán)境，精神狀態(tài)高度緊張。這種傳統(tǒng)的維修方式不僅制約了維修效率的提升，而且會導致較高的誤操作發(fā)生概率，即便經(jīng)驗豐富的維修人員也很難保證快速準確地完成維修任務。

誘導維修是后勤保障領域的新概念，20世紀90年代初，增強現(xiàn)實被波音公司應用于輔助機艙內電纜連接和接頭裝配［1］；德國的Arvika［2］和同期的Starmate［3］系統(tǒng)也表現(xiàn)出AR在復雜機電系統(tǒng)維護維修領域的巨大應用價值；阿爾及利亞高技術與發(fā)展中心的Samir等人將AR用于水泵維修，開發(fā)了ARPPSM系統(tǒng)（Augmented Reality for Photovoltaic Pumping Systems Maintenance），以解決復雜光伏水泵系統(tǒng)的維修性問題［4］；美國空軍聯(lián)合空軍研究試驗室和哥倫比亞大學等6所單位開展了增強現(xiàn)實保障維修（Augmented Reality for Maintenance and Repair，ARMAR）項目［5-6］的研究。其目的是在裝備維修保障方面評估和探索AR技術的可行性和效能。

根據(jù)以上背景，本文提出在裝備維修領域運用“增強現(xiàn)實誘導維修”技術。其核心是運用增強現(xiàn)實（Augmented Reality，AR）技術，根據(jù)維修任務、裝備三維模型、電子維修手冊等資源信息生成三維圖像和動畫、維修方法提示、維修注意事項等誘導信息，并將其以虛實疊加的增強信息顯示方式呈現(xiàn)在維修人員的視場中，在維修人員注意力集中的“維修區(qū)域”疊加顯示各類圖形文字信息，形成伴隨式的誘導維修信息，以輔助和引導維修人員進行維修作業(yè)。

1 方案設計

圖1 系統(tǒng)總體結構

誘導維修系統(tǒng)分為跟蹤注冊、人機交互、數(shù)據(jù)管理、誘導信息生成與輸出4個模塊進行設計［7-9］。其中跟蹤注冊模塊負責獲取維修者頭部位姿以完成虛擬信息和真實世界的自然融合；人機交互模塊使得系統(tǒng)能夠理解維修者意圖以作出合適的響應；數(shù)據(jù)管理模塊能對各類數(shù)據(jù)進行有序儲存和管理；誘導信息生成與輸出模塊通過對資料信息的組織和處理，生成適當?shù)奈淖帧D形、交互界面等信息并顯示在頭盔顯示器上；圖1表示系統(tǒng)總體結構和各模塊間信息的流向。為增強系統(tǒng)通用性，在進行各模塊設計時，預留了可編輯和定制的空間，比如可以更換維修模型和編輯維修任務，使系統(tǒng)能夠根據(jù)需要進行修改和拓展。

1.1跟蹤注冊模塊

1.1.1混合注冊系統(tǒng)

結合現(xiàn)有注冊方式和誘導維修系統(tǒng)的特點，對混合注冊方法進行了研究，提出了一種新型的融合慣性、地磁、視覺數(shù)據(jù)的多傳感器混合注冊算法［10］。算法通過設計互補濾波器［11］融合陀螺儀、加速度計和地磁傳感器的數(shù)據(jù)，得到頭部姿態(tài)；構建系統(tǒng)狀態(tài)方程并將系統(tǒng)量測分為慣性和視覺兩個通道，視覺通道通過匹配關鍵幀和分解單應性矩陣更新量測，使算法擺脫了人工標志的限制；根據(jù)兩個量測通道的特點設計無跡卡爾曼濾波（Unscented Kalman Filter，UKF）［12］方案，融合互補濾波器的輸出和加速度計信號得到最終頭部的姿態(tài)和位置。圖2為混合注冊算法的結構框圖。

圖2 注冊系統(tǒng)總體框圖

1.1.2多傳感器硬件系統(tǒng)

混合跟蹤的傳感器系統(tǒng)由視覺傳感器（攝像頭）、陀螺儀、加速度計和地磁感應計組成。攝像頭和慣性/地磁模塊一同固連在自制的增強現(xiàn)實頭盔上，如圖3所示。

圖3 AR頭盔

1.2 人機交互模塊

考慮到裝備維修過程中受限的空間環(huán)境以及噪聲干擾，同時也為滿足誘導維修系統(tǒng)在戰(zhàn)場快速搶修方面的應用需求，本文設計了語音和手勢識別的方式，并配合顯示的菜單界面構成的多通道人機交互模塊，結構如圖4所示。在軟件維護修改時，開發(fā)人員借助鼠標鍵盤的常規(guī)方式對系統(tǒng)進行操作；在維修進行過程中，維修者要進行維修操作且受到空間限制，因此，借助麥克風外設和Microsoft Speech SDK輸入語音指令，借助體感控制器Leap Motion和Leap SDK輸入手勢指令。上面部分指令直接對系統(tǒng)進行控制，部分指令通過操作菜單界面間接輸入。

圖4 人機交互模塊結構

1.2.1語音指令輸入

本文通過麥克風采集用戶語音并采用Microsoft Speech SDK所提供的Speech API（SAPI）進行語音識別。其中根據(jù)維修任務制定相應的語法規(guī)則是實現(xiàn)高效正確識別的關鍵，識別引擎根據(jù)語法規(guī)則生成識別的結果一般為孤立的字或詞。本文采用命令控制語法，制定了10條語音指令，分別為打開菜單、關閉菜單、光標上行、光標下行、確認、返回、任務開始、下一步、上一步、任務結束。將這10條指令存入格式的語法規(guī)則文件如圖5。

圖5 xml語法規(guī)則文件

1.2.2手勢指令輸入

利用Leap公司的手勢控制器Leap Motion捕獲維修者手勢動作并通過Leap SDK中的API函數(shù)獲取維修者手勢命令。Leap Motion利用一個紅外投射器和兩個紅外攝像頭根據(jù)立體視覺原理測量手部位置，作用范圍為設備上方20 mm～600 mm的錐形區(qū)域，跟蹤精度可達0.01 mm。本文設計并利用3D打印制作了PVC材質的Leap Motion固定座，用尼龍帶將其固定在維修者胸前。

1.2.3菜單界面設計

誘導信息需要通過頭戴式顯示器呈現(xiàn)給維修者，為了將維修過程展示給其他人員以及方便軟件維護人員對維修任務、模型等內容進行修改。本文設計了“編輯/演示”和“維修”兩套界面，通過windows雙屏顯示技術分別將“編輯/演示”界面和“維修”界面顯示在LCD液晶屏和頭戴式顯示器上，兩個界面上的信息將同步顯示，在“展示”界面中將顯示虛實融合的視頻影像和更多面向軟件維護者的選項，“維修”界面則是給維修者呈現(xiàn)交互信息，如圖6，當“維修”界面在光學透視顯示器上顯示時，其中黑色部分將以透視形式呈現(xiàn)真實場景，用于其上顯示的虛擬信息形成疊加。

圖6 兩套顯示界面關系

圖7 兩級菜單界面

在計算機上通過鼠標和鍵盤可以對兩個界面進行操作，但對維修者而言只能用手勢和語音對界面進行操作以完成維修過程中的交互。在“維修”界面中，之前制定的10條語音/手勢指令中打開菜單、關閉菜單、光標上行、光標下行、確認、返回這6條是用來操作菜單界面的，通過操作菜單界面可以實現(xiàn)對維修任務的選擇、任務進度查看、維修導航路徑查看以及維修對象信息查看。設計的兩級菜單界面如圖7。

1.3數(shù)據(jù)管理模塊

本文將誘導維修中要用到的各類信息資源主要分為維修文檔資料和維修模型資料兩類。維修文檔資料主要包括維修任務、維修方法步驟、注意事項、維修對象信息和零部件信息等文本、圖片或音頻資料；維修模型資料主要包括維修樣機、場景環(huán)境、工具設備的三維模型、貼圖和紋理等信息。

1.3.1維修文檔資料管理

本文通過建立維修文檔資料集合模型對維修文檔資料進行管理?？紤]到XML語言文檔內容有結構分離、跨平臺性、可拓展性等特點，采用XML語言建立維修文檔資料集合模型，該模型面向某個特定型號的裝備所涉及的各類資料，這些維修資料按照維修任務、維修方法步驟、注意事項、維修對象信息和零部件信息等分層次、分類別管理，維修資料中記錄了諸如維修任務名稱、維修步驟列表、語音提示的音頻文件路徑的詳細信息。圖8為維修文檔資料集合模型結構圖。

圖8 文檔資料集合模型結構圖

圖9 維修任務工具編輯界面

文檔資料集合模型可以通過“演示/維護”界面中相應的模塊進行編輯和修改，以定制不同的維修任務，通過圖9所示界面可以對維修任務和所用工具進行編輯。

1.3.2三維模型管理

圖形誘導信息對維修人員起到了主要引導作用，它由維修對象零部件和維修工具的三維模型構成的動畫和對應的箭頭提示所組成，因此對三維模型進行有效的組織管理是生成圖形誘導信息的關鍵。本文依托開源圖形庫OSG（OpenSceneGraph）進行圖形開發(fā)，涉及到的所有三維模型，包括裝備零部件和維修工具器材都事先通過ProE軟件進行建模得到三維實體模型，并用Deep Exploration軟件轉換為面片模型，再用Creator軟件進行紋理貼圖，最后將模型導入誘導維修系統(tǒng)，圖10為氣缸體從建模至導入系統(tǒng)的步驟。

圖10 模型導入步驟

各零部件拆裝動畫的播放必須要遵循零件的裝配關系，因此本文建立了層次化的裝配體模型如圖11，該模型包含5方面的信息。

圖11 層次化裝配體模型

①零件本身信息，包括零部件模型的尺寸、幾何形狀、在虛擬空間中的位姿信息等。本文將零件表示為：Ci={Bi，IDi，namei，materiali，CADi}，Bi∈R4×4為零件Ci在虛擬空間中的位姿矩陣，IDi，namei，materiali分別代表零件的序號、名稱和材質，CADi為零件的三維面片模型。

②裝配結構層次關系，可以用{C1，C2，C3，…，Cn}表示被維修對象中的一個裝配體，n是該裝配體包含零件或子裝配體的數(shù)量。若Ci為裝配體說明其可以被繼續(xù)拆分為零件，則可將其表示為Ci={Ci1，Ci2，Ci3，…，Cin}。

③零部件運動信息，播放零件在拆裝動畫時，零件模型需要朝規(guī)定的方向轉動或移動，這就需要事先給每個需要被拆卸或裝配的零件設置好運動方向和運動副。

④零部件約束關系，零部件間配合約束包括兩方面的信息：約束類型和參照元素。約束類型包括貼合、對齊、插入、相切等。參照元素是指零部件裝配時所參照的點、線、面、坐標系等幾何構造元素。生成拆卸或裝配動畫時，每當完成對一個零件的拆卸或裝配時，就從層次化的裝配體模型中刪除或添加上有關改零件的約束關系，只有當零件滿足特定約束條件時才能完成相應拆卸或裝配動作。

⑤拆裝序列信息，每個維修任務都對應一個拆裝序列，拆裝序列根據(jù)維修規(guī)程嚴格制定。系統(tǒng)通過拆裝序列檢索當前步驟需要拆卸或裝配的零部件，并根據(jù)設置好運動方向和運動副使其運動，從而生成拆卸或裝配的誘導動畫。

通過“演示/維護”界面中的特定功能界面可以導入維修模型資料，并建立層次化的裝配體模型，以拓展對不同的維修對象的誘導維修，如圖12。

圖12 層次模型構建界面

1.4誘導信息生成與輸出模塊

誘導信息生成與輸出模塊分為硬件和軟件部分，硬件采用Star 1200XLD頭戴式光學透視顯示器作為增強信息的顯示設備，軟件方面在Windows7平臺下利用OSG（OpenSceneGraph）框架完成模型、文字等圖像信息的渲染、顯示和語音播報的輸出。

圖13 兩種頭戴式顯示器

頭戴式顯示器（HMD Head mount display）分為視頻透視式和光學透視式，視頻透視式將攝像頭采集到的真實場景圖像與虛擬信息在屏幕上合成虛實疊加影像，如圖13（a）；光學透視式直接將虛擬信息顯示在半反射透鏡上，真實場景的實像和半反射透鏡上的虛擬信息在成像平面上合成虛實疊加影像如圖13（b）。由于本文設計了“編輯/演示”和“維修”兩套界面用于提供不同需求的顯示，因此，本文顯示方案可表示為圖14。

圖14 系統(tǒng)顯示方案

2 發(fā)動機誘導維修實例

本文以某型號單缸風冷四沖程汽油發(fā)動機為對象，對誘導維修系統(tǒng)進行了功能驗證，并選定“更換活塞環(huán)和缸套”和“更換離合器片”作為演示維修任務。圖15（a）是維修者裝備好誘導維修頭盔的情景，圖15（b）為維修工作臺，工作臺由左至右擺放了維修對象、維修工具和更換備件。

圖15 維修者與工作臺

由于HMD中的顯示效果無法對外展示，因此，本文展示的是“編輯/演示”界面中，已經(jīng)完成虛實疊加的誘導信息顯示效果。下頁圖16和圖17分別是拆卸小鏈輪固定螺栓并取下小鏈輪和拆卸離合器固定螺母的維修視角。

圖16 拆卸小鏈輪固定螺栓并取下小鏈輪

圖17 拆卸離合器固定螺母

當遇到任務切換、拿放工具零件或其他原因導致維修者視角偏離目標時，系統(tǒng)將顯示紅色指示線并配合文字提示提醒維修者將視角調整到位，如圖18。

圖18 維修視角導航

3 結論

本文分4個模塊設計并實現(xiàn)了誘導維修系統(tǒng)，通過三維模型動畫、二維指示箭頭、文字提示、語音播報的方式，實現(xiàn)了對某型單缸風冷四沖程發(fā)動機活塞環(huán)缸套的更換和離合器片更換，兩個維修任務的誘導。該系統(tǒng)還實現(xiàn)了手勢和語音的多通道人機交互，對外演示和誘導維修的同步進行。此外，該系統(tǒng)還具備較強的拓展性和通用性，能夠根據(jù)具體需要導入維修對象的三維模型并編輯維修任務，可實現(xiàn)對不同對象和任務的誘導維修。該系統(tǒng)基本實現(xiàn)了“以人為中心”的維修，為解決戰(zhàn)場快速搶修問題提供了思維和途徑。在提高我國軍用裝備維修性、保障性方面具有一定價值。

［1］MIZELL D.Boeing’s wire bundle assembly project［J］.Fundamentals of Wearable Computers and Augmented Reality，2001（10）：447-467.

［2］FRIEDRICH W.ARVIKA-augmented reality for development［C］//Production and Service Proceedings of the International Symposium on Mixed and Augmented Reality，Washington D.C：IEEE Computer Society，2002.

［3］SCHWALD B，F(xiàn)IGUE J，CHAUVINEAU E，et al.STARMATE：using augmented reality technology for computer guided maintenance of complex mechanical elements［J］. E-work and E-Commerce，2001（1）：196-202.

［4］BENBELKACEM S，BELHOCINE M，BELLARBI A，et al. Augmented reality for photovoltaic pumping systems maintenance tasks［J］.Renewable Energy，2013（55）：428-437.

［5］HENDERSON S J，F(xiàn)EINER S K.Augmented reality in the psychomotor phase of a procedural task［C］//Mixed and Augmented Reality（ISMAR），2011 10th IEEE International Symposium on，2011：191-200.

［6］HENDERSON S，F(xiàn)EINER S.Exploring the benefits of augmented reality documentation for maintenance and repair［J］. Visualization and Computer Graphics，IEEE Transactions on，2011，17（10）：1355-1368.

［7］趙新燦，左洪福.增強現(xiàn)實維修誘導系統(tǒng)關鍵技術研究［J］.中國機械工程，2008，19（6）：678-682.

［8］趙新燦，左洪福.增強現(xiàn)實維修誘導系統(tǒng)交互技術研究［J］.中國機械工程，2009，11（19）：1312-1316.

［9］潘紹松.面向過程的維修誘導關鍵技術研究［D］.南京：南京航空航天大學，2012.

［10］羅斌，王涌天，沈浩，等.增強現(xiàn)實混合跟蹤技術綜述［J］.自動化學報，2013，39（8）：1185-1201.

［11］劉輝邦，褚金奎，支煒，等.基于STM32的無人機姿態(tài)測量系統(tǒng)設計［J］.傳感器與微系統(tǒng)，2013，32（8）：108-110.

［12］郭軍海.彈道測量數(shù)據(jù)融合技術［M］.北京：國防工業(yè)出版社，2012：169-174.

Design and Implementation of Equipment Maintenance Guiding System Based on Augmented Reality

CUI Bo1，WANG Wei1，2，QU Jue1★，LI Zi-hao1
（1.School of Air-Defense and Anti-Missile，Air Force Engineering University，Xi’an 710051，China；
2.State Key Laboratory for Manufacturing System Engineering，Xi’an Jiaotong University，Xi’an 710049，China）

Aiming at the problems that include high complexity，not easy-going and low security existing in the progress of equipment maintenance，a maintenance guiding prototype system is introduced，and design and implementation of maintenance guiding system is stated on augmented reality key techniques.Modular design method is adopted，and through analyzing design requirements of the system，each function module contained within the system is designed，which makes the system’s maintenance task can be upgraded or modified according to the change of maintenance objects on the premise of the same framework.Using the prototype system，two of maintenance tasks that include replacement of piston ring and clutch plate of engine are guided，which verify the function of the system.

augmented reality，maintenance guiding，man-machine interaction，systematic design，data management

TP391

A

1002-0640（2016）11-0176-06

2015-10-16

2015-11-30

國家自然科學基金資助項目（51405505）

崔波（1992-），男，河南獲嘉人，碩士研究生。研究方向：人機交互，誘導維修。

瞿玨（1985-），男，湖南汨羅人，碩士，講師。研究方向：虛擬現(xiàn)實、誘導維修和人機工程。