多傳感器式誘導(dǎo)維修系統(tǒng)的設(shè)計與實現(xiàn)*

白柯萌，王崴，2，瞿玨，彭勃宇，劉明

（1.空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安710051；2.西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點實驗室，西安710049）

多傳感器式誘導(dǎo)維修系統(tǒng)的設(shè)計與實現(xiàn)*

白柯萌1，王崴1，2，瞿玨1，彭勃宇1，劉明1

（1.空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安710051；2.西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點實驗室，西安710049）

針對戰(zhàn)場裝備搶修中維修作業(yè)時間緊、任務(wù)重、難度大和專業(yè)維修人員少的問題，提出了多傳感器式誘導(dǎo)維修系統(tǒng)體系結(jié)構(gòu)，開發(fā)了一套基于增強(qiáng)現(xiàn)實技術(shù)的誘導(dǎo)維修系統(tǒng)。系統(tǒng)主要由5個模塊構(gòu)成。通過PST跟蹤儀和基于無跡卡爾曼濾波的多傳感器跟蹤算法完成跟蹤注冊，結(jié)合語音和手勢識別進(jìn)行人機(jī)交互，通過構(gòu)建無線通訊網(wǎng)絡(luò)和實現(xiàn)數(shù)據(jù)分布式處理拓展了系統(tǒng)的適應(yīng)性和實用性。以某型裝備電磁鐵更換為例，對系統(tǒng)功能進(jìn)行了驗證。實驗對比說明了與紙制維修手冊和普通移動終端相比，該系統(tǒng)能更為高效地指導(dǎo)維修人員完成維修任務(wù)。

誘導(dǎo)維修，增強(qiáng)現(xiàn)實，多傳感器，跟蹤注冊，人機(jī)交互

0 引言

目前，我軍裝備維修人員依靠裝備維修圖冊和維修經(jīng)驗進(jìn)行戰(zhàn)場搶修。武器裝備內(nèi)部的復(fù)雜化構(gòu)成，在戰(zhàn)場搶修環(huán)境下，維修人員往往處于較為惡劣的維修環(huán)境，且維修人員的注意力在手冊和對象間頻繁切換，即便是經(jīng)驗豐富的維修人員也很難保證快速準(zhǔn)確地完成維修任務(wù)。

美軍用虛擬現(xiàn)實技術(shù)實現(xiàn)了基于便攜終端的裝備現(xiàn)場維修、裝備器材管理以及戰(zhàn)術(shù)協(xié)同等功能［1］，國內(nèi)也相繼開展了相關(guān)領(lǐng)域研究，見文獻(xiàn)［2-6］。為進(jìn)一步提高維修效率，本文采用增強(qiáng)現(xiàn)實技術(shù)構(gòu)建了多傳感器式誘導(dǎo)維修系統(tǒng)，對于實現(xiàn)“以人為中心”的維修，持續(xù)改善我國軍用裝備維修性，促進(jìn)軍用裝備維修性工作手段的升級，和有效解決戰(zhàn)場快速搶修問題具有重要意義。

1 系統(tǒng)的設(shè)計

1.1 系統(tǒng)功能

該誘導(dǎo)維修系統(tǒng)主要由虛擬模型管理模塊、跟蹤注冊模塊、誘導(dǎo)信息生成模塊、人機(jī)交互模塊、硬件通訊模塊5個主要模塊構(gòu)成。①虛擬模型管理模塊，包括圖形誘導(dǎo)信息、文字誘導(dǎo)信息和語音誘導(dǎo)信息。②跟蹤注冊模塊，使虛擬模型以正確的位姿疊加在真實場景上，這個過程被稱為跟蹤注冊［7］，這要求系統(tǒng)準(zhǔn)確、實時地獲取維修者頭部和維修對象的位姿信息。③誘導(dǎo)信息生成模塊，系統(tǒng)根據(jù)任務(wù)節(jié)點生成相應(yīng)零件和工具的動作、維修步驟的文字和語音注意事項等，并通過透視式顯示器和耳機(jī)輸出以引導(dǎo)維修人員正確地完成當(dāng)前步驟的維修任務(wù)。④人機(jī)交互模塊，是指人與計算機(jī)為完成確定任務(wù)的信息交換過程。⑤硬件通訊模塊，依靠可穿戴式的硬件設(shè)備完成用戶與系統(tǒng)的通訊。

1.2 系統(tǒng)體系結(jié)構(gòu)設(shè)計

針對誘導(dǎo)維修系統(tǒng)的功能要求，本文設(shè)計了多傳感器式誘導(dǎo)維修系統(tǒng)的體系結(jié)構(gòu)，如圖1所示。

圖1 誘導(dǎo)維修系統(tǒng)體系結(jié)構(gòu)

2 系統(tǒng)實現(xiàn)及其關(guān)鍵技術(shù)

通過VS2010開發(fā)環(huán)境利用C++編成實現(xiàn)了伴隨式誘導(dǎo)維修系統(tǒng)。依托開源圖形庫OSG（Open-SceneGraph）進(jìn)行圖形開發(fā)；依托開源視覺庫OpenCV完成如光流場計算和圖像匹配等視覺圖像處理工作，利用UKF（無跡卡爾曼濾波）融合視覺慣性數(shù)據(jù)實現(xiàn)對攝像機(jī)的位姿跟蹤；借助Windows自帶語音識別包進(jìn)行語音識別，完成語音指令的輸入；采用視覺加慣性的方式識別操作者的手勢動作。圖2表示系統(tǒng)各功能模塊間關(guān)系。

圖2 功能模塊結(jié)構(gòu)關(guān)系

2.1 維修模型管理模塊

2.1.1 模型創(chuàng)建和裝載

系統(tǒng)通過ProE建模，并用Deep Exploration軟件轉(zhuǎn)換為面片模型，再導(dǎo)入系統(tǒng)。為生成正確的拆裝誘導(dǎo)信息，系統(tǒng)裝載模型時需要構(gòu)建層次化的裝配體模型如圖3所示。該層次模型包含3方面的信息。

一是零件本身信息。包括子裝配體或各個零部件的尺寸大小、幾何形狀、位姿信息等。二是裝配結(jié)構(gòu)層次關(guān)系。在拆卸過程中，如果整個裝配體C的結(jié)構(gòu)用{C1，C2，C3，…Cn}來表示，其中Cn既可以表示零件，又可以表示子裝配體，如果它表示子裝配體，那么說明Cn還可以繼續(xù)進(jìn)行拆卸操作。三是零部件約束關(guān)系，合理的拆裝路徑必須滿足零部件之間的約束關(guān)系。

圖3 裝配體層次結(jié)構(gòu)模型

2.1.2 模型渲染和運動

根據(jù)真實模型的材質(zhì)、紋理對模型進(jìn)行渲染，為增強(qiáng)維修人員的沉浸感，設(shè)置虛擬環(huán)境中的光源來保證誘導(dǎo)動畫和真實場景的自然疊加。

層次化的裝配體模型的建立為系統(tǒng)提供了待維修對象的各零部件之間的層次關(guān)系和維修各零部件順序及零部件維修時的動作方向。

2.2 跟蹤注冊模塊

本文采取多傳感器組合的方案進(jìn)行位姿跟蹤。在遮擋較少的開闊環(huán)境中利用PST高精度紅外跟蹤儀進(jìn)行跟蹤，在狹小遮擋多的環(huán)境中融合慣性和視覺數(shù)據(jù)完成跟蹤。

2.2.1 坐標(biāo)系統(tǒng)介紹

跟蹤模塊主要涉及到下面幾個坐標(biāo)系：W為世界坐標(biāo)系；P為PST坐標(biāo)系，與W固連在一起；C為攝像機(jī)坐標(biāo)系，其原點與攝像機(jī)光心重合，z軸與光軸共線；U為圖像坐標(biāo)系；慣性坐標(biāo)I系固連在C上。

圖4 多傳感器系統(tǒng)坐標(biāo)關(guān)系

2.2.2 基于PST的跟蹤

PST跟蹤儀是荷蘭IRIS-Tech公司開發(fā)的基于紅外高亮標(biāo)識點的高精度跟蹤設(shè)備如圖5所示。

圖5 PST IRIS紅外跟蹤器

圖6 AR頭盔

本文借助圖6所示的自制AR頭盔對人員頭部位姿進(jìn)行跟蹤，在開闊環(huán)境中PST跟蹤儀能獲取較多數(shù)量的標(biāo)識點，可對目標(biāo)進(jìn)行穩(wěn)定準(zhǔn)確的跟蹤，計算機(jī)通過PST的API可直接獲取到目標(biāo)物相對于PST坐標(biāo)系的位姿信息，從而求得C系在W系的空間位姿。

2.2.3 基于多傳感器融合的跟蹤

當(dāng)操作者處于較狹小空間中時，高亮標(biāo)識點被遮擋，PST跟蹤信號中斷，系統(tǒng)切換為多傳感器混合的跟蹤方式。該方法利用UKF（無跡卡爾曼濾波）［8］融合視覺和慣性通道的數(shù)據(jù)進(jìn)行攝像頭位置估計。系統(tǒng)運動模型選用勻加速模型，用高斯白噪聲模擬波動。視覺通道的數(shù)據(jù)通過Logitech C920攝像頭采集，其刷新率為60 Hz；慣性通道的數(shù)據(jù)通過集成三軸加速度計和三軸陀螺儀的MEMS芯片MPU6050采集，采樣更新速率為8 kHz。本文采用SCAAT（Single Constraint At A Time）［9］，即利用不完全信息對狀態(tài)進(jìn)行更新的方法解決多傳感器測量輸出不同步的問題。圖7為算法框圖。

圖7 融合算法框圖

其中，κ為比例參數(shù)，用來調(diào)節(jié)δ點和x的距離，一般取κ=0；α為縮放因子，控制δ點的分布范圍，?。?，1）中較小的值；β為引入狀態(tài)方程f（·）高階信息的參數(shù)，通常取β=2。融合視覺慣性融合的UKF算法步驟如下：

1）初始化狀態(tài)向量xk及其誤差方差矩陣

2）由式（3）計算δ點ξi（k|k），取Px為Pk-1為xk-1。

3）由下式計算δ點經(jīng)f（·）的非線性變換，并預(yù)測系統(tǒng)狀態(tài)和誤差協(xié)方差。

4）根據(jù)當(dāng)前采集到的特征點匹配情況選擇采用視覺或慣性通道進(jìn)行預(yù)測更新。若當(dāng)前匹配特征點對大于n則使用視覺通道進(jìn)行預(yù)測更新，否則使用慣性通道進(jìn)行預(yù)測更新。根據(jù)攝像頭的性能和選用的匹配算法確定n的值，本文取50。預(yù)測更新的具體步驟如下：

①得到預(yù)測觀測δ點和預(yù)測觀測量

②預(yù)測觀測量對應(yīng)的協(xié)方差和觀測量與狀態(tài)向量的交互協(xié)方差：

③當(dāng)k+1時刻傳感器的觀測量為z（k+1），則狀態(tài)更新和更新協(xié)方差表示如下：

圖8為融合慣性和視覺的UKF算法流程圖。

圖8 UKF算法流程

2.3 誘導(dǎo)信息生成

電子維修手冊中包含各零部件的拆裝順序、拆裝流程、各拆裝所需工具、拆裝注意事項等維修信息。根據(jù)拆裝流程和已完成步驟確定當(dāng)前維修者所處維修任務(wù)節(jié)點；根據(jù)當(dāng)前任務(wù)節(jié)點和層次化的裝配體模型播放誘導(dǎo)動畫；根據(jù)當(dāng)前任務(wù)節(jié)點提取當(dāng)前維修步驟所要使用的工具、維修方法和注意事項，結(jié)合跟蹤模塊所得到的位姿數(shù)據(jù)通過視頻透視式頭盔顯示器和語音播報將信息輸出給維修人員。2.4人機(jī)交互

本文結(jié)合戰(zhàn)場裝備搶修環(huán)境空間狹小、工具受限、干擾強(qiáng)烈等實際特點，采用了語音和手勢結(jié)合的方式完成人員與誘導(dǎo)維修系統(tǒng)的交互任務(wù)。

2.4.1 語音識別

本文采用了MicrosoftSpeech SDK所提供的Speech API（SAPI）進(jìn)行語音識別。

其中根據(jù)維修任務(wù)制定相應(yīng)的語法規(guī)則是實現(xiàn)高效正確識別的關(guān)鍵，語法中包括了用戶期望引擎識別的孤立的字或者詞。本文采用的是命令控制語法。需要交互的命令包括“開始維修”、“下一步”、“維修完畢”等。制定的xml格式的語法規(guī)則如圖9，其中包含了誘導(dǎo)系統(tǒng)中需要用到的語音命令。

圖9 xml文件語法規(guī)則

系統(tǒng)根據(jù)用戶發(fā)出的語音命令會與xml文件中的文字命令進(jìn)行匹配，匹配完成后在編輯框中顯示識別的結(jié)果，如圖10。“語音訓(xùn)練”和“話筒設(shè)置”按鈕是為了使系統(tǒng)了解用戶說話方式所做的訓(xùn)練。

圖10 語音識別界面

2.4.2 手勢識別

由于維修環(huán)境中存在的噪聲干擾，僅使用語音方式進(jìn)行交互勢必會造成指令輸入的困難，因此，系統(tǒng)在背景噪聲超過80 dB時自動將交互方式切換為手勢。本文采用視覺加慣性的方式識別維修者的手勢。建立了不同光照條件下的膚色模型，通過感光元件測得的光照選擇合適的膚色模型；然后應(yīng)用光流場［10］對手勢進(jìn)行跟蹤，通過16方向鏈碼提取手勢特征向量；最后利用HMM（隱馬爾科夫）模型［11］對手勢進(jìn)行識別，利用訓(xùn)練好的HMM算法計算手勢的似然值，判斷最大可能手勢并輸出相應(yīng)指令。表1為本系統(tǒng)中手勢對應(yīng)的命令。

表1 手勢命令對應(yīng)關(guān)系

在利用慣性傳感器進(jìn)行手勢識別時，本文通過使用者手腕和大臂上佩戴的IMU（Inertial Measurement Unit）構(gòu)建的傳感網(wǎng)絡(luò)感知使用者的手臂動作，如圖11所示。通過EKF（拓展卡爾曼濾波）和姿態(tài)結(jié)算可以得到每個IMU的姿態(tài)信息，根據(jù)大臂和手腕上IMU姿態(tài)的相對變化即可推算出相應(yīng)的手臂動作，將典型手臂動作與操作指令相關(guān)聯(lián)即可實現(xiàn)通過手臂動作輸入操作指令。

圖11 肢體慣性傳感器網(wǎng)絡(luò)

2.5 硬件通訊

硬件通訊模塊負(fù)責(zé)建立穿戴式設(shè)備、高性能計算機(jī)和各類傳感器之間的通訊網(wǎng)絡(luò)以保證系統(tǒng)數(shù)據(jù)流的暢通，實現(xiàn)分布式計算。為此，本文構(gòu)建了如圖12所示的硬件系統(tǒng)結(jié)構(gòu)框圖。

圖12 硬件系統(tǒng)框圖

3 系統(tǒng)應(yīng)用及功能驗證

系統(tǒng)以某型導(dǎo)彈制導(dǎo)雷達(dá)的天線波導(dǎo)開關(guān)為應(yīng)用對象，對誘導(dǎo)維修系統(tǒng)進(jìn)行實例驗證。其零部件組成如圖13所示。

圖13 波導(dǎo)開關(guān)結(jié)構(gòu)圖

給定維修任務(wù)是更換電磁鐵。首先建立波導(dǎo)開關(guān)和維修工具三維模型，轉(zhuǎn)換為面片后導(dǎo)入系統(tǒng)，如圖14所示。

圖14 波導(dǎo)開關(guān)三維模型

然后在系統(tǒng)中構(gòu)建裝配體的層次結(jié)構(gòu)模型，并根據(jù)模型和各零部件拆裝時的運動類型建立各零部件的運動副如圖15所示。

圖15 層次模型和運動副構(gòu)建

根據(jù)維修手冊中的維修流程設(shè)計維修任務(wù)序列，導(dǎo)入相應(yīng)的維修使用工具、方法和步驟以及維修注意事項，圖16為維修任務(wù)序列管理界面。

上述工作完成后需要再對PST跟蹤儀和各類傳感器進(jìn)行標(biāo)定，并對硬件通訊網(wǎng)絡(luò)進(jìn)行測試確保數(shù)據(jù)流的暢通。圖17為部分維修步驟中誘導(dǎo)信息的顯示效果。

圖16 維修任務(wù)管理界面

圖17 誘導(dǎo)信息顯示效果

為了驗證誘導(dǎo)維修系統(tǒng)在提高維修效率方面的有效性，讓30名學(xué)員為波導(dǎo)開關(guān)更換電磁鐵，其中并記錄下其完成更換所用時間，如表1所示。其中，1號～10號學(xué)員使用維修圖冊作為維修指導(dǎo)；11號～20號學(xué)員使用存儲了電子維修手冊的ipad終端作為維修指導(dǎo)；21號～30號學(xué)員使用該誘導(dǎo)維修系統(tǒng)作為維修指導(dǎo)。表2記錄了維修所用時間。

表2 維修時長對比

從結(jié)果看出，在完成相同維修任務(wù)的情況下，使用誘導(dǎo)維修系統(tǒng)指導(dǎo)維修所用時間分別比使用傳統(tǒng)紙制維修手冊和普通手持終端所需時間少36.9%和20.4%，說明了誘導(dǎo)維修系統(tǒng)能夠有效提高維修效率。

4 結(jié)論

本文通過實例驗證實現(xiàn)了對天線波導(dǎo)開關(guān)更換電磁鐵任務(wù)的誘導(dǎo)維修功能。對比實驗說明該系統(tǒng)能更為高效地對維修人員進(jìn)行指導(dǎo)提高維修效率?；緦崿F(xiàn)了“以人為中心”的維修，為解決戰(zhàn)場快速搶修問題提供了思維和途徑。在提高我國軍用裝備維修性、保障性方面具有重大作用。

［1］李海瑞，景小寧，張?zhí)?IETM在戰(zhàn)場搶修中的應(yīng)用［J］.火力與指揮控制，2011，36（1）：163-166.

［2］李軍強(qiáng).基于某型飛機(jī)的便攜式維修輔助裝置系統(tǒng)設(shè)計［D］.青島：青島科技大學(xué)，2012.

［3］丁嬌.面向航空設(shè)備維修測試的IETM系統(tǒng)研究與實現(xiàn)［D］.南京：南京航空航天大學(xué)，2012.

［4］張永禎，周晶晶，林慧貞.便攜式雷達(dá)維修輔助設(shè)備的設(shè)計與實現(xiàn)［J］.現(xiàn)代雷達(dá)，2013，35（7）：63-66.

［5］張波，姜震，孟上.某型導(dǎo)航雷達(dá)便攜式維修輔助裝置（PMA）設(shè)計［J］.計算機(jī)測量與控制，2013，21（7）：1855-1857.

［6］趙新燦，左洪福，徐興民.增強(qiáng)現(xiàn)實維修誘導(dǎo)系統(tǒng)關(guān)鍵技術(shù)研究［J］.中國機(jī)械工程，2008（3）：678-682.

［7］NEE A Y C，ONG S K，CHRYSSOLOERIS G，et al. Augmented reality applications in design and manufacturing［J］.CIRP Annals-Manufacturing Technology，2012，61（2）：657-679.

［8］郭軍海.彈道測量數(shù)據(jù)融合技術(shù)［M］.北京：國防工業(yè)出版社，2012.

［9］WELCH G，BISHOP G.SCAAT：incremental tracking with incompleteinformation［C］//Proceedingsofthe25th ComputerGraphicsandInteractiveTechniques，Los Angeles，1997：333-344.

［10］SUN D，ROTH S，BLACK M J.Secrets of optical flow estimation and their principles［C］//Computer Vision and Pattern Recognition，2010IEEEConference on.San Francisco：IEEE，2010：2432-2439.

［11］STEFANOV N，GALATA A，HUBBOLD R.A real-time hand tracker using variable-length markov models of behavior［J］.Computer Vision and Image Understanding，2007，108（1-2）：98-115.

Design and Implementation of Multi-sensors Maintenances Guiding System

BAI Ke-meng1，WANG Wei1，2，QU Jue1，PENG Bo-yu1，LIU Ming1
（1.College of Air-Defense And Anti-Missile，Air Force Engineering University，Xi’an 710051，China；
2.State Key Laboratory for Manufacturing System Engineering，Xi’an Jiaotong University，Xi’an 710049，China）

The Battlefield damage assessment and repair missions are time-starved，heavy，difficult and lack of professionals.To address these problems，a framework of Multi-sensors maintenances guiding system is presented，a set of attendant maintenances guiding system based on augment reality is developed.The system consisted of five function module.The registration is completed by PST tracker and multi-sensor fusion registration algorithm based on unscented kalman filter.The human-computer interaction is completed by speech recognition and gesture recognition.The adaptability and practicality of this system is improved by the wireless communication and the distributed data processing.Taking the electromagnet replacement of a waveguide switch in a certain guidance radar as an example，all functions the system are demonstrated.The comparative experiments indicate that the system can guide the maintenances more efficiently compared with the conventional paper manuals and ordinary mobile terminal.

maintenancesguiding，augmentedreality，multi-sensors，trackingregistration，human-computer interaction

TP391

A

1002-0640（2017）02-0102-07

2016-01-16

2016-02-20

國家自然科學(xué)基金（51405505）；中國博士后科學(xué)基金資助項目（133798）

白柯萌（1992-），女，陜西銅川人，碩士研究生。研究方向：增強(qiáng)現(xiàn)實及誘導(dǎo)維修。