基于MR的機(jī)電裝備智能檢測維修

王 崴，洪學(xué)峰，雷松貴

基于MR的機(jī)電裝備智能檢測維修

王 崴，洪學(xué)峰，雷松貴

(空軍工程大學(xué)，陜西 西安 710038)

研究Faster R-CNN目標(biāo)檢測網(wǎng)絡(luò)的基本結(jié)構(gòu)與訓(xùn)練方法；建立了機(jī)電裝備狀態(tài)數(shù)據(jù)集，訓(xùn)練了目標(biāo)檢測網(wǎng)絡(luò)，一步實現(xiàn)了指針式儀表區(qū)域的提取、數(shù)字式儀表讀數(shù)的識別以及開關(guān)、插頭狀態(tài)的識別；在不同視角和光照強(qiáng)度下對目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行了測試，結(jié)果表明模型在不同的環(huán)境中均能保持90%以上的準(zhǔn)確度。并以此為依據(jù)推理故障的原因，最后根據(jù)推理結(jié)果，使用基于Unity 3D軟件與Hololens 2硬件開發(fā)的機(jī)電裝備智能維修輔助系統(tǒng)來調(diào)取混合現(xiàn)實(MR)全息誘導(dǎo)維修信息，以指導(dǎo)保障人員進(jìn)行操作。實驗驗證了系統(tǒng)的可用性，實驗結(jié)果顯示使用MR可以快速、高效地完成維修任務(wù)。并依據(jù)操作耗時和問卷調(diào)查進(jìn)行測試與評價，對系統(tǒng)的優(yōu)越性進(jìn)行了定性分析。

混合現(xiàn)實；Faster R-CNN；智能故障診斷；維修輔助；實驗驗證

在設(shè)計制造技術(shù)高速發(fā)展的背景下，各種機(jī)電產(chǎn)品的技術(shù)復(fù)雜程度也在不斷提升，對機(jī)電產(chǎn)品的維修和保養(yǎng)工作也變得愈發(fā)困難和繁重，同時對維修人員提出了更高的要求。隨著計算機(jī)技術(shù)的發(fā)展，對機(jī)電產(chǎn)品的維修保養(yǎng)問題多集中在，如何運(yùn)用人工智能技術(shù)輔助人們進(jìn)行機(jī)電狀態(tài)指示識別與故障診斷。本文基于混合現(xiàn)實(mixed reality，MR)機(jī)電產(chǎn)品智能維修輔助技術(shù)，實現(xiàn)對故障的智能判斷及MR可視化誘導(dǎo)維修。

目前，關(guān)于MR裝備維修輔助技術(shù)，意大利空軍基于Hololens開發(fā)了用于維修的C41系統(tǒng)，專家通過網(wǎng)絡(luò)對維修人員進(jìn)行遠(yuǎn)程指導(dǎo)[1]；海軍工程大學(xué)將基于Vega Prime的交互式實時虛擬維修系統(tǒng)，運(yùn)用在艦艇減搖鰭虛擬維修中[2]。而關(guān)于智能維修輔助技術(shù)，在MR中的應(yīng)用很少[3]，但也有如新西蘭坎特伯雷大學(xué)的Westerfield等，通過自動推理故障指導(dǎo)手工裝配任務(wù)的培訓(xùn)，并運(yùn)用于計算機(jī)主板的裝配中[4]。

1 相關(guān)工作準(zhǔn)備

系統(tǒng)硬件主要包括高性能圖形工作站、MR顯示設(shè)備、擴(kuò)展顯示設(shè)備、自組網(wǎng)設(shè)備等。其中圖形工作站本系統(tǒng)選用了Dell AWL17C-3858移動圖形工作站，處理器型號為Inter i9-8950HK，運(yùn)行內(nèi)存16 GB，顯示卡為NVIDIA GeForce GTX 1080 OC；MR顯示設(shè)備選用HoloLens2。擴(kuò)展顯示器設(shè)備選用Lenovo Y7000筆記本電腦，處理器為i5-8300H，運(yùn)行內(nèi)存8 GB，顯示卡為NVIDIA GeForce GTX 1060。本系統(tǒng)選用的自組網(wǎng)設(shè)備采用1.4 GHz頻段進(jìn)行通信。

2 基于深度學(xué)習(xí)的機(jī)電裝備狀態(tài)指示識別技術(shù)

由于模板匹配的識別方法對圖像的質(zhì)量要求較高，圖像稍有變形將會導(dǎo)致識別失敗，所以通過拍攝圖像對機(jī)電裝備狀態(tài)進(jìn)行圖像識別的方法滿足不了系統(tǒng)性能的要求[5]。針對該情況，結(jié)合深度學(xué)習(xí)目標(biāo)檢測算法，其對圖像要求較低，且具有可識別多目標(biāo)的特點(diǎn)。采用Faster R-CNN目標(biāo)檢測網(wǎng)絡(luò)識別數(shù)字式儀表讀數(shù)、開關(guān)插頭狀態(tài)，同時檢測指針式儀表區(qū)域以提高讀數(shù)識別效率。

2.1 Faster R-CNN目標(biāo)檢測網(wǎng)絡(luò)[6]

深度學(xué)習(xí)目標(biāo)檢測算法的基本思想是，采用選擇性搜索獲取圖像中潛在峰物體候選框，然后通過分類和合并的方法獲取目標(biāo)檢測結(jié)果。常用算法有R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN，SSD和YOLO，在VOOC2007數(shù)據(jù)集中，YOLO，SSD，R-CNN，F(xiàn)ast R-CNN和Faster R-CNN算法的平均準(zhǔn)確率分別為66.05%，75.00%，66.00%，70.00%，73.20%，其中SSD和Faster R-CNN的平均精度優(yōu)于其他算法。在實際應(yīng)用中，SSD算法對大型目標(biāo)的檢測準(zhǔn)確率較高，但易遺漏小型目標(biāo)，而該目標(biāo)檢測均為較小目標(biāo)。為了保證檢測精度，本文選用Faster R-CNN對機(jī)電裝備圖像進(jìn)行目標(biāo)檢測。

2.2 網(wǎng)絡(luò)框架結(jié)構(gòu)

Faster R-CNN是由區(qū)域建議網(wǎng)絡(luò)和Fast R-CNN檢測器2個模塊構(gòu)成，是一個用于目標(biāo)檢測的統(tǒng)一的神經(jīng)網(wǎng)絡(luò)。區(qū)域建議網(wǎng)絡(luò)[7](region proposal network，RPN)可預(yù)測目標(biāo)所在的區(qū)域并將信息與Fast R-CNN共享，通過修正目標(biāo)區(qū)域得到精確的目標(biāo)位置[8]。

2.3 區(qū)域建議網(wǎng)絡(luò)

RPN是一個全卷積網(wǎng)絡(luò)，其以任意大小的圖像為輸入，輸出一組帶有目標(biāo)得分的矩形區(qū)域建議框?；赗PN的結(jié)構(gòu)原理及訓(xùn)練思想，網(wǎng)絡(luò)的損失函數(shù)可定義為

RPN的回歸損失函數(shù)為

RPN可通過誤差反向傳播和隨機(jī)梯度下降法進(jìn)行端到端的訓(xùn)練。在訓(xùn)練時，每一個Mini-batch是由一幅圖像中任意選取的256個建議構(gòu)成，其中正負(fù)標(biāo)簽的樣本比例為1﹕1。在實際訓(xùn)練中，經(jīng)常出現(xiàn)正樣本數(shù)量較少的情況，此時應(yīng)增加負(fù)樣本的數(shù)量使得建議數(shù)保持為256個；另一些RPN建議區(qū)域會出現(xiàn)相互重疊情況。為了減少冗余，網(wǎng)絡(luò)采用基于分類評分的非極大值抑制法對其進(jìn)行篩選。一般可將交疊率的閾值設(shè)為0.7，只保留高于該值的候選框。

2.4 網(wǎng)絡(luò)訓(xùn)練步驟

Faster R-CNN訓(xùn)練的是在已訓(xùn)練好的模型(此處為ResNet)基礎(chǔ)上進(jìn)行的，與RPN共有的層參數(shù)可以直接拷貝經(jīng)ImageNet預(yù)先訓(xùn)練得到的參數(shù)，非共有層的參數(shù)用標(biāo)準(zhǔn)差為0.01的高斯分布進(jìn)行初始化。

3 機(jī)電裝備目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練

3.1 機(jī)電裝備目標(biāo)數(shù)據(jù)集的制作[9]

目標(biāo)檢測的對象為機(jī)電設(shè)備，檢測目標(biāo)為儀表、開關(guān)、插頭等。在不同拍攝角度，使用相機(jī)對設(shè)備進(jìn)行連續(xù)拍照，形成圖像集。為了防止發(fā)生過擬合現(xiàn)象，本文對原始圖片進(jìn)行縮放、平移、翻轉(zhuǎn)以及亮度變化來擴(kuò)展數(shù)據(jù)，最終經(jīng)處理得到2 000張圖片作為制作數(shù)據(jù)集。Faster R-CNN的訓(xùn)練要求數(shù)據(jù)集為VOC格式，本文使用labellmg軟件對圖片進(jìn)行標(biāo)記，生成VOC格式的數(shù)據(jù)集。在xml文件中的object包含了圖像中目標(biāo)類型、名稱及標(biāo)記框的左上角與右下角的坐標(biāo)值。本文數(shù)據(jù)集共包含16種目標(biāo)類型，分別為“0”～“9”10個數(shù)字，“p1”，“p2”和“p3”3個指針式儀表，“on”，“off”2個乒乓開關(guān)狀態(tài)，以及“joint”1個插頭類型。

3.2 目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練

訓(xùn)練前需對文件進(jìn)行索引，其中用于測試的數(shù)據(jù)集占比為10%。再將目標(biāo)設(shè)置為機(jī)電裝備狀態(tài)的類別，運(yùn)行真實標(biāo)記框索引文件，且每一行對應(yīng)圖片中真實標(biāo)記框的位置。接著調(diào)節(jié)訓(xùn)練的世代數(shù)以及每個世代的迭代次數(shù)，本文設(shè)置的訓(xùn)練世代數(shù)為50，每個世代需迭代2 000次，最后運(yùn)行訓(xùn)練主函數(shù)。第一個世代內(nèi)的損失函數(shù)以及所有50個世代的損失函數(shù)曲線如圖1所示。

通過圖1可以看出，本文使用的損失函數(shù)在一個世代中的250次迭代內(nèi)迅速下降，整體在10個世代內(nèi)迅速下降。這說明此設(shè)計的損失函數(shù)收斂速度較快，訓(xùn)練能夠快速地得到理想的目標(biāo)檢測網(wǎng)絡(luò)。

圖1 Faster R-CNN損失函數(shù)曲線圖((a)第一個世代內(nèi)損失函數(shù)曲線；(b)歷代損失函數(shù)曲線)

3.3 目標(biāo)檢測網(wǎng)絡(luò)的測試

為了驗證訓(xùn)練的目標(biāo)檢測網(wǎng)絡(luò)準(zhǔn)確率，本文使用數(shù)據(jù)集中未參與訓(xùn)練的200張圖片進(jìn)行測試。首先使用訓(xùn)練好的模型逐一檢測圖片中的目標(biāo)，并生成目標(biāo)預(yù)測框；然后計算預(yù)測框與真實標(biāo)記框的交疊率IoU，若其值大于等于0.5，則認(rèn)為預(yù)測目標(biāo)是準(zhǔn)確的，循環(huán)該過程直至檢測完畢。圖2為測試集中一張圖片的檢測結(jié)果，其中藍(lán)色框為真實的標(biāo)記框，綠色框為IoU的值大于等于0.5的預(yù)測框，說明檢測成功，紅色框為小于0.5的預(yù)測框，即檢測失敗。

圖2 模型測試結(jié)果

檢測完畢后，通過計算模型的精確度P、召回率R、準(zhǔn)確度均值以及所有目標(biāo)類型的準(zhǔn)確度均值，對機(jī)電裝備狀態(tài)目標(biāo)檢測模型進(jìn)行綜合評價。精確度與召回率的計算如下[10]

其中，為分類器認(rèn)為是正樣本且實際為正樣本的例子；為分類器認(rèn)為是正樣本但實際不是正樣本的例子；為分類器認(rèn)為是負(fù)樣本但實際不是負(fù)樣本的例子。

精確度是檢測到的正樣本與真正是正樣本的比例，而召回率是實際正樣與網(wǎng)絡(luò)認(rèn)為是正樣本的比例。

單獨(dú)使用精確度或召回率均不能客觀反映網(wǎng)絡(luò)模型的好壞，為解決這一問題，本文使用P-R曲線下包圍的面積作為衡量尺度，即準(zhǔn)確度均值A(chǔ)P，該值越大代表模型越優(yōu)。本文訓(xùn)練的目標(biāo)檢測模型中指針式儀表“p2”的P-R曲線如圖3所示。計算圖中曲線包含的面積，其AP值為99.78%，表明該模型能夠很好地檢測到指針式儀表“p2”。

圖3 指針式儀表p2的P-R曲線圖

mAP即檢測所有訓(xùn)練目標(biāo)的AP值總和除以目標(biāo)類型數(shù)的結(jié)果，mAP是評價目標(biāo)檢測網(wǎng)絡(luò)綜合能力的重要指標(biāo)，其值越大表示目標(biāo)檢測網(wǎng)絡(luò)對所有訓(xùn)練目標(biāo)的檢測效果越好。本文16個目標(biāo)類型的AP值及訓(xùn)練的目標(biāo)檢測網(wǎng)絡(luò)的mAP值如圖4所示。通過圖4可以看出：“0”～“9”10個數(shù)字、插頭、“on”和“p2”的AP值接近1.0，“p3”，“p1”和“off”的AP值相對低一些，整個網(wǎng)絡(luò)的mAP值為96.72%，說明訓(xùn)練的機(jī)電裝備目標(biāo)檢測網(wǎng)絡(luò)能夠較好地檢測到圖片中的所有目標(biāo)。

圖4 所有目標(biāo)類型的AP值及mAP值

3.4 目標(biāo)檢測實驗結(jié)果與分析

為了更真實地反映模型在復(fù)雜條件下的綜合性能，本文采用視線與裝備平面的夾角分別為80°，90°和100°的3種視角，及光照分別為較暗、正常、較亮的條件下對目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行測試。本文針對每種條件分別采集100張圖片，測試結(jié)果見表1和表2。

表1 3種不同視角機(jī)電裝備狀態(tài)圖像識別準(zhǔn)確率(%)

表2 3種不同光照條件機(jī)電裝備狀態(tài)圖像識別準(zhǔn)確率(%)

通過表1和表2可以看出，圖片拍攝的角度與光照條件對機(jī)電裝備狀態(tài)目標(biāo)的檢測具有一定的影響，但各類目標(biāo)的準(zhǔn)確度仍能保持在91%以上，準(zhǔn)確率均值在93%以上，平均識別時間為1.18 s，說明本文訓(xùn)練的模型能夠較好地檢測到各種目標(biāo)。

圖5為部分圖片的檢測結(jié)果，從圖中可以看出在不同拍攝角度與不同亮度的圖片中，本文訓(xùn)練的模型均能較準(zhǔn)確地識別指針式儀表、數(shù)字、插頭與開關(guān)狀態(tài)。

圖5 檢測結(jié)果圖((a)指針式儀表檢測結(jié)果圖；(b)數(shù)字儀表檢測結(jié)果圖；(c)插頭檢測結(jié)果圖；(d)開關(guān)檢測結(jié)果圖)

通過目標(biāo)圖片中預(yù)測框分類結(jié)果與坐標(biāo)位置，可以對目標(biāo)進(jìn)行排序輸出。如圖5(b)中數(shù)字式儀表的讀數(shù)為“1430”；圖5(c)中的插頭狀態(tài)為“未插入線纜”；圖5(d)中開關(guān)的狀態(tài)從左到右依次為“關(guān)、開、關(guān)、開、關(guān)、開”。

在實現(xiàn)了基于深度學(xué)習(xí)的機(jī)電裝備狀態(tài)指示識別技術(shù)后，便可將機(jī)電裝備狀態(tài)圖片作為輸入，將機(jī)電裝備的狀態(tài)參數(shù)作為輸出。

4 智能故障診斷功能的實現(xiàn)

本文系統(tǒng)涉及的機(jī)電裝備故障推理內(nèi)容屬于小規(guī)模問題，所以，采用基于規(guī)則的故障推理專家系統(tǒng)診斷故障原因。模塊以機(jī)電裝備狀態(tài)參數(shù)為輸入，以機(jī)電裝備故障的具體原因為輸出(圖6)。

本文采用產(chǎn)生式規(guī)則來代表裝備保障專家的知識，基本形式表示為P→Q或IF P，THEN Q。其中P被稱為前件，是產(chǎn)生式規(guī)則的前提；Q為一組結(jié)論或操作。

本文使用正向推理從初始事實數(shù)據(jù)開始，朝故障原因這一目標(biāo)方向不斷推進(jìn)。推理過程為，首先搜索規(guī)則對機(jī)電裝備狀態(tài)參數(shù)進(jìn)行匹配，若匹配成功則輸出對應(yīng)的結(jié)論；反之則使用下一條規(guī)則進(jìn)行判斷，重復(fù)上述過程直至輸出最后的結(jié)論。此外，本文還設(shè)計了動態(tài)規(guī)則生成程序，能夠在推理過程中不斷豐富規(guī)則庫。本文使用Python編寫故障推理模塊部分的程序，使用if語句對機(jī)電裝備狀態(tài)參數(shù)進(jìn)行推理判斷，最后將對應(yīng)結(jié)論編號的數(shù)值置為“1”，代表推理出該故障的原因。

圖6 故障推理流程

故障推理模塊輸出的機(jī)電裝備故障原因后，MR誘導(dǎo)維修功能可以據(jù)此調(diào)取正確的全息指導(dǎo)信息，顯示在佩戴Hololens 2的操作者視野中，達(dá)到指導(dǎo)維修的目的。

5 MR誘導(dǎo)維修功能的實現(xiàn)

MR誘導(dǎo)維修功能的實現(xiàn)主要依靠誘導(dǎo)信息生成、數(shù)據(jù)管理、人機(jī)交互以及消息通訊4個模塊，其為保障人員提供直觀的全息指導(dǎo)信息。

5.1 誘導(dǎo)信息生成模塊

當(dāng)故障推理模塊輸出故障原因后，誘導(dǎo)信息生成模塊需要匹配對應(yīng)的誘導(dǎo)信息指導(dǎo)保障人員進(jìn)行相關(guān)操作，并將誘導(dǎo)信息穩(wěn)定地疊加顯示在機(jī)電裝備對應(yīng)的位置上。為了實現(xiàn)以上功能，本文首先將Inventor建立的模型以O(shè)BJ格式導(dǎo)出，再導(dǎo)入3D MAX進(jìn)行部件坐標(biāo)軸中心調(diào)整、減少面片，最后導(dǎo)出FBX格式的模型文件，該格式能夠直接導(dǎo)入Unity中。采用基于Vuforia的跟蹤注冊技術(shù)使虛擬信息能夠準(zhǔn)確地在空間定位；使用Unity 3D引擎開發(fā)制作了誘導(dǎo)信息的編輯器，并進(jìn)行維修腳本編輯，最后將其導(dǎo)入主程序場景中，與其他場景元素一起渲染[11-12]。

(1) Vuforia的跟蹤注冊技術(shù)。該技術(shù)在系統(tǒng)軟件中的實施步驟為：①將需要識別的圖片上傳到Vuforia網(wǎng)站上的Target Manager中，并將圖像轉(zhuǎn)換為可以識別的標(biāo)識，接著導(dǎo)出標(biāo)識數(shù)據(jù)包；②在unity項目中導(dǎo)入數(shù)據(jù)包，將原場景中的攝像機(jī)刪除，添加ARCamera，將密鑰復(fù)制在Unity中的AR Camera的Vuforia Behaviour組件中；③在場景中添加ImageTaraget組件，在組件中選擇圖像標(biāo)識，并添加要顯示的虛擬物體，調(diào)整其與標(biāo)志圖像到正確的位置。開發(fā)完畢，將其部署應(yīng)用在Hololens2中，當(dāng)攝像頭掃描到標(biāo)識圖像后，將會顯示預(yù)先設(shè)置的虛擬信息[12]。軟件虛擬場景及真實場景顯示效果如圖7所示。

圖7 跟蹤注冊效果圖((a)虛擬場景顯示效果；(b)真實場景顯示效果)

(2) 指導(dǎo)操作。為了指導(dǎo)保障人員按照正確的步驟進(jìn)行操作，系統(tǒng)要告知每一步需要什么工具、如何操作、注意事項等內(nèi)容。本文在MR中使用圖片與動畫相結(jié)合的方式提供上述信息，將維修步驟的具體內(nèi)容稱為維修腳本。大多腳本的編輯過程基本相同，為了減少后續(xù)編輯工作量并提高效率，本文使用Unity開發(fā)了機(jī)電裝備維修腳本編輯器，編輯器界面如圖8所示。

圖8 維修腳本編輯器界面

(3) 渲染。在制作完誘導(dǎo)維修動畫后，需要在誘導(dǎo)維修主程序中對MR場景進(jìn)行渲染，主要包含場景光照和模型材質(zhì)的設(shè)置。主程序場景如圖9所示。

5.2 數(shù)據(jù)管理模塊

本文將使用的信息資源分為裝備數(shù)據(jù)管理與用戶資料數(shù)據(jù)管理2部分。裝備數(shù)據(jù)包括三維模型、維修科目、維修動畫等信息；用戶數(shù)據(jù)包括用戶類型、用戶賬號與密碼、用戶過程記錄等信息。各數(shù)據(jù)按照設(shè)計的格式以表的形式存儲在Mysql數(shù)據(jù)庫中[13]。

圖9誘導(dǎo)維修主程序場景

5.3 人機(jī)交互模塊

在MR系統(tǒng)中，人機(jī)交互模塊使用戶能夠流暢地與系統(tǒng)進(jìn)行溝通，提高系統(tǒng)的易用性。本文利用的人機(jī)交互技術(shù)主要有用戶圖形界面技術(shù)、語音交互以及手勢交互技術(shù)。

本文使用Unity的UGUI組件進(jìn)行用戶界面的設(shè)計和布局。系統(tǒng)采用Canvas組件作為界面基礎(chǔ)，Image組件作為界面背景；Text組件用于顯示固定的文字；使用Button組件定義各功能按鍵，并添加C#腳本組件，與手勢交互配合，在用戶點(diǎn)擊時實現(xiàn)對應(yīng)的功能；使用InputField組件顯示其他程序輸入的信息

5.4 消息通訊模塊

本文采用Unity Unet消息通信框架，該框架的獨(dú)特優(yōu)勢在于無需單獨(dú)開發(fā)通訊客戶端與服務(wù)器，便可容納多個客戶端。若系統(tǒng)中不設(shè)置專用的通訊服務(wù)器，則最先被開啟的客戶端將自動承擔(dān)服務(wù)器的任務(wù)。此時將該客戶端稱為Host，其即包括客戶端進(jìn)程也包含服務(wù)器進(jìn)程，可將客戶端稱為LocalClient，服務(wù)器稱為Sever，兩者共享場景，LocalClient可以直接使用函數(shù)調(diào)用或消息隊列與本地服務(wù)器Sever通信。其余外部客戶端可稱為RemoteClient，其通過有線網(wǎng)或局域網(wǎng)與Host通信。利用該特性可直接在同一臺計算機(jī)上測試系統(tǒng)軟件的客戶端與服務(wù)器的連接[14]。

6 系統(tǒng)驗證實驗

為了驗證開發(fā)的機(jī)電裝備維修輔助系統(tǒng)的功能與性能，本文設(shè)計了系統(tǒng)功能與系統(tǒng)性能驗證實驗，結(jié)合實驗臺對系統(tǒng)進(jìn)行了應(yīng)用驗證。

實驗臺前面板安裝的元器件主要有：指針式電壓表與電流表、四位數(shù)字式儀表、旋鈕、乒乓開關(guān)、觸摸屏等；實驗臺的內(nèi)部安裝的元器件主要有：電源模塊、PLC(可編程邏輯控制器)、信號發(fā)生器等。為了實現(xiàn)多種不同的實驗，采用PLC與觸摸屏互連，通過編寫不同的程序?qū)崿F(xiàn)不同的要求。實驗臺前面板的右側(cè)按鍵預(yù)設(shè)了不同的故障現(xiàn)象，在實驗過程中通過按鍵可以快速切換實驗項目。實驗臺前面板與內(nèi)部結(jié)構(gòu)如圖10所示。

圖10 實驗臺實物圖((a)前面板；(b)內(nèi)部結(jié)構(gòu))

功能驗證實驗的任務(wù)是驗證系統(tǒng)設(shè)計的功能，主要包含檢查、調(diào)試、維護(hù)、修理4個方面的任務(wù)，其中在實際操作中調(diào)試與維護(hù)的流程基本相同，本實驗將二者歸為一類。

本實驗的設(shè)備主要有Hololens 2、圖形工作站及實驗臺，實驗場地為光照充足的實驗室，實驗場景如圖11所示。

圖11 實驗場景圖

檢查任務(wù)步驟：①使用實驗臺模擬機(jī)電裝備狀態(tài)，實驗人員先開啟圖像工作站上的服務(wù)器，然后佩戴Hololens 2設(shè)備開啟系統(tǒng)客戶端，服務(wù)器與客戶端自動建立連接；②實驗人員站在面板前使用手勢或語音交互觸發(fā)“狀態(tài)識別”按鈕，客戶端拍攝機(jī)電裝備狀態(tài)圖片發(fā)送到服務(wù)器中；③服務(wù)器返回狀態(tài)指示識別結(jié)果與故障原因到客戶端中進(jìn)行顯示。調(diào)試任務(wù)與修理任務(wù)的前3步與檢查任務(wù)相同，本文實驗設(shè)計的調(diào)試任務(wù)是調(diào)節(jié)檢查任務(wù)中識別的故障。

本文實驗設(shè)計的修理任務(wù)是更換損壞的電源模塊，當(dāng)檢查出故障后客戶端自動調(diào)取對應(yīng)的誘導(dǎo)信息開始指導(dǎo)實驗人員進(jìn)行操作。實驗人員通過手勢或語音交互觸發(fā)“上一步”與“下一步”按鈕控制進(jìn)程，操作人員在客戶端進(jìn)行步驟切換或觸發(fā)“取證”按鈕時，分別截取圖片與視頻存儲在服務(wù)器數(shù)據(jù)庫中，任務(wù)步驟如圖12所示。

圖12 維修任務(wù)截圖((a)狀態(tài)識別；(b)拆卸壓線螺絲；(c)拆卸固定螺絲；(d)更換電源模塊；(e)安裝固定螺絲；(f)安裝壓線螺絲)

通過實驗可以看出，本文系統(tǒng)可很好地滿足檢查任務(wù)、調(diào)試任務(wù)、修理任務(wù)要求，系統(tǒng)的主要功能得到了驗證。

7 系統(tǒng)測試與評價

本文從客觀和主觀2個方向出發(fā)，通過操作耗時統(tǒng)計以及問卷調(diào)查的方式對系統(tǒng)進(jìn)行了測試與評價。本文選擇年齡18～22歲、身體各項指標(biāo)正常的本校50名男性本科生為測試對象，為了避免不確定因素帶來的影響，將其分為A，B，C，D和E 5組，每組人數(shù)10人。測試前向每人發(fā)放實驗臺說明書，并向其講解系統(tǒng)的操作方法，待全部對象理解檢查任務(wù)、調(diào)試任務(wù)、維修任務(wù)以及操作方法后開始進(jìn)行測試。圖13為統(tǒng)計測試對象在不使用本文系統(tǒng)與使用本文系統(tǒng)完成3個任務(wù)的平均耗時。

圖13 任務(wù)評價耗時統(tǒng)計圖((a)檢查任務(wù)耗時對比；(b)調(diào)試任務(wù)耗時對；(c)維修任務(wù)操作耗時對比)

8 小 結(jié)

隨著國防科技的迅速發(fā)展，機(jī)電裝備的技術(shù)復(fù)雜度越來越高，對應(yīng)的裝備保障工作也越來越難，對保障人員的要求也越來越高[15]。保障人員在高強(qiáng)度、高壓力的工作中無法避免地出現(xiàn)故障診斷與維修操作的失誤，這將為裝備的長期穩(wěn)定運(yùn)行埋下隱患[16]。對此，本文以提高裝備保障工作的智能化水平為出發(fā)點(diǎn)，將狀態(tài)指示識別、混合現(xiàn)實等新技術(shù)引入維修輔助工作中，開發(fā)了基于MR的機(jī)電裝備智能維修輔助系統(tǒng)，為裝備保障工作提出了新的發(fā)展路線。

[1] ULLO S L, PIEDIMONTE P, LECCESE F, et al. A step toward the standardization of maintenance and training services in C4I military systems with Mixed Reality application[J]. Measurement, 2019, 138: 149-156.

[2] 蘇群星, 劉鵬遠(yuǎn). 大型復(fù)雜裝備虛擬維修訓(xùn)練系統(tǒng)設(shè)計[J]. 兵工學(xué)報, 2006, 27(1): 79-83.

SU Q X, LIU P Y. Study of the virtual maintenance training system for large complex equipment[J]. Acta Armamentarii, 2006, 27(1): 79-83 (in Chinese).

[3] 張王衛(wèi), 蘇群星, 劉鵬遠(yuǎn), 等. 面向裝備維修的虛擬拆卸系統(tǒng)關(guān)鍵技術(shù)研究[J]. 系統(tǒng)仿真學(xué)報, 2013, 25(12): 2879-2885.

ZHANG W W, SU Q X, LIU P Y, et al. Research on key technologies in virtual disassembly system for equipment maintenance[J]. Journal of System Simulation, 2013, 25(12): 2879-2885 (in Chinese).

[4] 崔波, 王崴, 瞿玨, 等. 基于增強(qiáng)現(xiàn)實的裝備誘導(dǎo)維修系統(tǒng)設(shè)計與實現(xiàn)[J]. 火力與指揮控制, 2016, 41(11): 176-181.

CUI B, WANG W, QU J, et al. Design and implementation of equipment maintenance guiding system based on augmented reality[J]. Fire Control & Command Control, 2016, 41(11): 176-181 (in Chinese)

[5] 羅又文, 王崴, 瞿玨. 基于Faster R-CNN的誘導(dǎo)維修自動交互設(shè)計[J]. 計算機(jī)工程與應(yīng)用, 2019, 55(12): 181-187.

LUO Y W, WANG W, QU J. Automatic induced maintenance process interaction design based on faster R-CNN[J]. Computer Engineering and Applications, 2019, 55(12): 181-187 (in Chinese).

[6] 王慧玲, 綦小龍, 武港山. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測技術(shù)的研究進(jìn)展[J]. 計算機(jī)科學(xué), 2018, 45(9): 11-19.

WANG H L, QI X L, WU G S. Research progress of object detection technology based on convolutional neural network in deep learning[J]. Computer Science, 2018, 45(9): 11-19 (in Chinese).

[7] 楊絲琪, 陳維, 張晴晴, 等. 基于規(guī)則推理的輸電網(wǎng)絡(luò)故障診斷方法[J]. 電子科技, 2019, 32(3): 42-46.

YANG S Q, CHEN W, ZHANG Q Q, et al. Fault diagnosis method of transmission network based on rule reasoning[J]. Electronic Science and Technology, 2019, 32(3): 42-46 (in Chinese).

[8] 吳帥, 徐勇, 趙東寧. 基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測綜述[J]. 模式識別與人工智能, 2018, 31(4): 335-346.

WU S, XU Y, ZHAO D N. Survey of object detection based on deep convolutional network[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(4): 335-346 (in Chinese).

[9] 王浩. 基于規(guī)則的故障診斷專家系統(tǒng)[J]. 計算機(jī)與現(xiàn)代化, 2010(10): 1-3, 7.

WANG H. Rule-based troubleshooting expert system[J].Computer and Modernization, 2010(10): 1-3,7(in Chinese).

[10] WEBEL S, BOCKHOLT U, ENGELKE T, et al. An augmented reality training platform for assembly and maintenance skills[J]. Robotics and Autonomous Systems, 2013, 61(4): 398-403.

[11] ESCHEN H, K?TTER T, RODECK R, et al. Augmented and virtual reality for inspection and maintenance processes in the aviation industry[J]. Procedia Manufacturing, 2018, 19: 156-163.

[12] 李曉紅, 徐可. 國外軍工制造領(lǐng)域增強(qiáng)現(xiàn)實技術(shù)應(yīng)用現(xiàn)狀分析[J]. 國防制造技術(shù), 2019(3): 6-11.

LI X H, XU K. Analysis of the current situation of augmented reality technology application in the foreign military manufacturing field[J]. Defense Manufacturing Technology, 2019(3): 6-11 (in Chinese).

[13] XUE H, SHARMA P, WILD F. User satisfaction in augmented reality-based training using microsoft HoloLens[J]. Computers, 2019, 8(1):9.

[14] DODEVSKA Z A, MIHIC M, MANASIJEVI S. The role of augmented reality in defensive activities[EB/OL]. [2021-04-25]. https://www.researchgate.net/publication/328580806_The_Role_of_Augmented_Reality_in_Defensive_Activities.

[15] 黃進(jìn), 韓冬奇, 陳毅能, 等. 混合現(xiàn)實中的人機(jī)交互綜述[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2016, 28(6): 869-880.

HUANG J, HAN D Q, CHEN Y N, et al. A survey on human-computer interaction in mixed reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 869-880 (in Chinese).

[16] PING J M, WENG D D, LIU Y, et al. Depth perception in shuffleboard: Depth cues effect on depth perception in virtual and augmented reality system[J]. Journal of the Society for Information Display, 2020, 28(2): 164-176.

Intelligent inspection and maintenance of mechanical and electrical equipment based on MR

WANG Wei, HONG Xue-feng, LEI Song-gui

(Air Force Engineering University, Xi’an Shaanxi 710038, China)

This paperexamined the basic structure and training method of Faster R-CNN (convolutional neural networks) target detection network. The state data set of mechanical and electrical equipment was established, and the target detection network was trained. In a single step, the region of pointer instrument could be extracted, and the reading of digital instrument and the state of switch and plug could be recognized. The target detection network was tested under different viewing angles and illumination intensities. The results show that the model can maintain the accuracy of more than 90% in different environments. Finally, based on the reasoning results, the intelligent maintenance assistant system for mechanical and electrical equipment developed based on Unity 3D software and HoloLens 2 hardware was applied to the retrieval of the mixed reality (MR) holographic induction maintenance information, thus guiding the operation of the support personnel. In order to verify the availability of the system, the experimental verification process was added, and the experimental results show that the experimenter could complete the maintenance task quickly and efficiently using MR. In addition, test and evaluation were conducted based on the operation time and questionnaire survey, and qualitative analysis was carried out regarding the advantages of the system.

mixed reality; faster R-CNN; intelligent fault diagnosis; maintenance assistance; experimental verification

15 June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010141

A

2095-302X(2022)01-0141-08

2021-06-15；

2021-09-10

10 September，2021

國家自然科學(xué)基金項目(51675530)

National Natural Science Foundation of China (51675530)

王 崴(1974–)，男，教授，博士。主要研究方向為人機(jī)工程、誘導(dǎo)維修等。E-mail：164423432@qq.com

WANG Wei (1974–), professor, Ph.D. His main research interests cover ergonomics, induction maintenance, etc. E-mail：164423432@qq.com