基于深度學(xué)習(xí)的航空發(fā)動機(jī)安裝位置識別

陳科山，宋鵬亮，薛 旭，郝 宇

(北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院，北京 100044)

發(fā)動機(jī)是飛機(jī)整機(jī)中的核心部分，為保證飛行安全，對航空發(fā)動機(jī)的定期保養(yǎng)和維修要求十分嚴(yán)格.發(fā)動機(jī)具有體積大、重量大等特點(diǎn)，且在發(fā)動機(jī)安裝倉內(nèi)布滿油管和線路，這給保養(yǎng)和維修后的發(fā)動機(jī)安裝工作帶來極大的困難.目前，大部分民航飛機(jī)采用的是翼吊發(fā)動機(jī)的安裝方式，即借助吊掛裝置，將發(fā)動機(jī)裝配到兩側(cè)機(jī)翼下方[1].在國內(nèi)這種安裝工作仍普遍采用手工定位或半自動的安裝方式，手工作業(yè)方法存在自動化程度低、調(diào)姿精度低、安裝效率低等問題，且安裝質(zhì)量受安裝人員的主觀因素的影響較大[2].此外，發(fā)動機(jī)的安裝位置還會隨著安裝過程中機(jī)翼的變形而發(fā)生變化，這使發(fā)動機(jī)安裝位置的定位更加復(fù)雜.鑒于此，有必要對航空發(fā)動機(jī)的自動化安裝方法進(jìn)行研究.

發(fā)展航空發(fā)動機(jī)自動化安裝技術(shù)，首要解決的就是在安裝過程中的安裝工位的檢測技術(shù).為此，國內(nèi)外學(xué)者進(jìn)行了廣泛的研究.文獻(xiàn)[3]利用激光測量技術(shù)，進(jìn)行了飛機(jī)發(fā)動機(jī)數(shù)字化安裝工藝的研究，將傳統(tǒng)的發(fā)動機(jī)人工安裝模式上升到數(shù)字化安裝模式的研究層面，但是該方法不能對安裝位置進(jìn)行識別；文獻(xiàn)[4]基于視覺監(jiān)測的方法研制了一臺具有調(diào)姿安裝功能的發(fā)動機(jī)運(yùn)輸車，可以實(shí)現(xiàn)發(fā)動機(jī)運(yùn)輸車工作姿態(tài)的調(diào)整，但是沒有涉及發(fā)動機(jī)吊裝過程中安裝位置的定位.文獻(xiàn)[5]提出了利用自動軌道的方法完成飛機(jī)發(fā)動機(jī)的對接，這種有軌道的安裝方法對施工現(xiàn)場有特殊要求，不具有普適性.隨著計(jì)算機(jī)科學(xué)與人工智能的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測算法在目標(biāo)識別與定位領(lǐng)域具有較好的應(yīng)用效果，主流的深度學(xué)習(xí)目標(biāo)檢測算法框架可根據(jù)檢測思路的不同分為兩大類[6]：第1類是基于候選窗口的目標(biāo)檢測框架，做法是在預(yù)測階段首先選出目標(biāo)概率較大的區(qū)域，之后對所選區(qū)域進(jìn)行預(yù)測.這類框架檢測的精度比較高，但檢測速度比較慢，如RCNN(Rich feature hierarchies for accurate object detection and semantic，用于精確物體定位和語義分割的豐富特征層次結(jié)構(gòu))，F(xiàn)astRCNN等[7-9]；第2類是基于回歸的目標(biāo)檢測框架，如 YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)，該類方法將檢測問題看成回歸問題，將分類和預(yù)測一步完成.這類框架檢測速度比較快，但在識別精度方面一般弱于第1類目標(biāo)檢測框架[10-11].

綜上，目前在航空發(fā)動機(jī)自動化安裝領(lǐng)域，對發(fā)動機(jī)的安裝工位的識別與定位沒有著重研究.針對以上問題，本文作者提出基于深度學(xué)習(xí)的目標(biāo)檢測算法，以某型號客機(jī)為研究對象，研究發(fā)動機(jī)安裝位置的識別方法.

1 航空發(fā)動機(jī)安裝位置識別方案

發(fā)動機(jī)翼吊式安裝是民航飛機(jī)發(fā)動機(jī)常用的安裝方案，機(jī)翼下前后安裝位置上的4個(gè)螺栓將發(fā)動機(jī)固定如圖1(a)，1(b)所示.前安裝位置近似為上底170 mm、下底240 mm、高240 mm的等腰梯形，后安裝位置近似為153 mm×536 mm的矩形，如圖1(c)，1(d)所示.發(fā)動機(jī)自動化安裝過程要求對前后兩個(gè)安裝位置進(jìn)行識別，以滿足發(fā)動機(jī)與機(jī)翼安裝時(shí)的對接要求.

發(fā)動機(jī)安裝主要有兩種方法[12]：1)采用具有升降功能的吊車將發(fā)動機(jī)直接運(yùn)送至安裝位置，再使用螺栓將發(fā)動機(jī)固定；2)采用具有升降和平移功能的運(yùn)輸車將發(fā)動機(jī)推送到安裝艙內(nèi)，使發(fā)動機(jī)與機(jī)翼下方的安裝點(diǎn)完成對接.兩種方法都需要將發(fā)動機(jī)運(yùn)送到機(jī)翼下的安裝位置處，之后通常需要安裝人員依靠以往的工作經(jīng)驗(yàn)，以目測的方式將發(fā)動機(jī)與安裝點(diǎn)相對應(yīng)的位置進(jìn)行對準(zhǔn)，這是發(fā)動機(jī)安裝流程中最難以掌控的環(huán)節(jié).本文應(yīng)用深度學(xué)習(xí)中的目標(biāo)檢測算法對發(fā)動機(jī)前、后兩個(gè)安裝位置進(jìn)行識別定位，從而引導(dǎo)發(fā)動機(jī)的安裝.

安裝識別方案的硬件系統(tǒng)主要包括發(fā)動機(jī)運(yùn)輸車、視覺采集系統(tǒng)及控制系統(tǒng)等，圖像采集系統(tǒng)布置在運(yùn)輸車上.識別方案流程如圖2所示.首先將待安裝的發(fā)動機(jī)吊裝至運(yùn)輸車上，在運(yùn)輸車前進(jìn)的過程中通過車載視覺系統(tǒng)進(jìn)行圖像采集并保存到計(jì)算機(jī)中；然后由使用訓(xùn)練完成的目標(biāo)檢測器對采集到的圖像進(jìn)行前后安裝位置的識別；根據(jù)識別結(jié)果判斷發(fā)動機(jī)的位置是否滿足安裝要求，如果不能滿足安裝要求，則通過運(yùn)輸車?yán)^續(xù)調(diào)整，直到發(fā)動機(jī)到達(dá)準(zhǔn)確的安裝位置.

2 YOLO目標(biāo)識別檢測算法

YOLO系列算法的核心思想是將整張圖像作為輸入，對圖像進(jìn)行網(wǎng)格劃分，只進(jìn)行一次前向運(yùn)算直接在輸出層回歸出邊界框的位置、類別及置信度，這樣可以極大地提高算法效率.鑒于YOLO網(wǎng)絡(luò)的實(shí)時(shí)性和簡潔性，本文以YOLOv3算法為基礎(chǔ)，實(shí)現(xiàn)對航空發(fā)動機(jī)前后安裝工位的識別.

2.1 基于深度殘差網(wǎng)絡(luò)的特征提取

相對于YOLOv1、YOLOv2， YOLOv3的主干網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整非常大，主要體現(xiàn)在網(wǎng)絡(luò)的深度上及殘差結(jié)構(gòu)的引入.YOLOv3的主干網(wǎng)絡(luò)是由一個(gè)53層卷積構(gòu)成的Darknet-53卷積網(wǎng)絡(luò)，如圖3所示.為保證YOLOv1，YOLOv2快速檢測的特性，提高識別的正確率和對小目標(biāo)的識別精度，YOLOv3在Darknet-19的基礎(chǔ)上加深網(wǎng)絡(luò)的層數(shù).

為了避免深層網(wǎng)絡(luò)造成的網(wǎng)絡(luò)訓(xùn)練過程中的梯度消失的現(xiàn)象，YOLOv3借鑒ResNet殘差神經(jīng)網(wǎng)絡(luò)的思想[13]，將深度殘差網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)用到網(wǎng)絡(luò)的構(gòu)建當(dāng)中，殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.殘差網(wǎng)絡(luò)由一系列的殘差塊組成，每個(gè)殘差塊包含兩個(gè)分支：恒等映射和殘差分支，用公式可表示為

H(x)=F(x)+x

(1)

殘差塊將輸入x和經(jīng)過兩次卷積后輸出的F(x)進(jìn)行張量求和，這樣不僅增加了網(wǎng)絡(luò)中信息的流動性，且沒有增加網(wǎng)絡(luò)的復(fù)雜度，有助于加快網(wǎng)絡(luò)的訓(xùn)練進(jìn)程.

2.2 多尺度特征融合

YOLOv3借鑒了SSD算法的特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)的思路，從3個(gè)不同的尺度上提取特征，如圖5所示.3個(gè)尺度的特征圖大小分別是y1(13×13)、y2(26×26)、y3(56×56)，分別由輸入圖像經(jīng)過5、4、3次下采樣得到.將輸入圖像劃分為S×S個(gè)網(wǎng)格，每種尺度上的候選框數(shù)量為A，預(yù)測的類別是C，則最終每個(gè)特征尺度上預(yù)測得到的結(jié)果是一個(gè)S×S×A×(4+1+C)維度的張量.

不同于SSD算法，YOLOv3沒有將主干網(wǎng)絡(luò)的中間特征圖直接作為輸出，而是將下一層的網(wǎng)絡(luò)特征圖進(jìn)行上采樣后與上一層特征圖拼接.將3種尺度的特征圖進(jìn)行融合，豐富了網(wǎng)絡(luò)結(jié)構(gòu)，這也是YOLOv3檢測效果要優(yōu)于SSD算法的原因之一.

3 算法改進(jìn)與模型訓(xùn)練

YOLOv3利用深度殘差網(wǎng)絡(luò)提取圖像特征，并利用多尺度融合進(jìn)行檢測，可以較好實(shí)現(xiàn)目標(biāo)檢測任務(wù)中的目標(biāo)分類任務(wù).本文中的研究對象包含了大量顏色、形狀等相近的背景噪聲，直接使用原始算法效果比較差，如圖6所示.從改進(jìn)前安裝位置檢測效果中可以看出傳統(tǒng)的YOLOv3算法可以檢測出目標(biāo)并做出正確分類，但是檢測出的目標(biāo)邊界框出現(xiàn)了偏移或過大情況，這種情況不利于發(fā)動機(jī)的自動化安裝.

由于YOLOv3借鑒了FasterR-CNN候選框(Anchor Box)的思想，從數(shù)據(jù)集中聚類出候選框.在訓(xùn)練的過程中，隨著網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)不斷深入，對真實(shí)邊框相對于初始預(yù)測的邊框偏差進(jìn)行修正，最終預(yù)測出最優(yōu)的邊界框位置.因此，本文采用優(yōu)化候選框的方法，提高算法檢測的位置精度.

3.1 算法改進(jìn)

原始YOLOv3算法的候選框參數(shù)是在公共的COCO數(shù)據(jù)集獲得的，不能直接應(yīng)用到本文的數(shù)據(jù)集中.采用K-means聚類算法，在本文構(gòu)建的數(shù)據(jù)集中重新聚類出候選框.標(biāo)準(zhǔn)的K-means算法使用歐氏距離(Euclidean Distance)作為度量，使用這種方式聚類候選框會導(dǎo)致較大邊框比較小邊框產(chǎn)生更多的誤差.在本文中，最優(yōu)的候選框是能夠得到最優(yōu)的候選框與真實(shí)框的面積的交并比(Intersection over Union,IOU),如圖7所示,候選框與數(shù)據(jù)集中標(biāo)定的真實(shí)邊界框重疊度越大越好.

為了避免候選框尺寸帶來的誤差，采用IOU代替?zhèn)鹘y(tǒng)的歐氏距離作為K-means算法當(dāng)中的目標(biāo)變量，d(box,centroid)=1-IOU(box,centroid).如圖8所示，使用不同數(shù)量的候選框觀察平均IOU的變化趨勢.可見，隨著候選框數(shù)量的增加，平均IOU增加.但候選框數(shù)量達(dá)到一定值時(shí)，平均IOU變化不明顯.過多的候選框數(shù)量，會因計(jì)算量的增加導(dǎo)致模型的檢測速度變慢，最終本文選取12組候選框.

對于不同尺度的特征圖，特征圖越大，對包含的輸入圖像的視覺感受區(qū)域就越小，對于小目標(biāo)的檢測就越敏感，所以應(yīng)選用小的候選框；相反，小的特征圖應(yīng)當(dāng)匹配大的候選框.12組候選框在3個(gè)尺度的特征圖上的分配情況見表1.

表1 不同特征圖對應(yīng)的候選框

3.2 模型訓(xùn)練

本文的數(shù)據(jù)集使用的數(shù)據(jù)來源于北京某飛機(jī)維修基地，其中包含了不同背景、不同位置關(guān)系、分辨率、不同距離的素材.為豐富數(shù)據(jù)集，采用光照變化、平移、旋轉(zhuǎn)剪切等操作，盡量使圖片的場景具有多樣性和代表性.共計(jì)1萬張，將訓(xùn)練集、測試集和驗(yàn)證集按照8∶1∶1的比例進(jìn)行分組，最終構(gòu)成本文的數(shù)據(jù)集.

使用Keras作為YOLOv3算法實(shí)現(xiàn)的基礎(chǔ)框架，以Tensorflow作為后端. 實(shí)驗(yàn)所用主要計(jì)算機(jī)配置GPU： NVIDIA GeForce GTX1050Ti、CPU：Intel i5-8400、操作系統(tǒng)：Ubuntu18.04.在模型訓(xùn)練時(shí)，分別使用9組和12組候選框單獨(dú)進(jìn)行訓(xùn)練.整個(gè)訓(xùn)練過程共進(jìn)行了200次迭代，學(xué)習(xí)率參數(shù)設(shè)置為0.000 01.輸入圖片分辨率為416×416，批次大小為2.

4 實(shí)驗(yàn)結(jié)果與分析

建立的數(shù)據(jù)集中有10 000張含有航空發(fā)動機(jī)前后安裝位置的圖片，其中有1 000張用來進(jìn)行模型的測試，選用的評價(jià)指標(biāo)分別是平均精度均值和平均交并比.試驗(yàn)對比結(jié)果如下：

1)模型收斂效果更好.從圖9可以看出，在進(jìn)行模型訓(xùn)練的過程中，隨著迭代次數(shù)的增加，改進(jìn)后的模型的收斂速度快于原始的模型.因?yàn)檎鎸?shí)邊界框是相對于候選框進(jìn)行修正得到的，最終通過預(yù)測出偏移量從而確定真實(shí)框的位置，所以優(yōu)化后的候選框參數(shù)可以加快模型的訓(xùn)練，收斂速度更快.

2)檢測精度更高.模型對目標(biāo)識別的效果由平均精度均值(mAP)表示，mAP是由所有類(Nc)的平均精度(APC)的平均值得到

(2)

通過實(shí)驗(yàn)可得，前安裝位置的平均精度由91%提高到93%，后安裝位置的平均精度由57%提高到68%，所以優(yōu)化參數(shù)后的模型的mAP從73.71%提高到80.48%.

3)模型對邊界框的位置檢測更準(zhǔn)確.改進(jìn)后的模型對前后安裝工位的位置檢測更加準(zhǔn)確，如圖11所示.對比圖10(a),10(b)和圖10(c),10(d)，同一檢測環(huán)境條件下，改進(jìn)后的模型對前安裝位置檢測的更加準(zhǔn)確，目標(biāo)檢測框更能準(zhǔn)確的將檢測目標(biāo)包圍，且置信度也分別從0.62、0.69提升到0.85、0.93.從圖110(e),10(f)和圖10(g),11(h)的對比中可以看出改進(jìn)后的模型對后安裝位置同樣檢測的更加準(zhǔn)確，且置信度也分別從0.71、0.66提升到0.96、0.88.

平均交并比可以表現(xiàn)算法對位置精度的檢測能力.對測試集上的1 000張圖片，原始算法與改進(jìn)算法的平均交并比結(jié)果分別為75.23%和83.75%.平均交并比位置越大，說明檢測的結(jié)果越接近真實(shí)的邊界框位置.優(yōu)化參數(shù)后的模型檢測結(jié)果的平均交并比提高了8.52%，說明優(yōu)化后的模型對邊界框的位置預(yù)測更準(zhǔn)確.

此外，還使用了傳統(tǒng)的圖像處理的方法，提取通過形態(tài)學(xué)操作形成的連通區(qū)域，實(shí)現(xiàn)對安裝工位的分割.3種不同算法對比見表2.可見，基于深度學(xué)習(xí)的方法在識別準(zhǔn)確率上遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的圖像處理方法.

表2 算法的準(zhǔn)確率和定位速度

5 結(jié)論

首先分析了現(xiàn)有的航空發(fā)動機(jī)安裝方法，在此基礎(chǔ)上提出了基于深度學(xué)習(xí)的航空發(fā)動機(jī)安裝位置識別方法，將深度學(xué)習(xí)應(yīng)用于航空發(fā)動機(jī)安裝位置的識別過程中.通過對原始YOLOv3算法進(jìn)行改進(jìn)，實(shí)現(xiàn)了：

1)基于深度學(xué)習(xí)，通過構(gòu)建數(shù)據(jù)集，實(shí)現(xiàn)了航空發(fā)動機(jī)安裝過程中安裝位置的識別.

2)對數(shù)據(jù)集中標(biāo)記的目標(biāo)候選框重新進(jìn)行聚類，選取12組候選框應(yīng)用到算法中，加快了網(wǎng)絡(luò)的收斂速度，且Loss曲線收斂效果優(yōu)于原始算法.

3)提高了對前后兩個(gè)安裝位置的識別精度，使mAP由73.71%提高到80.48%，并提高了目標(biāo)預(yù)測的位置精度，平均交并比由75.23%提升到83.75%，可滿足發(fā)動機(jī)自動化安裝過程中的安裝要求.