基于深度學(xué)習(xí)的飛機(jī)蒙皮缺陷檢測(cè)研究*

潘 甜，張司穎，葉楊飛

(江蘇航空職業(yè)技術(shù)學(xué)院，江蘇 鎮(zhèn)江 212134)

0 引言

隨著目標(biāo)檢測(cè)技術(shù)的發(fā)展，目標(biāo)檢測(cè)算法也在更新?lián)Q代。常見(jiàn)的目標(biāo)檢測(cè)算法有SPP-Net、Faster R-CNN和YOLO，吳越等[1]利用基于Faster R-CNN的深度學(xué)習(xí)方法對(duì)鋼材表面進(jìn)行缺陷識(shí)別檢測(cè)，通過(guò)改進(jìn)Faster R-CNN中的RPN網(wǎng)絡(luò)，優(yōu)化了參數(shù)模型，提高了檢測(cè)的準(zhǔn)確性。針對(duì)子彈表面缺陷檢測(cè)效率低下的問(wèn)題，韓強(qiáng)等[2]將優(yōu)化后的CNN模型與Faster R-CNN進(jìn)行結(jié)合，使得缺陷檢測(cè)的識(shí)別率達(dá)到了92%以上。深度學(xué)習(xí)通過(guò)多層網(wǎng)絡(luò)模型訓(xùn)練標(biāo)注好的樣本數(shù)據(jù)集，能夠準(zhǔn)確識(shí)別缺陷圖像的類(lèi)型，在圖像處理領(lǐng)域得到越來(lái)越廣泛的應(yīng)用[3]。

國(guó)內(nèi)外學(xué)者利用深度學(xué)習(xí)及其各種算法對(duì)工業(yè)生產(chǎn)中的缺陷圖像進(jìn)行了深入的研究，然而，將深度學(xué)習(xí)用于飛機(jī)蒙皮表面缺陷檢測(cè)的研究甚少。為此，本文從深度學(xué)習(xí)的常見(jiàn)算法出發(fā)，以飛機(jī)蒙皮表面裂紋、撞擊和腐蝕缺陷為背景，完成飛機(jī)蒙皮表面常見(jiàn)缺陷圖像的分類(lèi)識(shí)別。

1 基于深度學(xué)習(xí)的飛機(jī)蒙皮缺陷檢測(cè)總體方案設(shè)計(jì)

飛機(jī)蒙皮作為機(jī)體的重要組成部分，不僅需要維持飛機(jī)的外形，還要承受飛行過(guò)程中巨大的空氣阻力，由于長(zhǎng)期飛行和保養(yǎng)不當(dāng)都會(huì)導(dǎo)致蒙皮表面出現(xiàn)如裂紋、撞擊、腐蝕等缺陷[4]，如圖1所示。這些缺陷不僅影響飛機(jī)的美觀，更是造成空難事故的重要因素之一。因此，為了確保飛機(jī)飛行安全，定期對(duì)蒙皮進(jìn)行缺陷檢測(cè)是工作人員的重要任務(wù)之一。

圖1 飛機(jī)蒙皮表面缺陷圖像

美國(guó)聯(lián)邦航天局(FAA)規(guī)定所有用于商業(yè)飛行的飛機(jī)每隔6年或經(jīng)過(guò)12 000次起降或達(dá)到24 000飛行小時(shí)，必須對(duì)飛機(jī)表面進(jìn)行結(jié)構(gòu)損傷檢查，從而發(fā)現(xiàn)蒙皮表面的裂紋和腐蝕損傷。傳統(tǒng)的飛機(jī)蒙皮缺陷檢測(cè)主要由人工憑借經(jīng)驗(yàn)進(jìn)行識(shí)別，存在很大的主觀性。隨著無(wú)損檢測(cè)技術(shù)的誕生，如超聲波及渦流檢測(cè)等檢測(cè)手段，不但具有較高的檢測(cè)精度，且極大地降低了人力成本，逐步取代了人工檢測(cè)，但智能化程度不高?；跈C(jī)器視覺(jué)的無(wú)損檢測(cè)是一種重要的檢測(cè)手段，常見(jiàn)的有無(wú)人機(jī)檢測(cè)裝置和機(jī)器人檢測(cè)，雖將自動(dòng)化與智能化結(jié)合，提高了檢測(cè)精度，但大多數(shù)機(jī)器視覺(jué)檢測(cè)設(shè)備需要融合多種圖像處理算法才能完成檢測(cè)，導(dǎo)致設(shè)備的通用性較低[5]。

近年來(lái)，深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)憑借其強(qiáng)大的數(shù)據(jù)處理能力，解決了傳統(tǒng)機(jī)器視覺(jué)設(shè)備通用性低的問(wèn)題，能夠?qū)斎氲娜毕輬D像進(jìn)行高精度的分類(lèi)檢測(cè)，為飛機(jī)蒙皮的缺陷檢測(cè)提供了新的研究方向[6-9]。

本文提出的基于深度學(xué)習(xí)的蒙皮缺陷檢測(cè)方案如圖2所示。首先通過(guò)工業(yè)CCD像機(jī)拍攝蒙皮表面的缺陷圖像，并進(jìn)行圖像預(yù)處理；然后將基于CNN模型的訓(xùn)練網(wǎng)絡(luò)與基于DCGAN的生成對(duì)抗網(wǎng)絡(luò)進(jìn)行增強(qiáng)訓(xùn)練，對(duì)樣本庫(kù)進(jìn)行擴(kuò)充，并利用基于Faster R-CNN模型的深度學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練；最后輸出分類(lèi)結(jié)果。

圖2 基于深度學(xué)習(xí)的蒙皮缺陷檢測(cè)方案

2 飛機(jī)蒙皮缺陷檢測(cè)方法

2.1 基于DCGAN網(wǎng)絡(luò)的數(shù)據(jù)集增強(qiáng)

在實(shí)際的缺陷檢測(cè)中，由于蒙皮表面圖像采集的樣本量較少，這會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練不準(zhǔn)確，為了彌補(bǔ)數(shù)據(jù)集不足的缺陷，需要利用DCGAN網(wǎng)絡(luò)與目標(biāo)檢測(cè)算法有效融合，從而增強(qiáng)數(shù)據(jù)集。DCGAN是一種基于GAN的生成對(duì)抗網(wǎng)絡(luò)，生成器根據(jù)隨機(jī)變量生成虛擬樣本，判別器能夠判別圖像真?zhèn)?。DCGAN結(jié)構(gòu)原理如圖3所示。

圖3 DCGAN結(jié)構(gòu)原理

通過(guò)事先將隱隨機(jī)變量輸入到生成模型中，同時(shí)將蒙皮圖像的訓(xùn)練樣本和生成的虛擬樣本輸入到判別器中，經(jīng)過(guò)反復(fù)訓(xùn)練使判別器無(wú)法辨別樣本真?zhèn)?。事?shí)表明，通過(guò)此類(lèi)方法生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)相似度極高，從而能夠有效擴(kuò)充蒙皮樣本的數(shù)據(jù)集。

在實(shí)際應(yīng)用中，我們將處理好的蒙皮圖像輸入到生成對(duì)抗網(wǎng)絡(luò)(DCGAN)模型中，設(shè)置學(xué)習(xí)率為0.01、momentum為0.3來(lái)加速訓(xùn)練過(guò)程，經(jīng)過(guò)幾百次的迭代，生成三種缺陷的若干樣本圖像集。通過(guò)生成對(duì)抗網(wǎng)絡(luò)DCGAN能夠初步學(xué)習(xí)到蒙皮表面的缺陷圖像，且與其他圖像處理算法相比具有較高的隨機(jī)性，生成的虛擬樣本集對(duì)基于深度學(xué)習(xí)的蒙皮缺陷檢測(cè)具有重要價(jià)值。

2.2 基于Faster R-CNN的圖像缺陷檢測(cè)分析

Faster R-CNN網(wǎng)格模型主要由特征提取模塊、RPN模塊、ROI Pooling模塊和R-CNN模塊等部分組成，如圖4所示[10]。Faster R-CNN算法首先通過(guò)區(qū)域生成網(wǎng)絡(luò)初步生成候選網(wǎng)絡(luò)，并進(jìn)行初步分類(lèi)和定位，進(jìn)而對(duì)候選區(qū)域池化處理，最后對(duì)池化后的缺陷進(jìn)行再次分類(lèi)和位置回歸處理，通過(guò)對(duì)缺陷的兩次定位和分類(lèi)，提高了檢測(cè)精度。

圖4 Faster R-CNN網(wǎng)絡(luò)模型

本文采用ZFNet作為特征提取網(wǎng)絡(luò)，ZF網(wǎng)絡(luò)通過(guò)降低卷積核和步長(zhǎng)，保留缺陷圖像的基本特征，能獲得較高的準(zhǔn)確率。在ZF網(wǎng)絡(luò)模型中包括13個(gè)卷積層、13個(gè)激活層和4個(gè)池化層，其中，卷積層使用的是3×3的卷積核，3×3指的是能夠捕獲像素信息的最小尺寸，較多的激活層可使卷積網(wǎng)絡(luò)具有更好的學(xué)習(xí)能力；包括5個(gè)卷積模塊，分別可以輸出64、128、256、512和512個(gè)特征圖像。

RPN模塊負(fù)責(zé)對(duì)特征圖進(jìn)行Anchor處理，通過(guò)對(duì)每個(gè)Anchor的類(lèi)別及位置進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)結(jié)果對(duì)缺陷進(jìn)行二次分類(lèi)并再次定位。ROI Pooling作為池化層的一種，主要是針對(duì)RPN模塊后生成的候選框進(jìn)行圖像映射，輸入的是尺寸不固定的特征圖，而輸出的是尺寸固定的特征圖，用戶(hù)根據(jù)輸出維度劃分映射后的區(qū)域，選出每個(gè)區(qū)域的最大值進(jìn)行池化處理，從而輸出固定大小的特征圖像。R-CNN模塊負(fù)責(zé)把ROI Pooling模塊得到的部分特征圖像映射到整張?zhí)卣鲌D上，通過(guò)將特征圖像輸出到R-CNN結(jié)構(gòu)的全連接網(wǎng)絡(luò)中，可以再次精確判別缺陷的類(lèi)型和位置。

在基于Faster R-CNN的蒙皮圖像缺陷檢測(cè)中，RPN和R-CNN模塊分別會(huì)產(chǎn)生損失，損失率反映了該方法進(jìn)行缺陷識(shí)別的準(zhǔn)確程度。其損失函數(shù)為：

3 仿真實(shí)驗(yàn)及結(jié)果分析

仿真實(shí)驗(yàn)中，我們利用100張缺陷圖像通過(guò)生成對(duì)抗網(wǎng)絡(luò)生成總共1 000張數(shù)據(jù)集，缺陷類(lèi)型包括蒙皮表面裂紋、撞擊和腐蝕。針對(duì)以上缺陷，分別對(duì)人工檢測(cè)、傳統(tǒng)檢測(cè)方法和本文檢測(cè)方法的效果進(jìn)行對(duì)比，如表1所示。實(shí)驗(yàn)證明本文檢測(cè)方法可以更好地定位缺陷位置并進(jìn)行分類(lèi)識(shí)別。

表1 蒙皮缺陷識(shí)別檢測(cè)結(jié)果對(duì)比

4 結(jié)束語(yǔ)

本文針對(duì)蒙皮表面易產(chǎn)生的裂紋、撞擊和腐蝕缺陷，采用基于深度學(xué)習(xí)的Faster R-CNN網(wǎng)絡(luò)構(gòu)建了飛機(jī)蒙皮缺陷檢測(cè)模型。首先通過(guò)生成對(duì)抗網(wǎng)絡(luò)DCGAN擴(kuò)充缺陷圖像集，彌補(bǔ)了自身樣本數(shù)據(jù)的不足，接著將生成的圖像輸入到Faster R-CNN網(wǎng)絡(luò)中進(jìn)行模型訓(xùn)練，從而完成蒙皮缺陷的分類(lèi)。實(shí)驗(yàn)證明，該檢測(cè)方法的檢出率達(dá)到96%、識(shí)別率達(dá)到92%、損失率不到5%，為飛機(jī)蒙皮的缺陷檢測(cè)提供了一種新的研究方向。