YOLOv5框架下的飛機(jī)蒙皮鉚接缺陷檢測*

魏英姿,蘇 邁

(沈陽理工大學(xué)信息科學(xué)與工程學(xué)院,沈陽 110159)

0 引言

飛機(jī)蒙皮鉚接是一項(xiàng)涉及多環(huán)節(jié)、精準(zhǔn)組裝的飛機(jī)裝配工程[1],鉚接過程中一旦出現(xiàn)某類質(zhì)量缺陷,將會(huì)影響飛機(jī)的安全性能。因此,飛機(jī)蒙皮鉚接質(zhì)量缺陷的全口徑檢測至關(guān)重要。飛機(jī)鉚接過程中需要對上百萬個(gè)制孔及鉚接部件質(zhì)量進(jìn)行檢測,待檢測部件特征要素種類多、檢測量大。目前,飛機(jī)蒙皮缺陷檢測方法大多為人工檢測方式,結(jié)合檢測工具肉眼主觀判斷識別,存在檢測效率低等問題。

隨著深度學(xué)習(xí)的快速發(fā)展[2-3],以R-CNN[4-5]家族為代表的雙階段算法和以YOLO[6-7]系統(tǒng)為代表的單階段算法,為研究機(jī)器視覺輔助飛機(jī)質(zhì)量缺陷檢測問題提供有利條件。國外已有相關(guān)研究,BOUARFA等[8]在小型數(shù)據(jù)集搭建基于Mask R-CNN神經(jīng)網(wǎng)絡(luò)模型,研究飛機(jī)蒙皮凹痕自動(dòng)化檢測方法。JI等[9]研究飛機(jī)蒙皮裂紋缺陷安全隱患,提出一種基于改進(jìn)KLT(kanade-lucas-tomasi)算法的散斑圖像相關(guān)方法,獲取圖像中斑點(diǎn)坐標(biāo)。國內(nèi)技術(shù)還處于發(fā)展階段,針對目前飛機(jī)蒙皮鉚接質(zhì)量檢測存在的難點(diǎn),孫延鵬等[10]通過改進(jìn)Hough算法并結(jié)合最小二乘法擬合圓,提高鉚釘圓心及直徑的定位精度。薛倩等[11]通過圖像預(yù)處理,再以枝干像素為索引,作飛機(jī)蒙皮表面裂紋自動(dòng)檢測。上述研究大多是對飛機(jī)蒙皮單個(gè)缺陷進(jìn)行檢測。如果進(jìn)行多種缺陷同時(shí)檢測時(shí),檢測精度將會(huì)大大降低。目標(biāo)增多之后,某個(gè)目標(biāo)檢測精度提高往往會(huì)使其他目標(biāo)精度下降,這個(gè)問題在多目標(biāo)檢測系統(tǒng)中將會(huì)凸顯。

飛機(jī)蒙皮缺陷形態(tài)多樣、類型豐富,本文以YOLOv5檢測模型為基礎(chǔ)框架,采用隨機(jī)數(shù)據(jù)增強(qiáng)策略,將定位損失函數(shù)改為α-CIoU函數(shù),并將選擇預(yù)測框的非最大值抑制(NMS)改為soft-NMS,提升飛機(jī)蒙皮鉚接多特征要素缺陷的檢測精度和速度。

1 YOLOv5模型的改進(jìn)策略

YOLO模型系列將目標(biāo)檢測從“分類”問題轉(zhuǎn)化成“回歸”問題,檢測速度較快。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)包括4部分:輸入端、Backbone部分、Neck部分和輸出端。輸入端包括數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放。

1.1 改進(jìn)數(shù)據(jù)增強(qiáng)方法

深度學(xué)習(xí)算法的根本是數(shù)據(jù)驅(qū)動(dòng),數(shù)據(jù)的好壞直接決定訓(xùn)練模型的優(yōu)劣程度,輸入端數(shù)據(jù)增強(qiáng)策略將會(huì)影響到深度學(xué)習(xí)目標(biāo)檢測性能。傳統(tǒng)數(shù)據(jù)增強(qiáng)方法會(huì)產(chǎn)生巨大的計(jì)算損耗,人為指定數(shù)據(jù)增強(qiáng)策略往往會(huì)增加數(shù)據(jù)特定性,為此,引入RandAugment[12]和MuAugment[13]的思想,并在此基礎(chǔ)上進(jìn)行改進(jìn),從數(shù)據(jù)集直接學(xué)習(xí)數(shù)據(jù)增強(qiáng)策略,減少過擬合現(xiàn)象。如圖1為添加數(shù)據(jù)增強(qiáng)的YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 添加數(shù)據(jù)增強(qiáng)的YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)

數(shù)據(jù)增強(qiáng)策略包括空間搜索數(shù)據(jù)擴(kuò)展和變換方法生成數(shù)據(jù)策略兩部分。首先,在搜索空間內(nèi)設(shè)定操作集Identity、AutoContrast、Equalize、Rotate、Solarize、Color、Posterize、Contrast、Brightness、Sharpness、ShearX/Y、TranslateX/Y、Mixup和Mosaic;其次,搜索空間內(nèi)每個(gè)操作子策略處理4個(gè)圖像,每個(gè)操作與2個(gè)超參數(shù)N、M相關(guān),N表示每次數(shù)據(jù)增強(qiáng)時(shí)隨機(jī)使用N次操作,M表示操作強(qiáng)度級別數(shù)(magnitudes),即每個(gè)圖像需要變形的程度范圍,若設(shè)置操作次數(shù)N為3次,則搜索空間為104×3。將多種缺陷圖片拼接成一張圖片,隨機(jī)采用3次不同操作、操作級別取4作數(shù)據(jù)增強(qiáng),其效果示例,如圖2所示;最后,采用強(qiáng)化學(xué)習(xí)搜索方法,確定超參數(shù),將回歸問題轉(zhuǎn)化為分類問題,把模型平衡到一個(gè)最佳點(diǎn)。搜索方法包括循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[14]的控制模型和近端策略優(yōu)化算法(proximal policy optimization,PPO)[15]的訓(xùn)練算法,學(xué)習(xí)率設(shè)為0.000 35,由softmax每一步產(chǎn)生決策,再將新預(yù)測值送入下一步,以此類推。

圖2 操作次數(shù)N=3、操作強(qiáng)度級M=4時(shí)作數(shù)據(jù)增強(qiáng)的圖片效果示例

模型將尺寸不同的圖片進(jìn)行填充縮放為640×640,作為統(tǒng)一的輸入。模型訓(xùn)練過程中,自適應(yīng)計(jì)算數(shù)據(jù)集錨框,針對多種類型特征缺陷圖像數(shù)據(jù)集,設(shè)置初始錨框序列為:[27,32,25,47,37,42]、[50,51,61,66,79,78]和[97,96,129,124,165,155]。

1.2 定位損失函數(shù)設(shè)計(jì)

模型輸出端損失函數(shù)包括定位損失(bounding box loss,Box_Loss)、分類損失(classes loss,Cla_Loss)和置信度損失(confidence loss,Con_Loss)三部分。

傳統(tǒng)定位損失函數(shù)為廣義交并比GIoU(generalized IoU)可計(jì)算預(yù)測框和真實(shí)框之間的誤差。采用GIoU函數(shù)計(jì)算多目標(biāo)損失,整體性能略差。根據(jù)多缺陷圖片數(shù)據(jù)集特點(diǎn),提出完整交并比CIoU(complete IoU)增加中心距離占比和寬高比懲罰項(xiàng),其表達(dá)式為:

(1)

式中:ρ2(A,B)為A、B兩框中心坐標(biāo)歐氏距離的平方,c為A、B兩框外接最小矩形對角線長度,β為寬高比損失系數(shù),其表達(dá)式為:

(2)

式中:v為真實(shí)目標(biāo)邊框與預(yù)測目標(biāo)邊框的寬高比損失,其表達(dá)式為:

(3)

式中:wgt為真實(shí)目標(biāo)邊框?qū)挾?hgt為真實(shí)目標(biāo)邊框高度,w為預(yù)測目標(biāo)邊框?qū)挾?h為預(yù)測目標(biāo)邊框高度。針對多缺陷小數(shù)據(jù)集和為提高檢測器水平定位的回歸精度靈活性,引入α-CIoU,其表達(dá)式為:

(4)

式中:α為調(diào)整參數(shù),α∈[1,∞)。采用α-CIoU為定位損失函數(shù),提高精確度,增強(qiáng)小數(shù)據(jù)集魯棒性。

1.3 輸出端預(yù)測框選擇的軟計(jì)算方法

YOLOv5模型通過非極大值抑制(non maximum suppression,NMS)[17],在多個(gè)目標(biāo)框中選擇保留的預(yù)測框,實(shí)現(xiàn)目標(biāo)檢測。NMS是基于得分進(jìn)行分類,存在得分高其預(yù)測框不一定準(zhǔn)確的問題。

采用NMS的軟計(jì)算方法soft-NMS,考慮得分和邊框的重合程度,將得分進(jìn)行懲罰衰減,而不是將IoU超過閾值的直接設(shè)置為0。采用線性懲罰衰減函數(shù),以避免漏檢問題,其表達(dá)式為:

(5)

線性懲罰衰減函數(shù)采用分段函數(shù),當(dāng)IoU(M,bi)等于預(yù)設(shè)閾值Nt時(shí),可能出現(xiàn)突變情況,為此,采用高斯懲罰衰減函數(shù),如式(6)所示:

(6)

由式(6)可知,使用高斯懲罰衰減函數(shù),出現(xiàn)兩個(gè)目標(biāo)重疊時(shí),Si的取值會(huì)減小,這種soft-NMS選擇方法可以有效避免直接刪除預(yù)測框,提高多種缺陷特征存在遮擋的識別率。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集的構(gòu)建

目前缺少公開的飛機(jī)蒙皮制孔及鉚接質(zhì)量缺陷數(shù)據(jù)集。通過網(wǎng)絡(luò)和自行采集兩種方式收集圖像,以鉚孔孔徑精度、鉚接階差和鉚釘腐蝕3種缺陷圖像為樣本,自己標(biāo)注1個(gè)多特征缺陷數(shù)據(jù)集。訓(xùn)練集、驗(yàn)證集和測試集在一定程度上影響模型的泛化能力和檢測精度,最終按照6:2:2比例進(jìn)行劃分。

2.2 評估指標(biāo)

本實(shí)驗(yàn)的評估指標(biāo)主要包括精確度(precision)、召回率(recall)、均值平均精度(mean average precision,mAP)以及檢測單張圖像的消耗時(shí)長(cost time),其表達(dá)式為:

(7)

(8)

式中:TP為模型預(yù)測正確的數(shù)量,FP為模型預(yù)測錯(cuò)誤的數(shù)量,FN為模型漏檢的正樣本數(shù)量。

(9)

式中:N為檢測類別總數(shù),AP(n)為第n類缺陷的平均精準(zhǔn)度。

2.3 參數(shù)設(shè)置

處理器Intel(R) Core(TM) i7-10750H CPU,內(nèi)存為16.0 GB,GPU為Tesla T4平臺上,YOLOv5目標(biāo)檢測框架搭建在Pytorch深度學(xué)習(xí)框架上。配置模型的超參數(shù),迭代周期為300,迭代批次為16,初始學(xué)習(xí)率為0.01,動(dòng)量為0.937,權(quán)重衰減為0.000 5,將置信度閾值為0.4,交并比閾值為0.5。

2.4 對比實(shí)驗(yàn)

2.4.1 策略浸潤實(shí)驗(yàn)

改進(jìn)YOLOv5目標(biāo)檢測模型,結(jié)合輸入端引入隨機(jī)數(shù)據(jù)增強(qiáng)策略、定位損失函數(shù)α-CIoU和使用soft-NMS進(jìn)行預(yù)測框選擇等多種策略,作飛機(jī)蒙皮鉚接多種缺陷檢測實(shí)驗(yàn)。

將不同策略浸潤地施加于原始YOLOv5模型,算法性能對比如表1所示。表格中所列數(shù)據(jù)為經(jīng)過10次運(yùn)算的平均值。輸入端引入隨機(jī)數(shù)據(jù)增強(qiáng)策略,Model2比YOLOv5將所有缺陷mAP值提升了7.5%,精確度提升9.6%,檢測時(shí)間花費(fèi)小幅度減少。采用定位損失函數(shù)α-CIoU,取α=3時(shí),Model3比Model2的mAP值、精確度和召回率均有所增加。使用α-CIoU作為定位損失函數(shù)時(shí),檢測花費(fèi)時(shí)間增大,但檢測時(shí)間仍然可滿足裝配過程中數(shù)字化檢測需求。由Model3和Ours可知,輸出端使用soft-NMS進(jìn)行預(yù)測框選擇,改進(jìn)后模型有效減少了多缺陷目標(biāo)的漏檢情況。YOLOv5改進(jìn)前、后求解問題的迭代過程mAP變化曲線如圖3所示。

圖3 YOLOv5改進(jìn)前、后均值平均精度對比圖

表1 施加不同策略的模型性能對比列表

2.4.2 不同檢測模型能力對比

改進(jìn)后算法模型與SSD、YOLOv3、YOLOv5和Faster R-CNN進(jìn)行實(shí)驗(yàn)對比,評價(jià)指標(biāo)為3類缺陷的AP值、mAP值和平均單幅圖檢測時(shí)間(10張不同類型缺陷的平均檢測時(shí)間),實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同檢測模型對比列表

針對鉚孔孔徑精度和鉚接階差二類缺陷的檢測精度和mAP值,改進(jìn)后的模型優(yōu)于其他模型,鉚接階差的精度比Faster R-CNN低0.25%,整體影響相差不大。改進(jìn)后模型的平均單幅圖檢測時(shí)間快于SSD、YOLOv3和Faster R-CNN。

2.4.3 檢測結(jié)果的可視化分析

從測試集上隨機(jī)選取缺陷圖片進(jìn)行測試,測試集缺陷包括鉚孔孔徑精度(accuracy)、鉚接階差(bulge)和鉚釘腐蝕(corrosion)。模型改進(jìn)前各種缺陷目標(biāo)檢測的置信度如圖4a所示,改進(jìn)前存在目標(biāo)漏檢情況,計(jì)算置信度平均值為0.57,圖4b為改進(jìn)后方法檢測結(jié)果,置信度平均值為0.90,置信度明顯提升,避免了缺陷漏檢情況,體現(xiàn)出改進(jìn)后求解多缺陷問題時(shí)的泛化能力。

(a) 原始YOLOv5檢測效果

(b) 改進(jìn)后模型檢測效果圖4 模型改進(jìn)前后檢測效果對比圖

3 結(jié)束語

以蒙皮制孔和鉚接質(zhì)量為研究對象,提出改進(jìn)YOLOv5模型的多特征缺陷檢測方法。在自建數(shù)據(jù)集基礎(chǔ)上,采用數(shù)據(jù)增強(qiáng)策略,將強(qiáng)化學(xué)習(xí)和隨機(jī)數(shù)據(jù)增強(qiáng)相結(jié)合,削弱傳統(tǒng)數(shù)據(jù)增強(qiáng)策略計(jì)算損耗大、對部分?jǐn)?shù)據(jù)集效果差的影響,提高模型的遷移泛化能力。在輸出端提出定位損失的優(yōu)化方法和引入軟計(jì)算思想,提升多種缺陷檢測識別的綜合性能。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的YOLOv5求解鉚接質(zhì)量缺陷判別問題,其mAP、精確率、召回率和檢測速度都有明顯提升,可滿足自動(dòng)化裝配線的實(shí)際要求,對深度學(xué)習(xí)求解多分類問題提供一定的參考。