基于深度學(xué)習(xí)的激光剪切散斑干涉無(wú)損檢測(cè)缺陷識(shí)別

吳 榮,汪劍偉,謝鋒云

(1.華東交通大學(xué)機(jī)電與車輛工程學(xué)院,江西 南昌 330013; 2.載運(yùn)工具與裝備教育部重點(diǎn)實(shí)驗(yàn)室(華東交通大學(xué)),江西 南昌 330013;3.華東交通大學(xué)軌道交通基礎(chǔ)設(shè)施性能監(jiān)測(cè)與保障國(guó)家重點(diǎn)實(shí)驗(yàn)室,江西 南昌 330013)

1 引 言

激光剪切散斑干涉技術(shù)是一種運(yùn)用光學(xué)、計(jì)算機(jī)、數(shù)字圖像處理等現(xiàn)代技術(shù)發(fā)展起來(lái)的非接觸物體變形測(cè)量技術(shù),其通過計(jì)算物體變形前后散斑圖的相位來(lái)獲取被測(cè)物體的應(yīng)變信息[1]。剪切散斑干涉技術(shù)運(yùn)用剪切裝置將物光分為兩束光,使待測(cè)表面相鄰兩點(diǎn)的物光相干涉,相比較物光與參考光相干涉的電子散斑干涉技術(shù)[2],剪切散斑干涉技術(shù)對(duì)于環(huán)境中的擾動(dòng)較不敏感,更加適用于工程現(xiàn)場(chǎng)檢測(cè),并被廣泛應(yīng)用于工業(yè)無(wú)損檢測(cè)。

激光剪切散斑干涉技術(shù)在執(zhí)行缺陷無(wú)損檢測(cè)時(shí),首先通過對(duì)被測(cè)對(duì)象進(jìn)行一定程度的均勻加載,常見的加載方式包括熱加載、真空加載、振動(dòng)加載等;加載后引起內(nèi)部缺陷處的應(yīng)力集中,并導(dǎo)致對(duì)應(yīng)的表面產(chǎn)生與其周圍有差異的微小變形。利用激光剪切散斑干涉技術(shù)能直觀精確地測(cè)量出該變形,從而推斷出物體內(nèi)部缺陷,缺陷通常以“蝴蝶斑”狀干涉條紋的形式呈現(xiàn)[3]。特別是對(duì)于復(fù)合材料與粘接結(jié)構(gòu)的缺陷檢測(cè),激光剪切散斑干涉技術(shù)能夠有效檢測(cè)被檢對(duì)象中的氣泡、空隙、分層、裂紋、脫粘等缺陷。對(duì)比傳統(tǒng)無(wú)損檢測(cè)方法,激光剪切散斑干涉技術(shù)具有測(cè)量面積廣、效率高、非接觸、高靈敏度等優(yōu)點(diǎn),因此在航空航天、船舶制造、汽車等領(lǐng)域的使用量正在迅速增加[4]。Leszek[5]結(jié)合全息術(shù)和剪切散斑干涉技術(shù)通過聲波使壁畫振動(dòng),在壁畫有損傷處發(fā)生不規(guī)則變化,檢測(cè)缺陷的大小和分布;Kim[6]利用剪切散斑技術(shù)對(duì)輪胎面上的空洞缺陷的大小和形狀進(jìn)行了檢測(cè);馬銀行等人[7]搭建了數(shù)字剪切散斑干涉測(cè)量系統(tǒng)用于含狹縫的懸臂鋁板的振動(dòng)分析;劉斌等人[8]運(yùn)用剪切散斑干涉技術(shù)對(duì)不同類型缺陷的衛(wèi)星用鋁蒙皮鋁蜂窩夾層結(jié)構(gòu)實(shí)現(xiàn)了缺陷檢測(cè)。剪切散斑干涉技術(shù)的發(fā)展和應(yīng)用為工業(yè)發(fā)展中結(jié)構(gòu)應(yīng)變分析、健康狀態(tài)檢測(cè)以及部件維修等方面提供了重要的技術(shù)支持。

隨著航空航天、交通運(yùn)輸?shù)阮I(lǐng)域的快速發(fā)展,材料缺陷檢測(cè)的準(zhǔn)確率和效率的提升有助于推動(dòng)現(xiàn)代化工業(yè)生產(chǎn)的高質(zhì)量與高效率發(fā)展,因此需要發(fā)展一種高精度高效的缺陷自動(dòng)識(shí)別方法來(lái)替代人工識(shí)別方式。為此,國(guó)內(nèi)外許多學(xué)者對(duì)激光剪切散斑干涉缺陷自動(dòng)識(shí)別方法做出了大量研究。例如南瑞亭等人[9]提出的基于剪切散斑圖角點(diǎn)特征的輪胎缺陷識(shí)別方法,實(shí)現(xiàn)了輪胎缺陷的自動(dòng)識(shí)別,提高了輪胎檢測(cè)的效率;李學(xué)哲等人[10]通過圖像降維和協(xié)同進(jìn)化算法實(shí)現(xiàn)了剪切散斑條紋信息的識(shí)別,且在測(cè)量速率和抗干擾方面有著明顯提高;馮巍巍等人[11]采用了基于小波分析和神經(jīng)網(wǎng)絡(luò)的算法,實(shí)現(xiàn)了特種材料表面激光散斑特征的提取和識(shí)別,操作簡(jiǎn)單且識(shí)別率較高,但識(shí)別速率較慢。近年,深度學(xué)習(xí)技術(shù)被快速發(fā)展,并在激光散斑干涉技術(shù)中的條紋圖像去噪、解包裹以及缺陷識(shí)別等方面取得了重要進(jìn)展。例如,Gurrola-Ramos[12]提出了一種用于條紋去噪的U-Net神經(jīng)網(wǎng)絡(luò)模型,該方法在計(jì)算上更簡(jiǎn)單高效;Wang[13]提出了將包裹相位經(jīng)U-Net網(wǎng)絡(luò)直接獲取展開相位的一步解包裹技術(shù),并且可實(shí)現(xiàn)相位去噪;因此,將深度學(xué)習(xí)運(yùn)用于缺陷識(shí)別是發(fā)展趨勢(shì),例如:Chang等[14]將卷積神經(jīng)網(wǎng)絡(luò)與高性能快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)集成混合融合,檢測(cè)輪胎剪切成像圖像中的氣泡缺陷;Ye等[15]開發(fā)了一種基于深度學(xué)習(xí)的圓柱形表面檢測(cè)的剪切成像系統(tǒng)。相對(duì)于傳統(tǒng)算法,深度學(xué)習(xí)相關(guān)方法具有更快的速率和更高的識(shí)別精度;將深度學(xué)習(xí)與剪切成像技術(shù)結(jié)合使用的方法是實(shí)現(xiàn)無(wú)損檢測(cè)自動(dòng)化的第一步,同時(shí)為進(jìn)一步發(fā)展開辟了空間。

盡管以上研究能解決剪切散斑缺陷圖像的檢測(cè)與識(shí)別,但其檢測(cè)效率和檢測(cè)精度仍然有待提高。近年,YOLOv5、Faster R-CNN等深度學(xué)習(xí)算法在圖像識(shí)別方面取得了高效與高精度的識(shí)別效果,并在無(wú)人駕駛、工業(yè)缺陷圖像識(shí)別等領(lǐng)域被廣泛使用[16]。本文提出將YOLOv5和Faster R-CNN算法應(yīng)用于剪切散斑干涉缺陷圖像的自動(dòng)識(shí)別,分析對(duì)比了兩者的檢測(cè)準(zhǔn)確率和效率,并設(shè)計(jì)制作了用于缺陷檢測(cè)的大量樣本數(shù)據(jù),為缺陷高精度快速自動(dòng)識(shí)別提供了依據(jù)。

2 剪切散斑干涉無(wú)損檢測(cè)原理

剪切散斑干涉無(wú)損檢測(cè)原理如圖1所示,在執(zhí)行檢測(cè)時(shí),首先需要對(duì)被檢測(cè)對(duì)象進(jìn)行均勻的加載,加載方式通常有熱輻射加載、負(fù)氣壓加載和振動(dòng)加載。物體被加載后,缺陷處將產(chǎn)生與周圍有差異的微小變形,該變形將反映到物體表面,進(jìn)而利用剪切散斑干涉技術(shù)檢測(cè)該變形,從而實(shí)現(xiàn)物體內(nèi)部缺陷的檢測(cè)。在缺陷檢測(cè)運(yùn)用中,通常采用檢測(cè)離面位移導(dǎo)數(shù)的邁克爾遜干涉光路,即剪切干涉來(lái)實(shí)現(xiàn)表面的變形檢測(cè)。該光路如圖1所示,激光入射到粗糙物體表面產(chǎn)生漫反射,反射光進(jìn)入邁克爾遜干涉光路;反射光進(jìn)入分光棱鏡被分為兩束光線,一束反射到剪切鏡,并從剪切鏡反射到分光棱鏡;另一束是直接穿透入射在平面鏡,再反射到分光棱鏡上。最后,兩束光同時(shí)進(jìn)入到攝像機(jī)并產(chǎn)生干涉,從而通過計(jì)算機(jī)處理獲得剪切散斑干涉條紋圖。

圖1 剪切散斑干涉無(wú)損檢測(cè)系統(tǒng)示意圖

本文采用被廣泛使用的高精度四步相移技術(shù)來(lái)獲取剪切成像條紋圖[17]。測(cè)量首先在物體變形前運(yùn)用驅(qū)動(dòng)電路使PZT相移器產(chǎn)生精確的四步相移,四步相移對(duì)應(yīng)的激光相位分別為(0,π/2,π,3π/2),同時(shí)相機(jī)同步采集對(duì)應(yīng)的物體表面相移圖。假設(shè)物體變形前的四步相移圖為Ri(x,y),i=1,2,3,4,具體表示如下:

(1)

其中,(x,y)是圖像的空間像素坐標(biāo);Ri(x,y)是變形前采集到的四幅散斑圖像,它們依次有π/2相移量;A(x,y),B(x,y)分別表示背景光強(qiáng)和條紋的調(diào)制幅值;φR(x,y)是變形前的散斑相位。

聯(lián)立上述四個(gè)方程,即可得到變形前的相位分布:

(2)

同理,假設(shè)變形后的四幅散斑圖像為Di(x,y),i=1,2,3,4,

(3)

則可得到變形后的相位分布:

(4)

將變形后的相位減去變形前的相位即可得到由于變形引起的相位差:

Δφ(x,y)=φD(x,y)-φR(x,y)

(5)

或者運(yùn)用以下等式獲得相位差[18]:

Δφ(x,y)=

(6)

通過以上等式直接獲得的相位圖通常包含較大的噪聲,為了提高干涉相位圖的成像質(zhì)量,因此,需要對(duì)獲得的圖像進(jìn)行濾波處理[19],進(jìn)而得到高信噪比的干涉條紋圖。

3 深度學(xué)習(xí)缺陷智能識(shí)別算法

剪切散斑干涉缺陷的高精度智能識(shí)別能為其工業(yè)應(yīng)用提供一種自動(dòng)化的無(wú)損檢測(cè)手段,從而提高檢測(cè)效率和檢測(cè)準(zhǔn)確率。目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要包括SSD、YOLO、Faster R-CNN、Mask-RCNN等[20]。各個(gè)算法在不同的應(yīng)用場(chǎng)合和數(shù)據(jù)集樣本下的效果存在差異,而本文將目前較為主流的YOLOv5和Faster R-CNN兩種目標(biāo)檢測(cè)算法引入到剪切散斑干涉缺陷的智能識(shí)別中,并深入分析這兩種方法的優(yōu)劣勢(shì)。

3.1 基于YOLOv5算法的缺陷檢測(cè)模型

如圖2所示為YOLOv5的缺陷檢測(cè)模型,該網(wǎng)絡(luò)首先將輸入的缺陷圖像分別進(jìn)行8倍、16倍和32倍下采樣,從而獲得3種尺寸大小不同的特征圖,然后將特征圖輸入到特征融合網(wǎng)絡(luò)中,經(jīng)過特征融合網(wǎng)絡(luò)的深層次卷積后得到具有豐富語(yǔ)義信息的特征圖。雖然在多次卷積之后會(huì)丟掉目標(biāo)圖像的部分位置信息,但是目標(biāo)位置的信息是仍較為精確。

圖2 YOLOv5的缺陷檢測(cè)模型

3.2 基于Faster R-CNN的缺陷檢測(cè)模型

Faster R-CNN主要由特征提取網(wǎng)絡(luò)CNN,區(qū)域建議網(wǎng)絡(luò)RPN(region proposal network)和目標(biāo)檢測(cè)網(wǎng)絡(luò)RCNN這3個(gè)部分組成,如圖3所示為其缺陷檢測(cè)模型。特征提取網(wǎng)絡(luò)CNN采用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)VGG16對(duì)輸入的高分辨率圖像可提取相對(duì)初級(jí)特征,并輸出對(duì)應(yīng)的特征圖;區(qū)域建議網(wǎng)絡(luò)RPN的輸入是特征提取網(wǎng)絡(luò)CNN輸出的特征圖,使用滑動(dòng)窗口對(duì)該特征圖進(jìn)行遍歷卷積,然后將特征圖映射成的低維向量送入分類層和回歸定位層,最后輸出被檢測(cè)物體的區(qū)域建議框;目標(biāo)檢測(cè)網(wǎng)絡(luò)RCNN利用非極大值抑制算法獲取感興趣區(qū)域(region of interest,ROI),接著通過ROI池化層并將其下采樣至某一固定尺寸。最后通過全連接層獲得ROI的低維特征向量并送至Softmax分類器中,從而使得目標(biāo)分類置信度和矩形框位置得到進(jìn)一步的調(diào)整。

圖3 Faster R-CNN的缺陷檢測(cè)模型

3.3 基于YOLOv5與Faster R-CNN的缺陷智能檢測(cè)

缺陷的自動(dòng)檢測(cè)要求結(jié)構(gòu)的各部分獲得圖像的相位圖,且通過拼接技術(shù)實(shí)現(xiàn)缺陷分布的全尺寸圖像的映射。如果結(jié)構(gòu)中存在缺陷,它們將通過剪切散斑干涉條紋反映在相位圖中。為了準(zhǔn)確識(shí)別與缺陷相關(guān)的條紋圖案,需要使用包含條紋圖案的樣本訓(xùn)練相應(yīng)的模型。由于主要考慮的缺陷是脫粘,所以樣本為包含蝴蝶斑狀的條紋圖像。在深度學(xué)習(xí)算法中,實(shí)驗(yàn)的樣本數(shù)量對(duì)最后識(shí)別的結(jié)果起著非常關(guān)鍵的作用。樣本數(shù)量太少會(huì)使得回歸方程中的相關(guān)系數(shù)比較低從而導(dǎo)致識(shí)別精度也不高。

訓(xùn)練完成之后,便可將模型用于缺陷識(shí)別。圖4(a)描述的是基于YOLOv5算法的缺陷自動(dòng)識(shí)別過程的示意圖。輸入圖像進(jìn)入輸入端進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放操作;然后在基準(zhǔn)網(wǎng)絡(luò)中利用Focus結(jié)構(gòu)提取一些通用的特征表示;接著在Neck網(wǎng)絡(luò)中使用SPP模塊、FPN+PAN模塊進(jìn)一步提升特征的多樣性及魯棒性;最后通過Head輸出端完成目標(biāo)檢測(cè)結(jié)果的輸出。

(a)YOLOv5識(shí)別流程圖 (b)Faster R-CNN識(shí)別流程圖

圖4(b)是基于Faster R-CNN的缺陷自動(dòng)識(shí)別過程的示意圖。輸入圖像通過預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)得到卷積特征映射。然后通過區(qū)域建議網(wǎng)絡(luò)(RPN)尋找可能包含缺陷的區(qū)域。在原始圖像中列出了可能的相關(guān)缺陷及位置后,Faster R-CNN網(wǎng)絡(luò)使用該信息對(duì)邊界框中的內(nèi)容進(jìn)行分類,以及調(diào)整邊界框最佳匹配缺陷。在執(zhí)行以上步驟之后,顯示所有篩選區(qū)域內(nèi)的缺陷類別,并識(shí)別有缺陷區(qū)域的位置。

4 實(shí)驗(yàn)與結(jié)果

4.1 樣本制作與數(shù)據(jù)采集

為獲得缺陷高度敏感的識(shí)別,樣本尺寸和缺陷位置應(yīng)具有多樣性,訓(xùn)練樣本應(yīng)是不同尺寸和位置的缺陷剪切散斑干涉相位圖,這些相位圖代表實(shí)際樣本中預(yù)期的特征。為此,本次實(shí)驗(yàn)制作了多種尺寸和類型的缺陷樣本,樣本制作過程如圖5所示,其中,(a),(b)為模擬不同形狀的內(nèi)部缺陷圖,(c)為制作完成的內(nèi)部含缺陷的試樣。試樣中間是一塊長(zhǎng)寬高為150 mm×150 mm×5 mm的鋁板,并在鋁板上制作了幾種不同形狀和尺寸的孔洞,并在鋁板兩面均粘貼厚度為4 mm的橡膠板,以此模擬復(fù)合材料中脫粘、氣泡和分層等缺陷。

圖5 缺陷樣本

完成樣本缺陷的制作之后,即可使用剪切散斑干涉無(wú)損檢測(cè)儀進(jìn)行缺陷圖像數(shù)據(jù)的采集。該設(shè)備采用532 nm激光器,相機(jī)的空間分辨率為2048×1536,型號(hào)為MER2-302-37 GM-P,幀率為37 f/s。如圖6所示為剪切散斑干涉無(wú)損檢測(cè)儀對(duì)樣本進(jìn)行采集,其中加熱燈熱加載時(shí)間設(shè)置為2 s,采樣間隔時(shí)間為5 s,重復(fù)上述操作,并采集500幅包含缺陷的剪切散斑干涉條紋的圖像 。如圖7所示為采集的部分?jǐn)?shù)據(jù)。

圖6 剪切散斑干涉無(wú)損檢測(cè)儀采集樣本數(shù)據(jù)

圖7 采集的部分?jǐn)?shù)據(jù)

4.2 缺陷智能檢測(cè)

將上述采集到的含有缺陷的500幅圖像隨機(jī)選擇80 %作為YOLOv5和Faster R-CNN網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集,剩下的20 %則是用來(lái)評(píng)估兩個(gè)模型準(zhǔn)確性的測(cè)試數(shù)據(jù)集。訓(xùn)練樣本由500幅包含缺陷的剪切散斑干涉條紋的圖像組成,這些圖像是由邁克爾遜剪切散斑干涉檢測(cè)設(shè)備對(duì)粘有橡膠的鋁板實(shí)體進(jìn)行熱加載時(shí)獲得的。由于這些樣本圖像是從一系列脫粘缺陷實(shí)驗(yàn)中采集的,因此缺陷的剪切散斑條紋自然也各不相同。為了能夠?qū)δＰ瓦M(jìn)行有效的應(yīng)用測(cè)試,所以樣本被分為訓(xùn)練集和測(cè)試集。

搭建適合的硬件和軟件環(huán)境是深度學(xué)習(xí)算法運(yùn)行的首要條件。在本文實(shí)驗(yàn)中所有算法均在Windows10的64位操縱系統(tǒng)上運(yùn)行,該系統(tǒng)搭載Intel Core i9-10900處理器,NVIDIA Quadro RTX 4000 顯卡和32 G內(nèi)存,實(shí)驗(yàn)網(wǎng)絡(luò)在由python 3.7.11和pytorch 1.8.1搭建的框架內(nèi)運(yùn)行。為提高訓(xùn)練模型的速度,所以配置了cuda和cudnn來(lái)調(diào)用GPU參與訓(xùn)練。最后,本文對(duì)復(fù)合材料板結(jié)構(gòu)進(jìn)行了自動(dòng)檢測(cè),結(jié)果如圖8所示。由此可知,測(cè)試結(jié)果與人工觀察判斷結(jié)果一致,并且大大提高了缺陷檢測(cè)效率。

圖8 缺陷識(shí)別效果圖

4.3 模型評(píng)價(jià)

在深度學(xué)習(xí)領(lǐng)域中,模型的效果需要用多種指標(biāo)來(lái)進(jìn)行評(píng)價(jià)。目標(biāo)檢測(cè)模型的評(píng)價(jià)指標(biāo)有精度(Precision)、召回率(Recall)、PR曲線、AP(平均精度)等。本次實(shí)驗(yàn)對(duì)樣本數(shù)據(jù)進(jìn)行10次訓(xùn)練集和測(cè)試集的隨機(jī)選擇(D0～D9),然后分別對(duì)這10組數(shù)據(jù)集進(jìn)行訓(xùn)練,最后通過檢測(cè)速率和檢測(cè)精度對(duì)訓(xùn)練完成的YOLOv5和Faster R-CNN模型進(jìn)行對(duì)比分析。

如圖9(a)和(b)所示分別為YOLOv5和Faster R-CNN模型在本次實(shí)驗(yàn)硬件及軟件環(huán)境下的檢測(cè)精度和速率對(duì)比。從圖中可知,在檢測(cè)精度方面,Faster R-CNN明顯比YOLOv5更高,且檢測(cè)精度也更加穩(wěn)定;計(jì)算10次訓(xùn)練模型的精度平均值,得到Faster R-CNN和YOLOv5的平均精度分別為97.84 %和92.09 %。而在檢測(cè)速率方面,Faster R-CNN的平均檢測(cè)速率為11 f/s,YOLOv5的平均檢測(cè)速率則可達(dá)到50 f/s,YOLOv5明顯比Faster R-CNN更快。

圖9 YOLOv5和Faster R-CNN模型

5 分析與討論

上述實(shí)驗(yàn)將YOLOv5和Faster R-CNN算法應(yīng)用于剪切散斑干涉缺陷圖像的自動(dòng)識(shí)別,分析對(duì)比了兩者的檢測(cè)精度和檢測(cè)速率。其中,YOLOv5模型尺寸小,部署成本低,靈活性高,檢測(cè)速率快;而Faster R-CNN檢測(cè)精度高,但模型較為復(fù)雜。兩種基于深度學(xué)習(xí)的缺陷檢測(cè)方法的檢測(cè)精度和檢測(cè)速率都遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的識(shí)別方法,能有效提高實(shí)際工程應(yīng)用的缺陷檢測(cè)效率和準(zhǔn)確率。在實(shí)際的工程運(yùn)用中,可根據(jù)需求選擇使用YOLOv5和Faster R-CNN方法。當(dāng)然,本研究是基于實(shí)驗(yàn)室的模擬缺陷所建立的模型,實(shí)際應(yīng)用中增加更多不同類型、尺寸的樣本量,將能進(jìn)一步提高缺陷的識(shí)別率。同時(shí),通過提升計(jì)算機(jī)的硬件配置可進(jìn)一步提高缺陷的識(shí)別效率。

6 結(jié) 論

本次研究搭建基于邁克爾遜干涉的剪切成像系統(tǒng)并利用高精度四步相移技術(shù)獲得高質(zhì)量剪切成像條紋;然后使用YOLOv5和Faster R-CNN深度學(xué)習(xí)算法對(duì)典型剪切散斑干涉缺陷條紋數(shù)據(jù)集進(jìn)行訓(xùn)練,得到相應(yīng)的檢測(cè)模型;最后將這兩種檢測(cè)模型成功地應(yīng)用于復(fù)合材料的缺陷識(shí)別。在本次實(shí)驗(yàn)條件下,YOLOv5和Faster R-CNN缺陷識(shí)別方法的檢測(cè)平均精度分別為92.09 %和97.84 %,檢測(cè)平均速率分別為50 f/s和11 f/s。因此,提出的兩種缺陷檢測(cè)方法能夠有效提高剪切散斑干涉成像復(fù)合材料缺陷評(píng)估中的檢測(cè)效率和準(zhǔn)確率。