周李洪,龔金科,李兵
(1.湖南大學(xué)機(jī)械與運(yùn)載工程學(xué)院,湖南長沙,410082;2.湖南機(jī)電職業(yè)技術(shù)學(xué)院汽車工程學(xué)院,湖南長沙,410151;3.合肥工業(yè)大學(xué)電氣與自動化工程學(xué)院,安徽合肥,30009)
在生產(chǎn)力水平迅速發(fā)展和工業(yè)技術(shù)、工藝水平不斷提高的背景下,金屬材料已廣泛應(yīng)用于社會發(fā)展的各個行業(yè)中,同時發(fā)揮了非常重要的作用。其中,汽車金屬材料在加工時,會不可避免地出現(xiàn)一些缺陷,如鑄造時生成的氣孔、表層黏砂和夾砂等,還有鍛造時的表層裂紋等。在材料整個使用周期中,在時間不斷延長、氣候和環(huán)境等一系列因素影響下,腐蝕和疲勞等不足也逐漸產(chǎn)生。此類缺陷會對材料整體使用壽命和力學(xué)特性等產(chǎn)生直接影響。一些微小缺陷的發(fā)展會造成材料失效同時出現(xiàn)斷裂,因此,汽車金屬材料表面微小缺陷的無損檢測成為了急需解決的問題。國內(nèi)無損檢測起步相對較晚,但是整體發(fā)展很迅速。近年來,人們采用超聲波、光聲和機(jī)器視覺等多種手段進(jìn)行了相應(yīng)研究[1-2]。無損檢測指的是以不破壞對象正常使用功能為前提條件,使用現(xiàn)代化技術(shù)與設(shè)備對因材料缺陷造成的異常進(jìn)行檢測,以此得到缺陷信息的檢測技術(shù),其能夠減少及消除金屬材料隱患。該技術(shù)為工業(yè)發(fā)展過程中不可或缺的有效工具,在提高生產(chǎn)力和促進(jìn)國家發(fā)展中具有重要的現(xiàn)實(shí)意義[3-4]。李萍等[5]提出了一種基于深度學(xué)習(xí)的缺陷識別方法,通過卷積神經(jīng)網(wǎng)絡(luò)模型獲得汽車金屬材料表面缺陷特征,通過深度學(xué)習(xí)對汽車金屬材料表面特征進(jìn)行分析,提升了對汽車金屬材料微小缺陷識別的適應(yīng)性,但是缺陷類型判斷效果不佳。蘭紅等[6]提出了三維灰度矩陣的汽車金屬材料缺陷識別方法,通過圖像灰度矩陣對樣本圖像空間特征進(jìn)行分割,通過三維灰度矩陣構(gòu)畫等值線圖,結(jié)合全局搜索與局部搜索方法確定材料表面凹凸區(qū)域位置,實(shí)現(xiàn)對微小裂紋缺陷精確定位。此方法能夠有效提升缺陷識別率,但是抗干擾效果不佳。因此,為了有效地識別汽車金屬材料表面缺陷,并進(jìn)行及時處理,本文作者提出基于Gabor小波的汽車金屬材料表面微小缺陷快速識別方法,利用Gabor小波技術(shù)對光照干擾進(jìn)行處理,通過改進(jìn)Otsu 閾值分割方法對汽車金屬材料表面微小缺陷圖像進(jìn)行分割,然后,通過Gabor模板卷積操作獲取圖像邊緣,實(shí)現(xiàn)汽車金屬材料表面微小缺陷的快速識別。
為了提取圖像中的缺陷,首先對圖像進(jìn)行分割,引入Otsu 閾值分割法對圖像進(jìn)行分割。該分割法可稱作最大類間方差法,其運(yùn)行原理為將原始圖像基于灰度劃分成目標(biāo)與背景2個類別,同時使其類間的方差最大化。該算法的整個過程在圖像一維直方圖中執(zhí)行。當(dāng)獲取圖像一維直方圖后,算法執(zhí)行時與圖像尺寸沒有相關(guān)性,由此執(zhí)行效率非常高。圖1所示為汽車金屬材料表面缺陷圖。
假設(shè)圖像中灰度i的像素占據(jù)整個圖像的比例為pi,整幅圖像灰度均值以t為閾值對缺陷圖像C進(jìn)行分類,分別為C0和C1,2個類別占據(jù)的比例為
圖1 汽車金屬材料表面缺陷圖Fig.1 Surface defects of automotive metal materials
2個類別各自的灰度均值為傳統(tǒng)Otsu算法目標(biāo)函數(shù)是C0和C1這2個類別的類間方差,表示形式為
式中:ω0(t)為C0類缺陷圖像類別占比;ω1(t)為C1類缺陷圖像類別占比;μ0(t)為C0類缺陷圖像灰度初始值;μ1(t)為C1類缺陷圖像灰度初始值。
能夠使式(3)獲取最大值的t*就是分割閾值,從數(shù)學(xué)上證明式(3)最大化的目標(biāo)函數(shù)Q(t)的表達(dá)式為
其中,最佳閾值t*可利用下式得到:
圖2所示為缺陷圖像的灰度直方圖。從圖2可以看出:直方圖具有單峰性特征,不具備顯著性雙峰特征,使用Otsu 算法獲得的閾值通常不在谷底部位,因此,傳統(tǒng)Otsu 算法無法獲取理想的圖像分割結(jié)果。
圖2 缺陷圖像的灰度直方圖Fig.2 Gray histogram of defect image
針對上述問題提出改進(jìn)Otsu 算法,對圖像進(jìn)行分割。汽車金屬材料表面微小缺陷屬于小目標(biāo),因此,表面缺陷在圖像中占據(jù)的比例非常低,導(dǎo)致圖像直方圖呈近單峰特征。根據(jù)分割閾值處在谷底的特征,通過強(qiáng)調(diào)谷底條件下的改進(jìn)Otsu 算法實(shí)現(xiàn)圖像分割。該算法與傳統(tǒng)Otsu 算法最大的不同體現(xiàn)在目標(biāo)函數(shù)上,改進(jìn)算法目標(biāo)函數(shù)Q(t)的表示形式為
由式(6)可知,該目標(biāo)函數(shù)添加了權(quán)重參數(shù)(1-pt)。其中,pt越小,則表示出現(xiàn)概率越小,其在目標(biāo)函數(shù)中占據(jù)的權(quán)重就越大,由此該目標(biāo)函數(shù)能夠確保閾值一直處在谷底,使占據(jù)圖像比例相對大的背景可以被忽視,占據(jù)比例較小的缺陷目標(biāo)可以被提取[7-8]。
綜上可知,改進(jìn)Otsu算法執(zhí)行步驟如下。
步驟1:遍歷圖像中所有像素,統(tǒng)計圖像一維灰度,并對各灰度出現(xiàn)概率進(jìn)行計算。
步驟2:遍歷所有灰度t,利用式(6)計算相應(yīng)目標(biāo)函數(shù)。
步驟3:在所有目標(biāo)函數(shù)中尋找最大值,該最大值相應(yīng)灰度t*就是分割閾值。
步驟4:將灰度比閾值低的像素灰度設(shè)置成0,剩下灰度設(shè)置為255,獲取分割之后汽車金屬材料表面圖像的二值化圖像。
對上述缺陷圖像進(jìn)行分割后,將Gabor小波與馬氏距離法結(jié)合,可快速識別汽車金屬材料表面微小缺陷。
1.2.1 Gabor小波變換
Gabor 濾波器(帶通濾波器)具有頻率選擇與方向選擇等特征。因Gabor小波變換窗口函數(shù)為1個固定值,假設(shè)將小波函數(shù)用在變換過程中,能夠以高分辨率分析頻域與時間域[9-10]。圖像的邊緣特征為畸變像素點(diǎn)構(gòu)成的集合,Gabor小波函數(shù)能夠捕捉到對應(yīng)空間部位、頻率及方向選擇性的像素數(shù)據(jù)對缺陷邊緣進(jìn)行識別。利用Gabor小波實(shí)現(xiàn)缺陷識別,不僅可以去除噪聲,而且可以很好地保留缺陷紋理特征。
利用直接由頻域構(gòu)建Gabor小波二維的卷積模板,提取相同尺度下的8個方向上特征圖像實(shí)現(xiàn)二維邊緣圖像重構(gòu)[11]。
假設(shè)在笛卡爾坐標(biāo)系中,方向和尺度分別為u和v的二維Gabor小波函數(shù)gu(z) 表示形式為
式中:z=(x,y),代表圖像的像素點(diǎn)坐標(biāo);‖·‖代表相應(yīng)值歐式范數(shù)[12];σ為圖像像素點(diǎn)的散布函數(shù);ku,v為高斯窗口波長變化函數(shù),它能夠控制高斯窗口整體寬度、振蕩部分波長和方向。
式中:kv為濾波器采樣頻率;kmax為最大的采樣頻率;f為頻域范圍內(nèi)核函數(shù)間隔因子[13];φu=πu/8,u為圖像灰度函數(shù),該值反映了濾波器整體方向選擇性。
根據(jù)式(7)可知,Gabor 小波函數(shù)gu(z)為R′2→C′上的一個復(fù)值函數(shù)[14],R′2為缺陷圖像像素離散域,C′為缺陷圖像類間方差集合,利用實(shí)部R′u(z)、虛部I′u(z)有
式中:I′u(z)為利用Gabor小波函數(shù)和圖像g之間卷積所得虛部函數(shù)。設(shè)定圖像中1 點(diǎn)g0(x,y),利用Gabor小波描述g0(x,y)位置周邊圖像特征,則缺陷圖像卷積函數(shù)G′u,v(g0) 可表示為
其中:*代表卷積操作;G′u(g0)為點(diǎn)g0(x,y)位置汽車金屬材料表面微小缺陷圖像卷積。在圖像邊緣定義中,G′u(g0) 為圖像周邊像素灰度的階躍變化,或者是屋頂狀變化像素構(gòu)建的集合,圖像邊緣點(diǎn)為一種信號突變點(diǎn)或者奇異點(diǎn)[15-16],因此,能夠利用下式描述圖像Gabor特征集合S′,即
根據(jù)上述Gabor小波特性,該集合S′能夠捕捉圖像不同頻率和方向下邊緣,還有局部明顯特征,此類突變或奇異點(diǎn)構(gòu)成的組合就是目標(biāo)缺陷區(qū)域。
1.2.2 馬氏距離法
馬氏距離法能夠描述數(shù)據(jù)協(xié)方差距離,為得到2個未知樣本集合相似程度的可靠方法。因汽車金屬材料微小缺陷存在的特征,傳統(tǒng)歐式距離法僅對圖像中2 點(diǎn)間距離進(jìn)行計算,結(jié)果誤差較大,容易受外界干擾[17]。當(dāng)協(xié)方差矩陣為C′z時,缺陷圖像中隨機(jī)2 點(diǎn)x和y的馬氏距離函數(shù)服從正態(tài)分布。針對根據(jù)n′個樣本zi=(xi,yi)τ構(gòu)建的樣本空間z={(xi,yi)τ,…,(xn,yn)τ},τ為樣本在空間的分布密度,隨機(jī)樣本點(diǎn)和樣本均值μ′z=(μ′x,μ′y)之間馬氏距離Di,j的計算式為
其中:
利用馬氏距離能夠增強(qiáng)圖像邊緣像素點(diǎn)的基本特征,并使缺陷興趣區(qū)域像素點(diǎn)變得更為顯著。傳統(tǒng)馬氏距離只是對整個圖像協(xié)方差矩陣進(jìn)行計算,對于興趣區(qū)域、背景圖像不進(jìn)行劃分,并且夸大了變化比較微小的像素,導(dǎo)致誤檢率較高[18]。經(jīng)綜合考慮,采用加權(quán)馬氏距離實(shí)現(xiàn)圖像增強(qiáng)處理。
在樣本空間范圍內(nèi),p′為特征維數(shù),則當(dāng)原灰度樣本點(diǎn)和樣本均值μ′=(μ′x,μ′y)時,將相關(guān)參數(shù)代入式(12),獲得馬氏距離計算公式:
式中:Cij為灰度矩陣。
如果C′為正定陣,那么存在C′-1/2使式(16)成立:
式中:λ1,…,λp′為C′的特征值;M列向量是對應(yīng)單位特征向量;Q為缺陷圖像邊緣像素特征向量。綜上,p′維空間范圍內(nèi)的點(diǎn)xi(p′)與樣本均值μ′j(p′)之間加權(quán)馬氏距離表達(dá)式為
加權(quán)之后圖像中不同像素點(diǎn)權(quán)重見圖3。
圖3 加權(quán)后圖像中不同像素點(diǎn)權(quán)重Fig.3 Weighting values of different pixels in weighted image
分析圖3可知:歸一化灰度與權(quán)重具有相關(guān)性,當(dāng)歸一化灰度為0.2時,權(quán)重為1.5,當(dāng)歸一化灰度為0.6時,權(quán)重為3.0;歸一化灰度越大,權(quán)重增加越緩慢。
1.2.3 缺陷識別
在缺陷識別過程中,先對圖像實(shí)行預(yù)處理,其中包含圖像均衡化以及同態(tài)濾波等,以此去除光照產(chǎn)生的影響。利用模擬測試法得到Gabor濾波器運(yùn)行中的最佳參數(shù),對樣本汽車金屬材料表面微小缺陷圖像進(jìn)行Gabor模板卷積操作,獲取邊緣圖像。針對邊緣圖像進(jìn)行加權(quán)馬氏距離計算,增強(qiáng)邊緣輪廓特征。最后通過連通區(qū)域標(biāo)記,檢索并同時標(biāo)記汽車金屬材料表面的缺陷,實(shí)現(xiàn)缺陷識別。
綜合Gabor濾波器自身組成特性,選擇運(yùn)行參數(shù)時,一般考慮的是頻域空間[19-20]。在此,利用模擬試驗(yàn)機(jī)法,從整體到局部,設(shè)定在其他參數(shù)均為最優(yōu)的前提下,剖析單個因素對圖像邊緣紋理產(chǎn)生的影響。其中,對Gabor函數(shù)提取圖像邊緣產(chǎn)生影響的主要參數(shù)包含卷積模板尺寸、最大的采樣頻率和空間頻率以及濾波器模板大小等。
在Gabor 卷積模板尺寸選擇中,當(dāng)模板由16像素*16像素順次增加到128像素*128像素時,對應(yīng)的濾波器形狀也會發(fā)生變化。在Gabor卷積模板范圍不斷增加下,對應(yīng)Gabor卷積核非零部分變得越來越小,表示其提取到的特征不斷趨向細(xì)節(jié)特征。由此,要基于具體應(yīng)用選取合適Gabor 核函數(shù)窗。
假設(shè)最大樣本采集頻率為π,那么得到的邊緣紋理非常細(xì)膩,特征十分顯著,但是容易受到噪聲影響;假設(shè)空間頻率為π,那么得到的邊緣紋理相對模糊,且細(xì)節(jié)特征顯著性不強(qiáng)。因此,實(shí)驗(yàn)確定最大樣本采集頻率為π/2,而空間頻率取為π/3。
當(dāng)濾波器尺度(濾波算子的空間作用范圍,對于高斯類算子指其均方差)相對小,則提取到的特征比較細(xì)膩,但受噪聲影響。在尺度不斷增加下,邊緣細(xì)節(jié)會逐漸丟失,還會產(chǎn)生偏移現(xiàn)象。除此之外,多尺度會大大增加整體計算量。
加權(quán)馬氏距離在閾值化之后,得到的邊緣存在細(xì)微毛刺,利用設(shè)定閾值將毛刺去除會出現(xiàn)誤檢毛刺。經(jīng)模擬可知,若閾值過小則會導(dǎo)致得到的邊緣較粗糙,增加了誤檢率。若閾值過大,則導(dǎo)致邊緣過于細(xì)膩,漏檢率會偏高,并且容易受噪聲影響。經(jīng)測試,最佳閾值約為0.6。
在缺陷圖像分割基礎(chǔ)上,進(jìn)行如下步驟。
步驟1:輸入帶有缺陷并分割完成的圖像,對圖像進(jìn)行進(jìn)一步處理。
步驟2:構(gòu)建二維Gabor 小波函數(shù)。在指定尺度和不同方向下,構(gòu)建8個方向上的Gabor卷積模板,并針對各方向下模板和缺陷圖像進(jìn)行Gabor卷積操作,得到8個卷積圖像,然后利用逆濾波實(shí)現(xiàn)圖像復(fù)原,獲取Gabor提取到的邊緣圖像。
步驟3:利用步驟2 得到汽車金屬材料表面微小缺陷邊緣圖像,對總灰度均值μ′=(μ′x,μ′y)進(jìn)行計算。得到圖像各像素點(diǎn)灰度zi=(xi,yi)τ,并構(gòu)建權(quán)重函數(shù)。對加權(quán)像素數(shù)據(jù)集合進(jìn)行計算,對協(xié)方差矩陣進(jìn)行重新估計。
步驟4:基于加權(quán)馬氏距離計算式獲取任意灰度樣本和總樣本之間差值,以增強(qiáng)圖像邊緣特征。
步驟5:利用連通區(qū)域標(biāo)記法實(shí)現(xiàn)興趣區(qū)域檢索和標(biāo)注。引入2次掃描法,在第一次掃描時賦予不同label 值,二次掃描時對相鄰連通區(qū)域label 值進(jìn)行同化。最后在原圖像中標(biāo)記缺陷具體位置。圖4所示為缺陷識別流程示意圖。
在驗(yàn)證基于Gabor小波的汽車金屬材料表面微小缺陷快速識別方法有效性過程中,將實(shí)驗(yàn)平臺搭建在Matlab 上,對汽車空調(diào)壓縮機(jī)表面缺陷進(jìn)行實(shí)驗(yàn)檢測,以驗(yàn)證所提技術(shù)實(shí)用性。壓縮機(jī)缸體由灰鐵(N0.35)鑄造而成,其長×寬×高為370 mm×230 mm×180 mm。實(shí)驗(yàn)數(shù)據(jù)來源于某汽車生產(chǎn)廠家,共采集了橫向劃傷、縱向劃傷和網(wǎng)紋等幾種缺陷圖像數(shù)據(jù),原始圖像像素為732×287。為了實(shí)驗(yàn)方便,在原始圖像中截取128×128 帶有缺陷的區(qū)域,共得樣本為1 356 個,其中1 個樣本中可能含有多種類型缺陷。
圖4 缺陷識別流程示意圖Fig.4 Schematic diagram of defect identification
為了驗(yàn)證缺陷識別效果,采用三維灰度矩陣法、深度學(xué)習(xí)法以及Gabor小波法對汽車金屬材料缺陷進(jìn)行識別,得到放大10 000 倍后的電鏡識別結(jié)果如圖5所示。
圖5 不同方法的缺陷識別效果Fig.5 Defect recognition effect of different methods
由圖5可知:采用不同方法所得檢索效果不同。采用三維灰度矩陣法識別出的缺陷圖像清晰度明顯較低,只能在檢測結(jié)果中看見較為明顯的3個缺陷,但是缺陷是凹陷還是凸起無法確定,缺陷識別效果不佳;采用深度學(xué)習(xí)法識別出的缺陷圖像比較模糊,可能是受到了噪聲的影響,缺陷識別效果較差。而圖5(c)中的缺陷識別圖像結(jié)果清晰度較高,能夠有效確定缺陷位置,同時可以區(qū)分缺陷類型,說明Gabor 小波法具有較好的識別效果。
利用不同方法對比結(jié)果驗(yàn)證所提方法正確性,所得結(jié)果見圖6。
圖6 缺陷識別正確率Fig.6 Defect recognition accuracy
由圖6(a)可知:采用不同方法所得橫向劃傷識別率不同;當(dāng)樣本圖像數(shù)量為100幅時,三維灰度矩陣法的橫向劃傷識別率為87%,Gabor小波法的橫向劃傷識別率為99.5%,深度學(xué)習(xí)法的橫向劃傷識別率為83%;當(dāng)樣本圖像數(shù)量增加到900 幅時,三維灰度矩陣法的橫向劃傷識別率為89%,Gabor小波法的橫向劃傷識別率為98%,深度學(xué)習(xí)法的橫向劃傷識別率為77%。采用本文方法所得橫向劃傷識別率一直較高。
由圖6(b)可知:不同方法的縱向劃傷識別率不同;當(dāng)樣本圖像數(shù)量為300幅時,三維灰度矩陣法的縱向劃傷識別率為79%,Gabor小波法的縱向劃傷識別率為94.9%,深度學(xué)習(xí)法的縱向劃傷識別率為77%;當(dāng)樣本圖像數(shù)量增加到900幅時,三維灰度矩陣法的縱向劃傷識別率為78%,Gabor小波法的縱向劃傷識別率為95%,深度學(xué)習(xí)法的縱向劃傷識別率為80%。本文方法的縱向劃傷識別率較高。
由圖6(b)~(f)可知:本文方法的橫向裂紋識別率、縱向裂紋識別率、網(wǎng)紋識別率以及壓痕識別率比其他2種傳統(tǒng)方法的高,說明這種方法很好地解決了由于微小變化導(dǎo)致的誤檢問題,增強(qiáng)了汽車金屬材料表面微小缺陷邊緣特征,提高了缺陷識別率。
在上述基礎(chǔ)上檢測不同方法對金屬缺陷的誤判率,結(jié)果如表1所示。
表1 不同方法的缺陷誤判率Table 1 Defect misjudgment rates by different methods
由表1可知:當(dāng)識別出的缺陷圖像數(shù)量為100幅時,三維灰度矩陣法的缺陷誤判率為32%,深度學(xué)習(xí)法的缺陷誤判率為22%,Gabor小波法的缺陷誤判率為1%;在700 幅缺陷圖像中,三維灰度矩陣法的平均缺陷誤判率為32%,深度學(xué)習(xí)法的平均缺陷誤判率為22%,Gabor小波法的平均缺陷誤判率為1%。采用本文方法所得缺陷誤判率比其他2種方法的低,缺陷識別效果好。
采用sigmaplot 軟件獲得上述3 種方法的缺陷識別用時,結(jié)果如圖7所示。
圖7 缺陷識別用時Fig.7 Defect identification time
由圖7可知:當(dāng)樣本圖像數(shù)量為200幅時,三維灰度矩陣法的缺陷識別用時為42 ms,深度學(xué)習(xí)法的缺陷識別用時為21 ms,Gabor 小波法的缺陷識別用時為5 ms;當(dāng)樣本圖像數(shù)量為800幅時,三維灰度矩陣法的缺陷識別用時為32 ms,深度學(xué)習(xí)法的缺陷識別用時為24 ms,Gabor 小波法的缺陷識別用時為3 ms。本文方法的缺陷識別用時始終較短,說明本文方法的識別效率最高,實(shí)現(xiàn)了汽車金屬材料表面微小缺陷快速識別。
1)汽車金屬材料缺陷高精度檢測是提高車輛質(zhì)量的必要手段,為此,提出基于Gabor小波的汽車金屬材料表面微小缺陷快速識別方法。以圖像分割結(jié)果為基礎(chǔ),結(jié)合Gabor 小波和加權(quán)馬氏距離,實(shí)現(xiàn)缺陷識別。
2)采用本文方法所得缺陷識別圖像結(jié)果清晰度較高,能夠有效確定缺陷位置,同時可以區(qū)分缺陷類型,說明Gabor 小波法具有較好的識別效果。
3)本文方法的橫向裂紋識別率、縱向裂紋識別率、網(wǎng)紋識別率以及壓痕識別率都明顯高于其他2種傳統(tǒng)方法,有效地解決了由于微小變化導(dǎo)致的誤檢問題,增強(qiáng)了汽車金屬材料表面微小缺陷邊緣特征,提升了缺陷識別率。