基于Gabor 變換與區(qū)域生長的瓷磚表面缺陷視覺檢測方法研究

李光亞，鄒國鋒，傅桂霞

（山東理工大學(xué)電氣與電子工程學(xué)院，淄博255049）

0 引言

瓷磚表面缺陷檢測作為產(chǎn)品質(zhì)量監(jiān)測的一項(xiàng)關(guān)鍵內(nèi)容，是確保瓷磚產(chǎn)品質(zhì)量的重要手段，同時(shí)能夠?yàn)槿毕莩梢蚍治龊皖A(yù)防提供重要的技術(shù)參考?，F(xiàn)階段的瓷磚加工生產(chǎn)中，產(chǎn)品表面質(zhì)量檢測嚴(yán)重依賴工人的手工測量和人眼檢測，效率低下，且只能做到抽樣檢測，無法保證百分之百的檢測正確率。另外，由于檢測任務(wù)都是在流水線上重復(fù)簡單、枯燥的工作，人眼疲勞易導(dǎo)致檢測準(zhǔn)確率下降。因此，為了避免傳統(tǒng)人工檢測方法的缺點(diǎn)，適應(yīng)現(xiàn)代化工業(yè)生產(chǎn)對瓷磚表面缺陷檢測速度和精度的較高要求，基于機(jī)器視覺的瓷磚表面缺陷檢測逐步受到科研機(jī)構(gòu)和工業(yè)領(lǐng)域的青睞。

趙海洋等人[1]采用連續(xù)特征值布爾神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)瓷磚表面缺陷檢測，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)的分類速度得到一定提升，但網(wǎng)絡(luò)訓(xùn)練和參數(shù)調(diào)整復(fù)雜，難以實(shí)現(xiàn)工業(yè)應(yīng)用。吳冰等人[2]提出基于BP 神經(jīng)網(wǎng)絡(luò)與區(qū)域生長法相結(jié)合的圖像分割，并應(yīng)用于瓷磚表面缺陷檢測。兩種算法的級聯(lián)使缺陷檢測精確度得到有效提升，但BP 網(wǎng)絡(luò)訓(xùn)練復(fù)雜，工業(yè)應(yīng)用效率低。劉平等人[3]將虛擬儀器技術(shù)應(yīng)用于瓷磚表面平整度自動檢測，能夠提升產(chǎn)品分級的自動化程度。王宣銀等人[4]采用合格樣本圖像和被測圖像堆疊構(gòu)成多元被測圖像，利用主成分分析和閾值處理技術(shù)實(shí)現(xiàn)多元表面缺陷檢測。段春梅等人[5]針對瓷磚素坯表面缺陷檢測問題，采用雙邊濾波、Canny 算子和最佳閾值分割實(shí)現(xiàn)圖像分割，并利用圓形度對缺陷特征進(jìn)行描述，實(shí)現(xiàn)缺陷分類。Hanzaeia S.H.等人[6]提出旋轉(zhuǎn)不變局部方差算子實(shí)現(xiàn)瓷磚缺陷邊緣檢測，并采用形態(tài)學(xué)運(yùn)算平滑檢測區(qū)域，采用SVM 實(shí)現(xiàn)缺陷分類。張軍等人[7]提出小波變換與形態(tài)學(xué)融合的差影法提取瓷磚表面裂紋缺陷，獲得較高準(zhǔn)確率，但無法實(shí)現(xiàn)其他缺陷的有效檢測。

基于多種圖像處理算法結(jié)合的缺陷檢測需要對瓷磚表面圖像進(jìn)行預(yù)處理、分割和分類操作，運(yùn)算復(fù)雜度低，實(shí)時(shí)性較好，但缺陷檢測影響因素分散，需要綜合優(yōu)化才能獲得較好的檢測準(zhǔn)確度?；跈C(jī)器學(xué)習(xí)算法的缺陷檢測往往需要多樣性強(qiáng)、數(shù)量大的訓(xùn)練數(shù)據(jù)集用于模型訓(xùn)練學(xué)習(xí)，然后基于所得模型實(shí)現(xiàn)未知缺陷判斷，但是模型構(gòu)建過程耗時(shí)較多，且訓(xùn)練樣本采集和缺陷標(biāo)注難度較大，難以在工業(yè)生產(chǎn)中應(yīng)用。

綜上分析，本文提出一種融合Gabor 變換與區(qū)域生長的瓷磚表面缺陷檢測方法。首先利用中值濾波和局部直方圖均衡化實(shí)現(xiàn)圖像增強(qiáng)，然后采用Gabor 濾波提取瓷磚表面圖像空間局部頻率特征，進(jìn)一步消除光照不均和表面反光影響。然后采用自動區(qū)域生長實(shí)現(xiàn)瓷磚表面缺陷自動分割。最后采用雙向積分投影方法確定缺陷區(qū)域的范圍，實(shí)現(xiàn)缺陷區(qū)域標(biāo)注。

1 瓷磚表面缺陷簡介

瓷磚生產(chǎn)過程中，由于上釉過程釉料與磚坯膨脹系數(shù)不一致、壓緊過程壓磚機(jī)應(yīng)力過大或過小、選配料時(shí)摻入過多游離石英或有機(jī)物等因素，瓷磚表面會產(chǎn)生多種缺陷[7]。常見的瓷磚表面缺陷包括針孔、麻面、翹曲、色差、裂紋等[8]，其中裂紋、孔洞和色差對瓷磚美觀度影響最大，是重點(diǎn)檢測缺陷，圖1 所示為三種常見缺陷樣本。

圖1 存在表面缺陷的瓷磚樣本

鑒于這三種缺陷在瓷磚生產(chǎn)加工中出現(xiàn)頻率較高，且嚴(yán)重影響產(chǎn)品的美觀性。本文重點(diǎn)針對這三類缺陷的視覺檢測方法開展了研究。本文所提瓷磚表面缺陷檢測方法的基本流程如圖2 所示。

圖2 瓷磚表面缺陷檢測基本流程

2 瓷磚表面缺陷預(yù)處理

瓷磚表面圖像采集易受生產(chǎn)現(xiàn)場光線、灰塵等影響，導(dǎo)致采集圖像出現(xiàn)質(zhì)量下降，不利于后續(xù)圖像分割和缺陷區(qū)域標(biāo)注。因此，采取適當(dāng)?shù)膱D像增強(qiáng)方法，去除干擾噪聲、增強(qiáng)瓷磚背景區(qū)域與缺陷區(qū)域?qū)Ρ榷仁怯斜匾摹?/p>

目前，通用的圖像去噪方法主要包括空間域?yàn)V波、變換域?yàn)V波和形態(tài)學(xué)濾波，其中空間域?yàn)V波法中的均值濾波[9]和中值濾波[10]適合應(yīng)用于圖像的前期預(yù)處理。均值濾波能夠?qū)⒃肼暦稚⒌街車徲?，但無法完全將其去除，反而會導(dǎo)致圖像邊緣模糊，不利于后續(xù)瓷磚表面缺陷的分割和檢測。中值濾波的本質(zhì)是將鄰域范圍內(nèi)的所有灰度值排序，用中間值代替噪聲點(diǎn)的像素值。二維中值濾波運(yùn)算公式為：

其中，f(x,y)和g(x,y)分別表示原始圖像和濾波后的結(jié)果。W 表示濾波模板，通常選擇3×3、5×5 或7×7區(qū)域。實(shí)驗(yàn)表明，模板選擇的區(qū)域范圍越大，去噪效果越好，但對圖像邊緣信息的模糊化越嚴(yán)重。因此，本文實(shí)驗(yàn)中采用了5×5 濾波器模板。

另外，瓷磚表面圖像采集通常在室內(nèi)完成，表面缺陷、花紋與背景顏色有時(shí)非常相近，灰度相差不大，所以采集的圖像灰度值往往集中在狹窄的灰度范圍內(nèi)，整體對比度較低。因此，在完成去噪處理后，還需要通過直方圖均衡化方法增強(qiáng)瓷磚表面缺陷和背景區(qū)域?qū)Ρ榷取?/p>

直方圖均衡化的本質(zhì)是對圖像進(jìn)行非線性拉伸，通過重新配置圖像灰度值，使一定灰度值范圍內(nèi)的像素?cái)?shù)量大致相等。按照均衡化過程中拉伸函數(shù)的作用范圍直方圖均衡化分為全局和局部直方圖均衡化[11-12]。全局直方圖均衡適用于整幅圖像增強(qiáng)，但由于全局變換無法保證局部信息可靠增強(qiáng)，容易導(dǎo)致區(qū)域細(xì)節(jié)被忽視，對缺陷區(qū)域的邊緣檢測和分割不利。因此，以圖像中每個(gè)像素的鄰域灰度分布為基礎(chǔ)設(shè)計(jì)變換函數(shù)，實(shí)現(xiàn)局部直方圖均衡化，更有利增強(qiáng)瓷磚表面缺陷的邊緣信息。本文實(shí)驗(yàn)中采用了文獻(xiàn)[13]提出的子塊重疊局部直方圖均衡算法進(jìn)行瓷磚表面缺陷圖像的對比度增強(qiáng)處理。圖3 所示為經(jīng)過中值濾波和局部直方圖均衡化后的瓷磚表面缺陷圖像，并給出了全局直方圖均衡化的對比結(jié)果。

圖3 瓷磚表面缺陷預(yù)處理結(jié)果

3 瓷磚表面缺陷的Gabor變換

Gabor 變換是一種基于窗口的短時(shí)傅里葉變換，具有較強(qiáng)的局部特征提取能力。二維Gabor 變換，不僅能夠有效提取圖像中的局部特征、弱化噪聲和光照干擾，而且能夠有效提取圖像中的紋理信息。因此，本文采用了二維Gabor 變換[14]提取瓷磚表面缺陷圖像中的紋理特征，同時(shí)也實(shí)現(xiàn)了變換域中的圖像增強(qiáng)。

二維Gabor 變換函數(shù)為：

瓷磚表面缺陷圖像的Gabor 特征可通過將瓷磚圖像與Gabor 濾波器卷積得到。假設(shè)瓷磚圖像灰度值為I(x,y)，則I 和Gabor 函數(shù)Gμ,ν的卷積定義如下：

其中，式中*為卷積算子，z=(x,y)，Oμ,ν(z)表示當(dāng)尺度為ν 和方向?yàn)棣?時(shí)Gabor 卷積圖像。

另外，由于Gabor 卷積的幅值信息反映圖像的能量譜，在圖像真實(shí)邊緣附近具有良好的光滑性，因此，采用每幅卷積圖像的幅值響應(yīng)作為最終的Gabor 特征，其公式如下：

其中，real(Oμ,ν(z))和i mag(Oμ,ν(z))分別為卷積圖像的實(shí)部和虛部。瓷磚表面缺陷圖像的Gabor 變換結(jié)果如圖4 所示。

圖4 瓷磚表面缺陷的Gabor特征

4 基于區(qū)域生長的瓷磚表面缺陷分割

區(qū)域生長[15]是根據(jù)同一目標(biāo)區(qū)域內(nèi)像素的相似性聚集像素點(diǎn)實(shí)現(xiàn)圖像分割，其基本步驟：①選取初始種子點(diǎn)（一個(gè)像素點(diǎn)或者像素區(qū)域）；②將種子點(diǎn)與其周圍鄰域的像素點(diǎn)進(jìn)行比較，若周圍的像素點(diǎn)與種子點(diǎn)滿足同質(zhì)性原則，則將這些像素點(diǎn)與種子點(diǎn)歸為同一類，從而使種子點(diǎn)所屬區(qū)域（即目標(biāo)區(qū)域）逐步增長，獲得圖像分割結(jié)果[16]。

區(qū)域生長算法中，初始種子點(diǎn)選取對圖像分割結(jié)果具有重要影響，傳統(tǒng)種子點(diǎn)選取方法為人機(jī)交互的半自動方式，并不是真正的全自動化分割。因此，本文結(jié)合瓷磚表面圖像特征分布的特點(diǎn)，借鑒文獻(xiàn)[17，18]中種子點(diǎn)的全自動選取方法，提出針對瓷磚表面缺陷圖像的種子點(diǎn)選取方法和分割原則。

瓷磚表面缺陷特點(diǎn)分析：

（1）瓷磚表面缺陷可劃分為幾何型缺陷，如裂縫、孔洞、麻面；區(qū)域型缺陷，如色差。

（2）幾何型缺陷在瓷磚表面圖像中占比較小，形狀特殊，且通常分布于磚體邊緣區(qū)域，與瓷磚花紋或背景區(qū)分度較大，易于分割。

（3）區(qū)域型缺陷在瓷磚表面圖像中占比較大，且通常分布于磚面多個(gè)區(qū)域，色差深淺度和瓷磚背景花紋影響，分割難度較大。

由于幾何型缺陷占比較小，形狀特殊，種子點(diǎn)需選取在瓷磚背景區(qū)域；而區(qū)域型缺陷，由于占比較大，易受背景影響，因此種子點(diǎn)需直接選取在缺陷區(qū)域。

具體的種子點(diǎn)選取步驟分為兩步：①借鑒文獻(xiàn)[17，18]的原則，基于瓷磚表面圖像的直方圖和閾值分割法獲取初始種子點(diǎn)的候選區(qū)域；②在候選區(qū)域中，種子點(diǎn)應(yīng)盡量靠近種子點(diǎn)候選域中心，種子點(diǎn)的像素值應(yīng)盡量接近種子點(diǎn)候選區(qū)域的像素均值，且在候選區(qū)域內(nèi)與種子點(diǎn)像素值相同的像素點(diǎn)應(yīng)盡可能多，以保證種子點(diǎn)與感興趣區(qū)域內(nèi)像素點(diǎn)高度相似。

假設(shè)第i 個(gè)種子點(diǎn)Si的灰度值為Ii，該種子點(diǎn)的第x 個(gè)非種子點(diǎn)鄰域像素Ni,x的灰度值為Ii,x，則Si與Ni,x的距離定義為：

則生長規(guī)則定義為：

其中，T 為區(qū)域生產(chǎn)規(guī)則的判定閾值。當(dāng)種子點(diǎn)Si與Ni,x的距離小于閾值T 時(shí)，則判定Ni,x與種子點(diǎn)Si相似，將Ni,x歸為目標(biāo)區(qū)域；否則，將Ni,x歸為非目標(biāo)區(qū)域。

圖5 所示為種子點(diǎn)自動選取及其經(jīng)過區(qū)域生長后得到的缺陷區(qū)域分割結(jié)果。

圖5 種子點(diǎn)選取及缺陷區(qū)域分割結(jié)果

5 實(shí)驗(yàn)與分析

5.1 圖像缺陷區(qū)域分割效果實(shí)驗(yàn)比較

實(shí)驗(yàn)中所用瓷磚表面缺陷圖像來源于淄博市某建陶生產(chǎn)企業(yè)，數(shù)據(jù)集中主要收集了該企業(yè)生產(chǎn)過程中出現(xiàn)頻率較高的幾種缺陷圖像，其中裂紋缺陷圖像75幅，孔洞缺陷圖像75 幅，麻面缺陷圖像20 幅，色差缺陷圖像50 幅，圖像分辨率歸一化為600×800。為了更好地說明本文所提出圖像分割方法的有效性，實(shí)驗(yàn)中分別采用Sobel、Canny 邊緣檢測算子和基于閾值的二值化分割算法進(jìn)行了對比實(shí)驗(yàn)。部分實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 瓷磚表面缺陷分割結(jié)果比較

圖6 實(shí)驗(yàn)結(jié)果顯示，Sobel 邊緣檢測算子能較好地實(shí)現(xiàn)孔洞缺陷的檢測，但是對于裂紋缺陷和色差缺陷分割效果較差，容易將瓷磚表面的花紋區(qū)域誤分割為裂紋區(qū)域，而對于色差的分割效果則無法實(shí)現(xiàn)準(zhǔn)確分割。Canny 邊緣檢測算子的分割效果更差，將大量的背景區(qū)域和花紋區(qū)域誤分割為缺陷區(qū)域?；诙祷撝档膱D像分割難以克服花紋和光線影響嚴(yán)重，在獲得缺陷區(qū)域的同時(shí)，誤分割出大量非缺陷區(qū)域。

5.2 圖像缺陷區(qū)域標(biāo)注結(jié)果

在完成瓷磚表面缺陷圖像分割后，本文采用雙向積分投影方法捕獲缺陷區(qū)域的邊緣信息，并進(jìn)行缺陷區(qū)域標(biāo)注，實(shí)現(xiàn)缺陷區(qū)域檢測。圖7 所示為裂紋缺陷的雙向積分投影結(jié)果及其缺陷標(biāo)注結(jié)果，采用相同的方法可實(shí)現(xiàn)其他缺陷圖像的標(biāo)注。

5.3 圖像缺陷區(qū)域檢測實(shí)驗(yàn)

基于實(shí)驗(yàn)中收集的瓷磚表面缺陷數(shù)據(jù)集，采用本文提出的檢測方法進(jìn)行了綜合實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果如表1 所示。

實(shí)驗(yàn)數(shù)據(jù)表明，裂紋和孔洞的檢測準(zhǔn)確率較高，但是部分裂紋缺陷較細(xì)，且與瓷磚花紋較為相似，所以出現(xiàn)了較多的漏檢，而孔洞缺陷明顯與瓷磚花紋和背景不同，所以漏檢率較低，但是由于受到瓷磚不同花色和背景的共同影響，容易將花紋區(qū)域誤作為缺陷區(qū)域，導(dǎo)致兩種缺陷的誤檢率較高。麻面缺陷的小斑點(diǎn)隱藏于花紋中的情況較多，檢測難度較大，所以漏檢和誤檢率較高。色差缺陷更多的是受到瓷磚背景色和光線影響嚴(yán)重，檢測難度較大，存在較多的誤檢。

圖7 裂紋缺陷的雙向積分投影及缺陷標(biāo)注結(jié)果

表1 瓷磚表面缺陷檢測實(shí)驗(yàn)數(shù)據(jù)

6 結(jié)語

針對現(xiàn)代瓷磚加工企業(yè)瓷磚表面缺陷檢測中存在的檢測效率低、準(zhǔn)確度差，耗費(fèi)人力物力等不足，本文融合多種圖像處理算法，提出基于Gabor 變換和區(qū)域生長的瓷磚表面缺陷檢測方法，實(shí)驗(yàn)證明了所提方法的有效性和可靠性。另外，本文所提方法存在一定程度的漏檢和誤檢，特別是針對麻面缺陷，檢測準(zhǔn)確率較低。在后續(xù)的研究中將重點(diǎn)針對瓷磚表面的花紋和背景干擾去除方法開展相關(guān)研究，并著手瓷磚表面缺陷圖像大數(shù)據(jù)集的構(gòu)建和標(biāo)注，為基于機(jī)器學(xué)習(xí)算法的缺陷自動檢測做準(zhǔn)備。