基于機器視覺的汽車零件涂裝缺陷檢測方法

周鼎賀，宋志峰，林富生，余聯(lián)慶，史正倩，程澤

（武漢紡織大學(xué)機械工程與自動化學(xué)院，湖北省數(shù)字化紡織裝備重點實驗室，三維紡織湖北省工程研究中心，湖北 武漢 430200）

隨著汽車行業(yè)不斷發(fā)展，汽車零件涂裝工藝及質(zhì)量受到越來越多的關(guān)注。工藝水平以及現(xiàn)場生產(chǎn)環(huán)境的不確定性等因素會造成涂層表面產(chǎn)生不同程度的缺陷，尤其是在涂裝零件表面的孔洞邊緣處，經(jīng)常會由于表面形狀發(fā)生變化或孔洞周圍存在油污，造成如圖1所示的破損、漏膜等情況，對零件的使用壽命造成影響。針對這一情況，人們對孔洞邊緣的缺陷檢測進行了一些探索。王愛芳等[1]基于自適應(yīng)生長區(qū)算法對圖像進行分割，判斷孔洞邊緣是否存在缺陷，提取準(zhǔn)確率為75.16%，但該算法速度較慢。王雪梅[2]利用神經(jīng)網(wǎng)絡(luò)對孔洞周圍的涂裝缺陷進行分類檢測，對缺陷進行了合理分類，但提取準(zhǔn)確率并未提高。駱亞微[3]通過圖像分割，改善了分水嶺算法和Canny算子不連續(xù)的情況，進一步提高了識別準(zhǔn)確率，但花費時間較長，不利于工業(yè)上的快速檢測。

圖1 涂裝缺陷Figure 1 Coating defects

本文在現(xiàn)有工作基礎(chǔ)上提出了一種新的檢測方法，在保證檢測精度的前提下，進一步減少檢測所需時間，提高檢測效率。首先采取不同的光照方式與光源進行實驗，得到合適的圖像采集方案；然后通過對比不同的孔洞定位擬合方法對孔洞進行快速定位及擬合縮短檢測時間；再使用快速傅里葉變換，在頻域內(nèi)構(gòu)建高通濾波器進行濾波與卷積，利用傅里葉逆變換轉(zhuǎn)回空間域從而消除噪聲，保留缺陷特征；最后使用閾值分割與特征提取，提取出缺陷區(qū)域。

1 檢測平臺的搭建

基于機器視覺的涂裝缺陷檢測主要包括涂裝圖像的采集和處理兩部分。

1.1 涂裝圖像的采集

圖像采集系統(tǒng)一般由工業(yè)CCD相機、圖像采集卡、照射光源、輸入輸出設(shè)備等組成[4]，采用側(cè)向照明，其總體結(jié)構(gòu)如圖2所示。

圖2 涂層缺陷檢測系統(tǒng)Figure 2 System for detecting defects of coatings

1.2 光源實驗

在工業(yè)圖像采集的過程中常用的光源類型有鎢絲燈、鹵素?zé)?、熒光燈、鎂氖燈和LED光源燈[5]，其中LED光源具有較快的響應(yīng)速度和較高的可靠性，因此以其作為試驗光源。

為了更好地捕捉黑色涂裝零件表面的缺陷，增強對比度，選取冷白色溫6 500 ~ 7 500 K的LED白色光源，并且通過使用光源控制器來尋找合適的光源亮度。通過不同的光源配合側(cè)向的打光方式可滿足盡量減少表面反光的要求。針對同一涂裝零件表面成像效果的分析見表1。

表1 不同形狀的LED光源的成像效果Table 1 Imaging effects of different types of LED light sources

為了進一步觀察不同光源對圖像采集時的影響，截取40組圓環(huán)周圍100像素 × 100像素的樣本計算光照有效性。其過程如下：

(1) 按式(1)計算該區(qū)域內(nèi)3個顏色分量的平均值Igray(i,j)。

式中(i,j)為某點像素的坐標(biāo)，R(i,j)、G(i,j)和B(i,j)分別為紅色分量、綠色分量和藍色分量。通過Halcon軟件內(nèi)的get_gray_val算子獲得目標(biāo)區(qū)域的灰度值，并通過decompose算子實現(xiàn)R、G、B三通道分離，從而得出目標(biāo)區(qū)域內(nèi)的各顏色分量數(shù)值。

(2) 按式(2)計算光照有效性η。

式中σ iσ j為像素點個數(shù)。如圖3所示，4種光源下的光照有效率均大于0.2。環(huán)形光源的光照有效率分布在0.55附近，不同區(qū)域的波動幅度較大，對于圖像特征的采集可能會出現(xiàn)缺漏。條形光源在主要照射區(qū)域的光照有效率較高，在0.6附近，但對于附近區(qū)域的采集性較差，只有0.25。平面光源的光照有效性較高，在0.65附近，且對圖像區(qū)域的采集比較平均。同軸光源雖然對各個區(qū)域的采集性較好，但有效率只有0.2，整體偏低。為了獲得更好的圖像采集效果，選取平面光源作為主光源進行圖像采集。

1.3 圓環(huán)的擬合及定位

為了檢測零件表面各圓孔周圍是否存在缺陷，首先要對零件表面的圓孔進行識別定位，在識別到圓孔之后，再對周圍區(qū)域進行缺陷檢測，進一步縮小檢測區(qū)域以縮短檢測時間。其次，經(jīng)過邊緣提取和雙閾值輪廓尋找，可以初步尋找到零件表面圓孔的大致輪廓與離散的空間點；最后為了更好地尋找圓輪廓，利用迭代加權(quán)最小二乘法將空間上離散的點與殘缺的圓輪廓進行擬合。

1.3.1 亞像素邊緣提取

對圖像進行邊緣提取，從而得到物體表面各個位置的輪廓，為后續(xù)對圓環(huán)的定位以及圓環(huán)周圍缺陷的檢測奠定基礎(chǔ)?；赟obel算子與Canny算子的邊緣提取能夠較為準(zhǔn)確地提取出圖像待檢邊緣及骨架，其具體過程如下：

設(shè)其一階水平、豎直的2 × 2卷積模板為Tx、Ty為：

利用矩陣對圖像像素點進行卷積：x

Γ、yΓ為該像素點水平與豎直方向的梯度，其幅值Γ(x,y)與方向α分別為：

Sobel算子對計算出的水平梯度與豎直梯度進行加權(quán)疊加，計算出整體方向的梯度；而Canny算子在計算規(guī)定方向的梯度基礎(chǔ)之上，對其他的梯度方向進行非最大抑制，保證了單一邊緣響應(yīng)的良好性，可以更好地提取圖像邊緣細節(jié)。

經(jīng)過亞像素邊緣Sobel算子與Canny算子提取后，圖像邊緣如圖4所示，可見Canny算子對此涂裝零件的邊緣提取有較好的適應(yīng)性，因此最終選擇了Canny算子進行邊緣提取。

圖4 Canny算子(a)和Sobel算子(b)邊緣提取Figure 4 Edges extracted by Canny arithmetic (a) and Sobel arithmetic (b)

1.3.2 迭代擬合

由于圓環(huán)輪廓附近無關(guān)影響點較多，在進行擬合時影響較大，對每個像素點引入權(quán)重函數(shù)?()δ，弱化遠距離點對圓環(huán)輪廓擬合的影響。而權(quán)重函數(shù)?()δ的計算需要在得到擬合圖形的方程上進行，因此需要利用多次迭代擬合后進行距離的計算來定義權(quán)重函數(shù)，這些權(quán)重用于后續(xù)的迭代過程。

首先利用最小二乘方程m(f)對二維平面的離散點集Δ(x,y)進行n階擬合。其結(jié)果如圖5所示，由圖可知擬合的階數(shù)越大，處于擬合曲線上的離散點越多，但曲線越曲折，不利于后續(xù)圓的擬合，因此在保證一定數(shù)量的離散點處在擬合曲線之上后，應(yīng)盡量降低擬合的階數(shù)，經(jīng)實驗選取n= 3。

圖5 n階擬合曲線Figure 5 n-order fitting curves

1.3.3 加權(quán)擬合

利用Huber權(quán)重函數(shù)?1()δ和Tukey權(quán)重函數(shù)?2()δ對空間離散點集?(x,y)進行圓的擬合實驗，其結(jié)果如圖6所示。該擬合的有效性見圖7。

圖6 Huber函數(shù)(a)和Tukey函數(shù)(b)擬合試驗Figure 6 Fitting experiments of Huber function (a) and Tukey function (b)

圖7 Huber函數(shù)與Tukey函數(shù)擬合的有效性Figure 7 Fitting effectiveness of Huber function and Tukey function

由于擬合圓輪廓的大部分輪廓已經(jīng)得到，因此采用Huber權(quán)重函數(shù)對該圓環(huán)提取模型的適應(yīng)性較好，提取結(jié)果如圖8所示。

圖8 Huber函數(shù)擬合圓Figure 8 Circle fitted based on Huber function

1.3.4 分割感興趣區(qū)域(ROI，region of interest)

為了進一步減少無關(guān)區(qū)域?qū)θ毕輽z測的影響，以已定位擬合的圓環(huán)為內(nèi)圓向外擴大，形成如圖9所示的同心圓環(huán)ROI區(qū)域，從而減少檢測區(qū)域，縮短檢測時間。

圖9 ROI區(qū)域分割Figure 9 Segmentation of ROI region

1.4 圖像預(yù)處理

由于實際生產(chǎn)環(huán)境的復(fù)雜性，即使設(shè)計應(yīng)用了相應(yīng)的光學(xué)系統(tǒng)來減少孔洞周圍的反光，但噪聲的出現(xiàn)仍不可避免[6]，在保留特征而不損失細節(jié)信息的前提下，在頻域內(nèi)使用非線性濾波器對原始圖像進行光照平衡處理，進一步減小反光對缺陷檢測的影響。

1.4.1 使用非線性帶阻濾波器去噪

首先通過傅里葉變換將數(shù)字圖像信號轉(zhuǎn)入頻域：

其中f(x,y)為圖像矩陣，x、y為圖像的行列坐標(biāo)，F(xiàn)(u,v)為f(x,y)的頻譜。

同一光照下，圖像信號s(x,y)由入射光k(x,y)和反射光l(x,y)兩部分組成[7]，通過傅里葉變換將圖像信號傳入頻域：

圖像經(jīng)過傅里葉變換后，頻域特性也是由入射光k(x,y)和反射光l(x,y)決定，其中l(wèi)(x,y)主要體現(xiàn)缺陷的具體位置[8]。

其次，在頻域內(nèi)構(gòu)建濾波器并進行卷積積分：

G(u,v)為經(jīng)過傅里葉變換后頻域中的卷積函數(shù)，其中傳遞函數(shù)如式(11)所示。

其中E0為終止頻率，當(dāng)u0=v0=0時E0=E。通過改變傳遞函數(shù)使高頻通過、低頻消除，在不損壞圖像缺陷邊緣的前提下去除影響噪聲：

其中l(wèi)h擴大高頻部分所乘系數(shù)，ll為降低低頻部分所乘系數(shù)，λ為銳化系數(shù)。由于最終的濾波器要使得高頻通過、低頻阻隔，因此需要lh>1、ll<1才能達到減弱孔洞周圍亮度的目的。利用MATLAB對不同終止頻率下的非線性帶阻濾波器進行構(gòu)建，如圖10所示。

圖10 不同終止頻率下的帶阻濾波器Figure 10 Band stop filters at different cut-off frequencies

最后將處理后的頻域信號反傅里葉變換轉(zhuǎn)回時域：

經(jīng)過不同終止頻率濾波器處理后的涂裝零件表面如圖11所示。對比4種終止頻率濾波器對圖像處理的結(jié)果可以發(fā)現(xiàn)E0= 10時最大程度地保留了缺陷細節(jié)，并減少了光照影響，因此最終選取E0= 10。

圖11 不同終止頻率下的濾波處理孔洞表面圖像Figure 11 Images of hole surface filtered under different cut-off frequencies

1.5 圖像分割

1.5.1 閾值分割

對預(yù)處理之后的圖像進行閾值分割可以有效地將缺陷區(qū)域與背景分割開[9]。首先利用Halcon軟件自帶的Image助手觀察圖12所示的灰度分度直方圖，發(fā)現(xiàn)存在分離明顯的波峰圖，因此采用binary_threshold算子，由Halcon計算出合適的閾值進行閾值分割；然后對閾值分割后的圖像進行如圖13所示的形態(tài)學(xué)處理；最后進行邊緣提取，擬合相鄰XLD曲線，便于后續(xù)特征提取。

圖12 灰度直方圖Figure 12 Gray histogram

圖13 閾值分割與形態(tài)學(xué)處理Figure 13 Threshold segmentation and morphological processing

1.5.2 缺陷提取

由于缺陷出現(xiàn)的區(qū)域以及缺陷的長、寬、灰度等特征均具有隨機性，因此選取面積作為缺陷特征提取的要素，使用select算子對area參數(shù)為50 ~ 9 999內(nèi)的缺陷特征進行提取，提取結(jié)果如圖14所示。

圖14 不同零件的缺陷提取Figure 14 Defect extraction of different parts

2 結(jié)果與討論

2.1 檢測精度分析

為了進一步對該算法的檢測精度、穩(wěn)定性與可靠性進行驗證，利用相機對零件進行隨機抽樣采集，按照上述方法對采集到的圖片進行實驗驗證。實驗樣本為100組，從1到100進行編號。為了檢驗算法的正確性，1?10號全部為不合格產(chǎn)品，11?20號全部為合格產(chǎn)品，21?100號中包括合格產(chǎn)品與不合格產(chǎn)品各40件。1?10號以及11?20號樣品的檢測結(jié)果均正確，21?100號試驗樣品的檢測結(jié)果與檢測用時見表2。

表2 隨機樣本的檢測結(jié)果Table 2 Detection result of random samples

2.2 可靠性與穩(wěn)定性分析

在實際生產(chǎn)環(huán)境中，燈光等因素可能會對檢測過程產(chǎn)生影響。為了檢測該算法的穩(wěn)定性與可靠性，在略微不同的環(huán)境下對1?10號試驗樣品和11?20號實驗樣品進行50次重復(fù)性實驗。從表3和表4可見，該算法對不同環(huán)境的適應(yīng)性較好，不合格產(chǎn)品的檢測成功率平均達到99.4%，合格產(chǎn)品的檢測成功率平均達到99.6%。檢測用時如圖15所示，單幅圖像的缺陷檢測平均用時為320 ms，單個零件檢測平均用時為3.6 s，檢測效率與傳統(tǒng)人工檢測相比提高了40%，滿足工業(yè)生產(chǎn)需求。

圖15 檢測用時統(tǒng)計Figure 15 Statistics of testing time

表3 不合格產(chǎn)品的檢測穩(wěn)定性Table 3 Stability of test results for unqualified product

表4 合格產(chǎn)品的檢測穩(wěn)定性Table 4 Stability of test results for qualified products

3 結(jié)論

傳統(tǒng)人工檢測汽車涂裝零件缺陷存在效率和檢測精度較低、人工成本較高等問題。為了檢測汽車零件表面孔洞邊緣的涂裝缺陷，改進了基于機器視覺的涂裝缺陷檢測方法，并對實際生產(chǎn)中的涂裝零件缺陷進行了檢測與分析。

使用平面光源、CCD(電荷耦合器件)相機、數(shù)據(jù)采集卡和上位機搭建起圖像采集系統(tǒng)，實現(xiàn)了涂裝零件圖片的采集。采用Blob(連通域)分析、閾值分割等方法，實現(xiàn)了對涂裝缺陷的檢測。另外，搭建了一種非線性濾波器來減小光照對圖像處理的影響。利用Huber迭代加權(quán)的圓擬合方式實現(xiàn)了基于Canny算子的空間圓環(huán)的擬合定位，擬合有效性達到80%。

經(jīng)驗證，設(shè)計的算法具有較高的檢測準(zhǔn)確率，單幅圖像的缺陷檢測用時較短，滿足工業(yè)生產(chǎn)的需求。