基于SURF算法的數(shù)碼印花缺陷檢測(cè)系統(tǒng)

馬超華， 張團(tuán)善

(1.西安工程大學(xué) 機(jī)電工程學(xué)院， 陜西 西安 710048；2.紹興市柯橋區(qū)西紡紡織產(chǎn)業(yè)創(chuàng)新研究院， 浙江 紹興 312030)

近年來，數(shù)碼印花憑借其印花效率高、無需制網(wǎng)、產(chǎn)品效果好及污染少等優(yōu)勢(shì)，在紡織品印花市場(chǎng)中占有越來越大的比重。但在數(shù)碼印花工業(yè)生產(chǎn)中，由于噴頭堵塞、出墨不均、電機(jī)偏差以及輥?zhàn)訅翰疾黄秸纫蛩?，?dǎo)致出現(xiàn)諸如PASS道、布匹褶皺、噴墨不均和漏墨等各種印花缺陷，嚴(yán)重影響了印花布匹的質(zhì)量和價(jià)格。因此，印花織物表面缺陷的檢測(cè)是提高印花織物產(chǎn)品質(zhì)量的重要環(huán)節(jié)。

由于工廠環(huán)境的復(fù)雜性和花型圖案的多樣性，使得印花織物表面缺陷檢測(cè)比較復(fù)雜和困難。目前大部分工廠都采取人工檢測(cè)的方式，難以保證產(chǎn)品質(zhì)量，因此需要一種新的檢測(cè)方法。表面缺陷檢測(cè)的算法可分為基于紋理/顏色/形狀特征的方法[1]、基于顯著性的方法[2]、基于模板匹配的方法[3]、基于模型的方法[4-5]和基于深度學(xué)習(xí)的方法[6]。張團(tuán)善等[7]通過構(gòu)建基矩陣并計(jì)算差異矩陣,對(duì)比疵點(diǎn)因子得到其缺陷二值圖像，但此方法僅適用于密度較高且純色的防羽布，對(duì)花型圖案復(fù)雜的印花織物檢測(cè)效果不強(qiáng)。Peng等[8]提出了一種基于圖像融合的基準(zhǔn)圖像動(dòng)態(tài)更新方法，采用多通道圖像減法對(duì)缺陷進(jìn)行分割并提取缺陷，但在印花織物缺陷檢測(cè)中易受光照噪聲的影響。國(guó)外學(xué)者Tanimizu等[9]提出了一種基于圖像處理技術(shù)的彩色印刷品缺陷自動(dòng)檢測(cè)方法，將圖像的長(zhǎng)度，寬度以及灰度值作為參數(shù)，通過三維的索引空間找到缺陷所在位置。但在印花織物缺陷檢測(cè)中，由于印刷品和印花布匹的尺寸差異，實(shí)施較難且運(yùn)算速度慢。肖樂等[10]提出了一種基于基于多通道Gabor濾波的瑕疵檢測(cè)方法，通過Gabor濾波和建立圖像金字塔并融合重建濾波后的圖像，來實(shí)現(xiàn)瑕疵的提取。但在印花織物缺陷檢測(cè)中Gabor濾波的最優(yōu)參數(shù)選擇難度很大。

課題組以印花織物為研究對(duì)象，設(shè)計(jì)了一種基于改進(jìn)SURF算法的印花織物表面缺陷檢測(cè)系統(tǒng)。經(jīng)過實(shí)驗(yàn)驗(yàn)證，表明該系統(tǒng)可滿足數(shù)碼印花織物缺陷檢測(cè)需求。

1 印花織物缺陷分析和硬件部分設(shè)計(jì)

1.1 常見印花織物缺陷

由于噴頭堵塞、噴頭出墨不均及步進(jìn)電機(jī)偏差等問題，導(dǎo)致織物中出現(xiàn)白絲、斑點(diǎn)和褶皺等缺陷。常見的缺陷種類見表1。

表1 常見缺陷種類

1.2 系統(tǒng)硬件部分設(shè)計(jì)

硬件部分主要由CCD相機(jī)、光源以及圖像處理設(shè)備組成。其中，CCD相機(jī)采用邁德威視公司的MV-GED501C-T彩色面陣相機(jī)，相機(jī)分辨率為1 920 dpi×1 080 dpi，像元尺寸為3.45 μm×3.45 μm；照明系統(tǒng)采用LED光源；鏡頭采用邁德威視公司的MV-LD-25-5M-K鏡頭。視覺平臺(tái)控制原理圖如1所示。

圖1 視覺平臺(tái)原理圖Figure 1 Visual platform schematic

檢測(cè)系統(tǒng)的工作原理為：當(dāng)輥?zhàn)愚D(zhuǎn)過一定角度后，編碼器向工業(yè)相機(jī)進(jìn)行圖像采集；然后相機(jī)將采集的圖像轉(zhuǎn)換為數(shù)字圖像信號(hào)發(fā)送到上位機(jī)對(duì)圖像分析處理，得到缺陷信息；最后檢測(cè)系統(tǒng)根據(jù)缺陷信息向控制器響應(yīng)模塊發(fā)送指令控制輥?zhàn)雍蛧姶a機(jī)。

2 印花織物表面缺陷檢測(cè)算法

印花織物表面缺陷檢測(cè)算法流程如圖2所示。對(duì)相機(jī)采集到的模板圖像和待檢測(cè)圖像進(jìn)行相同的預(yù)處理操作，使用改進(jìn)的SURF算法對(duì)預(yù)處理后的圖像進(jìn)行特征點(diǎn)匹配，仿射變換配準(zhǔn)圖像；配準(zhǔn)后通過圖像差分得到2幅圖像之間差異的信息，即是缺陷信息。

圖2 表面缺陷檢測(cè)流程圖Figure 2 Surface defect detection process

2.1 圖像預(yù)處理

由于采集到的印花織物圖像受到設(shè)備運(yùn)行抖動(dòng)，工廠光照不足的影響，導(dǎo)致圖像亮度偏低、包含噪聲和細(xì)節(jié)模糊等問題，影響后續(xù)操作。所以需要對(duì)采集到的圖像進(jìn)行預(yù)處理，主要處理方式為圖像灰度化、增強(qiáng)圖像對(duì)比度和圖像銳化。

由于使用的彩色面陣相機(jī)無法直接獲取灰度圖像，而彩色圖像不適用于直接快速檢測(cè)，因此需要將彩色圖像灰度化，步驟如下：

1) 計(jì)算圖像各像素點(diǎn)RGB的分量；

2) 計(jì)算加權(quán)灰度值0.3×B+0.59×G+0.11×R；

3) 將計(jì)算好的灰度值賦給各對(duì)應(yīng)像素點(diǎn)。

由于采集到的圖像有亮度偏低的問題，需要調(diào)整圖像對(duì)比度來增強(qiáng)圖像。調(diào)整圖像對(duì)比度屬于像素變換-點(diǎn)操作，公式為

g(i,j)=αf(i,j)+β。

(1)

式中：g(i,j)為調(diào)整后的像素；f(i,j)為調(diào)整前的像素；α為增益系數(shù)，α>0；β是增益變量。

經(jīng)過圖像灰度化，調(diào)整對(duì)比度后，圖像有了顯著改善，但有細(xì)節(jié)模糊等問題，需要進(jìn)行圖像銳化操作。圖像銳化操作包括梯度銳化和Laplance銳化。梯度銳化處理效果較好但是抗噪性差，Laplance法計(jì)算簡(jiǎn)單，實(shí)時(shí)性較好，因此課題組采用Laplance算子實(shí)現(xiàn)圖像銳化。其主要思想是用Laplance算子遍歷圖像中的像素點(diǎn)，根據(jù)4領(lǐng)域內(nèi)的像素確定其銳化后的值。

預(yù)處理過程中各階段圖像如圖3所示。

圖3 圖像預(yù)處理Figure 3 Image preprocessing

2.2 圖像配準(zhǔn)

2.2.1 特征點(diǎn)匹配

由于相機(jī)的擺放以及印花設(shè)備震動(dòng)等因素影響，待檢測(cè)圖像像需要先進(jìn)行仿射變換來配準(zhǔn)模板圖像,以進(jìn)行下一步的缺陷檢測(cè)操作。筆者采用改進(jìn)的SURF算法來進(jìn)行特征點(diǎn)匹配，在單次匹配的基礎(chǔ)上結(jié)合雙向唯一性匹配法來消除誤配點(diǎn)；然后用最小二乘法擬合仿射變換的參數(shù)，進(jìn)行圖像配準(zhǔn)。

SURF算法采用了黑森(Hessian)矩陣的近似圖像，構(gòu)建圖中各像素點(diǎn)的黑森矩陣。當(dāng)尺度為σ時(shí)，像素點(diǎn)X=(x,y)的黑森矩陣為:

(2)

式中：Lxx為濾波后圖像g(σ)在x方向的2階導(dǎo)數(shù)；Lxy為濾波后圖像g(σ)在x，y方向的2階導(dǎo)數(shù)；Lyy為濾波后圖像g(σ)在y方向的2階導(dǎo)數(shù)。

相較于SIFT算法，SURF算法引入了積分圖像概念，采用了尺寸不斷變化的盒子濾波來代替圖像金字塔。利用各尺寸的盒子濾波和積分圖像求取黑森矩陣的響應(yīng)圖像。為了選取圖像中特征點(diǎn)，需要對(duì)原圖進(jìn)行變換，即采用原圖中各像素的黑森矩陣近似值來構(gòu)成變換圖。并且引入了權(quán)值來減小近似帶來的偏差，判別式為

det(Happrox)=LxxLyy-(0.9Lxy)2。

(3)

根據(jù)式(3)結(jié)果的正負(fù)判斷該點(diǎn)是否是興趣點(diǎn)。并且在不同尺度空間的鄰域內(nèi)將興趣點(diǎn)和其3維領(lǐng)域的26個(gè)點(diǎn)進(jìn)行大小比較，若興趣點(diǎn)為鄰域內(nèi)特征值最大點(diǎn)，則認(rèn)定該興趣點(diǎn)為此區(qū)域內(nèi)的特征點(diǎn)。

將上一步中確定的特征點(diǎn)做為中心，選取半徑為6S(S為該特征點(diǎn)所在尺度值)的區(qū)域，統(tǒng)計(jì)區(qū)域內(nèi)60°度扇形內(nèi)的所有點(diǎn)的haar小波響應(yīng)，并且根據(jù)其響應(yīng)賦予權(quán)值，該特征點(diǎn)的方向取區(qū)域內(nèi)最長(zhǎng)矢量的方向。取特征點(diǎn)附近20S*20S的正方形框，該框方向?yàn)樘卣鼽c(diǎn)主方向，把方框分為4*4個(gè)子區(qū)域，每個(gè)子區(qū)域統(tǒng)計(jì)5*5個(gè)像素的harr小波特征，這樣，每個(gè)子區(qū)域都擁有了一個(gè)有著四維分量的向量，公式如下：

V=(∑dx,∑dy,∑|dx|,∑|dy|)。

(4)

式中：dx，dy，|dx|，|dy|分別表示水平方向、豎直方向之和以及水平方向絕對(duì)、豎直方向絕對(duì)之和。

至此每個(gè)特征點(diǎn)都有了一個(gè)16*4=64維的描述算子。通過計(jì)算特征點(diǎn)之間的歐氏距離判斷匹配是否正確。距離越小，相似度越高，當(dāng)歐式距離小于設(shè)定閾值時(shí)，可以判定為匹配成功。

2.2.2仿射變換

雖然匹配了模板圖和缺陷圖中的特征點(diǎn)，但在實(shí)際操作中，采集到的兩幅圖像不可能完全配準(zhǔn)，需要通過匹配點(diǎn)對(duì)來確定變換參數(shù)，得到2幅完全配準(zhǔn)的圖像。仿射變換示意圖如圖4所示。

圖4 仿射變換示意圖Figure 4 Affine transformation diagram

仿射公式如下：

(5)

式中：(m,n)和(m′,n′)是圖像變換前后像素點(diǎn)的坐標(biāo)；dm，dn為平移量；a，b，c，d為旋轉(zhuǎn)、拉伸參數(shù)。

由SURF算法得到匹配好的特征點(diǎn)對(duì)，選用最小二乘法來對(duì)匹配點(diǎn)進(jìn)行擬合，得到上述參數(shù)，確定參數(shù)后，按照式(5)進(jìn)行變換，最終使得模板圖像和缺陷圖像大小、位置和角度完全一致。

2.3 缺陷檢測(cè)

得到2幅完全配準(zhǔn)的圖像后，選用圖像差分的方法來獲取缺陷位置?；舅枷胧菍?幅圖像差分，削弱圖像相似部分，突出變化部分。把同一坐標(biāo)下像素點(diǎn)灰度值之差的絕對(duì)值作為差分后圖像的新灰度值。

圖像進(jìn)行差分操作后，缺陷位置的灰度值會(huì)比較高，因而呈現(xiàn)為白色；無缺陷的位置由于2幅圖的像素值相同，因而灰度值為零，呈現(xiàn)為黑色。由于獲取的圖像常常伴隨噪聲以及圖像配準(zhǔn)時(shí)受仿射參數(shù)的影響等，差分后的圖像常常出現(xiàn)點(diǎn)狀或線狀的“假缺陷”。

得到上述帶有“假缺陷”的差分圖像后，進(jìn)行圖像二值化操作和形態(tài)學(xué)處理，消除“假缺陷”和突出缺陷。

形態(tài)學(xué)處理是用在二值圖像中對(duì)需要突出或去除的圖像信息進(jìn)行操作，包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算等。腐蝕使圖像縮??；膨脹使圖像向外擴(kuò)張；開運(yùn)算常用在消除二值圖像中的雜點(diǎn)毛刺等；閉運(yùn)算通常用來補(bǔ)充圖像區(qū)域內(nèi)的空白點(diǎn)。

3 試驗(yàn)與分析

實(shí)驗(yàn)環(huán)境：CPU為Intel(R) Core(TM) i5 4200U，主頻為1.6 GHz，內(nèi)存為8 G，軟件開發(fā)工具為64位Windows7，VS2015和OpenCV3.1.0。選用常見數(shù)碼印花缺陷圖片庫(kù)中的100組不同圖片作為樣本，每組包括一張標(biāo)準(zhǔn)圖像和缺陷圖像。選取有漏墨缺陷的印花織物作為展示，缺陷圖和模板圖如圖5所示。

圖5 樣本圖像Figure 5 Sample image

由于實(shí)際拍攝環(huán)境影響，采集到的缺陷圖不能和模板圖直接進(jìn)行差分操作。需要預(yù)處理后對(duì)2幅圖進(jìn)行配準(zhǔn)操作，雙向匹配結(jié)果圖如圖6所示。

圖6 雙向匹配結(jié)果Figure 6 Bidirectional matching algorithm result graph

得到匹配好的點(diǎn)坐標(biāo)信息后，可利用最小二乘法獲取仿射變換參數(shù)，仿射變換后缺陷圖如圖7所示。

圖7 仿射變換后的缺陷Figure 7 Defect graph after affine transformation

將配準(zhǔn)好的缺陷圖和模板圖進(jìn)行差分操作，結(jié)果如圖8所示。

圖8 圖像差分Figure 8 Image difference

由于模板圖像和缺陷圖像在缺陷位置處的灰度值不同，差分之后缺陷位置出現(xiàn)了較為明顯的高亮度區(qū)域，且由于仿射變換誤差的影響，模板圖像不可能完全重合，因此出現(xiàn)差分圖像出現(xiàn)了花型的重影。將圖像進(jìn)行二值化和形態(tài)學(xué)操作，消除重影的影響，突出缺陷位置。圖像二值化選用閾值為42，開運(yùn)算處理使用單元結(jié)構(gòu)為6×6的結(jié)構(gòu)矩陣。差分圖像處理如圖9所示。

圖9 差分圖像處理Figure 9 Differential image processing

采用連通域標(biāo)記算法對(duì)上述點(diǎn)狀缺陷進(jìn)行標(biāo)記，使用寬度為4像素的矩形框框選出來，如圖10所示。

為進(jìn)一步驗(yàn)證本系統(tǒng)檢測(cè)算法的有效性，選取上述缺陷圖片庫(kù)中的100組不同圖片為樣本，用此算法和傳統(tǒng)模板匹配法進(jìn)行試驗(yàn)，統(tǒng)計(jì)檢測(cè)正確率和平均用時(shí)，結(jié)果如表2所示。

表2 不同算法檢測(cè)結(jié)果

從表2可知，相較于傳統(tǒng)模板匹配法，本系統(tǒng)檢測(cè)算法在檢測(cè)正確率上高出了12%，比傳統(tǒng)模板匹配法平均用時(shí)短了42.81 ms。通過實(shí)驗(yàn)驗(yàn)證：改進(jìn)后的SURF算法用時(shí)短，精度高。本系統(tǒng)可以滿足實(shí)際生產(chǎn)需求。

4 結(jié)論

課題組針對(duì)數(shù)碼印花生產(chǎn)過程中織物上出現(xiàn)的表面缺陷，以及傳統(tǒng)檢測(cè)方法實(shí)時(shí)性差、檢測(cè)準(zhǔn)確率低等問題，設(shè)計(jì)了一種基于改進(jìn)SURF算法的印花織物表面缺陷檢測(cè)系統(tǒng)。經(jīng)過實(shí)驗(yàn)驗(yàn)證，表明：結(jié)合雙向匹配的SURF算法顯著提高了仿射變換精度；使用差分算法和連通域標(biāo)記算法可以直接快速地提取缺陷位置并標(biāo)記出來；改進(jìn)后的SURF算法可以保證系統(tǒng)快速高效檢測(cè)出缺陷。相較于傳統(tǒng)檢測(cè)算法，本算法檢測(cè)率更高、檢測(cè)速度更快，能滿足實(shí)際工業(yè)應(yīng)用需求。