一種仿射變換的印刷品缺陷檢測(cè)方法

張 培， 郭 慧， 劉芳輝， 胡方尚

(華東理工大學(xué) 機(jī)械與動(dòng)力工程學(xué)院， 上海 200237)

一種仿射變換的印刷品缺陷檢測(cè)方法

張 培， 郭 慧， 劉芳輝， 胡方尚

(華東理工大學(xué) 機(jī)械與動(dòng)力工程學(xué)院， 上海 200237)

針對(duì)傳統(tǒng)印刷品缺陷檢測(cè)方法速度慢、檢出率低的問(wèn)題，提出一種仿射變換的快速檢測(cè)方法．首先利用SURF(speeded-up robust feature)算法進(jìn)行特征點(diǎn)匹配，并采用RANSAC(random sample consensus)算法剔除誤配點(diǎn)后得到高純度的匹配點(diǎn)對(duì)，然后利用最小二乘法擬合得到變換參數(shù)，最后通過(guò)圖像差分和后處理，識(shí)別并標(biāo)記出缺陷所在位置．經(jīng)過(guò)試驗(yàn)驗(yàn)證，相對(duì)模板匹配和分層檢測(cè)算法，該方法無(wú)論在算法速度還是缺陷檢出率上都有很大提高．

SURF(speeded-up robust feature)算法； RANSAC(random sample consensus)算法； 仿射變換； 缺陷檢測(cè)； 印刷品

隨著現(xiàn)代化進(jìn)程的推進(jìn)，人們對(duì)印刷品質(zhì)量的要求逐漸提高．而在印刷品生產(chǎn)過(guò)程中，受生產(chǎn)條件影響，印刷品會(huì)經(jīng)常出現(xiàn)漏印、飛墨等缺陷[1]．經(jīng)過(guò)對(duì)幾家印刷廠的調(diào)研得知，目前國(guó)內(nèi)印刷企業(yè)普遍采用人工抽檢的方法，這種方法存在效率低、誤差大等問(wèn)題，且容易受環(huán)境和人為因素影響[2]，因此，尋找一種快速精準(zhǔn)的印刷品缺陷檢測(cè)方法顯得尤為重要．

近年來(lái)，機(jī)器視覺(jué)理論的發(fā)展為印刷品缺陷檢測(cè)提供了新方法[3]．圖像匹配是缺陷檢測(cè)的基礎(chǔ)， Bay等[4]提出了加速魯棒性特征(speeded-up robust feature， SURF)匹配算法，該算法利用一種新的圖像金字塔，通過(guò)改變?yōu)V波器尺度，與原圖片卷積，降低圖片變換帶來(lái)的計(jì)算量，加快了計(jì)算速度，但在實(shí)際應(yīng)用中會(huì)出現(xiàn)不同程度的誤配．郭桂平等[5]利用多模板匹配方法，將采集到的圖像與3個(gè)樣本圖像進(jìn)行配準(zhǔn)，如只有一個(gè)樣本檢測(cè)合格則認(rèn)定圖像合格，該算法原理簡(jiǎn)單，容易實(shí)現(xiàn)，但受樣本圖像數(shù)量的限制，在應(yīng)用上具有很大局限性．劉浩等[6]采用分層檢測(cè)方法進(jìn)行印刷品缺陷檢測(cè)，該方法檢測(cè)速度較快，為了適應(yīng)不同場(chǎng)合，結(jié)合灰度動(dòng)態(tài)閾值方法，但在提升缺陷檢出率的同時(shí)降低了運(yùn)算速度．

綜上所述可知，現(xiàn)有文獻(xiàn)對(duì)基于模板檢測(cè)和分層檢測(cè)方法進(jìn)行印刷品缺陷檢測(cè)已經(jīng)有了不少的研究和改進(jìn)，但此類方法局限于對(duì)像素點(diǎn)的處理，因此并不能解決運(yùn)算速度慢的問(wèn)題[7]．基于特征點(diǎn)匹配的方法具有速度快、準(zhǔn)確率高、魯棒性好等優(yōu)點(diǎn)，已經(jīng)逐漸取代了傳統(tǒng)算法．本文將印刷品缺陷檢測(cè)分為精確配準(zhǔn)、圖像變換和缺陷檢測(cè)3個(gè)部分(如圖1所示)，利用一種優(yōu)化的SURF特征點(diǎn)匹配算法準(zhǔn)確獲得匹配點(diǎn)對(duì)，擬合后得到變換參數(shù)，經(jīng)過(guò)圖像差分和差異化形態(tài)學(xué)處理，可以準(zhǔn)確標(biāo)記出缺陷位置．經(jīng)過(guò)試驗(yàn)驗(yàn)證，該方法相對(duì)傳統(tǒng)方法具有效率高和漏檢率低的優(yōu)點(diǎn)．

圖1 印刷品缺陷檢測(cè)流程Fig．1 Defect detection process of printed matter

1 匹配點(diǎn)對(duì)的提純

在待匹配圖像獲取過(guò)程中，會(huì)經(jīng)常出現(xiàn)噪聲干擾和圖像變換等問(wèn)題，本文選用匹配速度快且魯棒性好的SURF算法進(jìn)行圖像匹配．

1．1特征點(diǎn)預(yù)匹配

SURF算法通過(guò)構(gòu)建像素點(diǎn)的Hessian矩陣判斷該點(diǎn)是否為興趣點(diǎn)．為了應(yīng)對(duì)圖像縮放問(wèn)題，算法引入了高斯金字塔來(lái)構(gòu)建圖像在不同尺度下的空間表示．當(dāng)尺度為σ時(shí)，像素點(diǎn)X=(x，y)的Hessian矩陣表示為

(1)

det(H)=DxxDyy-(0．9Dxy)2

(2)

通過(guò)判別式的正負(fù)值，可以判斷該點(diǎn)是否為興趣點(diǎn)．在興趣點(diǎn)周圍不同尺度空間的3×3×3鄰域內(nèi)，如果興趣點(diǎn)特征值比周圍26個(gè)像素點(diǎn)的特征值都大，則將該興趣點(diǎn)確定為該區(qū)域的特征點(diǎn)．

計(jì)算特征點(diǎn)周圍6σ為半徑的圓形區(qū)域內(nèi)所有特征點(diǎn)的小波響應(yīng)，根據(jù)小波響應(yīng)分布賦予權(quán)值，以權(quán)值最大的方向作為特征點(diǎn)的主方向．

選擇特征點(diǎn)周圍20σ×20σ的正方形區(qū)域，并將其劃分成為4×4個(gè)子區(qū)域，計(jì)算每個(gè)子區(qū)域內(nèi)各點(diǎn)小波響應(yīng)的dx、dy、 |dx|、 |dy|分量之和，每個(gè)子區(qū)域形成一個(gè)具有四維分量的向量，如式(3)所示．

V=(∑dx， ∑dy， ∑|dx|， ∑|dy|)

(3)

最終每個(gè)特征點(diǎn)得到一個(gè)4×4×4=64維的特征描述向量．

利用特征向量聚類的形態(tài)特點(diǎn)，將所有特征描述向量建立索引樹(shù)，采用改進(jìn)的KD-Tree近鄰搜索策略——BBF(best bin first)，快速得到特征點(diǎn)預(yù)匹配結(jié)果．

1．2RANSAC(randomsampleconsensus)算法剔除誤配點(diǎn)

雖然SURF算法的匹配準(zhǔn)確度高，但由于模板圖像與待匹配圖像的差異，在預(yù)匹配過(guò)程中會(huì)出現(xiàn)個(gè)別誤配現(xiàn)象，需要對(duì)誤配點(diǎn)進(jìn)行剔除，防止其對(duì)變換參數(shù)的確定產(chǎn)生影響．

RANSAC方法[8]的思想，即從匹配點(diǎn)對(duì)中隨機(jī)抽取一定個(gè)數(shù)的匹配點(diǎn)對(duì)作為樣本，根據(jù)該樣本確定模型參數(shù)，設(shè)定閾值，判斷樣本外的數(shù)據(jù)是否滿足這個(gè)模型，滿足的點(diǎn)叫做“內(nèi)點(diǎn)”，不滿足的點(diǎn)叫做“外點(diǎn)”．進(jìn)行多次隨機(jī)試驗(yàn)，將內(nèi)點(diǎn)個(gè)數(shù)最多時(shí)的模型作為最佳模型，并去除外點(diǎn)．具體步驟如下：

(1) 將預(yù)匹配點(diǎn)對(duì)作為集合M，從中隨機(jī)抽取5個(gè)匹配點(diǎn)對(duì)作為樣本N，根據(jù)N初始化樣本模型．

(2) 設(shè)定閾值T，判斷剩余特征點(diǎn)對(duì)與樣本模型的誤差t，如果該誤差小于閾值T，則將該點(diǎn)納入內(nèi)點(diǎn)集合Si．

(3) 重復(fù)以上步驟，如果Si+1中元素個(gè)數(shù)大于Si中元素個(gè)數(shù)，將S=Si+1作為當(dāng)前最優(yōu)模型．

(4) 設(shè)定抽樣次數(shù)，得到全局最優(yōu)模型S，并剔除當(dāng)S作為樣本模型時(shí)的外點(diǎn)．

RANSAC通過(guò)有限次抽樣獲取最佳樣本，從集合中去除外點(diǎn)．經(jīng)過(guò)試驗(yàn)，該方法可以剔除與樣本偏差較大的誤配點(diǎn)，得到精準(zhǔn)匹配點(diǎn)對(duì)．

2 確定變換參數(shù)

雖然將兩幅圖像中的特征點(diǎn)進(jìn)行了精確匹配，但實(shí)際應(yīng)用中，待匹配圖像經(jīng)常會(huì)發(fā)生平移、旋轉(zhuǎn)、拉伸等幾何變換[9]，因此需要通過(guò)匹配點(diǎn)對(duì)確定變換參數(shù)，將待匹配圖像進(jìn)行變換，得到與模板圖像位置、傾角和大小均一致的圖像．

圖像變換的方式多種多樣，在圖像匹配中出現(xiàn)最多的是仿射變換，仿射變換示意圖如圖2所示．

圖2 仿射變換示意圖Fig．2 Schematic diagram of affine transform

仿射變換一般可以用式(4)表示．

(4)

式中： (m，n)和(m′，n′)分別為變換前后像素點(diǎn)的坐標(biāo)；參數(shù)dm、dn為平移量；a、b、c、d為圖像旋轉(zhuǎn)、拉伸控制量．

若要確定這6個(gè)參數(shù)，需要有3對(duì)已知匹配點(diǎn)對(duì)，通常情況下，實(shí)際匹配點(diǎn)對(duì)數(shù)會(huì)遠(yuǎn)遠(yuǎn)超過(guò)3對(duì)，因此，需要利用最小二乘法對(duì)所有匹配點(diǎn)對(duì)進(jìn)行擬合，得到最終的變換參數(shù)．在確定了變換參數(shù)后，將待匹配圖像按照式(4)進(jìn)行變換，得到與模板圖像位置、傾角和大小均相同的待匹配圖像．

3 缺陷檢測(cè)

經(jīng)過(guò)變換后的待匹配圖像，可以與模板圖像通過(guò)差分法獲取缺陷位置．差分法的基本思想，即將兩幅圖像同一坐標(biāo)像素點(diǎn)的灰度的差取絕對(duì)值，作為新圖像的灰度值．

3．1圖像差分

將兩幅圖像進(jìn)行差分運(yùn)算，首先需要將兩幅圖像灰度化．根據(jù)人眼對(duì)RGB各分量的敏感程度不同，本文采用加權(quán)平均法獲取兩幅灰度化圖像．各分量的權(quán)值如式(5)所示．

G(i，j)= 0．299×R(i，j)+0．587×

G(i，j)+0．114×B(i，j)

(5)

將待匹配圖像與模板圖像進(jìn)行差分運(yùn)算，在圖像缺陷的位置，差分運(yùn)算后像素的灰度值也會(huì)比較高，因此呈現(xiàn)白色．無(wú)缺陷的地方由于兩者像素值相同，理論上呈現(xiàn)黑色，但由于待匹配圖像獲取過(guò)程中往往參雜噪聲，并且進(jìn)行仿射變換時(shí)受參數(shù)的影響，差分圖像中會(huì)出現(xiàn)點(diǎn)狀或者線狀的“偽缺陷”．

3．2差分圖像二值化

為了減小計(jì)算量，并有效去除圖像亮度的干擾，需要對(duì)差分圖像進(jìn)行二值化處理．閾值T的取值可以用式(6)計(jì)算得出．

T=μ+λ·δ

(6)

式中：μ為差分圖像灰度平均值；δ為圖像標(biāo)準(zhǔn)差，體現(xiàn)了灰度變化的平均程度；λ為系數(shù)，經(jīng)過(guò)多次試驗(yàn)，本文選用λ=2．8作為試驗(yàn)參數(shù)．

3．3形態(tài)學(xué)處理

形態(tài)學(xué)處理通常用在二值圖像中，包括膨脹、腐蝕、開(kāi)運(yùn)算、閉運(yùn)算等[10]．腐蝕運(yùn)算利用結(jié)構(gòu)單元掃描圖像，將結(jié)構(gòu)單元與所覆蓋的二值圖像做“與”操作，當(dāng)兩者都為1時(shí)，圖像像素值為1，否則為0．膨脹運(yùn)算同樣將結(jié)構(gòu)單元與所覆蓋的二值圖像做“與”操作，當(dāng)兩者都為0時(shí)，圖像像素值為0，否則為1．腐蝕運(yùn)算使圖像向內(nèi)縮小，膨脹運(yùn)算使圖像向外擴(kuò)大，具體大小與結(jié)構(gòu)單元大小有關(guān)．

開(kāi)運(yùn)算是先做腐蝕處理、后做膨脹處理，通常用來(lái)去除二值圖像中孤立的雜點(diǎn)或者邊緣處的毛刺．閉運(yùn)算是先做膨脹處理、后做腐蝕處理，通常用來(lái)補(bǔ)充區(qū)域內(nèi)空白的點(diǎn)．

4 試驗(yàn)結(jié)果分析

試驗(yàn)仿真環(huán)境： CPU為AMD Phenom(tm) II N830，主頻為2．10 GHz，內(nèi)存為4 GiB，軟件開(kāi)發(fā)工具為32位Windows 8．1位操作系統(tǒng)，Matlab 2014a．

本文選用印刷品缺陷圖片庫(kù)中的200組(每組包括一張標(biāo)準(zhǔn)圖像和一張缺陷圖像)不同圖片作為樣本，分別進(jìn)行匹配提純和缺陷識(shí)別試驗(yàn)．以下以帶有滴墨缺陷的洗衣液印刷標(biāo)簽作為展示．

4．1匹配提純?cè)囼?yàn)

將模板圖像與待匹配圖像經(jīng)過(guò)特征點(diǎn)檢測(cè)和匹配，得到匹配圖像如圖3所示．

圖3 特征點(diǎn)匹配Fig．3 Feature point matching

由于噪聲干擾和圖像變換等原因，圖3中出現(xiàn)了明顯的誤配現(xiàn)象．由圖3分析可知，在圖片左右兩側(cè)均有“OMO”字樣，具有相似的局部結(jié)構(gòu)，因此在特征匹配時(shí)，如果不考慮全局特征匹配，左右兩側(cè)特征會(huì)出現(xiàn)交叉匹配，導(dǎo)致較大誤差．

引入RANSAC方法，在有限次抽樣后確定最佳樣本，剔除外點(diǎn)(即誤配點(diǎn)對(duì))，得到的結(jié)果如圖4所示．

圖4 剔除誤配點(diǎn)Fig．4 Eliminate the mismatch point

由圖4可知，原有的誤配點(diǎn)對(duì)已經(jīng)消失，提純后的匹配點(diǎn)對(duì)中幾乎沒(méi)有誤配現(xiàn)象．

將200組圖片樣本分別進(jìn)行配準(zhǔn)試驗(yàn)，統(tǒng)計(jì)提純前后的匹配點(diǎn)對(duì)個(gè)數(shù)，并求平均值，結(jié)果統(tǒng)計(jì)如表1所示．

由表1可以看出，采用RANSAC方法對(duì)匹配點(diǎn)對(duì)提純后，特征點(diǎn)的誤配率下降了很多．同時(shí)RANSAC方法也會(huì)去除一部分正確匹配的點(diǎn)對(duì)，但由于特征點(diǎn)對(duì)的數(shù)量多，因此對(duì)之后的參數(shù)計(jì)算不會(huì)產(chǎn)生影響．

表1 提純前后效果對(duì)比Table 1 Before and after purification

4．2缺陷識(shí)別

獲取了高精度的匹配信息，即匹配點(diǎn)對(duì)的坐標(biāo)信息，之后利用最小二乘法可以得到待匹配圖像的仿射變換參數(shù)如表2所示．

表2 仿射變換參數(shù)Table 2 Affine transformation parameters

將待匹配圖像利用式(4)進(jìn)行旋轉(zhuǎn)、縮放、平移等操作，空白區(qū)域用黑色像素點(diǎn)填充，可以得到與模板圖像一致的待匹配圖像，仿真變換前后圖像如圖5所示．變換后的圖像與模板圖像的相似程度直接影響后期處理效果，如果相似程度較低，差分后的圖像會(huì)出現(xiàn)很多邊緣干擾或者雜塊，對(duì)缺陷判斷產(chǎn)生很大影響，因此待匹配圖像的仿射變換是至關(guān)重要的．

(a) 變換前

(b) 變換后

將模板圖像和待匹配圖像做灰度化處理后進(jìn)行差分操作，結(jié)果如圖6所示．

圖6 圖像差分Fig．6 Image difference

由于模板圖像與待匹配圖像灰度值不同，在原有缺陷所在位置差分后產(chǎn)生了白色斑塊．除此之外，由于待匹配圖像獲取時(shí)并不一定嚴(yán)格按照仿射變換，同時(shí)在參數(shù)計(jì)算時(shí)也會(huì)產(chǎn)生一定誤差，導(dǎo)致模板圖像與待匹配圖像不完全重合，因此出現(xiàn)“OMO”的重影．而且由于高斯噪聲的干擾，差分圖像的大部分區(qū)域出現(xiàn)了同樣的噪聲．

將差分后的灰度圖像二值化，可以去除一部分噪聲干擾，并且選用合適的閾值，使匹配可以抵抗亮度的變化．經(jīng)過(guò)試驗(yàn)，此處選用閾值為65，二值化后的圖像如圖7(a)所示．由圖7(a)可知，二值化并不能將缺陷以外的干擾完全去除，因此還需要對(duì)其進(jìn)行形態(tài)學(xué)處理．

形態(tài)學(xué)處理結(jié)果如圖7(b)所示．此處采用差異化處理方法，在執(zhí)行開(kāi)運(yùn)算和閉運(yùn)算時(shí)使用了不同的結(jié)構(gòu)單元．開(kāi)運(yùn)算使用的結(jié)構(gòu)單元為2×2的單位矩陣，低維度矩陣可以去除孤立的雜點(diǎn)和邊緣，并且不會(huì)影響缺陷；閉運(yùn)算選用4×4的單位矩陣作為結(jié)構(gòu)單元，高維度矩陣可以填充缺陷斑塊中間的空心區(qū)域，使缺陷顯示更加平滑完整．

(a) 二值化

(b) 形態(tài)學(xué)處理

采用連通區(qū)域分析法對(duì)上述缺陷斑塊進(jìn)行標(biāo)記，并用線寬為4像素的白色矩形框標(biāo)記出來(lái)，結(jié)果如圖8所示．

圖8 缺陷標(biāo)記Fig．8 Mark defects

為了驗(yàn)證本文算法的實(shí)用性，同樣選用以上200組樣本，分別利用傳統(tǒng)模板匹配算法、分層檢測(cè)算法和本文算法進(jìn)行試驗(yàn)，統(tǒng)計(jì)缺陷檢出率和平均耗時(shí)，結(jié)果如表3所示．

表3 不同算法的檢測(cè)結(jié)果對(duì)比Table 3 Comparison of the results of different algorithms

本文針對(duì)傳統(tǒng)印刷品缺陷檢測(cè)方法速度慢、檢出率低等問(wèn)題，提出了一種仿射變換的印刷品缺陷檢測(cè)思路．選用匹配速度快和準(zhǔn)確率高的SURF算法進(jìn)行快速匹配，利用RANSAC算法剔除誤配點(diǎn)對(duì)，確保變換參數(shù)的準(zhǔn)確性，將變換后的待匹配圖像與模板圖像進(jìn)行差分操作，并經(jīng)過(guò)一系列后處理，可以完整迅速地顯示并標(biāo)記出印刷品缺陷．本文研究結(jié)果為印刷品缺陷檢測(cè)提供了一種新方法．

[1] 胡方尚，郭慧．基于ROI模板的印刷品圖像配準(zhǔn)方法[J]．東華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016，42(4)：582-592．

[2] 王文舉，趙萍，陳偉，等．彩色印刷品缺陷快速精確檢測(cè)方法研究[J]．包裝工程，2015，36(17)：112-130．

[3] SHANMUGAMANI R， SADIQUE M， RAMAMOORTHY B． Detection and classification of surface defects of gun barrels using computer vision and machine learning[J]． Measurement， 2015，60：222-230．

[4] BAY H， ESS A， TUYTELAARS T， et al． Speeded-up robust features(SURF)[J]． Computer Vision and Image Understanding， 2008，110(3)：346-359．

[5] 郭桂平，羅兵．基于多模板匹配的絲印缺陷快速檢測(cè)方法[J]．電子質(zhì)量，2016(4)：8-11．

[6] 劉浩，孫建明，王小芳，等．基于圖像處理的印品質(zhì)量檢測(cè)系統(tǒng)研究[J]．科技視野，2016(3)：69-70．

[7] QIAN D H， CHEN T S， QIAO H． Geodesic-like features for point matching[J]． Neurocomputing， 2016，218(19)：401-410．

[8] VINAY A， RAO A S， SHEKHAR V S， et al． Feature extractionusing ORB-RANSAC for face recognition[J]． Procedia Computer Science， 2015，70：174-184.

[9] LIU F H， ZHOU T， YANG Y． Geometric affine transformation estimation via correlation filter for visual tracking[J]． Neurocomputing， 2016，214：109-120．

[10] HUANG C H． A reconfigurable point target detection system based on morphological clutter elimination[J]． Journal of Systems Architecture， 2014，60(8)：644-654．

(責(zé)任編輯：徐惠華)

AnAffineTransformedDefectDetectionMethodforPrintedMatter

ZHANGPei，GUOHui，LIUFanghui，HUFangshang

(School of Mechanical and Power Engineering， East China University of Science and Technology， Shanghai 200237， China)

Aiming at the problem of the slowness and low detection rate of the defect detection methods of traditional printed matter， a fast detection method of affine transformation is proposed． Firstly， the feature points are matched by SURF(speeded-up robust feature) algorithm． RANSAC(random sample consensus) algorithm removes the mismatched points and obtains the matching point pairs with high purity． Then， the transformation parameters are obtained by least squares fitting． Finally， the position of defects is identified and marked by image difference and postprocessing． Experiments show that the proposed method is much better than the template matching algorithm and the hierarchical detection algorithm in terms of algorithm speed and defect detection rate．

SURF(speeded-up robust feature)algorithm； RANSAC(random sample consensus)algorithm； affine transformation； defect detection； printed matter

TP 391

A

1671-0444 (2017)04-0592-05

2016-12-28

張 培(1993—)，男，河南許昌人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)圖形學(xué)和印刷品缺陷檢測(cè).E-mail:zpecuts@163.com

郭 慧(聯(lián)系人)，女，副教授，E-mail：ghcad@163.com