基于匹配點(diǎn)變形估計的布標(biāo)缺陷檢測算法

宋 強(qiáng)，高國剛，李文峰，馮東海，貢軍民

(1.中國石油大學(xué)(北京)克拉瑪依校區(qū) 工學(xué)院，新疆 克拉瑪依 834000； 2.中恒永創(chuàng)(北京)科技有限公司，北京 100089； 3.新疆石油管理局工程技術(shù)公司，新疆 克拉瑪依 834000)

布標(biāo)作為服裝、鞋帽、箱包、床上用品、玩具等產(chǎn)品的標(biāo)識，是衡量產(chǎn)品質(zhì)量的重要指標(biāo)之一[1]。受生產(chǎn)環(huán)境、生產(chǎn)工藝和生產(chǎn)設(shè)備影響，布標(biāo)經(jīng)常產(chǎn)生漏印、多印、飛墨、劃痕、污漬等各種缺陷，次品布標(biāo)如果流入市場，會給企業(yè)帶來聲譽(yù)和經(jīng)濟(jì)損失。隨著印染技術(shù)的不斷發(fā)展，布標(biāo)的印刷速度與內(nèi)容復(fù)雜度越來越高。傳統(tǒng)布標(biāo)質(zhì)量檢測主要采用人工看樣、定樣方式，借助靜止畫面和隨機(jī)抽樣方法控制產(chǎn)品質(zhì)量。人工檢測具有很大的主觀性和不確定性，容易造成漏檢和錯檢，對于一些細(xì)小布標(biāo)缺陷，人工檢測效率低下，無法滿足高速印刷需要[2]。隨著機(jī)器視覺和圖像處理技術(shù)的不斷進(jìn)步，布標(biāo)質(zhì)量檢測正向自動化、智能化方向發(fā)展。利用高速、高分辨率攝像機(jī)采集生產(chǎn)線的布標(biāo)圖像，對待檢測圖像進(jìn)行圖像處理與分析，利用模板匹配等方法實(shí)現(xiàn)布標(biāo)缺陷的自動檢測[3-4]。以色列AVT公司，日本FUTEC、KEYENCE公司，德國BST、VMT公司，加拿大ADEPT、DALSA公司，以及我國凌云光子、北京大恒圖像、武漢三維光之洋、北京中恒永創(chuàng)、渭南科賽等公司，均研制適于不同印刷品標(biāo)簽的缺陷自動檢測系統(tǒng)。布標(biāo)產(chǎn)品受材質(zhì)所限，剛度較低，受力不均時容易產(chǎn)生大面積的不均勻變形，影響缺陷檢測的準(zhǔn)確率。如何消除布標(biāo)不均勻變形對圖像分析的影響，是布標(biāo)自動化檢測面臨的重要挑戰(zhàn)。

光流定義為時變圖像中像素運(yùn)動的瞬時速度。圖像中所有像素的2D瞬時速度場構(gòu)成光流矢量場，其中2D速度矢量是空間運(yùn)動物體3D速度矢量在成像平面的投影[5]。光流矢量場包含空間物體的運(yùn)動信息，是空間運(yùn)動場在圖像平面的投影表達(dá)，反映圖像各像素的灰度變化趨勢。光流分析是機(jī)器視覺的重要研究方法，廣泛應(yīng)用于目標(biāo)識別跟蹤、機(jī)器人導(dǎo)航以及三維形狀復(fù)原等[6-7]。光流矢量場在理想情況下近似于空間運(yùn)動場，如果將布標(biāo)不均勻變形等價為待檢測布標(biāo)圖像相對于布標(biāo)模板圖像的相對運(yùn)動，通過光流分析可得到2幅圖像的相對運(yùn)動，即待檢測布標(biāo)圖像相對于布標(biāo)模板圖像的變形量[8-10]。本文通過光流分析，建立布標(biāo)模板圖像與待檢測布標(biāo)圖像匹配點(diǎn)的相對光流矢量場，光流矢量場體現(xiàn)待檢測布標(biāo)圖像相對于模板圖像的運(yùn)動速度，反映待檢測布標(biāo)受張力作用引起的形變。通過逆變換可消除待檢測布標(biāo)形變，將待檢測布標(biāo)圖像與模板圖像置于相同檢測條件下，通過模板匹配即可實(shí)現(xiàn)待檢測布標(biāo)的缺陷檢測。

1 算法描述

設(shè)在t時刻，圖像(x,y)處的灰度值為I(x,y,t)，在(t+Δt)時刻，該點(diǎn)運(yùn)動到新的位置(x+Δx,y+Δy)，灰度值為I(x+Δx,y+Δy,t+Δt)。在小位移條件下，根據(jù)圖像灰度恒常性假設(shè)(假設(shè)1)，圖像灰度值沿運(yùn)動軌跡保持不變，即：

I(>x,y,t)=I(>x+Δx,y+Δy,t+Δt)

(1)

設(shè)u和v分別為該像素點(diǎn)光流矢量沿x和y方向的分量，u=dx/dt，v=dy/dt，將式(1)用泰勒公式展開，得到：

(2)

其中ε代表二階及以上的高階項(xiàng)，可忽略不計，則有：

(3)

式(3)兩邊同除dt，由于Δt→0，則：

(4)

式(4)可表示為：

Ixu+Iyv+It=0

(5)

式(5)是光流基本約束方程。Ix、Iy和It分別為參考點(diǎn)像素灰度值沿x、y、t3個方向的偏導(dǎo)數(shù)，均可由圖像數(shù)據(jù)求得。式(5)的矢量形式為：

I·U+It=0

(6)

在小位移條件下，提出梯度恒常性假設(shè)(假設(shè)2)：一定范圍內(nèi)的灰度梯度在相鄰圖像序列中不變。式(4)兩邊分別對x和y求偏導(dǎo)：

(7)

在小位移條件下，提出運(yùn)動一致性假設(shè)(假設(shè)3)：一定范圍內(nèi)的像素點(diǎn)具有相同的速度，即

(8)

建立關(guān)于u、v的能量函數(shù)，該函數(shù)具有凸性，反映圖像數(shù)據(jù)在3個先驗(yàn)假設(shè)約束下的總誤差見式(9)，使E(u,v)最小的(u,v)值即為圖像的光流矢量。

(9)

(10)

計算E(u,v)的最小值等價于求解其Euler-Lagrange方程。令F(>u,v)=(>Ixu+Iyv+It)2+(>Ixxu+Ixyv+Ixt)2+(>Ixyu+Iyyv+Iyt)2+|2u|2+|2v|2，因函數(shù)F(u,v)中不含自變量ux和uy，且|2u|2和|2v|2均為偶函數(shù)，計算?F/?u，則：

(11)

(12)

利用差分計算二階微分：

(13)

根據(jù)式(6)，Laplace算子可寫為：

f(>x-1)+f(>y+1)+f(>y-1)-4f(>x,y)

(14)

因此，式(12)可變換為：

(15)

整理式(15)可得：

(16)

(17)

式(17)可利用高斯-賽德爾(Gauss-Seidel)迭代法求解最小的(u,v)值，具體過程為：

①迭代初始值u0=0，v0=0；

③根據(jù)檢測速度要求，設(shè)置最大迭代次數(shù)，達(dá)到后終止迭代。

2 檢測實(shí)例

計算圖像所有像素點(diǎn)的光流矢量會加大系統(tǒng)運(yùn)算量，影響布標(biāo)實(shí)際檢測速度。本文采用多匹配點(diǎn)檢測思路，即在模板圖像和待檢測圖像中生成一一對應(yīng)的匹配點(diǎn)，通過計算各匹配點(diǎn)的光流矢量表征模板圖像和待檢測圖像間的變形程度。匹配點(diǎn)的生成方式主要有特征點(diǎn)方式、隨機(jī)點(diǎn)方式和均布點(diǎn)方式。

特征點(diǎn)生成方式：圖像中的特征點(diǎn)能夠較好體現(xiàn)圖像邊緣等灰度突變特征，可作為模板匹配的匹配點(diǎn)，而且較少數(shù)量的特征點(diǎn)也能校正圖像變形。但是圖像特征點(diǎn)易受噪聲干擾，即使對同一圖像進(jìn)行特征點(diǎn)提取，也很難保證提取的特征點(diǎn)是同一點(diǎn)。提取特征點(diǎn)比較耗時，很難應(yīng)用于在線檢測。

隨機(jī)點(diǎn)生成方式：隨機(jī)點(diǎn)的生成方法最簡單，在實(shí)時性上具有較大優(yōu)勢。但隨機(jī)點(diǎn)生成方式不能保證匹配點(diǎn)的一致性，不適合作為匹配候選點(diǎn)。

均布點(diǎn)生成方式：均布點(diǎn)的生成方式比較簡單，在時間上也具有優(yōu)勢，而且能夠保證生成點(diǎn)的一致性，是本文選擇的匹配點(diǎn)生成方法，如圖1所示。

圖1 利用均布點(diǎn)生成方式確定匹配點(diǎn)

利用本文提出的光流算法，建立布標(biāo)模板圖像與待檢測布標(biāo)圖像匹配點(diǎn)的相對光流矢量場。圖2為布標(biāo)圖像某局部區(qū)域的光流矢量場，可以看出，左圖較模板圖像對應(yīng)區(qū)域有向左的運(yùn)動，右圖較模板圖像對應(yīng)區(qū)域有向左下的運(yùn)動，并且右圖的運(yùn)動矢量相對較小。

圖2 待檢測圖像局部區(qū)域的光流矢量場

通過光流分析獲取布標(biāo)模板圖像與待檢測布標(biāo)圖像各匹配點(diǎn)的相對光流矢量，利用逆變換對待檢測布標(biāo)圖像進(jìn)行相應(yīng)的運(yùn)動矢量補(bǔ)償，使得待檢測布標(biāo)圖像與布標(biāo)模板圖像之間無運(yùn)動變形，通過模板匹配即可檢測布標(biāo)缺陷，如圖3所示。

圖3 布標(biāo)漏印缺陷檢測示例

3 結(jié)束語

布標(biāo)檢測正由傳統(tǒng)人工檢測方式發(fā)展為基于機(jī)器視覺的全自動檢測方式。布標(biāo)產(chǎn)品在檢測過程中受張力作用容易產(chǎn)生不均勻變形，使得被檢測圖像與模板圖像處于不同成像條件，采用傳統(tǒng)模板匹配算法容易誤檢與漏檢。本文將光流矢量場分析引入布標(biāo)缺陷自動檢測，用布標(biāo)模板圖像與待檢測布標(biāo)圖像匹配點(diǎn)的相對光流矢量場反映待檢測布標(biāo)相對于模板的變形。通過逆變換對待檢測布標(biāo)圖像進(jìn)行運(yùn)動矢量補(bǔ)償，消除待檢測布標(biāo)形變對模板匹配算法的影響。服裝布標(biāo)自動檢測實(shí)例表明，本文算法有效克服布標(biāo)變形影響，能檢測出傳統(tǒng)模板匹配算法無法識別的漏印缺陷。