一種魯棒的非均勻光場中SD卡形態(tài)識別算法

周小萌,吳靜靜*,安 偉

(1.江南大學(xué)機(jī)械工程學(xué)院,江蘇 無錫 214122;2.江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 無錫 214122)

SD卡的生產(chǎn)過程中,彩噴質(zhì)量保證了SD卡的封裝質(zhì)量。目前在彩噴過程中,打印料盤內(nèi)SD卡的形態(tài)由人工來完成識別,存在人體視覺容易疲勞以及檢驗(yàn)速度無法提升等缺點(diǎn)。因此,利用計算機(jī)視覺、圖像處理來代替人工進(jìn)行SD卡的形態(tài)識別勢在必行。在料盤中SD卡陣列排列且總面積較大,在光場中無法達(dá)到均勻光照的效果。SD卡在料盤內(nèi)具有多自由度,存在姿態(tài)隨機(jī)變化的現(xiàn)象,均對圖像處理辦法提出了新的要求。

對于不均勻光場中的圖像分割,主要有全局閾值法(如迭代法[1]和OSTU法[2])和局部閾值法(如Bernsen法、Niblack法)兩大類。全局閾值法適合對目標(biāo)與背景對比明顯的圖像進(jìn)行分割,無法適應(yīng)多變的光照情況。因此,文獻(xiàn)[3]中通過背景分析對圖像進(jìn)行背景均勻化處理,進(jìn)行全局閾值分割得到二值圖像。局部算法則通過圖像的局部信息來確定像素的歸屬,可以較好的分離目標(biāo)與其周圍的背景,但是對背景區(qū)域和陰影比較敏感,易產(chǎn)生虛假目標(biāo)或?qū)ο髷嗔褑栴}。文獻(xiàn)[4]中為了柔性地適應(yīng)不同的分割環(huán)境,設(shè)置水平與豎直方向的波動幅度閾值來控制對分割的敏感程度。以上方法在圖像整體明暗分布均勻的情況下能夠完成有效分割。

對于姿態(tài)多變的目標(biāo),形態(tài)識別方法主要有:模板匹配算法、統(tǒng)計特征算法、神經(jīng)網(wǎng)絡(luò)算法等。文獻(xiàn)[5]在模板匹配算法的基礎(chǔ)上,將圖片平均分成12塊區(qū)域,再加上5條交線,一共17個特征值,通過特征值完成模板匹配。文獻(xiàn)[6]針對目標(biāo)偏移的問題提出了多模板匹配的方法,把標(biāo)準(zhǔn)模板分為三類,將模板和待測區(qū)域均從中心分成相等四塊區(qū)域分別進(jìn)行匹配。文獻(xiàn)[7]用六條線從數(shù)字的水平和豎直方向穿越數(shù)字,計算得出像素改變的次數(shù),得到特征向量,最終逐一計算規(guī)范模板庫與目標(biāo)數(shù)字特征向量之間的距離得到目標(biāo)的識別結(jié)果。文獻(xiàn)[8]通過引入數(shù)字字符結(jié)構(gòu)特征中的圖段特征,并結(jié)合數(shù)字字符的行列統(tǒng)計特征組合成為新的特征向量;然后根據(jù)新的組合特征向量設(shè)計BP神經(jīng)網(wǎng)絡(luò)分類器完成對數(shù)字字符的識別。以上方法在圖像模板庫與圖像目標(biāo)清晰的情況下能夠有效完成識別。

對于模板匹配算法,文獻(xiàn)[9]通過對投影特征進(jìn)行模板匹配實(shí)現(xiàn)目標(biāo)姿態(tài)的測量。文獻(xiàn)[10]通過對模板圖像進(jìn)行子空間分解,利用盒形正交基對圖像進(jìn)行逼近,達(dá)到提高效率的效果。文獻(xiàn)[11]通過多分辨率先粗后精的金字塔搜索策略,能夠同時滿足實(shí)時性以及精度的要求。文獻(xiàn)[12]利用采集到的圖像產(chǎn)生實(shí)時模板進(jìn)行匹配,提高了移動目標(biāo)識別的準(zhǔn)確率。以上算法均針對各自圖像進(jìn)行特征分析,實(shí)現(xiàn)了高效率與高精度的模板匹配。

圖1 SD卡在料盤中的陣列圖像

1 總體方案

彩噴時,根據(jù)不同類型,SD卡表面存在不同形狀的字符,但是表面的金手指形狀具備唯一不變性。如圖1的陣列圖像中,SD卡表面除金手指以外其他部分的灰度值均與料盤灰度值接近。因此,本文將SD卡表面的金手指作為閾值分割的前景目標(biāo)。由于料盤邊沿形狀與金手指形狀相似度高,需要對灰度圖像進(jìn)行自適應(yīng)閾值分割以完成金手指目標(biāo)定位,得到金手指清晰的二值圖像。通過對金手指進(jìn)行分析,得到一系列描述特征。對金手指特征向量進(jìn)行分類,完成各種隨機(jī)姿態(tài)下SD卡的形態(tài)識別。

本文陣列圖像中的光照不均勻現(xiàn)象存在以下特點(diǎn):①光照不均勻現(xiàn)象存在于陣列區(qū)域內(nèi)以及陣列區(qū)域間,且明暗對比具有漸進(jìn)現(xiàn)象;②不同類型的SD卡與料盤,明暗對比關(guān)系會隨之變化。因此本文在第2部分提出了一種自適應(yīng)閾值分割算法:在初步粗定位后對陣列區(qū)域完成明暗系數(shù)的自適應(yīng)學(xué)習(xí),通過改進(jìn)的大津法進(jìn)行初次分割,經(jīng)過模板匹配定位后得到精確定位圖像,完成第2次閾值分割,得到具備魯棒性的圖像分割算法。

本文陣列圖像中SD卡姿態(tài)存在以下特點(diǎn):①自由姿態(tài)下無法保證在料盤內(nèi)存在SD卡;②姿態(tài)多種多樣,無法對形態(tài)變化進(jìn)行量化制作樣本庫。因此本文在綜合準(zhǔn)確率與實(shí)時性要求的基礎(chǔ)上,于第3部分提出了一種基于多特征融合的形態(tài)識別算法。

本文算法系統(tǒng)流程圖如圖2所示。

圖2 本文算法系統(tǒng)流程圖

圖3 自適應(yīng)閾值分割算法流程圖

2 自適應(yīng)閾值分割算法

為求得料盤中每個SD卡表面的金手指清晰的二值圖像,自適應(yīng)閾值分割算法流程圖如圖3所示。

2.1 改進(jìn)大津法進(jìn)行初次閾值分割

如圖4(a)、4(b)所示為明場與暗場灰度圖像及其灰度直方圖,在明場中SD卡表面的金手指作為前景相對于背景具有較高對比度。但是在暗場中灰度直方圖對比度較差,并且由于光照不均勻的情況,導(dǎo)致期望作為前景的金手指在灰度直方圖中的灰度級較低。因此,本文將對經(jīng)典OSTU進(jìn)行改進(jìn):根據(jù)灰度圖像的整體平均灰度進(jìn)行明場暗場的自適應(yīng)判斷,于式(1)中加入自適應(yīng)變量系數(shù)k,以提高期望作為前景的金手指灰度均值在整幅圖像灰度均值中的比例,其中k取決于灰度圖像的整體平均灰度,整幅圖像的灰度均值改為u′:

(1)

式中:w0、u0為背景的概率與均值,w1、u1為前景的概率與均值。

對于圖4(b)暗場灰度圖像,分別使用經(jīng)典大津法與改進(jìn)大津法對其進(jìn)行閾值分割,得到二值圖像如圖4(c)所示。

圖4 明場暗場圖像及閾值分割結(jié)果

運(yùn)用改進(jìn)大津法閾值分割得到較為清晰的二值圖像,但是對于金手指的邊緣處理仍舊較為粗糙,不能滿足對SD卡形態(tài)判斷的要求。因此,需要在完成金手指精確定位后,再次對金手指灰度圖像進(jìn)行閾值分割,得到金手指清晰的二值圖像。

2.2 改進(jìn)的模板匹配定位算法

如圖5所示為經(jīng)過改進(jìn)大津法初次閾值分割后得到的二值圖像,其中部分料盤的邊沿經(jīng)閾值分割后產(chǎn)生了白色矩形區(qū)域,與金手指形狀類似,會對金手指的模板匹配造成較大干擾,因此傳統(tǒng)的模板匹配算法有以下不足之處:

①計算量大,匹配過程計算較復(fù)雜,計算量隨圖像所包含的像素增加而迅速增大,而且執(zhí)行匹配運(yùn)算的次數(shù)隨著像場的大小而增多,匹配效率不高。②對于像場中金手指方位旋轉(zhuǎn)和尺度縮放的適應(yīng)性較差。③對于像場中出現(xiàn)的料盤干擾信息過于敏感,易產(chǎn)生過匹配。

圖5 SD卡陣列二值圖像

如圖5所示,金手指輪廓特征與料盤邊沿產(chǎn)生的干擾塊輪廓特征相似度較高。因此,需要取金手指模板的區(qū)域特征來進(jìn)行模板匹配定位,以排除料盤邊沿輪廓特征對金手指造成的干擾。行列統(tǒng)計特征主要反映了金手指的區(qū)域統(tǒng)計特性,既克服了逐像素特征提取運(yùn)算量大的問題,又完好的保存了金手指的形狀特征,突出了金手指與料盤干擾塊的區(qū)別。在本文中,金手指模板二值圖像及其行列投影特征曲線如圖6所示。

圖6 金手指模板及行列投影特征曲線

為排除料盤邊沿產(chǎn)生的干擾以及縮短運(yùn)行時間,本文依據(jù)金手指圖像的行列投影特征進(jìn)行多次模板匹配得到金手指精確坐標(biāo)。主要特點(diǎn)如下。

①通過分別選用行或列投影特征進(jìn)行歸一化模板匹配,得到行列匹配定位結(jié)果,求得歸一化系數(shù)最大的位置即為圖像中與模板最相似的金手指的位置。行或列匹配過程的數(shù)學(xué)描述為:

(2)

式中:T為金手指模板投影向量,大小為M;S為SD卡的二值圖像投影向量,大小為L。

②為解決像場中出現(xiàn)的冗余信息干擾問題,進(jìn)行多次匹配定位得到金手指精確位置。以圖像左上角為原點(diǎn)(0,0),橫向?yàn)閄軸,縱向?yàn)閅軸。定位算法流程圖如圖7所示。

圖7 改進(jìn)的模板匹配定位算法流程圖

圖8 自適應(yīng)閾值分割得到的圖像

通過得到的金手指精確坐標(biāo)對SD卡灰度圖像分割得到圖8(c)所示的金手指灰度圖像。

2.3 改進(jìn)大津法進(jìn)行再次閾值分割

運(yùn)用改進(jìn)大津法對金手指灰度圖像閾值分割得到圖8(d)所示的金手指二值圖像。

3 基于多特征融合的形態(tài)識別算法

通過分析得到的金手指二值圖像,以金手指的位置特征(XY坐標(biāo))、形狀特征(長度寬度)、面積特征、傾斜度與模板匹配度特征(歸一化相關(guān)系數(shù)的大小)等多個特征提取特征向量,得到SD卡在料盤中的形態(tài)。

3.1 SD卡姿態(tài)分析

圖9為SD卡在料盤中的9類姿態(tài)描述。

圖9 SD卡在料盤中的姿態(tài)與描述

3.2 SD卡形態(tài)識別

在SD卡的生產(chǎn)工藝中,將形態(tài)分為3類:①“0”類:正常形態(tài)包括在料盤中姿態(tài)。②“1”類:翹料形態(tài)包括壓到料盤邊沿、在料盤中翹曲、在料盤中旋轉(zhuǎn)等姿態(tài)。③“2”類:少料形態(tài)包括不在料盤中姿態(tài)。

形態(tài)識別特征如下:

①位置特征:金手指坐標(biāo)范圍為(x0±Δx,y0±Δy),其中(x0,y0)為SD卡在料盤正中時金手指坐標(biāo)。Δx為料盤左右邊沿與邊沿內(nèi)壁的距離。Δy為料盤上下邊沿與邊沿內(nèi)壁的距離。金手指位置特征坐標(biāo)為(0,0)說明未匹配到金手指,為少料形態(tài);超出范圍為翹料形態(tài);

②形狀特征:金手指的長度與寬度范圍為(H0±ΔH,W0±ΔW),其中(H0,W0)為SD卡在料盤正中時金手指的長度與寬度。ΔH為料盤上下邊沿高度與料盤中心高度差引起的金手指長度變化。數(shù)學(xué)模型如圖10所示。

圖10 縱向截面數(shù)學(xué)模型

(3)

可得:

ΔH=H0*(1-cos(arcsin(H/H0)))

(4)

同理可得ΔW為料盤左右邊沿高度與料盤中心高度差引起的金手指寬度變化量。金手指形狀特征為0,為少料形態(tài);超出范圍為翹料形態(tài);

③面積特征:SD卡在料盤中金手指的面積范圍為(S0-ΔS,S0),其中S0為SD卡在料盤正中時金手指面積。ΔS為壓到料盤邊沿后金手指面積變化量。金手指面積特征為0,為少料形態(tài);超出范圍為翹料形態(tài);

④補(bǔ)充特征:以上特征可以完成對大部分SD卡姿態(tài)的形態(tài)識別,但是對旋轉(zhuǎn)姿態(tài)的形態(tài)識別不盡人意。因此加入傾斜度k與匹配度p作為補(bǔ)充特征。

(5)

式中:k0為金手指模板的傾斜度,L0為金手指模板中最先出現(xiàn)白色像素點(diǎn)的行坐標(biāo),L1為金手指模板中出現(xiàn)大量白色像素點(diǎn)的行坐標(biāo),colshadow為金手指模板列特征向量。當(dāng)匹配到的金手指傾斜度k>k0時,說明金手指發(fā)生旋轉(zhuǎn)即SD卡為翹料形態(tài);

p=p0+p1

(6)

式中:p0為行投影特征匹配時得到的歸一化系數(shù),p1為列投影特征匹配時得到的歸一化系數(shù),p<1.5說明求得的金手指與金手指模板相似度差,即為翹料形態(tài);

對金手指進(jìn)行特征向量提取:金手指特征判斷結(jié)果為正常放置形態(tài)時,該項元素為“0”;翹料形態(tài)時,該項元素為“1”;少料形態(tài)時,該項元素為“2”。全部特征向量元素提取完畢后,對特征向量進(jìn)行分類:特征向量中存在元素“2”,即輸出結(jié)果為:“少料”;特征向量中元素全部為“0”,即輸出結(jié)果為:“正?！?其他情況時:輸出結(jié)果為:“翹料”。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出算法的有效性,采用設(shè)備實(shí)際運(yùn)行過程中采集到的100幅8×8陣列黑白圖像進(jìn)行實(shí)驗(yàn)。圖像大小為3 840×2 748。工控機(jī)采用IPC-610主板i7-3770,8G運(yùn)行內(nèi)存加裝250G固態(tài)硬盤。開發(fā)環(huán)境為Visual Studio 2010。相機(jī)為1000萬黑白相機(jī),型號為:大恒MER-1070-14U3M-L。

4.1 模板匹配定位算法對比實(shí)驗(yàn)

為了驗(yàn)證本文所設(shè)計的改進(jìn)模板匹配定位算法的實(shí)時性以及精度,本文設(shè)計了如下實(shí)驗(yàn)。分別使用基于逐像素點(diǎn)的模板匹配算法、本文中的模板匹配算法、基于投影特征的模板匹配算法,對采集到的100幅圖像進(jìn)行對比試驗(yàn)。得到各匹配算法運(yùn)行時間以及定位誤差。其中,定位誤差描述為匹配定位結(jié)果與實(shí)際位置的歐式距離:

(7)

式中:(x,y)為定位結(jié)果,(x0,y0)為實(shí)際位置。得到各定位算法在處理100幅圖像時的平均運(yùn)行時間以及誤差對比。

表1 模板匹配定位算法運(yùn)行時間

圖11 定位算法誤差對比圖

雖然基于逐像素點(diǎn)的匹配定位算法定位誤差最小,但運(yùn)行時間超過1 500 ms,不能滿足工作節(jié)拍的要求。基于投影特征的匹配定位算法運(yùn)行時間最短,但是定位誤差太大,無法滿足SD卡形態(tài)識別準(zhǔn)確率的要求。本文匹配定位算法誤差小,運(yùn)行時間在300 ms以內(nèi),能夠滿足實(shí)際需求。

4.2 多特征融合形態(tài)識別實(shí)驗(yàn)

為了驗(yàn)證本文SD卡形態(tài)識別算法的準(zhǔn)確率與魯棒性,對實(shí)際采集的100幅圖像中SD卡形態(tài)進(jìn)行了識別,識別結(jié)果如表2所示,對于64×100=6 400 項,正確識別數(shù)為:6 394,準(zhǔn)確率為99.906%,滿足實(shí)際要求。由此可知,本文所設(shè)計的SD卡形態(tài)識別算法具有良好的準(zhǔn)確率以及魯棒性。

表2 形態(tài)識別算法測試結(jié)果

5 結(jié)論

通過前面的討論和實(shí)驗(yàn)數(shù)據(jù)可以看出,本文SD卡形態(tài)識別算法具有以下特點(diǎn):①在分割存在不均勻明場暗場區(qū)域的圖像時,改進(jìn)的大津法與傳統(tǒng)的大津法相比具有很大的優(yōu)勢。②在匹配性能上,傳統(tǒng)的模板匹配定位算法在運(yùn)行時間與抗干擾的能力方面無法達(dá)到實(shí)際需求。而文中提出的定位算法不僅運(yùn)行時間短,并且抗干擾能力強(qiáng),準(zhǔn)確度高。③在形態(tài)識別時,基于多特征融合的形態(tài)識別算法由于選取了位置特征、形狀特征、補(bǔ)充特征等多個特征,較好的克服了SD卡姿態(tài)多變的干擾,使系統(tǒng)的識別率大大提高,穩(wěn)定性加強(qiáng)。對大量現(xiàn)場圖片的識別測試顯示其識別效果理想。