采用輪廓向量特征的嵌入式圖像匹配方法

倪健，白瑞林，李英，吉峰，李杜

1.江南大學(xué)輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇無錫214122

2.無錫信捷電氣有限公司，江蘇無錫214072

1 引言

圖像匹配技術(shù)是機(jī)器視覺必不可少的一部分，在醫(yī)學(xué)、交通、遙感監(jiān)測、工農(nóng)業(yè)檢測等諸多領(lǐng)域內(nèi)有著廣泛的應(yīng)用，尤其是工業(yè)流水線上的產(chǎn)品定位檢測，要求圖像匹配具有優(yōu)秀的魯棒性、實(shí)時(shí)性。

目前圖像匹配仍是一個(gè)熱點(diǎn)和難點(diǎn)問題。Zitova等[1]直接利用圖像灰度信息進(jìn)行相似度度量以定位目標(biāo)。Low e[2]提出SIFT算法，利用尺度空間性質(zhì)，以梯度方向的直方圖為基礎(chǔ)，給出了一種尺度不變關(guān)鍵點(diǎn)的檢測方法。Bay等[3]提出一種新的特征提取算法SURF，它通過快速Hessian矩陣，非極大值抑制得到特征點(diǎn)，計(jì)算特征描述向量則通過計(jì)算區(qū)域Harr響應(yīng)獲得。U lrich等[4]提出一種分級廣義Hough變換，將圖像的空間域變換到參數(shù)空間，可以檢測任意形狀物體。另外還有諸多實(shí)例利用不變矩[5]、像素灰度值[6]、互信息量[7]或特征點(diǎn)[8]等特征，并基于神經(jīng)網(wǎng)絡(luò)、遺傳算法、動態(tài)規(guī)劃或松弛匹配等搜索策略進(jìn)行圖像匹配工作。

本文針對工業(yè)流水線上工件的圖像匹配定位問題，且相機(jī)與流水線相對位置固定，考慮目標(biāo)的平移、旋轉(zhuǎn)、縮放、遮擋、光照變化、極性反轉(zhuǎn)、聚焦不準(zhǔn)、對比度低等問題，提出了一種基于關(guān)鍵輪廓向量特征，根據(jù)模板信息自動確定圖像金字塔分層數(shù)、旋轉(zhuǎn)角度步長和縮放步長，圖像金字塔最高層二級篩選策略，以及非最高層同步局部搜索區(qū)域構(gòu)建和匹配的實(shí)時(shí)圖像匹配方法。

2 基于輪廓向量特征的圖像匹配原理

輪廓特征相比較于點(diǎn)、面、統(tǒng)計(jì)量等特征，具有計(jì)算量小，抗噪能力強(qiáng)等特點(diǎn)，使圖像匹配的魯棒性、實(shí)時(shí)性得到提高[9]。同時(shí)，由于在待測圖中目標(biāo)坐標(biāo)、方向角度和縮放大小均未知，模板需要進(jìn)行圖像變換以與某位姿上的對象進(jìn)行相似度計(jì)算，通常將這種變換定義為包含旋轉(zhuǎn)、平移和縮放的仿射變換，又因平移分量可由模板在待測圖中的游走匹配代替，因而這種變換可表示為：

式（1）為坐標(biāo)點(diǎn)逆時(shí)針旋轉(zhuǎn)變換，其中(x0y0)T，(x1y1)T為點(diǎn)旋轉(zhuǎn)前后的坐標(biāo)，a為縮放系數(shù)，θ為旋轉(zhuǎn)角度[10]。然后利用經(jīng)式（1）變換過的多角度模板在待測圖中進(jìn)行遍歷搜索匹配，當(dāng)游走到某一位姿時(shí)，則利用式（2）基于模板和待測圖輪廓點(diǎn)方向向量的相似度量法則，進(jìn)行二者匹配判斷：

K為模板輪廓點(diǎn)總個(gè)數(shù)；di=(ai，bi)為模板輪廓點(diǎn)上X、Y方向向量；ei=(wi，ri)為與di相關(guān)聯(lián)模板坐標(biāo)對應(yīng)到待測圖中輪廓點(diǎn)的X、Y方向向量組成；分別為方向向量對應(yīng)的梯度強(qiáng)度值；s表示模板與待測圖的相似度，取值范圍為0～1，s越大相似度越高[11]。

式（2）相似度量不受遮擋、混亂影響，如果在模板或待測圖中某個(gè)特征丟失，噪聲將產(chǎn)生一個(gè)隨機(jī)方向向量，這些方向向量平均起來將不會對總和造成影響。對于各向同性像素點(diǎn)，可以設(shè)置其方向向量為0，這樣遮擋和混亂構(gòu)成的特征就不會對這個(gè)總和造成影響。方向向量的長短又取決于圖像的亮度，式（2）相似度量把所有的方向向量都變?yōu)?，相似度量就不會受任意光照變化影響。在分子部分取絕對值，可以保證在模板與目標(biāo)明暗變換顛倒的情況下也能找到目標(biāo)。

3 基于關(guān)鍵輪廓向量特征的圖像金字塔匹配算法設(shè)計(jì)與實(shí)現(xiàn)

3.1 關(guān)鍵輪廓向量特征提取

現(xiàn)有輪廓檢測方法雖能較好提取圖像輪廓，但直接用于圖像匹配之中，仍不能達(dá)到理想效果。

本文采用圖像的關(guān)鍵輪廓特征，并以輪廓的X、Y方向的梯度向量作為特征描述。所謂關(guān)鍵輪廓特征應(yīng)滿足以下兩點(diǎn)：滿足輪廓單像素化；僅保留目標(biāo)主體輪廓。既能減少相似度計(jì)算的輸入量以及減少運(yùn)算時(shí)間，又可提高存在遮擋、模糊聚焦等情況時(shí)的目標(biāo)識別率。針對工業(yè)現(xiàn)場環(huán)境，本文改進(jìn)現(xiàn)有輪廓檢測方法，提出如下方法提取特征：

（1）對灰度圖利用均值濾波去噪、Sobel算子提取輪廓點(diǎn)的X、Y方向向量及對應(yīng)的梯度值。

（2）對梯度圖進(jìn)行非極大值抑制細(xì)化輪廓，達(dá)到單像素化目的。

（3）對經(jīng)處理的梯度圖利用Otsu和高低閾值處理，提取目標(biāo)的單像素主體輪廓。

（4）應(yīng)用最小輪廓尺寸剔除法，篩除梯度圖中小于某一尺寸的輪廓，以去除細(xì)小瑣碎輪廓。

此時(shí)，細(xì)小、瑣碎輪廓已去除，基本僅存單像素寬度的主體輪廓，且如圖1（c）所示。

圖1 關(guān)鍵輪廓提取

3.2 構(gòu)建圖像金字塔及自動分層

若直接將模板與待測圖進(jìn)行特征匹配，算法的復(fù)雜度將為O(whnm)，w和h是待測圖的寬和高，n是模板的輪廓點(diǎn)數(shù)，m是模板搜索角度范圍。面對如此高的復(fù)雜度，無法滿足工業(yè)實(shí)時(shí)性要求。

為此提出利用2×2均值法構(gòu)建圖像金字塔，進(jìn)行多分辨率圖像搜索策略，并根據(jù)模板輪廓像素點(diǎn)數(shù)自動確定其構(gòu)建層數(shù)。依據(jù)大量現(xiàn)場樣本測試概率統(tǒng)計(jì)分析，對于大多數(shù)輪廓簡潔且紋理較少的幾何工件而言，當(dāng)其圖像金字塔在某層輪廓點(diǎn)數(shù)剛好大于20～30個(gè)，再高一層則小于此值時(shí)，則工件圖像在該層仍能保持良好可分辨的外輪廓，可將該層定為圖像金字塔最高層。

同時(shí)，為保證目標(biāo)存在縮放情況時(shí)，也能正確構(gòu)建金字塔，需保證最高層模板輪廓圖縮小設(shè)定的最小縮小系數(shù)時(shí)，其輪廓像素點(diǎn)數(shù)仍大于20～30個(gè)像素。

3.3 自動確定模板旋轉(zhuǎn)角度步長

因待測圖中的目標(biāo)角度具有隨機(jī)性，在給出模板搜索角度范圍后，需確定合適的匹配旋轉(zhuǎn)角度步長。避免過度旋轉(zhuǎn)致使丟失目標(biāo)，或欠旋轉(zhuǎn)造成重復(fù)匹配。因此，提出基于余弦定理和模板輪廓點(diǎn)分布情況自動計(jì)算模板旋轉(zhuǎn)角度步長的方法。

（1）根據(jù)模板輪廓圖計(jì)算其質(zhì)心坐標(biāo)(XC，YC)及輪廓總點(diǎn)數(shù)K，以下為質(zhì)心點(diǎn)求解公式：

式中xiyi為輪廓點(diǎn)X、Y方向坐標(biāo)值。

（2）根據(jù)余弦定理求解距質(zhì)心最遠(yuǎn)輪廓點(diǎn)繞質(zhì)心旋轉(zhuǎn)過的角度以求旋轉(zhuǎn)角度步長。點(diǎn)L、p為模板質(zhì)心點(diǎn)、最遠(yuǎn)輪廓點(diǎn)，點(diǎn)w為點(diǎn)p旋轉(zhuǎn)后的點(diǎn)，設(shè)邊長為pw=1，Lp=Lw=a，由余弦定理求∠w Lp：

∠w Lp為可保證模板旋轉(zhuǎn)后至少有輪廓點(diǎn)旋轉(zhuǎn)出原坐標(biāo)所對應(yīng)的角度，但旋轉(zhuǎn)角度步長需保證模板旋轉(zhuǎn)前后能夠區(qū)分開來。因此針對某些模板，點(diǎn)p需旋轉(zhuǎn)大于1個(gè)像素距離。統(tǒng)計(jì)分析知，當(dāng)pw在1～2之間取值時(shí)，可滿足各種情況模板。

3.4 自動確定模板縮放步長

由于目標(biāo)實(shí)際尺寸、目標(biāo)與相機(jī)距離的隨機(jī)性，導(dǎo)致模板和實(shí)際目標(biāo)存在一定的縮放比例，為避免過縮放或欠縮放，需確定模板縮放步長。本文根據(jù)模板具體信息，自動計(jì)算出模板縮放步長：

（1）計(jì)算模板圖金字塔某一層輪廓圖質(zhì)心點(diǎn)c和距質(zhì)心點(diǎn)歐式距離最遠(yuǎn)輪廓點(diǎn)p的坐標(biāo)。

（2）根據(jù)圖像縮放性質(zhì)，當(dāng)點(diǎn)p以質(zhì)心c為基準(zhǔn)點(diǎn)，縮放1個(gè)像素單位，能保證模板輪廓上至少有1個(gè)像素移動出原來的坐標(biāo)，據(jù)統(tǒng)計(jì)可知，當(dāng)點(diǎn)p坐標(biāo)縮放1～2個(gè)像素單位，即可滿足各種情況，作為該模板的縮放步長。當(dāng)點(diǎn)p縮放1個(gè)像素單位時(shí)對應(yīng)的縮放步長s為：

減少環(huán)境應(yīng)激原，以保持寶寶良好的穩(wěn)定情緒，去除誘發(fā)因素，如花粉、灰塵、纖維、寵物、動物皮屑、室外污染物如汽車尾氣，經(jīng)常打掃暗角，曬洗被褥。

式中，pc為點(diǎn)p和點(diǎn)c之間的歐式距離。

3.5 圖像金字塔最高層二級篩選匹配

雖然圖像金字塔已極大降低了算法復(fù)雜度，但在最高層匹配時(shí)仍為傳統(tǒng)的窮舉遍歷法搜索，計(jì)算量較大。因此，減少整體方法耗時(shí)的關(guān)鍵在于圖像金字塔最高層的目標(biāo)快速匹配定位。

為此提出在圖像金字塔最高層，基于搜索框優(yōu)先剔除目標(biāo)非潛在位置區(qū)域，再進(jìn)行匹配的二級篩選快速匹配策略。具體操作為：

（1）構(gòu)建搜索框。根據(jù)給出的縮放范圍和縮放步長，在逐步遞增的每一個(gè)模板縮放系數(shù)下，以最高層的模板質(zhì)心為旋轉(zhuǎn)基準(zhǔn)點(diǎn)，構(gòu)建包圍全旋轉(zhuǎn)角度范圍下模板的最小外接矩形，并使該矩形4條邊與坐標(biāo)軸平行，即為搜索框，質(zhì)心為其基準(zhǔn)點(diǎn)。如圖2所示，為三角形efg為模板，點(diǎn)N為質(zhì)心，矩形abcd為模板，360°角度范圍旋轉(zhuǎn)構(gòu)建的搜索框。

圖2 搜索框構(gòu)建示意圖

（2）待測圖目標(biāo)非潛在位置區(qū)域篩選。設(shè)最高層模板輪廓總點(diǎn)數(shù)為K，相似度閾值為S，搜索框在待測圖中遍歷移動，判斷搜索框所覆蓋待測圖范圍內(nèi)輪廓點(diǎn)數(shù)，若點(diǎn)數(shù)大于K×S，則標(biāo)記搜索框基準(zhǔn)點(diǎn)此時(shí)對應(yīng)待測圖中的點(diǎn)坐標(biāo)，認(rèn)為可能存在以它為質(zhì)心的某角度目標(biāo)；否則不予標(biāo)記。

（3）基于關(guān)鍵輪廓向量特征的匹配判斷。僅對待測圖經(jīng)上一步標(biāo)記的位置，利用預(yù)先經(jīng)旋轉(zhuǎn)處理并存儲的多角度模板進(jìn)行全角度范圍匹配。同時(shí)，改進(jìn)式（2）的運(yùn)算，先對模板和待測圖的輪廓點(diǎn)方向向量歸一化，再進(jìn)行匹配判斷，這樣對每個(gè)輪廓點(diǎn)的判斷可減少一次乘法和除法運(yùn)算，改進(jìn)公式如下：

為提高計(jì)算判斷速度，設(shè)立終止條件，當(dāng)計(jì)算了待測圖與模板對應(yīng)的T個(gè)輪廓點(diǎn)后，所得點(diǎn)相似度和值為

即使剩余的K-T個(gè)點(diǎn)完全匹配也不可能達(dá)到相似度閾值S，因此結(jié)束本次相似度計(jì)算。

3.6 圖像金字塔非最高層快速匹配

（1）同步圖像金字塔構(gòu)建與目標(biāo)匹配。改變原有預(yù)先建立圖像金字塔進(jìn)而匹配方法，實(shí)行在某一層定位到目標(biāo)后，再構(gòu)建其下一層圖像金字塔，進(jìn)行目標(biāo)匹配的方案。據(jù)此可節(jié)省待測圖像金字塔預(yù)先完整建立所占內(nèi)存空間，也可避免待測圖中目標(biāo)不存在時(shí)，金字塔完整預(yù)建立所耗費(fèi)的時(shí)間。

（2）局部待測圖像區(qū)域金字塔構(gòu)建。為節(jié)省內(nèi)存空間，在建立待測圖像金字塔非最高層圖像時(shí)，利用其上一層定位出的目標(biāo)信息，僅構(gòu)建對應(yīng)到該層的目標(biāo)所在局部圖像區(qū)域，從而節(jié)約本層非目標(biāo)存在圖像區(qū)域構(gòu)建所浪費(fèi)的時(shí)間和空間。

4 實(shí)驗(yàn)測試與分析

本測試實(shí)驗(yàn)均在W in7系統(tǒng)的MATLAB 2009a平臺上完成，電腦硬件配置為奔騰雙核CPU（主頻2.2GHz），圖片由實(shí)驗(yàn)室自主研發(fā)640像素×480像素分辨率的30萬黑白相機(jī)拍攝。

本文主要從兩個(gè)方面測試算法的優(yōu)劣程度，即魯棒性和實(shí)時(shí)性，認(rèn)為滿足此二者條件的算法可應(yīng)用于工業(yè)現(xiàn)場生產(chǎn)。

4.1 魯棒性測試

魯棒性即指當(dāng)待測圖中目標(biāo)存在遮擋，光照不均，圖像噪聲，灰度值屬性變化，模糊聚焦成像等外界環(huán)境干擾時(shí)，仍能對其進(jìn)行準(zhǔn)確匹配定位，即識別率測試。

圖3～圖5分別為洗發(fā)水瓶蓋、十字箭頭型工件、文字在各種情況下的定位效果圖，圖中紅色線為定位目標(biāo)輪廓，藍(lán)色點(diǎn)為目標(biāo)質(zhì)心點(diǎn)。

圖3 洗發(fā)水瓶蓋定位

圖4 十字箭頭型工件定位

圖5 文字縮放定位

為驗(yàn)證算法識別率，對液晶屏標(biāo)記、洗發(fā)水瓶蓋、萬字字符、十字工件、鋰電池定位孔各自進(jìn)行500張樣品魯棒性定位測試。如圖6所示，為本文算法、Halcon軟件和PatM ax軟件進(jìn)行的識別率比對分析，可以看出本文算法與兩軟件定位識別率相比，部分樣品的識別率更高。

圖6 識別率對比圖

相似度閾值一般為人為設(shè)定，取值在0.6～0.8之間較宜，具體應(yīng)根據(jù)現(xiàn)場目標(biāo)可能受到的干擾而定。如圖7所示，為識別率、漏檢率和誤檢率隨相似度閾值遞增的變化趨勢示意圖。

圖7 識別率、誤檢率和漏檢率隨相似度閾值變化趨勢圖

4.2 實(shí)時(shí)性測試

實(shí)時(shí)性即為算法在規(guī)定時(shí)間內(nèi)是否能完成給定的工作，當(dāng)然算法運(yùn)算時(shí)間越短越好。針對此目的，由于圖像匹配工作的部分參數(shù)需人為設(shè)定，在實(shí)際操作時(shí)還應(yīng)注意以下幾個(gè)方面：

（1）相似度閾值。該值過小會造成誤檢目標(biāo)，圖像金字塔向下層精定位時(shí)運(yùn)算量會過大，該值過大則會使漏檢率增加、識別率降低。

（2）搜索區(qū)域。應(yīng)根據(jù)目標(biāo)在待測圖中可能出現(xiàn)的區(qū)域，盡量規(guī)定較小的搜索區(qū)域。

（3）搜索角度范圍。應(yīng)根據(jù)目標(biāo)實(shí)際可能出現(xiàn)的最大角度范圍設(shè)定，較小該值可提速算法，對于幾何對稱的目標(biāo)，更應(yīng)根據(jù)其對稱特性設(shè)置該值。

（4）目標(biāo)縮放范圍。根據(jù)目標(biāo)可能出現(xiàn)的縮放大小情況，盡可能確定一個(gè)較小的縮放范圍。

（5）圖像金字塔分層數(shù)，分層越多，算法耗時(shí)越少，但是當(dāng)層數(shù)達(dá)到一定值時(shí)，模板圖的信息量就會較少，可能會造成誤檢、漏檢的發(fā)生。

如圖8所示，對液晶屏標(biāo)記、洗發(fā)水瓶蓋、十字箭頭型工件分別進(jìn)行50張圖片定位的耗時(shí)統(tǒng)計(jì)圖。為獲取算法最大耗時(shí)，除十字箭頭型工件搜索角度范圍設(shè)為0°～90°，其余工件為0°～360°，縮放系數(shù)為0.8～1.2，未設(shè)置搜索個(gè)數(shù)上限，搜索區(qū)域?yàn)?40像素×480像素全圖，相似度閾值在0.6～0.8之間浮動，金字塔自動分層，分別為5、5、6層。

圖8 目標(biāo)耗時(shí)統(tǒng)計(jì)

由圖8看出，雖然耗時(shí)在100～180ms之間，但適當(dāng)設(shè)置影響耗時(shí)的幾個(gè)方面，將算法用C語言實(shí)現(xiàn)，嵌入實(shí)驗(yàn)室開發(fā)的軟硬件平臺后，可控制耗時(shí)在100m s以內(nèi)甚至更少，可工業(yè)現(xiàn)場實(shí)時(shí)性要求。

5 結(jié)論

本文針對工業(yè)現(xiàn)場工件快速、準(zhǔn)確定位問題，提出一種采用關(guān)鍵輪廓向量特征的實(shí)時(shí)圖像匹配方法。主要特點(diǎn)是：

（1）提取基于X、Y方向向量的關(guān)鍵輪廓特征，能表達(dá)主要輪廓信息，并保證輪廓點(diǎn)數(shù)盡量精簡，極大減少運(yùn)算時(shí)間。

（2）提出根據(jù)模板圖像具體信息，自動計(jì)算出合適的金字塔分層數(shù)、每層金字塔模板匹配旋轉(zhuǎn)角度步長和縮放步長，確保識別率和耗時(shí)的均衡。

（3）利用圖像金字塔搜索策略，并創(chuàng)新采用圖像金字塔最高層二級篩選策略，根據(jù)待測圖具體內(nèi)容優(yōu)先剔除目標(biāo)非潛在位置區(qū)域，然后僅對剩余的少量區(qū)域進(jìn)行匹配，同時(shí)預(yù)存多角度模板和設(shè)置相似度截止條件，能大大提高匹配速度。

（4）在圖像金字塔非最高層進(jìn)行局部待測圖區(qū)域構(gòu)建，同步圖像金字塔構(gòu)建和目標(biāo)匹配的方法，節(jié)省內(nèi)存空間和減少計(jì)算時(shí)間。

實(shí)際測試表明，本文方法魯棒性好，抗圖像畸變、噪聲、遮擋、光照變化、極性反轉(zhuǎn)、聚焦不準(zhǔn)、對比度低等能力強(qiáng)，耗時(shí)為毫秒數(shù)量級，可實(shí)現(xiàn)任意角度、坐標(biāo)、縮放下的目標(biāo)匹配定位，正確率達(dá)97%以上，滿足了工業(yè)現(xiàn)場應(yīng)用要求。

[1]Zitova B，F(xiàn)lusser J.Image registration methods：a survey[J].Image and Vision Computing，2003，21（11）：977-1000.

[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[3]Bay H，Ess A，Tuytelaars T.Surf：speeded up robust features[J].Computer Vision and Image Understanding，2008，110（3）：346-359.

[4]Ulrich M，Steger C，Baumgartner A.Real-time object recognition using a modified generalized hough transform[J].Pattern Recognition，2003，36（11）：2557-2570.

[5]Singh C，Walia E.Fast and numerically stable methods for the computation of zernike moments[J].Pattern Recognition，2010，43（7）：2497-2506.

[6]Kim H Y.Rotation-discriminating template matching based on Fourier coefficients of radial projections with robustness to scaling and partial occlusion[J].Pattern Recognition，2010，43（3）：859-872.

[7]Rajwade A，Banerjee A，Rangarajan A.Probability density estimation using isocontours and isosurfaces：applications to information-theoretic image registration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（3）：475-491.

[8]Teke M，Tem izel A.Muti-spectral Satellite Image Registration Using Scale-restricted Surf[C]//Proceedings of International Conference on Pattern Recognition，Istanbul，2010：2310-2313.

[9]Tuytelaars T，M ikolajczyk K.Local invariant feature detectors：a survey[J].Computer Graphics and Vision，2008，3（3）：177-280.

[10]Steger C，U lrich M，W iedemann C.機(jī)器視覺算法與應(yīng)用[M].楊少榮，吳迪靖，段德山，譯.北京：清華大學(xué)出版社，2008：238-345.

[11]鄒廣華.基于幾何特征的快速模板匹配算法[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.