基于顏色和SURF特征的圖像匹配算法

王招娣，王賢立，楊數(shù)強(qiáng)

(洛陽(yáng)師范學(xué)院 物理與電子信息學(xué)院，河南 洛陽(yáng) 471934)

基于顏色和SURF特征的圖像匹配算法

王招娣，王賢立，楊數(shù)強(qiáng)

(洛陽(yáng)師范學(xué)院 物理與電子信息學(xué)院，河南 洛陽(yáng) 471934)

針對(duì)SURF算法在提取圖像特征時(shí)，只采用圖像灰度信息，不能很好地區(qū)分形狀相似但顏色不同的物體這一問(wèn)題，文中提出了一種基于顏色直方圖和SURF相結(jié)合的CH-SURF匹配算法。該算法選用目標(biāo)顏色直方圖進(jìn)行特征匹配，對(duì)目標(biāo)進(jìn)行粗略定位；并在標(biāo)定的小區(qū)域內(nèi)采用SURF算法進(jìn)行區(qū)域特征匹配；最后采用VS2008平臺(tái)進(jìn)行了仿真實(shí)驗(yàn)，結(jié)果表明CH-SURF算法與SURF算法相比減少了特征點(diǎn)匹配的時(shí)間，并在一定程度上保證了特征匹配的準(zhǔn)確性。

顏色直方圖; SURF;特征匹配; Opencv;VS2008

特征提取算法[1](Speeded Up Robust Features，SURF)是一種局部特征提取算法,該算法主要采用了積分圖像、箱式濾波器、Harr小波變換和Hessian矩陣檢測(cè)特征值等方法，該算法運(yùn)行效率較高，且對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換及噪聲也保持一定程度的穩(wěn)定性，因此成為圖像特征提取方面的研究熱點(diǎn)。目前SURF算法主要用于人臉識(shí)別[2-4]、掌紋識(shí)別[5-7]、醫(yī)學(xué)遙感影像配準(zhǔn)[8]和全景拼接[9]等領(lǐng)域。但是SURF算法依賴圖像的局部紋理特性，對(duì)全局特征明顯的圖片描述能力不夠，且SURF算法在提取圖像特征時(shí)忽略了圖像的色彩信息。

1 系統(tǒng)總體方案設(shè)計(jì)

顏色特征作為一種圖像全局特征[5]，與圖像局部SURF特征具有一定的互補(bǔ)性關(guān)系，且對(duì)于圖像旋轉(zhuǎn)、平移、尺度變換不敏感，因此本文選用將顏色特征與SURF特征相結(jié)合的CH-SURF(Color Histogram-SURF)特征匹配算法來(lái)實(shí)現(xiàn)目標(biāo)圖像的定位。其基本思路是首先選用目標(biāo)圖像顏色直方圖進(jìn)行特征匹配，通過(guò)提取目標(biāo)圖像在HSV空間的顏色直方圖特征，按照顏色匹配原理在源圖像中模糊定位出目標(biāo)的位置；然后再利用SURF算法在已標(biāo)定的區(qū)域內(nèi)提取SURF特征點(diǎn)，將這些特征點(diǎn)與目標(biāo)圖像的特征點(diǎn)進(jìn)行相似度匹配；最后采用Hessian矩陣的跡與歐式距離相結(jié)合的相似性度量法進(jìn)行相似度匹配，找到目標(biāo)圖像與源圖像的匹配點(diǎn)，最終實(shí)現(xiàn)目標(biāo)圖像區(qū)域定位的過(guò)程。

2 CH-SURF的特征匹配方法

CH-SUFR定位算法可分為兩個(gè)過(guò)程：(1)顏色直方圖匹配過(guò)程；(2)SURF特征匹配過(guò)程。

2.1 顏色直方圖匹配

顏色直方圖特征[5]的提取是一個(gè)被廣泛采用的特征提取方法。該過(guò)程主要包括兩部分：(1)顏色直方圖特征提??；(2)顏色特征相似度匹配。

2.1.1 顏色直方圖特征提取

首先，把圖像從RGB顏色空間轉(zhuǎn)換為HSV空間；其次，對(duì)HSV空間的H、S、V3個(gè)分量進(jìn)行非等間隔量化，根據(jù)3分量對(duì)光照敏感程度的不同分別將它們?cè)O(shè)置不同量化等級(jí)，如色調(diào)H的量化等級(jí)設(shè)為8，將飽和度S和亮度V的量化等級(jí)都設(shè)為3，量化公式為

(1)

按照上述量化式(1)，將3個(gè)分量合成為一維特征矢量Q

Q=9H+3S+V

最后，計(jì)算經(jīng)量化后的一維矢量Q上各種顏色分量所占的比例，即獲取8×3×3=72 bin的一維顏色直方圖，為接下來(lái)目標(biāo)圖像與源圖像的匹配做準(zhǔn)備。

2.1.2 顏色特征的相似性度量

相關(guān)匹配法是一種衡量?jī)煞N特征相似程度的度量方法，計(jì)算公式如式(2)所示

(2)

其中，H1表示目標(biāo)圖像顏色直方圖特征；H2表示源圖像顏色直方圖特征；d(H1,H2)表示兩者的相似性度量值，該數(shù)值越大表明匹配程度越好。通過(guò)計(jì)算找到d(H1,H2)取得最大值時(shí)對(duì)應(yīng)的像素點(diǎn)即為最佳匹配點(diǎn)，并以該點(diǎn)為中心，標(biāo)定出目標(biāo)圖像在源圖像中出現(xiàn)的大概位置。

2.2 SURF特征匹配

在上一步粗略定位的基礎(chǔ)上，采用SURF算法計(jì)算出目標(biāo)圖像的SURF特征點(diǎn)和已標(biāo)定的區(qū)域內(nèi)源圖像的SURF特征點(diǎn)，并將這些特征點(diǎn)賦予一定的主方向，以特征描述子的形式表示出了，最后采用Hessian矩陣的跡與歐式距離相結(jié)合的相似性度量法來(lái)完成目標(biāo)圖像的定位。SURF算法的實(shí)現(xiàn)步驟包括：(1)特征點(diǎn)的檢測(cè)；(2)特征描述子生成；(3)特征匹配。

2.2.1 SURF特征點(diǎn)的檢測(cè)

為了檢測(cè)目標(biāo)圖像的SURF特征點(diǎn)，需要建立圖像不同的尺度空間[10]。將一幅二維圖像I(x,y)與高斯核函數(shù)G(x,y,σ)做卷積運(yùn)算，如式(3)所示，即得到圖像不同的尺度空間

L(x,y,σ)=I(x,y)×G(x,y,σ)

(3)

在尺度空間的每一層上采用Hessian矩陣來(lái)采集圖像的極值點(diǎn)，對(duì)二維圖像I(x,y)上的任意一點(diǎn)X(x,y)，在不同空間尺度σ上，Hessian矩陣的定義如下

(4)

其中，LXX(X,σ)表示圖像上的點(diǎn)X(x,y)分別與二階偏導(dǎo)的卷積結(jié)果，同理LXy(X,σ)和Lyy(X,σ)亦是。為了降低計(jì)算的復(fù)雜度，SURF算法采用箱式濾波器模型中矩形波來(lái)代替二階高斯濾波[11]，同時(shí)引入積分圖像的概念加速了卷積的運(yùn)算速度。因此圖像I(x,y)上的任一點(diǎn)X(x,y)分別與箱式濾波模版的二階偏導(dǎo)做卷積的結(jié)果記為DXX、DXY和DYY來(lái)代替LXX(X,σ)、LXy(X,σ)和Lyy(X,σ)，故Hessian的行列式為

det(Hessian)=Dxx×Dyy-(ωDxy)

(5)

其中，ω表示權(quán)重系數(shù)，一般記做0.9。在利用Hessian矩陣求出極值后，對(duì)這些點(diǎn)進(jìn)行非極值抑制處理，即將該極值點(diǎn)與3×3×3的立體鄰域內(nèi)26個(gè)值做比較選出極大或極小值點(diǎn)，才能作為候選區(qū)的SURF特征點(diǎn)。

2.2.2 SURF特征描述子生成

SURF特征描述子[12-13]的生成分為兩個(gè)步驟：主方向的確定和描述子向量的生成。首先，以特征點(diǎn)為中心半徑為6σ(σ為特征點(diǎn)所在的尺度值)的圓形域鄰域內(nèi)，計(jì)算像素點(diǎn)在x,y方向上的Haar小波響應(yīng)值并對(duì)它們進(jìn)行加權(quán)統(tǒng)計(jì)，再?gòu)膞軸開(kāi)始將圓形區(qū)域60°范圍內(nèi)的Haar小波響應(yīng)值疊加，得到一個(gè)新的矢量記做矢量L1如圖1所示。以同樣的方式每隔5°遍歷整個(gè)圓域，計(jì)算360/5=72個(gè)不同矢量L1，L2，…，L72，再?gòu)倪@72個(gè)矢量中選擇最長(zhǎng)的矢量方向作為該特征點(diǎn)的主方向。

圖1 特征點(diǎn)主方向確定

其次，描述子向量的生成，以特征點(diǎn)為中心將坐標(biāo)軸旋轉(zhuǎn)到主方向，取邊長(zhǎng)為20σ的正方形區(qū)域，將該區(qū)域劃分為4×4的子區(qū)域，如圖2所示。

圖2 特征點(diǎn)描述子的生成

統(tǒng)計(jì)每個(gè)子區(qū)域內(nèi)像素點(diǎn)在X軸方向和Y軸方向的Haar小波響應(yīng)值，并分別記做dx和dy，再對(duì)這些值進(jìn)行加權(quán)、求和操作，即得到∑dx、∑|dx|、∑dy和∑|dy|，于是在子區(qū)域中就生成特征點(diǎn)描述符的特征向量V如式(6)所示，若將16個(gè)區(qū)域的向量都加入特征向量中，就變成16×4=64維特征向量

V=(∑ds,∑d|x|,∑dy,∑d|y|)

(6)

2.2.3 SURF特征匹配

在特征描述子生成之后，就要對(duì)目標(biāo)圖像和源圖像的SURF特征描述子進(jìn)行相似度匹配操作，該過(guò)程分為兩步：首先選用Hessian矩陣跡進(jìn)行特征點(diǎn)的初步匹配，因?yàn)閷?duì)比度相同的特征點(diǎn)對(duì)應(yīng)的Hessian矩陣跡(即矩陣對(duì)角元素之和)互為同號(hào)；而對(duì)比度不同的特征點(diǎn)對(duì)應(yīng)的Hessian矩陣跡互為異號(hào)，所以根據(jù)這一特性將目標(biāo)圖像與源圖像特征點(diǎn)比較，選擇出Hessian矩陣跡互為同號(hào)的特征對(duì)，放棄互為異號(hào)的特征對(duì)；然后，對(duì)上一步選擇下來(lái)的特征對(duì)，再采用歐氏距離匹配法進(jìn)行相似度判斷，最終找到兩幅圖像中特征點(diǎn)的一一對(duì)應(yīng)關(guān)系，歐氏距離如式(7)所示

(7)

上式中，Xim表示目標(biāo)圖中第i個(gè)特征描述子的第m個(gè)元素；Xjk表示源圖像中第j個(gè)特征描述子的第k個(gè)元素，n表示特征向量的維數(shù)64。首先計(jì)算目標(biāo)圖像上的特征點(diǎn)到源圖像中的所有特征點(diǎn)的歐氏距離，通過(guò)比較得出最小歐氏距離Da1和次最小歐氏距離Da2。然后，取最小歐氏距離和次最小歐氏距離的比值Da1/Da2與設(shè)定閾值0.7作比較，若小于閾值則證明目標(biāo)圖像上的該特征點(diǎn)與源圖像上最小歐氏距離對(duì)應(yīng)點(diǎn)是匹配的；否則不匹配。

因此,CH-SURF算法結(jié)合了顏色直方圖特征和SURF特征的互補(bǔ)性關(guān)系，在模糊定位的基礎(chǔ)上采用SURF匹配算法，最終實(shí)現(xiàn)了對(duì)目標(biāo)圖像定位。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證CH-SURF算法的有效性，本文選用VS2008作為實(shí)驗(yàn)平臺(tái)結(jié)合Opencv2.3視覺(jué)函數(shù)庫(kù)[14-15]進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)源圖像為JPEG格式的汽車圖片，待匹配的目標(biāo)圖像是源圖像中的3個(gè)不同顏色的汽車Car01,Car02和Car03如圖3所示。

圖3 待匹配的目標(biāo)圖像

3.1 仿真結(jié)果

3.1.1 CH-SURF算法特征匹配結(jié)果

采用CH-SURF算法完成對(duì)目標(biāo)圖像的定位操作，其實(shí)現(xiàn)過(guò)程是先通過(guò)顏色直方圖匹配的方法粗略定位出目標(biāo)的大致位置，然后在此基礎(chǔ)上選用SURF 算法來(lái)實(shí)現(xiàn)目標(biāo)精確定位，實(shí)驗(yàn)結(jié)果如圖4所示，其中，方框表示粗定位過(guò)程中大致確定的目標(biāo)圖像位置，圓圈表示在目標(biāo)圖像和矩形框內(nèi)的源圖像中提取的SURF特征點(diǎn)，最后通過(guò)直線將滿足匹配條件的特征點(diǎn)連在一起。

圖4 CH-SURF算法匹配結(jié)果

3.1.2 SURF特征匹配結(jié)果

SURF算法是在整個(gè)源圖像的區(qū)域內(nèi)提取所有的特征點(diǎn)，并將這些特征點(diǎn)與目標(biāo)圖像特征點(diǎn)進(jìn)行相似度匹配的過(guò)程，該算法的特征匹配結(jié)果如圖5所示。

圖5 SURF算法匹配結(jié)果

其中小圓圈表示目標(biāo)圖像和源圖像中提取到的所有SURF特征點(diǎn)，直線將能夠滿足相似度匹配要求的特征點(diǎn)連在一起，完成目標(biāo)定位操作，但由于SURF算法特征點(diǎn)提取數(shù)目比較多、匹配計(jì)算量大，且由于SURF算法丟失了顏色信息，因此不能很好的識(shí)別形狀相似但顏色不同的物體特征，易出現(xiàn)誤匹配的現(xiàn)象，如圖5中的car02情況。

3.2 CH-SURF與SURF算法性能比較

CH-SURF算法和SURF算法的主要不同在于前者是建立在顏色匹配法粗略定位的基礎(chǔ)之上，再在標(biāo)定的區(qū)域內(nèi)完成SURF特征匹配的；而后者則是直接采用SURF算法在整幅圖像上完成目標(biāo)定位的。因此兩種算法對(duì)于目標(biāo)圖像提取的特征點(diǎn)數(shù)目是一樣的，故只需比較CH-SURF算法與SURF算法對(duì)于源圖像特征提取的性能指標(biāo)即可，通過(guò)實(shí)驗(yàn)對(duì)兩種算法的特征點(diǎn)提取數(shù)目及時(shí)間進(jìn)行統(tǒng)計(jì)測(cè)試結(jié)果如表1和表2所示。

表1 兩種算法對(duì)源圖像提取特征點(diǎn)數(shù)目對(duì)比

如表1所示，CH-SURF算法提取特征點(diǎn)數(shù)目明顯比SURF算法要少，以Car01,Car02和Car03為例，該算法提取源圖像特征點(diǎn)數(shù)目分別從SURF所需要的406個(gè)減少到54個(gè)、38個(gè)和41個(gè)，數(shù)目減少比率分別為86.69%、90.64%和89.90%。

表2 兩種算法對(duì)源圖像特征提取時(shí)間的對(duì)比

從表2亦可得出，CH-SURF算法與SURF算法相比特征點(diǎn)提取時(shí)間分別從148.017 ms、147.13 2ms和146.997 ms減少到22.819 6 ms、21.774 1 ms和22.332 4 ms，減少比率分別為82.56%、85.20% 和84.81%。經(jīng)分析可知，采用CH-SURF算法實(shí)現(xiàn)目標(biāo)圖像定位的過(guò)程中，特征點(diǎn)提取所耗時(shí)間在20～25 ms之間波動(dòng)；而采用SURF算法特征點(diǎn)提取所耗時(shí)間則在141～151 ms之間波動(dòng)。

4 結(jié)束語(yǔ)

本文采用一種基于顏色直方圖特征與SURF特征相結(jié)合的CH-SURF算法來(lái)實(shí)現(xiàn)目標(biāo)圖像的定位操作，并通過(guò)實(shí)驗(yàn)對(duì)該算法進(jìn)行仿真實(shí)驗(yàn)。結(jié)果表明，該算法結(jié)合了顏色特征和SURF特征的互補(bǔ)性關(guān)系,改善了SURF特征匹配法對(duì)顏色不敏感的問(wèn)題，同時(shí)由于CH-SURF算法在模糊定位的基礎(chǔ)上實(shí)現(xiàn)特征點(diǎn)匹配的過(guò)程，使得源圖像特征點(diǎn)提取的數(shù)目降低89%，特征點(diǎn)匹配的時(shí)間減少了84%，證明了該算法是有效的。

[1] 劉橋,楊正坤,李晗.基于SURF算法的醫(yī)學(xué)圖像特征點(diǎn)匹配[J].電子科技,2014,27(5):145-149.

[2] 時(shí)培弘，董淑福，單勇.一種基于改進(jìn)SURF特征描述子的快速算法[J].電子科技,2015,28(10):8-10.

[3] 朱奇光,張朋珍,李昊立,等.基于全局和局部特征融合的圖像匹配算法研究[J].儀器儀表學(xué)報(bào),2016,37(1):170-176.

[4] 李娟.基于特征描述子的匹配方法[J].電子科技,2012, 25(6):79-82.

[5] 王招娣.基于SURF和顏色特征的圖像匹配算法研究[D].鄭州:鄭州大學(xué),2014.

[6] 顧大龍.基于SURF的圖像配準(zhǔn)技術(shù)可行性研究[J].現(xiàn)代電子技術(shù),2015(6):94-96.

[7] 趙啟.圖像匹配算法研究[D].西安:西安電子科技大學(xué),2013.

[8] 趙璐璐,耿國(guó)華,李康,何阿靜.基于SURF和快速近似最近鄰搜索的圖像匹配算法[J].計(jì)算機(jī)應(yīng)用研究,2013,30(3):921-923.

[9] 侯曉麗.基于局部特征的圖像匹配算法研究[D].西安:西安電子科技大學(xué),2014.

[10] 曾朝陽(yáng),程相正,陳杭,宋一鑠.基于改進(jìn)SURF算子的高低分辨率圖像配準(zhǔn)方法[J].激光與紅外,2014 (2):207-212.

[11] Zhang J W,Wang G G.Image matching using a bat algorithm with mutation[J].Applied Mechanics & Materials,2012,203(1):88-93.

[12] 林怡,應(yīng)旻,楊業(yè),等.改進(jìn)的SURF算法在彩色車載影像匹配中的應(yīng)用[J].同濟(jì)大學(xué)學(xué)報(bào):自然科學(xué)版,2014,42(4):624-629

[13] 李煬,翟社平.改進(jìn)的SIFT圖像匹配算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(11):58-62.

[14] 葛林.基于ARM9和OpenCV的視頻監(jiān)控系統(tǒng)的研究[D].武漢:湖北工業(yè)大學(xué),2013.

[15] 楊俊,彭馨儀,馬少天.基于OpenCV識(shí)別庫(kù)的面部圖像識(shí)別系統(tǒng)的設(shè)計(jì)[J].科技創(chuàng)新與應(yīng)用,2014 (19):41-43.

Image Matching Algorithm based on Color and SURF Feature

WANG Zhaodi，WANG Xianli，YANG Shuqiang

(School of Physics and Electronic Information,Luoyang Normal University,Luoyang 471934,China)

Since SURF (Speeded-Up Robust Features) algorithm is designed for gray images in feature extraction and recognition tasks, it can’t recognize some objects of similar shape but different color. CH-SURF algorithm is proposed,which combines color histogram feature and SURF feature together.CH-SURF algorithm firstly chooses color histogram feature of target image to reach rough localization, then in the defined small pixel region, uses SURF algorithm to achieve feature matching. Finally simulation experiments are carried out under vs2008 platform, and results show that the proposed algorithm has lower computation time than the original SURF. At the same time,it can improve the accuracy of feature matching to some extent.

color histogram; SURF; feature matching; Opencv;VS2008

2017- 02- 16

河南省科技廳基礎(chǔ)與前沿技術(shù)研究項(xiàng)目(112102310530);河南省高等學(xué)校重點(diǎn)科研項(xiàng)目(14A510012)

王招娣(1988-)，女，碩士，助教。研究方向:嵌入式系統(tǒng)應(yīng)用等。王賢立(1985-)，男，碩士，助教。研究方向：風(fēng)電、光伏發(fā)電等新能源發(fā)電與微電網(wǎng)。楊數(shù)強(qiáng)(1976-)，男，碩士，副教授。研究方向:信號(hào)獲取與處理技術(shù)，數(shù)字圖像處理。

10.16180/j.cnki.issn1007-7820.2017.12.018

TP391.41

A

1007-7820(2017)12-067-04