基于圓形感興趣區(qū)域的圖像檢索算法

張燁 王樹奇 武風(fēng)波

摘 ?要： 傳統(tǒng)的基于內(nèi)容的圖像檢索系統(tǒng)在檢索時往往通過獲取整幅圖像的全局特征進行計算，必然含有一些冗余信息，從而給檢索帶來過多的計算量和不準(zhǔn)確性。因此將檢索的區(qū)域范圍從全局縮小到局部，提出一種改進的圖像感興趣區(qū)域提取算法。首先使用Harris算法提取出圖像的顯著點，通過對顯著點進行條件篩選截取出一個圓形感興趣區(qū)域，然后對該區(qū)域提取多種特征并進行歸一化處理，最后用距離函數(shù)實現(xiàn)圖像間的相似度比較。實驗結(jié)果表明，所提算法能夠?qū)D像的感興趣區(qū)域進行有效提取，提高了運行效率，同時獲得了較好的檢索效果。

關(guān)鍵詞： 圖像檢索; 顯著點提取; 感興趣區(qū)域; 特征提取; 檢索效果; 對比驗證

中圖分類號： TN911.73?34; TP391.41 ? ? ? ? ? ? ? 文獻標(biāo)識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）20?0072?04

Image retrieval algorithm based on circular region of interest

ZHANG Ye， WANG Shuqi， WU Fengbo

（College of Communication and Information Engineering， Xian University of Science and Technology， Xian 710054， China）

Abstract： The traditional content?based image retrieval system often calculates by acquiring the global features of the whole image， which inevitably contains some redundant information， thus bringing too much computation and inaccuracy to the retrieval. Therefore， the scope of retrieval region is reduced from global to local， and an improved image region of interest （ROI） extraction algorithm is proposed. The Harris algorithm is used to extract significant points of image， the circular region of interest is intercepted by conditional screening of significant points， and then， a variety of features of ROI are extracted and normalized， and the similarity between images is compared by means of distance function. The experimental results show that the proposed method can effectively extract the features from ROI， improve the operation efficiency， and achieve better retrieval effect.

Keywords： image retrieval; significant point extraction; region of interest; feature extraction; retrieval effect; comparison validation

隨著移動互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展網(wǎng)絡(luò)上出現(xiàn)了數(shù)量龐大的圖像庫，如何對大規(guī)模圖像庫進行有效利用已成為一項急需攻克的難題，因此能夠?qū)崿F(xiàn)快速查詢的圖像檢索[1?2]（Content?Based Image Retrieval，CBIR）技術(shù)應(yīng)運而生。圖像感興趣區(qū)域[3]（Region of Interest，ROI）是指一幅圖像中最引人注視的部分，若只對ROI區(qū)域進行特征提取，可以減弱背景信息的干擾，提高檢索結(jié)果的準(zhǔn)確性。目前眾多研究都認(rèn)為圖像攜帶的關(guān)鍵信息主要集中在顯著點附近，顯著點提取較為常用的方法有Harris方法[4]和基于曲率尺度空間方法[5]。以此為基礎(chǔ)，文獻[6?7]通過提取出的顯著點構(gòu)造一個外接多邊形作為圖像的感興趣區(qū)域;文獻[8]采用的方法是通過一個滑動矩形窗口來搜索出一個含有顯著點最多的區(qū)域作為圖像的感興趣區(qū)域。對于背景簡單的圖像而言，通過構(gòu)造外接多邊形得到的感興趣區(qū)域能夠很好地表達圖像信息，但對于背景較為復(fù)雜的圖像，就會包含過多的背景干擾信息;而利用矩形滑動窗口需要對圖像整個區(qū)域進行搜索，無疑會增加檢索時間。因此這兩種方法對圖像檢索的準(zhǔn)確率和效率并不理想。

Harris算法原理是檢測滑動窗口在圖像上移動時的灰度變化情況。位于平滑區(qū)域時，窗口的任意移動都不會對灰度產(chǎn)生改變;在邊緣部分時，沿著邊緣方向移動也不會發(fā)生灰度改變;但處于顯著點位置時，任何方向的移動都會導(dǎo)致灰度出現(xiàn)明顯的改變。本文提出了一種基于顯著點位置的ROI區(qū)域提取方法，通過Harris算法提取出圖像的顯著點，然后根據(jù)顯著點的幾何位置得到一個圓形區(qū)域;考慮到圖像單一特征的局限性，文中將顏色、紋理以及形狀三種特征融合在一起對圖像進行特征信息描述。實驗結(jié)果表明，本文方法提高了圖像檢索的精度，且獲得了較好的圖像檢索效果。

1 ?感興趣區(qū)域（ROI）特征提取

1.1 ?圖像感興趣區(qū)域提取

1） 根據(jù)Harris算法求取出圖像顯著點，并求出顯著點的重心坐標(biāo)（x，y）;

2） 實驗表明，選取距重心距離較近的85%的顯著點，可以保證興趣區(qū)域的劃分適應(yīng)性，去除噪聲點，所以計算出保留85%顯著點中距離重心最遠(yuǎn)距離dmax;

3） 若dmax小于原圖像中長和寬中較小值的[12]，則令dmax為長和寬中較小值的[12];

4） 以重心（x，y）為圓心，dmax為半徑，在原圖上截取出一個圓形區(qū)域;

5） 若圓形區(qū)域面積小于原圖像面積的[23]，則該圓形區(qū)域即為圖像的感興趣區(qū)域;反之感興趣區(qū)域就是原圖像。

圖像感興趣區(qū)域提取圖如圖1所示。通過對圖1a）進行Harris顯著點提取得到圖1b），再根據(jù)上述條件得到圓形感興趣區(qū)域圖1c）。

?圖1 ?圖像感興趣區(qū)域提取圖

1.2 ?感興趣區(qū)域顏色特征提取

顏色是圖像呈現(xiàn)出的最簡單直觀的信息。為了使圖像更適合人眼的視覺特性，文中將圖像從RGB轉(zhuǎn)為HSV[9?10]顏色空間，并量化為72種顏色，其中H，S，V分別代表圖像的色度、飽和度以及亮度，具體量化如下：

1.3 ?感興趣區(qū)域紋理特征提取

紋理是一種出現(xiàn)在視覺中的同質(zhì)現(xiàn)象，而灰度共生矩陣[11]就是利用灰度在空間里的相關(guān)特性來描述圖像紋理的一種方式，如下：

式中：[G（i，j）]代表灰度共生矩陣中[（i，j）]所對應(yīng)的值;ASM 表示能量;CON表示對比度;ENT表示熵;COR表示相關(guān)性。能量體現(xiàn)圖像紋理粗糙度以及灰度的分布;對比度反映圖像中某個像素值的亮度比較情況，表示圖像紋理深淺和清晰水平;熵表示圖像所包含的信息量，當(dāng)矩陣中的值都相等并且其中所有元素都具有最大隨機性時，或者是元素分布較為分散時，熵值較大;自相關(guān)則反映圖像紋理的一致性。

1.4 ?感興趣區(qū)域形狀特征提取

形狀是人們對目標(biāo)的一個初步了解，Hu在1962年首次提出了不變矩理論[12]用來作為圖像的形狀描述。文中采用二階矩和三階歸一化中心距所構(gòu)造的7個不變矩作為圖像的形狀特征，它們在圖像連續(xù)條件下能夠保持平移、縮放以及旋轉(zhuǎn)不變性。

1.5 ?感興趣區(qū)域特征向量歸一化

考慮到提取的三種特征，其取值范圍具有一定的差異性，為了使其對相似度影響具有等價性，文中采用高斯歸一化方法[13] 對感興趣區(qū)域提取的72維顏色特征、4維紋理特征向量以及7維形狀特征向量都?xì)w一化至[-1，1]區(qū)間，公式為：

1.6 ?特征向量加權(quán)融合

由于圖像對三種特征的敏感程度不同，因此本文在相似度計算時對其分別賦予了不同的權(quán)重，并且采用明可夫斯基距離函數(shù)來進行特征相似度比較，具體如下：

式中：兩幅圖像用x和y表示;Fx和Fy表示歸一化后的顏色特征向量;Tx和Ty分別表示歸一化后的紋理特征向量;Gx和Gy表示歸一化后的形狀特征向量;w1，w2和w3分別代表顏色、紋理和形狀在融合特征時所占的權(quán)重經(jīng)過大量實驗發(fā)現(xiàn)w1，w2和w3分別賦值0.3，0.3，0.4時檢索效果最好。

2 ?實驗結(jié)果分析

測試圖像選自UKbench 圖像庫的1 000幅圖像（10類圖像每類100幅），選擇其中的5類圖像（含有花朵、汽車、恐龍、向日葵和馬），每類隨機抽取10幅，共50幅作為測試圖像進行檢索實驗。實驗對向日葵、汽車、馬、花朵以及恐龍分別做了檢索實驗，并將本文算法和文獻[14?15]分別做比較，以下是部分比較結(jié)果，每次檢索返回7幅相似圖像，從左到右相似度依次降低。

1） 向日葵檢索結(jié)果如圖2所示。

圖2 ?向日葵圖像檢索結(jié)果

2） 汽車檢索結(jié)果如圖3所示。

圖3 ?汽車圖像檢索結(jié)果

3） 馬匹檢索結(jié)果如圖4所示。

為進一步驗證本文算法的綜合性能，定量對比各類算法處理效果。對文獻[14?15]算法以及本文改進算法在檢索時間（Time）、查準(zhǔn)率（Precision）和查全率（Recall）三個方面進行了比較。

式中：A為返回結(jié)果中與查詢圖像相似的圖像個數(shù);B為返回的圖像總數(shù);C為圖像庫中與查詢圖像相似的圖像總數(shù)。

圖4 ?馬匹圖像查詢結(jié)果

對50幅查詢圖像分別做檢索，統(tǒng)計每一類圖像檢索結(jié)果，返回10幅、20幅、30幅、40幅時的平均查準(zhǔn)率P10，P20，P30，P40平均查全率R10，R20，R30，R40，以及返回50幅時的綜合效果。具體結(jié)果如表1～表3所示。

表1 ?文獻[14?15]算法和本文算法查準(zhǔn)率比較

為了進一步驗證本文算法的綜合性能，統(tǒng)計出了當(dāng)檢索查全率為10%，20%，…，100%時，文獻[14?15]和本文算法所對應(yīng)的查準(zhǔn)率，比較結(jié)果如圖5所示。

由圖5可知：文獻[15]對顏色聚合向量和不變矩特征的提取進行了改進，建立了特征索引庫，但在很大程度上增加了算法的復(fù)雜度，運行起來檢索時間過長;文獻[14]提出了分層的方法對圖像進行處理，但由于提取特征層數(shù)的限制，僅提取了具有圖像結(jié)構(gòu)特征的前四層，導(dǎo)致丟失了圖像的局部細(xì)節(jié)信息，使得檢索效果不佳，且具有局限性;而本文算法從檢索時間、查準(zhǔn)率以及查全率三個方面比較，相較于文獻[14?15]的算法，都優(yōu)于這兩種算法。本文算法提高檢索性能，具有更好的檢索效果。

表2 ?文獻[14?15]算法和本文算法查全率比較?

表3 ?返回50幅圖像檢索綜合性能比較

圖5 ?統(tǒng)計平均查全率與查準(zhǔn)率

3 ?結(jié) ?語

本文提出的基于Harris顯著點的圓形感興趣區(qū)域檢索算法，有效地減少了背景干擾信息。通過Harris算法得到一個圓形感興趣區(qū)域，然后對該區(qū)域提取顏色、紋理和形狀三種特征，并且對提取后的特征向量進行歸一化處理，最后采用明可夫斯基距離函數(shù)來比較圖像間的相似性。經(jīng)大量實驗結(jié)果表明，本文算法在保證檢索時間的同時，有效提高了檢索查準(zhǔn)率和查全率，具有較高的實用價值。

參考文獻

[1] 徐衍魯.基于顏色特征的圖像檢索技術(shù)綜述[J].電腦知識與技術(shù)，2017，13（13）：156?157.

XU Yanlu. Image retrieval based on color feature [J]. Computer knowledge and technology，2017， 13（13）： 156?157.

[2] 杜丙新.圖像檢索研究綜述及系統(tǒng)實現(xiàn)[J].電子科技，2016，7（15）：185?190.

DU Bingxin. Survey and system implementation of image retrieval [J]. Electronic science and technology， 2016， 7（15）： 185?190.

[3] 陳瑞文.基于內(nèi)容的圖像檢索?感興趣區(qū)域的提取[J].通化師 范學(xué)院學(xué)報（自然科學(xué)），2014，35（5）：53?54.

CHEN Ruiwen. Content?based image retrieval extraction of regions of interest [J]. Journal of Tonghua Normal university （Natural science）， 2014， 35（5）： 53?54.

[4] HARRIS C，STEPHENS M. A combined corner and edge detector [C]// Proceeding of 4th Alley Vision Conference. Manchester： IEEE， 1988， 147?151.

[5] 孔凡輝，柏曉輝，竺如生.一種基于多特征融合的圖像檢索方法[J].哈爾濱商業(yè)大學(xué)學(xué)報， 2010，26（3）：349?350.

KONG Fanhui， BAI Xiaohui， ZHU Rusheng. Study in method for image retrieval based on multi?feature fusion [J]. Journal of Harbin University of Commerce （Natural science edition）， 2010， 26（3）： 349?350.

[6] 陳繼華，李響，李棟.一種改進的輪廓曲線角點檢測方法[J].組合機床與自動化加工技術(shù)，2016，7（7）：114?115.

CHEN Jihua， LI Xiang， LI Dong. An improved corner detection method for contour curve [J]. Modular machine tool & automatic manufacturing technique， 2016， 7（7）： 114?115.

[7] 孟繁杰，郭寶龍，李新偉，等.基于興趣點凸包的圖像檢索方法[J].光電子激光，2010，21（6）：936?939.

MENG Fanjie， GUO Baolong， LI Xinwei， et al. New image retrieval method based on convex hull of interest points [J]. Journal of optoelectronics laser， 2010， 21（6）： 936?939.

[8] 梁春迎，王國營，康進峰.基于顯著區(qū)域的圖像檢索方法[J].計算機工程，2010，36（5）：210?211.

LIANG Chunying， WANG Guoying， KANG Jinfeng. Image retrieval method based on salientregions [J]. Computer engineering， 2010， 36（5）： 210?211.

[9] 常哲，侯榆青，李明俐，等.綜合顏色和紋理特征的圖像檢索[J].小型微型計算機系統(tǒng)，2011，32（1）：161?164.

CHANG Zhe， HOU Yuqing， LI Mingli， et al. Image retrieval based on combined color with texturefeature [J]. Journal of Chinese computer system， 2011， 32（1）： 161?164.

[10] 相子喜，呂學(xué)強，張凱.基于有向圖模型多模態(tài)新聞圖像檢索研究[J].科學(xué)技術(shù)與工 程，2016，16（3）：78?79.

XIANG Zixi， L? Xueqiang， ZHANG Kai. A research on news images retrieval based on directed graph multimodal characteristics [J]. Science technology and engineering， 2016，16（3）： 78?79.

[11] KEARNS M， VALIANT L G. Cryptographic limitations on learning Boolean formulae and finite automata [J]. Journal of the ACM， 1994， 41（1）： 67?69.

[12] BAUER E， KOHAVI R. An empirical comparison of voting classification algorithms： bagging， boosting， and variants [J]. Machine learning， 1999， 36（2）： 135?139.

[13] SCHAPIRE R E， FREUND Y， BARTLETT P， et al. Boosting the margin： a new explanation for the effectiveness of voting methods [J]. The annals of statistics， 1998， 26（5）： 1651?1686.

[14] 翟銘晗，高玲.基于加權(quán)顏色分層和紋理單元的圖像檢索算法[J].計算機應(yīng)用，2016，36（6）：1668?1672.

ZHAI Minghan， GAO ling. New image retrieval method based on weighted color stratification and texture unit [J]. Journal of computer applications， 2016， 36（6）： 1668?1672.

[15] 張永庫，李云峰，孫勁光.綜合顏色和形狀特征聚類的圖像檢索[J].計算機應(yīng)用，2014，34（12）：3549?3553.

ZHANG Yongku， LI Yunfeng， SUN Jingguang. Image retrieval based on clustering according to color and shape features [J]. Journal of computer applications， 2014， 34（12）： 3549?3553.