基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法

何敬， 劉仁義， 張豐， 杜震洪*， 陳永佩

(1.浙江大學(xué) 浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310028；2.浙江大學(xué) 地理信息科學(xué)研究所， 浙江 杭州 310027)

基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法

何敬1,2， 劉仁義1,2， 張豐1,2， 杜震洪1,2*， 陳永佩1,2

(1.浙江大學(xué) 浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310028；2.浙江大學(xué) 地理信息科學(xué)研究所， 浙江 杭州 310027)

針對空間金字塔匹配模型缺乏對圖像中視覺物體旋轉(zhuǎn)、平移和縮放的考慮問題，提出了一種基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法.基于詞匯樹模型的粗匹配結(jié)果，通過特征點(diǎn)群拓?fù)?、方向、距離等計(jì)算其相似度，并以此作為評價(jià)指標(biāo)對匹配結(jié)果進(jìn)行過濾；根據(jù)由特征點(diǎn)群計(jì)算所得的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度對金字塔匹配的圖像劃分子區(qū)域并進(jìn)行調(diào)整，從而得到圖像抗旋轉(zhuǎn)、平移和縮放的表示.分別在自建校園建筑物數(shù)據(jù)集和自建物體圖像數(shù)據(jù)集上對方法進(jìn)行了驗(yàn)證和比較，結(jié)果表明，該方法提高了分類識別的準(zhǔn)確率和檢索的查全率，特別是對于包含明顯旋轉(zhuǎn)、平移和縮放變化的圖像數(shù)據(jù)效果更好.

特征點(diǎn)群相似度；Voronoi圖；標(biāo)準(zhǔn)差橢圓；FREAK特征描述；空間金字塔匹配

近年來，圖像中空間位置信息的研究成了圖像識別領(lǐng)域的研究熱點(diǎn)，且隨著各個(gè)學(xué)科的發(fā)展融合，GIS(geographic information system)中的空間關(guān)系理論已成為研究圖像檢索中特征點(diǎn)之間關(guān)系的一個(gè)重要方向.

基于地理位置服務(wù)的增強(qiáng)現(xiàn)實(shí)(augmented reality,AR)技術(shù)是目前智慧校園建設(shè)中重要的技術(shù)手段.隨著數(shù)字圖像的大量增加，傳統(tǒng)的基于內(nèi)容的圖像搜索方法很難滿足目前的檢索需求.NISTER等[1]提出的基于詞匯樹的詞袋模型表示算法是目前圖像檢索領(lǐng)域的主流算法.LAZEBNIK等[2]提出的空間金字塔匹配SPM(spatial pyramid matching)采用多尺度分塊，分別統(tǒng)計(jì)并比較每一個(gè)子塊的特征，考慮了視覺詞袋模型忽視的視覺單詞在圖像上的空間分布信息.SPM能有效提升圖像的識別精度，得到了普遍認(rèn)可和廣泛應(yīng)用.

然而，SPM方法是對圖像整體進(jìn)行劃分，限制了視覺目標(biāo)在圖像上的位置，具體表現(xiàn)為對發(fā)生了旋轉(zhuǎn)、平移和縮放的圖像的表示所包含的信息不精確，導(dǎo)致匹配精確度下降.本文研究的圖像數(shù)據(jù)集為校園建筑物數(shù)據(jù)，這些建筑物圖片具有一定的規(guī)格，同時(shí)主體明顯，背景一般較為干凈.數(shù)據(jù)集中的圖像在采集的過程中，由于設(shè)備、人員的不同，常常會出現(xiàn)圖片旋轉(zhuǎn)的狀況，導(dǎo)致視覺目標(biāo)發(fā)生較為嚴(yán)重的旋轉(zhuǎn)變化，同時(shí)也伴有一定的尺度和平移變化.

結(jié)合本文的數(shù)據(jù)特點(diǎn)，同時(shí)考慮到移動端設(shè)備對于特征提取的效率，本文在SPM方法的基礎(chǔ)上進(jìn)行了改進(jìn)，提出了一種基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法.該方法采取FREAK二進(jìn)制描述符進(jìn)行圖像特征的提取，并構(gòu)建詞匯樹模型.通過詞匯樹模型的粗匹配，篩選出距離目標(biāo)圖像較近的訓(xùn)練圖像.在此基礎(chǔ)上，對粗篩選結(jié)果進(jìn)行特征點(diǎn)群相似度計(jì)算，過濾特征點(diǎn)群相似度較差的訓(xùn)練圖像.然后，借助由特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度來調(diào)整SPM對圖像子區(qū)域的劃分，提高SPM在處理發(fā)生旋轉(zhuǎn)、平移和尺度變化的圖像時(shí)的精確度.

1 相關(guān)研究

1.1 FREAK特征描述符

移動終端設(shè)備在配置和性能上與普通計(jì)算機(jī)仍存在一定的差距，傳統(tǒng)的SIFT等算法存在計(jì)算量大、占用內(nèi)存多、匹配時(shí)間長等問題.因此，近年來，出現(xiàn)了一些實(shí)效性更強(qiáng)、更適合在移動端計(jì)算的特征點(diǎn)提取和描述方法.CALONDER等[3]提出的BRIEF算法， RUBLEE等[4]提出的ORB算法， ALAHI等[5]提出的FREAK算法等，都采用了二進(jìn)制描述符，降低了描述符的維度，依靠計(jì)算特征描述符之間的漢明距離，使得運(yùn)算速度和內(nèi)存占用得到了優(yōu)化.文獻(xiàn)[6]證明了FREAK算法在處理諸多變化時(shí)其性能強(qiáng)于ORB算法和BRIEF算法，特別在處理光照變化時(shí)其穩(wěn)定性最好.

FREAK是一種二值描述符，其核心思想就是采用仿視網(wǎng)膜結(jié)構(gòu)的采樣模板對特征點(diǎn)進(jìn)行描述符構(gòu)造[5].與人眼的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞相似，F(xiàn)REAK特征描述符采樣點(diǎn)結(jié)構(gòu)由許多大小不同并有重疊的圓構(gòu)成.圓代表感受野，重疊的結(jié)構(gòu)可以獲取更多的信息；對應(yīng)的圓心代表采樣點(diǎn)，采樣點(diǎn)均勻分布在以特征點(diǎn)為中心的同心圓上.同時(shí)，F(xiàn)REAK采樣結(jié)構(gòu)根據(jù)距離特征點(diǎn)的距離決定采樣密集度，離中心特征點(diǎn)越近，采樣點(diǎn)越密集.通過采樣點(diǎn)之間像素值的兩兩比較級聯(lián)成的FREAK描述子是二進(jìn)制比特串，假設(shè)F為某個(gè)特征點(diǎn)的FREAK描述符，則

(1)

其中，Pa是第a對采樣點(diǎn)，N表示描述符的維數(shù)，且T(Pa)滿足：

(2)

本文選取較高維的二進(jìn)制特征描述符——FREAK特征在客戶端對圖像進(jìn)行處理，同時(shí)在服務(wù)器端采取同樣的特征進(jìn)行層級式聚類，以漢明空間概率中心向量作為聚類中心，進(jìn)行詞匯樹的構(gòu)建.

1.2 基于詞匯樹的金字塔匹配方法

詞袋模型源于自然語言處理和信息檢索，與文本相似，圖像可以被視為一些與位置無關(guān)的局部特征的集合.基于樹形結(jié)構(gòu)的詞袋模型通過樹形結(jié)構(gòu)的層次索引方式，解決了非層次化檢索量化過程太慢的問題，大大提高了檢索的效率[1].

詞匯樹采用TF-TDF模型量化訓(xùn)練圖像各特征在詞匯樹中的分布情況，本文詞匯樹各節(jié)點(diǎn)權(quán)值計(jì)算采用文獻(xiàn)[7]的計(jì)算方法.

(3)

其中，mi,j為視覺單詞Fi在圖像Pj中出現(xiàn)的次數(shù)，N為訓(xùn)練圖像的總數(shù)，ni為包含視覺單詞Fi的訓(xùn)練圖像數(shù)目.

依據(jù)生成的詞匯樹，可將圖像特征表示轉(zhuǎn)化為視覺單詞表示.具體過程為：對于圖像中提取的某特征點(diǎn)，計(jì)算其與視覺詞典中各個(gè)視覺單詞間的距離，找到距離最近的視覺單詞代替此底層特征.對圖像所有提取的特征點(diǎn)重復(fù)上述步驟，并通過統(tǒng)計(jì)圖像中每個(gè)視覺單詞出現(xiàn)的頻次得到該圖像的視覺詞匯直方圖.通過TF-TDF模型量化，圖片可由向量[w1,j,w2,j,w3,j,w4,j…,wM-1,j,wM,j]表示.

視覺詞袋模型忽略了圖像視覺單詞之間的空間分布信息.SPM采用多尺度的分塊方法，即將特征空間劃分為不同尺度0,1,…,L，在尺度l下特征空間的每一維劃出2l個(gè)細(xì)分區(qū)域.在每個(gè)尺度下計(jì)算每個(gè)細(xì)分子區(qū)域內(nèi)的直方圖，每層金字塔的提取方式和分塊直方圖類似，當(dāng)L=0時(shí)，即為詞袋模型的情景.SPM將圖像劃分為金字塔各個(gè)水平上需逐漸精細(xì)的網(wǎng)格序列，然后分別計(jì)算各個(gè)子區(qū)域的詞典直方圖向量，將不同層次、不同區(qū)域的直方圖向量組合起來，以此作為圖像的表示.這樣雖然考慮了特征點(diǎn)的空間信息，但是SPM限制了目標(biāo)在圖像中出現(xiàn)的方位，當(dāng)圖像目標(biāo)出現(xiàn)旋轉(zhuǎn)、平移和縮放變化時(shí)，匹配精確度就會受到比較大的影響.

在GIS中，空間關(guān)系具有尺度、認(rèn)知、層次、拓?fù)涞忍卣?本文針對空間金字塔模型的缺陷，提出了基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法.該方法通過計(jì)算特征點(diǎn)群之間的空間拓?fù)湎嗨贫?、距離相似度和方向相似度對圖像進(jìn)行篩選，并圍繞由特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓的中心以及旋轉(zhuǎn)角度來調(diào)整SPM對圖像子區(qū)域的劃分，以進(jìn)一步增強(qiáng)圖像分類檢索的準(zhǔn)確性.

2 基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法

2.1 基于FREAK特征的層級式聚類

FREAK是二進(jìn)制描述符，二進(jìn)制向量漢明空間一般采用漢明距離衡量二進(jìn)制特征差異.在對二進(jìn)制向量進(jìn)行聚類的過程中，需要將這些二進(jìn)制向量分成K份，每一份用一個(gè)均值向量表示，也就是所謂的聚類中心.

文獻(xiàn)[8]證明了漢明空間存在密集邊緣特性，同時(shí)由于漢明距離中心不具有明顯的區(qū)分性，二進(jìn)制向量聚類也無法求出理想的聚類中心.為了有效克服這些問題，本文采取512維的FREAK特征，避免了邊緣密集特征，用概率中心與詞匯樹節(jié)點(diǎn)替代原始二進(jìn)制中心向量[9]進(jìn)行關(guān)聯(lián)，能有效量化特征分布情況.

2.2 特征點(diǎn)群相似度計(jì)算模型

當(dāng)通過詞匯樹進(jìn)行粗篩選后，得到與待匹配圖像距離較為接近的一些訓(xùn)練圖像.由于詞袋模型對特征點(diǎn)空間信息的描述有缺失，此時(shí)，可能會在結(jié)果集中遇到僅僅與直方圖統(tǒng)計(jì)結(jié)果近似，但實(shí)際卻不是同一目標(biāo)的結(jié)果.

由此，需要分析特征點(diǎn)的空間位置分布，進(jìn)一步提高對圖像描述的準(zhǔn)確性.點(diǎn)群目標(biāo)是空間分布分析的重要研究對象，點(diǎn)群目標(biāo)的拓?fù)潢P(guān)系、距離關(guān)系、方向關(guān)系、分布范圍和分布密度等是對空間點(diǎn)群相似度整體度量的重要參考.特征點(diǎn)群的分布具有一定的規(guī)律性，同一個(gè)目標(biāo)物體所在的圖片提取的點(diǎn)群分布其點(diǎn)群之間的拓?fù)潢P(guān)系、方向關(guān)系和距離關(guān)系具有相似性.在圖像規(guī)格相差不大，同一目標(biāo)物體發(fā)生旋轉(zhuǎn)、平移、縮放變化的情況下，提取的特征點(diǎn)群的拓?fù)洹⒎较蚝途嚯x表示如圖1所示.

圖1 特征點(diǎn)群相似度示意圖Fig.1 Similarity of keypoints

圖1中彩色塊代表的是特征點(diǎn)周圍的Voronoi鄰居，可以作為特征點(diǎn)群的拓?fù)溧従觼砗饬奎c(diǎn)群的拓?fù)潢P(guān)系.根據(jù)特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓，其大小和方向反映了特征點(diǎn)群的分布形狀和分布方向等信息，即可以代表圖像中目標(biāo)主體的大小位置和朝向，并且平移和旋轉(zhuǎn)不變形.

因此，本文就從拓?fù)?、方向、距離三方面對特征點(diǎn)群相似度進(jìn)行度量.通過對特征點(diǎn)群相似度的計(jì)算，從粗篩選結(jié)果中過濾掉特征點(diǎn)群相似度較差的訓(xùn)練圖像.同時(shí)，根據(jù)特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓，通過其圓心所在位置以及旋轉(zhuǎn)角度，進(jìn)一步改進(jìn)SPM多尺度下細(xì)分區(qū)域的劃分，得到抗旋轉(zhuǎn)、平移和縮放的圖像表示.處理過程如圖2所示.

圖2 系統(tǒng)流程示意圖Fig.2 System flow

2.2.1 特征點(diǎn)群拓?fù)湎嗨贫?/p>

對于特征點(diǎn)群之間的拓?fù)潢P(guān)系判定，本文采用的是Voronoi鄰居作為點(diǎn)群拓?fù)湫畔⒌拿枋鰠?shù).不同于地理空間中拓?fù)潢P(guān)系的判定，柵格圖像中距離的界定無統(tǒng)一標(biāo)準(zhǔn)，而采用Voronoi鄰居作為點(diǎn)群拓?fù)湫畔⒌拿枋觯溧従觽€(gè)數(shù)不需要人為固定，也不需要考慮特征點(diǎn)之間距離的絕對關(guān)系，同時(shí)對于尺度和密度變化具有一定適應(yīng)性[10].

點(diǎn)群P1和點(diǎn)群P2的拓?fù)湎嗨贫扰卸ú捎梦墨I(xiàn)[11]的計(jì)算公式：

(3)

2.2.2 特征點(diǎn)群方向相似度

GIS中對于空間點(diǎn)群模式一般會從點(diǎn)的疏密、方位、數(shù)量、大小等多角度進(jìn)行考察.標(biāo)準(zhǔn)差橢圓就是同時(shí)對點(diǎn)的方位和分布進(jìn)行分析的一種經(jīng)典算法.它可以從二維的角度對特征點(diǎn)的分布方向的偏離大小以及分布形狀等空間信息進(jìn)行描述[12].

圖像特征點(diǎn)群的方向會隨著圖像的旋轉(zhuǎn)發(fā)生一定的變化，因此在計(jì)算2幅圖像特征點(diǎn)群方向相似度時(shí)，不能直接用計(jì)算得到的標(biāo)準(zhǔn)差橢圓的方向進(jìn)行度量.本文綜合考慮特征點(diǎn)群方向以及特征點(diǎn)群的特征主方向，用計(jì)算得到的2個(gè)方向之間的夾角進(jìn)行方向相似度度量.

2.2.2.1 FREAK特征點(diǎn)主方向

在采樣點(diǎn)對中選取45個(gè)長的、對稱的采樣點(diǎn)對來提取特征點(diǎn)的方向，因而提高了FREAK算法的速度，內(nèi)存占用也可大大降低.本文采用文獻(xiàn)[5]的公式計(jì)算FREAK特征方向.

(4)

FREAK特征點(diǎn)主方向代表了該特征點(diǎn)主要的梯度變化方向.本文對圖像中所有獲取的特征點(diǎn)進(jìn)行特征方向計(jì)算，得到梯度方向后，使用直方圖進(jìn)行統(tǒng)計(jì).直方圖的橫軸是梯度方向的角度，為0°～360°，每36°一個(gè)柱共10個(gè)柱；縱軸為梯度方向統(tǒng)計(jì)數(shù)量，直方圖的峰值就是該幅圖像特征點(diǎn)群的主方向.

2.2.2.2 標(biāo)準(zhǔn)差橢圓

標(biāo)準(zhǔn)差橢圓的生成算法包含了3個(gè)重要因素：圓心、旋轉(zhuǎn)角度和XY軸的長度[11].計(jì)算步驟如下：

(i) 由橢圓圓心直接計(jì)算算術(shù)平均：

(5)

其中，xi和yi是每個(gè)要素在圖像上的位置信息.

(ii) 確定橢圓的方向，即計(jì)算旋轉(zhuǎn)角度.

(6)

(iii) 確定XY軸的長度，即沿長軸方向的標(biāo)準(zhǔn)差δx和短軸方向的標(biāo)準(zhǔn)差δy:

(7)

得到特征點(diǎn)群分布方向以及特征點(diǎn)群梯度方向統(tǒng)計(jì)值的主方向后，定義特征點(diǎn)群方向相似度：

SIM_dire=|cos((θ1-?1)-(θ2-?2))|,

(8)

其中，θ，?分別表示圖像的特征點(diǎn)群分布方向和特征點(diǎn)群梯度主方向.

2.2.3 特征點(diǎn)群距離相似度

特征點(diǎn)群距離相似度用于描述點(diǎn)群的集中程度，用標(biāo)準(zhǔn)差橢圓長、短軸距離之比來度量.本文采用文獻(xiàn)[12]的計(jì)算公式：

(9)

其中，a1、b1和a2、b2分別為2個(gè)點(diǎn)群標(biāo)準(zhǔn)差橢圓的長、短軸.

2.3 特征點(diǎn)群相似度計(jì)算

主要以特征點(diǎn)群之間的拓?fù)湎嗨贫取⒎较蛳嗨贫纫约熬嚯x相似度進(jìn)行度量.充分考慮了由圖像尺度變化、旋轉(zhuǎn)變化等因素造成的影響.在無顯著側(cè)重的條件下，取幾何平均進(jìn)行空間相似度計(jì)算：

(10)

用特征點(diǎn)群相似度計(jì)算的結(jié)果，進(jìn)一步篩選通過詞匯樹進(jìn)行的粗匹配結(jié)果，從而可以排除與目標(biāo)物體不一樣的圖像，同時(shí)，通過計(jì)算得到的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度，為金字塔匹配更好地劃分子區(qū)域提供依據(jù).

2.4 改進(jìn)的空間金字塔匹配

通過特征點(diǎn)群相似度計(jì)算得到標(biāo)準(zhǔn)差橢圓的圓心和旋轉(zhuǎn)角度，由此可以得到目標(biāo)物體在圖像中的位置和朝向.本文以橢圓圓心為劃分中心，通過旋轉(zhuǎn)角度對坐標(biāo)軸進(jìn)行旋轉(zhuǎn)，以調(diào)整金字塔匹配圖像子區(qū)域的劃分.通過改善金字塔匹配方法，得到抗旋轉(zhuǎn)、平移和縮放的圖像表達(dá)，并用于進(jìn)一步的匹配工作.改進(jìn)劃分示意圖如圖3所示.

圖3 金字塔匹配調(diào)整示意圖Fig.3 The adjustment of SPM

3 實(shí)驗(yàn)及分析

為了驗(yàn)證算法的正確性，在自建的建筑物圖像數(shù)據(jù)集上進(jìn)行了相關(guān)的實(shí)驗(yàn).

實(shí)驗(yàn)中，以浙江大學(xué)紫金港校區(qū)建筑物數(shù)據(jù)集中的數(shù)據(jù)為例，包括20類建筑物圖片，每一類10張共200張.首先，對圖像集中的20類建筑物圖像進(jìn)行了特征點(diǎn)群相似度計(jì)算，初步得到屬于同一類建筑物圖像之間特征點(diǎn)群相似度平均約為0.74，最小值為0.6.同時(shí)，對不同類別的建筑物圖像進(jìn)行了抽樣計(jì)算，得到其特征點(diǎn)群相似度平均值約為0.4.為了獲得更好的查全率，以相似度0.6為特征點(diǎn)群相似度計(jì)算的臨界值，作為不同目標(biāo)圖片的篩選標(biāo)準(zhǔn)，用于進(jìn)一步過濾粗匹配的訓(xùn)練圖像.

對移動端實(shí)時(shí)采集的圖像進(jìn)行分類檢索，通過對分類檢索的準(zhǔn)確率以及查全率進(jìn)行統(tǒng)計(jì)和比較，以驗(yàn)證本實(shí)驗(yàn)方法的抗旋轉(zhuǎn)、抗平移和抗縮放性能.用移動端攝像頭分別對其中6類建筑捕獲10幅圖像，計(jì)算每一幅圖像檢索分類的準(zhǔn)確率和查全率，再取平均值作為實(shí)驗(yàn)的結(jié)果.

圖4 4類建筑物圖像Fig.4 The four class of building images

實(shí)驗(yàn)部分?jǐn)?shù)據(jù)展示如圖4所示，從上至下分別為紫金港行政樓、安中大樓、蒙明偉樓和月牙樓. 準(zhǔn)確率以最終的分類結(jié)果為準(zhǔn)；查全率為排名前10的候選圖像正確匹配數(shù)與所有訓(xùn)練的圖像數(shù)之比.

分別采用基于SPM的圖像表示方法和本實(shí)驗(yàn)方法對移動端采集的圖像進(jìn)行分類檢索，運(yùn)行結(jié)果如表1～2所示.

表1 建筑物數(shù)據(jù)集2種方法的分類準(zhǔn)確率

表2 建筑物數(shù)據(jù)集2種方法的查全率

從表1和2中可以看出，總體上本實(shí)驗(yàn)的圖像表示方法的識別準(zhǔn)確率要高于基于SPM的圖像表示方法.在平均查全率上，本實(shí)驗(yàn)的圖像表示方法能更準(zhǔn)確地找到對應(yīng)的相似圖像.尤其是校園建筑物數(shù)據(jù)集中某類別的圖像出現(xiàn)旋轉(zhuǎn)、平移和縮放變化時(shí)，如對于安中大樓、行政樓等建筑圖像，本實(shí)驗(yàn)方法的識別準(zhǔn)確率、查全率要高于基于SPM的圖像表示方法.同時(shí)，實(shí)驗(yàn)中也發(fā)現(xiàn)，生命科學(xué)學(xué)院樓的準(zhǔn)確率和查全率是下降的.通過對實(shí)驗(yàn)數(shù)據(jù)的分析可知，生命科學(xué)學(xué)院建筑在圖像中主體不明顯，特征點(diǎn)群相似度計(jì)算結(jié)果誤差大，尤其是對于標(biāo)準(zhǔn)差橢圓的計(jì)算，最后導(dǎo)致了圖像檢索結(jié)果的偏差.

為了驗(yàn)證本文方法在處理圖像旋轉(zhuǎn)、平移和縮放上的優(yōu)勢，有針對性地建立了一些背景干凈，具有明顯旋轉(zhuǎn)、平移和縮放變化的物品圖像數(shù)據(jù)集20類，每類6幅共120幅圖像，部分?jǐn)?shù)據(jù)如圖5所示，分別為鑰匙、墨水盒、眼鏡、鼠標(biāo)等日常用品.實(shí)驗(yàn)選取其中4類物體，分別采用基于SPM的圖像表示方法和本實(shí)驗(yàn)方法對圖像進(jìn)行分類檢索.

通過移動端在上述4類物體中每類采集10幅圖像，計(jì)算每一幅圖像檢索分類的準(zhǔn)確率和查全率，再取平均值作為實(shí)驗(yàn)的結(jié)果，并進(jìn)行分析.

圖5 自建數(shù)據(jù)集中4類圖像Fig.5 The four class of self-built image sets

類別SPM本實(shí)驗(yàn)鑰匙1.0001.000墨水0.8001.000眼鏡1.0001.000鼠標(biāo)1.0001.000總體平均0.9501.000

表4 自建數(shù)據(jù)集2種方法查全率

由實(shí)驗(yàn)結(jié)果可知，無論是檢索準(zhǔn)確率還是查全率，本實(shí)驗(yàn)的結(jié)果基本都要優(yōu)于SPM，尤其當(dāng)墨水和眼鏡出現(xiàn)比較明顯的旋轉(zhuǎn)、平移和縮放變化時(shí).而對于無明顯縮放和平移的類別，準(zhǔn)確率和查全率基本一致.表明基于本實(shí)驗(yàn)的圖像表示方法具有良好的抗旋轉(zhuǎn)、平移和縮放特征.

4 結(jié) 語

針對目前將空間位置信息引入圖像表示的SPM方法沒有考慮圖像中視覺物體的旋轉(zhuǎn)、平移和縮放變化，本文提出了基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法，利用特征點(diǎn)群相似度的計(jì)算，在詞匯樹粗匹配的基礎(chǔ)上，進(jìn)一步篩選特征點(diǎn)群分布相似度較高的圖像，同時(shí)，利用計(jì)算得到的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度調(diào)整空間金字塔匹配方法對子區(qū)域的劃分，得到了圖像抗旋轉(zhuǎn)、平移和縮放變化的表示.實(shí)驗(yàn)結(jié)果表明，相較基于SPM的圖像表示方法本文方法的分類檢索準(zhǔn)確率和查全率更高；對于視覺物體具有明顯旋轉(zhuǎn)、平移和縮放變化的圖像，本文方法優(yōu)勢更加顯著.

但是，實(shí)驗(yàn)也發(fā)現(xiàn)，當(dāng)采集圖像中的建筑物主體發(fā)生較為嚴(yán)重的形變，或者只有建筑物主體一部分時(shí)，特征點(diǎn)群相似度的計(jì)算會受到影響，尤其是對于標(biāo)準(zhǔn)差橢圓的計(jì)算，會導(dǎo)致結(jié)果產(chǎn)生誤差.如對于浙江大學(xué)生命科學(xué)學(xué)院建筑的識別，會因特征點(diǎn)群相似度的計(jì)算對結(jié)果產(chǎn)生誤判.如何提高此類數(shù)據(jù)的查詢準(zhǔn)確率是本方法亟待解決的問題.

[1]NISTERD,STEWENIUSH.Scalablerecognitionwithavocabularytree[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. Washington: IEEE Computer Society,2006,2(10):2161-2168.

[2] LAZEBNIK S,SCHMID C,PONCE J.Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]//IEEEComputerSocietyConferenceonComputerVision&PatternRecognition.Washington: IEEE Computer Society,2006:2169-2178.

[3] CALONDER M,LEPETIT V,OZUYSAL M,et al.BRIEF: Computing a local binary descriptor very fast[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2011,34(7):1281-1298.

[4] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB: An efficient alternative to SIFT or SURF[C]//IEEEInternationalConferenceonComputerVision. Washington: IEEE,2012:2564-2571.

[5] ALAHI A,ORTIZ R,VANDERGHEYNST P.FREAK: Fast retina keypoint[C]//IEEEConferenceonComputerVisionandPatternRecognition, Washington: IEEE,2012:510-517.

[6] 索春寶，楊東清，劉云鵬，等.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測繪，2014(4):23-26. SUO C B, YANG D Q, LIU Y P. Comparing SIFT, SURF, BRISK, ORB and FREAK in some different perspectives [J].BeijingSurveyingandMapping,2014(4):23-26.

[7] 陳赟,沈一帆.基于詞匯樹的圖片搜索[J].計(jì)算機(jī)工程,2010,36(6):189-191. CHEN Y,SHEN Y F. Image search based on vocabulary tree[J].ComputerEngineering,2010,36(6):189-191.

[8] TRZCINSKI T,LEPETIT V,FUA P.Thick boundaries in binary space and their influence on nearest-neighbor search[J].PatternRecognitionLetters,2011,33(16):2173-2180.

[9] 張運(yùn)超，陳靖，王涌天，等.基于移動增強(qiáng)現(xiàn)實(shí)的智慧城市導(dǎo)覽[J].計(jì)算機(jī)研究與發(fā)展，2014,51(2):302-310. ZHANG Y C,CHEN J,WANG Y T,et al.Smart city guide using mobile augmented reality[J].JournalofComputerResearchandDevelopment,2014,51(2):302-310.

[10] 劉濤.空間群(組)目標(biāo)相似關(guān)系及計(jì)算模型研究[D].武漢：武漢大學(xué)，2011. LIU T.SimilarityofSpatialGroupObjects[D].Wuhan: Wuhan University,2011.

[11] 劉濤，杜清運(yùn)，閆浩文.空間點(diǎn)群目標(biāo)相似度計(jì)算[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2011,36(10): 1149-1153. LIU T,DU Q Y,YAN H W.Spatial similarity assessment of point clusters[J].GeomaticsandInformationScienceofWuhanUniversity,2011,36(10): 1149-1153.

[12] 石丹丹.基于特征點(diǎn)空間關(guān)系的圖像檢索技術(shù)研究[D].南昌：南昌航空大學(xué),2013. SHI D D.ImageRetrievalTechnologyResearchbasedontheSpatialRelationsofFeaturePoints[D].Nanchang ：Nanchang Hangkong University,2013.

[13] 朱道廣，郭志剛，趙永威,等.基于空間上下文加權(quán)詞匯樹的圖像檢索方法[J].模式識別與人工智能,2013,26(11):1050-1056. ZHU D G,GUO Z G,ZHAO Y W.Image retrieval with spatial context weighting based vocabulary tree[J].PatternRecognitionandArtificialIntelligence,2013,26(11):1050-1056.

HE Jing1,2, LIU Renyi1,2, ZHANG Feng1,2, DU Zhenhong1,2, CHEN Yongpei1,2

(1.Zhejiang Provincial Key Lab of GIS，Zhejiang University，Hangzhou 310028，China；2.Department of Geographic Information Science，Zhejiang University，Hangzhou 310027，China)

To overcome the shortcoming of the Spatial Pyramid Matching (SPM) approach, which lacks invariance to translation, scale and rotation of visual objects in images, this paper proposes an image representation method based on the similarity of feature points. Firstly, it filters the rough matching result of bag-of-words by some properties including the topological similarity, the directional similarity and the distance similarity. Then, it adjusts the division of the image sub-regions according to the standard deviation ellipse center and the rotation angle of the feature points. Finally, the representation of anti-rotation, anti-translation and anti-scaling of image can be obtained. Experiments have been conducted by applying the proposed method to the campus building dataset and the object image dataset. It indicates that our method significantly improves the classification accuracy and recall ratio, especially for the dataset containing images with obvious rotation, translation and scaling transforms.

similarity of feature points; Voronoi diagram; standard deviational ellipse; FREAK feature description; spatial pyramid matching

10.3785/j.issn.1008-9497.2017.05.016

P 208

：A

：1008-9497(2017)05-599-07

2016-12-12.

測繪地理信息公益性行業(yè)科研專項(xiàng)(201512024)；國家自然科學(xué)基金資助項(xiàng)目(41671391,41471313)；國家科技基礎(chǔ)性工作專項(xiàng)(2012FY112300).

何敬(1991-)，ORCID:http://orcid.org/0000-0003-4164-442X,男，碩士研究生，主要從事移動GIS基礎(chǔ)研究.

*通信作者，ORCID:http://orcid.org/0000-0001-9449-0415,E-mail：duzhenhong@zju.edu.cn.

Animagerepresentationmethodbasedonthesimilarityoffeaturepoints.Journal of Zhejiang University (Science Edition)，2017，44(5):599-605