一種基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法

柯圣財 李弼程 陳 剛 趙永威 魏 晗

隨著大數(shù)據(jù)時代的到來,互聯(lián)網(wǎng)圖像資源迅猛增長,如何對大規(guī)模圖像資源進行快速有效的檢索以滿足用戶需求亟待解決.視覺詞典方法(Bag of visual words,BoVW)[1?3]通過視覺詞典將圖像的局部特征量化為詞頻向量進行檢索,既能利用圖像局部信息,又能達到比局部特征直接檢索更快的速度,成為當前圖像檢索的主流方法.但是基于BoVW的圖像檢索方法存在以下問題:1)當前生成視覺詞典的聚類算法時間效率低、計算量大,使得BoVW難以應用于大規(guī)模數(shù)據(jù)集;2)由于聚類算法的局限性和圖像背景噪聲的存在,使得視覺詞典中存在不包含目標信息的視覺單詞,嚴重影響視覺詞典質(zhì)量;3)沒有充分利用初次檢索結(jié)果中的有用信息,使得檢索效果不理想.

近年來,研究人員針對這些問題做了許多探索性研究,如在提高視覺詞典生成效率方面:Philbin等[4]將KD-Tree引入K-means中提出近似KMeans(ApproximateK-Means,AKM),利用KDTree對聚類中心構建索引目錄,加速尋找最近聚類中心以提高聚類效率.Nister等[5]提出了層次K-means(HierarchicalK-means,HKM),將時間復雜度降為O(ndlogk),但是該方法忽略了特征維數(shù)d對聚類效率的影響.為此,研究者們提出基于降維的聚類方法,如主成分分析(Principal component analysis,PCA)[6]、自組織特征映射(Selforganizing feature map,SOFM)[7]等,主要思路是利用降維算法對高維特征數(shù)據(jù)進行降維,再用聚類算法對降維后的特征點進行聚類.此外,文獻[8]通過構造混合概率分布函數(shù)來擬合數(shù)據(jù)集,但是該方法需要待聚類數(shù)據(jù)的先驗知識,而且其聚類準確率依賴于密度函數(shù)的構造質(zhì)量.

不包含目標信息的視覺單詞類似于文本中的“是”、“的”、“了”等停用詞,這里稱其為“視覺停用詞”,去除“視覺停用詞”不僅能縮小詞典規(guī)模,還能提高檢索準確率.針對“視覺停用詞”去除問題, Sivic等[9]認為“視覺停用詞”與其出現(xiàn)的頻率存在一定關系,提出一種基于詞頻的去除方法.Yuan等[10]通過統(tǒng)計視覺短語(即視覺單詞組合)的出現(xiàn)概率濾除無用信息,Fulkerson等[11]則利用信息瓶頸準則濾除一定數(shù)量的視覺單詞,但是,上述方法僅在視覺單詞層面考慮如何過濾“視覺停用詞”,忽略了視覺單詞與圖像語義概念之間的相互關系.

為利用初次檢索結(jié)果中的有用信息,豐富原有查詢的信息量,Perd′och等[12]提出平均查詢擴展策略(Average query expansion,AQE),將初始檢索結(jié)果的圖像特征平均值作為新的查詢實例,結(jié)合二次檢索結(jié)果對初次檢索得到的圖像進行重排序. Shen等[13]對查詢圖像的近鄰(K-nearest neighbors,KNN)進行多次檢索,對多次檢索結(jié)果進行重排序得到最終檢索結(jié)果.Chum等[14]則利用查詢圖像和檢索結(jié)果中的上下文語義信息提出了自動查詢擴展方法,有效提高了檢索準確率.然而,現(xiàn)有的查詢擴展方法依賴于較高的初始準確率,在初始準確率較低時,初始檢索結(jié)果中的不相關圖像會帶來負面影響.

綜上所述,為實現(xiàn)更加高效快速的圖像檢索,本文提出一種基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法.新方法較好地解決了傳統(tǒng)方法生成的視覺詞典質(zhì)量差問題,并有效增強了圖像檢索性能.本文剩余部分組織如下:第1節(jié)給出了基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法設計的關鍵技術,其中詳細介紹了基于密度聚類的視覺詞典生成、視覺單詞過濾以及基于圖結(jié)構的查詢擴展技術;第2節(jié)對本文方法進行了實驗驗證和性能分析;最后,第3節(jié)為結(jié)論.

1 基于視覺詞典優(yōu)化和查詢擴展的圖像檢索

基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法流程圖如圖1所示.首先,提取訓練圖像的SIFT (Scale invariant feature transform)特征,并利用基于密度的聚類方法對SIFT特征進行聚類,生成視覺詞典組;其次,通過卡方模型分析視覺單詞與目標類別的相關性大小,同時結(jié)合視覺單詞詞頻濾除一定數(shù)量的視覺停用詞;然后,將SIFT特征與優(yōu)化后的視覺詞典進行映射匹配,得到視覺詞匯直方圖;最后,將查詢圖像的視覺詞匯直方圖與索引文件進行相似性匹配,根據(jù)初次匹配結(jié)果并結(jié)合查詢擴展策略進行二次或多次檢索,得到最終檢索結(jié)果.

圖1 基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法流程Fig.1 The fl ow chart of image retrieval based on enhanced visual dictionary and query expansion

1.1 基于密度聚類的視覺詞典組

傳統(tǒng)的聚類算法需要設計目標函數(shù),反復迭代計算達到最優(yōu),而文獻[15]中基于密度的聚類算法(Density-based clustering,DBC)通過尋找合適的密度峰值點確定聚類中心,認為聚類中心同時滿足以下2個條件:1)聚類中心的密度大于臨近數(shù)據(jù)點的密度;2)與其他密度更大的數(shù)據(jù)點距離相距較遠.對待聚類的數(shù)據(jù)集中數(shù)據(jù)點xi,定義ρi表示數(shù)據(jù)點xi的局部密度:

其中,dij為數(shù)據(jù)點xi與xj的距離,dc是設定的距離閾值,局部密度ρi實質(zhì)是S中與xi距離不超過dc的數(shù)據(jù)點個數(shù).δi表示距xi最近且密度更高點的距離:

為便于選取合適的聚類中心,定義γi=ρiδi作為衡量指標,顯然,當γi值越大,數(shù)據(jù)點xi越有可能是聚類中心,因此選取聚類中心時只需對進行降序排列,選取前k個數(shù)據(jù)點作為聚類中心即可.基于密度的聚類算法物理意義清晰,不需要任何先驗信息,也不用反復迭代計算尋找最優(yōu)解,只需設置合適的距離閾值dc即可完成聚類.

1.2 視覺單詞過濾

在文本處理中通常根據(jù)停用詞表過濾文本中的停用詞,然而在BoVW中,視覺單詞并不像文本中的單詞那樣存在確定的實體,因此無法構造“視覺停用詞”表,但是它們之間具有相同的特性:1)具有較高的詞頻;2)與目標相關性較小.針對以上特性,可以利用卡方模型(Chi-square model)[16]統(tǒng)計視覺單詞與各目標圖像類別之間的相關性,并結(jié)合視覺單詞詞頻信息過濾與目標圖像類別無關的視覺單詞.

假設視覺單詞wi出現(xiàn)的頻次獨立于圖像類別Cj,其中Cj∈C={C1,C2,···,Cm},則視覺單詞wi與圖像集C各圖像類別之間的相互關系可由表1描述.

表1 視覺單詞w與各目標類別統(tǒng)計關系Table 1 Relation between w and categories of each objective

其中,n1j為圖像類別Cj中包含wi的圖像數(shù)目,n2j表示圖像類別Cj中不包含wi的圖像數(shù)目,nk+,k=1,2分別表示圖像集中包含wi和不包含wi的圖像數(shù)目,n+j為圖像類別Cj中的圖像數(shù)目,N為圖像集C中圖像總數(shù)目.則表1中視覺單詞wi與各圖像類別的卡方值為

其中,f(wi)為視覺單詞wi的詞頻.由此,依據(jù)式(4)計算各視覺單詞加權后的卡方值然后過濾值較小的視覺停用詞.

根據(jù)式(3)可知計算視覺單詞wi的卡方值計算復雜度為O(2m),其中,m為圖像類別數(shù),2對應為k分別為1和2時的累加運算操作,則去除“視覺停用詞”的計算復雜度為O(2Mm),遠小于生成視覺詞典的計算復雜度O(MN),其中,M為詞典規(guī)模,2m遠小于Oxford5K數(shù)據(jù)庫的SIFT特征數(shù)目N.

1.3 基于圖結(jié)構的查詢擴展

去掉“視覺停用詞”后,將圖像的SIFT特征與優(yōu)化后的視覺詞典進行映射匹配,得到視覺詞匯直方圖,利用圖像的視覺詞匯直方圖進行檢索即可得到初始檢索結(jié)果.由于圖像噪聲的存在,初始檢索結(jié)果中會存在一些與查詢圖像無關的檢索圖像,因此需要對初始檢索結(jié)果中的圖像進行甄別,選出與查詢圖像相關的圖像作為新的查詢圖像,具體流程如圖2所示.

圖2 基于圖結(jié)構的查詢擴展方法流程圖Fig.2 The fl ow chart of query expansion based on image structure

在圖像集C中,利用圖像i的視覺詞匯直方圖fi進行相似性匹配得到k近鄰圖像集Nk(i),定義互為對方的k近鄰圖像集中元素的圖像對為互相關圖像Rk(i,i′):

根據(jù)式(5)構造圖G=(V,E,W),其中,V為頂點集,每一個頂點表示一幅圖像,E是由連接頂點的邊組成的集合,W中的元素為邊的權重,圖像i,i′之間的連接權重計算如式(6)所示:

然后,在圖G=(V,E,W)中尋找與查詢圖像相關的密度最大子圖G′[17],將子圖頂點所代表的圖像依據(jù)與查詢圖像的相關性大小進行降序排列,選取前Nc幅圖像作為新的查詢圖像,利用式(7)計算擴展查詢結(jié)果與查詢圖像的相似性si:

2 實驗設置與性能評價

2.1 實驗設置

為了驗證本文方法有效性,本文在Oxford5K圖像集[18]上對本文方法進行了評估,Oxford5K圖像集共包含5062幅圖像,涵蓋了牛津大學11處標志性建筑,其中每個目標選取5幅圖像作為查詢圖像,共55幅標準查詢圖像.此外,引入Paris6K數(shù)據(jù)庫[19]作為干擾圖像,以驗證本文方法在復雜環(huán)境下的魯棒性.實驗硬件配置為內(nèi)存為6GB的GPU設備GTX Titan和Intel Xeon CPU、內(nèi)存為16GB的服務器.圖像檢索性能指標采用平均查詢準確率均值(Mean average precision,MAP)和查全率–查準率曲線.

2.1.1 實驗性能分析

為了分析基于密度聚類算法(DBC)中距離閾值參數(shù)dc對圖像檢索MAP值的影響.實驗從Oxford5K圖像集中每類隨機選取50幅圖像,共計550幅圖像作為訓練圖像庫,提取SIFT特征后,在不同距離閾值條件下利用DBC進行聚類生成規(guī)模M=10000的視覺詞典,分析距離閾值參數(shù)dc對檢索MAP的影響,實驗結(jié)果如圖3所示.

從圖3中的MAP變化曲線已看出,距離閾值dc=0.013時,圖像檢索準確率達到最高,dc設置過大或太小都會降低視覺單詞的語義分辨能力.當離閾值dc＞0.013時,會將距離較遠、表達不同圖像語義的SIFT特征分配到同一個視覺單詞,使得同一視覺單詞表達不同的圖像語義,使得檢索MAP逐漸降低;而當dc＜0.013時,會將距離較近、表達同一圖像語義的SIFT特征分到不同的視覺單詞,使得不同視覺單詞表達同一圖像語義,導致檢索MAP值不高.

圖3 距離閾值參數(shù)dc對圖像檢索MAP值的影響Fig.3 The eあect of distance threshold on MAP

為了驗證基于密度聚類算法的有效性,設置距離閾值dc=0.013,利用DBC進行聚類生成不同規(guī)模的視覺詞典,分析視覺詞典的規(guī)模大小對檢索MAP的影響,并與AKM方法[4]進行實驗對比,實驗結(jié)果如圖4所示:

圖4 視覺詞典規(guī)模對圖像檢索MAP值的影響Fig.4 The eあect of vocabulary size on MAP

從圖4可以看出,當單詞數(shù)目較小時,視覺詞典的目標分辨能力不強,隨著視覺單詞數(shù)量不斷增加,其目標分辨能力逐漸增強,MAP值也逐漸增加,當詞典規(guī)模大于10K時,MAP值增長速度逐漸變慢.對比DBC和AKM方法的MAP曲線可以看出,DBC方法的MAP值均高于AKM,這是因為AKM對初始聚類中心的選擇敏感且容易陷入局部極值,而DBC的聚類思想不同于基于劃分的聚類方法,既不需要設置初始聚類中心也不用設計目標函數(shù),而是根據(jù)聚類中心具有密度大且與其他高密度點距離較遠的特性尋找適合的數(shù)據(jù)點作為聚類中心,避免了初值選取對聚類結(jié)果的影響,而且不需要任何先驗信息,只需設置合適的距離閾值dc即可完成聚類.

隨后,為驗證卡方模型去除“視覺停用詞”的有效性,實驗利用DBC生成規(guī)模M=10000的視覺詞典,然后通過卡方模型濾除一定數(shù)目的“視覺停用詞”,并與未去除“視覺停用詞”的圖像檢索MAP值進行對比,實驗結(jié)果如圖5所示.

圖5 去除停用詞數(shù)目對圖像檢索MAP值的影響Fig.5 The eあect of parameter on MAP

對比圖5中的MAP曲線不難看出,當去除“視覺停用詞”數(shù)目S＜1200時,隨著S逐漸增加,視覺詞典的目標分辨能力得到有效提高,并在S=1200時MAP值達到最大值75.81%.但是,當S＞1200時,隨著“視覺停用詞”濾除數(shù)目增加,使得一些代表性較強的視覺單詞被去除,導致圖像檢索MAP值逐漸降低,并最終低于未去除“視覺停用詞”的MAP值.而視覺詞典規(guī)模M發(fā)生變化時,濾除“視覺停用詞”的最佳數(shù)目也會隨著變化,當M較小時,聚類準確率較低,使得包含目標信息的視覺單詞中噪聲SIFT特征數(shù)目較多,“視覺停用詞”數(shù)目較少,因此單詞停用率較低;隨著詞典規(guī)模M逐漸變大,聚類準確率隨之增加,使得包含目標信息的視覺單詞中噪聲SIFT特征數(shù)目逐漸減少,“視覺停用詞”的數(shù)目逐漸增加,因此視覺單詞停用率逐步增加.而且不同的圖像集中背景噪聲均不一樣,因此,在具體應用時需根據(jù)實際情況設置濾除“視覺停用詞”的數(shù)目.

然后,在詞典規(guī)模為10000,去除“視覺停用詞”數(shù)目S=1200的情況下對查詢圖像進行檢索,將初始檢索結(jié)果與平均擴展查詢方法(AQE)[12]、K近鄰重排序方法(K-nearest neighbors re-ranking, KNNR)[13]、區(qū)分擴展查詢方法 (Discriminative query expansion,DQE)[20]和本文方法 (Graphbased query expansion,GBQE)進行實驗對比,實驗結(jié)果如表2所示.從表2中不難看出,經(jīng)過查詢擴展后的檢索MAP值均高于初始檢索結(jié)果,說明查詢擴展方法能利用初始檢索結(jié)果中的有用信息,以此提高檢索性能.其中,AQE利用初始檢索結(jié)果的前k幅圖像的特征平均值作為新的查詢實例進行檢索,而KNNR方法分別對這k幅圖像進行擴展查詢,更為有效地利用了擴展圖像的細節(jié)信息,但是AQE和KNNR方法依賴于較高的初始準確率,沒有分析新的查詢實例與查詢圖像之間的相關性.DQE通過線性支持向量機(Support vector machine,SVM)分析擴展項與查詢圖像的相關性,并根據(jù)相關性大小為其分配權重,減少無關擴展項的負面影響,檢索性能優(yōu)于AQE和KNNR方法,然而DQE僅考慮了查詢圖像與擴展項的單向相關性,并沒有考慮利用擴展項是否能檢索到查詢圖像. GBQE方法根據(jù)訓練圖像的互相關圖像構建連接圖,定義圖像對的k近鄰中包含相同近鄰的數(shù)目作為連接權重,降低了圖像中噪聲對連接權重的影響,然后將與查詢圖像相關的密度最大子圖的頂點圖像作為擴展項進行擴展查詢,有效去除了無關擴展項對檢索結(jié)果的影響,此外,連接圖可離線構造,減少了在線檢索時間,并可以對新的查詢圖像進行增量更新.實驗結(jié)果表明GBQE方法檢索性能優(yōu)于其他方法.

表2 不同查詢擴展方法的圖像檢索MAP值對比(%)Table 2 The image retrieval results of diあerent query expansion methods for Oxford5K database(%)

為進一步驗證本文方法的性能,從Paris6K數(shù)據(jù)庫中隨機選取1000幅圖片作為干擾圖像,將本文方法(EVD+GBQE)與文獻[20]中的基于空間特征擴展和區(qū)分擴展查詢方法(SPAUG+DQE)、文獻[21]中的基于上下文近義詞和查詢擴展圖像檢索方法(CSVW+QE)和文獻[22]中的基于顯著度分析的圖像檢索方法(S-sim)進行實驗對比,實驗結(jié)果如圖6所示.

對比圖 6中的數(shù)據(jù)可知,采用本文方法(EVD+GBQE)較之其他三種方法有更好的表現(xiàn). S-sim方法通過對圖像顯著區(qū)域分析,有效降低了圖像背景噪聲的不利影響,由于沒有利用初始檢索結(jié)果對查詢圖像進行有效擴展,加入大量干擾圖像后其檢索性能明顯下降;CSVW+QE方法利用視覺單詞的上下文信息增強單詞對圖像內(nèi)容的表達能力,然而CSVW+QE依賴較高的初始查準率,當無關圖像增加時,其檢索性能逐漸下降;SPAUG+DQE結(jié)合視覺單詞的上下文信息對局部特征進行擴展,并根據(jù)查詢圖像與擴展項的相關性大小分配權重,降低了無關擴展項的不利影響,使得其抗干擾能力強于CSVW+QE和S-sim,但是一幅圖像包含大量的局部特征,對局部特征進行擴展的計算和時間開銷均較大,導致實用性不強;EVD+GBQE則采用無需迭代尋優(yōu)的聚類方法生成視覺詞典,提高了詞典生成效率,再利用卡方模型濾除不包含目標信息的視覺單詞,增強了詞典的語義分辨能力,然后通過連接圖查找與查詢圖像相關的圖像作為擴展項并進行擴展查詢,根據(jù)擴展查詢結(jié)果對初始檢索結(jié)果重排序,實驗結(jié)果表明,EVD+GBQE在復雜環(huán)境下仍具有較好的表現(xiàn),實用性更強.圖7給出了本文方法在Oxford5K+Paris6K數(shù)據(jù)庫上的圖像檢索結(jié)果,不難看出,利用本文方法可以將初始檢索結(jié)果中無關圖像剔除,從而檢索得到更多與查詢圖像相關的圖像.

圖6 在Oxford5K和Oxford5K+Paris6K數(shù)據(jù)庫上的圖像檢索MAP值Fig.6 The MAP of diあerent methods for Oxford5K and Oxford5K+Paris6K database

3 結(jié)論

本文提出了一種基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法.首先,針對傳統(tǒng)視覺詞典生成方法效率低問題,引入基于密度的聚類方法生成視覺詞典,根據(jù)聚類中心具有的特性快速尋找適合的數(shù)據(jù)點作為聚類中心,避免了迭代尋優(yōu)過程,有效提高了詞典生成效率;然后,利用卡方模型分析視覺單詞與圖像目標的相關性,同時結(jié)合視覺單詞詞頻濾除不包含目標信息的“視覺停用詞”,提高了視覺詞典的質(zhì)量;最后,通過連接圖查找與查詢圖像相關的圖像作為擴展項,并對初始檢索結(jié)果進行重排序,降低了初始檢索中不相關圖像的影響,提高了圖像檢索準確率.實驗結(jié)果有效地驗證了本文方法的圖像檢索性能優(yōu)于當前主流方法.如何將目標空間信息與視覺單詞相結(jié)合,增強視覺單詞的語義表達能力是本文的下一步研究方向.此外,如何通過距離度量的學習使得特征空間的距離更加接近真實的語義距離也是今后亟待解決的問題.

圖7 EVD+GBQE方法在Oxford5K+Paris6K數(shù)據(jù)庫上的檢索結(jié)果Fig.7 The image retrieval results of EVD+GBQE for Oxford5K+Paris6K database

1 Chen Y Z,Dick A,Li X,Van Den Hengel A.Spatially aware feature selection and weighting for object retrieval.Image and Vision Computing,2013,31(12):935?948

2 Wang J J Y,Bensmail H,Gao X.Joint learning and weighting of visual vocabulary for bag-of-feature based tissue classi fi cation.Pattern Recognition,2013,46(12):3249?3255

3 Cao Y,Wang C H,Li Z W,Zhang L Q,Zhang L.Spatialbag-of-features.In:Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco,CA,USA:IEEE,2010.3352?3359

4 Philbin J,Chum O,Isard M,Sivic J,Zisserman A.Object retrieval with large vocabularies and fast spatial matching. In:Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,USA:IEEE, 2007.1?8

5 Nister D,Stewenius H.Scalable recognition with a vocabulary tree.In:Proceedings of the 2006 IEEE Conference on Computer Vision and Pattern Recognition.New York,USA: IEEE,2006.2161?2168

6 Goes J,Zhang T,Arora R,Lerman G.Robust stochastic principal component analysis.In:Proceedings of the 17th International Conference on Arti fi cial Intelligence and Statistics.Reykjavik,Iceland:JMLR,2014.266?274

7 Goswami A K,Jain R,Tripathi P.Automatic segmentation of satellite image using self organizing feature map(SOFM) an arti fi cial neural network(ANN)approach.International Journal of Advanced Research in Computer Science,2014, 5(8):92?97

8 McLachlan G,Krishnan T.The EM Algorithm and Extensions(Second Edition).Hoboken,New Jersey:John Wiley &Sons,2008.

9 Sivic J,Zisserman A.Video Google:a text retrieval approach to object matching in videos.In:Proceedings of the 9th IEEE International Conference on Computer Vision. Nice,France:IEEE,2003.1470?1477

10 Yuan J S,Wu Y,Yang M.Discovery of collocation patterns:from visual words to visual phrases.In:Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,USA:IEEE,2007.1?8

11 Fulkerson B,Vedaldi A,Soatto S.Localizing objects with smart dictionaries.In:Proceedings of the 10th European Conference on Computer Vision.Berlin,Heidelberg,Germany:Springer,2008.179?192

12 Perd′och M,Chum O,Matas J.Eきcient representation of local geometry for large scale object retrieval.In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,USA:IEEE,2009.9?16

13 Shen X H,Lin Z,Brandt J,Avidan S,Wu Y.Object retrieval and localization with spatially-constrained similarity measure andk-nn re-ranking.In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,USA:IEEE,2012.3013?3020

14 Chum O,Philbin J,Sivic J,Isard M,Zisserman A.Total recall:automatic query expansion with a generative feature model for object retrieval.In:Proceedings of the 11th IEEE International Conference on Computer Vision.Rio de Janeiro,Brazil:IEEE,2007.1?8

15 Rodriguez A,Laio A.Clustering by fast search and fi nd of density peaks.Science,2014,344(6191):1492?1496

16 Kesom K,Poslad S.An enhanced bag-of-visual word vector space model to represent visual content in athletics images.IEEE Transactions on Multimedia,2012,14(1):211?222

17 Zhang S T,Yang M,Cour T,Yu K,Metaxas D N.Query speci fi c rank fusion for image retrieval.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(4): 803?815

18 Philbin J,Arandjelovi′c R,Zisserman A.Oxford5K dataset[Online],available:http://www.robots.ox.ac.uk/～vgg/data/oxbuildings/,December,2015.

19 Philbin J,Zisserman A.Paris6K database[Online],available: http://www.robots.ox.ac.uk/～vgg/data/parisbuildings/,December,2015.

20 Arandjelovi′c R,Zisserman A.Three things everyone should know to improve object retrieval.In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,USA:IEEE,2012.2911?2918

21 Xie H T,Zhang Y D,Tan J L,Guo L,Li J T.Contextual query expansion for image retrieval.IEEE Transactions on Multimedia,2014,16(4):1104?1114

22 Gao Y,Shi M J,Tao D C,Xu C.Database saliency for fast image retrieval.IEEE Transactions on Multimedia,2015, 17(3):359?369