基于深度學(xué)習(xí)的局部實(shí)例搜索

朱周華，高 凡

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

0 引 言

信息時代，數(shù)字圖像和視頻數(shù)據(jù)日益增多，人們對于圖像檢索的需求也隨之增大。傳統(tǒng)的基于內(nèi)容的圖像檢索(CBIR)都是定義在圖像級別的檢索，查詢圖片背景都比較單一，沒有干擾信息，因此可以提取整個圖片的特征進(jìn)行檢索。但是，現(xiàn)實(shí)生活中的查詢圖片都是帶有場景的，查詢目標(biāo)僅占了整幅圖的一部分，直接將查詢圖與數(shù)據(jù)庫中的整幅圖像進(jìn)行匹配，準(zhǔn)確率必然會很低。因此，考慮使用局部特征進(jìn)行實(shí)例搜索。

實(shí)例搜索是指給定一個樣例，在視頻或圖像庫中找到包含這個樣例的視頻片段或者圖片，即找到任意場景下的目標(biāo)對象。早期，實(shí)例搜索大多采用詞袋模型(bag-of-words，BoW)對圖像的特征進(jìn)行編碼，其中大部分都采用尺度不變特征變換(SIFT)[1]來描述局部特征。Zhu等人[2]首先使用SIFT提取查詢圖片和視頻關(guān)鍵幀的視覺特征，接著采用詞袋算法對特征進(jìn)行編碼得到一維向量，最后根據(jù)向量之間的相似性，返回一個排好序的視頻列表，文中借鑒了傳統(tǒng)視覺檢索的一些方法，但是沒有很好地結(jié)合實(shí)例搜索的特點(diǎn)。2014年有學(xué)者[3]提出采用比BoW性能更好的空間Fisher向量[4]和局部特征聚合描述符(VLAD)[5]來描述SIFT特征的空間關(guān)系，從而進(jìn)行實(shí)例檢索。

隨著深度學(xué)習(xí)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)特征被廣泛應(yīng)用于計(jì)算機(jī)視覺的各個領(lǐng)域，如圖像分類[6-7]、語音識別[8]等，均取得了不錯的效果，因此有學(xué)者也將其引入到圖像檢索領(lǐng)域。起初，研究者們利用神經(jīng)網(wǎng)絡(luò)的全連接層特征進(jìn)行圖像檢索[9]，后來很多研究者開始轉(zhuǎn)向卷積層特征的研究[10]，并且證明卷積層特征的性能更好。

Eva等人[11]采用詞袋模型對卷積神經(jīng)網(wǎng)絡(luò)(CNNs)提取的特征進(jìn)行編碼，然后分別進(jìn)行初次搜索，局部重排，擴(kuò)展查詢，從而實(shí)現(xiàn)實(shí)例檢索。

實(shí)例檢索需采用局部特征實(shí)現(xiàn)，因此許多生成區(qū)域信息的方法相繼出現(xiàn)，最簡單的是滑動窗口，之后有學(xué)者提出使用Selective Search生成物體候選框[12-13]，但是這些方法將生成候選區(qū)域和特征提取分開進(jìn)行。Faster R-CNN[14]是一個端到端的網(wǎng)絡(luò)，它可以同時提取卷積層特征和生成候選區(qū)域。文獻(xiàn)[15]提出將微調(diào)之后的目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN應(yīng)用到實(shí)例檢索中，使用區(qū)域提議網(wǎng)絡(luò)(region proposal network，RPN)生成候選區(qū)域，從而得到查詢圖區(qū)域特征與數(shù)據(jù)庫圖像區(qū)域特征，特征匹配之后排序得到檢索結(jié)果，在兩個建筑物數(shù)據(jù)集上取得了不錯的效果。何濤在其論文中[16]針對Faster R-CNN網(wǎng)絡(luò)效率較低的問題提出了端到端的深度區(qū)域哈希網(wǎng)絡(luò)(DRH)，使用VGG16作為特征提取器，滑動窗口和RPN網(wǎng)絡(luò)得到候選區(qū)域，并將兩種方法進(jìn)行對比，整個網(wǎng)絡(luò)最后階段對特征進(jìn)行哈希編碼并計(jì)算漢明距離進(jìn)行排序，從而得到檢索結(jié)果，文中為了排除不同場景、不同光照和拍照角度產(chǎn)生的干擾，使用局部信息進(jìn)行檢索。以上兩篇文獻(xiàn)盡管均使用局部信息進(jìn)行檢索，但都是為了排除干擾信息將查詢圖中的目標(biāo)標(biāo)記出來，查詢圖依然是整幅圖像。

實(shí)際搜索圖像時某些圖片會有殘缺，此時就無法通過標(biāo)記目標(biāo)進(jìn)行檢索，因此實(shí)例檢索除了常見的利用局部特征進(jìn)行整幅圖像的檢索之外，局部圖像的檢索亦有著非常重要的現(xiàn)實(shí)意義?，F(xiàn)有的檢索方法的檢索效果不是很理想，因此文中針對以上兩個問題首先改進(jìn)整幅圖像的檢索并提高其檢索性能，之后利用圖像的部分信息(例如建筑物的頂部、嫌疑人的部分特征等)檢索得到整幅圖像，實(shí)現(xiàn)局部圖像的檢索。同時，考慮到實(shí)際檢索時，輸入均為一幅圖像，輸出為一組圖像，因此，文中在局部實(shí)例檢索的基礎(chǔ)之上加入在線檢索功能，可以實(shí)現(xiàn)局部圖像的實(shí)時搜索。因此，主要有以下兩大方面的貢獻(xiàn)和創(chuàng)新：

(1)基于深度學(xué)習(xí)的實(shí)例搜索。一方面，通過微調(diào)策略提高了實(shí)例搜索的精確度；另一方面，針對候選框得分(scores)和余弦距(cosine)兩種相似性度量方法存在的不足，提出將兩種方法相結(jié)合，以獲得更好的檢索效果。

(2)基于深度學(xué)習(xí)的局部實(shí)例搜索。由于局部圖像的檢索具有重大的現(xiàn)實(shí)意義，將全局實(shí)例搜索算法應(yīng)用在局部實(shí)例檢索任務(wù)中，即利用殘缺圖片信息搜索得到整幅圖像，并加入在線檢索功能，輸入局部查詢圖，便可以得到查詢結(jié)果和所屬建筑物的名字。

1 相關(guān)理論

1.1 基于Faster R-CNN的區(qū)域特征提取

如圖1所示，F(xiàn)aster R-CNN由卷積層(Conv layers)，RPN網(wǎng)絡(luò)，RoI pooling，分類和回歸四部分構(gòu)成。

圖1 Faster R-CNN結(jié)構(gòu)

卷積層用于提取圖像特征，可以選擇不同結(jié)構(gòu)的網(wǎng)絡(luò)，輸入為整張圖片，輸出為提取的特征稱為feature maps。文中采用VGG16[7]的中間卷積層作為特征提取器。

RPN網(wǎng)絡(luò)用于推薦候選區(qū)域，這個網(wǎng)絡(luò)是用來代替之前的selective search[13]的，輸入為圖片，輸出為多個矩形區(qū)域以及對應(yīng)每個矩形區(qū)域含有物體的概率。首先將一個3*3的滑窗在feature maps上滑動，每個窗口中心點(diǎn)映射到原圖并生成9種矩形框(9 anchor boxes)，之后進(jìn)入兩個同級的1*1卷積，一個分支通過softmax進(jìn)行二分類，判斷anchor boxes屬于foreground還是background。另一分支計(jì)算anchor boxes的bounding box regression的偏移量。Proposal層結(jié)合兩個分支的輸出信息去冗余后保留N個候選框，稱為proposals。

傳統(tǒng)的CNN網(wǎng)絡(luò)，輸入圖像尺寸必須是固定大小的，但是Faster R-CNN的輸入是任意大小的，RoI pooling作用是根據(jù)候選區(qū)域坐標(biāo)在特征圖上映射得到區(qū)域特征并將其pooling成固定大小的輸出，即對每個proposal提取固定尺寸的特征圖。

分類和回歸模塊，一方面通過全連接層和softmax層確定每個proposal的類別，另一方面回歸更加精確的目標(biāo)檢測框，輸出候選區(qū)域在圖像中的精確坐標(biāo)。

1.2 微調(diào)Faster R-CNN

微調(diào)，即用預(yù)訓(xùn)練模型重新訓(xùn)練自己的數(shù)據(jù)，現(xiàn)有的VGG16 FasterR-CNN預(yù)訓(xùn)練模型主要是基于VOC2007數(shù)據(jù)集中20類常見的物體預(yù)訓(xùn)練得到的。文中的數(shù)據(jù)集是建筑物，與VOC2007圖片相似度和特征都相差較大，如果依然采用預(yù)訓(xùn)練模型，效果必然不好，再加上從頭開始訓(xùn)練，需要大量的數(shù)據(jù)、時間和計(jì)算資源。而文中所選用的數(shù)據(jù)集較小，因此需要進(jìn)行微調(diào)，這樣不僅可以節(jié)省大量時間和計(jì)算資源，同時還可以得到一個較好的模型。微調(diào)主要分為以下三個步驟：

(1)數(shù)據(jù)預(yù)處理。

首先需要對數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，主要去除無效值和糾正錯誤數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。其次，由于文中的數(shù)據(jù)集較小且每類樣本分布不均衡，因此選擇性地對每類圖片作圖像增強(qiáng)處理，其中圖像增強(qiáng)方法包括水平翻轉(zhuǎn)，增加高斯噪聲，模糊處理，改變圖像對比度。最后將每幅圖片中的目標(biāo)樣例標(biāo)記出來。

(2)建立訓(xùn)練集和測試集。

一般是按一定的比例進(jìn)行分配，但是文中選用的數(shù)據(jù)集存在樣本不均衡的問題，有些類別特別多，有些類別特別少。由于是將所有圖片全部放入同一個文件夾，然后依次讀取樣本分配訓(xùn)練集和測試集，如果按比例分配，小類樣本參與訓(xùn)練的機(jī)會就會比大類少，訓(xùn)練出來的模型將會偏向于大類，使得大類性能好，小類性能差。平衡采樣策略就是把樣本按類別分組，每個類別生成一個樣本列表，制作訓(xùn)練集時從各個類別所對應(yīng)的樣本列表中隨機(jī)選擇樣本，這樣可以保證每個類別參與訓(xùn)練的機(jī)會比較均衡。

(3)修改相關(guān)網(wǎng)絡(luò)參數(shù)，進(jìn)行訓(xùn)練。

主要修改網(wǎng)絡(luò)文件中的類別數(shù)和類名，然后不斷調(diào)節(jié)超參數(shù)，使性能達(dá)到最好。

1.3 實(shí)例搜索

實(shí)例檢索一般經(jīng)過初次搜索，局部重排，擴(kuò)展查詢?nèi)糠滞瓿伞?/p>

初次搜索首先提取查詢圖和數(shù)據(jù)庫所有圖像的全局特征，然后計(jì)算特征之間的相似度，最后經(jīng)過排序得到初步的檢索結(jié)果。文中提取VGG16網(wǎng)絡(luò)的最后一個卷積層(Conv5_3)特征。

局部重排是將初次搜索得到的前K幅圖片作為新的數(shù)據(jù)庫進(jìn)行重排，基本思路是提取查詢圖和數(shù)據(jù)庫的區(qū)域特征并進(jìn)行匹配，根據(jù)匹配結(jié)果進(jìn)行排序從而得到查詢結(jié)果。這里查詢圖和數(shù)據(jù)庫的區(qū)域特征提取方法不同，其中，查詢圖的區(qū)域特征是用groundtruth給定的邊界框?qū)φ鶊D像特征進(jìn)行裁剪得到的，而數(shù)據(jù)庫的區(qū)域特征是經(jīng)過RPN網(wǎng)絡(luò)和RoI pooling池化得到的特征(pool5)。

擴(kuò)展查詢(query expansion，QE)是取出局部重排返回的前K個結(jié)果，對其特征求和取平均作為新的查詢圖，再做一次檢索，屬于重排的一種。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集和評價指標(biāo)

(1)實(shí)驗(yàn)環(huán)境。

文中所有實(shí)驗(yàn)均在NVIDIA GeForce RTX 2080上進(jìn)行，所用系統(tǒng)為Ubuntu 18.04，使用的深度學(xué)習(xí)框架為Caffe，編程語言為Python。

(2)數(shù)據(jù)集介紹。

在兩個公開的建筑物數(shù)據(jù)集Oxford[17]和Paris[18]上進(jìn)行實(shí)驗(yàn)。其中Oxford包含5 063張圖片，Paris包含6 412張圖片，但是有20張被損壞，因此有6 392張圖片可用。兩個數(shù)據(jù)集都來自Flickr，共有11類建筑物，同一種建筑物有5張查詢圖，因此每個數(shù)據(jù)集總共有55張查詢圖，除此之外，兩個數(shù)據(jù)集相同類別建筑物的場景、拍照角度和光照都有所不同，而且有很多本來不是同一種建筑物但是從表面看上去卻非常相似的圖片。

(3)評價指標(biāo)。

平均精度均值(mean average precision，mAP)是一個反映了圖像檢索整體性能的指標(biāo)，如式(1)和(2)所示。

(1)

(2)

其中，N表示返回結(jié)果總個數(shù)，P(k)表示返回結(jié)果中第k個位置的查準(zhǔn)率，rel(k)表示返回結(jié)果中第k個位置的圖片是否與查詢圖相關(guān)，相關(guān)為1，不相關(guān)為0。MAP是多次查詢后，對每次檢索的平均精度AP值求和取平均。這里對是否相關(guān)做進(jìn)一步解釋：兩個數(shù)據(jù)集的groundtruth有三類，分別是good，ok和junk，如果檢索結(jié)果在good和ok中，則判為與查詢圖相關(guān)，如果在junk中，則判為不相關(guān)。

2.2 基于深度學(xué)習(xí)的實(shí)例檢索

2.2.1 方 法

先嘗試使用VGG16 Faster R-CNN預(yù)訓(xùn)練模型進(jìn)行檢索，在兩個數(shù)據(jù)集上MAP值僅0.5左右，接著文中使用微調(diào)策略，只凍結(jié)了前兩個卷積層，更新了之后所有的網(wǎng)絡(luò)層權(quán)值，通過不斷調(diào)參，訓(xùn)練一個精度盡可能高的模型。其中，微調(diào)過程中分別采用數(shù)據(jù)增強(qiáng)和平衡采樣技術(shù)對數(shù)據(jù)進(jìn)行處理。具體地，對于Oxford數(shù)據(jù)集，建筑物radcliffe_camera的數(shù)量高達(dá)221張，而建筑物pitt_rivers僅有6張，其他9類樣本數(shù)量在7至78之間不等，數(shù)量差距相當(dāng)大，因此，選擇性地對數(shù)量小的6類樣本通過上面提到的方法進(jìn)行數(shù)據(jù)增強(qiáng)，使小類樣本數(shù)量增大。對其進(jìn)行數(shù)據(jù)增強(qiáng)之后，雖然樣本數(shù)量差距縮小，但是依然存在不均衡的問題，如果將所有樣本放入一個文件夾中，按比例分配訓(xùn)練集和測試集，則依然會導(dǎo)致訓(xùn)練出來的模型小類性能差的問題。因此，將每類樣本生成一個列表，再從每個列表中隨機(jī)選取一定數(shù)量的樣本作為該類的訓(xùn)練樣本。

除此之外，文獻(xiàn)[15]在局部重排部分使用了兩種特征匹配方法，一種是直接利用候選框?qū)?yīng)得分(scores)進(jìn)行排序。數(shù)據(jù)庫中每幅圖片經(jīng)過Proposal layer會得到300個區(qū)域提議(proposal)的坐標(biāo)和對應(yīng)得分，找到查詢圖對應(yīng)類的最高得分作為查詢圖和數(shù)據(jù)庫每幅圖片的相似度，再從高到低進(jìn)行排序就可以得到檢索結(jié)果。另一種是利用余弦距(cosine)進(jìn)行排序。數(shù)據(jù)庫中的每幅圖片經(jīng)過RoI pooling可以得到300個特征向量，計(jì)算查詢圖與數(shù)據(jù)庫中每幅圖片的300個區(qū)域特征的余弦距，最小距離對應(yīng)的候選框即就是和查詢圖最相似的區(qū)域提議，然后把所有的最小距離再從小到大進(jìn)行排序，就可以得到相似度排序。第一種方法雖然得到的邊界框(bounding box regression)定位較準(zhǔn)，mAP值也很高，但是視覺相似度并不是很高。而且根據(jù)候選框得分進(jìn)行排序，每類建筑物的得分和排序都是一定的，因此每次相同類別的不同查詢返回結(jié)果都是相同的，不會根據(jù)查詢圖片的不同而返回不同的排序。第二種方法得到的檢索結(jié)果，圖像相似度很高，但是邊界框定位不是很準(zhǔn)確。文中將兩種方法結(jié)合(scores+cosine)，利用余弦距計(jì)算相似度并排序，選擇得分最高的候選框進(jìn)行目標(biāo)定位，這樣既解決了視覺相似度不夠的問題，也解決了相同類別的不同查詢返回結(jié)果相同的問題，同時又解決了目標(biāo)定位不準(zhǔn)的問題。

2.2.2 參數(shù)設(shè)置

本節(jié)主要討論擴(kuò)展查詢中的參數(shù)k對實(shí)驗(yàn)結(jié)果的影響，并選取一個最優(yōu)值作為本實(shí)驗(yàn)的默認(rèn)值。在特征匹配方法選用余弦距的情況下，在兩個數(shù)據(jù)集上分別測試了k等于3、4、5、6、7時的mAP值，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同k值對mAP值的影響

從表1綜合來看，文中選用6作為k的默認(rèn)值。

2.2.3 結(jié)果與分析

表2是文中與其他文獻(xiàn)mAP值的對比，最后兩項(xiàng)是文中三種方法的實(shí)驗(yàn)結(jié)果?？梢钥闯觯啾扔谄渌墨I(xiàn)，文中方法的檢索性能得到很大的提升，比目前最好的方法分別高出6.1%和4%，說明文中方法優(yōu)于其他檢索方法。文中方法與文獻(xiàn)[15]所采用方法類似，但結(jié)果卻得到了很大的改善，通過分析認(rèn)為，雖然所用數(shù)據(jù)集都相同，但是生成的訓(xùn)練集和測試集完全不同，而且文中采用數(shù)據(jù)增強(qiáng)方法，使得樣本的數(shù)量增加了3～4倍，使用平衡采樣的方法保證小類樣本可以得到和大類樣本同樣的訓(xùn)練機(jī)會。除此之外，網(wǎng)絡(luò)超參數(shù)對于模型的影響非常大，因此文中對參數(shù)進(jìn)行調(diào)優(yōu)，使得訓(xùn)練出來的模型更好。

表2 文中方法與其他方法的mAP值對比

圖2是兩組對比圖，圖(a)和圖(b)是對建筑物all_souls和louvre分別用候選框得分和余弦距進(jìn)行排序的結(jié)果，其中，左邊1列是查詢圖，右邊5列是查詢返回結(jié)果，表示與查詢相關(guān)(下同)。圖3是all_souls的兩個不同查詢用得分進(jìn)行排序得到的檢索結(jié)果。圖4是將兩種匹配方法結(jié)合得到的檢索結(jié)果。

從圖2可以看出利用候選框得分排序得到的結(jié)果目標(biāo)定位較準(zhǔn)確，但是返回結(jié)果的背景、光照、拍照角度、顏色、對比度和樣例大小與查詢圖相差很大，而利用余弦距排序得到的結(jié)果候選框定位不是很準(zhǔn)，但從背景、樣例大小等視覺角度來看相似度較高。圖3中all_souls的兩個不同查詢圖返回結(jié)果中不僅圖片一樣，而且順序也相同。因此可以看出兩種方法各有缺陷。

圖2 不同建筑物的同一個查詢分別利用得分和余弦距得到的排序

圖3 建筑物all_souls的兩個不同查詢根據(jù)得分得到的排序

圖4是將兩種方法結(jié)合得到的返回結(jié)果，與圖2相比視覺相似度提高了，目標(biāo)定位也更準(zhǔn)確了，與圖3相比，同一個建筑物的兩個不同查詢返回結(jié)果也會根據(jù)查詢圖片的不同而改變，且從表2最后一行可以看出該方法比使用候選框得分在Oxford上得到的mAP值高0.009，與使用余弦距得到的mAP值相同。因此認(rèn)為，以上提出的特征匹配方法得到的返回結(jié)果在不降低mAP值的基礎(chǔ)上提高了檢索的準(zhǔn)確率。

圖4 綜合得分和余弦距兩種方法得到的檢索結(jié)果

2.3 基于深度學(xué)習(xí)的局部實(shí)例檢索

2.3.1 方 法

本節(jié)局部圖像的檢索是建立在2.2節(jié)基礎(chǔ)之上的，正是由于整幅圖像檢索采用候選區(qū)域特征實(shí)現(xiàn)，局部圖像的檢索才得以實(shí)現(xiàn)。

較之于整幅圖像的檢索，局部圖像的檢索具有同樣重大的現(xiàn)實(shí)意義。生活中常會因?yàn)槟硞€原因使圖片變得殘缺，且難以識別，那么此時就需要使用局部圖像檢索得到原始圖像的完整信息。比如，通過某建筑物的頂部搜索得到整幅圖像從而識別該建筑物?；蛘呖梢詰?yīng)用在刑偵工作中，當(dāng)攝像機(jī)捕獲到的是某犯罪嫌疑人的部分特征時，可以通過已有的部分特征在圖像庫或者其他攝像頭下搜索得到該嫌疑人的完整信息。

由于目前沒有一個現(xiàn)成的殘缺圖像庫，因此本節(jié)利用截圖工具對整幅圖像作裁剪處理以模擬殘缺圖像，即從圖像庫選取不同實(shí)例通過裁剪得到不同大小，不同背景，不同角度，不同顏色的局部查詢圖。由于圖像庫圖像都是整幅圖像，在尺寸和包含的信息方面與局部查詢圖相差很大，因此局部檢索最大的難點(diǎn)在于如何處理局部圖像。2.2節(jié)會對輸入圖片統(tǒng)一進(jìn)行縮放，那么局部查詢圖片輸入后，先進(jìn)行放大，則會導(dǎo)致原始輸入圖像失真，提取特征后再對其進(jìn)行裁剪又會進(jìn)一步丟失大部分圖像信息，因此根本無法得到正確的檢索結(jié)果。文中對其進(jìn)行以下處理：即輸入查詢圖后，先將局部查詢填充至與數(shù)據(jù)庫圖像相同大小(圖像庫的圖像基本都是1 024*768或者768*1 024大小的)，這樣對圖像進(jìn)行統(tǒng)一縮放，提取特征，按比例裁剪之后，得到的正是局部圖像的特征，再與圖像庫匹配，則會輸出正確的排序結(jié)果。本節(jié)輸入為建筑物的局部圖像，輸出為局部查詢所屬的建筑物圖像，并且會標(biāo)記出局部查詢在所屬建筑物中的位置。

目前，很多文獻(xiàn)(如[15])都比較注重算法的研究，基本都采用離線的形式實(shí)現(xiàn)圖像檢索，不僅離線建立特征庫，查詢圖也是成批輸入到網(wǎng)絡(luò)中進(jìn)行離線檢索，得到的結(jié)果也是成批保存起來，可是實(shí)際應(yīng)用中，一般都是將查詢圖逐幅輸入進(jìn)行實(shí)時檢索，因此文中在前文基礎(chǔ)之上，加入了在線檢索功能，最后實(shí)現(xiàn)在線局部實(shí)例檢索。

2.3.2 結(jié)果與分析

如圖5是通過裁剪建筑物radcliffe_camera和triomphe的原圖，得到的5個不同查詢圖，分別選取一幅進(jìn)行檢索，得到了完整的建筑物，且標(biāo)記出了局部查詢圖像在整個建筑物中的位置，如圖6所示。最終mAP值分別為0.880和0.857。從檢索結(jié)果可以看出返回結(jié)果的視覺相似度極高，目標(biāo)定位準(zhǔn)確，且mAP值高于其他文獻(xiàn)中整幅圖像的檢索準(zhǔn)確率。因此，可以證明文中提出的全局搜索算法在局部圖像檢索任務(wù)中亦能取得很好的效果。

圖5 兩種建筑物的五個局部查詢圖

圖6 兩組局部查詢的檢索結(jié)果

在此之前，只有文獻(xiàn)[19]為了證明行人重識別系統(tǒng)的普適性，使用CaffeNet和VGG16兩個網(wǎng)絡(luò)模型在Oxford數(shù)據(jù)集上對局部建筑物圖像進(jìn)行了測試，得到的mAP值分別為0.662和0.764，遠(yuǎn)低于文中的準(zhǔn)確率。因此提出的局部實(shí)例搜索的性能良好。

在線檢索功能按照輸入圖片，可得到查詢結(jié)果和查詢建筑物的名字，且文中在沒有使用任何編碼算法的情況下，在兩個數(shù)據(jù)集上檢索一幅圖的平均耗時分別為5.7 s和7 s，經(jīng)檢測，90%的時間都耗費(fèi)在利用特征向量計(jì)算相似度部分。如圖7所示，分別是bodleian和eiffel的檢索結(jié)果和總耗時。

圖7 在線檢索結(jié)果

3 結(jié)束語

為了進(jìn)一步提高實(shí)例檢索性能，針對以往的利用候選框得分和余弦距進(jìn)行特征匹配的不足，提出將兩種方法結(jié)合，即利用余弦距計(jì)算相似度并排序，選擇得分最高的候選框進(jìn)行目標(biāo)定位。并使用微調(diào)策略重新訓(xùn)練預(yù)訓(xùn)練模型從而使其適用于文中的實(shí)例檢索。相比于其他方法，文中采用的方法在性能方面有明顯的提升。在此基礎(chǔ)之上，利用殘缺圖像搜索得到整幅圖像，性能高于其他文獻(xiàn)整幅圖像的檢索，且僅比文中整幅圖像檢索低0.032，實(shí)驗(yàn)結(jié)果證明提出的全局搜索算法同樣適用于局部圖像檢索任務(wù)。之后加入在線檢索功能，在沒有任何編碼的情況下檢索一幅圖像平均耗時僅需5.7 s～7 s。在未來的工作中，可以進(jìn)一步加入編碼模塊，以提高檢索速度，并且可以在更大的數(shù)據(jù)集上進(jìn)行測試。