最小熵遷移對(duì)抗散列方法

卓君寶 蘇 馳 王樹(shù)徽 黃慶明

1(智能信息處理重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院計(jì)算技術(shù)研究所) 北京 100190) 2(中國(guó)科學(xué)院大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 北京 100049) 3(數(shù)字視頻編解碼技術(shù)國(guó)家工程實(shí)驗(yàn)室(北京大學(xué)) 北京 100871)

大數(shù)據(jù)時(shí)代的到來(lái)，網(wǎng)絡(luò)上涌現(xiàn)了大量的高維圖像數(shù)據(jù).圖像檢索越來(lái)越受到學(xué)術(shù)界和工業(yè)界的關(guān)注.隨著深度學(xué)習(xí)的普及，深度散列方法[1-7]也備受關(guān)注，其性能遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)的無(wú)監(jiān)督方法[8-10]和基于淺層模型的有監(jiān)督方法[11-13].然而深度學(xué)習(xí)方法往往需要大量的標(biāo)注信息，搜集這些標(biāo)注信息往往耗費(fèi)巨大人力物力.此外，大多數(shù)現(xiàn)有的深度學(xué)習(xí)方法都基于獨(dú)立同分布的假設(shè)，即訓(xùn)練集(源域)和測(cè)試集(目標(biāo)域)的分布一致.然而在現(xiàn)實(shí)應(yīng)用中，源域和目標(biāo)域往往存在較大的差異.因此利用有標(biāo)注的數(shù)據(jù)集(源域)并遷移到相關(guān)的無(wú)標(biāo)注目標(biāo)域[14-19]受到極大的關(guān)注和發(fā)展.然而在圖像檢索領(lǐng)域，跨域遷移學(xué)習(xí)的研究處于起步階段，仍待繼續(xù)研究.跨域圖像檢索的難點(diǎn)在于目標(biāo)域無(wú)標(biāo)注且與源域存在較大域間差異，這種差異往往導(dǎo)致在帶標(biāo)注源域上訓(xùn)練好的模型應(yīng)用于目標(biāo)域時(shí)檢索性能大幅度下降.如何學(xué)習(xí)具有判別力和域不變的散列碼是跨域圖像檢索的重點(diǎn).

深度適配散列(deep adaptive hashing, DAH)[20]首次將域適配的方法應(yīng)用于跨域圖像檢索任務(wù)中，在學(xué)習(xí)散列碼的同時(shí)，DAH引入最大均值差異(maximum mean discrepancy， MMD)[14-15]來(lái)度量域間差異，通過(guò)最小化MMD來(lái)學(xué)習(xí)域不變的散列碼.此后遷移對(duì)抗散列(transfer adversarial hashing， TAH)[21]提出將跨域識(shí)別中經(jīng)典的域?qū)咕W(wǎng)絡(luò)[19]應(yīng)用到跨域圖像檢索中.TAH通過(guò)引入一個(gè)域分類(lèi)器來(lái)判別源域和目標(biāo)域的分布是否一致，采用對(duì)抗思想促使所學(xué)的源域與目標(biāo)域散列碼分布趨于一致，進(jìn)而學(xué)習(xí)到域不變的散列碼，取得了當(dāng)前最好檢索性能.

然而現(xiàn)有深度跨域圖像檢索方法仍然存在2個(gè)問(wèn)題:1)在學(xué)習(xí)散列碼時(shí)，標(biāo)注信息僅僅被用于構(gòu)建2個(gè)樣本是否相似的監(jiān)督信息去指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)，忽略了標(biāo)注信息的語(yǔ)義信息.這使得所學(xué)的散列碼的判別力不足，造成檢索性能的瓶頸.2)現(xiàn)有的分布對(duì)齊方法學(xué)習(xí)域不變特征的能力仍然不足，使得將源域?qū)W習(xí)得到的散列函數(shù)應(yīng)用于目標(biāo)域時(shí)性能仍然有較大下降.

針對(duì)上面2個(gè)問(wèn)題，我們提出語(yǔ)義保持模塊和最小熵?fù)p失來(lái)改進(jìn)現(xiàn)有深度跨域圖像檢索方法.首先，我們?cè)谏⒘刑卣骱笤僖胍粋€(gè)分類(lèi)子網(wǎng)絡(luò)，通過(guò)源域的標(biāo)注信息來(lái)訓(xùn)練該分類(lèi)子網(wǎng)絡(luò)并將語(yǔ)義信息反傳給生成散列特征的子網(wǎng)絡(luò)，有效保持了散列碼的判別力.此外，在目標(biāo)域上，由于沒(méi)有語(yǔ)義標(biāo)注信息，無(wú)法像源域那樣引入監(jiān)督信息.因此我們引入最小化目標(biāo)域樣本的類(lèi)別響應(yīng)分布的熵來(lái)促使目標(biāo)域樣本的類(lèi)別響應(yīng)能夠集中在某個(gè)類(lèi)別上.最小熵?fù)p失有效增強(qiáng)了散列碼的泛化能力.

基于TAH模型以及我們所提的語(yǔ)義保持和最小熵?fù)p失，我們構(gòu)建了一個(gè)新的可端到端訓(xùn)練的跨域圖像檢索網(wǎng)絡(luò).由于語(yǔ)義保持采用的多類(lèi)別的交叉熵?fù)p失也是一種熵，因此我們稱(chēng)所提的模型為最小熵遷移對(duì)抗散列(min-entropy transfer adversarial hashing， METAH).我們?cè)?個(gè)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，與領(lǐng)域內(nèi)現(xiàn)有主要模型進(jìn)行了詳盡的對(duì)比，實(shí)驗(yàn)證明了所提模型取得了更優(yōu)的性能，證明了所提語(yǔ)義保持模塊和最小熵?fù)p失的有效性.

1 相關(guān)工作

跟我們工作相關(guān)的2個(gè)任務(wù)分別是跨域識(shí)別和基于散列的圖像檢索.我們將從這2個(gè)任務(wù)進(jìn)行相關(guān)工作的闡述.

1.1 跨域識(shí)別

跨域識(shí)別又稱(chēng)為域適配(domain adaptation, DA)，跨域識(shí)別已經(jīng)得到很大的發(fā)展，這里我們只回顧和我們方法比較相關(guān)的深度域適配方法.

深度域混淆網(wǎng)絡(luò)(deep domain confusion， DDC)[14]基于AlexNet架構(gòu)，其在fc7層上使用單核的MMD來(lái)度量域間的差異，通過(guò)最小化MMD來(lái)使域間差異減小從而學(xué)到域不變的特征.深度適配網(wǎng)絡(luò)(deep adaptation network， DAN)[15]則在多個(gè)全連接層上使用多核的MMD來(lái)度量域間差異，進(jìn)一步加強(qiáng)特征遷移能力.深度相關(guān)對(duì)齊(deep correlation alignment， DCORAL)[17]和深度無(wú)監(jiān)督卷積域適配(deep unsupervised convolutional domain adaptation， DUCDA)[16]則用源域特征協(xié)方差和目標(biāo)域特征協(xié)方差之間的差值矩陣范數(shù)來(lái)度量域間差異，從而減小深度網(wǎng)絡(luò)的特征分布距離以學(xué)習(xí)域不變的特征.群體匹配差異(population matching discrepancy, PMD)[22]則是對(duì)源域和目標(biāo)域間的樣本計(jì)算最優(yōu)匹配，將匹配的樣本對(duì)間的距離進(jìn)行累加來(lái)表征域間差異，通過(guò)最小化PMD來(lái)學(xué)習(xí)域不變的特征.

生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network， GAN)[23]的提出讓基于特征的跨域遷移方法又有了新的突破.域?qū)咕W(wǎng)絡(luò)[19]、對(duì)抗判別域適配(adver-sarial discriminative domain adaptation， ADDA)[24]，和條件對(duì)抗域適配(conditional adversarial domain adaptation, CADA)[25]，都是利用對(duì)抗思想將目標(biāo)域特征空間向源域特征空間靠近，從而讓目標(biāo)域的特征可以適配源域的特征分類(lèi)器.

1.2 散列方法

散列方法是經(jīng)典的研究方向，主要包括無(wú)監(jiān)督散列[8-10]和有監(jiān)督散列[1-7,11-13].這里只回顧和我們的方法比較相關(guān)的有監(jiān)督深度散列方法.

卷積神經(jīng)網(wǎng)絡(luò)散列(convolutional neural network hashing， CNNH)[4]采用2階段策略:1)先學(xué)散列碼;2)學(xué)習(xí)一個(gè)深度網(wǎng)絡(luò)將圖像映射到所學(xué)的散列碼.深度神經(jīng)網(wǎng)絡(luò)散列(deep neural network hashing， DNNH)[5]改進(jìn)了CNNH，不采用2階段訓(xùn)練策略而是同時(shí)學(xué)習(xí)圖像特征和散列函數(shù)，這種端到端訓(xùn)練方式能夠更加充分利用深度網(wǎng)絡(luò)的特征學(xué)習(xí)和函數(shù)擬合能力.深度散列網(wǎng)絡(luò)(deep hashing network， DHN)[6]進(jìn)一步優(yōu)化DNNH，通過(guò)引入交叉熵?fù)p失和量化損失來(lái)保持相似度和約束量化誤差.散列網(wǎng)絡(luò)(HashNet)[7]則解決了符號(hào)函數(shù)的病態(tài)梯度問(wèn)題，直接優(yōu)化符號(hào)函數(shù)，HashNet是單域圖像檢索最好的方法.深度語(yǔ)義排序散列(deep semantic ranking hashing， DSRH)[26]則考慮了多標(biāo)簽圖像間的語(yǔ)義相似度.

2 最小熵遷移對(duì)抗散列方法

2.1 模型框架

如圖1所示，我們的模型采用孿生網(wǎng)絡(luò)結(jié)構(gòu)，且上下2個(gè)子網(wǎng)絡(luò)權(quán)值共享.子網(wǎng)絡(luò)基于AlexNet，該網(wǎng)絡(luò)由conv1～conv5共5層卷積層和fc6～fc8共3層全連接層構(gòu)成.我們用1個(gè)輸出為b的全連接層fchashing替換fc8用于學(xué)習(xí)散列函數(shù)f.由于fchashing難以學(xué)習(xí)到離散的輸出，因此我們對(duì)其放寬了限制，即約束fchashing輸出[-1,1]的連續(xù)值.為了能將所學(xué)的散列函數(shù)泛化到目標(biāo)域，我們?cè)趂chashing后經(jīng)過(guò)梯度取反層(圖1中2個(gè)沙漏所表示)，之后引入1個(gè)域分類(lèi)器ad_net.該域分類(lèi)器的作用在于促使fchashing學(xué)到域不變的散列特征.此外，為了更好地保持散列碼的語(yǔ)義信息，我們?cè)趂chashing后增加語(yǔ)義保持模塊，這里我們用1層全連接層fccls來(lái)構(gòu)建語(yǔ)義保持模塊，它將散列碼映射到類(lèi)別空間.我們稱(chēng)所提方法為最小熵遷移對(duì)抗散列(METAH).

Fig. 1 Framework of the proposed method圖1 所提方法的結(jié)構(gòu)圖

2.2 學(xué)習(xí)散列函數(shù)

我們采用經(jīng)典的最大后驗(yàn)估計(jì)(maximum a posterior, MAP)來(lái)使得所學(xué)的散列函數(shù)能夠保持成對(duì)樣本間的相似度或不相似度.

(1)

(2)

(3)

將式(2)和式(3)代入最大后驗(yàn)估計(jì)式(1)可以得到以下?lián)p失：

(4)

(5)

其中，1=(1,1,…,1)是全為1的b維向量,|·|是絕對(duì)值函數(shù)，即將輸入向量的每個(gè)元素取絕對(duì)值.

2.3 對(duì)抗分布對(duì)齊

在跨域圖像檢索中，由于源域和目標(biāo)域存在較大分布差異，且目標(biāo)域沒(méi)有標(biāo)注信息，將源域訓(xùn)練好的模型應(yīng)用于目標(biāo)域時(shí)會(huì)造成性能大幅下降.因此我們需要在學(xué)習(xí)散列碼的同時(shí)縮小域間差異，使得所學(xué)習(xí)的散列碼是域不變的.

域?qū)咕W(wǎng)絡(luò)[19]是一個(gè)典型的域分布對(duì)齊方法，發(fā)展至今，域?qū)狗椒ň哂辛己玫睦碚摫ＷC且在跨域識(shí)別達(dá)到較優(yōu)的性能.本文也采用域?qū)顾枷雭?lái)減小域間差異.域?qū)顾枷胧且胍粋€(gè)域分類(lèi)器，其作用是區(qū)分樣本特征來(lái)自源域還是目標(biāo)域.由于我們訓(xùn)練時(shí)知道樣本來(lái)自于源域或目標(biāo)域，域分類(lèi)器可以通過(guò)這種標(biāo)注來(lái)訓(xùn)練，即最小化二分類(lèi)交叉熵?fù)p失.而另一方面，我們希望所學(xué)到的特征是域分類(lèi)器區(qū)分不開(kāi)的，即最大化二分類(lèi)交叉熵?fù)p失.從分布擬合的角度來(lái)看，域分類(lèi)器用于區(qū)分2個(gè)域的分布，而特征生成器則拉近2個(gè)域的分布，進(jìn)而減小域間差異.

記GF為散列特征生成器即conv1～conv5，fc6～fc7，fchashing所組成的子網(wǎng)絡(luò)，其可訓(xùn)練參數(shù)為θF.域分類(lèi)器GD的可訓(xùn)練參數(shù)記為θD.則域?qū)咕W(wǎng)絡(luò)的損失為

(6)

式(6)是二分類(lèi)的交叉熵?fù)p失.對(duì)抗學(xué)習(xí)則是尋求損失函數(shù)LD(θF,θD)的鞍點(diǎn)：

(7)

求解式(7)需要分開(kāi)優(yōu)化，且這種方式訓(xùn)練比較困難.因此我們也采用梯度取反層[19]來(lái)實(shí)現(xiàn)對(duì)抗學(xué)習(xí)，具體方法是引入梯度取反層(圖1沙漏所示)，操作為

(8)

其中，I是單位陣.梯度取反層正向計(jì)算時(shí)其輸出保持不變，而反向傳播時(shí)將原梯度取反并乘以η.

因此，域?qū)咕W(wǎng)絡(luò)的損失為

(9)

2.4 語(yǔ)義信息保持

(10)

其中，〈·,·〉是內(nèi)積.引入該分類(lèi)損失大大增強(qiáng)了散列特征的判別力，增強(qiáng)了模型的泛化能力.

2.5 最小熵

在目標(biāo)域中，一個(gè)理想的散列碼在經(jīng)過(guò)fccls后得到的分類(lèi)響應(yīng)應(yīng)該集中于某一類(lèi)上.由于目標(biāo)域沒(méi)有標(biāo)注，我們無(wú)法知道目標(biāo)域樣本應(yīng)該屬于哪一類(lèi)，因此我們通過(guò)最小熵來(lái)促使目標(biāo)域樣本分類(lèi)響應(yīng)集中于某一類(lèi)上.熵的計(jì)算為

(11)

源域由于有標(biāo)注信息，其樣本的分類(lèi)響應(yīng)往往集中在所標(biāo)注的類(lèi)別上；而目標(biāo)域由于存在域間差異，其在分類(lèi)響應(yīng)上往往不夠集中.最小熵能夠在語(yǔ)義層減小源域和目標(biāo)域的域間差異，進(jìn)而影響特征層，使得特征層的域間差異也相應(yīng)減小，即增強(qiáng)了散列碼的域不變能力具有更強(qiáng)的泛化能力.

2.6 總損失

綜合2.2～2.5節(jié)，我們采用最終目標(biāo)損失來(lái)訓(xùn)練所提的最小熵遷移對(duì)抗散列方法：

L=λPLP+λQLQ+λDLD+λCLC+λELE,

(12)

其中，λ*是一些控制各個(gè)損失間平衡的超參數(shù).

3 實(shí)驗(yàn)與結(jié)果

我們?cè)?個(gè)常用數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，并與領(lǐng)域內(nèi)現(xiàn)有主要模型進(jìn)行了詳盡的對(duì)比.實(shí)驗(yàn)證明了所提模型取得了更優(yōu)的性能.

3.1 實(shí)驗(yàn)設(shè)置與對(duì)比算法

NUS-WIDE是一個(gè)跨模態(tài)檢索常用的數(shù)據(jù)集，其包含269 648個(gè)文本-圖像對(duì).該數(shù)據(jù)集標(biāo)注了81個(gè)語(yǔ)義概念用于測(cè)試檢索算法的性能.為了公平比較，我們沿用文獻(xiàn)[5-8]的設(shè)定，只在出現(xiàn)頻率最高的21個(gè)語(yǔ)義概念所涵蓋的195 834張圖像上做實(shí)驗(yàn).查詢(xún)集包含2 100張圖像，訓(xùn)練集包含10 000張圖像，剩下的作為被檢索的數(shù)據(jù)庫(kù).

VisDA-2017是一個(gè)跨域識(shí)別常用的數(shù)據(jù)集，其包含2個(gè)域，源域由CAD模型渲染生成的12類(lèi)圖像構(gòu)成，記為Syn，目標(biāo)域是在COCO上選取的相應(yīng)類(lèi)別的子集,記為Real.由于該數(shù)據(jù)集域間差異比較大，我們構(gòu)建2種設(shè)定：1)查詢(xún)集和數(shù)據(jù)庫(kù)都采用Real域而帶標(biāo)注訓(xùn)練集為Syn域，記為Syn→Real;2)查詢(xún)集和數(shù)據(jù)庫(kù)都采用Syn域而帶標(biāo)注訓(xùn)練集為Real域，記為Real→Syn.

我們?cè)跐h明距離小于2(Hamming radius 2)的檢索結(jié)果上計(jì)算平均精度均值(mean average precision, MAP)作為評(píng)測(cè)性能.對(duì)比算法包括局部敏感散列(locality sensitive hashing， LSH)[8]、譜散列(spectral hashing， SH)[9]、迭代量化(iterative quantization， ITQ)[10]等傳統(tǒng)無(wú)監(jiān)督方法；核散列(kernel supervised hashing， KSH)[12]、監(jiān)督離散散列(supervised discrete hashing， SDH)[13]等有監(jiān)督淺層模型；CNNH[4]， DNNH[5]，DHN[6]，HashNet[7]等單域有監(jiān)督深度模型以及傳遞散列網(wǎng)絡(luò)(transi-tive hashing network， THN)[27]，TAH[21]等跨模態(tài)或者跨域的有監(jiān)督深度檢索方法.為了更好地驗(yàn)證和分析我們所提的語(yǔ)義信息保持模塊和最小熵的有效性，我們構(gòu)造了2個(gè)變體METAH-e和METAH.其中METAH-e中λE=0，即不加最小熵?fù)p失.

為了公平比較，我們的算法也是基于在ImageNet上與訓(xùn)練好的AlexNet上.我們采用Caffe框架來(lái)微調(diào)conv1～conv5等卷積層和fc6～fc7等全連接層.此外，我們多加1層全連接層fchashing層，并在fchashing層后接2個(gè)分支:1)2層全連接層構(gòu)成的子網(wǎng)絡(luò)ad_net用于對(duì)抗學(xué)習(xí);2)1個(gè)分類(lèi)全連接層fccls構(gòu)成的語(yǔ)義保持模塊.fchashing，ad_net，fccls等新加全連接層的學(xué)習(xí)率設(shè)置為conv1～conv5,fc6～fc7學(xué)習(xí)率的10倍.整個(gè)優(yōu)化過(guò)程采用沖量為0.9的小批量隨機(jī)梯度下降法(stochastic gradient descent, SGD).1次迭代對(duì)每個(gè)域隨機(jī)抽取64張圖像用于估計(jì)梯度.權(quán)重衰減設(shè)為0.0005.在3.3節(jié)中的梯度取反層中的參數(shù)η的更新為：η=2/(1+exp(10i))，其中i是當(dāng)前迭代的次數(shù).式(12)中的超參數(shù)設(shè)置如表1所示:

Table 1 Values for Hyper-Parameters表1 超參數(shù)設(shè)置

3.2 定量實(shí)驗(yàn)結(jié)果

NUS-WIDE上的平均精度均值如表2所示.我們可以看出：即使在訓(xùn)練集和測(cè)試集域間差異幾乎不存在的情況下，我們的方法也能取得最優(yōu)的結(jié)果.在散列碼的長(zhǎng)度分別為48 b和64 b的設(shè)定中，我們的方法比TAH[21]的平均精度均值分別提高了0.086和0.087.在32 b設(shè)定中，我們的方法提升很小，原因在于32 b維度太小，模型能力較弱，不能同時(shí)學(xué)習(xí)散列碼和保持語(yǔ)義信息.而在48 b和64 b的設(shè)定中，語(yǔ)義信息保持(METAH-e)所帶來(lái)的性能提升則非常顯著.由于域間差異幾乎不存在，METAH相比于METAH-e性能提升很小甚至起負(fù)遷移的作用.

上述現(xiàn)象符合我們的預(yù)期，因?yàn)樽钚§氐淖饔迷谟跍p小域間差異，對(duì)于域間差異幾乎不存在的設(shè)定中，強(qiáng)行減小域間差異反而會(huì)帶來(lái)反作用.

Table 2 MAP Results Within Hamming Radius 2 on NUS-WIDE

Notes: METAH-e is a variant of METAH withλE=0; bold values indicate the best performance; underlined values indicate the second best performance.

VisDA-2017上Syn→Real的平均精度均值如表3所示.在散列碼的長(zhǎng)度分別為32 b，48 b，64 b的設(shè)定中，我們的方法比TAH的平均精度均值分別提高了0.048，0.101，0.101.可以看出由于32 b維度較小，METAH的平均精度均值提升相比于48 b和64 b較小.由于該任務(wù)中源域和目標(biāo)域存在較大差異，因而我們所提的最小熵作用更加明顯.因此在32 b，48 b，64 b的設(shè)定中，METAH相比于METAH-e的平均精度均值分別提升了0.023，0.024，0.038.值得注意的是我們對(duì)不同長(zhǎng)度的散列碼都采用同樣的超參數(shù)，而TAH各個(gè)設(shè)定的超參數(shù)都是通過(guò)交叉驗(yàn)證獲得的，所以METAH具有更大的潛能.

VisDA-2017上Real→Syn的平均精度均值如表4所示.相比于最好的對(duì)比算法TAH[8]，我們的方法METAH在散列碼的長(zhǎng)度分別為32 b，48 b，64 b的設(shè)定中平均精度均值分別提高了0.001，0.008,0.071.相比于Syn→Real，在Real→Syn上METAH的提升較小，原因可能是我們使用了和Syn→Real同樣的超參數(shù)設(shè)置，即λC=0.8，λE=0.01，然而對(duì)于跨域圖像檢索的設(shè)定，目標(biāo)域是無(wú)標(biāo)注的，因此通過(guò)交叉驗(yàn)證針對(duì)不同長(zhǎng)度散列碼去搜索最優(yōu)的參數(shù)是不可取的，所以我們這里針對(duì)所有不同長(zhǎng)度散列碼都只用一套相同的超參數(shù).此外，在散列碼的長(zhǎng)度分別為32 b，48 b，64 b的設(shè)定中,METAH相比于METAH-e的平均精度均值分別提升了0.008，0.010，0.003.證明了所提的最小熵在減小域間差異上的有效性.

Table 3 MAP Results Within Hamming Radius 2 on Syn→Real

Notes: METAH-e is a variant of METAH withλE=0; bold values indicate the best performance; underlined values indicate the second best performance.

Table 4 MAP Results Within Hamming Radius 2 on Real→Syn

Notes: METAH-e is a variant of METAH withλE=0; bold values indicate the best performance; underlined values indicate the second best performance.

3.3 定性實(shí)驗(yàn)結(jié)果

我們?cè)赩isDA-2017數(shù)據(jù)集上進(jìn)行了可視化實(shí)驗(yàn).在Syn→Real任務(wù)中，我們?cè)赗eal域隨機(jī)選取了1個(gè)查詢(xún)，并在Real域構(gòu)成的數(shù)據(jù)庫(kù)中進(jìn)行檢索，我們列出前10的檢索結(jié)果，與TAH，METAH-e的對(duì)比結(jié)果如圖2所示.虛線框指錯(cuò)誤檢索結(jié)果，實(shí)線框指正確檢索結(jié)果.可以看出METAH-e和METAH的查詢(xún)結(jié)果相比于TAH錯(cuò)誤結(jié)果更少，證明了所提方法的有效性.在Real→Syn上的檢索結(jié)果如圖3所示，我們可以觀察到相似的現(xiàn)象，即METAH-e和METAH的查詢(xún)結(jié)果相比于TAH錯(cuò)誤結(jié)果更少.

Fig. 2 Examples of top 10 retrieval images and P@10 in Syn→Real圖2 在Syn→Real上前10檢索結(jié)果和P@10值

Fig. 3 Examples of top 10 retrieval images and P@10 in Real→Syn圖3 在Real→Syn上前10檢索結(jié)果和P@10值

4 總 結(jié)

在本文中，我們針對(duì)現(xiàn)有深度跨域圖像檢索方法所學(xué)散列碼判別力和域不變能力不足這2個(gè)問(wèn)題，提出了語(yǔ)義保持模塊和最小熵?fù)p失來(lái)改進(jìn)現(xiàn)有的模型.語(yǔ)義保持模塊能夠使所學(xué)到的散列碼包含更多的語(yǔ)義信息.最小熵能使目標(biāo)域樣本與源域樣本在語(yǔ)義空間上分布更加對(duì)齊，使得散列碼更具域不變性.大量的實(shí)驗(yàn)表明我們的模型相比于領(lǐng)域內(nèi)主要模型取得了更優(yōu)的性能，驗(yàn)證了所提改進(jìn)技術(shù)的有效性.