標(biāo)簽局部結(jié)構(gòu)保持的離散哈希方法

敖宇翔,滕少華,張 巍,滕璐瑤

1(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,廣州 510006)

2(Monash University,Melbourne 3800,Australia)

1 引 言

近年來(lái),隨著互聯(lián)網(wǎng)應(yīng)用展開(kāi),文本、圖像、視頻等不同模態(tài)數(shù)據(jù)和高維度數(shù)據(jù)迅速增長(zhǎng).多模態(tài)、高維度信息檢索,尤其是跨模態(tài)檢索需求大幅度增長(zhǎng).例如,給定一個(gè)關(guān)于動(dòng)物的文本查詢(xún),人們不滿足于僅從文本中檢索到該動(dòng)物的信息,還希望從圖像和視頻等其他模態(tài)中瀏覽到該動(dòng)物.這使傳統(tǒng)的最近鄰搜索無(wú)法滿足人們的需求,跨模態(tài)哈希檢索技術(shù)因其檢索效率高、存儲(chǔ)成本低而使其廣受關(guān)注[1-3].源模態(tài)數(shù)據(jù)轉(zhuǎn)換為二進(jìn)制哈希碼后能大幅度降低存儲(chǔ)開(kāi)銷(xiāo),并且哈希碼之間的硬件級(jí)異或操作也提高了漢明空間[4,5]中的搜索效率.

早期的許多工作都只關(guān)注單一模態(tài)[6,7],即查詢(xún)和搜索結(jié)果處于同一模態(tài).近年來(lái),跨模態(tài)哈希研究成為熱點(diǎn).跨模態(tài)哈希檢索又可分為無(wú)監(jiān)督和有監(jiān)督方法兩個(gè)大類(lèi).

無(wú)監(jiān)督跨模態(tài)哈希的重點(diǎn)是利用不同模態(tài)數(shù)據(jù)的特征信息來(lái)尋找模態(tài)之間的相關(guān)性.其中跨模態(tài)哈希(IMH)[8]使用模態(tài)內(nèi)和模態(tài)間關(guān)系來(lái)構(gòu)造親和矩陣 再利用親和矩陣學(xué)習(xí)公共子空間.協(xié)同矩陣分解哈希(CMFH)[9]將多模態(tài)數(shù)據(jù)利用矩陣分解,分解為模態(tài)特有特征和模態(tài)共有特征,再利用共有特征獲得哈希碼.融合相似度哈希(FSH)[10]首先獲取多模態(tài)數(shù)據(jù)之間的相關(guān)性并構(gòu)建融合相似度,然后在漢明空間中保持融合相似度.潛在語(yǔ)義稀疏哈希(LSSH)[11]將稀疏編碼和矩陣分解相結(jié)合來(lái)獲取潛在語(yǔ)義特征,然后利用潛在語(yǔ)義特征獲取哈希碼.

而有監(jiān)督跨模態(tài)哈希方法則使用監(jiān)督信息(標(biāo)簽)填補(bǔ)模態(tài)之間的巨大差異.在有監(jiān)督的跨模態(tài)哈希方法中,語(yǔ)義相關(guān)性最大化哈希(SCM)[12]通過(guò)標(biāo)簽構(gòu)造余弦相似度矩陣來(lái)學(xué)習(xí)哈希碼.有監(jiān)督矩陣分解哈希(SMFH)[13]利用標(biāo)簽余弦相似度構(gòu)建圖正則化來(lái)約束協(xié)同矩陣分解得到的公共特征,從而在生成的哈希碼中保持標(biāo)簽相似度.然而上述方法都在學(xué)習(xí)哈希碼的過(guò)程中松弛了離散約束,導(dǎo)致可能產(chǎn)生量化誤差,降低哈希碼的質(zhì)量[14].離散交叉模態(tài)哈希(DCH)[14]構(gòu)建了一個(gè)線性分類(lèi)框架將哈希碼映射到標(biāo)簽矩陣,DCH采用循環(huán)坐標(biāo)下降策略(DCC)[15]逐位更新哈希碼,減少了松弛離散約束造成的量化誤差.可擴(kuò)展的離散矩陣分解哈希(SCRATCH)[16]通過(guò)集合矩陣分解和語(yǔ)義嵌入來(lái)學(xué)習(xí)一個(gè)潛在的語(yǔ)義空間,然后利用潛在語(yǔ)義空間離散生成哈希碼,減少了較大的量化誤差.

近年來(lái),隨著深度學(xué)習(xí)應(yīng)用展開(kāi),一些基于深度學(xué)習(xí)的跨模態(tài)哈希方法開(kāi)始出現(xiàn),并且表現(xiàn)不俗,比如:深度跨模態(tài)哈希[17],自監(jiān)督對(duì)抗哈希[18],循環(huán)一致性深度生成哈希[19]等.

雖然許多跨模態(tài)哈希方法已經(jīng)被提出,并有較好的效果,但仍有一些問(wèn)題需要探討：1)一些方法只提取了多模態(tài)數(shù)據(jù)中的信息,而忽略了具有更強(qiáng)語(yǔ)義的標(biāo)簽信息；2)一些方法只將標(biāo)簽信息轉(zhuǎn)化為相似度并嵌入到哈希碼中,但這種轉(zhuǎn)化也將引起標(biāo)簽的語(yǔ)義信息損失；3)一些方法沒(méi)有使用核函數(shù),難以捕捉到源數(shù)據(jù)間的非線性關(guān)系.

針對(duì)這些問(wèn)題,本文提出了一種新穎的跨模態(tài)哈希方法——標(biāo)簽局部結(jié)構(gòu)保持離散哈希(LSPDH),不同于其他使用流形學(xué)習(xí)的跨模態(tài)哈希方法,本文方法分為哈希碼學(xué)習(xí)和哈希函數(shù)學(xué)習(xí)兩步.哈希碼學(xué)習(xí)中運(yùn)用流形學(xué)習(xí)在漢明空間中保持標(biāo)簽信息的局部結(jié)構(gòu),并將標(biāo)簽信息映射到哈希碼矩陣,融入哈希碼學(xué)習(xí)過(guò)程,減少了標(biāo)簽信息轉(zhuǎn)化為局部保持圖約束所造成的語(yǔ)義信息損失;哈希函數(shù)學(xué)習(xí)中使用了核函數(shù)來(lái)獲取數(shù)據(jù)間的非線性關(guān)系.最后,通過(guò)實(shí)驗(yàn)驗(yàn)證了本方法的有效性.

本文組織如下:第2節(jié)提供了相關(guān)工作的概述,第3節(jié)闡述了所提出的方法,第4節(jié)是實(shí)驗(yàn)的詳細(xì)描述和綜合分析,最后在第5節(jié)中給出了結(jié)論.

2 相關(guān)工作

本節(jié)將介紹一些與LSPDH相關(guān)的研究,主要包括流形學(xué)習(xí)在哈希學(xué)習(xí)中的應(yīng)用和兩步哈希學(xué)習(xí).

2.1 流形學(xué)習(xí)在哈希學(xué)習(xí)中的應(yīng)用

流形學(xué)習(xí)自提出以來(lái)就受到了廣泛的關(guān)注.近年來(lái)哈希學(xué)習(xí)的一些研究結(jié)果表明,保持流形結(jié)構(gòu)可以有效地提高哈希碼的質(zhì)量.流形學(xué)習(xí)的應(yīng)用首先從單模態(tài)哈希檢索開(kāi)始.譜哈希(SH)[6]希望在漢明空間中距離較大的兩個(gè)數(shù)據(jù)點(diǎn)在源數(shù)據(jù)空間中具有較小的相似度,它將流形學(xué)習(xí)轉(zhuǎn)化為L(zhǎng)aplace-Beltrami特征函數(shù),通過(guò)簡(jiǎn)單的閾值操作得到哈希碼.在此基礎(chǔ)上,錨點(diǎn)圖哈希(AGH)[20]被提出來(lái)了,它利用錨點(diǎn)將鄰接矩陣替換為近似鄰接矩陣,降低了時(shí)間復(fù)雜度.此外,還有其他使用流形學(xué)習(xí)的哈希方法,如離散圖哈希(DGH)[21]和離散多視圖哈希(DMVH)[22].

上述方法只能在單一模態(tài)下工作.近年來(lái),在跨模態(tài)哈希檢索領(lǐng)域,流形學(xué)習(xí)的使用也開(kāi)始變得頻繁起來(lái),例如,跨模態(tài)哈希(IMH)[8]通過(guò)結(jié)合模態(tài)間一致性和模態(tài)內(nèi)一致性來(lái)學(xué)習(xí)哈希碼.監(jiān)督矩陣分解哈希(SMFH)[14]利用標(biāo)簽信息來(lái)計(jì)算余弦相似矩陣,并結(jié)合協(xié)同矩陣分解生成哈希碼.融合相似度哈希(FSH)[10]構(gòu)造一個(gè)融合圖來(lái)定義多模態(tài)數(shù)據(jù)之間的相似度,然后在漢明空間中保持融合相似度.此外,還有其他使用流形學(xué)習(xí)的交叉模態(tài)方法提出[23].但是,上述方法和本文方法有很大的不同.上述方法大部分利用流形學(xué)習(xí)提取原始數(shù)據(jù)的特征,而本文方法則利用流形學(xué)習(xí)提取標(biāo)簽信息的特征,在漢明空間中保持標(biāo)簽信息的局部結(jié)構(gòu).

2.2 兩步哈希學(xué)習(xí)

早期跨模態(tài)方面的研究都是采用一步哈希的學(xué)習(xí)策略.近年來(lái)的一些研究[24,25],將哈希學(xué)習(xí)分解為兩個(gè)步驟:1)哈希碼學(xué)習(xí);2)哈希函數(shù)學(xué)習(xí).該學(xué)習(xí)策略使哈希學(xué)習(xí)過(guò)程更加高效和靈活,從而影響了很多研究.語(yǔ)義保持哈希(SEPH)[24]為哈希碼的每一位學(xué)習(xí)一個(gè)核邏輯回歸函數(shù),但這會(huì)增加大量時(shí)間消耗.兩步跨模態(tài)哈希(TECH)[25]在哈希函數(shù)學(xué)習(xí)的過(guò)程中加入了相似度保持.其他一些方法則是使用簡(jiǎn)單的線性回歸來(lái)學(xué)習(xí)哈希函數(shù)[23].將哈希學(xué)習(xí)過(guò)程分解為兩步,可以將哈希函數(shù)學(xué)習(xí)視為一個(gè)分類(lèi)任務(wù),可以在哈希函數(shù)學(xué)習(xí)中使用更復(fù)雜、更強(qiáng)大的模型.與此同時(shí),使用過(guò)于復(fù)雜的模型會(huì)顯著增加訓(xùn)練時(shí)間[24].在本文中,將使用核回歸函數(shù)作為哈希函數(shù).

3 提出方法

本文方法基于如下直觀知識(shí):如果兩個(gè)樣本數(shù)據(jù)(文本、圖像、視頻等)共有的標(biāo)簽類(lèi)別數(shù)越多,代表其描述的內(nèi)容相似性越高,為使變換不丟失原有標(biāo)簽信息,因而,要求變換后樣本數(shù)據(jù)的漢明空間距離也應(yīng)該保持相近.基于此,本文思路如下:樣本數(shù)據(jù)共有的標(biāo)簽數(shù)越多,其描述的內(nèi)容相似度越高,漢明空間應(yīng)距離越相近,最后,生成的哈希碼的相似性也應(yīng)越高.由此,本文方法在哈希碼學(xué)習(xí)過(guò)程中,盡量保持?jǐn)?shù)據(jù)的標(biāo)簽信息不變，其示意圖如圖1所示.

圖1 LSPDH示意圖

為便于描述,本文中使用的符號(hào)在此統(tǒng)一給出.

3.1 符號(hào)

3.2 哈希學(xué)習(xí)

針對(duì)多模態(tài)哈希檢索現(xiàn)存的問(wèn)題,本文提出一個(gè)基于標(biāo)簽局部結(jié)構(gòu)保持的離散哈希方法,分為哈希碼學(xué)習(xí)和哈希函數(shù)學(xué)習(xí)兩步,詳述如下:

3.2.1 哈希碼學(xué)習(xí)

1)標(biāo)簽信息局部結(jié)構(gòu)保持

許多方法利用流形學(xué)習(xí)在漢明空間中保持多模態(tài)數(shù)據(jù)的結(jié)構(gòu)特征.本文的方法則盡量在漢明空間保持?jǐn)?shù)據(jù)的標(biāo)簽信息不變,這符合檢索目標(biāo).因此,采用Locality Preserving Projection(LPP)[26]的思想構(gòu)造流形相似度矩陣來(lái)保持標(biāo)簽信息的局部結(jié)構(gòu):

(1)

如上所示,首先需要找到每個(gè)樣本數(shù)據(jù)的K個(gè)最鄰近點(diǎn), 如果Yi是Yj的一個(gè)鄰近點(diǎn),或者Yj是Yi的一個(gè)鄰近點(diǎn)(K個(gè)最鄰近點(diǎn)之一),則在這兩個(gè)點(diǎn)之間的邊上賦予一個(gè)熱核權(quán)值(其權(quán)值與距離成反比),否則這個(gè)權(quán)值為0,式(1)中t為寬度參數(shù),本文設(shè)置為1.在計(jì)算完流形相似度矩陣之后,使用它來(lái)構(gòu)建圖約束,以此在漢明空間中保持標(biāo)簽信息的局部結(jié)構(gòu).然而,由于哈希碼具有離散性, 在直接約束哈希碼之后,哈希碼的優(yōu)化求解將很難進(jìn)行.解決方法是在潛在空間V上施加約束,并讓它近似哈希碼矩陣B:

s.t.B∈{-1,1}k*n

(2)

2)標(biāo)簽線性映射

利用投影矩陣把標(biāo)簽矩陣直接映射到哈希碼矩陣B,以此減少構(gòu)建相似度矩陣所造成的語(yǔ)義信息損失,并使哈希碼包含更多語(yǔ)義信息:

(3)

3)整體目標(biāo)函數(shù)

s.t.B∈{-1,1}k*n

(4)

其中α,β為權(quán)重參數(shù),分別控制了流形學(xué)習(xí)和標(biāo)簽線性映射對(duì)方法效果的影響.

4)優(yōu)化算法

顯然,直接優(yōu)化具有3個(gè)變量(B,V,Q)的非凸目標(biāo)函數(shù)是很困難的.然而,如果每一次只優(yōu)化一個(gè)變量,然后固定住其他變量,這就變成一個(gè)凸優(yōu)化問(wèn)題.因此,采用迭代優(yōu)化策略更新B,V,Q來(lái)獲得一個(gè)近似解.

更新B:固定V,Q,更新B.目標(biāo)函數(shù)式(4)可寫(xiě)為如下形式:

s.t.B∈{-1,1}k*n

(5)

將式(5)展開(kāi):

(6)

第1項(xiàng)(β+1)tr(BTB)為常數(shù)項(xiàng),將它和與B無(wú)關(guān)的項(xiàng)舍去可得:

(7)

=-tr((VT+βYTQT)B)

s.t.B∈{-1,1}k*n

(8)

最終,可以在保持離散約束的同時(shí)得到B矩陣的優(yōu)化結(jié)果:

B=sgn(V+βQY)

(9)

更新V: 固定B,Q,更新V.拋棄與V不相關(guān)的項(xiàng), 可以將目標(biāo)函數(shù)式(4)寫(xiě)為:

(10)

令式(10)對(duì)V的導(dǎo)數(shù)為零,則有等式:

-2B+2V+αV(L+LT)=0

(11)

V=2B(2I+α(LT+L))-1

(12)

更新Q:固定B,V,更新Q.類(lèi)似于更新V,留下和Q相關(guān)的項(xiàng):

(13)

令式(13)對(duì)Q的導(dǎo)數(shù)為零,則有等式:

-2BY’+2QYY’=0

(14)

Q=BYT(YYT)-1

(15)

為了得到式(4)的最終局部最優(yōu)解,可以使用迭代更新策略,通過(guò)上述步驟更新B,V,Q,直到它們收斂.

3.2.2 哈希函數(shù)學(xué)習(xí)

如前所述,LSPDH為兩步哈希方法.哈希碼學(xué)習(xí)所得到的哈希碼矩陣B是用于檢索的數(shù)據(jù)庫(kù).對(duì)于樣本外的數(shù)據(jù),需要為它們學(xué)習(xí)哈希函數(shù),將它們映射到漢明空間.為了捕捉數(shù)據(jù)間的非線性特征,本文采用核回歸作為哈希函數(shù),可以使得一些低維線性不可分的數(shù)據(jù)映射到高維后線性可分.t模態(tài)的目標(biāo)哈希函數(shù)如下:

(16)

Pt=Bφ(Xt)T(φ(Xt)φ(Xt)T+λI)-1

(17)

(18)

算法1總結(jié)了哈希碼學(xué)習(xí)和哈希函數(shù)學(xué)習(xí)的整個(gè)優(yōu)化過(guò)程.

算法1.LSPDH的優(yōu)化算法

輸入:訓(xùn)練集Xt;標(biāo)簽值Y; 參數(shù)α,β,λ.

輸出:哈希碼B;哈希函數(shù)Pt.

1.將訓(xùn)練集映射到核空間;

2.隨機(jī)初始化V,Q, 將B的值全部賦為-1;

3.迭代

4.根據(jù)式(9)更新B;

5.根據(jù)式(12)更新V;

6.根據(jù)式(15)更新Q;

7.直到式(4)收斂或達(dá)到最大迭代次數(shù);

8.根據(jù)式(17)學(xué)習(xí)哈希函數(shù)Pt;

9.返回哈希碼B和哈希函數(shù)Pt.

3.3 復(fù)雜度分析

式(9)和式(15)的時(shí)間復(fù)雜度分別為O(kn+kln)和O(knl+l2n+l3+kl2).式(16)的時(shí)間復(fù)雜度為O(d2+d2k+d2n+dkn),k為哈希碼長(zhǎng)度,n為訓(xùn)練數(shù)據(jù)個(gè)數(shù),l為類(lèi)別總數(shù),d表示使用φ(·)后的特征維數(shù).由于k,l<

4 實(shí)驗(yàn)與結(jié)果分析

在3個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了充分實(shí)驗(yàn),并與6種近期跨模態(tài)哈希方法進(jìn)行了比較,驗(yàn)證了本文提出的跨模態(tài)哈希方法的有效性.所有實(shí)驗(yàn)都是在Intel Core I5-8300H CPU和16GB RAM平臺(tái)上進(jìn)行.

4.1 數(shù)據(jù)集

LabelMe[28]:數(shù)據(jù)集包含2688個(gè)圖像-文本樣本對(duì).數(shù)據(jù)集中有8個(gè)類(lèi)別,每個(gè)樣本對(duì)都屬于其中一個(gè)類(lèi)別.文本用245維詞頻特征向量表示,圖像則用512維Gist特征向量表示.在這個(gè)數(shù)據(jù)集中,隨機(jī)選取2016個(gè)樣本對(duì)作為訓(xùn)練集,剩下的672個(gè)樣本對(duì)作為測(cè)試集.

MIRFlickr[29]:它包含了從Flickr網(wǎng)站上下載的25000個(gè)圖像-文本樣本對(duì).每個(gè)樣本對(duì)都用24個(gè)標(biāo)簽中的一個(gè)或多個(gè)標(biāo)簽進(jìn)行標(biāo)記.圖像通過(guò)PCA降維后用150維的邊緣直方圖特征向量表示,對(duì)應(yīng)的文本也通過(guò)PCA降維后用500維的特征向量表示.隨機(jī)選取5%的樣本對(duì)作為查詢(xún)集,其余的作為訓(xùn)練集.

NUS-WIDE[30]:它由從Flickr抓取的269,648個(gè)圖像-文本樣本對(duì)組成.每個(gè)樣本對(duì)至少有一個(gè)或多個(gè)標(biāo)簽.數(shù)據(jù)集的所有樣本對(duì)可分為81類(lèi).由于原始數(shù)據(jù)集中部分類(lèi)別樣本對(duì)較少,因此選擇樣本對(duì)數(shù)量最大的10個(gè)類(lèi)別作為實(shí)驗(yàn)數(shù)據(jù)集,共186577個(gè)樣本對(duì).在每個(gè)實(shí)例中,圖像用500維的視覺(jué)詞袋 SIFT直方圖特征向量表示,對(duì)應(yīng)的文本用1000維的索引特征向量表示.為了減少計(jì)算量,在NUS-WIDE中隨機(jī)選擇5000個(gè)訓(xùn)練樣本對(duì)和1867個(gè)測(cè)試樣本對(duì)來(lái)訓(xùn)練和測(cè)試所有的方法.

4.2 對(duì)比方法及其簡(jiǎn)介

將本文方法與6種近期的跨模態(tài)哈希方法進(jìn)行了比較.分別是SCM,SMFH,DCH,SCRATCH,GSPH,SDCH-KDA.

SCM[13]利用標(biāo)簽信息構(gòu)造成對(duì)相似度矩陣,采用松弛離散策略來(lái)生成哈希碼,本文使用SCM_seq版本.

SMFH[14]構(gòu)建了一種新的哈希協(xié)同矩陣分解框架,并利用圖正則化來(lái)提高哈希碼的質(zhì)量.

DCH[12]構(gòu)建了一個(gè)線性分類(lèi)框架,并采用DCC離散優(yōu)化策略減少量化誤差,提高哈希碼的質(zhì)量.

SCRATCH[15]結(jié)合了集體矩陣分解和語(yǔ)義嵌入,以保持模態(tài)內(nèi)和模態(tài)間的相似性,并離散生成二進(jìn)制代碼.

GSPH[31]在不同場(chǎng)景下,利用數(shù)據(jù)點(diǎn)之間的相似性學(xué)習(xí)哈希碼,同時(shí)為哈希碼的每一位學(xué)習(xí)一個(gè)核邏輯回歸模型.

SDCH-KDA[32]將核判別分析(KDA)整合進(jìn)離散哈希框架,提高了哈希碼的判別能力.

所有對(duì)比方法的源代碼都是公開(kāi)的.在實(shí)驗(yàn)中設(shè)置了兩個(gè)任務(wù),一個(gè)是圖像查詢(xún)文本任務(wù),另一個(gè)是文本查詢(xún)圖像任務(wù).在NUS-WIDE, MIRFlickr數(shù)據(jù)集上α=3,β=5,μ={0.035,0.3},在LabelMe數(shù)據(jù)集上α=3.5,β=3,μ=0.035.

4.3 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)各方法的性能,采用了檢索領(lǐng)域常用的評(píng)價(jià)指標(biāo):平均精度均值(mAP).在計(jì)算mAP之前,需要計(jì)算平均精度(AP).給定一個(gè)查詢(xún)q和一個(gè)檢索到的實(shí)例列表R,q的AP定義如下:

(19)

其中N是檢索集中與q真實(shí)相關(guān)的實(shí)例個(gè)數(shù),n檢索到的實(shí)例列表R的大小,δ(r)=1表示第r個(gè)被檢索到的實(shí)例與查詢(xún)q相關(guān),否則δ(r)=0,precision(r)表示被檢索到的第r個(gè)實(shí)例的精度.最后對(duì)所有查詢(xún)實(shí)例計(jì)算AP值,再進(jìn)行平均就可以得到mAP.此外還將采用precision-recall曲線作為評(píng)價(jià)指標(biāo).在所有的評(píng)價(jià)指標(biāo)中,評(píng)價(jià)指標(biāo)值越大代表效果越好.

4.4 實(shí)驗(yàn)結(jié)果分析

表1總結(jié)了LSPDH和對(duì)比方法在3個(gè)數(shù)據(jù)集上的mAP值.從表1中可以得出如下結(jié)論:

表1 各方法在3個(gè)數(shù)據(jù)集上的mAP值

1)LSPDH的表現(xiàn)在文本查詢(xún)圖像任務(wù)中要優(yōu)于所有對(duì)比方法,在NUS-WIDE數(shù)據(jù)集圖像查詢(xún)文本任務(wù)中,32和128比特位上略弱于SDCH-KDA,這表明了LSPDH的有效性.

2)在LabelMe數(shù)據(jù)集32位圖像查詢(xún)文本和文本查詢(xún)圖像任務(wù)中,LSPDH的mAP對(duì)比最優(yōu)方法分別提升約1.1%、0.3%,而在128位下提升分別約為2.7%、1.2%.在MIRFlickr數(shù)據(jù)集32位同任務(wù)中,mAP分別提升近0.2%、1.4%,128位下分別提升近1.1%、2.7%.在NUS-WIDE數(shù)據(jù)集上,文本查詢(xún)圖像任務(wù)下32位提升約為0.9%,128位下提升約為2%,而圖像查詢(xún)文本任務(wù)下則和最優(yōu)方法差距在0.3%以?xún)?nèi).可以看出LSPDH在文本查詢(xún)圖像任務(wù)中表現(xiàn)更佳,在圖像查詢(xún)文本任務(wù)中則表現(xiàn)一般,特別是在NUS-WIDE上,表現(xiàn)與SDCH-KDA相似,這可能因?yàn)?文本相對(duì)于圖像可以更好描述實(shí)例,同時(shí)文本特征向量和標(biāo)簽向量在結(jié)構(gòu)上也有一些相似之處,例如一段描述汽車(chē)的文本,它里面的某些表述可能就是這個(gè)文本的標(biāo)簽.

3)LSPDH在32位圖像查詢(xún)文本任務(wù)和文本查詢(xún)圖像任務(wù)中,平均提升很低,分別約為0.4%、0.8%,而在128位同任務(wù)下,平均提升分別約為1.3%、2%.可能的原因是低位數(shù)哈希碼包含的語(yǔ)義信息不足所導(dǎo)致的.此外可以發(fā)現(xiàn),大部分方法的性能會(huì)隨著哈希碼的位數(shù)增加而增加,其原因是更長(zhǎng)的哈希碼可以包含更多的信息.

圖2展示了LSPDH和對(duì)比方法的precision-recall曲線,理論上,方法的mAP值越高,其precision-recall曲線也會(huì)越高.從圖2中可以得出如下結(jié)論:

圖2 LSPDH與對(duì)比方法的precision-recall曲線圖

LSPDH基本上高于所有對(duì)比方法,在NUS-WIDE圖像查詢(xún)文本任務(wù)上表現(xiàn)和SDCH-KDA相似,這與表1的觀察結(jié)果是一致的.

綜上所述,LSPDH與一些先進(jìn)的方法相比表現(xiàn)出了良好的性能,說(shuō)明LSPDH可以學(xué)習(xí)到更加精確的哈希碼.

4.5 收斂性分析

圖3顯示了目標(biāo)函數(shù)值在3個(gè)數(shù)據(jù)集上隨迭代次數(shù)的變化曲線.如圖3所示,LSPDH可以快速收斂.在NUS-WIDE和LabelMe數(shù)據(jù)集上,可以觀察到LSPDH在5次迭代中收斂,而在MIRFlickr數(shù)據(jù)集上,它在15次迭代中收斂.這說(shuō)明本文提出的方法在大多數(shù)據(jù)集上的訓(xùn)練是有效率的.

圖3 收斂性分析

4.6 參數(shù)敏感性分析

本節(jié)進(jìn)行了參數(shù)敏感性分析實(shí)驗(yàn)來(lái)分析各參數(shù)(α,β和μ)的變化對(duì)mAP的影響.參數(shù)α控制流形學(xué)習(xí)在方法中的影響程度,參數(shù)β控制標(biāo)簽線性映射在方法中的影響程度,參數(shù)μ控制正則化項(xiàng)的懲罰程度.在測(cè)試每個(gè)參數(shù)的同時(shí)保持其他參數(shù)不變.3個(gè)參數(shù)的變化曲線如圖4所示.從圖4中可觀察到,本文方法可以在參數(shù)(α,β和μ)較大范圍內(nèi)表現(xiàn)良好,同時(shí)可以觀察到α和β分別在 [1e-3,1],[1e-2,10]范圍內(nèi)變化的時(shí),mAP值有比較明顯的提升,這表明流形學(xué)習(xí)和標(biāo)簽線性映射對(duì)提升哈希碼的質(zhì)量是有效的.對(duì)于單個(gè)參數(shù)來(lái)說(shuō),β對(duì)mAP的影響大于α,這說(shuō)明標(biāo)簽值所包含的語(yǔ)義信息非常重要.對(duì)于μ,可以看出,它的值不宜過(guò)大或過(guò)小,過(guò)大會(huì)導(dǎo)致欠擬合,而過(guò)小會(huì)導(dǎo)致過(guò)擬合,對(duì)于不同的模態(tài),其μ值可能不同.綜上所述,本文方法α設(shè)置在[0.1,10]之間,β設(shè)置在[1,10]之間,μ設(shè)置在[1e-2,1]之間.

圖4 參數(shù)敏感性分析

4.7 時(shí)間成本分析

在MIRFlickr數(shù)據(jù)集上進(jìn)行了時(shí)間消耗實(shí)驗(yàn)來(lái)對(duì)方法復(fù)雜度做進(jìn)一步分析,結(jié)果如表2所示.從表2中可以看出,構(gòu)建圖約束的方法(LSPHS)由于時(shí)間復(fù)雜度為O(kn2),會(huì)比時(shí)間復(fù)雜度為O(n)的方法(SCRATCH)花費(fèi)更多的時(shí)間.此外可以觀察到,采用DCC策略學(xué)習(xí)哈希碼的方法(DCH)時(shí)間消耗也非常的高,這是因?yàn)槊恳淮蔚鷥?yōu)化過(guò)程中都要逐位學(xué)習(xí)哈希碼.GSPH由于為每一比特位學(xué)習(xí)了一個(gè)核邏輯回歸模型,因此GSPH的時(shí)間復(fù)雜度會(huì)隨著哈希碼位數(shù)的增長(zhǎng)而顯著提升.SDCH-KDA需要計(jì)算散度矩陣,在使用了核函數(shù)后,SDCH-KDA的時(shí)間成本也會(huì)明顯上升.本文所提出的方法時(shí)間消耗較高,其主要原因是LSPDH在MIRFlickr數(shù)據(jù)集上需要迭代15次,而其他兩個(gè)數(shù)據(jù)集只需迭代5次.

表2 各方法在MIRFlickr-5k上的訓(xùn)練時(shí)間成本(單位:秒)

5 結(jié)束語(yǔ)

本文提出了一種新穎的有監(jiān)督跨模態(tài)哈希方法,命名為標(biāo)簽局部結(jié)構(gòu)保持的離散哈希,簡(jiǎn)稱(chēng)LSPDH.LSPDH是一個(gè)集哈希碼學(xué)習(xí)與哈希函數(shù)學(xué)習(xí)的兩步方法,第1步,該方法計(jì)算標(biāo)簽相似度矩陣并在潛在空間構(gòu)建圖約束來(lái)保持標(biāo)簽的局部結(jié)構(gòu),再使用標(biāo)簽線性映射降低構(gòu)建流形相似度所造成的語(yǔ)義損失,使哈希碼包含更多的語(yǔ)義信息,因而具有更高的質(zhì)量;第2步,在哈希函數(shù)學(xué)習(xí)中加入了核函數(shù),用于獲取源數(shù)據(jù)間的非線性信息.LSPDH在3個(gè)基準(zhǔn)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明其性能基本優(yōu)于近期跨模態(tài)哈希方法.在未來(lái)的工作中,將考慮保持標(biāo)簽語(yǔ)義的同時(shí),解決使用圖約束導(dǎo)致時(shí)間復(fù)雜度過(guò)高的問(wèn)題,結(jié)合深度學(xué)習(xí)進(jìn)一步研究跨模態(tài)哈希方法.