基于高階統(tǒng)計信息的深度哈希學習模型

顧 巖,趙崇宇,黃 平

(太原理工大學 物理與光電工程學院,山西 晉中 030600)

0 概述

面向大規(guī)模圖像的近似最近鄰(Approximate Nearest Neighbor,ANN)檢索方法已經(jīng)成為學術(shù)界和工業(yè)界的研究熱點之一[1-2],哈希方法由于其特有的高查詢速度和低存儲代價而被廣泛應(yīng)用于ANN檢索領(lǐng)域。現(xiàn)有的哈希學習方法大致可以分為兩類,即數(shù)據(jù)獨立哈希和數(shù)據(jù)相關(guān)哈希[3-4]。其中,數(shù)據(jù)獨立哈希在訓練過程中通常不依賴任何數(shù)據(jù)集,其采用隨機映射的方式進行哈希映射函數(shù)的學習,而數(shù)據(jù)相關(guān)哈希通過訓練數(shù)據(jù)集以學習哈希函數(shù),因此其又被稱為學習哈希(Learning to Hash,L2H)[5]。根據(jù)是否利用訓練樣本的監(jiān)督信息,學習哈希又可以進一步分為監(jiān)督哈希、半監(jiān)督哈希和無監(jiān)督哈希[6-8]。傳統(tǒng)的學習哈希由于輸入的手動特征在表達深層語義信息方面的局限性,導致其哈希檢索的性能受限。隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的深入研究,許多研究人員采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)等模型對特征進行自動提取,并提出了較多基于深度學習的哈希方法,大幅提高了哈希檢索的性能[9]。文獻[10]利用CNN自動提取圖像的深層語義特征,并在此基礎(chǔ)上采用坐標下降方法對相似矩陣進行分解,但是該學習過程是基于兩階段的,難以進行端到端的訓練。文獻[11]采用三元組思想設(shè)計一種優(yōu)化的排序損失函數(shù),并將特征學習和哈希學習處于同一框架下,以對模型進行端到端的訓練。文獻[12]采用對比損失的方式來優(yōu)化哈希學習過程,提高了哈希檢索的性能。文獻[13]提出了一種基于多標簽的多層語義相似度排序方法,其采用代理損失的方式來優(yōu)化哈希碼學習過程。文獻[14]通過CNN對圖像進行特征提取,并設(shè)計損失函數(shù)對相似圖像對和不相似圖像對之間的漢明距離分別進行逼近和懲罰。

在現(xiàn)有基于深度哈希方法的訓練數(shù)據(jù)集中,與目標圖像相似的圖像數(shù)量遠小于不相似的圖像數(shù)量,這導致了整個訓練數(shù)據(jù)集的不平衡性[15],同時造成在訓練過程中模型對負樣本學習的過擬合和對正樣本學習的欠擬合現(xiàn)象。因此,對不平衡的樣本數(shù)據(jù)進行哈希學習容易導致訓練得到的模型泛化能力差,從而降低哈希檢索的準確率。此外,大部分學習哈希注重損失優(yōu)化的設(shè)計,忽略了對圖像深層語義特征的表示,然而高階細粒度特征不僅可以保持高層的語義相似度,而且可以提高所生成的哈希編碼的區(qū)分能力[16-17]。為提高哈希檢索的時間效率,現(xiàn)有的多數(shù)深度哈希學習方法在對不相似圖像進行哈希學習時,通常采用多級索引的思想生成哈希編碼,即將生成的哈希編碼分解為多個連續(xù)且不相交的哈希塊,并為每個哈希塊創(chuàng)建一個單獨的塊索引[18]。在檢索過程中,將查詢圖像的哈希塊與候選圖像的哈希塊進行匹配,并對塊匹配不成功的候選圖像進行過濾,在此基礎(chǔ)上,生成候選圖像集并根據(jù)漢明距離實現(xiàn)排序[19]。然而,這種方式生成的哈希塊內(nèi)的哈希編碼往往不均勻,可能會導致不相似圖像的哈希索引塊與相似圖像的哈希索引塊具有相同的哈希編碼。假設(shè)將圖像哈希編碼劃分為m個哈希塊單元,每個塊內(nèi)有nbit的哈希碼,傳統(tǒng)的多級哈希檢索由于編碼的不均勻性,導致查詢圖像、相似圖像以及不相似圖像的哈希塊單元內(nèi)具有相同的哈希編碼,這將大幅增加查詢過程中候選圖像的數(shù)量,降低多級索引檢索的效率。

本文建立一種基于高階統(tǒng)計信息的深度哈希學習模型(BCI-DHH)。采用改進的VGG-m模型提取輸入圖像基于層內(nèi)的自相關(guān)特征以及基于層間的互相關(guān)特征,在此基礎(chǔ)上生成歸一化的高階統(tǒng)計向量。為防止模型訓練過程中由于數(shù)據(jù)的不平衡性導致對負樣本學習的過擬合和對正樣本學習的欠擬合現(xiàn)象,提出一種基于平衡權(quán)重的對比損失優(yōu)化方法。為降低檢索的時間復(fù)雜度,對不相似圖像對之間的哈希塊進行差異化學習,增大其與目標圖像之間的漢明距離,從而減少候選圖像的數(shù)量并提高檢索效率。

1 網(wǎng)絡(luò)架構(gòu)

本文BCI-DHH模型將基于圖像的高階統(tǒng)計學習和哈希學習集成在統(tǒng)一框架下,并采用端到端的方式進行訓練,整個模型的架構(gòu)如圖1所示。

圖1 BCI-DHH模型總體框架

BCI-DHH模型主要由高階統(tǒng)計學習和哈希學習2個部分構(gòu)成。在高階統(tǒng)計學習部分,為了更高效地提取細粒度深層語義特征,模型同時獲取了基于層內(nèi)的自相關(guān)信息和基于層間的互相關(guān)信息,并在此基礎(chǔ)上生成歸一化的高階統(tǒng)計向量。在哈希學習部分,首先對輸入的訓練圖像對進行平衡優(yōu)化,對不相似圖像對的訓練采用具有兼容性的多級索引進行優(yōu)化,從而提高了哈希編碼的檢索效率和準確率。由于本文的目的在于研究基于高階統(tǒng)計信息的深度哈希檢索的有效性,因此僅采用基于VGG-16模型的前14層以及Relu激活函數(shù)作為特征提取的基本架構(gòu),其他CNN模型也可以用來驗證本文方法的有效性。

1.1 問題定義

與已有研究不同,本文模型輸入到哈希層的圖像特征是基于歸一化的高階特征,從而使得產(chǎn)生的哈希編碼更加具有區(qū)分能力[18-20]。在BCI-DHH模型中,假設(shè)第i張圖像的高階統(tǒng)計信息fi可以由式(1)得到:

fi=φ{(diào)Ii;Θ}

(1)

其中,φ表示可以進行歸一化高階統(tǒng)計學習的網(wǎng)絡(luò)架構(gòu),Θ表示網(wǎng)絡(luò)參數(shù)。BCI-DHH模型中哈希層輸出的哈希編碼可以由式(2)獲得:

(2)

1.2 高階統(tǒng)計學習

為獲取高層細粒度的語義特征,多數(shù)學者采用雙線性的卷積神經(jīng)網(wǎng)絡(luò)(Bilinear Convolutional Neural Networks,B-CNN)模型對圖像進行深層語義特征提取,以進行哈希學習并生成高質(zhì)量的哈希編碼。如圖2(a)所示,B-CNN需要采用2個單獨的CNN模型分別獲取統(tǒng)計向量。然而,B-CNN僅能獲取不同層之間的互相關(guān)特征而忽略了層內(nèi)的自相關(guān)特征,相關(guān)研究也證明了自相關(guān)信息對生成具有區(qū)分能力的細粒度特征描述符具有重要作用[16-17]。在本文BCI-DHH模型中,對輸入的圖像分別提取層內(nèi)的自相關(guān)特征和層間的互相關(guān)特征,從而生成基于高階統(tǒng)計信息的特征向量(如圖2(b)所示),并在此基礎(chǔ)上進行深度監(jiān)督哈希學習。

圖2 高階統(tǒng)計學習示意圖

在B-CNN模型架構(gòu)中,通過2個CNN對輸入的圖像分別進行局部特征提取,得到特征矩陣X和Y,在此基礎(chǔ)上進行雙線性池化操作得到高階特征Z,雙線性池化操作具體如式(3)所示:

Z=XTY

(3)

(4)

(5)

1.3 歸一化操作

2 損失函數(shù)

為生成具有區(qū)分能力的哈希編碼,需要對模型的損失函數(shù)進行優(yōu)化設(shè)計。模型通常采用損失函數(shù)來計算目標圖像和查詢圖像之間的漢明距離,從而生成最優(yōu)的哈希編碼。因此,損失函數(shù)的設(shè)計對于整個哈希檢索過程至關(guān)重要。本文在提取到的基于歸一化高階統(tǒng)計特征的基礎(chǔ)上,針對哈希學習中容易出現(xiàn)的數(shù)據(jù)不平衡性和多級索引的不兼容性,提出一種更加有效的面向深度哈希學習的損失函數(shù),從而生成更具區(qū)分能力的哈希編碼。

2.1 數(shù)據(jù)平衡性損失

假設(shè)存在圖像對{ii,ij}∈I及其對應(yīng)輸出的哈希編碼{bi,bj}∈{-1,+1}k,基于圖像對的損失函數(shù)定義如下:

(1-sij)·max(m1-Dh(bi,bj),0)}

s.t.bi,bj∈{-1,+1}k,i,j∈{1,2,…,N}

(6)

其中,Dh(·,·)表示2個哈希編碼之間的漢明距離。m0>0和m1>0分別表示邊緣閾值參數(shù),sij=1表示式(6)中第一項對漢明距離大于m0的相似圖像ii和ij進行懲罰,sij=0表示式(6)中第二項對漢明距離小于m1的不相似圖像ii和ij進行懲罰,由此可以保證所生成哈希編碼的區(qū)分能力。

為防止模型在訓練過程中由于數(shù)據(jù)的不平衡性而導致對負樣本進行擬合學習的現(xiàn)象,在式(6)的基礎(chǔ)上引入權(quán)重wi,j,對訓練數(shù)據(jù)集中的正負樣本數(shù)目進行平衡,具體表示如下:

(7)

其中,S1={(xi,xj)|sij∈S∩sij=1}表示相似圖像對,S0={(xi,xj)|sij∈S∩sij=0}表示不相似圖像對?；诖?式(6)可以重寫如下:

(1-sij)·max(m1-Dh(bi,bj),0)}

s.t.bi,bj∈{-1,+1}k,i,j∈{1,2,…,N}

(8)

在式(8)中,由于bi,bj∈{-1,+1}k為離散化值,因此整個模型不能直接進行反向傳播與訓練。為提高整個模型的收斂速度,本文采用具有連續(xù)屬性的歐式距離來替代離散化的漢明距離。此外,為了減少量化誤差,通過增加正則項使得模型的輸出值達到離散化(-1/+1)[14]。因此,基于正則化的數(shù)據(jù)平衡性損失函數(shù)lw如下:

lw=L(bi,bj,sij)=

α(‖|bi|-1‖1+‖|bj|-1‖1)

(9)

2.2 多級索引兼容性損失

s.t.bi,bj∈{-1,+1}k/b

(10)

從式(10)可以看出,兼容性損失使得不相似圖像對的哈希編碼中每個哈希塊的哈希距離增大為m1,從而減少了檢索過程中候選圖像的數(shù)量,提高了檢索效率。

綜合考慮模型訓練過程中數(shù)據(jù)平衡性和多級哈希索引的兼容性,本文BCI-DHH模型對應(yīng)的目標函數(shù)lw-index如下:

α(‖|bi|-1‖1+‖|bj|-1‖1)

(11)

其中,β>0表示平衡性損失lw和兼容性損失lindex之間的權(quán)衡參數(shù)。

3 參數(shù)優(yōu)化

本文采用基于小批量的梯度下降算法對BCI-DHH模型中的損失函數(shù)lw-index進行優(yōu)化,故需要計算式(9)對bi,j的梯度。此外,由于max操作和絕對值操作在個別情況下是不可導的,因此在上述不可導點本文采用次梯度(訓練過程中設(shè)置次梯度為1)來代替梯度。本文目標函數(shù)lw-index的梯度計算如下:

(12)

基于式(12)中梯度的計算方法,可以對本文BCI-DHH中的參數(shù)進行反向傳播以訓練網(wǎng)絡(luò)模型,從而得到最優(yōu)參數(shù)。

4 實驗結(jié)果與分析

4.1 實驗設(shè)置

在CIFAR-10和NUS-WIDE 2個被廣泛使用的基準數(shù)據(jù)集上對本文BCI-DHH模型進行對比實驗。CIFAR-10是一個單標簽圖像數(shù)據(jù)集,其包括屬于10個類別的共計60 000張32×32圖像,本文隨機選擇每個類別中的100張圖像(共計1 000張圖像)作為測試數(shù)據(jù)集,剩余每個類別中的5 000張圖像(共計50 000張圖像)作為訓練數(shù)據(jù)集。NUS-WIDE是來自于Flickr的269 648張多標簽圖像數(shù)據(jù)集,其中手動標注了81個類別與圖像之間的關(guān)聯(lián)關(guān)系,與文獻[14,22]類似,本文使用與其中21個最常見類別相關(guān)聯(lián)的圖像作為輸入,每個類別至少包含5 000張圖像,從而有共計1 958 334張圖像。在一般情況下,如果2張圖像共享至少一個類標簽,則認為該圖像對為相似圖像對,否則為不相似圖像對。在NUS-WIDE數(shù)據(jù)集中,本文隨機選擇2 100張圖像(每類100張圖像)作為測試數(shù)據(jù)集,剩余數(shù)據(jù)用于模型訓練。在本文實驗中,分別采用深度哈希方法和傳統(tǒng)哈希方法與BCI-DHH模型進行對比實驗。其中,深度哈希方法包括RICH[23]、BDH[15]、DSH[14]、DHN[22]和DPSH[12],傳統(tǒng)哈希方法包括ITQ[24]和SH[25]。為提高傳統(tǒng)哈希方法的檢索性能,本文采用CNN對輸入數(shù)據(jù)進行特征提取并將其作為哈希學習的輸入特征。

本文BCI-DHH模型基于開源Caffe框架實現(xiàn)。在模型訓練過程中,采用基于小批量的梯度下降算法進行參數(shù)優(yōu)化,設(shè)置動量為0.9,權(quán)重衰減為0.004。在10-5～102區(qū)間內(nèi)采用基于步長為10的交叉驗證的方式對超參數(shù)α和β進行選取[23]。對于邊緣閾值參數(shù)m0,本文根據(jù)經(jīng)驗值,在CIFAR-10中將其設(shè)置為4,在NUS-WIDE中將其設(shè)置為8。此外,本文實驗中設(shè)置m1=2k。在多級索引的兼容性損失中,將哈希編碼劃分為k/2個哈希塊,這樣可以保證不相似圖像的每個哈希塊中至少有一位不同的二進制編碼。本文提出的多級索引的方式基于高性能全特征的文本搜索引擎庫Lucene-6.4.2實現(xiàn)。

在實驗過程中,對本文BCI-DHH模型和其他方法在檢索的準確度和檢索效率方面進行對比分析,采用均值平均精度(mean Average Precision,mAP)來評價模型的檢索準確度,通過基于漢明距離的圖像查詢時間衡量檢索效率。

4.2 檢索準確度

在CIFAR-10和NUS-WIDE 2個基準數(shù)據(jù)集上,當設(shè)置哈希編碼長度為16 bit、32 bit、48 bit和64 bit時,分別計算本文模型和其他方法的mAP,結(jié)果如表1所示,其中最優(yōu)結(jié)果加粗表示。從表1可以看出,多數(shù)深度哈希方法的檢索性能遠優(yōu)于傳統(tǒng)哈希方法,表明相比于傳統(tǒng)手工設(shè)計的特征,深度神經(jīng)網(wǎng)絡(luò)模型可以提取深層語義特征。本文BCI-DHH模型不僅提取到不同層之間的互相關(guān)信息,而且獲取到了層內(nèi)的自相關(guān)信息,從而生成了更加細粒度的深層語義特征。因此,在CIFAR-10數(shù)據(jù)集上,相比于其他深度哈希方法,本文模型基于不同哈希長度下檢索的mAP得到全面提升,而在NUS-WIDE數(shù)據(jù)集中,相比于其他深度哈希方法,本文模型哈希檢索的mAP提升了1.8%～4.3%。DSH方法在CIFAR-10數(shù)據(jù)集上的mAP優(yōu)于DPSH方法,而在NUS-WIDE數(shù)據(jù)集上,DSH方法的mAP低于DPSH方法,表明DSH在不同數(shù)據(jù)集上的健壯性較低。本文模型在進行訓練的過程中考慮到正樣本數(shù)量過少且負樣本數(shù)量過多的問題,采用數(shù)據(jù)平衡性損失對模型進行優(yōu)化,防止對正樣本學習欠擬合而對負樣本學習過擬合的現(xiàn)象,因此,BCI-DHH模型在CIFAR-10和NUS-WIDE數(shù)據(jù)集上都表現(xiàn)出了最佳性能。

表1 CIFAR-10和NUS-WIDE數(shù)據(jù)集中不同位數(shù)哈希編碼的mAP對比

此外,基于CIFAR-10和NUS-WIDE 2個數(shù)據(jù)集,分別設(shè)置哈希編碼長度為16 bit、32 bit、48 bit和64 bit,在返回樣本數(shù)量為Top500和檢索的漢明半徑不超過2的情況下對BCI-DHH模型和其他方法的準確率進行對比分析,結(jié)果如圖3～圖6所示。從中可以看出,由于BCI-DHH模型在進行哈希學習時輸入的特征向量是基于高階統(tǒng)計信息的,因此當返回的樣本數(shù)目為Top500時,其在不同編碼長度下的哈希檢索中都表現(xiàn)出了最佳性能。同時,隨著哈希編碼長度的增加,大部分哈希學習方法的檢索性能也不斷提升,特別是在NUS-WIDE數(shù)據(jù)集中,當哈希編碼長度由32 bit增加到64 bit時,BCI-DHH模型檢索性能提升了5%左右。當設(shè)定檢索的漢明距離半徑長度不超過2時,無論是在CIFAR-10數(shù)據(jù)集還是NUS-WIDE數(shù)據(jù)集中,本文BCI-DHH模型相比于其他方法都表現(xiàn)出較好的性能。隨著用于檢索的哈希編碼的不斷增加,固定漢明半徑,則本文模型檢索性能會有一定程度的下降,而在NUS-WIDE數(shù)據(jù)集中,哈希編碼由48 bit增加到64 bit時,BCI-DHH模型檢索性能沒有發(fā)生顯著變化,充分證明了本文模型的健壯性。

圖3 CIFAR-10數(shù)據(jù)集中的Top500準確度對比

圖5 NUS-WIDE數(shù)據(jù)集中的Top500準確度對比

圖6 NUS-WIDE數(shù)據(jù)集中漢明距離小于2時的準確度對比

4.3 檢索時間

一般而言,多級索引的檢索過程包括搜索和檢查2個階段。在搜索階段,查詢圖像通過哈希函數(shù)生成哈希編碼并劃分為不同的哈希塊,然后搜索基于多級索引的二進制代碼,從而查找出至少與查詢圖像具有一個相同哈希塊的哈希編碼。在檢查階段,根據(jù)查詢圖像與候選圖像之間的漢明距離對候選圖像數(shù)據(jù)集進行排序。在本文檢索時間實驗中,主要考慮這2個階段消耗的時間代價,實驗過程中所有圖像的哈希代碼均存儲在內(nèi)存中。

在CIFAR-10和NUS-WIDE數(shù)據(jù)集上,分別測試BCI-DHH和RICH、BDH、DSH哈希方法在哈希編碼長度分別為16 bit、32 bit、48 bit和64 bit時檢索目標圖像所消耗的時間。由于本文BCI-DHH模型在進行訓練優(yōu)化時充分平衡了正負樣本的數(shù)目,避免了參數(shù)過擬合或欠擬合的發(fā)生,因此產(chǎn)生了具有較強區(qū)分能力的哈希編碼,保證了圖像與哈希編碼之間的語義相似度,從而在一定程度上減少了候選圖像的數(shù)量。此外,在不相似圖像的哈希編碼學習過程中,通過對不相似圖像的多級哈希索引塊進行差異化操作,增加不相似圖像與目標圖像之間的漢明距離,從而大幅減少候選圖像數(shù)目,降低檢索代價,提高檢索的效率。具體實驗結(jié)果如圖7、圖8所示,從中可以看出,DSH模型的檢索時間代價小于BDH模型,在NUS-WIDE數(shù)據(jù)集中,當哈希編碼長度為32 bit時,DSH的檢索時間最長,從而說明上述模型的健壯性較低。而本文BCI-DHH模型在CIFAR-10和NUS-WIDE數(shù)據(jù)集中消耗的時間均最短,充分證明了模型的高效性和健壯性。

圖7 CIFAR-10數(shù)據(jù)集上不同哈希編碼的檢索時間對比

圖8 NUS-WIDE數(shù)據(jù)集上不同哈希編碼的檢索時間對比

當哈希編碼的長度為32 bit時,在CIFAR-10數(shù)據(jù)集和NUS-WIDE數(shù)據(jù)集上分別測試BCI-DHH和RICH、BDH以及DSH方法的候選圖像數(shù)量,結(jié)果如表2所示。由于BCI-DHH模型不僅考慮數(shù)據(jù)的不平衡性,而且在對不相似圖像進行多級索引哈希學習時,對哈希塊進行了差異化操作,從而減少了候選圖像的數(shù)量,因此,本文模型在檢索過程中候選圖像數(shù)量最小。從表2可以看出,相比其他方法,在CIFAR-10數(shù)據(jù)集上本文模型的候選圖像數(shù)量減少了3.5%～24.5%,在NUS-WIDE數(shù)據(jù)集上減少了7.6%～47.7%。此外,當哈希編碼長度設(shè)定為32 bit時,在CIFAR-10和NUS-WIDE數(shù)據(jù)集上分別對模型的召回率進行了比較分析,結(jié)果也展示在表2中。由于CIFAR-10數(shù)據(jù)集為單標簽數(shù)據(jù)集,因此圖像對之間共享標簽數(shù)目最多為1(表中用“——”表示)?？梢钥闯?當哈希編碼為32 bit時所有的哈希方法都在該數(shù)據(jù)集上實現(xiàn)了將近100%的召回率,表明在搜索階段沒有相似圖像被過濾掉,進一步說明所有方法在CIFAR-10數(shù)據(jù)集中能表現(xiàn)出良好的性能。在NUS-WIDE數(shù)據(jù)集中,“≥n”表示與目標圖像之間共享不少于n個相同標簽的相似圖像的召回率。通過實驗結(jié)果可知,隨著共享標簽數(shù)的增加,召回率增加,表明與目標圖像具有更高相似度的相似候選圖像更有可能被檢索到。本文BCI-DHH模型在CIFAR-10和NUS-WIDE數(shù)據(jù)集上的召回率均為最優(yōu),從而進一步驗證了本文模型的有效性。

表2 CIFAR-10和NUS-WIDE數(shù)據(jù)集中的召回率和候選圖像數(shù)量對比

5 結(jié)束語

本文在高階統(tǒng)計學習方法的基礎(chǔ)上,充分考慮數(shù)據(jù)的不平衡性和多級哈希索引的不兼容性,建立一種深度哈希學習模型BCI-DHH。在特征學習的過程中,采用改進的VGG-m模型提取具有高層語義特征的高階統(tǒng)計向量。分別設(shè)計基于圖像對的數(shù)據(jù)平衡性損失和多級哈希索引的兼容性損失,從而提高哈希檢索過程的準確率和效率。在基準數(shù)據(jù)集CIFAR-10和NUS-WIDE上進行實驗,結(jié)果驗證了BCI-DHH模型的有效性。下一步將采用真實場景下的數(shù)據(jù)對本文模型進行優(yōu)化與驗證。