基于相關(guān)度距離的無監(jiān)督并行哈希圖像檢索

楊 粟，歐陽智，杜逆索

（1.貴州省公共大數(shù)據(jù)重點實驗室（貴州大學），貴陽 550025；2.貴州大學計算機科學與技術(shù)學院，貴陽 550025）

0 引言

基于內(nèi)容的圖像檢索（Content Based Image Retrieval，CBIR）［1］是根據(jù)輸入的查詢圖像，以圖像語義特征為線索從圖像數(shù)據(jù)庫中檢索出具有相似特性的其他圖像。CBIR 主要利用圖像視覺特征向量直接進行檢索，通過計算圖像特征向量之間的距離判定圖像相似度，返回圖像檢索結(jié)果。在大規(guī)模圖像檢索領(lǐng)域，用近似最近鄰搜索算法能提高檢索速度，減少開銷［2］。對于給定的一幅查詢圖像，傳統(tǒng)的線性查找需要從龐大的數(shù)據(jù)庫里快速找出相似圖像，過于費時費力。K-D 樹（K-Dimensional Tree，KD Tree）等［3］通過分割K維數(shù)據(jù)空間的優(yōu)化算法并沒有過多提高高維空間里的搜索效率，其效率甚至低于線性掃描，導致難以直接用于實際問題。近似最近鄰搜索則在滿足一定距離范圍要求就能檢索到高度相似的數(shù)據(jù)，幫助人們在海量數(shù)據(jù)中快速搜索到有效內(nèi)容，因此在解決實際問題特別是圖像檢索領(lǐng)域受到廣泛應用和研究。

哈希算法［4］是近似最近鄰搜索中最為通用的算法之一。哈希算法在圖像檢索中將圖像表示成一串緊湊的二進制碼，使得相似的圖像具有相似的二值碼，即漢明距離盡可能小。圖像哈希通過對高維的特征矢量進行哈希學習得到低維的二進制哈希編碼，能夠極大地降低計算及存儲消耗?；诠５乃惴ㄔ趫D像檢索中緩解了維數(shù)災難，降低了圖像檢索系統(tǒng)對計算機內(nèi)存空間的要求。

基于圖像的哈希算法可分為監(jiān)督、半監(jiān)督、無監(jiān)督三類，代表模型分別有Liu 等［5］提出的核監(jiān)督哈希（Kernel Supervised Hash，KSH），Shao 等［6］提出的稀疏譜散列（Sparse Spectral Hashing，SSH），Zhu 等［7］提出的語義輔助視覺哈希（Semantic Assisted Visual Hashing，SAVH）等。目前，大部分工作主要還是圍繞于有監(jiān)督的圖像哈希學習，然而，在實際應用中，獲得高質(zhì)量的標簽信息需要付出大量的成本和人力代價［8］。

針對于更廣泛的、無標記的數(shù)據(jù)，無監(jiān)督的哈希方法受到更多關(guān)注。無監(jiān)督方法中為了得到數(shù)據(jù)點之間的聯(lián)系，通常使用余弦距離（如Deng 等［9］提出的語義對抗哈希（Semantic Preserving Adversarial Hash，SPAH））或歐氏距離（如王伯偉等［10］提出的語義相似度哈希）來計算特征相關(guān)性。余弦距離是用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異大小的度量，但對具體數(shù)值不敏感，無法衡量每個維數(shù)值的差異。歐氏距離將樣本的不同屬性（即各指標或各變量量綱）之間的差別等同看待，使得每個坐標對歐氏距離的貢獻是同等的，所得結(jié)果并不能完全符合現(xiàn)實中向量各分量的度量標準不一樣的情況。因此，距離計算方式對實際檢索中獲取精確的語義信息有重要的影響。

另一方面，當哈希編碼長度發(fā)生變化時，模型的再訓練往往是不可避免的，這導致了過多的時間開銷和哈希碼信息冗余。例如Heo等［11］基于超球面分割數(shù)據(jù)點所提出的球面哈希（Spherical Hash，SpH）能夠提高檢索速度和準確性，但改變哈希碼長度則要重新訓練。因此，無監(jiān)督哈希圖像檢索中語義信息未得到較好學習和需要多次訓練的問題仍未得到良好解決。

針對上述問題，本文提出了基于相關(guān)度距離的無監(jiān)督深度并行哈希圖像檢索模型。首先，通過利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）學習圖像特征，使用相關(guān)度距離計算特征距離構(gòu)造偽標簽指導整個訓練過程，通過與傳統(tǒng)的余弦距離、歐氏距離比較，探討特征距離對檢索精度的影響；然后在傳統(tǒng)卷積網(wǎng)絡(luò)中嵌入多個哈希層得到不同碼長的二進制碼并相互關(guān)聯(lián)，基于所提出的并行檢索模式，一次生成多種長度的哈希碼，并通過與傳統(tǒng)單次訓練模式比較，分析其對訓練時間的影響。通過引入相關(guān)度距離提高圖像檢索的精度，同時利用并行模式來減少訓練時間，以此對無標簽的大規(guī)模圖像檢索提供一定的參考。

本文主要工作如下：

1）在無監(jiān)督深度哈希圖像檢索中采用了相關(guān)度距離計算數(shù)據(jù)點之間的距離，與以往方法相比能較好地擬合數(shù)據(jù)間的分布，捕捉到更加接近真實的語義信息，實驗結(jié)果表明，該方法能有效提升檢索精度；

2）提出了一種無監(jiān)督哈希并行模式，大量減少了目前已有模型中由于轉(zhuǎn)換哈希碼長度帶來的時間開銷，同時緩解了哈希碼獨立訓練沒有信息交互產(chǎn)生冗余的問題。

1 相關(guān)工作

監(jiān)督哈希算法要求數(shù)據(jù)庫中的全部數(shù)據(jù)都加上標簽，每個樣本對應的類別標簽作為ground-truth 來訓練網(wǎng)絡(luò)，從而得到哈希函數(shù)。例如Xia 等［12］提出的卷積神經(jīng)網(wǎng)絡(luò)哈希（Convolutional Neural Network Hash，CNNH）包括了兩個階段來學習圖像表示和哈希碼：第一階段是哈希函數(shù)學習，利用監(jiān)督信息得到哈希編碼；第二階段是特征學習，訓練深度卷積神經(jīng)網(wǎng)絡(luò)，用于將輸入映射到第一階段學習的哈希編碼上，使模型可以同時學習到圖像的特征表達以及哈希函數(shù)。Gionis等［13］提出的二進制重建嵌入（Binary Reconstruction Embedding，BRE）通過明確的最小化原始距離和漢明空間中重構(gòu)距離之間的誤差來學習哈希函數(shù)。Shen 等［14］提出的監(jiān)督離散哈希（Supervised Discrete Hash，SDH）使用監(jiān)督信息和離散循環(huán)坐標下降法直接優(yōu)化二進制哈希碼。這些模型將深度學習與哈希編碼結(jié)合，能有效利用監(jiān)督信息生成精確的哈希碼，但是對于大量未標記的數(shù)據(jù)，如何衡量圖像間的相似程度并進行訓練成為了新的難點。

針對豐富的未標記數(shù)據(jù)，基于哈希函數(shù)的無監(jiān)督學習算法通常需要保持原始空間中訓練數(shù)據(jù)點的重要性質(zhì)，通過利用距離函數(shù)學習數(shù)據(jù)中潛在的語義關(guān)系對模型進行訓練。例如，Deng 等［9］提出的SPAH 首先提取深度特征，然后根據(jù)不同圖像對的余弦距離進行k 近鄰搜索，得到初始相似矩陣；將這種語義相似度矩陣的監(jiān)控集成到對抗性學習框架中，可以有效地保存漢明空間中訓練數(shù)據(jù)的語義信息。林計文等［15］提出的深度偽標簽無監(jiān)督哈希（Deep Pseudo-label Unsupervised Hash，DPUH）在處理無標簽情況時對圖像特征使用余弦進行統(tǒng)計分析，用于構(gòu)造數(shù)據(jù)的語義相似性標簽，再進行基于成對標簽的有監(jiān)督哈希學習。Song 等［16］提出的（Binary Generative Adversarial Network，BGAN）通過將生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［17］的輸入噪聲限制為二進制，并根據(jù)每個輸入圖像的特征進行約束；在標簽獲取方面使用特征向量的余弦相似性來比較圖像，從而獲取最終的鄰域結(jié)構(gòu)指導學習。另一方面，王伯偉等［10］提出的語義相似度哈希首先則通過歐氏距離來構(gòu)造一個語義相似度矩陣，然后在目標函數(shù)中加入范數(shù)，使得具有相同語義的圖像具有相似哈希碼。王妙等［18］采用由粗到精的分級策略，先根據(jù)學習到的哈希碼使用漢明距離得到圖像池，然后對計算池內(nèi)圖像高層語義特征之間的歐氏距離進行精檢索，從而找到最相似圖像。但是，使用這些距離度量得到的偽標簽由于計算方式的限制并沒有更好地捕捉到數(shù)據(jù)之間的語義相關(guān)性。針對此問題，在其他領(lǐng)域，魏永超［19］提出的基于相關(guān)數(shù)與相關(guān)距離的證據(jù)合成方法中使用了相關(guān)度距離計算證據(jù)向量距離，該距離主要通過相關(guān)系數(shù)來衡量兩個向量的線性相關(guān)程度，能很好地擬合數(shù)據(jù)間分布，因此在證據(jù)合成中表現(xiàn)良好。

另一方面，目前的哈希模型在獲得不同哈希碼過程中都不可避免地需要多次訓練。例如，Cao 等［20］提出的（Hash with Pair Conditional Wasserstein GAN，HashGan）中哈希碼長度作為一個參數(shù)被預先指定，每換一次長度都需要重新指定再次訓練。這種現(xiàn)象在哈希檢索模型中廣泛存在，包括文獻［9-10，16，18］等，這往往導致較多的時間開銷和哈希碼信息冗余。針對模型多次訓練的問題，一些學者在其他近似最近鄰算法中提出了一些解決思路。例如Gao［21］等、Song 等［22］分別提出了深度遞歸量化（Deep Recurrent Quantization，DRQ）和深度漸進量化（Deep Progressive Quantization，DPQ），這兩種模型都是依次獲得二進制碼并逐步逼近原始特征空間，可以同時訓練不同碼長的二進制碼；但這兩種模型都是基于量化的近似最近鄰搜索方法，且仍需要利用標簽信息來指導視覺特征的學習，沒有考慮無監(jiān)督環(huán)境下不同哈希碼之間的內(nèi)在聯(lián)系。

綜上所述，本文主要針對無監(jiān)督哈希圖像檢索中語義信息學習不夠，哈希碼長度每換一次就要重新訓練模型的問題，提出了基于相關(guān)度距離的無監(jiān)督并行哈希圖像檢索模型。本文雖然與大多數(shù)無監(jiān)督方法一樣需要構(gòu)建偽標簽，但區(qū)別于傳統(tǒng)方法中使用的歐氏距離或者余弦距離，本文采用的相關(guān)度距離能更好地捕捉語義信息，通過相關(guān)度距離直方圖設(shè)置閾值構(gòu)建出接近真實的相似矩陣；另一方面，不同于傳統(tǒng)方法中更改一次哈希碼長度就需重新訓練，本文提出一種并行哈希模式，只需訓練一次就可得到不同長度哈希碼，大量減少了檢索時間。最后，通過實驗驗證了本文所提出的模型在減少訓練時間和提升哈希圖像檢索準確率上具有重要意義。

2 無監(jiān)督哈希圖像檢索

2.1 符號與問題定義

在有N張圖像訓練集X=中，xi表示第i張圖像。哈希算法的目標是將這些高維圖像通過哈希函數(shù)F映射到低維的漢明空間生 成K位的哈希碼，即F：X→B，B∈{1，-1}N×K。該哈希函數(shù)要求在原始空間中的相似圖像在漢明空間中距離較近，在原始空間中不相似的圖像在漢明空間中距離較遠。假設(shè)Z為圖像的連續(xù)特征，其表示為Z∈RN×K，然后通過將特征Z量化為二進制哈希碼。哈希算法目標是學習圖像的二進制哈希碼B和可用于生成哈希碼的哈希函數(shù)F。

2.2 模型框架

本文模型的結(jié)構(gòu)框架如圖1 所示，該框架由兩個主要部分組成：1）無監(jiān)督特征提取組件，用于偽標簽矩陣構(gòu)造；2）深度并行哈希學習，用于將特征轉(zhuǎn)換為二進制碼。本文使用CNN 中的VGG16［23］作為基礎(chǔ)模型，通過改進基礎(chǔ)模型來對特征和哈希碼進行學習。原始的VGG16 模型包含5 個卷積層（Conv1～Conv5）和3 個完全連接層（FC6～FC8），該模型在計算機視覺中的圖像檢索和目標檢測領(lǐng)域表現(xiàn)出了較好的精準率和召回率［24-25］。本文首先對VGG16 模型進行一定的調(diào)整，然后在FC7 層后加入4 個哈希層，構(gòu)造偽標簽矩陣進行無監(jiān)督語義學習，最后通過損失函數(shù)進行聯(lián)合學習，實現(xiàn)同時訓練獲得不同長度哈希碼。

圖1 本文模型框架Fig.1 Framework of the proposed model

2.2.1 基于相關(guān)度距離的無監(jiān)督語義學習

無監(jiān)督語義學習是為了分析數(shù)據(jù)點之間的語義關(guān)系，學習通過卷積神經(jīng)網(wǎng)絡(luò)獲得的圖像深度特征，進而捕捉不同圖像間的內(nèi)在視覺聯(lián)系。通過訓練未標記的數(shù)據(jù)將其編碼為二進制代碼，在編碼過程中偽標簽可以根據(jù)數(shù)據(jù)的內(nèi)在分布指導學習。通常情況下，來自同一類的圖像應該更靠近偽標簽空間。在本文中，計算特征向量距離并構(gòu)造相似矩陣來指導模型學習。

本文中的無監(jiān)督語義學習算法首先需要根據(jù)提取的深度特征計算每對數(shù)據(jù)點的相關(guān)度距離。相關(guān)度距離可表示為式（1），其中ρXY是相關(guān)系數(shù)，用來衡量隨機變量X與Y相關(guān)程度，計算方法如式（2）所示。

ρXY取值范圍是［-1，1］，當ρXY=0 時，說明變量和相互獨立，ρXY的絕對值越大，則表明X與Y相關(guān)度越高。

在獲得數(shù)據(jù)點之間的相關(guān)度距離之后，本文通過設(shè)置距離閾值ds=(ml-ασl)，dd=(mr-βσr)，將距離小于ds的數(shù)據(jù)點視為語義相似的數(shù)據(jù)對，距離大于dd的點視為語義不相似的數(shù)據(jù)對。其中α和β分別是控制距離閾值ds和dd的超參數(shù)，ml、mr是相似度距離直方圖的左半部分和右半部分的平均值，σl、σr是相似度距離直方圖的左半部分和右半部分的標準偏差?；诰嚯x閾值繼而構(gòu)造相似矩陣S：

其中：d(i，j)表示數(shù)據(jù)點xi和xj的深度特征的相關(guān)度距離。如果xi和xj在語義上相似，則Sij被設(shè)為1；如果它們在語義上不相似，則為-1；當Sij設(shè)置為0時表示不確定是否相似。

2.2.2 哈希學習

學習得到相似度矩陣之后，VGG16 網(wǎng)絡(luò)中第FC7 層連續(xù)特征變量Z需要分別經(jīng)過4 個哈希層的聯(lián)合學習獲得不同哈希碼。對于訓練樣本為g的數(shù)據(jù)，用相似度矩陣S作為圖像之間相似度關(guān)系的參考。為了獲得單層長度為K的二進制代碼，本文定義單層哈希損失如式（4）：

其中：bi是數(shù)據(jù)點xi的哈希碼；Hij是數(shù)據(jù)點xi和xj得到的哈希碼的內(nèi)積。從連續(xù)變量Z到二進制代碼變量B的轉(zhuǎn)換是有損信道，而且不同哈希碼長度之間的信息量有交融與重疊，因此本文將特征向量Z分別通過L個哈希層（本文L設(shè)為4），每個哈希層輸出不同位哈希碼bl，通過多層哈希結(jié)構(gòu)的損失函數(shù)即式（5）進行聯(lián)合學習。

為了獲得bi需要通過二值化處理，一般將符號函數(shù)b=sgn(z)作為哈希層頂部的激活函數(shù)來執(zhí)行，即式（6）。

但是符號函數(shù)是非光滑和非凸的，它的梯度對于所有非零輸入都是零，且在零處定義為錯誤。這使得標準的反向傳播對于訓練深網(wǎng)絡(luò)是不可行的，即梯度消失問題［22］。針對梯度消失問題，本文將使用tanh()來近似代替符號函數(shù)，因此，目標函數(shù)可以轉(zhuǎn)化為式（7）：

通過此損失函數(shù)約束模型最小化離散的漢明空間與連續(xù)空間的差別，最終可以獲得較高精確度的不同位數(shù)哈希碼。根據(jù)以上分析，本文模型將分為訓練階段和測試階段兩個部分，分別如算法1和算法2所示。

算法1 模型訓練階段。

輸入 訓練圖像集X=，參數(shù)α和β，batchsize大小24；

輸出 神經(jīng)網(wǎng)絡(luò)的參數(shù)θ、W和訓練圖像的哈希碼B。

步驟1 初始化VGG16 網(wǎng)絡(luò)的參數(shù)，使用神經(jīng)網(wǎng)絡(luò)前饋算法在VGG16 模型上提取數(shù)據(jù)的FC7 層輸出，得到連續(xù)特征Z；

步驟2 根據(jù)式（1）和Z計算兩兩數(shù)據(jù)點的相關(guān)度距離；

步驟3 根據(jù)式（3）得到所有的偽相似矩陣S；

步驟4 從訓練集中隨機選取一個小批次（mini-batch）的訓練數(shù)據(jù)；

步驟5 將小批次的訓練數(shù)據(jù)通過網(wǎng)絡(luò)得到初始的不同哈希碼；

步驟6 根據(jù)式（7）并使用反向傳播算法更新參數(shù)；

步驟7 重復步驟4～6，直至迭代次數(shù)完成。

算法2 模型測試階段。

輸入 查詢圖像q；

輸出 查詢圖像q的不同哈希碼。

步驟1 通過對輸入圖像的直接前向傳播計算神經(jīng)網(wǎng)絡(luò)的輸出。

步驟2 利用式（6）直接計算哈希碼。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文在FLICKR25K 和NUSWIDE 兩個公共基準數(shù)據(jù)集上進行實驗分析，數(shù)據(jù)集的說明如下：1）FLICKR25K 數(shù)據(jù)集包含從Flickr網(wǎng)站收集的25 000張圖像，每個圖像都是手動標注的，且至少是24 個標簽中的一類。本文隨機選擇2 000 幅圖像作為測試集，并使用剩余的圖像作為數(shù)據(jù)庫，從中隨機選取10 000 幅圖像作為訓練集。2）NUSWIDE 數(shù)據(jù)集是大規(guī)模數(shù)據(jù)集，包含81 種圖像類別，每個圖像都用一個或多個類別進行注釋。本文使用21個最常見類別（195 834張圖像）的子集，從中隨機選擇5 000張圖像作為查詢集，并從剩余圖像中隨機選取10 000幅圖像作為訓練集。

3.2 實驗環(huán)境與參數(shù)

本文所有的實驗均在Ubuntu Server 18.04 操作系統(tǒng)，顯卡為TITAN-XP 12 GB*6，內(nèi)存為32 GB*4的計算機上進行，使用TensorFlow1.8.0 實現(xiàn)所提出模型，學習率設(shè)置為0.001，batchsize設(shè)置為24，使用動量優(yōu)化法優(yōu)化模型。

3.3 結(jié)果分析比較

為了檢驗本文模型效果，與ITQ（ITerative Quantization）［26］、SH（Spectral Hashing）［27］、DSH（Density Sensitive Hashing）［28］、SpH［9］、SGH（Stochastic Generative Hashing）［29］、DeepBit（Learning Compact Binary Descriptor）［30］、SSDH（Semantic Structure-based unsupervised Deep Hashing）［31］模型比較，使用平均精度均值（mean Average Precision，mAP）和查準率-召回率曲線（Precision-Recall Curve，PRC）來評估在兩個數(shù)據(jù)集上的檢索效果。

mAP 是指所有類別平均精度（Average Precision，AP）的平均值，AP 是每個類別圖像的平均精度。假設(shè)系統(tǒng)返回t張檢索到的圖像，分別是x1，x2，…，xt；設(shè)有M類，則每個查詢數(shù)據(jù)i的AP計算方法見式（8），mAP計算方法見式（9）。

在FLICKR25K 上和NUSWIDE 數(shù)據(jù)集上的mAP 比較結(jié)果如表1 所示。從表1 可以看出，本文模型在FLICKR25K 數(shù)據(jù)集上的16 bit、32 bit、48 bit 和64 bit 哈希碼的性能分別比最好的淺層模型SGH 的mAP 值要高9.0、10.8、11.3 和11.3 個百分點，比無監(jiān)督深度學習模型DeepBit 要高13.3、14.3、12.9和11.9個百分點，比SSDH要高9.4、8.2、6.2和7.3個百分點。在NUSWIDE 數(shù)據(jù)集上16 bit、32 bit、48 bit 和64 bit 哈希碼的性能分別比最好的淺層模型SGH的mAP值要高17.1、20.2、21.9 和21.6 個百分點，比無監(jiān)督深度學習模型DeepBit要高28.6、25.5、21.4 和20.9 個百分點，比SSDH 要高5、5.2、6.4、5.9 個百分點。從上述結(jié)果分析可知，本文模型在捕捉圖像視覺語義方面表現(xiàn)出色，原因是不同哈希碼之間互相限制，互相學習。本文模型在使用長度為16 bit 哈希碼的mAP值要略小于其他長度，可能是16 bit的哈希碼未能完全覆蓋圖像語義，但是在48 bit 之后mAP 值就穩(wěn)定下來。需要注意的是，NUSWIDE 上的結(jié)果略小于FLICKR25K，可能是由于NUSWIDE 的圖像類內(nèi)和類間距離沒有完全劃分準確。但是，在達到相同檢索準確率的要求下，本文模型可以用長度更短的哈希碼來實現(xiàn)。

表1 兩個數(shù)據(jù)集上不同模型的mAP對比Tab.1 Comparison of mAP of different models on two datasets

32 bit哈希碼在FLICKR25K數(shù)據(jù)集上的PCR如圖2所示，在NUSWIDE 數(shù)據(jù)集上如圖3 所示。圖中查準率是檢索到的該類圖像與檢索到的所有圖像之比，召回率是檢索到的該類圖像與數(shù)據(jù)庫中所有的該類圖像數(shù)之比。從圖2 和圖3 中可以看出，隨著召回率的增加，所有模型的查準率均會減少。然而，相同召回率下本文模型的查準率仍高于其他模型，相同精確率下本文模型的召回率也優(yōu)于其他模型。例如，圖2 中召回率為0.4 時，本文模型的查準率最高，為0.77 左右；當準確率值為0.7時，本文模型的召回率最高，為0.59左右。

圖2 FLICKR25K數(shù)據(jù)集上32 bit的PCRFig.2 32 bit PCR on FLICKR25K dataset

圖3 NUSWIDE數(shù)據(jù)集上32 bit的PCRFig.3 32 bit PCR on FLICKR25K dataset

為了體現(xiàn)本文模型的效率優(yōu)勢，將本文模型的時間開銷與SSDH進行比較，結(jié)果如圖4所示，其中SSDH后的數(shù)字表示哈希碼的長度。如圖4（a）所示，在FLICKR25K 數(shù)據(jù)集上，SSDH 得到4 種哈希碼分別需花費8 820 s、8 778 s、8 625 s 和8 740 s，SSDH 累積訓練4 種不同長度哈希碼共需要34 963 s，而本文模型訓練時間為11 177 s，只占SSDH 訓練時間的32%左右。如圖4（b）所示，在大規(guī)模數(shù)據(jù)集NUSWIDE 數(shù)據(jù)集上，SSDH 分別需花費21 600 s、21 654 s、21 677s 和21 684 s，SSDH累計訓練4 種不同長度哈希碼共需要86 615 s，本文模型只需要79 860 s，與SSDH 相比減少了6 755 s。從上述結(jié)果比較分析中可以看出，本文模型由于集成了4 個不同哈希層，可大大節(jié)約訓練時間，尤其針對于較大規(guī)模數(shù)據(jù)集的圖像檢索具有更為顯著的優(yōu)勢。

圖4 本文模型與SSDH模型的時間開銷對比Fig.4 Comparison of time cost between the model in this paper with SSDH model

3.4 消融實驗

為了檢驗提出模塊對所取得結(jié)果的貢獻，本文進行了一項消融研究，結(jié)果如表2所示，其中：De表示使用歐氏距離，Dc表示使用余弦距離，Dr表示使用相關(guān)度距離，lb表示使用并行多層損失函數(shù)。通過表2 數(shù)據(jù)可以看出，使用歐氏距離或余弦距離的模型由于自身計算方法限制，都不能達到使用相關(guān)度距離的精度，例如FLICKR25K 數(shù)據(jù)集上使用相關(guān)度距離的16 bit 結(jié)果0.683 比使用其他距離的模型分別高7.4 和5.1 個百分點。另外，使用并行多層損失函數(shù)的模型都比原來使用單層損失函數(shù)的模型精度要高，例如大規(guī)模數(shù)據(jù)集NUSWIDE上同樣使用相關(guān)度距離時，加上并行多層損失函數(shù)的模型使得精度分別提高7.4、8.7、9.7和9.7個百分點。因此，通過上述結(jié)果分析表明，本文模型能夠更好地捕捉圖像間細微的語義區(qū)分，緩解哈希碼的信息冗余程度，從而提高生成哈希碼的質(zhì)量及圖像檢索的性能，特別是對于大規(guī)模數(shù)據(jù)集在檢索精度和時間方面都得到更多的提升。

表2 消融研究對比Tab.2 Comparison of ablation studies

4 結(jié)語

針對無監(jiān)督哈希學習中語義信息學習不充分、哈希碼長度更改一次就必須重新訓練且沒有考慮不同哈希碼之間聯(lián)系等問題，本文提出了基于相關(guān)度距離的無監(jiān)督深度并行哈希檢索模型。該模型使用卷積神經(jīng)網(wǎng)絡(luò)學習圖像特征，利用相關(guān)度距離計算特征語義相關(guān)性從而構(gòu)建偽標簽矩陣指導哈希函數(shù)學習，將不同bit 哈希層聯(lián)合學習得到最合適的哈希碼。在FLICKR25K 數(shù)據(jù)集以及更大規(guī)模的NUSWIDE 數(shù)據(jù)集上，通過與其他模型的實驗結(jié)果比較分析，表明本文模型的檢索效果得到提升，并且模型訓練時間明顯降低。本文模型無需額外提供監(jiān)督信息，可以同時學習不同長度的哈希碼，并且不同長度哈希碼之間也可以互相學習，從而逐步接近原始特征空間，因此，本文模型適用于標簽信息獲取代價高昂的大數(shù)據(jù)時代，對于大規(guī)模圖像檢索具有一定實際應用意義。