自適應高效深度跨模態(tài)增量哈希檢索算法

周 坤，徐黎明，鄭伯川，2，謝亦才

1.西華師范大學 計算機學院，四川 南充637009

2.物聯(lián)網(wǎng)感知與大數(shù)據(jù)分析南充市重點實驗室，四川 南充637009

3.重慶郵電大學 計算機科學與技術學院，重慶400065

隨著大數(shù)據(jù)時代的到來，文本和圖像等不同模態(tài)的數(shù)據(jù)日益豐富，媒體數(shù)據(jù)量呈指數(shù)型增長，這給數(shù)據(jù)檢索帶來了巨大挑戰(zhàn)。同時單模態(tài)數(shù)據(jù)檢索方式（即，圖像檢索圖像）已經(jīng)無法滿足人們的檢索需求。利用文本檢索圖像、圖像檢索文本以及跨域圖像的交叉檢索方式能夠呈現(xiàn)給用戶更加豐富和多元的信息?？缒B(tài)檢索已被納入國家人工智能2.0規(guī)劃綱要，國內(nèi)外大量學者投入到該研究中，這也使得跨模態(tài)檢索算法成為近年來研究的熱點問題[1]。

早期的檢索算法[2]在數(shù)據(jù)相似性保持方面有良好的可解釋性，較好地刻畫了數(shù)據(jù)之間的相似性和非相似性。但當多模態(tài)數(shù)據(jù)量足夠大時，這些算法面臨著維數(shù)災難、存儲開銷大、檢索速度慢等問題。對此，有學者提出了基于哈希編碼的跨模態(tài)檢索算法，該算法存儲開銷小、檢索速度快以及適合大規(guī)模數(shù)據(jù)的跨模態(tài)檢索任務?；诠＞幋a的跨模態(tài)檢索算法將高維數(shù)據(jù)映射為低維的二進制表示，然后采用異或操作來進行相似性距離度量，實現(xiàn)高效的大規(guī)模數(shù)據(jù)檢索。

盡管現(xiàn)階段提出了大量的深度哈希算法，但幾乎所有的哈希算法無法較好地檢索訓練數(shù)據(jù)類別以外的數(shù)據(jù)，當加入新類別的數(shù)據(jù)（即，訓練數(shù)據(jù)類別并未完全包含查詢數(shù)據(jù)類別加入）時，需要重新訓練哈希函數(shù)，并為數(shù)據(jù)庫中的數(shù)據(jù)生成新的哈希碼，這對于大規(guī)模、多模態(tài)數(shù)據(jù)檢索是不切實際的。同時，優(yōu)化離散哈希碼是一個可證明的NP問題，大部分算法將離散哈希碼松弛為連續(xù)變量，導致了次優(yōu)化問題。此外，現(xiàn)階段深度哈希算法缺乏有效的復雜度評估方法。

針對以上問題，結(jié)合增量學習與潛在空間語義保持，提出了自適應高效深度跨模態(tài)增量哈希檢索算法（adaptive deep incremental hashing，ADIH）。在訓練過程中，以增量學習方式，直接訓練新類別數(shù)據(jù)，同時在求解哈希碼的過程中保持哈希碼的離散化約束條件，使得學習到的哈希碼更好地表征多模態(tài)數(shù)據(jù)，并將該算法擴展到任意多個模態(tài)的跨模態(tài)哈希檢索。主要創(chuàng)新點總結(jié)如下：

（1）首次提出基于增量學習的跨模態(tài)哈希檢索方法，以增量學習的方式學習新類別數(shù)據(jù)的哈希碼，同時保持原有訓練數(shù)據(jù)哈希碼不變，更加靈活地實現(xiàn)了大規(guī)模數(shù)據(jù)的跨模態(tài)哈希檢索。

（2）提出將多模態(tài)數(shù)據(jù)的哈希碼映射到低維語義空間，保持哈希碼之間的語義關系，并提出離散約束保持的跨模態(tài)優(yōu)化算法來求解最優(yōu)哈希碼。

（3）提出基于神經(jīng)網(wǎng)絡神經(jīng)元更新操作的復雜度分析方法，進一步分析和比較深度哈希算法的時間復雜度和空間復雜度。

1 相關工作

根據(jù)訓練策略，現(xiàn)階段的深度跨模態(tài)哈希檢索算法可以大致分為基于連續(xù)松弛的方法和基于離散約束保持的方法。前者的訓練速度比離散方法快，但易產(chǎn)生次優(yōu)化哈希碼。后者訓練比較耗時，但能求解最優(yōu)哈希碼[3-4]。本文主要聚焦采用深度神經(jīng)網(wǎng)絡進行特征提取的深度跨模態(tài)哈希檢索算法。

1.1 基于連續(xù)松弛的深度跨模態(tài)哈希

深度神經(jīng)網(wǎng)絡（deep neural network，DNN）的火熱發(fā)展，推動了跨模態(tài)哈希檢索的發(fā)展。與傳統(tǒng)的基于手工特征的哈希算法相比，基于DNN的哈希算法的表示能力和學習能力更強。DSEH[5]構(gòu)造Lab-Net和Img-Net到端到端深度模型中，使用Lab-Net來獲取樣本對之間豐富的語義相關性，然后使用Img-Net從語義級別和哈希碼級別學習和更新哈希函數(shù)，提高檢索準確率。為了充分利用具有豐富語義線索的跨模態(tài)數(shù)據(jù)，TVDB[6]引入了具有長短期記憶單元的基于區(qū)域的卷積網(wǎng)絡來探索圖像區(qū)域細節(jié)，同時構(gòu)建文本卷積網(wǎng)絡對文本的語義線索進行建模。此外，采用隨機批量訓練方式，交替求解高質(zhì)量哈希碼和哈希函數(shù)?？紤]到標簽信息的昂貴，SPDQ[7]利用深度神經(jīng)網(wǎng)絡分別構(gòu)建一個共享子空間和兩個私有子空間，其中私有子空間用于捕獲各自模態(tài)的私有屬性，共享子空間用于捕獲多模態(tài)數(shù)據(jù)的共享屬性，同時嵌入成對信息進行哈希碼學習。結(jié)合典型性相關分析，康培培等[8]引入兩個不同模態(tài)的哈希函數(shù)，將不同模態(tài)空間的樣本映射到共同的漢明空間，同時采用圖結(jié)構(gòu)保持哈希碼的語義判別性。針對現(xiàn)階段幾乎所有的跨模態(tài)哈希方法忽略了不同模態(tài)之間的異構(gòu)相關性，降低檢索性能的問題，PRDH[9]通過端到端的深度學習框架有效地捕獲各種模態(tài)之間的內(nèi)在關系，從而生成緊湊的哈希碼。此外，PRDH還引入了額外的去相關約束，增強了每位哈希位的判別能力。TDH[10]引入三元組監(jiān)督信息來度量查詢樣本，正樣本和負樣本之間的語義關系，并采用圖正則化和線性判別保持模態(tài)內(nèi)數(shù)據(jù)和模態(tài)間數(shù)據(jù)的相似性。HXMAN[11]引入注意力機制到深度跨模態(tài)哈希檢索中，并采用多模態(tài)交互門實現(xiàn)圖像和文本模態(tài)的細粒度交互，更精確地學習不同模態(tài)內(nèi)的局部特征信息，進一步提高檢索精度。

1.2 基于離散保持的跨模態(tài)哈希

哈希碼的離散化約束保持是深度跨模態(tài)哈希檢索中一項重要的研究點，早期的哈希算法采用sign符號函數(shù)或松弛策略，將離散的哈希碼連續(xù)化，這類操作容易造成哈希碼的次優(yōu)化。對此，有學者提出了哈希碼離散約束保持的跨模態(tài)哈希檢索算法。SPDH[12]通過構(gòu)建公共潛在子空間結(jié)構(gòu)，對齊配對和未配對的樣本并在子空間中構(gòu)建跨視圖相似圖，有效地保留潛在子空間中未配對數(shù)據(jù)的相似性，從而實現(xiàn)跨模態(tài)哈希檢索。為了獲得最優(yōu)的哈希碼，SPDH采用基于分解的方法，逐位求解哈希碼。為了保持離散優(yōu)化方法的檢索精度，同時減少離散方法的訓練時間，DLFH[4]嵌入離散隱因子模塊，直接學習離散哈希碼，同時證明了該算法能夠收斂并具有較低的時間復雜度。考慮到簡單的相似度矩陣可能會丟失有用信息，SRDMH[13]將完整的標簽信息合并到哈希函數(shù)學習中，保留原始空間中的相似性，并且提出非線性核嵌入損失，使得哈希碼離散求解迭代更加靈活和容易。ALECH[14]指出，大多數(shù)現(xiàn)有方法主要在共享漢明子空間中保持跨模態(tài)語義相似性，并未充分挖掘多標簽語義的標簽信息和潛在相關性。對此，該算法自適應地利用高階語義標簽相關性來指導潛在特征學習，利用非對稱策略連接潛在特征空間和漢明空間，并保留成對的語義相似性，同時以離散方式生成二進制哈希碼。

考慮到深度神經(jīng)網(wǎng)絡在跨模態(tài)哈希檢索中的優(yōu)勢，也有學者在保持哈希碼離散約束的基礎上，引入DNN實現(xiàn)高精度的跨模態(tài)哈希檢索。考慮到最大似然學習的多模態(tài)受限玻爾茲曼機模型優(yōu)勢，DBRC[15]在保持模態(tài)間和模態(tài)內(nèi)一致性的基礎上，引入自適應Tanh激活函數(shù)，對網(wǎng)絡輸出的實值執(zhí)行閾值策略，同時自適應地學習二進制哈希碼并通過反向傳播進行訓練，從而學習到最優(yōu)的哈希碼。DCMH[16]是經(jīng)典的深度跨模態(tài)哈希檢索算法，該算法引入深度神經(jīng)網(wǎng)絡和全連接網(wǎng)絡到跨模態(tài)哈希檢索中，利用標簽信息構(gòu)造相似性矩陣，通過最大化負似然函數(shù)來保持跨模數(shù)據(jù)之間的語義相似性。此外，該算法采用離散循環(huán)坐標梯度方法獲取最優(yōu)哈希碼。類似地，DCMH[17]在不松弛離散哈希碼的前提下，利用語義相似性和二進制哈希碼重建，實現(xiàn)分類的數(shù)據(jù)特征，同時DCMH[17]交替更新每種模態(tài)的二進制代碼，逐位優(yōu)化哈希碼。為了克服線性投影和哈希碼松弛方案無法捕獲樣本之間的非線性關系，DDCMH[18]定義相似度保持項，為每一位哈希位添加“位獨立”和“二進制離散”約束，并充分考慮深度網(wǎng)絡的每個隱藏層模態(tài)內(nèi)相似性，使得交叉相關性能夠被有效編碼。

從上述討論中可以看出，幾乎所有的哈希算法沒有考慮檢索訓練數(shù)據(jù)類別以外的數(shù)據(jù)，并且上述深度跨模態(tài)哈希算法大多采用連續(xù)松弛方式或近似離散變量的方式來解決優(yōu)化哈希函數(shù)的NP難問題。同時，缺乏對深度哈希方法的復雜度評估。針對這些問題，提出自適應高效跨模態(tài)增量哈希檢索算法，以增量學習方式保持訓練數(shù)據(jù)的哈希碼不變，直接學習新類別數(shù)據(jù)的哈希碼，并將其擴展到任意多模態(tài)數(shù)據(jù)的跨模態(tài)哈希檢索，進一步實現(xiàn)大規(guī)模數(shù)據(jù)跨模態(tài)檢索。訓練過程中，將哈希碼映射到潛在子空間中保持多模態(tài)數(shù)據(jù)之間的相似性和非相似性，并提出離散約束保持的跨模態(tài)優(yōu)化算法來求解最優(yōu)哈希碼。最后，提出基于神經(jīng)網(wǎng)絡神經(jīng)元更新操作的復雜度分析方法，分析和比較深度哈希算法的時間復雜度和空間復雜度。

2 所提算法

2.1 符號和問題定義

加粗斜體顯示的字符（如X）表示矩陣，斜體字符（如X）表示變量。對于給定圖像數(shù)據(jù)集和文本數(shù)據(jù)集數(shù)據(jù)集中每一對數(shù)據(jù)都與L=類的標簽關聯(lián)。所提算法的第1個目標是學習圖像哈希函數(shù)f(·)和文本哈希函數(shù)g(·)，分別將X和Y模態(tài)原始數(shù)據(jù)映射為二進制哈希碼和所提算法的第2個目標是保持原始數(shù)據(jù)集中的哈希碼HX和HY不變，將新類別數(shù)據(jù)X'=

訓練過程中，利用深度神經(jīng)網(wǎng)絡f(·)和g(·)分別構(gòu)建圖像和文本哈希函數(shù)，其參數(shù)分別為θx和θy。編碼過程中，將多模數(shù)據(jù)的哈希碼嵌入低維空間中，利用監(jiān)督信息S與關聯(lián)矩陣W保持哈希碼之間的相似性。根據(jù)標簽信息，可以構(gòu)造對應的相似度矩陣S，表示為Sij∈{-1,+1}(m+n)×k，其中，S的前m行表示原始數(shù)據(jù)集與查詢數(shù)據(jù)集的相似度，S的后n行表示新增數(shù)據(jù)集與查詢數(shù)據(jù)集的相似度。

2.2 跨模態(tài)哈希檢索算法

假設多模數(shù)據(jù)的哈希碼之間存在共同的潛在語義空間V，并在V空間中能夠?qū)Χ嗄?shù)據(jù)進行編碼和查詢[19-20]。將哈希碼映射到V中，表示為：

在V空間中，根據(jù)對應的映射關系計算樣本之間相似性，即：

其中，H表示哈希碼，并記W=WT1W2?？梢钥闯?，只需計算出該轉(zhuǎn)換矩陣W便能度量多模數(shù)據(jù)哈希碼之間的相似性，并不需要具體求解出多模數(shù)據(jù)在V空間中具體表示。同時，為了保持哈希碼的位平衡，所提算法也引入DCMH[15]中的位平衡項，目標函數(shù)可以表示為：

其中，F(xiàn)∈Rm×k和G∈Rm×k分別表示原始數(shù)據(jù)在f(·)和g(·)的輸出，并有F*i=f(xi,θx),G*j=g(yj,θy)。m和k分別表示樣本數(shù)量和哈希碼長度，α和β表示權(quán)重系數(shù)。式（3）中的第1項用于保持哈希碼在潛在空間中的語義相似度，第2項將兩個模態(tài)數(shù)據(jù)分別投影到各自漢明空間，最后1項是位平衡項，使得哈希碼中-1和+1的數(shù)量大致相同。

2.3 跨模態(tài)哈希檢索離散約束保持優(yōu)化算法

為了簡化哈希碼求解過程，許多算法將離散型變量直接松弛為連續(xù)型變量，然后通過符號函數(shù)獲得近似的哈希碼，這種松弛操作導致學習到的哈希碼不能充分地表示多模態(tài)數(shù)據(jù)。因此，所提算法在優(yōu)化過程中，不直接連續(xù)化哈希碼，始終保持哈希碼的離散化二值約束，保證哈希碼為最優(yōu)哈希碼。

不難證明式（3）是一個非凸函數(shù)，在求解目標函數(shù)時采用交叉迭代的方式，依次交替更新網(wǎng)絡f(·),g(·)及交替迭代W,HX和HY，直至目標函數(shù)收斂。具體步驟如下：

（1）更新網(wǎng)絡f(·)及參數(shù)θx，固定剩余變量：

（2）更新網(wǎng)絡g(·)及參數(shù)θy，固定剩余變量：

（3）求解W，固定剩余變量。此時，目標函數(shù)可以簡化為：

式

（6）是一個雙線性回歸函數(shù)，其解析解為：

（4）求解HX，固定剩余變量。此時，目標函數(shù)可以簡化為：

如前所述，由于哈希碼的離散化條件約束，直接求解式（8）極難。為保證檢索精度，不采用松弛策略，而是對變量HX逐行求解，即，每次迭代過程中，僅求解HX中的某一行向量，并固定該變量中剩余的行向量，然后依次迭代求解HX中的其他行向量。式（8）展開為：

根據(jù)式（12）可以求解HX的第r行向量，然后依次求解HX剩余的其他行向量。

（5）固定其他變量，求解HY。采用類似于式（9）～（13）的方式可求解HY中的每一行向量，即：

采用式（4）～（13）進行交替訓練和迭代，在保持哈希碼的離散化約束條件下，能獲得最優(yōu)的哈希碼和哈希函數(shù)。

獲得了最優(yōu)哈希函數(shù)后，將所有樣本映射為二進制哈希碼，然后再計算待檢索樣本（即，查詢樣本）與數(shù)據(jù)庫中樣本的漢明距離，最后對漢明距離進行升序排序，就能夠在線性時間內(nèi)檢索出想要的樣本。跨模態(tài)哈希檢索學習算法的訓練過程如算法1所示。

算法1跨模態(tài)哈希檢索學習算法

輸入：原始數(shù)據(jù)集X和Y，相似度矩陣S；哈希碼長度k；迭代參數(shù)T。

輸出：原始數(shù)據(jù)集哈希碼HX和HY，深度神經(jīng)網(wǎng)絡f(·)和g(·)，參數(shù)分別為θx和θy；關聯(lián)矩陣W。

初始化：初始化哈希碼HX0和HY0；初始化深度神經(jīng)網(wǎng)絡參數(shù)θx0和θy0；

2.4 增量哈希檢索算法

為了更好地檢索訓練數(shù)據(jù)類別以外的數(shù)據(jù)，提出增量哈希檢索算法，保持原始數(shù)據(jù)的哈希碼不變，使學習到的哈希函數(shù)始終可用。對此，提出增量哈希保持新增數(shù)據(jù)與原始數(shù)據(jù)之間以及與查詢數(shù)據(jù)之間的相似性，采用F范數(shù)形式最小化二進制哈希碼的內(nèi)積與相似度之間的關系，表示為：其中，Sij表示新增數(shù)據(jù)之間的相似度，λ和μ表示權(quán)重系數(shù)。K為對角矩陣，其主對角線的元素為哈希碼長度。F'∈Rn×k和G′∈Rn×k表示新增數(shù)據(jù)在f(·)和g(·)的輸出，有F'*i=f(x'

i,θx)，G'*j=g(y'j,θy)。式（14）中的第1項（第2項）用于保持查詢數(shù)據(jù)與原始圖像（文本）數(shù)據(jù)及新增圖像（文本）數(shù)據(jù)的相似性。式（14）中的第3項則將兩個模態(tài)的數(shù)據(jù)分別投影到各自漢明空間中，最小化學習到的哈希碼與深度神經(jīng)網(wǎng)絡輸出的差異，式（14）中的第4項是位平衡項。

2.5 增量哈希檢索離散約束保持優(yōu)化

與上述的跨模態(tài)哈希檢索離散約束保持優(yōu)化算法相似，通過交替訓練更新f(·)和g(·)，便能求解增量數(shù)據(jù)的哈希碼HX'和HY'。具體步驟如下：

（1）更新網(wǎng)絡f及參數(shù)θx，固定剩余變量：

（2）更新網(wǎng)絡g及參數(shù)θy，固定剩余變量：

（3）求解HX'，固定剩余變量。增量哈希算法保持原始數(shù)據(jù)哈希碼不變，僅學習新增數(shù)據(jù)的哈希碼。當其他變量固定時，目標函數(shù)可以簡化為：

除去式（17）中的常數(shù)項及與HX'優(yōu)化無關的變量，該式可以進一步簡化為：

類似地，為保證檢索精度，不采用松弛策略，而是采用上述的離散約束保持優(yōu)化算法對HX'逐行求解。令P=-2KHQX ST-2λF'，式（18）可以表示為：

采用與式（10）相同的優(yōu)化過程，在保持離散化約束下可以得到：

同理，根據(jù)式（20）依次求解剩余的行向量。

（4）固定其他變量，求解HY'。采用類似于式（17）～（20）的方式求解HY'，即：

增量哈希檢索算法的訓練過程如算法2所示。

算法2增量哈希檢索學習算法

輸入：新增數(shù)據(jù)集X'和Y'，相似度矩陣S；哈希碼長度k；迭代參數(shù)T；深度神經(jīng)網(wǎng)絡f(·)和g(·)。

輸出：新增數(shù)據(jù)集哈希碼HX'和HY'，更新后的深度神經(jīng)網(wǎng)絡f'(·)和g'(·)。

過程：

1.利用算法1輸出原始數(shù)據(jù)集哈希碼HX和HY；

2.從原始數(shù)據(jù)集和新增數(shù)據(jù)集中采樣查詢數(shù)據(jù)，并利用算法1輸出查詢樣本的哈希碼HQX；

3.Foriter=1 toTdo：

4. 根據(jù)式（15）、（16）更新網(wǎng)絡參數(shù)θx和θy；

5. 根據(jù)式（17）～（21），逐行更新哈希碼，最終求解HX'和HY'；

6.End for

2.6 算法復雜度分析

所提算法屬于深度學習算法，不同于傳統(tǒng)數(shù)值計算或機器學習的算法，僅以迭代次數(shù)[18]為基本操作分析復雜度，結(jié)果可能過于寬泛[21]。對此，結(jié)合迭代次數(shù)[21]和深度神經(jīng)網(wǎng)絡神經(jīng)元更新[22-23]來分析復雜度。跨模態(tài)哈希檢索算法的時間復雜度主要由更新網(wǎng)絡參數(shù)和計算變量組成，訓練階段每次迭代的時間消耗主要在更新哈希網(wǎng)絡，計算關聯(lián)矩陣及對應的哈希編碼矩陣，可分別由式（4）、（5）、（7）、（12）和（13）求出。同理，增量哈希哈希檢索算法的時間復雜度可由式（15）、（16）、（20）和（21）求出。

令M和K分別表示特征向量和卷積核的尺寸，D和C分別表示深度哈希網(wǎng)絡的層數(shù)和通道數(shù)量。d、k、m和n分別表示數(shù)據(jù)的深度特征維度、哈希碼的長度以及原始數(shù)據(jù)和增量數(shù)據(jù)的樣本數(shù)量。

式（4）、（5）和（7）對 應 的 時 間 復 雜 度 分 別 為式（12）和（13）的時間復雜度均為O( )

dk2m。因此，可以估計跨模態(tài)哈希檢索算法時間復雜度為：

所提算法的空間復雜度主要由深度哈希網(wǎng)絡的參數(shù)產(chǎn)生，以哈希網(wǎng)絡中的一個參數(shù)更新為基本操作，可以估計所提算法的空間復雜度為：

同理，可以估計增量哈希檢索算法的時間復雜度為：

增量哈希檢索算法的空間復雜度為：

式（23）～（25）中的M、K、D和C與式（22）中對應的符號具有相同的含義。算法1和算法2訓練結(jié)束后，生成查詢樣本哈希碼的時間復雜度和空間復雜度都為O(dk)。檢索是一個異或操作，時間復雜度和空間復雜度都為O(1)。

2.7 算法擴展

跨模態(tài)增量哈希檢索算法能夠自適應地檢索3種及3種以上的模態(tài)數(shù)據(jù)，假設有a(a＞2)種模態(tài)數(shù)據(jù)，深度跨模態(tài)哈希檢索模型的目標函數(shù)可以表示為：

對應的深度跨模態(tài)增量哈希檢索算法目標函數(shù)可以表示為：

式（26）和（27）中的各項分別與式（3）和式（14）中各項具有相同的物理意義，并且a個模態(tài)數(shù)據(jù)的哈希檢索模型的優(yōu)化、哈希碼生成、查詢及檢索過程與2個模態(tài)數(shù)據(jù)檢索場景類似。

3 實驗結(jié)果分析

為了驗證所提算法的有效性，選擇2個跨模態(tài)數(shù)據(jù)集（NUS-WIDE和MIRFlickr）和1個4模態(tài)醫(yī)學數(shù)據(jù)集（Brain）進行仿真。實驗使用Python 3.7編譯語言，模型建立在“四核Intel?CoreTMi-76850K CPU@3.6 GHz”處理器和“NVIDIA GeForce RTX 3070”的硬件環(huán)境基礎上。

3.1 數(shù)據(jù)集設置與對比算法

NUS-WIDE數(shù)據(jù)集是一個多標簽數(shù)據(jù)集，包含269 648張圖像和對應的標注。由于樣本類別不平衡，參考前期算法[9]篩選出樣本較多的前21類，最終組成186 577個文本-圖像對。然后，隨機選擇5 000個樣本作為訓練集，選擇1%的數(shù)據(jù)（約1 866）作為測試集，剩余作為查詢數(shù)據(jù)集。

MIRFlickr數(shù)據(jù)集是一個包含25 000張圖像和人工標注文本信息的多標簽數(shù)據(jù)集，一共23類圖像。為比較方便，采用文獻[7]使用的數(shù)據(jù)比例劃分，即，10 000條樣本作為訓練集，5 000條樣本作為測試集，剩余樣本作為查詢數(shù)據(jù)集。

Brain數(shù)據(jù)集（http：//www.med.harvard.edu/AANLIB/）是一個包含腦部PET、MRI和CT多模態(tài)醫(yī)學圖像數(shù)據(jù)，共11類圖像。為方便實驗對比，選擇成對的CT、T1-w、T2-w和PET圖像進行實驗，每種模態(tài)包含6 014張圖像。由于Brain數(shù)據(jù)集數(shù)據(jù)量有限，所有實驗重復3次后取平均值。

為評估增量哈希的有效性，將訓練數(shù)據(jù)分為原始數(shù)據(jù)集和增量數(shù)據(jù)集，每個數(shù)據(jù)集包含4種拆分設置，拆分比例如表1所示。為體現(xiàn)增量哈希的優(yōu)越性，還設置了增量數(shù)據(jù)集類別數(shù)量大于原始數(shù)據(jù)集類別數(shù)量的比例，即，NUS-WIDE為11/10，MIRFlickr為12/11以 及Brain為6/5。

表1 原始數(shù)據(jù)集和增量數(shù)據(jù)集劃分設置Table 1 Split setting of original and incremental datasets

對比實驗選擇6種基于深度特征的跨模態(tài)哈希算法進行，包括：TVDB[5]、SPDQ[6]、PRDH[8]、TDH[9]、DCMH[15]和DBRC[16]。所有對比算法按照原文提供的參數(shù)和源代碼進行仿真，使用MAP值（mean average precision，MAP）和準確率-召回率曲線圖（precision-recall，PR）進行對比。

3.2 圖像-文本跨模態(tài)檢索實驗結(jié)果

圖像和文本的跨模態(tài)檢索任務包括圖像檢索文本（img to txt）和文本檢索圖像（txt to img）兩種任務，前者以圖像為查詢樣本，以文本為檢索樣本，后者則相反。對比算法和所提算法在NUS-WIDE和MIRFlickr增量數(shù)據(jù)集上的跨模態(tài)檢索結(jié)果如表2～5所示。其中，所提算法為ADIHi,i表示新增數(shù)據(jù)的類別數(shù)量。對比算法的增量數(shù)據(jù)類別均設置為2。

表2～5顯示，當i=2或i=3時，在NUS-WIDE和MIRFlickr增量數(shù)據(jù)集上，所提算法無論是利用圖像檢索文本還是文本檢索圖像，均取得了最高的檢索精度，并且遠高于對比算法。對于正常的增量設定，增量數(shù)據(jù)集類別數(shù)小于原始數(shù)據(jù)集的類別，即，i=1,2,3，增量哈希算法都能獲得較高的檢索精度。當增量數(shù)據(jù)集類別數(shù)量大于原始數(shù)據(jù)集類別數(shù)量時，檢索精度低于正常增量設定下的檢索精度，但也高于對比算法。

表3 NUS-WIDE增量數(shù)據(jù)集上文本檢索圖像的MAP值Table 3 MAP evaluation of txt to img on increment NUS-WIDE

表4 MIRFlickr增量數(shù)據(jù)集上圖像檢索文本的MAP值Table 4 MAP evaluation of img to txt on increment MIRFlickr

3.3 四種模態(tài)檢索實驗結(jié)果

3.2節(jié)評估了所提算法和對比算法在圖像和兩種模態(tài)數(shù)據(jù)的跨模態(tài)檢索結(jié)果，如2.7節(jié)所述，所提算法能夠擴展到任意多種模態(tài)數(shù)據(jù)的跨模態(tài)檢索?；谏疃葘W習的對比算法[6，9，16]也表明能夠擴展到多種模態(tài)的檢索任務，但并沒有具體的對比結(jié)果。對此，在Brain多模態(tài)醫(yī)學圖像數(shù)據(jù)集上進行實驗，比較多種模態(tài)圖像的跨模態(tài)哈希檢索性能。

表5 MIRFlickr增量數(shù)據(jù)集上文本檢索圖像的MAP值Table 5 MAP evaluation of txt to img on increment MIRFlickr

由于Brain數(shù)據(jù)集模態(tài)數(shù)量較多，并且實驗重復多次。因此，實驗過程中采用均值和標準差形式來刻畫準確率與召回率曲線。以CT作為查詢圖像為例，對應準確率和召回率包含3個值，即，CT to T1-w、CT to 2-w和CT to PET，最后平均所有值，得到平均PR值?？紤]到增量數(shù)據(jù)集類別數(shù)為2時，檢索效果最好，因此訓練對比算法時設置類別數(shù)為2。哈希碼長度k=16。實驗結(jié)果如圖1所示。

圖1顯示，在Brain多模態(tài)醫(yī)學圖像數(shù)據(jù)集上，所提算法的檢索精度高于其他深度哈希算法。當增量數(shù)據(jù)集類別數(shù)量大于原始數(shù)據(jù)集類別數(shù)量時，檢索精度低于正常增量設定下（即，i=1,2,3）的檢索精度，這與上節(jié)實驗結(jié)果一致。

圖1 Brain數(shù)據(jù)集的準確率與召回率曲線Fig.1 Precision-recall curves on Brain datasets

3.4 時間復雜度實驗結(jié)果

采用相同的卷積神經(jīng)網(wǎng)絡時，即，M、D、C和K相同，由式（21）與式（23）可以得出跨模態(tài)檢索算法的時間復雜度為O( (km+dk)km)，增量跨模態(tài)檢索算法的時間復雜度為O(dk2n)。由于d和k遠小于m，因此這兩種算法的復雜度可以進一步估計為O(m2)和O(n)。采用2.6節(jié)提出的復雜度分析方法，可以得出傳統(tǒng)的深度哈希方法復雜度為O(m2)，采用triplet損失函數(shù)的深度哈希方法[9]時間復雜度為O()m3。與之相比，所提算法時間復雜度低于對比算法時間復雜度。NUS-WIDE數(shù)據(jù)集上訓練時間結(jié)果如表6所示。

表6顯示，所提算法在訓練時間方面具有明顯的優(yōu)勢，對于訓練數(shù)據(jù)類別以外的數(shù)據(jù)不需要重新訓練模型，有效地降低了訓練時間和訓練成本。此外，在MIRFlickr和Brain數(shù)據(jù)集上也取得了相似的結(jié)果。

表6 NUS-WIDE數(shù)據(jù)集的訓練時間結(jié)果對比Table 6 Training time comparisons on NUS-WIDE

3.5 消融實驗結(jié)果

與前期的哈希算法相比，所提算法在檢索精度和訓練耗時兩方面具有明顯的優(yōu)勢，這主要得益于增量哈希方法和離散化約束保持。對此，本節(jié)討論所提算法的幾種變體模型，進一步分析這兩項在檢索精度方面的貢獻。ADIH-I是沒有使用增量哈希的ADIH變體，ADIH+R是直接使用連續(xù)化松弛的ADIH變體，ADIH-B是沒有使用位平衡項的ADIH變體。NUS-WIDE數(shù)據(jù)集上的對比結(jié)果如表7所示，其中，增量數(shù)據(jù)的類別數(shù)量為2。

表7 NUS-WIDE數(shù)據(jù)集的變體實驗結(jié)果對比Table 7 MAP comparisons of variants on NUS-WIDE

表7顯示，ADIH算法獲得的高精度檢索結(jié)果主要得益于增量學習。對比沒有使用增量學習的變體ADIH-I，所提算法在不同哈希位的檢索精度提高了約22.5%、20.8%、23.0%和22.3%，這證明了增量哈希的有效性。對比沒有使用離散化約束保持的變體ADIH-B，所提算法在不同哈希位的檢索精度提高了約4.4%、3.9%、5.7%和3.8%，說明了提出的離散化優(yōu)化方法一定程度上也提高了檢索精度。

表2～5顯示，在增量檢索場景中，所提算法均取得了最高的檢索精度，并且遠高于對比算法。為了進一步探索增量哈希學習的優(yōu)勢，將增量學習引入到對比算法中，在MIRFlickr增量數(shù)據(jù)集上進行對比，實驗結(jié)果如表8、9所示。

表8 MIRFlickr增量數(shù)據(jù)集上圖像檢索文本的MAP值Table 8 MAP evaluation of img to txt on MIRFlickr

表8、9表明，增量哈希檢索的確能夠提高當前跨模態(tài)檢索算法的檢索性能。采用增量學習方式訓練對比算法，其檢索結(jié)果能得到有效的提升，部分檢索結(jié)果（如：16 bit和32 bit時，SPDQ方法的檢索結(jié)果）甚至超過了本文所提算法的檢索結(jié)果。

表9 MIRFlickr增量數(shù)據(jù)集上文本檢索圖像的MAP值Table 9 MAP evaluation of txt to img on MIRFlickr

4 結(jié)束語

針對現(xiàn)階段跨模態(tài)哈希檢索算法無法較好地檢索訓練數(shù)據(jù)類別以外的數(shù)據(jù)以及離散化哈希碼造成的次優(yōu)化問題，提出自適應高效深度跨模態(tài)增量哈希檢索算法，以增量學習方式保持訓練數(shù)據(jù)的哈希碼不變，直接學習新類別數(shù)據(jù)的哈希碼。訓練過程中，將哈希碼映射到潛在子空間中保持多模態(tài)數(shù)據(jù)之間的相似性和非相似性，并提出離散約束保持的跨模態(tài)優(yōu)化算法來求解最優(yōu)哈希碼。最后，基于神經(jīng)網(wǎng)絡神經(jīng)元更新操作分析和比較深度哈希算法的復雜度。下一步將研究多源數(shù)據(jù)（如：音頻、視頻和3D圖形）的跨模態(tài)檢索。