基于高階模式間關(guān)系的跨模態(tài)關(guān)聯(lián)學(xué)習(xí)

康 娟，汪傳建

(石河子大學(xué) 信息科學(xué)與技術(shù)學(xué)院，新疆 石河子 832000)

0 引 言

隨著多媒體數(shù)據(jù)的爆炸式增長(zhǎng)，其檢索已經(jīng)成為諸如視頻、圖像、文章等信息檢索中的重要問(wèn)題?？缒B(tài)學(xué)習(xí)作為一種方法，盡管來(lái)自于認(rèn)知科學(xué)和神經(jīng)科學(xué)[1,2]，但已經(jīng)廣泛應(yīng)用于多模態(tài)數(shù)據(jù)檢索。

文獻(xiàn)[3]提出了一種基于概念的視頻檢索方法；為了提高多模態(tài)檢索中相似性匹配的準(zhǔn)確度，同時(shí)保持檢索結(jié)果的可解釋性，文獻(xiàn)[4]構(gòu)建了一種雙層的多模態(tài)語(yǔ)義網(wǎng)絡(luò)；文獻(xiàn)[5]研究了一種用于包括廣播新視頻的文本和圖像的多模態(tài)檢索方法；文獻(xiàn)[6]從信息抽取與表示、跨模態(tài)系統(tǒng)建模兩個(gè)維度評(píng)述了基于表示學(xué)習(xí)的跨模態(tài)檢索與特征抽取方面的研究。然后從基于共享層建立各模態(tài)間的關(guān)聯(lián)、表示空間中各模態(tài)間的關(guān)聯(lián)、以深度學(xué)習(xí)為基礎(chǔ)的跨模態(tài)建模算法等3方面歸納了跨模態(tài)系統(tǒng)建模研究的現(xiàn)狀，總結(jié)了跨模態(tài)檢索的評(píng)價(jià)指標(biāo)，并指出已有檢索研究對(duì)于單模態(tài)信息檢索較為豐富、查詢和候選集的內(nèi)容均屬于同一模態(tài)；文獻(xiàn)[7]從跨模態(tài)關(guān)聯(lián)學(xué)習(xí)出發(fā)，提出了一種基于深度雙向特征學(xué)習(xí)的圖像-文本跨模態(tài)檢索方法；文獻(xiàn)[8,9]提出了一種基于跨模態(tài)關(guān)聯(lián)因子分析方法作為潛在語(yǔ)義索引(latent semantic indexing，LSI)和典型相關(guān)分析(canonical correlation analysis，CCA)的替代方法；文獻(xiàn)[10]表明，將視覺(jué)特征和基于概念的特征與關(guān)聯(lián)性反饋相結(jié)合，可以提高跨模態(tài)圖像檢索的質(zhì)量；文獻(xiàn)[11]通過(guò)利用分層的潛在Dirichlet分配模型對(duì)圖像中的未標(biāo)記圖像和對(duì)象進(jìn)行自動(dòng)注釋?zhuān)涣硗?，人機(jī)交互(human-computer interaction，HCI)也是一種以跨模態(tài)學(xué)習(xí)為基本要素的研究，包括演講和手勢(shì)等多種模式的研究。文獻(xiàn)[12]從手勢(shì)和演講的角度研究了多模態(tài)人類(lèi)的演說(shuō)；文獻(xiàn)[13]提出了多模態(tài)數(shù)據(jù)的協(xié)同訓(xùn)練方法，以構(gòu)建多模態(tài)接口。

以上這些傳統(tǒng)的多模態(tài)數(shù)據(jù)檢索方法通常是基于模式的低階共現(xiàn)而不是高階關(guān)系，如標(biāo)記-圖像共現(xiàn)和典型相關(guān)分析。然而，由于文本特征和圖像特征的粒度不同，所以基于模式之間低階關(guān)系的方法可能存在局限性。因此本文提出了一種基于高階模式間關(guān)系的跨模態(tài)學(xué)習(xí)模型。

作為高階跨模態(tài)關(guān)聯(lián)的學(xué)習(xí)，本文提出了一種超網(wǎng)絡(luò)(super-networks，SNs)模型-分層超網(wǎng)絡(luò)(layered super-networks，LSNs)，它執(zhí)行跨模態(tài)關(guān)聯(lián)學(xué)習(xí)和推理，包括圖像到文本和文本到圖像來(lái)進(jìn)行多模態(tài)信息檢索；SNs是一種高階概率圖形模型[14]，它具有包括地理位置性、組分性、自組裝性和回憶-記憶性等特性[15]；一個(gè)LSN是一個(gè)具有兩層超網(wǎng)絡(luò)層次結(jié)構(gòu)的超網(wǎng)絡(luò)模型。第一層由模式相關(guān)超網(wǎng)絡(luò)構(gòu)成，有兩個(gè)以上的模式相關(guān)超網(wǎng)絡(luò)，而第二層中只有一個(gè)超網(wǎng)絡(luò)，它代表文本模式與圖像模式之間的關(guān)系，即一個(gè)模式集成超網(wǎng)絡(luò)。與傳統(tǒng)的超網(wǎng)絡(luò)相比，這種層次結(jié)構(gòu)使得LSNs具有更高的分析效率。經(jīng)過(guò)訓(xùn)練的LSNs可以通過(guò)跨模態(tài)關(guān)聯(lián)推理和多模態(tài)查詢同時(shí)生成文本和圖像關(guān)鍵字。此外，還將它們與文檔中的文本術(shù)語(yǔ)和文章圖像中的視覺(jué)詞(借助于視覺(jué)技術(shù)從中尋找信息或意義的詞匯)進(jìn)行比較，采用生成的視覺(jué)和文本關(guān)鍵字來(lái)進(jìn)行查詢；采用關(guān)于女性時(shí)尚和生活風(fēng)格帶有867幅圖像的198篇文章的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文提出的高階跨模態(tài)關(guān)聯(lián)學(xué)習(xí)模型不僅可以提高生成關(guān)鍵字的相似性，而且還能夠生成文本術(shù)語(yǔ)，并成功檢索出具有小部分信息的文章。

1 分層超網(wǎng)絡(luò)模型的構(gòu)建

1.1 超網(wǎng)絡(luò)模型

超網(wǎng)絡(luò)是一種基于超圖模型的生物啟發(fā)式概率圖形模型。超網(wǎng)絡(luò)模型的特性可以概括為3個(gè)方面：基于隨機(jī)性和回憶性的地理位置性、組分性和自關(guān)聯(lián)性。

(1)地理位置性：一個(gè)超網(wǎng)絡(luò)由具有不同階的超邊構(gòu)成，低階超邊可以表示一般信息，高階超邊包括更具體的和局部的信息；

(2)組分性：一個(gè)超網(wǎng)絡(luò)代表一個(gè)巨大的結(jié)構(gòu)化組合空間。通過(guò)基于學(xué)習(xí)的進(jìn)化策略，超網(wǎng)絡(luò)對(duì)組合問(wèn)題空間進(jìn)行探索；

(3)自關(guān)聯(lián)性：超網(wǎng)絡(luò)的結(jié)構(gòu)是通過(guò)基于隨機(jī)選擇的進(jìn)化計(jì)算自組織的。自關(guān)聯(lián)性使超網(wǎng)絡(luò)就像回憶記憶一樣。

在形式上，一個(gè)超網(wǎng)絡(luò)H定義為H=(V,E,W)，其中V、E和W分別為一組頂點(diǎn)、一組超邊和一組權(quán)值；在超網(wǎng)絡(luò)中，一個(gè)頂點(diǎn)表示屬性的一個(gè)值，一個(gè)超邊表示兩個(gè)以上具有各自權(quán)值的頂點(diǎn)的組合。一個(gè)超邊中的頂點(diǎn)數(shù)目稱(chēng)為一個(gè)超邊的基數(shù)或階數(shù)，k-超邊表示具有k個(gè)頂點(diǎn)的一個(gè)超邊。當(dāng)全部超邊的階數(shù)都是k時(shí)，我們就稱(chēng)之為k-超網(wǎng)絡(luò)。因此，超網(wǎng)絡(luò)可以代表大量屬性之間的高階關(guān)系。

(1)

(2)

(3)

(4)

式中：Z(W) 是一個(gè)配分函數(shù)，計(jì)算如下

(5)

也就是說(shuō)，當(dāng)將數(shù)據(jù)中的屬性視為隨機(jī)變量時(shí)，一個(gè)超網(wǎng)絡(luò)就可以用以權(quán)值作為參數(shù)的變量組合的概率分布來(lái)表示?？紤]到超網(wǎng)絡(luò)的學(xué)習(xí)是選擇具有高權(quán)值的超邊，故學(xué)習(xí)可以看作是最大化對(duì)數(shù)似然的過(guò)程。從數(shù)據(jù)中學(xué)習(xí)被視為是對(duì)給定數(shù)據(jù)的一個(gè)超網(wǎng)絡(luò)的權(quán)值參數(shù)的概率最大化。在給定數(shù)據(jù)下，一個(gè)超邊權(quán)值集合的概率P(W|D) 定義如下

(6)

根據(jù)式(4)和式(6)，則似然定義為

(7)

忽略P(W)，使指數(shù)函數(shù)的幅角最大化就獲得最大似然，于是對(duì)式(7)兩邊取對(duì)數(shù)，并代入式(1)、式(4)和式(5)得到

(8)

因此，通過(guò)減小給定數(shù)據(jù)集的超邊差，就可以使得超網(wǎng)絡(luò)的對(duì)數(shù)似然最大化。

1.2 分層超網(wǎng)絡(luò)模型的構(gòu)建

(9)

式中：m1和m2是構(gòu)成第n個(gè)數(shù)據(jù)樣本x(n)的每個(gè)模式變量的向量，與式(4)一樣，采用兩個(gè)模式生成第n個(gè)數(shù)據(jù)的概率P(x(n)|W) 定義為

(10)

假設(shè)m1和m2分別為文本和圖像模式，則由分層超網(wǎng)絡(luò)生成的數(shù)據(jù)的概率定義為

P(D|W)=P(T,I|W)=P(T|I,W)P(I|W)=
P(I|T,W)P(T|W)

(11)

式(11)表示文本和圖像之間的跨模態(tài)推理是通過(guò)學(xué)習(xí)超網(wǎng)絡(luò)的參數(shù)來(lái)進(jìn)行的。圖1所示為本文提出的分層超網(wǎng)絡(luò)模型的體系結(jié)構(gòu)。

圖1 分層超網(wǎng)絡(luò)模型的體系結(jié)構(gòu)

2 基于分層超網(wǎng)絡(luò)的高階跨模態(tài)關(guān)聯(lián)學(xué)習(xí)和推理

2.1 第一層超網(wǎng)絡(luò)的學(xué)習(xí)

第一層超網(wǎng)絡(luò)的學(xué)習(xí)與傳統(tǒng)超網(wǎng)絡(luò)的學(xué)習(xí)類(lèi)似，但每種模式都要構(gòu)建一個(gè)超網(wǎng)絡(luò)。首先，把多模態(tài)數(shù)據(jù)按模式進(jìn)行分離。在本文中，把一篇具有唯一id的文章數(shù)據(jù)劃分為文檔中的TF-IDF值向量和所包含圖像的直方圖值向量；在第二層超網(wǎng)絡(luò)的學(xué)習(xí)中，使用唯一的id來(lái)組合每種模式的超邊，通過(guò)從每種模式生成超邊來(lái)構(gòu)建一個(gè)超網(wǎng)絡(luò)；對(duì)于每種模式來(lái)說(shuō)，超邊是通過(guò)選擇和組合具有非負(fù)值和隨機(jī)性的屬性來(lái)生成的。選擇具有非負(fù)值屬性的理由是，由于數(shù)據(jù)的稀疏性，全部頂點(diǎn)的值為零的超邊可能會(huì)以很高的概率生成，因?yàn)榇蠖鄶?shù)屬性的值為零。正如在前文中所闡述，超網(wǎng)絡(luò)的學(xué)習(xí)是對(duì)數(shù)據(jù)集差異較小的超邊進(jìn)行采樣。隨著學(xué)習(xí)的繼續(xù)，超網(wǎng)絡(luò)的結(jié)構(gòu)就更適合給定數(shù)據(jù)的分布。超邊的構(gòu)建即超網(wǎng)絡(luò)的結(jié)構(gòu)是由超邊的權(quán)值決定的，這些權(quán)值通過(guò)訓(xùn)練數(shù)據(jù)集揭示了超邊的適應(yīng)度。在本文中，我們定義一個(gè)超邊的權(quán)值w為

(12)

式中：k表示超邊的階數(shù)，D是任意常數(shù)，由超邊屬性決定。根據(jù)式(12)，具有唯一信息的超邊通過(guò)定義得到更高的權(quán)值，同時(shí)刪除權(quán)值較低的超邊，并從訓(xùn)練集中重新生成刪除的超邊數(shù)量。

2.2 第二層超網(wǎng)絡(luò)的學(xué)習(xí)

第二層超網(wǎng)絡(luò)的學(xué)習(xí)是從第一層超網(wǎng)絡(luò)生成表示模式之間高階關(guān)系的超邊。第二層超網(wǎng)絡(luò)的超邊是通過(guò)將第一層超網(wǎng)絡(luò)中的超邊進(jìn)行組合而生成的。在組合中，具有相同id的不同模式的超邊合并成一個(gè)新的超邊，通過(guò)與訓(xùn)練集的比較，得到生成的超邊的權(quán)值，與第一層學(xué)習(xí)一樣，也從超網(wǎng)絡(luò)中刪除低權(quán)值的超邊，然后用訓(xùn)練數(shù)據(jù)集對(duì)生成的超網(wǎng)絡(luò)進(jìn)行評(píng)估。圖2所示為構(gòu)建和學(xué)習(xí)一個(gè)分層超網(wǎng)的過(guò)程，算法1為構(gòu)建和學(xué)習(xí)第二層超網(wǎng)絡(luò)的算法偽代碼。

圖2 構(gòu)建和學(xué)習(xí)一個(gè)分層超網(wǎng)絡(luò)過(guò)程

算法1： 構(gòu)建和學(xué)習(xí)一個(gè)分層超網(wǎng)絡(luò)的算法偽代碼

HT: 來(lái)自于文本數(shù)據(jù)的超網(wǎng)絡(luò)

HI: 來(lái)自于圖像數(shù)據(jù)的超網(wǎng)絡(luò)

HL: 分層超網(wǎng)絡(luò)

R: 替換具有低權(quán)值的超邊率

CR: 將HI的超邊率和HT的超邊率進(jìn)行合并

HT←生成超網(wǎng)絡(luò)(T);HI←生成超網(wǎng)絡(luò)(I)

在事業(yè)單位的運(yùn)營(yíng)和發(fā)展實(shí)踐中，人事檔案管理具有非常關(guān)鍵的作用。科學(xué)的人事檔案管理，能夠優(yōu)化事業(yè)單位人力資源配置，提升事業(yè)單位的發(fā)展水平。事業(yè)單位在人事檔案管理過(guò)程中，應(yīng)該加強(qiáng)認(rèn)識(shí)、完善制度、優(yōu)化素質(zhì)，綜合性提升人事檔案管理的整體水平。

fori←1until

HT←學(xué)習(xí)超網(wǎng)絡(luò)(T);HI←學(xué)習(xí)超網(wǎng)絡(luò)(I);

HT←消除低權(quán)值超邊(R);HI←消除低權(quán)值超邊(R);HL←{};

forj←1 to |HT|

ET←HT的第j個(gè)超邊

fork←1 toCR

EI←從HI中隨機(jī)選擇具有相同id的超邊ET;

EL←ET∪EI;HL←HL∪EL

endfor

endfor

HL←消除低權(quán)值超邊(R);HL←學(xué)習(xí)超網(wǎng)絡(luò)(T,I);

評(píng)估(HL,I,T)

HT=重新采樣(T,R);HI=重新采樣(I,R);

endfor

2.3 圖像和文本關(guān)鍵字生成的跨模態(tài)推理

經(jīng)過(guò)訓(xùn)練的LSNs可以通過(guò)跨模態(tài)關(guān)聯(lián)推理生成具有給定多模態(tài)查詢的文本術(shù)語(yǔ)和視覺(jué)詞。跨模態(tài)關(guān)聯(lián)生成分為兩種類(lèi)型：從文本到圖像即生成給定文本術(shù)語(yǔ)的一組視覺(jué)詞，以及從圖像到文本即用視覺(jué)詞構(gòu)建一組文本術(shù)語(yǔ)的生成。在圖像到文本中，生成的文本術(shù)語(yǔ)集是由第二層超網(wǎng)絡(luò)的超邊中的文本術(shù)語(yǔ)構(gòu)成的，其頂點(diǎn)包括給定的視覺(jué)詞集中的至少一個(gè)視覺(jué)詞。為了選擇文本術(shù)語(yǔ)，我們定義一個(gè)基于文本術(shù)語(yǔ)和視覺(jué)詞共現(xiàn)的得分。對(duì)于一個(gè)視覺(jué)詞集Q，第二層超網(wǎng)絡(luò)的第n個(gè)超邊En中的第i個(gè)文本術(shù)語(yǔ)的得分SIdx(i),En定義為

(13)

式中：xIdx(i)為指標(biāo)為Idx(i) 的文本術(shù)語(yǔ)屬性的值，Idx(i) 表示超邊En的第i個(gè)文本術(shù)語(yǔ)的向量表示中的指標(biāo)，wn表示En的權(quán)值，|Q-En| 為相對(duì)補(bǔ)集的大小，C為懲罰常數(shù)，根據(jù)文本術(shù)語(yǔ)屬性選取，一般在0.5～1之間。因此，SIdx(i)是通過(guò)對(duì)全部超邊求和得到的，即

(14)

式中： |E| 表示第二層超網(wǎng)絡(luò)中的超邊數(shù)目。根據(jù)式(13)，如果一個(gè)超邊包括一個(gè)給定視覺(jué)詞集中的視覺(jué)詞越多，則在該超邊中的文本術(shù)語(yǔ)的得分就越高，這樣，具有較高得分的文本術(shù)語(yǔ)包含在生成的文本關(guān)鍵字的候選項(xiàng)中。

與圖像到文本一樣，用經(jīng)過(guò)訓(xùn)練的分層超網(wǎng)絡(luò)和給定的文本術(shù)語(yǔ)就可生成一組視覺(jué)詞。

3 算法實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)和設(shè)置

我們采用從《麗人坊》、《女人坊》和《時(shí)尚健康·女士》3本雜志關(guān)于女性時(shí)尚和生活風(fēng)格帶有867幅圖像的198篇文章作為訓(xùn)練數(shù)據(jù)集。作為建模預(yù)處理，將文章中的文檔轉(zhuǎn)換為500個(gè)文本術(shù)語(yǔ)的TF-IDF值向量，這些文本術(shù)語(yǔ)是根據(jù)在提取詞干后的文檔中出現(xiàn)的頻率選擇的，將提取的402個(gè)視覺(jué)詞的直方圖向量來(lái)表示圖像。然后，由于超網(wǎng)絡(luò)模型可以處理離散數(shù)據(jù)，因此將每個(gè)模式的值轉(zhuǎn)換為從0到2的3級(jí)值。把數(shù)據(jù)分為包含88個(gè)文檔和755幅圖像的訓(xùn)練集以及由10個(gè)文檔和84幅圖像構(gòu)成的測(cè)試集，用于文章檢索。表1所示為用于訓(xùn)練分層超網(wǎng)的參數(shù)設(shè)置。

表1 用于實(shí)驗(yàn)的參數(shù)設(shè)置

3.2 實(shí)驗(yàn)結(jié)果及分析

我們通過(guò)將生成的文本術(shù)語(yǔ)和視覺(jué)詞與給定查詢中的文本和圖像關(guān)鍵字進(jìn)行比較來(lái)評(píng)價(jià)高階跨模態(tài)關(guān)聯(lián)學(xué)習(xí)生成的相似性。為了評(píng)價(jià)這種相似性，定義兩個(gè)度量指標(biāo)。第一個(gè)度量指標(biāo)為正確率(ratio of correctness，RC)。將構(gòu)成文章中的文檔和圖像的文本術(shù)語(yǔ)和視覺(jué)詞作為其元素的集合引用到原始集合中，生成與原始集合大小相同數(shù)量的文本術(shù)語(yǔ)和視覺(jué)詞。然后，當(dāng)給定部分文本術(shù)語(yǔ)和視覺(jué)詞時(shí)，將生成的文本或視覺(jué)集與原始集進(jìn)行比較，于是RC定義為

(15)

根據(jù)式(15)，RC的值在0到1之間；第二個(gè)度量指標(biāo)是背景評(píng)分(context score，CS)，它基于在文章數(shù)據(jù)的文檔和圖像中具有非負(fù)值的全部文本術(shù)語(yǔ)和視覺(jué)詞的成對(duì)共現(xiàn)結(jié)果。為了得到CS，我們定義第i個(gè)和第j個(gè)關(guān)鍵字的成對(duì)共現(xiàn)度量如下

(16)

式中：xi和xj是第n個(gè)數(shù)據(jù)樣本x(n)中指標(biāo)為i和j的樣本值，N是數(shù)據(jù)集的大小，于是，CS定義為

(17)

式中： |G| 為生成的文本術(shù)語(yǔ)或視覺(jué)詞集的大小。CS與RC的不同之處在于CS反映的是生成關(guān)鍵字之間關(guān)系的背景。即使兩個(gè)生成集的RC是相同的，但兩個(gè)生成集的CS可能是彼此不同的，這取決于因錯(cuò)誤生成的關(guān)鍵字的共現(xiàn)頻率。

圖3和圖4所示為當(dāng)給定一些文本術(shù)語(yǔ)和視覺(jué)詞作為查詢時(shí)，對(duì)于全部訓(xùn)練集的文本到圖像生成的視覺(jué)詞和圖像到文本生成的文本術(shù)語(yǔ)的RC和CS結(jié)果。圖3給出了通過(guò)圖像到文本生成的88個(gè)文檔的文本術(shù)語(yǔ)的平均RC和CS。從圖3可以看到，與僅采用文本查詢相比，本文提出的跨模態(tài)學(xué)習(xí)查詢可以提高與給定查詢相關(guān)的文本術(shù)語(yǔ)生成正確率40%以上；從圖3還可看到，當(dāng)給定相同數(shù)量的文本術(shù)語(yǔ)時(shí)，生成的文本術(shù)語(yǔ)的相似性隨著給定圖像信息的增加而增加；圖4給出了由文本到圖像生成的755幅圖像的視覺(jué)詞的平均RC和CS。與圖3一樣，與僅采用輸入圖像查詢相比，本文提出的跨模態(tài)學(xué)習(xí)提高了視覺(jué)詞的RC和CS。從圖4(a)還可看到，不同于圖像到文本的生成，當(dāng)給定兩個(gè)以上的文本術(shù)語(yǔ)時(shí)，RC會(huì)達(dá)到飽和。此外，從圖4(b)也可看到，CS也顯示出與圖像到文本生成不同的趨勢(shì)。這是由于一篇文章是由1個(gè)文檔和多個(gè)圖像構(gòu)成的，以至于圖像信息比文本信息更重要。

圖3 通過(guò)圖像到文本生成的文本術(shù)語(yǔ)的平均RC和CS

由于圖像數(shù)據(jù)的大小約為文檔的10倍，圖像的直方圖向量中的非零變量數(shù)遠(yuǎn)大于文檔的TF-IDF向量中的非零變量數(shù)，因此文本到圖像生成的背景得分比圖像到文本生成的背景得分要高得多，這從圖3(b)和圖4(b)可以明顯看出。

圖4 通過(guò)文本到圖像生成的視覺(jué)詞的平均RC和CS

圖5所示為當(dāng)給定文章中的1個(gè)文本術(shù)語(yǔ)和20%的視覺(jué)詞作為查詢時(shí)，RC為1的文章的4組文本術(shù)語(yǔ)和1個(gè)圖像。可見(jiàn)，通過(guò)本文的高階跨模態(tài)關(guān)聯(lián)學(xué)習(xí)，可以生成與圖像相似度極高的文本術(shù)語(yǔ)，并且能夠檢索出具有小部分信息的文章，文章包含了給定文本術(shù)語(yǔ)和視覺(jué)詞時(shí)所得到的正確信息。

圖5 采用給定文本術(shù)語(yǔ)和20%的視覺(jué)詞生成的文章

圖6所示為對(duì)于測(cè)試數(shù)據(jù)集采用經(jīng)過(guò)訓(xùn)練的分層超網(wǎng)絡(luò)，當(dāng)給定部分文本術(shù)語(yǔ)時(shí)，文章成功檢索的比例。在本文中，當(dāng)候選對(duì)象包括測(cè)試文章(其文本術(shù)語(yǔ)和視覺(jué)詞被作為查詢給定)時(shí)，我們就認(rèn)為文章檢索是成功的。從圖6可見(jiàn)，給定兩個(gè)以上的文本術(shù)語(yǔ)和一半的圖像，當(dāng)候選對(duì)象的大小為20時(shí)，用戶想要的文章可以包含90%以上。

圖6 測(cè)試數(shù)據(jù)集成功檢索比例與給定文本術(shù)語(yǔ)數(shù)量的關(guān)系

4 結(jié)束語(yǔ)

本文針對(duì)給定的多模態(tài)查詢，提出了一種用于跨模態(tài)關(guān)聯(lián)學(xué)習(xí)的LSNs，以及一種采用LSNs的基于文本到圖像和圖像到文本的高階跨模態(tài)推理的視覺(jué)和文本關(guān)鍵字生成方法；實(shí)驗(yàn)結(jié)果表明，基于模式間的高階跨模態(tài)關(guān)聯(lián)生成關(guān)鍵字是可行的，而且與單模態(tài)查詢相比，多模態(tài)查詢提高了生成的關(guān)鍵字的相似性；另外，本文提出的模型和方法也可以應(yīng)用于單一的文章檢索系統(tǒng)中；在未來(lái)的研究工作中，我們將把跨模態(tài)高階關(guān)聯(lián)關(guān)鍵字生成方法應(yīng)用于諸如未標(biāo)注圖像的自動(dòng)標(biāo)注以及多模態(tài)信息的檢索中。