基于公共空間嵌入的端到端深度零樣本學(xué)習(xí)

秦牧軒，荊曉遠(yuǎn)，吳 飛

(南京郵電大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210003)

0 引 言

在圖像識(shí)別技術(shù)中[1-3]，零樣本學(xué)習(xí)(ZSL)[4]是一種特殊的問(wèn)題，在訓(xùn)練集中某幾類(lèi)樣本標(biāo)簽缺失或者樣本不存在，但是依然能夠在測(cè)試任務(wù)中識(shí)別出這些樣本的類(lèi)別。一種全部類(lèi)別共同映射的中間層特征子空間[5]技術(shù)，在零樣本學(xué)習(xí)中被大量使用，通過(guò)建立一種訓(xùn)練類(lèi)別信息與測(cè)試類(lèi)別信息的連接空間，將原本使用類(lèi)別信息分類(lèi)能力轉(zhuǎn)化到該中間層，擺脫了必須使用類(lèi)別信息分類(lèi)的限制。一般中間層特征空間有兩種：屬性(attribute)特征空間[6-7]和文本(text)特征空間[8-9]。

屬性是人為定義的特征，如“形狀”“紋理”“是否含有某個(gè)屬性”等可以描述類(lèi)別的語(yǔ)義特性，可以利用屬性信息學(xué)習(xí)到新的類(lèi)別，如Lampert等[6]提出的直接屬性預(yù)測(cè)模型(direct attribute prediction，DAP)。

但是屬性的分類(lèi)效果取決于屬性的選擇好壞，同時(shí)會(huì)消耗人力物力。利用自然語(yǔ)言處理技術(shù)(NLP)使用文本特征作為中間層表示，是零樣本學(xué)習(xí)中另一種解決模型。文本數(shù)據(jù)容易獲得，且其語(yǔ)義相關(guān)性可以推測(cè)出未出現(xiàn)的類(lèi)別，利用多模態(tài)[10]技術(shù)學(xué)習(xí)將圖像從視覺(jué)模態(tài)映射到文本模態(tài)，來(lái)推測(cè)未知圖像。Socher等[8]利用一個(gè)2層的神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個(gè)映射函數(shù)，映射圖像特征與其對(duì)應(yīng)的詞向量距離最近。Frome等[9]則直接連接卷積神經(jīng)網(wǎng)絡(luò)的最頂層和skip-gram語(yǔ)言模型的輸出層，并將上述映射關(guān)系稱(chēng)之為嵌入(embedding)。

直接將圖像特征嵌入到語(yǔ)義特征會(huì)由于維度降低導(dǎo)致樞紐度問(wèn)題[11]。文獻(xiàn)[12-13]利用一種聯(lián)合嵌入模型(structured joint embedding，SJE)，將圖像特征和語(yǔ)義特征嵌入公共特征空間，使得公共特征空間中的各模態(tài)特征內(nèi)積和最大，取得了良好的效果。但這些方法只是單純地使用了CNN的圖像特征，在分類(lèi)時(shí)仍需要人工參與特征提取，并不是一種端到端的深度學(xué)習(xí)方法。文獻(xiàn)[14]在深度的基礎(chǔ)上應(yīng)用一種特征融合技術(shù)，但是由于只使用詞向量而效果不佳。

基于此，文中結(jié)合端到端的深度學(xué)習(xí)模型與基于公共空間的嵌入模型，提出了一種新的零樣本圖像分類(lèi)方法，即基于公共空間嵌入的端到端深度零樣本學(xué)習(xí)，可以同時(shí)利用屬性特征和文本特征，并通過(guò)實(shí)驗(yàn)驗(yàn)證該方法的有效性。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像特征學(xué)習(xí)(CNN)

CNN通過(guò)逐層對(duì)圖像卷積獲得低維的特征，并學(xué)習(xí)這些卷積的參數(shù)。輸入圖像訓(xùn)練集X={x1,x2,…,xi,…,xc1}，經(jīng)過(guò)CNN后，得到圖像特征。輸入227*227的三通道圖像，經(jīng)過(guò)5個(gè)卷積層和3個(gè)全連接層，輸出n維特征向量，n為樣本類(lèi)別數(shù)量，每一個(gè)參數(shù)對(duì)應(yīng)一個(gè)類(lèi)別。神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)據(jù)見(jiàn)表1。

表1 神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)據(jù)

經(jīng)過(guò)兩個(gè)全連接層fc6和fc7之后，在fc8層應(yīng)用softmax損失函數(shù)進(jìn)行分類(lèi)，同樣在fc6和fc7層之后會(huì)有激活函數(shù)和drop函數(shù)。fc8層使用softmax損失函數(shù)分類(lèi)：

(1)

(2)

其中，aj為第i個(gè)樣本被分為j類(lèi)的概率；1{y(i)=j}表示當(dāng)表達(dá)式成立時(shí)值為1，否則為0。

首先建立單視覺(jué)的Fake-task模型，fc8層特征只作用于預(yù)學(xué)習(xí)，在多模態(tài)嵌入時(shí)使用的是fc7層的特征，相較于fc8層，fc7層特征能更好地表達(dá)圖像層級(jí)的特征。

2 基于融合層的語(yǔ)義特征學(xué)習(xí)(Att、W2V)

由于使用的公共空間不依賴(lài)單一模態(tài)的特點(diǎn)，可以同時(shí)使用屬性特征和文本特征或者融合訓(xùn)練該模型。如圖1所示，應(yīng)用一個(gè)多模態(tài)融合層，其函數(shù)定義如下：

(3)

(4)

不同于屬性特征，文本特征需要使用skip-gram模型訓(xùn)練得到。應(yīng)用維基百科上面570萬(wàn)文本(約54億單詞)來(lái)訓(xùn)練一個(gè)三層全連接的神經(jīng)網(wǎng)絡(luò)，輸入文本訓(xùn)練集Y={y1,y2,…,yc1,…,yc2}，并得到文本特征,注意到文本訓(xùn)練集種類(lèi)數(shù)量遠(yuǎn)遠(yuǎn)大于圖像訓(xùn)練集種類(lèi)數(shù)量，即c2?c1。y定義如下：

(5)

圖1 視覺(jué)模態(tài)和語(yǔ)義模態(tài)公共空間嵌入模型

輸入層經(jīng)過(guò)隱層到達(dá)第三層，第三層實(shí)際上是一個(gè)Softmax分類(lèi)器。同樣文本模塊也是一個(gè)Fake-task，目的是得到隱層的參數(shù)作為詞向量。通過(guò)比較100維到2 000維的隱層權(quán)重分類(lèi)效果，發(fā)現(xiàn)將隱層的大小設(shè)置為512維最為合適。

3 視覺(jué)-語(yǔ)義聯(lián)合學(xué)習(xí)部分

聯(lián)合學(xué)習(xí)將原有模型上的圖像特征和文本特征投影到公共空間并建立一種類(lèi)別對(duì)應(yīng)關(guān)系。去除上文所述的圖像和文本模塊的分類(lèi)層，替換一個(gè)全連接層映射隱層的特征到公共空間，形成一個(gè)新的損失層，損失函數(shù)為：

s.t.

(6)

H(x)=sigmoid(WxF)

H(y)=sigmoid(WyG)

F=f(X;θx)

G=g(Y;θy)

(7)

在聯(lián)合訓(xùn)練階段，應(yīng)用隨機(jī)梯度下降算法(SGD)交替迭代訓(xùn)練嵌入?yún)?shù)：

(1)固定θy和Wy，優(yōu)化θx和Wx。

應(yīng)用一種微調(diào)深度學(xué)習(xí)的技術(shù)(fine-tuning)對(duì)θx調(diào)優(yōu)，θx前5層的參數(shù)固定不變，降低fc6和fc7的學(xué)習(xí)率10倍。在嵌入層，梯度計(jì)算如下：

(8)

(2)固定θx，θy和Wx，優(yōu)化Wy。

同樣應(yīng)用SGD算法優(yōu)化文本嵌入層參數(shù)Wy。由于需要詞向量的語(yǔ)義相關(guān)性，所以只訓(xùn)練Wy，梯度計(jì)算如下：

(9)

4 實(shí) 驗(yàn)

通過(guò)在AwA(animals with attributes)數(shù)據(jù)庫(kù)和Cub鳥(niǎo)類(lèi)數(shù)據(jù)庫(kù)上的識(shí)別率波動(dòng)圖和平均識(shí)別率來(lái)比較文中方法與DeViSE、Ba et.al、SJE、LatEm和JLSE方法的識(shí)別性能。AwA包含30 745張50個(gè)不同動(dòng)物的圖片。CUB-200-2011(Caltech UCSD Bird)鳥(niǎo)類(lèi)數(shù)據(jù)庫(kù)包含了200種鳥(niǎo)類(lèi)共11 788張圖片，是目前應(yīng)用廣泛的細(xì)粒度分類(lèi)參考之一。所有方法均采用基于余弦距離的最近鄰分類(lèi)器來(lái)做分類(lèi)識(shí)別。

4.1 實(shí)驗(yàn)方法

在AwA數(shù)據(jù)庫(kù)上，選擇40個(gè)類(lèi)別作為已知類(lèi)，10個(gè)類(lèi)別作為未知類(lèi)；在CUB數(shù)據(jù)庫(kù)上，參考文獻(xiàn)[7]方法選取100個(gè)類(lèi)別組成訓(xùn)練集，50個(gè)類(lèi)別組成驗(yàn)證集，50個(gè)類(lèi)別組成測(cè)試集。實(shí)驗(yàn)都采取隨機(jī)挑選的方式運(yùn)行30次。

對(duì)于AwA庫(kù)，應(yīng)用文獻(xiàn)[6]提供的85維的屬性特征，而CUB庫(kù)上，應(yīng)用文獻(xiàn)[12]提供的312維度的屬性特征。不同于固定的屬性特征，文本特征使用skip-gram模型來(lái)訓(xùn)練所需的詞向量，使用維基百科上的570萬(wàn)文本(約54億單詞)來(lái)訓(xùn)練AwA庫(kù)和CUB庫(kù)，特征維度為512。

4.2 實(shí)驗(yàn)結(jié)果與分析

表2給出了所有方法在AwA和CUB兩個(gè)數(shù)據(jù)庫(kù)上隨機(jī)30次的識(shí)別率。圖2給出了AwA庫(kù)上使用詞向量作為語(yǔ)義特征的識(shí)別率波動(dòng)，圖3比較了幾種使用公共空間的方法。

圖2 AwA數(shù)據(jù)庫(kù)上所有方法隨機(jī)30次的識(shí)別率

圖3 使用公共空間的所有方法隨機(jī)30次的識(shí)別率

方法語(yǔ)義特征AwACUBDeViSEW56.7/50.433.5Ba et.alW69.3/58.734.0SJEA/W/A+W66.7/60.1/73.950.1/28.4/51.0LatEmA/W/A+W72.5/52.3/76.145.6/33.1/47.4JLSEA80.542.1文中A/W/A+W79.0/62.6/78.847.4/38.1/52.1

從表2可以看出，在AwA數(shù)據(jù)庫(kù)上，文中方法無(wú)論是單獨(dú)使用屬性或詞向量，還是同時(shí)使用混合特征，都比DeViSE、Ba et.al、SJE以及LatEm等四種方法的平均識(shí)別率提高了至少2.5%(62.6%-60.1%)；在CUB數(shù)據(jù)庫(kù)上，對(duì)比上述方法，文中方法雖然在單屬性特征上略微輸給了SJE，但是在混合特征上取得最好的效果(52.1%)。

5 結(jié)束語(yǔ)

建立了應(yīng)用于零樣本學(xué)習(xí)的端到端的深度學(xué)習(xí)模型，并使用了融合屬性信息和文本信息的聯(lián)合語(yǔ)義特征，提出了基于公共空間嵌入的端到端深度零樣本學(xué)習(xí)。在AwA和CUB數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，該方法有效地提高了識(shí)別率。