融合雙注意力與多標(biāo)簽的圖像中文描述生成方法①

田 楓,孫小強(qiáng),劉 芳,李婷玉,張 蕾,劉志剛

1(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,大慶 163318)

2(中國石油天然氣股份有限公司 冀東油田分公司 信息中心,唐山 063004)

圖像是目前信息傳播的主流媒介之一,隨著成像設(shè)備的普及,圖像數(shù)據(jù)量增長迅速.然而圖像以像素的形式存儲(chǔ),這與用戶對(duì)圖像的解讀之間存在巨大的差異,高效地對(duì)海量圖像資源進(jìn)行檢索和管理極具挑戰(zhàn)性.如何使計(jì)算機(jī)依照人類理解的形式對(duì)圖像進(jìn)行描述,已是目前圖像理解領(lǐng)域的研究熱點(diǎn).

圖像描述(Image Caption,IC)[1,2]是指計(jì)算機(jī)針對(duì)給定的圖像,自動(dòng)地以符合人類語法規(guī)則的句子將該圖像的畫面內(nèi)容進(jìn)行轉(zhuǎn)換.句子不僅可以作為圖像檢索的元數(shù)據(jù),從而提升對(duì)圖像資源的檢索和管理效率;而且相比詞匯標(biāo)簽?zāi)芨蜗?、直觀地傳達(dá)圖像內(nèi)容,因此圖像描述任務(wù)吸引了眾多研究者關(guān)注.現(xiàn)有的圖像描述研究可分為3 類,分別是基于模板的圖像描述生成方法[3]、基于檢索的圖像描述生成方法[4]以及基于翻譯的圖像描述生成方法[5–10],其中基于翻譯的圖像描述生成方法借助深度學(xué)習(xí)端到端的訓(xùn)練特性,通過在大規(guī)模圖像句子對(duì)應(yīng)數(shù)據(jù)集上進(jìn)行學(xué)習(xí),模型生成的描述句子更為新穎.現(xiàn)有的圖像描述工作[3–10]以研究如何為圖像生成英文的描述句子為主,顯然此項(xiàng)研究不應(yīng)該受限于語言,將圖像描述研究擴(kuò)展到母語使用人口最多的中文環(huán)境,具有更為重要的現(xiàn)實(shí)意義.

相比英文描述,中文詞語含義更加豐富,中文句子結(jié)構(gòu)也更為復(fù)雜,因此圖像中文描述任務(wù)更具有難度;在模型構(gòu)建方式上,現(xiàn)有的圖像英文描述研究利用編碼器-解碼器框架[5–7]和融合注意力機(jī)制的編碼器-解碼器框架[8–10]來構(gòu)建模型,而圖像中文描述模型主要是基于編碼器-解碼器框架構(gòu)建的.例如,2016年Li 等人[11]將文獻(xiàn)[5]中的模型在中文的環(huán)境下重新訓(xùn)練,實(shí)現(xiàn)了首個(gè)圖像中文描述模型CS-NIC;2019年張凱等人[12]通過利用機(jī)器翻譯構(gòu)建偽語料庫,從而將常規(guī)編碼器-解碼器框架在中文的環(huán)境下重新訓(xùn)練.通過實(shí)驗(yàn)發(fā)現(xiàn),雖然現(xiàn)有的圖像中文描述模型可以對(duì)圖像進(jìn)行描述,但是描述句子的質(zhì)量仍有待提升.通過對(duì)現(xiàn)有的圖像中文描述研究進(jìn)行分析,本文認(rèn)為目前圖像中文描述句子質(zhì)量不高的原因可以歸結(jié)為:1)現(xiàn)有研究利用編碼器-解碼器框架來構(gòu)建模型,該框架僅在解碼器的僅接收一次圖像特征,由于解碼器的“遺忘”特性,導(dǎo)致模型生成的描述句子整體質(zhì)量不高;2)中文詞語的含義較為豐富,現(xiàn)有研究在解碼視覺特征時(shí),并未考慮視覺特征中的誤差因素;3)現(xiàn)有方法的優(yōu)化目標(biāo)主要是基于輸入視覺特征和已經(jīng)生成的詞語,使預(yù)測的下一個(gè)詞語是正確詞語的概率最大化,這在一定程度上忽略了最終生成句子整體語義與圖像內(nèi)容的關(guān)聯(lián)度.

針對(duì)上述問題,2016年Xu 等人[8]在編碼器-解碼器框架中引入注意力機(jī)制,使單詞與圖像視覺特征之間進(jìn)行對(duì)齊,提升了模型對(duì)視覺特征的鑒別能力.注意力機(jī)制與人眼視覺特性相似,其原理是使模型在生成文字序列時(shí),自主決定圖像特征的權(quán)值,從而實(shí)現(xiàn)模型動(dòng)態(tài)地關(guān)注圖像中重要的區(qū)域.此外,也有研究利用從圖像中提取多標(biāo)簽信息對(duì)模型生成的描述句子質(zhì)量進(jìn)行改善.例如,2019年藍(lán)瑋毓等人[13]利用概率編碼的圖像多標(biāo)簽重排模型生成的描述句子候選集,提升了模型生成的描述句子與圖像內(nèi)容的關(guān)聯(lián)度.因此為提升中文描述句子質(zhì)量,本文在現(xiàn)有研究的基礎(chǔ)上提出融合雙注意力與多標(biāo)簽的圖像中文描述方法.本文方法通過融合圖像多標(biāo)簽文本信息,增強(qiáng)解碼器與圖像內(nèi)容的關(guān)聯(lián)度;通過利用注意力機(jī)制,使模型能更好地利用視覺特征.通過實(shí)驗(yàn)對(duì)比分析,本文模型生成的圖像描述句子更符合圖像的內(nèi)容,對(duì)圖像的背景等細(xì)節(jié)信息也能夠進(jìn)行描述.

1 相關(guān)工作

現(xiàn)有的圖像描述生成方法可分為3個(gè)類別.

1)基于模板的圖像描述生成方法.該類方法先利用計(jì)算機(jī)視覺技術(shù)識(shí)別出圖像中視覺語義信息,然后填充到模板句子中.該類研究的代表性工作為Fang 等人[3]利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[14,15]預(yù)測出一系列詞語,再利用最大熵語言模型生成描述句子.該類方法往往能生成語法正確的描述句子,但是由于模板句子的數(shù)量有限,導(dǎo)致描述句子的多樣性受限.

2)基于檢索的圖像描述生成方法.該類方法將相似圖像描述句子作為輸入圖像的描述句子.該類研究的代表性工作為Ordonez 等人[4]從Flickr 網(wǎng)站收集大量圖片,通過使用數(shù)據(jù)清洗技術(shù)使最終檢索庫中的每幅圖像均對(duì)應(yīng)一個(gè)描述句子,然后尋找與測試圖像最相似圖像,將該圖像的描述句子作為測試圖像的描述句子.該類方法往往能生成語義正確的描述句子,但是嚴(yán)重依賴于檢索算法與數(shù)據(jù)集質(zhì)量,當(dāng)數(shù)據(jù)集中缺少與目標(biāo)圖像相似的圖像,將導(dǎo)致匹配失敗.

3)基于翻譯的圖像描述生成方法.該類方法受機(jī)器翻譯的啟發(fā),將圖像看作待翻譯數(shù)據(jù),描述句子視為翻譯結(jié)果,利用編碼器-解碼器框架將圖像內(nèi)容進(jìn)行翻譯.該類研究的代表性工作為Vinyals 等人[5]利用CNN作為編碼器,將圖像編碼為特定長度的語義向量,然后利用長短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory Neural Network,LSTM)[16]作為解碼器,對(duì)語義向量進(jìn)行解碼,模型使用最大似然概率函數(shù)進(jìn)行訓(xùn)練.湯鵬杰等人[7]在編碼器-解碼器框架中融合場景信息,使模型的性能得到提升.該類方法生成的描述句子要更為新穎,成為目前構(gòu)建圖像描述模型的主流方法.

Xu 等人[8]將注意力機(jī)制引入到圖像描述研究中,先利用CNN 提取圖像的卷積層特征,在生成每一個(gè)單詞時(shí),根據(jù)解碼器LSTM的隱藏狀態(tài)計(jì)算出各個(gè)特征區(qū)域?qū)?yīng)的權(quán)重,通過權(quán)重乘上對(duì)應(yīng)區(qū)域的特征對(duì)圖像特征重新加權(quán),然后由解碼器對(duì)加權(quán)后的特征進(jìn)行解碼.該類方法通過使模型動(dòng)態(tài)關(guān)注圖像中的重要區(qū)域,提升模型的性能,吸引了眾多研究者關(guān)注.隨后,越來越多的研究者進(jìn)一步地提出不同的注意力機(jī)制,比如全局-局部注意力機(jī)制[9]、自適應(yīng)注意力機(jī)制[10]等.

僅有少數(shù)的工作研究了面向非英語語種的圖像描述.李錫榮等人[11]借助人工翻譯、機(jī)器翻譯得到首個(gè)中文的數(shù)據(jù)集Flickr8k-cn,并對(duì)文獻(xiàn)[5]中的模型重新訓(xùn)練,得到首個(gè)圖像中文描述模型.張凱等人[12]通過利用機(jī)器翻譯構(gòu)建偽語料庫,從而完成了端到端的中文描述生成.藍(lán)瑋毓等人[13]提出利用概率向量編碼的圖像標(biāo)簽信息,重排生成的圖像描述文本集,提升了模型生成的描述句子與圖像內(nèi)容的關(guān)聯(lián)度.這些工作都是利用編碼器-解碼器框架構(gòu)建模型,解碼器僅接收一次視覺特征,而且在解碼過程中對(duì)視覺特征的利用方式簡單,雖然注意力機(jī)制可以根據(jù)解碼器的隱藏狀態(tài)增強(qiáng)視覺特征的利用方式,但是融合注意力機(jī)制的編碼器-解碼器框架僅在圖像英文描述生成中被證實(shí)是可行的,由于中文與英文之間的差異,注意力機(jī)制能否應(yīng)用到圖像中文描述研究中仍有待驗(yàn)證;此外,現(xiàn)有利用圖像多標(biāo)簽改善描述句子質(zhì)量的研究是使用概率向量編碼的圖像多標(biāo)簽進(jìn)行的,且并沒有利用圖像多標(biāo)簽信息生成新的描述句子,對(duì)于一幅圖像,其中的對(duì)象、場景、行為等信息往往是確定的,如何使用非概率編碼的多標(biāo)簽文本輔助模型生成更高質(zhì)量的描述句子仍需要實(shí)驗(yàn)進(jìn)行驗(yàn)證;最后,本文根據(jù)圖像中包含的目標(biāo)類型和數(shù)量,對(duì)模型的描述能力進(jìn)行分析.

2 融合雙注意力與多標(biāo)簽的圖像中文描述生成模型

1)優(yōu)化目標(biāo)

圖像多標(biāo)簽不僅能反映圖像內(nèi)容,而且能作為描述句子中的詞語,可為模型生成更高質(zhì)量的中文描述文本提供幫助.因此對(duì)于輸入圖像Ii,令中文詞表為D,本文為該圖像預(yù)測一個(gè)中文標(biāo)簽集合{Li},標(biāo)簽Li與D中的單詞對(duì)應(yīng).即本文利用Li輔助模型生成更高質(zhì)量的中文描述句子S.模型的訓(xùn)練目標(biāo)為式(1)所示:

其中,θ是模型需要學(xué)習(xí)的參數(shù);N是訓(xùn)練集圖像的數(shù)量;i是指數(shù)據(jù)集中第i幅圖像,M是指第i幅圖像對(duì)應(yīng)的描述句子S的長度,S={s1,s2,…,sn}.因?yàn)镃NN 提取的視覺特征相比圖像Ii本身,能更好地反映其高層語義,因此令V(Ii)=Ii,V(Ii)表示圖像對(duì)應(yīng)的視覺特征,W(Ii)=Li,W(Ii)表示圖像對(duì)應(yīng)的多標(biāo)簽文本信息.利用鏈?zhǔn)角髮?dǎo)法則,式(1)可轉(zhuǎn)化式(2):

本文利用圖像語義編碼網(wǎng)絡(luò)和雙注意力解碼網(wǎng)絡(luò)對(duì)式(2)進(jìn)行求解.圖像語義編碼網(wǎng)絡(luò)用于提取視覺特征V(Ii)和多標(biāo)簽文本W(wǎng)(Ii);雙注意力解碼網(wǎng)絡(luò)根據(jù)圖像多標(biāo)簽文本W(wǎng)(Ii),更好地對(duì)視覺特征V(Ii)進(jìn)行解碼,從而生成更高質(zhì)量的描述句子S.融合雙注意力與多標(biāo)簽的圖像中文描述生成模型框架如圖1所示.

2)圖像語義編碼網(wǎng)絡(luò)

如圖1所示,圖像語義編碼網(wǎng)絡(luò)由兩部分組成,分別是視覺特征編碼網(wǎng)絡(luò)和多標(biāo)簽文本生成網(wǎng)絡(luò).對(duì)于輸入圖像Ii,視覺特征編碼網(wǎng)絡(luò)輸出該圖像的視覺特征V(Ii),多標(biāo)簽文本生成網(wǎng)絡(luò)輸出多標(biāo)簽文本W(wǎng)(Ii).為防止模型在訓(xùn)練階段的損失相互干擾,圖像多標(biāo)簽文本預(yù)測網(wǎng)絡(luò)與圖像視覺特征編碼網(wǎng)絡(luò)分離開進(jìn)行訓(xùn)練.接下來本文分別介紹這兩個(gè)子網(wǎng)絡(luò).

圖1 模型框架圖

① 視覺特征提取網(wǎng)絡(luò)

本文以ResNet101 作為視覺特征提取網(wǎng)絡(luò).ResNet-101是ResNet[14]衍生出的一種網(wǎng)絡(luò),通過在大規(guī)模圖像分類數(shù)據(jù)集ImageNet[15]上進(jìn)行訓(xùn)練,ResNet101 在目標(biāo)識(shí)別、目標(biāo)檢測等領(lǐng)域仍能有效刻畫圖像視覺信息.對(duì)于輸入圖像Ii,將其縮放到256×256個(gè)像素,利用視覺特征提取網(wǎng)絡(luò)輸出其視覺特征V(Ii).

② 多標(biāo)簽文本生成網(wǎng)絡(luò)

本文微調(diào)AlexNet[15]網(wǎng)絡(luò)結(jié)構(gòu),將微調(diào)后的網(wǎng)絡(luò)作為本文的多標(biāo)簽文本生成網(wǎng)絡(luò).AlexNet是深度學(xué)習(xí)的一個(gè)代表性網(wǎng)絡(luò),不僅在圖像分類等任務(wù)上表現(xiàn)優(yōu)異,而且比ResNet 等網(wǎng)絡(luò)的計(jì)算量少.但是AlexNet 網(wǎng)絡(luò)本身并不適用于多標(biāo)簽分類,因此本文將AlexNet網(wǎng)絡(luò)輸出層的神經(jīng)元結(jié)點(diǎn)的數(shù)量修改為中文詞表D的長度,并將最后一層的激活函數(shù)改為適合多分類的Sigmoid 函數(shù).訓(xùn)練過程中以BCEloss[17]作為模型的損失函數(shù),其數(shù)學(xué)表達(dá)式如式(3)所示:

其中,N是圖像數(shù)量,m是標(biāo)簽數(shù)量,其中O∈{0,1}n*o,表示樣本的真實(shí)標(biāo)簽,T∈Rn*o,是模型對(duì)不同標(biāo)簽的預(yù)測概率輸出.多標(biāo)簽文本生成網(wǎng)絡(luò)的訓(xùn)練過程如圖2所示.

圖2 多標(biāo)簽文本生成網(wǎng)絡(luò)訓(xùn)練過程

對(duì)圖像描述數(shù)據(jù)集進(jìn)行預(yù)處理,得到圖像多標(biāo)簽數(shù)據(jù)集,將微調(diào)后的AlexNet 網(wǎng)絡(luò)在圖像多標(biāo)簽數(shù)據(jù)集上進(jìn)行訓(xùn)練,將訓(xùn)練后模型的參數(shù)遷移到本文的多標(biāo)簽文本生成網(wǎng)絡(luò)中.對(duì)于輸入圖像Ii,將其縮放到256×256個(gè)像素后,再利用多標(biāo)簽文本生成網(wǎng)絡(luò)輸出概率編碼的圖像多標(biāo)簽,最后通過設(shè)置閾值輸出圖像對(duì)應(yīng)的多標(biāo)簽文本W(wǎng)(Ii).

由圖1可知,一幅圖像Ii,模型提取其視覺特征V(Ii)和多標(biāo)簽文本W(wǎng)(Ii)后,將其輸入到雙注意力的解碼網(wǎng)絡(luò)中,由雙注意力解碼網(wǎng)絡(luò)對(duì)視覺特征進(jìn)行解碼生成描述詞語.

3)雙注意力解碼網(wǎng)絡(luò)

由于中文詞語的含義較為豐富,因此合理地利用視覺特征對(duì)于圖像描述生成尤為重要.本文模型在解碼器中引入注意力機(jī)制,使解碼器可以根據(jù)LSTM內(nèi)部的隱藏狀態(tài)ht,加權(quán)出與當(dāng)前輸出詞語關(guān)聯(lián)度高的視覺特征,進(jìn)而對(duì)加權(quán)后的視覺特征進(jìn)行解碼生成描述詞語.本文的雙注意力解碼網(wǎng)絡(luò)工作流程解碼流程如圖3所示.

圖3 雙注意力的解碼網(wǎng)絡(luò)工作流程

雙注意力解碼網(wǎng)絡(luò)首先利用視覺特征V(Ii)和解碼器上一次輸出詞語更新LSTM內(nèi)部的隱藏狀態(tài)ht,LSTM內(nèi)部更新公式如式(4)所示:

其中,Ew是詞嵌入矩陣,Wt–1是LSTM的上一次的輸出詞語,ht–1是LSTM 上一次的隱藏狀態(tài),xt是LSTM當(dāng)前的輸入,σ是指Sigmoid 激活函數(shù),f、i、o分別表示LSTM內(nèi)部是否忘記此前信息、是否接受新的輸入以及是否輸出當(dāng)前信息的“閘門”,W、U和b是LSTM結(jié)構(gòu)中需要訓(xùn)練的模型參數(shù),⊙表示對(duì)應(yīng)向量與閘門取值的乘積,ct是LSTM 當(dāng)前的記憶單元狀態(tài),ht是LSTM 當(dāng)前的隱藏狀態(tài).

由圖3可知,在LSTM內(nèi)部的隱藏狀態(tài)ht更新后,雙注意力解碼網(wǎng)絡(luò)根據(jù)LSTM內(nèi)部的隱藏狀態(tài)ht利用通道注意力機(jī)制加權(quán)出與當(dāng)前輸出關(guān)聯(lián)度較高的視覺特征V′(Ii).通道注意力機(jī)制從特征通道的角度分析與不同通道的視覺特征與當(dāng)前輸出詞語的關(guān)聯(lián)度,從而降低特征通道層的誤差干擾,其內(nèi)部的數(shù)學(xué)計(jì)算為式(5)所示:

其中,B是視覺特征的通道數(shù),tanh和Softmax為激活函數(shù),ba、bb、Wa、Wht、Wb是網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù),V表示視覺特征的每一個(gè)通道平均池化后的通道特征,ht表示LSTM 在t時(shí)刻的隱藏狀態(tài),β的每個(gè)值表示每個(gè)通道特征的權(quán)重,⊙表示逐元素相乘,⊕表示逐元素相加.

如圖3所示,雙注意力解碼網(wǎng)絡(luò)加權(quán)出與當(dāng)前輸出詞語關(guān)聯(lián)度高的視覺特征V′(Ii)后,利用自適應(yīng)注意力機(jī)制計(jì)算視覺特征V′(Ii)與當(dāng)前輸出詞語的視覺關(guān)聯(lián)度.自適應(yīng)注意力機(jī)制利用視覺監(jiān)督向量st對(duì)LSTM進(jìn)行擴(kuò)展,視覺監(jiān)督向量st通過對(duì)已經(jīng)生成的文本信息和當(dāng)前輸入的視覺特征進(jìn)行建模,分析解碼器輸出的當(dāng)前詞語是否需要關(guān)注視覺特征.當(dāng)模型生成非語義詞語時(shí),可以通過視覺監(jiān)督向量st直接生成,而不需要再關(guān)注圖像特征信息.自適應(yīng)注意力解碼網(wǎng)絡(luò)內(nèi)部的計(jì)算為:

其中,gt表示LSTM內(nèi)部記憶單元ot中的候選狀態(tài),σ是指Sigmoid 激活函數(shù),Ew是詞嵌入矩陣,xt表示在t時(shí)刻LSTM 網(wǎng)絡(luò)的輸入單詞.

最后雙注意力機(jī)制解碼網(wǎng)絡(luò)將原有的上下文向量ct與視覺監(jiān)督向量st進(jìn)行加權(quán)生成一個(gè)新的上下文向量c′t.

其中,參數(shù)αt的取值范圍為0 到1 之間.從式(7)中可以看出,當(dāng)αt=1 時(shí),新的上下文向量c′t為視覺監(jiān)督向量st,此時(shí)雙注意力解碼網(wǎng)絡(luò)只需利用已生成的文本信息可以預(yù)測下一個(gè)詞語;反之,當(dāng)αt=0 時(shí),模型更關(guān)注視覺特征信息生成下一個(gè)單詞.

為使雙注意力解碼網(wǎng)絡(luò)更好地解碼視覺特征,本文利用多標(biāo)簽文本W(wǎng)(Ii)初始化LSTM,增強(qiáng)LSTM內(nèi)部的隱藏狀態(tài),初始化方式如式(8)所示:

其中,Wv,Ww是模型需要學(xué)習(xí)的參數(shù),V(Ii)是視覺特征,W(Ii)是多標(biāo)簽文本.

4)中文描述生成

在MLP 層利用Softmax函數(shù)將c′t與詞表D建立映射連接:

其中,yt是指在t時(shí)刻LSTM的輸出,pt是MLP 對(duì)詞表D中不同單詞的預(yù)測概率,Softmax是激活函數(shù),Wt是網(wǎng)絡(luò)的學(xué)習(xí)參數(shù).

3 實(shí)驗(yàn)

本節(jié)對(duì)本文方法的實(shí)驗(yàn)環(huán)境與具體參數(shù)設(shè)置進(jìn)行介紹,并結(jié)合實(shí)驗(yàn)對(duì)本文模型進(jìn)行分析.

1)實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)在深度學(xué)習(xí)服務(wù)器上運(yùn)行,顯卡其型號(hào)是NVIDIA 1070Ti,內(nèi)存大小為8 GB.數(shù)據(jù)的預(yù)處理過程與模型的訓(xùn)練和測試過程均在Python3、PyTorch 0.4 上進(jìn)行.

2)數(shù)據(jù)集

本文在Flickr8k-CN[11]、COCO-CN[18]兩個(gè)圖像中文描述數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).

Flickr8k-CN[11]是首個(gè)圖像中文描述數(shù)據(jù)集,數(shù)據(jù)集中的圖像大多來源于人類真實(shí)生活場景,且圖像中的描述目標(biāo)較為顯著.該數(shù)據(jù)集中共有8000 張圖像,

其中每幅圖像對(duì)應(yīng)5個(gè)描述文本,每個(gè)描述文本從不同的角度描述圖像的內(nèi)容,其中訓(xùn)練集6000 張圖像,驗(yàn)證集1000 張圖像,測試集1000 張圖像.

COCO-CN[18]數(shù)據(jù)集中圖像的場景更為多樣化,圖像中的干擾元素更多,每幅圖像對(duì)應(yīng)的描述文本由1個(gè)到5個(gè)不等,該數(shù)據(jù)集共有20341 張圖像,其中訓(xùn)練集18341 張圖像,驗(yàn)證集1000 張圖像,測試集1000 張圖像.數(shù)據(jù)集構(gòu)成與示例如表1所示.

表1 數(shù)據(jù)集構(gòu)成與示例

3)實(shí)驗(yàn)設(shè)置

由于中文句子缺乏自然分隔符,本文利用THULAC[19]中文分詞工具對(duì)數(shù)據(jù)集中的描述句子進(jìn)行分詞.為避免罕見單詞不利于描述文本生成,本文統(tǒng)計(jì)詞頻大于5的詞語,并且增加“”表示句子開始、“”表示句子結(jié)尾、“”表示未知單詞、“”表示填充單詞4個(gè)具有特殊意義的單詞,建立中文詞表D.利用詞表D對(duì)數(shù)據(jù)集中的文本進(jìn)行向量化.表2給出了不同的數(shù)據(jù)集對(duì)應(yīng)的詞表D大小.

表2 不同數(shù)據(jù)集合對(duì)應(yīng)的詞表D 大小

① 多標(biāo)簽文本生成網(wǎng)絡(luò)參數(shù)設(shè)置

利用詞表D對(duì)圖像中文描述數(shù)據(jù)集中的出現(xiàn)頻率大于5的名詞、動(dòng)詞進(jìn)行映射,得到圖像中文多標(biāo)簽數(shù)據(jù)集.使用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)參數(shù)對(duì)多標(biāo)簽文本生成網(wǎng)絡(luò)進(jìn)行初始化.在網(wǎng)絡(luò)的訓(xùn)練過程中,輸入的圖像分辨率設(shè)置為256×256個(gè)像素,學(xué)習(xí)率大小設(shè)置為0.001.為避免過擬合,訓(xùn)練過程中采用Dropout 對(duì)網(wǎng)絡(luò)的隱藏輸出采樣.本文將多標(biāo)簽文本生成網(wǎng)絡(luò)輸出概率較大的作為該圖像的多標(biāo)簽文本,通過在驗(yàn)證集上進(jìn)行搜索,選取在驗(yàn)證集上取得最好效果為0.9.

② 融合雙注意力與多標(biāo)簽?zāi)Ｐ偷膮?shù)設(shè)置

將雙注意力解碼網(wǎng)絡(luò)的LSTM的隱藏層維度設(shè)置為512,利用Adam 優(yōu)化器優(yōu)化模型的誤差,批訓(xùn)練樣本的大小設(shè)置為32.為了避免過擬合,采用Dropout 對(duì)網(wǎng)絡(luò)的隱藏輸出采樣.在測試階段采用了集束搜索策略,beam_size 大小為1.

③ 模型的評(píng)價(jià)指標(biāo)設(shè)置

本文使用的評(píng)價(jià)指標(biāo)為:BLEU[20]:機(jī)器翻譯的評(píng)價(jià)指標(biāo),能夠分析機(jī)器生成語句和參考語句間的N元文法準(zhǔn)確率,根據(jù)N 元文法的選擇該指標(biāo)有BLEU-1、BLEU-2、BLEU-3、BLEU-4 被廣泛使用.METEOR[21]:利用單精度的加權(quán)調(diào)和平均數(shù)和單字召回率的方法改善BLEU 指標(biāo)存在的問題.ROUGE[22]:通過比較召回率的相似度來度量指標(biāo).

4)實(shí)驗(yàn)結(jié)果與分析

① 實(shí)驗(yàn)1.數(shù)據(jù)集上模型效果對(duì)比

實(shí)驗(yàn)中選擇CS-NIC[8]、軟注意力機(jī)制(Soft-ATT)[11]、自適應(yīng)注意力機(jī)制(Adaptive)[23]、通道注意力機(jī)制(SCA-CNN)[24]作為對(duì)比.其中CS-NIC是作為首個(gè)圖像中文描述模型有重要的參考價(jià)值;軟注意力機(jī)制、通道注意力機(jī)制與自適應(yīng)注意力機(jī)制在圖像英文描述研究中是有效的,為了驗(yàn)證注意力機(jī)制是否能應(yīng)用于中文環(huán)境,本文將在中文的環(huán)境下對(duì)注意力模型重新訓(xùn)練.表3與表4是以上模型在Flickr8k-CN和COCO-CN 數(shù)據(jù)集上的表現(xiàn).

表3 不同模型在Flickr8k-CN 數(shù)據(jù)集上的表現(xiàn)

表4 不同模型在COCO-CN 數(shù)據(jù)集上的表現(xiàn)

圖4是對(duì)表3的可視化.從圖4中可知,相比目前的主流的圖像中文描述模型CS-NIC,本文的模型通過融合雙注意力機(jī)制與圖像多標(biāo)簽文本,在BLEU-1、BLEU-2、BLEU-3 上均有提升,這證明本文提出的模型是有效的.具體地本文模型相比CS-NIC 模型,在BLEU-1 上的提升10.3%,在BLEU-2 上的提升12.1%,在BLEU-3 上的提升17.8%;此外,將注意力機(jī)制在中文的環(huán)境下重新訓(xùn)練后,相比CS-NIC 模型來說在不同的評(píng)價(jià)指標(biāo)上,也均有一定的提升,這說明注意力機(jī)制可以應(yīng)用到中文環(huán)境;另外,相比自適應(yīng)注意力機(jī)制和通道注意力機(jī)制,本文模型在BLEU 評(píng)價(jià)指標(biāo)上也有提升,這一點(diǎn)在表3和表4中均有所體現(xiàn),這說明通過利用多標(biāo)簽文本初始化雙注意力解碼網(wǎng)絡(luò),可以生成更高質(zhì)量的圖像描述句子.

圖4 Flickr8k-CN 數(shù)據(jù)集上不同模型在評(píng)價(jià)指標(biāo)上的得分

② 實(shí)驗(yàn)2.Flickr8k-CN 數(shù)據(jù)集上消融實(shí)驗(yàn)

表5給出了本文模型不同組成部分對(duì)模型提升貢獻(xiàn)度.通過表5可知,相比自適應(yīng)注意力機(jī)制,本文通過融合通道注意力機(jī)制,在BLEU-1 上提升0.1%,在BLEU-2 上提升0.9%,在BLEU-3 上提升0.7%,BLEU-4上提升0.9%,這說明降低在視覺通道特征中誤差因素的干擾,模型可以生成更高質(zhì)量的描述句子;本文模型利用多標(biāo)簽文本初始化LSTM內(nèi)部的隱藏狀態(tài),在BLEU-1 上提升0.4%,在BLEU-2 上提升0.4%,在BLEU上提升0.3%,在BLEU-4 上提升0.9%,這驗(yàn)證了通過利用多標(biāo)簽文本初始化LSTM內(nèi)部的隱藏狀態(tài),可以提升圖像中文描述模型的效果.

表5 不同模型在Flickr8k-CN 數(shù)據(jù)集上的消融實(shí)驗(yàn)

5)可視化實(shí)例分析

根據(jù)圖像中描述對(duì)象的類型和數(shù)量進(jìn)行分類,本文將數(shù)據(jù)集中的描述場景分為3 種類型,即單類單目標(biāo)場景、單類多目標(biāo)場景和多類多目標(biāo)場景.表6是軟注意力機(jī)制(Soft-ATT)、自適應(yīng)注意力機(jī)制(Adaptive)、通道注意力機(jī)制(SCA-CNN)以及本文模型對(duì)不同場景的圖像的描述效果.從表6可看出,本文提出的模型對(duì)圖像中物體的識(shí)別和語義的理解還是比較準(zhǔn)確的.

表6 不同場景下對(duì)比模型生成的圖像中文描述文本

4 總結(jié)與展望

為提升圖像中文描述句子質(zhì)量,本文在驗(yàn)證注意力機(jī)制可用于圖像中文描述生成的基礎(chǔ)上,提出融合雙注意力與圖像多標(biāo)簽的圖像中文描述生成方法.通過在圖像中文描述數(shù)據(jù)集上進(jìn)行評(píng)測,在多個(gè)圖像描述評(píng)價(jià)指標(biāo)上優(yōu)于目前主流的圖像中文描述生成模型.然而本文模型所使用的注意力機(jī)制是英文環(huán)境下的注意力機(jī)制遷移而來的,由于中文與英文語法的差異,因此結(jié)合中文語法規(guī)則設(shè)計(jì)出符合中文環(huán)境的注意力機(jī)制是該領(lǐng)域的目標(biāo).此外,在對(duì)不同場景的圖像分析過程中,本文模型在單類單目標(biāo)場景和多類多目標(biāo)場景下,生成的描述句子更符合圖像本身的內(nèi)容,語義也更為飽滿,但是對(duì)于多類單目標(biāo)的場景,本文模型生成的圖像中文描述句子容易只描述出圖像中的部分區(qū)域,因此在未來的工作中會(huì)專注于提升模型對(duì)圖像全局語義的理解能力.