融合雙注意力與多標簽的圖像中文描述生成方法①

田 楓,孫小強,劉 芳,李婷玉,張 蕾,劉志剛

1(東北石油大學 計算機與信息技術(shù)學院,大慶 163318)

2(中國石油天然氣股份有限公司 冀東油田分公司 信息中心,唐山 063004)

圖像是目前信息傳播的主流媒介之一,隨著成像設(shè)備的普及,圖像數(shù)據(jù)量增長迅速.然而圖像以像素的形式存儲,這與用戶對圖像的解讀之間存在巨大的差異,高效地對海量圖像資源進行檢索和管理極具挑戰(zhàn)性.如何使計算機依照人類理解的形式對圖像進行描述,已是目前圖像理解領(lǐng)域的研究熱點.

圖像描述(Image Caption,IC)[1,2]是指計算機針對給定的圖像,自動地以符合人類語法規(guī)則的句子將該圖像的畫面內(nèi)容進行轉(zhuǎn)換.句子不僅可以作為圖像檢索的元數(shù)據(jù),從而提升對圖像資源的檢索和管理效率;而且相比詞匯標簽能更形象、直觀地傳達圖像內(nèi)容,因此圖像描述任務吸引了眾多研究者關(guān)注.現(xiàn)有的圖像描述研究可分為3 類,分別是基于模板的圖像描述生成方法[3]、基于檢索的圖像描述生成方法[4]以及基于翻譯的圖像描述生成方法[5–10],其中基于翻譯的圖像描述生成方法借助深度學習端到端的訓練特性,通過在大規(guī)模圖像句子對應數(shù)據(jù)集上進行學習,模型生成的描述句子更為新穎.現(xiàn)有的圖像描述工作[3–10]以研究如何為圖像生成英文的描述句子為主,顯然此項研究不應該受限于語言,將圖像描述研究擴展到母語使用人口最多的中文環(huán)境,具有更為重要的現(xiàn)實意義.

相比英文描述,中文詞語含義更加豐富,中文句子結(jié)構(gòu)也更為復雜,因此圖像中文描述任務更具有難度;在模型構(gòu)建方式上,現(xiàn)有的圖像英文描述研究利用編碼器-解碼器框架[5–7]和融合注意力機制的編碼器-解碼器框架[8–10]來構(gòu)建模型,而圖像中文描述模型主要是基于編碼器-解碼器框架構(gòu)建的.例如,2016年Li 等人[11]將文獻[5]中的模型在中文的環(huán)境下重新訓練,實現(xiàn)了首個圖像中文描述模型CS-NIC;2019年張凱等人[12]通過利用機器翻譯構(gòu)建偽語料庫,從而將常規(guī)編碼器-解碼器框架在中文的環(huán)境下重新訓練.通過實驗發(fā)現(xiàn),雖然現(xiàn)有的圖像中文描述模型可以對圖像進行描述,但是描述句子的質(zhì)量仍有待提升.通過對現(xiàn)有的圖像中文描述研究進行分析,本文認為目前圖像中文描述句子質(zhì)量不高的原因可以歸結(jié)為:1)現(xiàn)有研究利用編碼器-解碼器框架來構(gòu)建模型,該框架僅在解碼器的僅接收一次圖像特征,由于解碼器的“遺忘”特性,導致模型生成的描述句子整體質(zhì)量不高;2)中文詞語的含義較為豐富,現(xiàn)有研究在解碼視覺特征時,并未考慮視覺特征中的誤差因素;3)現(xiàn)有方法的優(yōu)化目標主要是基于輸入視覺特征和已經(jīng)生成的詞語,使預測的下一個詞語是正確詞語的概率最大化,這在一定程度上忽略了最終生成句子整體語義與圖像內(nèi)容的關(guān)聯(lián)度.

針對上述問題,2016年Xu 等人[8]在編碼器-解碼器框架中引入注意力機制,使單詞與圖像視覺特征之間進行對齊,提升了模型對視覺特征的鑒別能力.注意力機制與人眼視覺特性相似,其原理是使模型在生成文字序列時,自主決定圖像特征的權(quán)值,從而實現(xiàn)模型動態(tài)地關(guān)注圖像中重要的區(qū)域.此外,也有研究利用從圖像中提取多標簽信息對模型生成的描述句子質(zhì)量進行改善.例如,2019年藍瑋毓等人[13]利用概率編碼的圖像多標簽重排模型生成的描述句子候選集,提升了模型生成的描述句子與圖像內(nèi)容的關(guān)聯(lián)度.因此為提升中文描述句子質(zhì)量,本文在現(xiàn)有研究的基礎(chǔ)上提出融合雙注意力與多標簽的圖像中文描述方法.本文方法通過融合圖像多標簽文本信息,增強解碼器與圖像內(nèi)容的關(guān)聯(lián)度;通過利用注意力機制,使模型能更好地利用視覺特征.通過實驗對比分析,本文模型生成的圖像描述句子更符合圖像的內(nèi)容,對圖像的背景等細節(jié)信息也能夠進行描述.

1 相關(guān)工作

現(xiàn)有的圖像描述生成方法可分為3個類別.

1)基于模板的圖像描述生成方法.該類方法先利用計算機視覺技術(shù)識別出圖像中視覺語義信息,然后填充到模板句子中.該類研究的代表性工作為Fang 等人[3]利用卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)[14,15]預測出一系列詞語,再利用最大熵語言模型生成描述句子.該類方法往往能生成語法正確的描述句子,但是由于模板句子的數(shù)量有限,導致描述句子的多樣性受限.

2)基于檢索的圖像描述生成方法.該類方法將相似圖像描述句子作為輸入圖像的描述句子.該類研究的代表性工作為Ordonez 等人[4]從Flickr 網(wǎng)站收集大量圖片,通過使用數(shù)據(jù)清洗技術(shù)使最終檢索庫中的每幅圖像均對應一個描述句子,然后尋找與測試圖像最相似圖像,將該圖像的描述句子作為測試圖像的描述句子.該類方法往往能生成語義正確的描述句子,但是嚴重依賴于檢索算法與數(shù)據(jù)集質(zhì)量,當數(shù)據(jù)集中缺少與目標圖像相似的圖像,將導致匹配失敗.

3)基于翻譯的圖像描述生成方法.該類方法受機器翻譯的啟發(fā),將圖像看作待翻譯數(shù)據(jù),描述句子視為翻譯結(jié)果,利用編碼器-解碼器框架將圖像內(nèi)容進行翻譯.該類研究的代表性工作為Vinyals 等人[5]利用CNN作為編碼器,將圖像編碼為特定長度的語義向量,然后利用長短時記憶網(wǎng)絡(Long Short Term Memory Neural Network,LSTM)[16]作為解碼器,對語義向量進行解碼,模型使用最大似然概率函數(shù)進行訓練.湯鵬杰等人[7]在編碼器-解碼器框架中融合場景信息,使模型的性能得到提升.該類方法生成的描述句子要更為新穎,成為目前構(gòu)建圖像描述模型的主流方法.

Xu 等人[8]將注意力機制引入到圖像描述研究中,先利用CNN 提取圖像的卷積層特征,在生成每一個單詞時,根據(jù)解碼器LSTM的隱藏狀態(tài)計算出各個特征區(qū)域?qū)臋?quán)重,通過權(quán)重乘上對應區(qū)域的特征對圖像特征重新加權(quán),然后由解碼器對加權(quán)后的特征進行解碼.該類方法通過使模型動態(tài)關(guān)注圖像中的重要區(qū)域,提升模型的性能,吸引了眾多研究者關(guān)注.隨后,越來越多的研究者進一步地提出不同的注意力機制,比如全局-局部注意力機制[9]、自適應注意力機制[10]等.

僅有少數(shù)的工作研究了面向非英語語種的圖像描述.李錫榮等人[11]借助人工翻譯、機器翻譯得到首個中文的數(shù)據(jù)集Flickr8k-cn,并對文獻[5]中的模型重新訓練,得到首個圖像中文描述模型.張凱等人[12]通過利用機器翻譯構(gòu)建偽語料庫,從而完成了端到端的中文描述生成.藍瑋毓等人[13]提出利用概率向量編碼的圖像標簽信息,重排生成的圖像描述文本集,提升了模型生成的描述句子與圖像內(nèi)容的關(guān)聯(lián)度.這些工作都是利用編碼器-解碼器框架構(gòu)建模型,解碼器僅接收一次視覺特征,而且在解碼過程中對視覺特征的利用方式簡單,雖然注意力機制可以根據(jù)解碼器的隱藏狀態(tài)增強視覺特征的利用方式,但是融合注意力機制的編碼器-解碼器框架僅在圖像英文描述生成中被證實是可行的,由于中文與英文之間的差異,注意力機制能否應用到圖像中文描述研究中仍有待驗證;此外,現(xiàn)有利用圖像多標簽改善描述句子質(zhì)量的研究是使用概率向量編碼的圖像多標簽進行的,且并沒有利用圖像多標簽信息生成新的描述句子,對于一幅圖像,其中的對象、場景、行為等信息往往是確定的,如何使用非概率編碼的多標簽文本輔助模型生成更高質(zhì)量的描述句子仍需要實驗進行驗證;最后,本文根據(jù)圖像中包含的目標類型和數(shù)量,對模型的描述能力進行分析.

2 融合雙注意力與多標簽的圖像中文描述生成模型

1)優(yōu)化目標

圖像多標簽不僅能反映圖像內(nèi)容,而且能作為描述句子中的詞語,可為模型生成更高質(zhì)量的中文描述文本提供幫助.因此對于輸入圖像Ii,令中文詞表為D,本文為該圖像預測一個中文標簽集合{Li},標簽Li與D中的單詞對應.即本文利用Li輔助模型生成更高質(zhì)量的中文描述句子S.模型的訓練目標為式(1)所示:

其中,θ是模型需要學習的參數(shù);N是訓練集圖像的數(shù)量;i是指數(shù)據(jù)集中第i幅圖像,M是指第i幅圖像對應的描述句子S的長度,S={s1,s2,…,sn}.因為CNN 提取的視覺特征相比圖像Ii本身,能更好地反映其高層語義,因此令V(Ii)=Ii,V(Ii)表示圖像對應的視覺特征,W(Ii)=Li,W(Ii)表示圖像對應的多標簽文本信息.利用鏈式求導法則,式(1)可轉(zhuǎn)化式(2):

本文利用圖像語義編碼網(wǎng)絡和雙注意力解碼網(wǎng)絡對式(2)進行求解.圖像語義編碼網(wǎng)絡用于提取視覺特征V(Ii)和多標簽文本W(wǎng)(Ii);雙注意力解碼網(wǎng)絡根據(jù)圖像多標簽文本W(wǎng)(Ii),更好地對視覺特征V(Ii)進行解碼,從而生成更高質(zhì)量的描述句子S.融合雙注意力與多標簽的圖像中文描述生成模型框架如圖1所示.

2)圖像語義編碼網(wǎng)絡

如圖1所示,圖像語義編碼網(wǎng)絡由兩部分組成,分別是視覺特征編碼網(wǎng)絡和多標簽文本生成網(wǎng)絡.對于輸入圖像Ii,視覺特征編碼網(wǎng)絡輸出該圖像的視覺特征V(Ii),多標簽文本生成網(wǎng)絡輸出多標簽文本W(wǎng)(Ii).為防止模型在訓練階段的損失相互干擾,圖像多標簽文本預測網(wǎng)絡與圖像視覺特征編碼網(wǎng)絡分離開進行訓練.接下來本文分別介紹這兩個子網(wǎng)絡.

圖1 模型框架圖

① 視覺特征提取網(wǎng)絡

本文以ResNet101 作為視覺特征提取網(wǎng)絡.ResNet-101是ResNet[14]衍生出的一種網(wǎng)絡,通過在大規(guī)模圖像分類數(shù)據(jù)集ImageNet[15]上進行訓練,ResNet101 在目標識別、目標檢測等領(lǐng)域仍能有效刻畫圖像視覺信息.對于輸入圖像Ii,將其縮放到256×256個像素,利用視覺特征提取網(wǎng)絡輸出其視覺特征V(Ii).

② 多標簽文本生成網(wǎng)絡

本文微調(diào)AlexNet[15]網(wǎng)絡結(jié)構(gòu),將微調(diào)后的網(wǎng)絡作為本文的多標簽文本生成網(wǎng)絡.AlexNet是深度學習的一個代表性網(wǎng)絡,不僅在圖像分類等任務上表現(xiàn)優(yōu)異,而且比ResNet 等網(wǎng)絡的計算量少.但是AlexNet 網(wǎng)絡本身并不適用于多標簽分類,因此本文將AlexNet網(wǎng)絡輸出層的神經(jīng)元結(jié)點的數(shù)量修改為中文詞表D的長度,并將最后一層的激活函數(shù)改為適合多分類的Sigmoid 函數(shù).訓練過程中以BCEloss[17]作為模型的損失函數(shù),其數(shù)學表達式如式(3)所示:

其中,N是圖像數(shù)量,m是標簽數(shù)量,其中O∈{0,1}n*o,表示樣本的真實標簽,T∈Rn*o,是模型對不同標簽的預測概率輸出.多標簽文本生成網(wǎng)絡的訓練過程如圖2所示.

圖2 多標簽文本生成網(wǎng)絡訓練過程

對圖像描述數(shù)據(jù)集進行預處理,得到圖像多標簽數(shù)據(jù)集,將微調(diào)后的AlexNet 網(wǎng)絡在圖像多標簽數(shù)據(jù)集上進行訓練,將訓練后模型的參數(shù)遷移到本文的多標簽文本生成網(wǎng)絡中.對于輸入圖像Ii,將其縮放到256×256個像素后,再利用多標簽文本生成網(wǎng)絡輸出概率編碼的圖像多標簽,最后通過設(shè)置閾值輸出圖像對應的多標簽文本W(wǎng)(Ii).

由圖1可知,一幅圖像Ii,模型提取其視覺特征V(Ii)和多標簽文本W(wǎng)(Ii)后,將其輸入到雙注意力的解碼網(wǎng)絡中,由雙注意力解碼網(wǎng)絡對視覺特征進行解碼生成描述詞語.

3)雙注意力解碼網(wǎng)絡

由于中文詞語的含義較為豐富,因此合理地利用視覺特征對于圖像描述生成尤為重要.本文模型在解碼器中引入注意力機制,使解碼器可以根據(jù)LSTM內(nèi)部的隱藏狀態(tài)ht,加權(quán)出與當前輸出詞語關(guān)聯(lián)度高的視覺特征,進而對加權(quán)后的視覺特征進行解碼生成描述詞語.本文的雙注意力解碼網(wǎng)絡工作流程解碼流程如圖3所示.

圖3 雙注意力的解碼網(wǎng)絡工作流程

雙注意力解碼網(wǎng)絡首先利用視覺特征V(Ii)和解碼器上一次輸出詞語更新LSTM內(nèi)部的隱藏狀態(tài)ht,LSTM內(nèi)部更新公式如式(4)所示:

其中,Ew是詞嵌入矩陣,Wt–1是LSTM的上一次的輸出詞語,ht–1是LSTM 上一次的隱藏狀態(tài),xt是LSTM當前的輸入,σ是指Sigmoid 激活函數(shù),f、i、o分別表示LSTM內(nèi)部是否忘記此前信息、是否接受新的輸入以及是否輸出當前信息的“閘門”,W、U和b是LSTM結(jié)構(gòu)中需要訓練的模型參數(shù),⊙表示對應向量與閘門取值的乘積,ct是LSTM 當前的記憶單元狀態(tài),ht是LSTM 當前的隱藏狀態(tài).

由圖3可知,在LSTM內(nèi)部的隱藏狀態(tài)ht更新后,雙注意力解碼網(wǎng)絡根據(jù)LSTM內(nèi)部的隱藏狀態(tài)ht利用通道注意力機制加權(quán)出與當前輸出關(guān)聯(lián)度較高的視覺特征V′(Ii).通道注意力機制從特征通道的角度分析與不同通道的視覺特征與當前輸出詞語的關(guān)聯(lián)度,從而降低特征通道層的誤差干擾,其內(nèi)部的數(shù)學計算為式(5)所示:

其中,B是視覺特征的通道數(shù),tanh和Softmax為激活函數(shù),ba、bb、Wa、Wht、Wb是網(wǎng)絡要學習的參數(shù),V表示視覺特征的每一個通道平均池化后的通道特征,ht表示LSTM 在t時刻的隱藏狀態(tài),β的每個值表示每個通道特征的權(quán)重,⊙表示逐元素相乘,⊕表示逐元素相加.

如圖3所示,雙注意力解碼網(wǎng)絡加權(quán)出與當前輸出詞語關(guān)聯(lián)度高的視覺特征V′(Ii)后,利用自適應注意力機制計算視覺特征V′(Ii)與當前輸出詞語的視覺關(guān)聯(lián)度.自適應注意力機制利用視覺監(jiān)督向量st對LSTM進行擴展,視覺監(jiān)督向量st通過對已經(jīng)生成的文本信息和當前輸入的視覺特征進行建模,分析解碼器輸出的當前詞語是否需要關(guān)注視覺特征.當模型生成非語義詞語時,可以通過視覺監(jiān)督向量st直接生成,而不需要再關(guān)注圖像特征信息.自適應注意力解碼網(wǎng)絡內(nèi)部的計算為:

其中,gt表示LSTM內(nèi)部記憶單元ot中的候選狀態(tài),σ是指Sigmoid 激活函數(shù),Ew是詞嵌入矩陣,xt表示在t時刻LSTM 網(wǎng)絡的輸入單詞.

最后雙注意力機制解碼網(wǎng)絡將原有的上下文向量ct與視覺監(jiān)督向量st進行加權(quán)生成一個新的上下文向量c′t.

其中,參數(shù)αt的取值范圍為0 到1 之間.從式(7)中可以看出,當αt=1 時,新的上下文向量c′t為視覺監(jiān)督向量st,此時雙注意力解碼網(wǎng)絡只需利用已生成的文本信息可以預測下一個詞語;反之,當αt=0 時,模型更關(guān)注視覺特征信息生成下一個單詞.

為使雙注意力解碼網(wǎng)絡更好地解碼視覺特征,本文利用多標簽文本W(wǎng)(Ii)初始化LSTM,增強LSTM內(nèi)部的隱藏狀態(tài),初始化方式如式(8)所示:

其中,Wv,Ww是模型需要學習的參數(shù),V(Ii)是視覺特征,W(Ii)是多標簽文本.

4)中文描述生成

在MLP 層利用Softmax函數(shù)將c′t與詞表D建立映射連接:

其中,yt是指在t時刻LSTM的輸出,pt是MLP 對詞表D中不同單詞的預測概率,Softmax是激活函數(shù),Wt是網(wǎng)絡的學習參數(shù).

3 實驗

本節(jié)對本文方法的實驗環(huán)境與具體參數(shù)設(shè)置進行介紹,并結(jié)合實驗對本文模型進行分析.

1)實驗環(huán)境

本文實驗在深度學習服務器上運行,顯卡其型號是NVIDIA 1070Ti,內(nèi)存大小為8 GB.數(shù)據(jù)的預處理過程與模型的訓練和測試過程均在Python3、PyTorch 0.4 上進行.

2)數(shù)據(jù)集

本文在Flickr8k-CN[11]、COCO-CN[18]兩個圖像中文描述數(shù)據(jù)集上進行實驗.

Flickr8k-CN[11]是首個圖像中文描述數(shù)據(jù)集,數(shù)據(jù)集中的圖像大多來源于人類真實生活場景,且圖像中的描述目標較為顯著.該數(shù)據(jù)集中共有8000 張圖像,

其中每幅圖像對應5個描述文本,每個描述文本從不同的角度描述圖像的內(nèi)容,其中訓練集6000 張圖像,驗證集1000 張圖像,測試集1000 張圖像.

COCO-CN[18]數(shù)據(jù)集中圖像的場景更為多樣化,圖像中的干擾元素更多,每幅圖像對應的描述文本由1個到5個不等,該數(shù)據(jù)集共有20341 張圖像,其中訓練集18341 張圖像,驗證集1000 張圖像,測試集1000 張圖像.數(shù)據(jù)集構(gòu)成與示例如表1所示.

表1 數(shù)據(jù)集構(gòu)成與示例

3)實驗設(shè)置

由于中文句子缺乏自然分隔符,本文利用THULAC[19]中文分詞工具對數(shù)據(jù)集中的描述句子進行分詞.為避免罕見單詞不利于描述文本生成,本文統(tǒng)計詞頻大于5的詞語,并且增加“”表示句子開始、“”表示句子結(jié)尾、“”表示未知單詞、“”表示填充單詞4個具有特殊意義的單詞,建立中文詞表D.利用詞表D對數(shù)據(jù)集中的文本進行向量化.表2給出了不同的數(shù)據(jù)集對應的詞表D大小.

表2 不同數(shù)據(jù)集合對應的詞表D 大小

① 多標簽文本生成網(wǎng)絡參數(shù)設(shè)置

利用詞表D對圖像中文描述數(shù)據(jù)集中的出現(xiàn)頻率大于5的名詞、動詞進行映射,得到圖像中文多標簽數(shù)據(jù)集.使用在ImageNet 數(shù)據(jù)集上預訓練的AlexNet網(wǎng)絡參數(shù)對多標簽文本生成網(wǎng)絡進行初始化.在網(wǎng)絡的訓練過程中,輸入的圖像分辨率設(shè)置為256×256個像素,學習率大小設(shè)置為0.001.為避免過擬合,訓練過程中采用Dropout 對網(wǎng)絡的隱藏輸出采樣.本文將多標簽文本生成網(wǎng)絡輸出概率較大的作為該圖像的多標簽文本,通過在驗證集上進行搜索,選取在驗證集上取得最好效果為0.9.

② 融合雙注意力與多標簽模型的參數(shù)設(shè)置

將雙注意力解碼網(wǎng)絡的LSTM的隱藏層維度設(shè)置為512,利用Adam 優(yōu)化器優(yōu)化模型的誤差,批訓練樣本的大小設(shè)置為32.為了避免過擬合,采用Dropout 對網(wǎng)絡的隱藏輸出采樣.在測試階段采用了集束搜索策略,beam_size 大小為1.

③ 模型的評價指標設(shè)置

本文使用的評價指標為:BLEU[20]:機器翻譯的評價指標,能夠分析機器生成語句和參考語句間的N元文法準確率,根據(jù)N 元文法的選擇該指標有BLEU-1、BLEU-2、BLEU-3、BLEU-4 被廣泛使用.METEOR[21]:利用單精度的加權(quán)調(diào)和平均數(shù)和單字召回率的方法改善BLEU 指標存在的問題.ROUGE[22]:通過比較召回率的相似度來度量指標.

4)實驗結(jié)果與分析

① 實驗1.數(shù)據(jù)集上模型效果對比

實驗中選擇CS-NIC[8]、軟注意力機制(Soft-ATT)[11]、自適應注意力機制(Adaptive)[23]、通道注意力機制(SCA-CNN)[24]作為對比.其中CS-NIC是作為首個圖像中文描述模型有重要的參考價值;軟注意力機制、通道注意力機制與自適應注意力機制在圖像英文描述研究中是有效的,為了驗證注意力機制是否能應用于中文環(huán)境,本文將在中文的環(huán)境下對注意力模型重新訓練.表3與表4是以上模型在Flickr8k-CN和COCO-CN 數(shù)據(jù)集上的表現(xiàn).

表3 不同模型在Flickr8k-CN 數(shù)據(jù)集上的表現(xiàn)

表4 不同模型在COCO-CN 數(shù)據(jù)集上的表現(xiàn)

圖4是對表3的可視化.從圖4中可知,相比目前的主流的圖像中文描述模型CS-NIC,本文的模型通過融合雙注意力機制與圖像多標簽文本,在BLEU-1、BLEU-2、BLEU-3 上均有提升,這證明本文提出的模型是有效的.具體地本文模型相比CS-NIC 模型,在BLEU-1 上的提升10.3%,在BLEU-2 上的提升12.1%,在BLEU-3 上的提升17.8%;此外,將注意力機制在中文的環(huán)境下重新訓練后,相比CS-NIC 模型來說在不同的評價指標上,也均有一定的提升,這說明注意力機制可以應用到中文環(huán)境;另外,相比自適應注意力機制和通道注意力機制,本文模型在BLEU 評價指標上也有提升,這一點在表3和表4中均有所體現(xiàn),這說明通過利用多標簽文本初始化雙注意力解碼網(wǎng)絡,可以生成更高質(zhì)量的圖像描述句子.

圖4 Flickr8k-CN 數(shù)據(jù)集上不同模型在評價指標上的得分

② 實驗2.Flickr8k-CN 數(shù)據(jù)集上消融實驗

表5給出了本文模型不同組成部分對模型提升貢獻度.通過表5可知,相比自適應注意力機制,本文通過融合通道注意力機制,在BLEU-1 上提升0.1%,在BLEU-2 上提升0.9%,在BLEU-3 上提升0.7%,BLEU-4上提升0.9%,這說明降低在視覺通道特征中誤差因素的干擾,模型可以生成更高質(zhì)量的描述句子;本文模型利用多標簽文本初始化LSTM內(nèi)部的隱藏狀態(tài),在BLEU-1 上提升0.4%,在BLEU-2 上提升0.4%,在BLEU上提升0.3%,在BLEU-4 上提升0.9%,這驗證了通過利用多標簽文本初始化LSTM內(nèi)部的隱藏狀態(tài),可以提升圖像中文描述模型的效果.

表5 不同模型在Flickr8k-CN 數(shù)據(jù)集上的消融實驗

5)可視化實例分析

根據(jù)圖像中描述對象的類型和數(shù)量進行分類,本文將數(shù)據(jù)集中的描述場景分為3 種類型,即單類單目標場景、單類多目標場景和多類多目標場景.表6是軟注意力機制(Soft-ATT)、自適應注意力機制(Adaptive)、通道注意力機制(SCA-CNN)以及本文模型對不同場景的圖像的描述效果.從表6可看出,本文提出的模型對圖像中物體的識別和語義的理解還是比較準確的.

表6 不同場景下對比模型生成的圖像中文描述文本

4 總結(jié)與展望

為提升圖像中文描述句子質(zhì)量,本文在驗證注意力機制可用于圖像中文描述生成的基礎(chǔ)上,提出融合雙注意力與圖像多標簽的圖像中文描述生成方法.通過在圖像中文描述數(shù)據(jù)集上進行評測,在多個圖像描述評價指標上優(yōu)于目前主流的圖像中文描述生成模型.然而本文模型所使用的注意力機制是英文環(huán)境下的注意力機制遷移而來的,由于中文與英文語法的差異,因此結(jié)合中文語法規(guī)則設(shè)計出符合中文環(huán)境的注意力機制是該領(lǐng)域的目標.此外,在對不同場景的圖像分析過程中,本文模型在單類單目標場景和多類多目標場景下,生成的描述句子更符合圖像本身的內(nèi)容,語義也更為飽滿,但是對于多類單目標的場景,本文模型生成的圖像中文描述句子容易只描述出圖像中的部分區(qū)域,因此在未來的工作中會專注于提升模型對圖像全局語義的理解能力.