多模態(tài)圖像描述任務(wù)綜述

朱晨豪,葉 霞,陸琪多

(火箭軍工程大學(xué),陜西西安710025)

1 引言

近十年的時間里,深度學(xué)習(xí)技術(shù)飛速發(fā)展,2012年AlexNet[1]在ImageNet圖像識別大賽中一舉奪魁,正式拉開了深度學(xué)習(xí)技術(shù)快速發(fā)展的序幕,卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被更多學(xué)者認(rèn)可,成為計算機(jī)視覺、自然語言處理、機(jī)器學(xué)習(xí)等領(lǐng)域進(jìn)行科研實(shí)驗(yàn)的主流方法。隨著研究人員數(shù)量上的增多,更多高效的網(wǎng)絡(luò)架構(gòu)也被提出,例如:VGG[2]、Google Net[3]、ResNet[4]、LSTM[5]和GRU[6]等,逐步提高了深度學(xué)習(xí)技術(shù)在目標(biāo)識別[21]、語義分割[37]等任務(wù)上的性能表現(xiàn),也解決了許多現(xiàn)實(shí)生活中的許多問題并催生了實(shí)際應(yīng)用,包括手機(jī)中的語音助手、具有人臉識別功能的門禁系統(tǒng)以及現(xiàn)在觸手可及的各種智能家居,都是深度學(xué)習(xí)技術(shù)發(fā)展為人類生活帶來的便利。

當(dāng)深度學(xué)習(xí)技術(shù)在傳統(tǒng)的計算機(jī)視覺和自然語言處理領(lǐng)域取得巨大成功時,有越來越多的學(xué)者關(guān)注到了結(jié)合計算機(jī)視覺和自然語言處理領(lǐng)域的多模態(tài)任務(wù),即嘗試讓機(jī)器通過構(gòu)建能夠聯(lián)合多種模態(tài)信息的模型來捕捉不同模態(tài)之間的對應(yīng)關(guān)系和語義特征,從而能夠同時處理多種形式的數(shù)據(jù)(圖像、音頻、文本等),加深機(jī)器對現(xiàn)實(shí)世界的感知。主要研究任務(wù)有多模態(tài)情感識別[42]、圖片描述[27,30,31]、視頻分類[56]、多模態(tài)對話系統(tǒng)[35]等,它們在現(xiàn)實(shí)生活中都有相應(yīng)的研究背景和應(yīng)用價值,以圖片描述為例,它在目標(biāo)識別的基礎(chǔ)上,進(jìn)一步提高了機(jī)器對圖像理解和描述能力的要求,不僅僅局限于識別圖像內(nèi)的實(shí)體對象并給出其正確的分類標(biāo)簽,而是嘗試讓機(jī)器關(guān)注圖像中實(shí)體之間的關(guān)系,以文本形式來展現(xiàn)圖像中所包含的信息,實(shí)現(xiàn)機(jī)器從看到圖像到看“懂”圖像、從感知智能到認(rèn)知智能的轉(zhuǎn)變,這對人工智能無論是在技術(shù)層面的發(fā)展還是在工業(yè)應(yīng)用上的推動都具有重要意義,該技術(shù)在圖片檢索、視頻描述、幫助視障人群和嬰幼兒早教方面都有極大的應(yīng)用前景。

2 圖像描述方法的發(fā)展與分類

在本節(jié)中,將介紹圖像描述任務(wù)各類方法的發(fā)展情況,根據(jù)文本生成時是否依賴于人為制定的規(guī)則將所有方法分為兩大類:半自動化生成方法和自動化生成方法,在這兩類之下,又從生成規(guī)則、模型架構(gòu)、模態(tài)融合等方面對各類方法進(jìn)行詳細(xì)劃分,為了使讀者有更直觀清楚的閱讀體驗(yàn),方法分類結(jié)構(gòu)如圖1所示。

圖1 圖像描述任務(wù)的方法分類

2.1 半自動化生成方法

這類方法是圖像描述生成早期的方法,這類方法的特征是文本生成模型一般都有所依賴,要遵循已有的標(biāo)題生成規(guī)則或圖像和標(biāo)題的語料庫來生成圖像描述。按照生成規(guī)則的不同,又分為了基于固定模板的方法和基于空間檢索的方法。

2.1.1 基于固定模板的方法

Farhadi等人[22]提出了一個由物體、動作、場景組成的三元組模板填充方法,通過求解馬爾可夫隨機(jī)場(MRF)從圖像中檢測出相應(yīng)的三元組元素,將其填充到模板相應(yīng)的空白槽中來生成文本描述。Kulkarni等人[19]在此基礎(chǔ)上擴(kuò)展介詞元素,組成四要素對模板進(jìn)行填充。基于模板方法步驟分為:

1)預(yù)定義帶有空白槽的模板;

2)從圖像中檢測出對象、動作、場景等要素;

3)將上一步的要素填入空白槽生成標(biāo)題。

由于該方法的模板結(jié)構(gòu)和長度固定,不能根據(jù)特定圖像的需要生成變長語句描述,導(dǎo)致生成的文本句式固定,不同圖像描述任務(wù)生成的語句具有很高相似性,與人為自然化描述有較大差距,所以基于模板的方法不能完全勝任圖像描述的生成任務(wù)。

2.1.2 基于空間檢索的方法

空間檢索方法需要維護(hù)一定數(shù)量圖片和與之相匹配的標(biāo)題組成的語料庫,將它作為圖像描述任務(wù)的檢索庫。例如,Hodosh等人[14]創(chuàng)建了由8000張圖片和40000條標(biāo)題組成的語料庫,每張圖片有5個不同的標(biāo)題來描述其中對象與事件,整個語料庫用于支撐圖片和文本的空間檢索方法。其方法概括為:

1)首先基于圖像搜索方法在檢索池中檢索相似圖像;

2)將相似圖像的標(biāo)題作為候選的標(biāo)題庫,然后從中選擇最為匹配語段組成標(biāo)題。

該方法要花費(fèi)較大的人力和時間去維護(hù)一個語料庫,如果語料庫數(shù)據(jù)范圍存在局限性導(dǎo)致與檢索圖像匹配度過低,則生成的標(biāo)題會在語義和精確度上呈現(xiàn)出較差結(jié)果。而這種根據(jù)已有的標(biāo)題進(jìn)行檢索生成標(biāo)題的方法顯然不能達(dá)到人工智能標(biāo)準(zhǔn),因?yàn)樗荒軌蚋鶕?jù)自己的理解創(chuàng)造性的為圖像生成標(biāo)題。

2.2 自動化生成方法

隨著CNN和RNN在計算機(jī)視覺和機(jī)器翻譯任務(wù)上取得較好效果,在各大比賽中拔得頭籌時,這也直接影響了計算機(jī)視覺和自然語言處理交叉領(lǐng)域圖像描述任務(wù)的進(jìn)展,有學(xué)者將其應(yīng)用到多模態(tài)領(lǐng)域的圖像描述任務(wù),提出了基于神經(jīng)網(wǎng)絡(luò)的端到端模型,這種模型一般采用編碼器—解碼器架構(gòu),相較于基于固定模板或空間檢索的方法,該方法不依賴人為預(yù)定的生成規(guī)則或用于檢索的語料庫,生成的文本句式靈活、創(chuàng)新度高,對于不同圖像的描述任務(wù)有較高的泛化能力,逐漸成為研究熱點(diǎn),本文從多角度將自動化生成方法分為不同類別。

2.2.1 視覺空間表示方法

該方法以卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的視覺向量作為圖像和文本之間的媒介,將圖像特征向量和文本特征向量作為獨(dú)立輸入傳給解碼器,以生成文本。Fang等人[49]提出了詞檢測器模型,提取出圖像中可能存在的單詞表述詞集,基于這個詞集來生成文本描述。Lebret等人[50]提出用短語來表示圖像中的內(nèi)容,基于短語集來生成文本描述。

2.2.2 多模態(tài)空間表示方法

單模態(tài)數(shù)據(jù)往往不能包含所有有效信息,例如:文本數(shù)據(jù)無法包含音頻中的語氣語調(diào)信息,音頻數(shù)據(jù)又無法包含視頻中的神態(tài)和肢體動作的信息。所以對于預(yù)測任務(wù),不同模態(tài)數(shù)據(jù)之間存在語義上的互補(bǔ)性,多模態(tài)融合能實(shí)現(xiàn)信息的補(bǔ)充,使得預(yù)測結(jié)果更為精確。多模態(tài)數(shù)據(jù)的融合方法也成為了多模態(tài)任務(wù)中的基礎(chǔ)性問題,現(xiàn)有的融合方法主要分為三類:前端融合、中間融合和后端融合。其中圖片描述任務(wù)應(yīng)用中間融合方法居多,這類方法的模態(tài)融合步驟為:

1)通過CNN和RNN,分別取得圖像特征向量和文本特征的詞向量;

2)將視覺特征向量和文本特征的詞向量映射到共同的多模態(tài)向量空間;

3)將多模態(tài)空間向量傳給語言模型解碼器生成文本描述。

Kiros等人[30]首次提出了多模態(tài)語言模型,基于對數(shù)雙線性模型提出了模態(tài)偏對數(shù)雙線性模型和三因子對數(shù)雙線性模型,該方法基于卷積神經(jīng)網(wǎng)絡(luò)和多模態(tài)神經(jīng)語言模型,通過學(xué)習(xí)圖片和文本的聯(lián)合表示來生成文本描述。在現(xiàn)在看了該融合方法雖然有不足之處,但它首次將多模態(tài)融合的數(shù)據(jù)表示方法引入學(xué)者視線中,對于圖像描述任務(wù)的發(fā)展仍有重大意義。Kiros等人[31]在文獻(xiàn)[30]的基礎(chǔ)之上將學(xué)習(xí)到的圖片和文本表示,通過一個全連接層映射到多模態(tài)空間,引入了結(jié)構(gòu)-內(nèi)容神經(jīng)語言模型(Structure-Content Neural Language Model-s,SC-NLM)模型對多模態(tài)空間向量進(jìn)行解碼生成標(biāo)題,它能夠提取句子結(jié)構(gòu)變量來指導(dǎo)標(biāo)題的生成,降低語法錯誤概率。比較有意思的是,由于SC-NLM采用線性編碼器,學(xué)習(xí)得到的多模態(tài)空間向量也滿足加法運(yùn)算性質(zhì)。

Mao等人[40]提出了多模態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)模型(M-RNN),該模型包含兩個詞向量層,一個RNN層,一個多模態(tài)層和一個SoftMax輸出層。多模態(tài)層將三個輸入(文本特征、循環(huán)層特征和圖像特征)通過元素相加的方式來映射到共同的多模態(tài)向量空間,該方法沒有考慮文本和視覺特征之間的語義關(guān)系,忽略了多模態(tài)融合時的語義對齊問題,這樣的映射處理過于粗糙會產(chǎn)生噪聲,對模型最終產(chǎn)生的結(jié)果會有負(fù)面影響,導(dǎo)致生成描述的準(zhǔn)確性下降。

針對多模態(tài)融合時的語義對齊問題,Karp-athy等人[43]在文獻(xiàn)[36]的基礎(chǔ)上提出了視覺語義對齊模型,該模型由負(fù)責(zé)提取圖像視覺特征的R-CNN[21]、提取文本特征的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(B-RNN)以及計算圖像與文本匹配得分的函數(shù)三部分組成,通過計算句子片段和圖像區(qū)域的向量點(diǎn)積來代表兩者的相似性度量,只將相似性最高的句子片段和對應(yīng)的圖像區(qū)域進(jìn)行匹配,以相互匹配的圖片區(qū)域和句子片段作為目標(biāo)函數(shù)中的得分項,以不匹配的圖片區(qū)域和句子片段作為懲罰項,來不斷優(yōu)化模型參數(shù),達(dá)到語義對齊的效果。實(shí)驗(yàn)結(jié)果表明,在將多模態(tài)信息進(jìn)行語義對齊后,模型在圖像與句子的檢索和生成任務(wù)上的表現(xiàn)都有所提升。

Chen等人[51]研究了圖像和文本雙向映射的可能性,在為圖像生成描述的基礎(chǔ)上,嘗試讓機(jī)器能夠像人一樣通過文本描述而生成與之相匹配的畫面。在Mikolo等人[9,10]工作的基礎(chǔ)上做了結(jié)構(gòu)上的創(chuàng)新,這里的模態(tài)融合把VGG網(wǎng)絡(luò)提取到的視覺特征作和RNN時間步t-1時刻隱藏層的輸出作為時間步t的輸入,計算出單詞Wt的概率。該文章主要貢獻(xiàn)分成兩個方面:

1)提出了一個全新的任務(wù)。不同于前期大家致力于由圖像生成對于描述的目標(biāo),該文獻(xiàn)提出了由文本描述生成對應(yīng)視覺表示的全新任務(wù);

2)提出一個可以實(shí)現(xiàn)文本和圖片相互轉(zhuǎn)化的雙向生成模型,該模型主要是在文獻(xiàn)[9,10]的基礎(chǔ)上增加了循環(huán)視覺隱藏層,它能根據(jù)上層RNN生成的文本來更新調(diào)整圖像內(nèi)容,也可以將生成的圖像與輸入圖像視覺特征集進(jìn)行比較,幫助RNN預(yù)測下一個詞語。

2.2.3 組合網(wǎng)絡(luò)結(jié)構(gòu)

組合網(wǎng)絡(luò)架構(gòu)[48-50,55]一般是由幾個獨(dú)立的模塊組成的非端到端模型,主要包括提取圖像特征的視覺模塊和生成文本的語言模型模塊,這類結(jié)構(gòu)一般將圖片描述任務(wù)分成幾步來完成,其方法如下:

1)由CNN或其它視覺模塊提取圖像特征,包括場景、對象、屬性等信息;

2)語言模型根據(jù)步驟1中的信息生成候選文本描述;

3)根據(jù)圖片—文本相似度度量模型篩選出得分最高的文本描述。

Fang等人[49]采用bottom-up機(jī)制,整個模型由詞檢測器、最大熵語言模型和深度多模態(tài)相似模型(Deep Multimodal Similarity Model,DMSM)三部分組成,DMSM是在單模態(tài)深度結(jié)構(gòu)化語義模型[59]的基礎(chǔ)上提出的,它由圖片模型和文本模型兩部分神經(jīng)網(wǎng)絡(luò)組成,將文本和圖片模態(tài)數(shù)據(jù)映射到共同的語義空間,定義兩者的余弦相似度為生成描述和圖像之間的匹配程度。本文生成描述的方法為:

1)訓(xùn)練詞檢測器。常用的圖像檢測方法智能檢測出圖像中的實(shí)體,而形容詞、動詞等描述性詞語很難檢測出了,為了從圖像中檢測出想要的詞,采用弱監(jiān)督的多示例學(xué)習(xí)方法Noisy-OR MIL在由訓(xùn)練標(biāo)題組成的詞集上訓(xùn)練詞檢測器;

2)提取單詞集。用訓(xùn)練好的詞檢測器提取出圖像中所有可能存在的詞;

3)生成描述集。基于檢測出的單詞集,使用最大熵函數(shù)語言模型使生成的描述盡可能包含多的信息;

4)計算圖像—文本相似度。使用DMSM計算生成描述與圖片之間的相似度,選擇具有最高相似度的文本作為最終結(jié)果。

Ma等人[48]提出使用基于多層優(yōu)化的多任務(wù)方法來生成〈對象,屬性,動作,場景〉的結(jié)構(gòu)化詞語作為LSTM輸入生成描述。Lebret等人[50]認(rèn)為圖像描述的關(guān)鍵要素是名詞短語,而名詞短語之間的作用關(guān)系則可以用介詞短語或動詞短語來表示,所以只要識別出圖像中的名詞短語、介詞短語和動詞短語后便能很好的對一副圖像進(jìn)行描述,提出了一種檢測圖像短語描述的模型,由短語來生成文本描述。利用CNN從圖像中提取可能的短語集,將短語向量表示為短語中詞向量的平均值,采用約束語言模型生成文本描述,固定的生成規(guī)則會限制模型學(xué)習(xí)方向,無法學(xué)習(xí)更多自然描述方式來修飾句子,從而大大減小生成語句的靈活性。組合網(wǎng)絡(luò)結(jié)構(gòu)的幾個組成模塊不能實(shí)現(xiàn)端到端訓(xùn)練,需要分別學(xué)習(xí)各部分模型參數(shù)。

2.2.4 編碼器—解碼器結(jié)構(gòu)

編碼器—解碼器結(jié)構(gòu)是一種端到端的學(xué)習(xí)機(jī)制,網(wǎng)絡(luò)接收輸入圖像之后的輸出結(jié)果便是對該圖像的描述,一般由CNN視覺編碼器和LSTM語言解碼器組成,如圖2所示。

圖2 編碼器—解碼器結(jié)構(gòu)示意圖

Kiros等人[31]受機(jī)器翻譯和多模態(tài)學(xué)習(xí)最新方法的啟發(fā),將編碼器和解碼器引入了圖像描述任務(wù),提出使用CNN和LSTM組成的編碼器學(xué)習(xí)圖片和文本表示,SC-NLM模型對多模態(tài)空間向量進(jìn)行解碼生成標(biāo)題。Vinyals等人[41]提出了一種神經(jīng)圖像標(biāo)題生成器(Neural Image Caption Generator,NIC)模型,NIC是典型的端到端模型,由CNN和LSTM組成編碼器和解碼器,CNN隱藏層的輸出作為LSTM編碼器的輸入。Wang等人[34]提出了并行RNN-LSTM結(jié)構(gòu),進(jìn)一步提高了解碼效率。

經(jīng)典LSTM在生成長序列時的生成效果會下降,主要問題在于CNN編碼器傳入的圖像信息只在t0時刻傳入LSTM,隨著時間步的增加,圖像信息的指導(dǎo)作用會逐漸減弱,LSTM也不能保留所有時間步的信息,會遺忘之前的已經(jīng)生成的文本,只能結(jié)合當(dāng)前時間步的輸入以及之前一定范圍內(nèi)的隱藏狀態(tài)預(yù)測輸出。針對此問題,Jia等人[37]主要對LSTM提出了改進(jìn),在原有遺忘門、輸入門、輸出門的基礎(chǔ)之上增加了一個從圖像中提取的全局語義信息作為額外輸入,這樣LSTM的每個單元中每個門都有全局語義信息的輸入,使圖像信息能夠持續(xù)的指導(dǎo)文本生成,提高生成的文本與圖像內(nèi)容的契合度。g-LSTM根據(jù)全局語音信息的不同又細(xì)分為基于檢索指導(dǎo)、語義向量指導(dǎo)和圖像指導(dǎo)。

LSTM對當(dāng)前輸出的預(yù)測依賴于視覺特征和前一時刻隱藏層信息,無法根據(jù)下文信息推斷當(dāng)前的輸出。為了利用上下文信息提高預(yù)測的準(zhǔn)確率,Wang等人[53]使用雙向長短期記憶網(wǎng)絡(luò)(Bidirectional LSTM,b-LSTM),整個模型由負(fù)責(zé)圖像編碼的CNN,文本編碼的b-LSTM和多模態(tài)LSTM三部分組成,b-LSTM分別按照順序和倒序?qū)斎胛谋揪幋a,同視覺特征向量輸入多模態(tài)LSTM層嵌入到共同語義空間,并解碼成文本描述。

不難看出對于編碼器—解碼器結(jié)構(gòu)的改進(jìn),主要從圖像特征提取的編碼器和生成描述的解碼器部分入手,嘗試使用性能更強(qiáng)大的網(wǎng)絡(luò)來提取圖像內(nèi)的信息(圖像中的對象、對象之間的聯(lián)系等)。解碼器部分對RNN或LSTM的改進(jìn)也是為了根據(jù)編碼器的輸出生成更精確的描述。未來隨著目標(biāo)檢測和機(jī)器翻譯技術(shù)的進(jìn)一步發(fā)展,基于編碼器—解碼器的圖像描述方法也會隨之取得更好的效果。

2.2.5 注意力機(jī)制

為了使生成描述能夠更加細(xì)致的,研究人員在原有方法的基礎(chǔ)上引入了注意力機(jī)制[23-29,66-72],以在特征提取方面取得更好的效果。Xu等人[27]受機(jī)器翻譯任務(wù)啟發(fā),提出了一種基于注意力機(jī)制模型,該模型提出了軟確定性和硬隨機(jī)性兩種注意力方法。文獻(xiàn)[70]在文獻(xiàn)[27]的基礎(chǔ)上提出了改進(jìn),將全連接層替換為分組卷積的注意力機(jī)制。Pedersoli等人[24]提出了一種區(qū)域注意力模型,該模型使用基于空間Transformer的卷積變體來提取圖像的注意區(qū)域,將注意區(qū)域與生成的詞聯(lián)合起來,對下一時刻的生成詞和注意區(qū)域進(jìn)行預(yù)測。文獻(xiàn)[65]提出一種多層注意力模型,多層注意力結(jié)構(gòu)與多層LSTM交叉連接組成多層次的語言模型,由Faster-RCNN提取不同區(qū)域的圖像特征,分層依次傳入多層次語言模型生成描述。

在注意力驅(qū)動模型的情況下,體系結(jié)構(gòu)隱式地選擇在每個時間步驟中關(guān)注哪些區(qū)域,但它不能從外部進(jìn)行監(jiān)督,無法控制描述哪些區(qū)域以及每個區(qū)域的重要性。Cornia等人[45]提出了一種區(qū)域可控的注意力模型,通過Fast-RCNN得到區(qū)域序列,再由排序網(wǎng)絡(luò)(SortingNetwork)得到排序后的區(qū)域序列,在原有LSTM基礎(chǔ)上增加了語塊轉(zhuǎn)換門和自適應(yīng)注意力機(jī)制的視覺哨兵,前者選擇下一時間步的圖像區(qū)域,哨兵向量控制模型在預(yù)測詞語時是否根據(jù)圖像區(qū)域進(jìn)行預(yù)測。

2.2.6 強(qiáng)化學(xué)習(xí)方法

以上所提及的工作都是監(jiān)督學(xué)習(xí)方法,這些方法都存在共性問題,訓(xùn)練出來的模型受限于標(biāo)注的數(shù)據(jù)集,所以模型生成的文本與數(shù)據(jù)集的描述很相似,這種現(xiàn)象成為暴露偏差,成因是模型的輸入在訓(xùn)練和推斷時的不一致造成的。在訓(xùn)練時每一個詞輸入都來自真實(shí)樣本,但是在推斷時輸入用的卻是上一個詞的輸出。為解決這個問題,研究人員引入了強(qiáng)化學(xué)習(xí)方法。Ren等人[73]提出了基于政策網(wǎng)絡(luò)和價值網(wǎng)絡(luò)的圖像描述方法,分別起到局部和全局指導(dǎo)的作用,其中政策網(wǎng)絡(luò)根據(jù)當(dāng)前狀態(tài)預(yù)測下個詞語,價值網(wǎng)絡(luò)評估當(dāng)前狀態(tài)的可能拓展評估獎勵價值,使用了一種新的視覺語義嵌入獎勵的actor-critic強(qiáng)化學(xué)習(xí)方法來訓(xùn)練這個模型。Ranzato等人[74]針對暴露偏差問題,提出一種新的序列訓(xùn)練方法,在解碼器部分采用了基于強(qiáng)化學(xué)習(xí)的混合增量交叉熵增強(qiáng)方法 (Mixed Incremental Cross-Entropy Reinforce,MIXER),在訓(xùn)練時通過隨機(jī)采樣的方法使用前一時刻預(yù)測的高概率詞語作為下一時刻的輸入,避免因訓(xùn)練和測試時輸入不同問題導(dǎo)致生成描述的準(zhǔn)確性降低。Rennie等人[75]提出了自我批判序列訓(xùn)練(self-critical sequence training,SCST)優(yōu)化算法,該方法使用貪婪搜索的方法計算獎勵信號,利用測試時的輸出獎勵規(guī)范獎勵信號,這樣可以避免估計獎勵信號和獎勵歸一化,實(shí)驗(yàn)結(jié)果表明,該方法能夠提升模型訓(xùn)練效果。

2.3 小結(jié)

本節(jié)從多角度對圖像描述任務(wù)方法進(jìn)行分類,為了對各方法的具體效果有更直觀的展示,從各類別中選出幾個方法在MS COCO數(shù)據(jù)集上的效果進(jìn)行對比,見表1。

表1 不同方法在MS COCO數(shù)據(jù)集上的對比

3 常用數(shù)據(jù)集和評價指標(biāo)

3.1 常用數(shù)據(jù)集

深度學(xué)習(xí)技術(shù)的發(fā)展是建立在大型數(shù)據(jù)集的基礎(chǔ)之上,如果沒有數(shù)據(jù)集提供給模型進(jìn)行訓(xùn)練,模型的各種性能的比較就無從提起。本節(jié)介紹了圖像描述領(lǐng)域常用的6個數(shù)據(jù)集,從圖片數(shù)量、平均標(biāo)注數(shù)量、實(shí)體類別、是否分組四個方面進(jìn)行對比,見表2。

表2 數(shù)據(jù)集對比

3.1.1 Flickr8K

Flickr8K數(shù)據(jù)集總共包含8000張圖片,每張圖片配有5個不同的標(biāo)注,對圖片中的內(nèi)容進(jìn)行了描述。其中6000張圖片和對應(yīng)的標(biāo)注組成訓(xùn)練數(shù)據(jù)集,2000張用于測試和開發(fā)。

3.1.2 Flickr30K

Flickr30K數(shù)據(jù)集包含31783張圖像,每個圖像有五條不同的標(biāo)注,共計158915句話,它沒有劃分好訓(xùn)練集和測試集,訓(xùn)練集和測試集的大小和內(nèi)容可以由研究人員按需確定。

3.1.3 MSCOCO

MS COCO是由微軟團(tuán)隊提供的用于圖像識別、語義分割和圖像標(biāo)注的數(shù)據(jù)集,有超過30萬張圖片、200多萬條標(biāo)注,圖像分為80種類別并且已經(jīng)劃分好了訓(xùn)練集和測試集。

3.1.4 Visual Genome

Visual Genome數(shù)據(jù)集是斯坦福大學(xué)李飛飛團(tuán)隊于2016年發(fā)布的大規(guī)模圖片語義理解數(shù)據(jù)集,共計10.8萬多張圖片,每張圖像平均包含35個對象、26個屬性和21個對象之間的成對關(guān)系。標(biāo)注工作主要包括七個部分:區(qū)域描述、對象、屬性、關(guān)系、區(qū)域圖、場景圖和問答對。

3.1.5 Instagram

Instagram數(shù)據(jù)集是由Tran等人[55]和Chunseong等人[56]提出的兩個數(shù)據(jù)集組成,包含來自Instagram應(yīng)用上的約1萬張圖片,大部分是名人的照片。后者提出的數(shù)據(jù)集主要應(yīng)用于標(biāo)簽預(yù)測任務(wù),包含了110萬條主題廣泛的帖子和一個來自6300多個用戶的標(biāo)簽列表。

3.1.6 ImageNet

ImageNet數(shù)據(jù)集是深度學(xué)習(xí)圖像研究領(lǐng)域經(jīng)常使用的大型可視化數(shù)據(jù)庫。超過1400萬的圖像URL被ImageNet手動注釋,來標(biāo)注出圖像中的對象,在至少一百萬個圖像中,還提供了邊界框。ImageNet包含2萬多個類別,每個類別包含數(shù)百個圖像。

3.2 評價指標(biāo)

由于圖像描述任務(wù)生成的是文本描述,不同于目標(biāo)檢測任務(wù),文本打分并沒有一個完美的評判標(biāo)準(zhǔn),其中最重要的還是人類對生成描述的評價,但由于人與人的看法不同,難以有一個統(tǒng)一的評判標(biāo)準(zhǔn),所以對于圖像描述任務(wù)采用有固定標(biāo)準(zhǔn)的評價機(jī)制,常用的評價指標(biāo)有BLEU、ROUGE、METEOR和CIDEr。

3.2.1 BLEU

BLEU(Bilingual Evaluation Understudy)實(shí)際上是判斷兩個句子的相似程度,基于n-gram來判斷譯文與參考譯文的n元組匹配個數(shù),得分范圍是0～1,得分越高代表模型效果越好,根據(jù)n的不同又分為不同指標(biāo),如,BLEU-1、BLEU-2等,一般只計算BLEU-1～4的得分。

3.2.2 ROUGE

ROUGE(recall-oriented understanding for gisting evaluation)是評估自動文摘以及機(jī)器翻譯的一組指標(biāo)。它將生成的描述與人工描述進(jìn)行比對,統(tǒng)計二者之間相同的基本單元的數(shù)目,來評價摘要的質(zhì)量,得分越高代表模型效果越好,常用的評價標(biāo)準(zhǔn)有:Rouge-N、Rouge-L、Rouge-S等。

3.2.3 METEOR

METEOR是基于單精度的加權(quán)調(diào)和平均數(shù)和單字召回率的度量方法,它將語序納入打分范圍,通過比對生成文本與參考文本的單個詞的重疊部分,當(dāng)兩者不同時適當(dāng)給予懲罰來降低分?jǐn)?shù),同樣也是得分越高代表模型效果越好。

3.2.4 CIDEr

與以上方法不同,CIDEr是為圖像描述專門提出的一種評價方法,其基本工作原理就是通過度量帶測評語句與其它大部分人工描述句之間的相似性來評價相似性,CIDEr首先根據(jù)n-grams編碼參考句子中的出現(xiàn)頻率,根據(jù)信息熵公式,數(shù)據(jù)集中圖片出現(xiàn)頻率越高其包含的信息量越少,相應(yīng)的其權(quán)重也應(yīng)降低,通過TF-IDF計算每個n-gram的權(quán)重。將句子用n-gram表示成向量形式,每個參考句和生成句之間通過計算TF-IDF向量的余弦距離來度量其相似性。

4 結(jié)論

本文回顧了近年來多模態(tài)領(lǐng)域圖像描述任務(wù)的發(fā)展,對其方法從多角度進(jìn)行了分類總結(jié),深度學(xué)習(xí)的方法和強(qiáng)化學(xué)習(xí)方法的引入,使得圖像描述效果得到很好地提升,也產(chǎn)生了許多應(yīng)用,但距離真正意義上使機(jī)器能夠智能化描述圖像還有不小的差距?；谀壳鞍l(fā)展趨勢,以下幾個方面可能會成為未來研究重點(diǎn)。

1)從監(jiān)督學(xué)習(xí)轉(zhuǎn)向無監(jiān)督學(xué)習(xí)圖像描述方法研究。機(jī)器監(jiān)督學(xué)習(xí)需要使用有標(biāo)注的圖像數(shù)據(jù)集,但圖像數(shù)據(jù)集的標(biāo)注是一項耗時耗力的工作,現(xiàn)有標(biāo)注的數(shù)據(jù)集容量遠(yuǎn)小于未標(biāo)注的數(shù)據(jù),由于無監(jiān)督學(xué)習(xí)方法可以擺脫數(shù)據(jù)集限制,使用未標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練,所以為了取得更好的效果,無監(jiān)督學(xué)習(xí)方法可能會成為未來圖像描述任務(wù)的研究熱點(diǎn)。

2)帶有情感的多樣化圖像描述生成研究。通過數(shù)據(jù)集訓(xùn)練得到的描述模型,其描述風(fēng)格在一定程度上與數(shù)據(jù)集中描述的風(fēng)格相類似,無法做到像人類一樣根據(jù)看到圖像時的情感來生成多樣化的描述,在未來的研究中,可以考慮將情感作為額外的輸入信息,來指導(dǎo)編碼器結(jié)構(gòu)生成描述文本,從而生成多樣化圖像描述。

3)去復(fù)雜化的圖像描述模型研究。自從引入深度學(xué)習(xí)技術(shù)后,圖像描述任務(wù)的模型不斷復(fù)雜化,從組合網(wǎng)絡(luò)到編碼器—解碼器結(jié)構(gòu),在編碼器—解碼器的基礎(chǔ)上又加入了注意力機(jī)制,而且神經(jīng)網(wǎng)絡(luò)層數(shù)的加深會導(dǎo)致誤差累積而降低訓(xùn)練效果。模型復(fù)雜化會提高對設(shè)備的算力要求,不利于圖像描述技術(shù)在手機(jī)、車載電腦等微端的應(yīng)用。所以為了使圖像描述技術(shù)更好的應(yīng)用于現(xiàn)實(shí)生活中,模型的去復(fù)雜化研究可能成為未來的研究方向。