基于卷積塊注意力模塊的圖像描述生成模型①

余海波,陳金廣

1(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,西安 710600)

2(河南省電子商務(wù)大數(shù)據(jù)處理與分析重點(diǎn)實(shí)驗(yàn)室,洛陽 471934)

圖像描述涉及了計(jì)算機(jī)視覺和自然語言處理兩部分的內(nèi)容,它是利用模型把一張圖片轉(zhuǎn)化成與之對應(yīng)的自然語言描述.圖像描述在多個(gè)領(lǐng)域都具有重要的作用,例如導(dǎo)盲、自動(dòng)生成圖片標(biāo)簽等,這不僅方便了人們的生活,也為大數(shù)據(jù)時(shí)代隨之而來的海量圖片標(biāo)注減少了大量的人力.

圖像描述生成[1]主要經(jīng)歷了3 個(gè)發(fā)展階段:基于模板的圖像描述生成[2-4],該方法通過檢測得到物體及物體屬性之間的關(guān)系,之后將單詞填入固定的句子模板,但該模型過于死板;基于檢索的圖像描述生成[5],該方法先檢索與當(dāng)前圖像相似的圖像作為模板,在檢索圖像關(guān)系前需要調(diào)整,這個(gè)步驟增加了算法的復(fù)雜度;基于深度學(xué)習(xí)的圖像描述生成[6,7],通過構(gòu)建編碼器-解碼器框架,采用端到端的方法對模型進(jìn)行訓(xùn)練.相對前兩種方法,后者在圖像描述的準(zhǔn)確性上有較大的提升.Vinyals 等提出NIC (Neural Image Caption)模型[8],其思路來源于機(jī)器翻譯通過最大化源語言S轉(zhuǎn)化成目標(biāo)語言T的概率p(T/S),將第一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)替換成卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[9],用于提取圖片的特征.Xu 等[10]在NIC 模型的基礎(chǔ)上引入注意力機(jī)制,提取圖片的重要信息,提升了模型的準(zhǔn)確率.大多數(shù)的視覺注意力機(jī)制只建?？臻g注意力機(jī)制(spatial attention).Chen 等提出了SCA-CNN 模型[11],該模型同時(shí)建?？臻g注意力機(jī)制和通道注意力機(jī)制(channel-wise attention),較大的提升了模型的性能,但該模型不夠輕便、靈活.Woo 等在SCA-CNN的基礎(chǔ)上提出了一種輕量級(jí)通用卷積塊注意力機(jī)制模塊(Convolutional Block Attention Module,CBAM)[12].該注意力機(jī)制結(jié)合空間注意力機(jī)制和通道注意力機(jī)制,并且兩種注意力機(jī)制都使用平均池化和最大池化技術(shù),使模型的效果更好.

考慮到注意力機(jī)制在圖像描述生成中的有效性,在文獻(xiàn)[12]的基礎(chǔ)上提出了一種基于CBAM的圖像描述生成模型.該模型將CBAM 模塊應(yīng)用到Inceptionv4[13]網(wǎng)絡(luò)中,用于提取圖片特征,并送入長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)[14],生成符合圖像內(nèi)容描述的自然語言.模型使用dropout和正則化技術(shù)防止過擬合,利用Word2Vec[15]技術(shù)對自然語言進(jìn)行編碼處理,以避免維度災(zāi)難等問題.

1 模型架構(gòu)

1.1 Inception-v4 網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的核心技術(shù),目前性能接近的兩個(gè)網(wǎng)絡(luò)為Inception-v4和Inception-ResNetv2.本文選取Inception-v4 網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò),結(jié)構(gòu)如圖1.

圖1 Inception-v4 網(wǎng)絡(luò)

Inception-v4 網(wǎng)絡(luò)與Inception-v3 網(wǎng)絡(luò)相比具有更多的Inception 模塊,可以彌補(bǔ)Inception-v3 網(wǎng)絡(luò)的缺點(diǎn).在Inception 模塊和ResNet 模塊不混合的情況下,Inception-v4 網(wǎng)絡(luò)達(dá)到了較好的性能.針對數(shù)據(jù)集中圖片大小不一致的問題,首先對圖片的尺寸進(jìn)行規(guī)范化,規(guī)范化后圖片的大小為299×299.在Stem 模塊中使用并行結(jié)構(gòu),在保證損失最小的情況下,使得模型計(jì)算量最小.網(wǎng)絡(luò)中使用4 層Inception-A、7 層Inception-B和3 層Inception-C 結(jié)構(gòu),使得網(wǎng)絡(luò)結(jié)構(gòu)加深,分別在最后一個(gè)Inception-A和Inception-B 模塊后面添加Reduction 模塊,用來降低計(jì)算量,從而降低模型的復(fù)雜度.為了降低特征維度,更好地提取圖像特征信息,加入平均池化模塊.引入dropout 模塊,防止模型在訓(xùn)練中過擬合,提升模型的泛化能力.

1.2 長短期記憶網(wǎng)絡(luò)

模型采用LSTM 網(wǎng)絡(luò)作為解碼器處理時(shí)序信息,生成對應(yīng)圖片的描述語句.LSTM 能夠在一定程度上解決梯度消失和難以捕捉遠(yuǎn)距離時(shí)間信號(hào)的問題.LSTM 網(wǎng)絡(luò)主要包括了4 個(gè)模塊,分別是遺忘門(ft)、輸入門(it)、輸出門(Ot)和細(xì)胞狀態(tài)(Ct),如圖2所示.從細(xì)胞狀態(tài)Ct-1到Ct的信息傳輸線中完成了Ct的更新.遺忘門、輸入門和輸出門用Sigmoid 層表示,tanh層分別表示細(xì)胞狀態(tài)的輸入與輸出.LSTM 首先通過Sigmoid 層控制遺忘層,對上一時(shí)刻的輸出結(jié)果選擇性的通過.更新公式為:

圖2 LSTM 網(wǎng)絡(luò)

其中,σ表示Sigmoid 函數(shù),ht-1表示上一個(gè)LSTM的輸出,xt表示此刻LSTM的信息輸入,Wf為權(quán)重矩陣,bf是偏置向量,[ht-1,xt]表示兩個(gè)矩陣的拼接.

接下來決定在細(xì)胞中保存哪些重要信息,包括兩部分,一部分是通過it更新數(shù)值,另一部分是通過tanh層得到新的候選值.給上一時(shí)刻的狀態(tài)乘ft,遺忘掉之前不重要的信息,再用it×t加上前者得到Ct.公式如下:

其中,Wi表示權(quán)重矩陣,bi表示偏置向量,表示細(xì)胞狀態(tài)的候選值向量.

最后一步先計(jì)算得到Ot,然后使用tanh 函數(shù)對細(xì)胞狀態(tài)Ct進(jìn)行處理,乘上Ot的值得到LSTM 單元的輸出ht.公式如下所示:

其中,Wo表示權(quán)重矩陣,bo表示偏置向量.

1.3 CBAM 模塊

為了提高模型提取圖像特征的準(zhǔn)確性,在Inceptionv4 網(wǎng)絡(luò)的基礎(chǔ)上加入CBAM 模塊,從空間注意力機(jī)制和通道注意力機(jī)制兩方面獲取圖像更多的關(guān)鍵信息.與文獻(xiàn)[11]中的SCA-CNN 模型相比,CBAM 模塊可移植性強(qiáng),輕便靈活,CBAM 模塊如圖3所示.

圖3 CBAM 結(jié)構(gòu)

CBAM 模塊包括兩部分內(nèi)容,分別是空間注意力模塊和通道注意力模塊.CBAM的輸入是特征矩陣,首先經(jīng)過通道注意力機(jī)制生成新的特征矩陣,再和保留的特征矩陣進(jìn)行卷積操作,所得矩陣作為空間注意力機(jī)制模型的輸入,通過空間注意力機(jī)制模塊的特征再和未通過的特征卷積,就得到了新的特征矩陣.在卷積網(wǎng)絡(luò)的每個(gè)卷積模塊上,通過CBAM 自適應(yīng)地調(diào)整特征矩陣.為了提高網(wǎng)絡(luò)的表示能力,在通道注意力機(jī)制模塊和空間注意力機(jī)制模塊中加入最大池化和平均池化操作.兩種注意力機(jī)制模塊分別如圖4和圖5所示.

圖4 通道注意力機(jī)制

圖5 空間注意力機(jī)制

對于輸入的特征F,分別經(jīng)過最大池化和平均池化,接著經(jīng)過共享多層感知器,將得到的兩個(gè)特征相加,再經(jīng)過Sigmoid 函數(shù),最終生成通道注意力特征映射Mc,公式如下:

式中,σ表示Sigmoid 函數(shù),MLP表示共享多層感知器,AvgPool表示平均池化,MaxPool表示最大池化.W0和W1都表示權(quán)重矩陣,r表示縮減率.首先使用平均池化和最大池化聚合通道特征信息,生成和,分別表示平均池化特征和最大池化特征.然后轉(zhuǎn)發(fā)到由多層感知器構(gòu)成的共享網(wǎng)絡(luò)中,生成注意力特征映射Mc.

將通道注意力特征和輸入特征進(jìn)行一個(gè)基于對應(yīng)元素逐個(gè)相乘的乘法操作,生成空間注意力機(jī)制的輸入特征F,對于輸入的特征F,分別經(jīng)過最大池化和平均池化操作,然后進(jìn)行卷積操作,通過Sigmoid 函數(shù)生成空間注意力特征.公式如下:

式中,f7×7表示7×7的卷積核.利用平均池化和最大池化操作,聚合空間信息,生成平均池化特征和最大池化特征.空間注意力機(jī)制集中于圖片中某個(gè)感興趣區(qū)域,彌補(bǔ)通道注意力機(jī)制的不足.

1.4 模型框架

本文模型采用編碼器-解碼器(encoder-decoder)框架.編碼器部分選用Inception-v4 網(wǎng)絡(luò)作為特征提取的基準(zhǔn)網(wǎng)絡(luò).解碼器部分選取LSTM 網(wǎng)絡(luò),該網(wǎng)絡(luò)能夠較好的處理序列類型的結(jié)構(gòu)數(shù)據(jù),解決梯度消失等問題.通過將CBAM 融入Inception-v4 網(wǎng)絡(luò)提取圖像特征,并和LSTM 網(wǎng)絡(luò)共同構(gòu)建圖像描述模型,生成與圖像對應(yīng)的自然語言描述.通過最大化p(T/S)完成圖片T到目標(biāo)句子S的轉(zhuǎn)化任務(wù).模型框架如圖6所示.輸入圖像經(jīng)過預(yù)處理之后尺寸大小為299×299,并作為模型的輸入.在Inception-v4 網(wǎng)絡(luò)中加入CBAM 注意力機(jī)制作為模型提取圖片特征的網(wǎng)絡(luò),分別在每個(gè)Inception-A、Inception-B、Inception-C 模塊后面加入CBAM,共加入14 個(gè)CBAM 模塊.改變Inception-v4的原有結(jié)構(gòu),去掉Softmax 層,在最底層加入全連接層,目的是將1536 維特征向量轉(zhuǎn)化為512 維,便于圖片特征向量與詞向量映射到同一向量空間.同時(shí),為了避免維度災(zāi)難問題,對標(biāo)注語句S用Word2Vec 進(jìn)行編碼,將編碼后的矩陣We與上一時(shí)刻LSTM 單元生成的單詞St-1相乘,并將乘積送入此刻LSTM 單元,按時(shí)序逐步得到與目標(biāo)圖片內(nèi)容相符的句子S.使用Adam 優(yōu)化模型,使模型概率之和達(dá)到最優(yōu).模型使用LSTM 作為解碼模塊,可以較好的處理時(shí)序問題,提升整體模型的準(zhǔn)確性.

圖6 模型框架

對于圖像描述生成模型,模型中所有參數(shù)訓(xùn)練更新可以概括如下:

其中,θ代表模型的所有參數(shù),I為輸入的訓(xùn)練集圖片,S是模型生成的相應(yīng)圖片的描述語句.S的長度可以用S0,S1,…,SN表示,N表示生成語句的長度.

LSTM 網(wǎng)絡(luò)按照時(shí)間序列處理數(shù)據(jù),每個(gè)時(shí)刻生成一個(gè)單詞,選取概率最大的單詞加入句子,逐步生成對應(yīng)的描述語句.生成句子概率公式如下:

使用隨機(jī)梯度下降算法對式(9)進(jìn)行優(yōu)化.用固定長度的隱藏層狀態(tài)ht表示S0,S1,…,SN,當(dāng)輸入xt時(shí),ht可以按照如下公式進(jìn)行更新:

其中,f是一個(gè)函數(shù),為了更好地解決問題,選取LSTM網(wǎng)絡(luò)作為f.

2 實(shí)驗(yàn)過程

2.1 實(shí)驗(yàn)環(huán)境

采用微軟MSCOCO 2014 版本的數(shù)據(jù)集.該數(shù)據(jù)集實(shí)際共有80 類,例如Bottle、Sofa、Car 類等,包括訓(xùn)練集、驗(yàn)證集和測試集,分別放在train2014、val2014和test2014 文件夾中,其中訓(xùn)練集共有82 783 張圖片,驗(yàn)證集有40 504 張,測試集有40 775 張,每張圖片共有5 句標(biāo)注,并分別存放在相應(yīng)的JSON 文件中.模型訓(xùn)練過程中并沒有沿用劃分測試集加入訓(xùn)練集的重新構(gòu)造的方式,而是把原訓(xùn)練集所有類型的所有圖片全部用于訓(xùn)練整個(gè)模型,驗(yàn)證集所有類型的所有圖片全部用于模型評(píng)價(jià)準(zhǔn)則的評(píng)估.測試集可以選取少部分驗(yàn)證模型的有效性.該數(shù)據(jù)集能夠較好地完成圖像描述生成模型的實(shí)驗(yàn).采用Tensorflow 框架,使用GPU (TITAN XP)進(jìn)行訓(xùn)練.

2.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用Bleu-1[16]、Bleu-4[16]、METEOR[17]和CIDEr[18]作為模型的評(píng)價(jià)指標(biāo).Bleu 主要是用來測試兩個(gè)句子之間的相似程度,最初,Bleu 通過一個(gè)句子出現(xiàn)在另一個(gè)句子中單詞的數(shù)量來判定兩個(gè)句子的相似度,之后,經(jīng)過幾次不斷的改進(jìn),引入懲罰值和最佳匹配長度計(jì)算語句之間的精度.METEOR 測試精度主要是考慮準(zhǔn)確率和召回率,它的出現(xiàn)是為了彌補(bǔ)Bleu中的不足.Bleu和向量空間模型結(jié)合產(chǎn)生了CIDEr,可以用來評(píng)價(jià)圖像描述生成模型是否提取到圖片的關(guān)鍵信息.

2.3 實(shí)驗(yàn)設(shè)置

本文模型對不同參數(shù)設(shè)置了兩個(gè)實(shí)驗(yàn),分別稱為Model1和Model2.Model1 首先對標(biāo)注語句進(jìn)行處理,限定句子的長度為20,不足的位置補(bǔ)0.語句開始標(biāo)志為＜S＞,結(jié)束標(biāo)志為＜/S＞.設(shè)置batch_size=27,LSTM 隨機(jī)失活因子lstm_dropout_keep_prob=0.5,Inception-v4模型參數(shù)的學(xué)習(xí)率train_inception_learn_rate=0.0003,梯度裁剪clip_gradients=5.模型訓(xùn)練時(shí)設(shè)置迭代次數(shù)為60 萬步.初始化learn_rate 值為2,使用tf.train.exponential_decay(其為Tensorflow中的方法)創(chuàng)建訓(xùn)練步數(shù)衰減的學(xué)習(xí)速率,設(shè)置staircase為true,表示階梯衰減,如圖7所示.使用集束搜索(beamsearch)方法逐步生成描述語句,每個(gè)時(shí)間序列保留概率p最大的幾個(gè)句子,迭代操作這個(gè)步驟,將beam 大小設(shè)置為3.初始化后圖像尺寸為299×299,長短期記憶網(wǎng)絡(luò)輸入輸出均為512 維.將詞匯字典尺寸大小設(shè)置為12 000,將頻率出現(xiàn)4 次以上的單詞存入詞匯表.利用Adam 計(jì)算并得到頻率最高的單詞.

圖7 Model1 學(xué)習(xí)率衰減

由圖7可以看出,學(xué)習(xí)率在450 k 步的時(shí)候受超參數(shù)設(shè)置影響而趨于穩(wěn)定,考慮到這些超參數(shù)影響因子的問題,重新設(shè)置了個(gè)別超參數(shù)的值并進(jìn)行實(shí)驗(yàn),稱為Model2.設(shè)置batch_size=32,向上調(diào)整每次批處理數(shù)據(jù)的大小,對Inception-v4 模型參數(shù)的學(xué)習(xí)率重新設(shè)置,即train_inception_learn_rate=0.0005,將梯度裁剪clip_gradients 設(shè)置為8.Learn_rate的值仍然初始化為2,變化如圖8所示.其他超參數(shù)及方法不變.

由圖8可見,使超參數(shù)值都向上增加之后的模型Model2的學(xué)習(xí)率在900 k的時(shí)候趨于穩(wěn)定.說明Model1 過早擬合,Model2的學(xué)習(xí)結(jié)果較好.

圖8 Model2 學(xué)習(xí)率衰減

2.4 實(shí)驗(yàn)辦法

Model1和Model2 均采用以下實(shí)驗(yàn)方法:為了提高模型的準(zhǔn)確性和訓(xùn)練速度,預(yù)先加載在ImageNet 上預(yù)訓(xùn)練好的Inception-v4 網(wǎng)絡(luò)參數(shù)文件.訓(xùn)練集圖像初始化尺寸為299×299,并作為模型的輸入,經(jīng)過改進(jìn)后特征提取網(wǎng)絡(luò)的各層之后,圖片特征為512 維.將圖像特征和采用Word2Vec 技術(shù)編碼的詞向量矩陣作為LSTM 網(wǎng)絡(luò)的輸入,每個(gè)時(shí)刻,LSTM 單元都會(huì)生成單詞.按照beamsearch 方法保留概率最大的3 個(gè),逐步生成描述語句S.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 模型的損失率

Model1和Model2 均采用本文模型進(jìn)行實(shí)驗(yàn),模型的損失細(xì)化為每個(gè)步驟產(chǎn)生的正確單詞的概率之和的負(fù)數(shù),公式如下所示:

其中,I表示輸入模型的訓(xùn)練集圖像,St為每個(gè)時(shí)刻生成的單詞,S表示圖片的標(biāo)注語句.

為了提高模型的準(zhǔn)確率,在Inception-v4 網(wǎng)絡(luò)中融合CBAM 注意力機(jī)制,更加精確地提取圖片重要部分的信息.使用Word2Vec 技術(shù)對標(biāo)注語句進(jìn)行編碼,相對于one-hot 編碼而言,Word2Vec 可以指定維度,對特征矩陣進(jìn)行壓縮,減少了特征矩陣的存儲(chǔ)空間,提升了模型的準(zhǔn)確性.圖9給出了Model1的損失圖,可以看出Model1的損失穩(wěn)定在2.2 左右.圖10給出了Model2的損失圖,可以看出,重新設(shè)置超參數(shù)之后的模型的損失穩(wěn)定在2 到2.1 之間,Model2 比Model1 損失更少,算法性能更好.為了更好的降低誤差,采用隨機(jī)梯度下降算法更新參數(shù),優(yōu)化模型.模型的損失度明顯呈下降趨勢,最終趨于穩(wěn)定.

圖9 Model1 損失率

圖10 Model2 損失率

3.2 模型的實(shí)驗(yàn)效果

為了展示Model1和Model2的實(shí)驗(yàn)效果,在驗(yàn)證集中選取了4 張圖片,如圖11所示.Moedl1 在對圖11(a)生成的描述是:a row of motorcycles parked next to each other (一排并排停放著的摩托車),Model2對圖11(a)生成的描述是:A motorcycle parked in front of a garage(停在車庫前的摩托車),可以發(fā)現(xiàn)Model2的概率高于Model1,并且根據(jù)人工標(biāo)注 (a motorcycle parked in front of a building)和圖片本身內(nèi)容發(fā)現(xiàn)Model2 描述更加準(zhǔn)確.圖11(b)中,Model1 生成的描述語句是:A black and white dog sitting on a bench (一只黑白相間的狗坐在長凳上),Model2 生成的描述語句是:A dog sitting on a sidewalk next to a bike (一只狗坐在人行道上,旁邊是一輛自行車),人工標(biāo)注語句是:A dog sitting on a sidewalk next to a bicycle (一只狗坐在人行道上,旁邊是一輛自行車),可以看出Model2 比Model1 描述效果更好.圖11(c)中Model1的描述語句為:A baseball player holding a bat on top of a field (球場上棒球手拿著球棒),Model2和人工標(biāo)注語句是一致的:A baseball player swinging a bat at a ball (球場上揮擊棒球的運(yùn)動(dòng)員),結(jié)合圖片內(nèi)容,Model1、Model2和人工標(biāo)注均能準(zhǔn)確描述圖片內(nèi)容并且語句基本相同.圖11(d)中描述差異較大,Model1的描述是:A brown bear standing on top of a rock (一只熊站在巖石上),而圖片內(nèi)容中并沒有出現(xiàn)巖石,描述不準(zhǔn)確,Moedl2 (a brown bear standing on top of a grass covered field)和人工標(biāo)注(a brown bear is sitting in a field)均表達(dá)正確.綜合以上所訴,Model2 能夠很好地表達(dá)出圖片的屬性以及屬性之間的關(guān)系.

圖11 Model1、Model2和人工標(biāo)注

3.3 客觀評(píng)價(jià)準(zhǔn)則對比

為了進(jìn)一步驗(yàn)證Model1和Model2 兩個(gè)實(shí)驗(yàn)的有效性,采用Bleu-1、Bleu-4、METEOR和CIDEr 這4 個(gè)評(píng)價(jià)準(zhǔn)則進(jìn)行評(píng)估,并與Google NIC[8]、Multimodal RNN[19]、Hard-Attention[10]和SCA-CNN-ResNet[11]比較,結(jié)果如表1所示.

表1 模型評(píng)價(jià)準(zhǔn)則得分表

可以看出,Model2的性能明顯優(yōu)于其他模型.Model2 在Bleu-4的數(shù)值與SCA-CNN-ResNet 模型相同,在METEOR 上的分?jǐn)?shù)高出0.009.在CIDEr 上比Multimodel RNN 高0.266,該值說明了Model2 更好的提取到了圖像重要部分信息.Mdel2 在Bleu-1 上的分?jǐn)?shù)接近SCA-CNN-ResBet 模型,比Multimodal RNN高0.091.Model1的性能在四個(gè)評(píng)價(jià)指標(biāo)上略低于Model2,分別低于Model1 0.007、0.009、0.009和0.005,Model2的性能優(yōu)于Model1.從模型評(píng)價(jià)準(zhǔn)則得分表可以得出,Model2的綜合性能優(yōu)于其他模型.

4 結(jié)論與展望

模型采用Inception-v4 網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò).為了進(jìn)一步增強(qiáng)模型提取特征的能力,在每個(gè)Inception 模塊之后加入CBAM 模塊.CBAM是一個(gè)輕量級(jí)的模塊,它的計(jì)算量可以忽略不計(jì),它可以嵌入到任何一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中,提升卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性,更好地提取圖片重要信息.SCA-CNN 模型中空間注意力機(jī)制和通道注意力機(jī)制的應(yīng)用與CBAM 相比較為復(fù)雜.采用LSTM 網(wǎng)絡(luò)彌補(bǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)的缺點(diǎn),更好地處理遠(yuǎn)距離信號(hào)問題.在圖像的關(guān)鍵信息提取方面仍有很大的進(jìn)步空間,需要進(jìn)一步研究.