面向視覺問答的跨模態(tài)交叉融合注意網(wǎng)絡(luò)

王 茂，彭亞雄，陸安江

（貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025）

0 引言

視覺問答（Visual Question Answering，VQA）用于自動(dòng)回答與圖像內(nèi)容相關(guān)的自然語言問題，是結(jié)合自然語言處理、計(jì)算機(jī)視覺和人工智能領(lǐng)域的多模態(tài)學(xué)習(xí)任務(wù)，用來處理圖像、自然語言和綜合推理等多個(gè)領(lǐng)域的問題，因此VQA 任務(wù)使人工智能的研究超越了單一任務(wù)，需要視覺和語言的綜合推理，VQA 模型如圖1 所示。VQA 技術(shù)可以應(yīng)用于交互式機(jī)器人系統(tǒng)、追蹤自動(dòng)量化評估任務(wù)進(jìn)度、兒童早教和醫(yī)療援助等，研究VQA 可以進(jìn)一步推動(dòng)人工智能的發(fā)展，對實(shí)現(xiàn)人工智能化社會(huì)具有重要意義。

圖1 VQA模型Fig.1 VQA model

隨著深度學(xué)習(xí)（Deep Learning，DL）領(lǐng)域注意機(jī)制的發(fā)展，已經(jīng)成功應(yīng)用于VQA 任務(wù)?；谝曈X注意的方法已經(jīng)成為精確理解VQA 模型的一個(gè)重要組成部分，除了視覺注意方法之外，共同注意方法也取得了巨大成功［1-3］，共同注意方法關(guān)注圖像的重要區(qū)域和問題的關(guān)鍵詞，以學(xué)習(xí)視覺注意和文本注意。目前圖像的特征提取逐漸由VGG 網(wǎng)絡(luò)轉(zhuǎn)為使用He 等［4］提出的ResNet，問題的特征提取則利用長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)，多模態(tài)特征表示在提高VQA 性能方面起著重要作用。Yu 等［5］提出了多模態(tài)雙線性矩陣分解池化（Multi-modal Factorized Bilinear pooling，MFB）模型，先將不同模態(tài)特征擴(kuò)展到高維空間用點(diǎn)乘方法進(jìn)行融合，之后進(jìn)入池化層和歸一層，以將高維特征擠壓成緊湊輸出特征；Fukui 等［6］提出了一種聯(lián)合嵌入視覺和文本特征的方法，通過將圖像和文本特征隨機(jī)投影到更高維空間，然后將這兩個(gè)向量在傅里葉空間中進(jìn)行卷積執(zhí)行多模態(tài)緊湊雙線性池（Multi-modal Compact Bilinear pooling，MCB）操作，以提高效率；趙宏等［7］提出了一種圖像特征注意力與自適應(yīng)注意力融合的圖像內(nèi)容中文描述模型；陳龍杰等［8］針對圖像描述生成中對圖像細(xì)節(jié)表述質(zhì)量不高、對圖像特征利用不充分、循環(huán)神經(jīng)網(wǎng)絡(luò)層次單一等問題，提出基于多注意力、多尺度特征融合的圖像描述生成算法。目前的視覺問答通過自適應(yīng)學(xué)習(xí)問題局部細(xì)粒度圖像特征，在視覺問答任務(wù)中引入了注意力機(jī)制。Chen 等［9］提出了一種新的多模態(tài)編解碼注意網(wǎng)絡(luò)，通過將關(guān)鍵字查詢與重要的對象區(qū)域最小化相關(guān)聯(lián)來捕獲豐富且合理的問題特征和圖像特征；Yang等［10］提出了一種堆疊注意力網(wǎng)絡(luò)來迭代學(xué)習(xí)注意力，然而問題信息僅通過系數(shù)p進(jìn)行表達(dá)，限制了學(xué)習(xí)聯(lián)合表示的能力；Nguyen 等［11］提出了密集聯(lián)合注意模型來模擬每個(gè)問題和每個(gè)圖像區(qū)域之間的完整交互；Gao 等［12］和Yu 等［13］提出了幾種基于深度聯(lián)合注意的新模型，在VQA 任務(wù)上取得了較好的性能。

上述算法在VQA 方面取得一定的效果，但在特征提取融合、注意力機(jī)制等方面仍存在局限性，提取特征不完全以及圖像注意力信息的缺失，都會(huì)制約模型的學(xué)習(xí)能力，影響視覺問答效果。此外，上述聯(lián)合注意模型因?yàn)楹雎粤藘烧咧g的密集交互不能推斷任何疑問詞和任何圖像區(qū)域之間的相關(guān)性。為了解決上述問題，本文提出了面向視覺問答的跨模態(tài)交叉融合注意網(wǎng)絡(luò)（Cross-modal Chiastopic-fusion Attention Network，CCAN），利用改進(jìn)的殘差網(wǎng)絡(luò)對圖像進(jìn)行注意，提高圖像注意的準(zhǔn)確性，并提出新的聯(lián)合注意力機(jī)制，對問題和圖像特征進(jìn)行聯(lián)合表示，提高兩者的交互性，同時(shí)采用交叉融合的方法，提高了模型的分類精度，實(shí)驗(yàn)結(jié)果說明了CCAN 的有效性。

1 面向視覺問答的跨模態(tài)交叉融合注意模型

本章主要介紹了面向視覺問答的跨模態(tài)交叉融合注意模型，該模型主要包括三個(gè)模塊：問題嵌入提取、圖像特征提取、特征融合與分類。CCAN 模型的整體架構(gòu)如圖2 所示。

圖2 CCAN模型框架Fig.2 Framework of CCAN model

1.1 問題詞注意特征提取

句子嵌入有兩個(gè)作用：1）引導(dǎo)圖像自上而下的注意力學(xué)習(xí)；2）作為多模態(tài)學(xué)習(xí)的輸入之一，在輸入分類器之前與圖像特征融合。將問題Q 中的每個(gè)單詞映射為一個(gè)向量，依照從前往后的次序進(jìn)行處理，即從第一個(gè)單詞到第i個(gè)單詞的次序進(jìn)行運(yùn)算，問題編碼部分主要是對問題進(jìn)行編碼獲得特征向量，[q1，q2，…，qN]是問題的單詞序列，其中qi∈Rdw×1是第i個(gè)單詞的one-hot 表示，dw是單詞詞匯表的大小，N是問題中的單詞數(shù)，由嵌入矩陣We∈Rdx×dw，即可以得到中間表示xi=Wewi之后將xi送入LSTM 模型以生成新的表示qi∈Rdq×1，公式如下：

其中：dq是LSTM 單元的輸出尺寸，dx是中間表示xi的尺寸。

為了獲得更具有語義關(guān)系的問題表示，對問題進(jìn)行自注意，關(guān)注重要詞與詞之間隱含語義關(guān)系。在進(jìn)行注意時(shí)，問題的每個(gè)詞根據(jù)其在問題中的重要性計(jì)算出一個(gè)權(quán)重值，問題表示向量vw∈Rdq×1是通過計(jì)算從LSTM 生成的所有單詞表示加權(quán)和獲得，即：

1.2 基于改進(jìn)的殘差通道自注意提取圖像特征

圖像特征的提取主要分為兩個(gè)部分：1）利用目標(biāo)檢測模型ResNet-152 學(xué)習(xí)圖像的硬注意；2）利用改進(jìn)的殘差通道注意增強(qiáng)特征。首先，在殘差網(wǎng)絡(luò)的基礎(chǔ)上利用了特征通道之間的相互依賴性，讓網(wǎng)絡(luò)注意到更多信息，其中每個(gè)通道積的特征生成不一樣的權(quán)重；其次，引入最小閾值化處理，旨在根據(jù)圖片對每個(gè)區(qū)域進(jìn)行評分，減少不重要圖像區(qū)域的影響。

ResNet-152 提取圖像特征 如式（4）所示，本文使用ResNet-152 進(jìn)行特征提取，為了獲得圖像I不同區(qū)域的特征向量，將圖像輸入到ResNet-152 模型進(jìn)行特征提取，經(jīng)過ResNet-152 的最后一個(gè)池化層res5c 后輸出圖像的特征表示V∈Rk×2048，其中k∈[10，100]為物體區(qū)域數(shù)，Rk×2048是對應(yīng)于第N個(gè)區(qū)域的2 048 維特征向量。

改進(jìn)的殘差通道注意模型提取特征 受殘差學(xué)習(xí)的啟發(fā)，本文引入殘差通道自注意模塊，使網(wǎng)絡(luò)集中于更有信息量的特征。本文利用特征通道之間的相互依賴性，產(chǎn)生通道注意機(jī)制，并且引入最小閾值化以消除不重要的特征，有效地學(xué)習(xí)了視覺和語言信息的聯(lián)合表示，進(jìn)一步增強(qiáng)圖像特征。原始?xì)埐罹W(wǎng)絡(luò)，其內(nèi)部殘差塊使用跳過連接，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，通過跳躍連接將輸入x和x的非線性變換F(x)相加，從而可以減輕深度神經(jīng)網(wǎng)絡(luò)中由于增加深度而導(dǎo)致梯度消失的問題，公式如下：

圖3 原始的殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Original residual network structure

其中F(x)是基于殘差模塊的框架上，引入通道注意和最小閾值化，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4 所示。

圖4 殘差通道自注意網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of residual channel self-attention network

本文將圖像的注意權(quán)重轉(zhuǎn)化為期望，圖像I的期望可以表示為：

其中v是ResNet-152 最后一個(gè)rec 層輸出的圖片特征，ci是對圖片進(jìn)行通道注意的特征表示，通道注意對v進(jìn)行Squeeze、Excitation 和特征重標(biāo)定，°表示點(diǎn)乘，conv(?)是由線性整流單元（Rectified Linear Unit，ReLU）和卷積層組成的卷積學(xué)習(xí)運(yùn)算，圖片引導(dǎo)的區(qū)域注意可以表示為：

提取到通道注意特征vˉ后，將它的注意力權(quán)值加入到圖像特征中，即利用殘差自注意進(jìn)一步增強(qiáng)圖像特征。對殘差網(wǎng)絡(luò)進(jìn)行改進(jìn)，首先對輸入特征求絕對值和全均值池化，之后輸入到一個(gè)小型全連接網(wǎng)絡(luò)，全連接層由卷積層、批標(biāo)準(zhǔn)化、激活函數(shù)、全局均值池化以及全連接輸出層構(gòu)成，并以sigmoid 為最后一層得到一個(gè)權(quán)重系數(shù)α，最后利用殘差自注意增強(qiáng)圖像，公式如下：

1.3 跨模態(tài)交叉融合注意模型

跨模態(tài)交叉融合注意模型利用殘差通道自注意增強(qiáng)圖像特征，為了充分利用自然語言問題消除圖像特征冗余，采用問題引導(dǎo)雙頭注意進(jìn)一步提取與問題相關(guān)的圖像特征。根據(jù)自然語言問題，利用自上而下的注意力計(jì)算問題與36個(gè)目標(biāo)圖像特征中每個(gè)目標(biāo)之間的概率，從而獲得注意力權(quán)重，注意力權(quán)重乘以圖像特征產(chǎn)生最終的圖像表示。

與單向、堆疊或多頭注意力不同，本文使用不共享參數(shù)的雙頭軟注意力結(jié)構(gòu)，公式如下：

其中：f表示全連接神經(jīng)網(wǎng)絡(luò)，vˉi表示通過殘差通道自注意增強(qiáng)的圖像特征，q表示問題特征，q_Attw表示通過詞注意自我關(guān)注的問題特征。將兩個(gè)注意力權(quán)重通過softmax 函數(shù)歸一化，并進(jìn)行相加得到最終的注意力權(quán)重β，公式如下：

注意力權(quán)重用于對所有圖像特征進(jìn)行加權(quán)求和，得到最后的圖像特征，融合問題嵌入進(jìn)行最終分類，公式如下：

本文使用的跨模態(tài)交叉融合注意是雙頭軟注意，由于原來的單注意模型不適合VQA 任務(wù)的特點(diǎn)，原有的單一注意力模型使用softmax 函數(shù)對注意力權(quán)重進(jìn)行歸一化，使得注意力模型只根據(jù)輸入選擇最感興趣的鍵值對，不符合VQA任務(wù)中問題可能有多個(gè)正確答案的情況。

最后，將問題嵌入和圖像特征分別通過相應(yīng)的非線性層，利用兩個(gè)交叉融合注意對兩個(gè)特征進(jìn)行表示，使用逐元素相乘的方法融合兩個(gè)特征，問題和圖像的聯(lián)合表示如下：

其中：h是圖像和問題的聯(lián)合嵌入，⊙代表逐元素相乘。fq(q)和()代表非線性層。

1.4 答案預(yù)測和損失函數(shù)

本節(jié)設(shè)計(jì)了一個(gè)由兩個(gè)全連接層組成的多層感知器（Multi-Layer Perceptron，MLP）層來轉(zhuǎn)換問題特征和圖片特征，然后通過softmax 函數(shù)計(jì)算問題詞特征的注意權(quán)重，最終關(guān)注的問題特征可以通過匯總關(guān)注權(quán)重和相關(guān)問題詞特征的乘積表示，關(guān)注特征式子如下：

其中，MLP 表示線性變換操作，本文選擇概率最大的候選答案作為最終答案。為了訓(xùn)練本文模型，使用KL 散度（Kullback-Leibler Divergence，KLD）損失函數(shù)來預(yù)測∝E：

其中yi∈[0，1]是時(shí)第i個(gè)真實(shí)答案的出現(xiàn)概率。

2 實(shí)驗(yàn)

本章對所提模型在VQA 任務(wù)中的性能進(jìn)行評估，并使用VQA v1.0 數(shù)據(jù)集進(jìn)行驗(yàn)證。首先對CCAN 模型與之前研究的模型進(jìn)行對比實(shí)驗(yàn)，以驗(yàn)證本文模型的有效性；然后為本文模塊提出最優(yōu)參數(shù)，與現(xiàn)有研究方法進(jìn)行比較分析。

2.1 視覺問答數(shù)據(jù)集

實(shí)驗(yàn)使用的VQA v1.0 數(shù)據(jù)集［3］由常見物體圖像識(shí)別（MicroSoft Common Objects in COntext，MSCOCO）數(shù)據(jù)集提供的204 721 幅圖像組成，有248 349 道訓(xùn)練題、121 512 道驗(yàn)證題、60 864 道測試題和244 302 道標(biāo)準(zhǔn)試題。VQA1.0 中的問題可以分為3 個(gè)子類別：是/否、數(shù)字和其他，每個(gè)圖像有3 個(gè)問題，每個(gè)問題有10 個(gè)來自10 個(gè)不同注釋者的基本答案。此外，v1.0 包括兩個(gè)任務(wù)：開放式任務(wù)和多項(xiàng)選擇任務(wù)（每個(gè)問題18 個(gè)答案選項(xiàng)）。

2.2 參數(shù)設(shè)置

本文利用ResNet-152 提取圖像區(qū)域特征，每個(gè)區(qū)域由2 048 個(gè)維度特征表示，使用LSTM 對問題進(jìn)行編碼，每個(gè)問題中單詞特征向量的維數(shù)為2 048，在每個(gè)LSTM 層（正則率p=0.3）和模塊（p=0.1）之后使用dropout。

模型訓(xùn)練時(shí)，使用β1=0.9 和β2=0.99 的Adam 解算器，基本學(xué)習(xí)率設(shè)置為0.000 1，并以0.5 的指數(shù)速率每40 000 次迭代衰減一次，本文在50 000 次迭代時(shí)終止訓(xùn)練。在訓(xùn)練中，整個(gè)網(wǎng)絡(luò)使用ReLU 激活函數(shù)，mini_batch=100。本文實(shí)驗(yàn)基于PyTorch 0.3.0 深度學(xué)習(xí)框架進(jìn)行編碼，并在帶有GTX 2060GPU 處理器的工作站上進(jìn)行。對于所有實(shí)驗(yàn)，本文在訓(xùn)練集上訓(xùn)練，在驗(yàn)證集上進(jìn)行驗(yàn)證。

3 結(jié)果

3.1 與已有研究比較分析

將CCAN 模型與已有模型在VQA v1.0 數(shù)據(jù)集上進(jìn)行比較，即在VQA v1.0 數(shù)據(jù)集上的訓(xùn)練集和驗(yàn)證集上訓(xùn)練CCAN模型，在Test-dev和Test-std兩個(gè)測試集上評估CCAN模型。

表1 為CCAN 模型在VQA v1.0 數(shù)據(jù)集上與其他模型比較的結(jié)果，可以分為三類：1）不使用注意機(jī)制的方法；2）僅基于視覺注意的方法；3）整合視覺注意和文本注意的方法。

表1 VQA v1.0數(shù)據(jù)集上CCAN與已有模型性能比較 單位：%Tab.1 Performance comparison between CCAN and existing models on VQA v1.0 dataset unit：%

從表1 可以觀察到整合視覺注意和文本注意模型的結(jié)果優(yōu)于其他兩類模型，CCAN 模型在Test-dev（67.57%）和Test-std（67.54%）上獲得最佳的總體準(zhǔn)確性。本文模型是基于視覺和文本注意力的方法，與MLAN（Multi-level Attention Network）［21］、CAQT（Co-Attention network with Question Type）［22］和 v-VRANET（Visual Reasoning and Attention NETwork）相比，在Test-dev 上分別提高2.97、1.20 和0.37 個(gè)百分點(diǎn)，在Test-std 上分別提高2.74、1.01 和0.20 個(gè)百分點(diǎn)。MLAN 模型除了視覺注意之外，還使用語義注意來挖掘圖像的重要內(nèi)容，CAQT 模型通過自我注意模型實(shí)現(xiàn)的文本注意以減少無關(guān)的信息，進(jìn)而用于引導(dǎo)視覺注意；v-VRANE 模型使用視覺推理和注意網(wǎng)絡(luò)；相比之下，本文提出跨模態(tài)交叉融合注意模型（CCAN），明顯更深層次地加強(qiáng)文本和視覺的交互，以捕獲豐富的視覺語義并幫助增強(qiáng)視覺表示。與第一類方法（沒有使用注意機(jī)制的方法）相比，本文模型優(yōu)于FDA（Focused Dynamic Attention）模型，在Test-dev 總體準(zhǔn)確性方面提高了8.33 個(gè)百分點(diǎn)。此外，與涉及視覺注意的第二類方法相比，本文模型的準(zhǔn)確率最高。

3.2 消融實(shí)驗(yàn)

為了分析CCAN 模型中每個(gè)模塊，并證明面向視覺問答的跨模態(tài)交叉融合注意模型的性能效果，本文利用消融實(shí)驗(yàn)證明模型的有效性。為了公平比較，所有評估模型提供完全相同的特征，在訓(xùn)練集上訓(xùn)練并在驗(yàn)證集上測試。

模型一 以LSTM 提取問題特征與ResNet-152 提取的圖片特征作為輸入；

模型二 以提取的問題特征進(jìn)行詞注意和圖片特征作為輸入利用逐元素相乘的方法進(jìn)行融合；

模型三 對利用ResNet-152 提取的圖片進(jìn)行殘差通道自注意，然后用逐元素相乘的方法對注意后的圖片特征和文本特征進(jìn)行融合；

模型四 整體結(jié)構(gòu)框架與本文模塊一致，但在此模塊中是利用加法進(jìn)行聯(lián)合表征；

模型五 圖片特征的處理在模塊二的基礎(chǔ)上，引入跨模態(tài)交叉融合注意的方法。

表2 中的模型一和模型二為簡單基準(zhǔn)模型和使用視覺注意機(jī)制的模型，當(dāng)對文本進(jìn)行詞注意之后與圖像進(jìn)行融合時(shí)能夠獲得性能提升，表明詞注意可以提取出更有用的問題特征，并可以從中發(fā)現(xiàn)更重要的語義信息，去除與問題無關(guān)的噪聲信息，使得問題與圖片之間的交互性進(jìn)一步提升。模型三利用殘差通道自注意加強(qiáng)圖像特征，可以發(fā)現(xiàn)對于圖像特征，可以從相關(guān)圖像區(qū)域獲得信息，推斷問題的正確答案，結(jié)果比模型二有0.84 個(gè)百分點(diǎn)的提升。模型四中，利用元素加法對多模態(tài)進(jìn)行聯(lián)合表征，比使用元素乘法的準(zhǔn)確率低，表明在視覺問答任務(wù)中，元素乘法是一種比加法更好的多模態(tài)融合方法。模型五使用跨模態(tài)融合注意網(wǎng)絡(luò)將動(dòng)態(tài)信息整合在一起，與任何單一層次的注意力模型相比，取得了顯著的改進(jìn)，相較于其他四種模型分別提升了2.12、1.37、0.53 和0.15 個(gè)百分點(diǎn)的準(zhǔn)確率。

表2 消融實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Results of ablation experiments unit：%

為了選擇最佳的損失函數(shù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，表3中比較了三種常用的損失函數(shù)，即KLD損失函數(shù)、二分類交叉熵（Binary Cross Entropy loss，BCE）損失函數(shù)和交叉熵?fù)p失函數(shù)。如表3所示KLD函數(shù)獲得了最好的性能，并且收斂速度最快。

表3 三種常用的損失函數(shù)比較 單位：%Tab.3 Comparison of three commonly used loss functions unit：%

3.3 可視化結(jié)果分析

在圖5 中展示了視覺注意和文本注意的可視化結(jié)果。在自注意力中，把重點(diǎn)放在重要的單詞以及單詞之間潛在的語義關(guān)系上，以便全面理解問題。模型中的文本注意準(zhǔn)確檢測出“donuts”和“boy”之間的關(guān)系，并有效協(xié)調(diào)了關(guān)系特征和視覺特征。此外，提出的殘差通道自注意能準(zhǔn)確檢測出圖像各個(gè)區(qū)域之間的關(guān)系，結(jié)合兩者注意力機(jī)制來回答“Is the boy eating donuts？”，本文模型發(fā)現(xiàn)問題所提到的3 個(gè)對象區(qū)域之間的密切聯(lián)系，并成功推理出正確答案。

圖5 視覺注意和文本注意的可視化結(jié)果Fig.5 Visualization results of visual attention and textual attention

4 結(jié)語

本文針對VQA 任務(wù)提出了面向視覺問答的跨模態(tài)交叉融合注意網(wǎng)絡(luò)（CCAN），該網(wǎng)絡(luò)包括文本注意、視覺注意，其中利用詞注意和改進(jìn)的殘差通道自注意對圖片進(jìn)行注意，得到一個(gè)增強(qiáng)的圖片特征，以此獲得更重要的圖像信息。此外，引入了跨模態(tài)交叉融合注意模型對多模態(tài)進(jìn)行聯(lián)合表征，每一個(gè)交叉融合都會(huì)產(chǎn)生一個(gè)有效的信息流，從而提升模型性能。本文模型在VQA1.0 數(shù)據(jù)集上達(dá)到了67.57%的總體準(zhǔn)確率，與當(dāng)前的一些主流模型相比，本文提出的模型性能有所改進(jìn)，實(shí)驗(yàn)結(jié)果表明了本文提出的CCAN 模型在VQA 任務(wù)中的有效性。未來的工作將研究如何通過集成模型來提高開放問題回答的準(zhǔn)確率。