基于點積自注意力機制和殘差網(wǎng)絡(luò)的DAGAN圖像補全算法

寧浩宇 張逸彬 張莉娜 李申章 耿貞偉

關(guān)鍵詞：DAGAN;自注意力機制；殘差網(wǎng)絡(luò)

1引言

最初的圖像補全主要是基于數(shù)學和物理學的一種傳統(tǒng)圖像學技術(shù)。然而，近來年，在深度學習（DeepLearning，簡稱DL）逐漸占領(lǐng)視覺領(lǐng)域研究前沿的趨勢下，以深度學習為代表的機器學習正帶領(lǐng)研究者突破傳統(tǒng)模型發(fā)展的瓶頸。利用DL處理圖像補全的典型算法，按照網(wǎng)絡(luò)結(jié)構(gòu)類型可以分為2類，即基于CNN（Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò)）的語境自編碼算法和基于GAN（Generative AdversarialNetwork，生成對抗網(wǎng)絡(luò)）的圖像補全算法。因此，本文在這兩種圖像補全的典型算法基礎(chǔ)上，結(jié)合其目前衍生的產(chǎn)物，設(shè)計了基于自注意力機制和殘差網(wǎng)絡(luò)的DAGAN（self-attention and residual GenerativeAdversarial Network）圖像補全算法，旨在對已有的部分算法進行整合并適當創(chuàng)新。

2相關(guān)工作

隨著人工智能時代的來臨，圖像補全技術(shù)算法不斷地更新?lián)Q代，其在各大研究領(lǐng)域都起到了較大的輔助性作用。

在醫(yī)學影像領(lǐng)域，由于磁共振圖像的特殊成像方式，致使成像過程中產(chǎn)生偽影和噪聲，進而影響對病情的判斷。劉哲等[1]為了消除這些偽影和噪聲，使修復(fù)后的磁共振圖像細節(jié)更加豐富，提高其醫(yī)學應(yīng)用價值，提出了一種基于深度殘差網(wǎng)絡(luò)編碼一反卷積網(wǎng)絡(luò)解碼框架的算法。針對手指靜脈由于位置特性導(dǎo)致成像中存在局部血管殘缺的問題，賈桂敏等[2]首次提出一種指靜脈紅外圖像血管網(wǎng)絡(luò)修復(fù)方法，實驗結(jié)果表明，該方法可以實現(xiàn)手指靜脈圖像局部血管網(wǎng)絡(luò)殘缺修復(fù)，得到更加完整、穩(wěn)定的血管網(wǎng)絡(luò)結(jié)構(gòu)，利用修復(fù)后的圖像可以進一步提高手指靜脈識別精度。

3圖像補全算法模型

近年來，隨著人工智能時代的到來，各大領(lǐng)域都在使用深度學習技術(shù)解決實際問題，如圖像分割[3]、分類[4]、對象識別[5]等．而本文著重介紹基于深度學習的圖像補全技術(shù)。

針對文本上的應(yīng)用，林陽等融合自注意力機制的跨模態(tài)食譜檢索方法，這是一種利用食物圖片對食譜進行在線檢索的技術(shù)，在食譜文字編碼模塊中利用attention算法識別文本語義向量間的空間維度距離，解決了在食譜中同一原材料文本處理步驟相隔較遠的問題。王佛林等提出了基于自注意力機制的語義加強模型，由于每一個方面詞都有固定的情感修飾詞，因此該模型用自注意力機制獲取情感詞語義、句子分割點語義等多個維度的語義向量，提高了分類準確率。

3.1自注意力機制算法

3.1.1縮放點積注意力機制算法

縮放點積自注意力算法其實就是使用點積函數(shù)進行特征向量相似度的計算，其中縮放就是在進行相似度計算的基礎(chǔ)上縮小了為向量的維度），通過調(diào)節(jié)樣本維度使相似值不會太大，從而解決梯度消失的問題。縮放點積注意力機制的計算式為：

3.1.2多頭注意力機制

多頭注意力機制其實就是在縮放點積自注意力機制的基礎(chǔ)上加入了特征映射。算法思想為Query，Key，Value三個輸入維度的向量矩陣經(jīng)過線性變換，然后對矩陣進行點積函數(shù)的計算，重復(fù)以上操作，并對計算矩陣進行特征拼接。在進行矩陣計算時，Query，Key，Value三個向量矩陣線性變換的權(quán)重是不同的。

3.1.3縮放點積多頭注意力機制

通過縮放點積注意力機制得到的結(jié)果將作為本文self-attention的值。具體實現(xiàn)過程為，將通過SEnet得到的卷積層作為self-attention的原始輸入。定義Q的特征通道，其中參數(shù)并不相同，將Q的輸出矩陣進行轉(zhuǎn)置，并和K的輸出矩陣進行計算，經(jīng)過softmax得到attention權(quán)重矩陣，將這一矩陣和V（x）相乘得到基于自注意力機制的特征圖。這樣就可以很好地解決DCGAN本身處理圖像產(chǎn)生的邊緣模糊的問題。本文自注意力機制形式化計算式為：

3.2GAN圖像補全模型

GAN（Generative

Adversarial

Network）有2個網(wǎng)絡(luò)，即生成器（generator）和判別器（discriminator），在圖像補全中就是通過這兩個網(wǎng)絡(luò)來互相對抗以達到最好的生成效果。本文通過以下操作來擴展查詢圖。本文所提出的基于自注意力機制和殘差網(wǎng)絡(luò)的DAGAN圖像補全算法，對經(jīng)過SEResNet和self-attention處理的模型作為GAN生成器，而沒有經(jīng)過SEResNet處理的模型作為GAN判別器，使用交替訓(xùn)練的方式來最小化損失函數(shù)。

在以往傳統(tǒng)的GANs中，它們擅長合成那些紋理特征區(qū)別明顯卻幾乎沒有結(jié)構(gòu)約束的圖像類，如海洋、天空和景觀類，但對于那些受結(jié)構(gòu)約束較強的圖像，就會無法捕捉某些類別中一貫出現(xiàn)的幾何或結(jié)構(gòu)模式，如有四肢軀干的哺乳動物通常生成的圖像是具有現(xiàn)實的皮毛紋理，但沒有明確的獨立的腳。因此，在本文的GAN中self-attention模塊通過幫助生成器和判別器建?？鐖D像區(qū)域的長期、多層次的依賴關(guān)系，而更好地體現(xiàn)整個圖像的結(jié)構(gòu)約束特征。

4實驗

4.1實驗結(jié)果及分析

本文使用MNIST手寫體識別數(shù)據(jù)集和celebs數(shù)據(jù)集作為實驗數(shù)據(jù)，并用兩個數(shù)據(jù)集進行對比實驗。

為了探討所提出的DAGAN算法在MNIST數(shù)據(jù)集的訓(xùn)練效果，本文將從生成器和判別器的不同階段利用FID和IS兩種評估指標，對DAGAN算法和DCGAN算法進行對比分析。具體對比情況如表1所列。

如表1所列，在中到高級特征圖（如feat32和feat64）中DAGAN算法具有更好的性能。在DAGAN中feat8～feat32，F(xiàn)ID指標從23.86改進到18.21，其原因是在生成器中通過self-attention獲得了更多、更具代表性的缺失圖像塊特征，并享有更多的自由來選擇更大feature map的條件，即對于大的feature map，它是卷積的補充，但是對于小的feature map，如8*8，它在建模依賴關(guān)系時，起到了與局部卷積類似的作用。

圖1為DAGAN與DCGAN準確率對比圖，在訓(xùn)練了35個Epoches后，盡管DAGAN的準確率在75%左右，但在此之前DCGAN的準確率依然低于DAGAN。圖2為DAGAN與DCGAN修復(fù)視覺效果對比。

5結(jié)束語

實驗結(jié)果表明，在DCGAN基礎(chǔ)上增加了自注意機制和SEResNet模塊，為生成器和判別器提供了更強大的能力，可以對特征圖中的長期依賴關(guān)系進行建模，并更好地采集到圖像缺失邊緣的樣本，以此生成內(nèi)容語義合理、圖像紋理足夠清晰真實的修復(fù)圖像。