融合注意力與FCN 的圖像修復(fù)取證

沈萬里，張玉金，王永琦，胡 萬，孫 冉，郭 靜

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

0 引言

圖像修復(fù)可以用來填充圖像內(nèi)容、修復(fù)受損區(qū)域?；趨^(qū)域填充的方法主要分為2 類：基于擴(kuò)散的修復(fù)方法和基于樣本塊的修復(fù)方法。其中，基于擴(kuò)散的方法主要集中在小區(qū)域修復(fù)，例如舊照片的劃痕等，不會(huì)留下易察覺的偽影，但該方法在修復(fù)大面積區(qū)域時(shí)效果不佳；基于樣本塊的修復(fù)方法類似于圖像篡改中的復(fù)制粘貼操作，是從圖像未受損區(qū)域復(fù)制圖像塊補(bǔ)丁，填充在受損區(qū)域，達(dá)到修復(fù)的效果。

隨著圖像修復(fù)技術(shù)的發(fā)展，修復(fù)后的圖像留下的可感知偽影越來越少，無形中也增加了圖像修復(fù)取證工作的難度。Wu 等人提出了一種基于零連通特征和模糊隸屬度的盲檢測(cè)方法，但該方法需要人工選擇可疑區(qū)域，極大地增加了人工成本。Chang等人提出了一種可以加速搜索像素塊的二階搜索算法，克服了上述缺點(diǎn)。在前文論述基礎(chǔ)上，本文提出了一種融合注意力機(jī)制與FCN 的圖像修復(fù)取證網(wǎng)絡(luò)，使用中心像素映射進(jìn)行塊搜索，并結(jié)合通道注意力模塊（Squeeze and Excitation Block，SE）對(duì)最終提取的特征圖進(jìn)行像素權(quán)重判定，篩選出最有效的預(yù)測(cè)圖。

1 融合SE 與FCN 的圖像修復(fù)取證網(wǎng)絡(luò)

基于樣本塊的圖像修復(fù)主要依賴于圖像的內(nèi)容，而卷積神經(jīng)網(wǎng)絡(luò)針對(duì)圖像內(nèi)容具有較好的學(xué)習(xí)能力和特征提取能力，因此，本文設(shè)計(jì)了一種融合SE模塊與FCN 的圖像修復(fù)取證網(wǎng)絡(luò)。為避免網(wǎng)絡(luò)受圖像內(nèi)容影響導(dǎo)致的檢測(cè)精度降低的情況發(fā)生，該全卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果與輸入圖像具有相同尺寸，同時(shí)為輸出圖像中的每一個(gè)像素指定一個(gè)類別標(biāo)簽（0或者1，0 代表未修復(fù)區(qū)域，1 代表修復(fù)區(qū)域）。

1.1 SE 模塊

Hu 等人提出一種通道注意力結(jié)構(gòu)SE-net（Squeeze-and-Excitation Net），通過神經(jīng)網(wǎng)絡(luò)來自適應(yīng)地學(xué)習(xí)每個(gè)特征通道的重要程度，并為每個(gè)通道賦予不同的權(quán)重系數(shù)，從而強(qiáng)化重要的特征，抑制非重要的特征。通過權(quán)值重分配的方式來自適應(yīng)地調(diào)整通道間的特征重要性，讓計(jì)算資源分配給信息中最有用的部分，又因?yàn)槠漕~外所占用的計(jì)算成本小，很容易嵌入其他深層網(wǎng)絡(luò)，SE 模塊結(jié)構(gòu)如圖1 所示。

圖1 SE 模塊結(jié)構(gòu)圖Fig.1 SE block structure diagram

為不同的特征通道求得對(duì)應(yīng)權(quán)重是關(guān)鍵點(diǎn)，首先是操作，將一個(gè)通道中整個(gè)空間特征編碼為一個(gè)全局特征，通過全局池化將特征圖在的空間維度上收縮，對(duì)此可表示為：

其中，F(·) 表示全局平均池化，x表示特征圖的第個(gè)通道。

得到了全局描述特征后，進(jìn)行操作來抓取特征通道之間的關(guān)系，對(duì)此可表示為：

其中，(·) 表示函數(shù)，確保值位于0～1，(·) 表示函數(shù)。

依前處理后，下面就是操作，即將操作得到的權(quán)重看作是重要信息的依據(jù)，數(shù)學(xué)定義式可寫為：

其中，作為比例因子與原通道相乘，利用一維的稀疏卷積操作來優(yōu)化SE 模塊中涉及到的全連接層操作，達(dá)到大幅降低參數(shù)量并保持相當(dāng)性能的目的。為了壓縮參數(shù)量和提高計(jì)算效率，SE 模塊采用“先降維-再升維”的策略，利用2 個(gè)多層感知機(jī)來學(xué)習(xí)不同通道間的相關(guān)性，即當(dāng)前的每一個(gè)特征圖都與其它特征圖進(jìn)行交互，是一種密集型的連接。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為實(shí)現(xiàn)對(duì)取證區(qū)域的定位，本文采用基于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的圖像修復(fù)取證網(wǎng)絡(luò)架構(gòu)，總體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。該架構(gòu)的特征提取模塊由14 個(gè)卷積層和5 個(gè)最大池化層組成，每一個(gè)卷積層后都添加了整流線性單位（）作為激活函數(shù)。在特征提取模塊的第一層，本文采用了64 個(gè)3×3 的卷積核，將第一層的輸出再次經(jīng)過一個(gè)相同結(jié)構(gòu)的卷積模塊，輸出224×224×64 的特征圖；使用窗口大小為2×2 和步長(zhǎng)為2 的最大池化層對(duì)第二層卷積輸出特征圖進(jìn)行處理，得到112×112×128 的特征圖。經(jīng)過5 次不同核數(shù)的卷積層及5 次相同窗口大小和步長(zhǎng)的最大池化層，輸出大小為7×7 的4 096個(gè)特征圖。本文將第四個(gè)區(qū)塊的特征圖通過1×1 的卷積進(jìn)行降維操作，同時(shí)對(duì)第五和第六個(gè)區(qū)塊的特征圖進(jìn)行反卷積操作，分別獲得28×28×2 的特征圖，再通過拼接融合方式，得到28×28×6 的特征圖。對(duì)這6 個(gè)通道的特征圖，使用SE 模塊進(jìn)行權(quán)重分配，得出權(quán)重占比最大的兩張?zhí)卣鲌D，分別代表修復(fù)和未修復(fù)樣本的特征圖。

圖2 總體網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Overall network structure diagram

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)庫的建立

本文創(chuàng)建了包含2 000 個(gè)大小為256×256 彩色圖像的修復(fù)圖像數(shù)據(jù)庫。該數(shù)據(jù)庫中的修復(fù)區(qū)域?yàn)椴灰?guī)則形狀，修復(fù)區(qū)域占比為2%～40%。實(shí)驗(yàn)隨機(jī)選擇1 600 張用于訓(xùn)練，400 張用于測(cè)試。本文提出的模型輸入圖像大小為224×224，因此先將數(shù)據(jù)庫圖像大小裁剪為224×224 作為本文使用的修復(fù)圖像數(shù)據(jù)庫?？紤]到在訓(xùn)練樣本中，修復(fù)區(qū)域相對(duì)于未修復(fù)區(qū)域較小，研究中采用加權(quán)交叉熵作為損失函數(shù)，用隨機(jī)梯度法來迭代更新超參數(shù)。學(xué)習(xí)率設(shè)置為e，動(dòng)量值設(shè)置為0.9，重量衰減值設(shè)置為5，設(shè)置為8。

2.2 實(shí)驗(yàn)結(jié)果與分析

本文針對(duì)彩色修復(fù)圖像進(jìn)行了修復(fù)檢測(cè)和定位，具體可視化結(jié)果如圖3 所示。由圖3 可以看出，即使不規(guī)則的修復(fù)區(qū)域面積較大，本文算法仍然能夠較為準(zhǔn)確地定位修復(fù)區(qū)域。

圖3 修復(fù)圖像的可視化結(jié)果Fig.3 Visualized results of inpainting images

通過精度、召回率、得分和交并比（）等數(shù)據(jù)定量分析本文提出的修復(fù)圖像取證網(wǎng)絡(luò)，這些參數(shù)可由真陽樣本（Ture Positive，TP）、假陽樣本（False Positive，F(xiàn)P）和假陰樣本（False Negative，F(xiàn)N）計(jì)算得到。對(duì)此擬展開研究分述如下。

（1）精度（）：定義為個(gè)數(shù)與和個(gè)數(shù)之和的比值，該值可由下式計(jì)算得出：

（2）召回率（）：定義為數(shù)量與和數(shù)量之和的比值，該值可由下式計(jì)算得出：

（3）：定義為考慮和的調(diào)和平均值。該值可由下式計(jì)算得出：

（4）交并比（）：是一個(gè)度量，用于計(jì)算預(yù)測(cè)輸出和目標(biāo)掩碼之間的重疊百分比。計(jì)算方法為預(yù)測(cè)掩模和目標(biāo)掩模像素?cái)?shù)與2 個(gè)掩模像素?cái)?shù)并集的交集。

本文采用2 個(gè)標(biāo)簽作為模型的輸出；第一個(gè)標(biāo)簽表示被修復(fù)區(qū)域，第二個(gè)標(biāo)簽表示未被修復(fù)區(qū)域。由于有2 個(gè)不同的輸出標(biāo)簽，因此本文計(jì)算了測(cè)試結(jié)果的平均精度（）、平均召回率（）、平均分?jǐn)?shù)（）和平均。本文方法在修復(fù)圖像數(shù)據(jù)庫上運(yùn)行后的性能分析結(jié)果如圖4 所示。由圖4 可見，測(cè)試結(jié)果、、、分別為78.9、71.15、74.83和70.3，表明本文提出的圖像修復(fù)取證模型具有較好的檢測(cè)性能。

圖4 基于精度、召回率、F1 得分和交并比四個(gè)度量數(shù)據(jù)的性能分析Fig.4 Performance analysis based on average precision（AP），average recall（AR），average F1 Score（AF1 Score）and mean intersection over union（MIoU）

3 結(jié)束語

本文提出了一種融合注意力機(jī)制與FCN 的圖像修復(fù)取證網(wǎng)絡(luò)，為了對(duì)本文模型進(jìn)行訓(xùn)練和驗(yàn)證，創(chuàng)建了彩色圖像的修復(fù)數(shù)據(jù)庫，并對(duì)本文模型進(jìn)行了訓(xùn)練和測(cè)試。從各種指標(biāo)定量分析和圖像檢測(cè)效果來看，本文模型在檢測(cè)基于樣本塊修復(fù)的圖像時(shí)具有較好的性能。未來可以在本模型的基礎(chǔ)上加以改進(jìn)，檢測(cè)其它圖像篡改操作，如復(fù)制、移動(dòng)和拼接等。