基于U型檢測(cè)網(wǎng)絡(luò)的圖像篡改檢測(cè)算法

王珠珠

（西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院，陜西 西安 710071）

1 引言

由于圖像編輯軟件的大量出現(xiàn)和數(shù)字媒體監(jiān)管力度的缺乏，人們可以輕易更改圖像的內(nèi)容信息，導(dǎo)致更改后的圖像可能會(huì)傳遞完全不同的信息，這一有害趨勢(shì)已經(jīng)在很多領(lǐng)域引起了嚴(yán)重的不良后果。針對(duì)這一系列問題，許多學(xué)者對(duì)其進(jìn)行了深入性的研究?？傮w來說，圖像內(nèi)容篡改操作可分為2類：復(fù)制粘貼篡改和剪切組合篡改。在復(fù)制粘貼篡改中，一幅圖像里的某一部分內(nèi)容會(huì)被復(fù)制粘貼到同一幅圖像的另一個(gè)部分，以達(dá)到掩蓋或增加圖像內(nèi)容的目的。剪切組合篡改是指將一幅圖像的一個(gè)或幾個(gè)區(qū)域復(fù)制到另一幅圖像中以生成一幅新的圖像。一組剪切組合篡改示例如圖1所示，其中，圖 1(a)為原始圖像，圖 1(b)為篡改圖像，圖1(c)為篡改圖像中的真實(shí)篡改區(qū)域。本文所研究的篡改類型為剪切組合篡改，并提出了一種有效的檢測(cè)算法實(shí)現(xiàn)剪切組合篡改檢測(cè)。傳統(tǒng)的剪切組合篡改檢測(cè)算法主要是根據(jù)圖像中篡改與非篡改區(qū)域之間的屬性差異進(jìn)行判斷，基于這些屬性差異的檢測(cè)算法大致可分為4類：1) 基于圖像本質(zhì)屬性的檢測(cè)方法[1-3]；2) 基于成像設(shè)備屬性的檢測(cè)方法[4-7]；3) 基于圖像壓縮屬性的檢測(cè)方法[8-12]；4) 基于圖像散列的檢測(cè)方法[13-16]。由于每種檢測(cè)算法只針對(duì)一種特定的圖像屬性，當(dāng)這種屬性不明顯或不存在時(shí)，會(huì)出現(xiàn)檢測(cè)失效的情況。例如，當(dāng)被篡改圖像和篡改圖像產(chǎn)自相同品牌和模型的成像設(shè)備時(shí)，它們具有相同的噪聲信息，那么基于圖像本質(zhì)屬性的檢測(cè)方法就會(huì)失效；而基于圖像散列技術(shù)的檢測(cè)方法則需要利用原始圖像的散列值才能進(jìn)行判斷，嚴(yán)格來說，這并不算一種盲檢測(cè)算法。

圖1 剪切組合篡改示例

近年來，由于卷積神經(jīng)網(wǎng)絡(luò)可自動(dòng)學(xué)習(xí)高維數(shù)據(jù)間的映射關(guān)系，并且具有平移不變性等屬性，使其在圖像分類、圖像語義分割、圖像生成等計(jì)算機(jī)視覺領(lǐng)域都取得較大成功。目前，基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法可實(shí)現(xiàn)不依賴于圖像單一屬性的圖像篡改檢測(cè)，彌補(bǔ)了傳統(tǒng)算法依賴于圖像單一屬性、適用度不高等缺陷。文獻(xiàn)[17]將卷積神經(jīng)網(wǎng)絡(luò)首次應(yīng)用于圖像篡改檢測(cè)，可用于判斷當(dāng)前圖像是否被篡改，但不能定位篡改區(qū)域的具體位置。文獻(xiàn)[18]提出了一種基于圖像塊的檢測(cè)算法，但僅能大致定位圖像中的篡改區(qū)域。為實(shí)現(xiàn)篡改區(qū)域的像素級(jí)定位，文獻(xiàn)[19-20]都使用了不重疊的圖像塊作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行判斷。由于大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像篡改檢測(cè)算法主要是對(duì)圖像中的每個(gè)塊進(jìn)行判斷分類來得到最終檢測(cè)結(jié)果，缺少利用圖像上下文中的特征關(guān)聯(lián)信息進(jìn)行匹配和判斷的條件（圖像中的上下文關(guān)聯(lián)信息是圖像篡改檢測(cè)中較為重要的部分），導(dǎo)致最終檢測(cè)結(jié)果難以達(dá)到理想狀況。同時(shí)，這些方法都是由多個(gè)階段操作混合完成的，具有較高的時(shí)間復(fù)雜度。針對(duì)以上問題，本文首先利用 U型檢測(cè)網(wǎng)絡(luò)[21]針對(duì)圖像上下文間的關(guān)聯(lián)信息進(jìn)行定位的特點(diǎn)實(shí)現(xiàn)圖像篡改檢測(cè)，然后再使用全連接條件隨機(jī)場(chǎng)[22]對(duì) U型檢測(cè)網(wǎng)絡(luò)的檢測(cè)結(jié)果進(jìn)行進(jìn)一步的優(yōu)化精細(xì)，最終得到較好的實(shí)驗(yàn)效果。

2 U型檢測(cè)網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)

基于 U型檢測(cè)網(wǎng)絡(luò)的圖像篡改檢測(cè)算法主要由兩部分組成：U型檢測(cè)網(wǎng)絡(luò)[21]和全連接條件隨機(jī)場(chǎng)[22]后處理。首先利用U型檢測(cè)網(wǎng)絡(luò)對(duì)輸入圖像中的篡改區(qū)域進(jìn)行較為精細(xì)的定位得到疑似篡改區(qū)域，然后利用全連接條件隨機(jī)場(chǎng)對(duì)上述疑似區(qū)域進(jìn)行進(jìn)一步的精細(xì)優(yōu)化以獲得最終精確的檢測(cè)結(jié)果。基于U型檢測(cè)網(wǎng)絡(luò)的檢測(cè)示例如圖2所示，其中，圖2(a)為待檢圖像，圖2(b)為通過U型檢測(cè)網(wǎng)絡(luò)檢測(cè)得到的疑似篡改區(qū)域，圖2(c)為通過全連接條件隨機(jī)場(chǎng)后處理的最終檢測(cè)結(jié)果。

圖2 基于U型檢測(cè)網(wǎng)絡(luò)的檢測(cè)示例

2.1 卷積神經(jīng)網(wǎng)絡(luò)

一般來說，在圖像分類任務(wù)中，網(wǎng)絡(luò)結(jié)構(gòu)由若干個(gè)卷積層和池化層交替組成，通過全連接層和softmax激活函數(shù)得到最終的預(yù)測(cè)類別。由于全連接層會(huì)丟失特征的空間位置信息來完成特征的分類和回歸，因此在圖像分割任務(wù)中，為保留輸出特征能映射回輸入圖像的空間位置信息，需要舍棄全連接層，并利用上采樣層或反卷積層來輸出高分辨率的預(yù)測(cè)特征圖。

2.1.1 卷積層

卷積層由一系列卷積核組成，每個(gè)卷積核負(fù)責(zé)不同的特征信息提取，這些特征信息包含了圖像中的紋理信息、邊緣信息、亮度分布、噪聲信息等，對(duì)網(wǎng)絡(luò)的判斷起著重要作用。同時(shí)，由于卷積核權(quán)值共享的特點(diǎn)，可使特征提取的效率更高，整體參數(shù)更少。卷積層的計(jì)算方式為

其中，x為采樣輸入，wi為第i個(gè)卷積核的權(quán)重參數(shù)，bi為第i個(gè)神經(jīng)元的偏置項(xiàng)，yi為第i個(gè)神經(jīng)元的輸出。

2.1.2 池化層

池化層也稱為下采樣層，一般在卷積層之后進(jìn)行操作，可以通過池化層使卷積層輸出的特征向量降維。池化層的具體作用有4個(gè)：1) 維持輸出特征的不變形，這些不變形包括平移不變形、旋轉(zhuǎn)不變性、尺度不變性等；2) 減小下一個(gè)卷積層的輸入數(shù)據(jù)大小、減小計(jì)算量和參數(shù)大小；3)可獲得固定大小的輸出，例如全局均值池化可以得到輸出為1×1的特征圖，這對(duì)某些輸入數(shù)據(jù)大小不固定的情況較為重要；4) 由于池化操作可降低網(wǎng)絡(luò)的參數(shù)大小，進(jìn)一步地也可預(yù)防網(wǎng)絡(luò)出現(xiàn)過擬合的情況。

2.1.3 上采樣層

上采樣層一般應(yīng)用于圖像分割任務(wù)中，利用插值方法，將低分辨率的語義級(jí)信息放大至較高分辨率，以獲得可視化結(jié)果。

2.2 U型檢測(cè)網(wǎng)絡(luò)

U型檢測(cè)網(wǎng)絡(luò)本質(zhì)上是一種卷積神經(jīng)網(wǎng)絡(luò)，于2015年由Ronneberger等[21]提出，被廣泛應(yīng)用于醫(yī)學(xué)圖像處理領(lǐng)域，相較于傳統(tǒng)的神經(jīng)結(jié)構(gòu)分割算法，不論是檢測(cè)速率還是檢測(cè)精度都有較大提升。U型檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示，圖中數(shù)字表示當(dāng)前的特征個(gè)數(shù)。U型檢測(cè)網(wǎng)絡(luò)首先利用連續(xù)的卷積層和最大池化層來獲取圖像中的上下文特征信息，然后使用一系列上采樣層將得到的特征信息進(jìn)行插值放大以得到高分辨率特征圖，最后利用層與層之間特征的橫向傳播，以達(dá)到減少特征的細(xì)節(jié)信息損失和精準(zhǔn)定位篡改區(qū)域的目的。

圖像篡改檢測(cè)實(shí)際上也可被看作一個(gè)復(fù)雜的圖像分割問題，同理，適用于圖像分割問題的方法也可用于圖像篡改區(qū)域檢測(cè)中。在圖像篡改檢測(cè)中，由于圖像中篡改區(qū)域與非篡改區(qū)域之間的可鑒別特征較為隱蔽和虛弱，當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)較深時(shí)，這些可鑒別特征會(huì)出現(xiàn)梯度消失的情況，為解決這一問題，需在U型檢測(cè)網(wǎng)絡(luò)中卷積層后加入批歸一化[23]操作。批歸一化的具體計(jì)算步驟如算法1所示。

算法1 批歸一化操作

圖3 U型檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)

由于批歸一化后輸入數(shù)據(jù)會(huì)被限制在正態(tài)分布下，使網(wǎng)絡(luò)的表達(dá)能力下降，為了解決這一問題，引入學(xué)習(xí)得到的γ和β進(jìn)行尺度變換和偏移。同時(shí)，為解決圖像中篡改區(qū)域和非篡改區(qū)域間的隱蔽特征難以學(xué)習(xí)的問題，引入focal loss[24]作為網(wǎng)絡(luò)的損失函數(shù)。focal loss在交叉熵[25]的基礎(chǔ)上，進(jìn)一步研究了簡(jiǎn)單樣本和困難樣本之間的關(guān)系及其對(duì)損失值的影響，從而解決了以往網(wǎng)絡(luò)主要針對(duì)簡(jiǎn)單樣本的特征進(jìn)行學(xué)習(xí)卻忽略困難樣本的重要性的問題。focal loss計(jì)算式為

其中，tα為可調(diào)的權(quán)重控制參數(shù)，γ為聚焦參數(shù)，為正確預(yù)測(cè)的概率。

2.3 全連接條件隨機(jī)場(chǎng)后處理

在通過U型檢測(cè)網(wǎng)絡(luò)檢測(cè)后，得到的疑似篡改區(qū)域仍包含了部分誤判區(qū)域?；诖耍萌B接條件隨機(jī)場(chǎng)[22]后處理對(duì)U型網(wǎng)絡(luò)的檢測(cè)結(jié)果進(jìn)行進(jìn)一步的精細(xì)優(yōu)化以得到最終的檢測(cè)結(jié)果。全連接條件隨機(jī)場(chǎng)作為一種經(jīng)典的判別式模型，可更好地反映觀測(cè)集中所有變量之間的相互聯(lián)系和依賴關(guān)系。全連接條件隨機(jī)場(chǎng)后處理在U型檢測(cè)網(wǎng)絡(luò)檢測(cè)結(jié)果的基礎(chǔ)上，不僅可進(jìn)一步精細(xì)化檢測(cè)結(jié)果，同時(shí)還可以剔除那些較小的誤判區(qū)域，輸出結(jié)果即為最終的篡改區(qū)域檢測(cè)結(jié)果。

全連接條件隨機(jī)場(chǎng)符合吉布斯分布，如式(3)所示。

其中，i為像素為一元?jiǎng)莺瘮?shù)，代表U型檢測(cè)網(wǎng)絡(luò)的輸出結(jié)果；為二元?jiǎng)莺瘮?shù)，計(jì)算式為

3 實(shí)驗(yàn)數(shù)據(jù)及對(duì)比分析

數(shù)據(jù)集 CASIA v2.0[26]是一個(gè)篡改圖像復(fù)雜真實(shí)且不易被人眼判斷的篡改圖像數(shù)據(jù)集。為保證實(shí)驗(yàn)的客觀性和實(shí)際性，本文選擇CASIA v2.0作為實(shí)驗(yàn)數(shù)據(jù)集。CASIA v2.0數(shù)據(jù)集中包含了復(fù)制粘貼和剪切組合這2種圖像篡改類型，由于本文僅針對(duì)圖像的剪切組合篡改，因此從CASIA v2.0數(shù)據(jù)集中篩選出共計(jì)1 082組剪切組合篡改圖像數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，其中，隨機(jī)選取900組圖像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，142組圖像數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)，余下的40組作為測(cè)試數(shù)據(jù)。同時(shí)由于CASIA v2.0數(shù)據(jù)集中數(shù)據(jù)量的限制，實(shí)驗(yàn)部分采用十折交叉驗(yàn)證法來對(duì)實(shí)驗(yàn)效果進(jìn)行客觀公正的評(píng)估。在第3.1節(jié)中將會(huì)列出本文算法各個(gè)步驟的具體參數(shù)設(shè)置和對(duì)比實(shí)驗(yàn)的評(píng)價(jià)參數(shù)。進(jìn)一步地，為客觀驗(yàn)證本文所提算法的有效性及頑健性，本文從傳統(tǒng)的基于圖像單一屬性的篡改檢測(cè)算法和當(dāng)前基于深度學(xué)習(xí)的檢測(cè)算法中分別挑選出幾種檢測(cè)效果較好的算法作為對(duì)比算法，并在第 3.2節(jié)中列出幾種算法的具體實(shí)驗(yàn)效果及其在各種攻擊條件下的檢測(cè)效果。

3.1 算法參數(shù)及實(shí)驗(yàn)評(píng)價(jià)參數(shù)

在訓(xùn)練過程中，U型檢測(cè)網(wǎng)絡(luò)的初始學(xué)習(xí)率被設(shè)定為0.1進(jìn)行訓(xùn)練，在迭代50輪后，學(xué)習(xí)率會(huì)被降低到0.01進(jìn)行訓(xùn)練，再次迭代50輪后，學(xué)習(xí)率會(huì)被降低至0.001繼續(xù)訓(xùn)練，直至網(wǎng)絡(luò)趨于平穩(wěn)狀態(tài)。U型檢測(cè)網(wǎng)絡(luò)選用隨機(jī)梯度下降作為網(wǎng)絡(luò)的優(yōu)化器，focal loss作為網(wǎng)絡(luò)的損失函數(shù)，focal loss中超參數(shù)at=0.25，γ=2。在全連接條件隨機(jī)場(chǎng)后處理的推斷過程中，迭代更新次數(shù)為5。本文所提算法使用Python作為編程語言，利用PyTorch深度學(xué)習(xí)庫實(shí)現(xiàn)U型檢測(cè)網(wǎng)絡(luò)，實(shí)驗(yàn)部分中傳統(tǒng)的基于單一屬性的檢測(cè)算法的實(shí)現(xiàn)平臺(tái)為 Matlab，基于深度學(xué)習(xí)的檢測(cè)算法的實(shí)現(xiàn)框架為Tensorflow，并且以上對(duì)比算法都已調(diào)至最優(yōu)參數(shù)。

本文對(duì)比實(shí)驗(yàn)部分所參考的評(píng)價(jià)參數(shù)為精確率、召回率和F，其中，精確率的計(jì)算如式(6)所示，召回率的計(jì)算如式(7)所示，F(xiàn)的計(jì)算如式(8)所示。

其中，真陽性表示檢測(cè)結(jié)果中正確檢測(cè)為篡改區(qū)域的像素總量，偽陽性表示檢測(cè)結(jié)果中錯(cuò)誤檢測(cè)為篡改區(qū)域的像素總量，偽陰性表示檢測(cè)結(jié)果中錯(cuò)誤檢測(cè)為非篡改區(qū)域的像素總量。

3.2 評(píng)價(jià)實(shí)驗(yàn)及對(duì)比分析

為評(píng)價(jià)本文所提算法的實(shí)際效果，本文選擇BLK算法[27]、GHO算法[28]、DCT算法[9]、CFAE算法[29]、NADQ算法[30]（以上算法由Zampoglou等[31]復(fù)現(xiàn)）、C2R-Net算法和U-Net算法為對(duì)比實(shí)驗(yàn)算法。由于原始CASIA v2.0數(shù)據(jù)集的圖像數(shù)據(jù)為TIFF格式，而BLK算法、GHO算法、DCT算法以及NADQ算法是基于 JPEG圖像格式的壓縮屬性進(jìn)行檢測(cè)的，為保證對(duì)比實(shí)驗(yàn)的公平性，需將 TIFF格式的圖像數(shù)據(jù)轉(zhuǎn)化為零壓縮的JPEG格式的圖像數(shù)據(jù)。

從測(cè)試數(shù)據(jù)中隨機(jī)挑選5組數(shù)據(jù)作為示例，如圖 4所示。其中，每一列表示一組示例及不同方法的檢測(cè)結(jié)果，第a行表示篡改圖像，第b行表示對(duì)應(yīng)的真實(shí)篡改區(qū)域圖像，第c行表示BLK算法的檢測(cè)結(jié)果，第d行表示GHO算法的檢測(cè)結(jié)果，第e行表示DCT算法的檢測(cè)結(jié)果，第f行表示CFAE算法的檢測(cè)結(jié)果，第g行表示NADQ算法的檢測(cè)結(jié)果，第h行表示C2R-Net算法的檢測(cè)結(jié)果，第i行表示U-Net算法的檢測(cè)結(jié)果，第j行表示本文所提算法的檢測(cè)結(jié)果。從主觀視覺角度出發(fā)，在 5種傳統(tǒng)的基于圖像單一屬性的篡改檢測(cè)算法中，BLK算法、GHO算法、CFAE算法以及NADQ算法的檢測(cè)結(jié)果趨于失效狀態(tài)，DCT算法也僅能大致定位出圖像中的篡改內(nèi)容；基于深度學(xué)習(xí)的C2R-Net算法雖然能定位出圖像中的篡改內(nèi)容，但仍存在少量誤檢及較多漏檢情況；原始U-Net算法能較好地定位圖像中的篡改區(qū)域，但存在少量多檢及誤檢情況；而本文所提算法在U-Net算法的基礎(chǔ)上精細(xì)了檢測(cè)結(jié)果，篩掉了誤檢區(qū)域，最終展示了較好、較穩(wěn)定的檢測(cè)效果。

表1展示了本文所提算法及7種對(duì)比算法通過十折交叉驗(yàn)證在40組圖像數(shù)據(jù)上的檢測(cè)結(jié)果的精確率、召回率和F的平均值。由表1可知，本文所提算法的檢測(cè)效果在精確率及F上都優(yōu)于其他7種對(duì)比算法，但召回率略低于DCT算法及NADQ算法。盡管DCT算法和NADQ算法的檢測(cè)結(jié)果的召回率較高，但從主觀視角來判斷，2種算法的檢測(cè)結(jié)果存在較多的誤檢，且出現(xiàn)大范圍失效問題（如圖4第e行和第g行所示）。進(jìn)一步地，為驗(yàn)證本文所提算法的頑健性（由于圖4中已展示了原始 U-Net算法和本文所提算法在非攻擊條件下的實(shí)驗(yàn)效果，這里不再做U-Net算法頑健性實(shí)驗(yàn)的展示），本文測(cè)試了7種算法在不同攻擊情況下的檢測(cè)效果，結(jié)果如圖5所示，并分別計(jì)算精確率、召回率及F的平均值。圖5(a)、圖5(c)和圖5(e)表示本文所提算法及 6種對(duì)比算法在不同品質(zhì)因子的JPEG圖像壓縮攻擊下的檢測(cè)結(jié)果，圖5(b)、圖5(d)和圖5(f)表示各算法在不同方差（均值默認(rèn)為0）的高斯噪聲攻擊下的檢測(cè)結(jié)果，圖 5(a)和圖 5(b)表示各算法在不同類型、不同程度攻擊下的檢測(cè)結(jié)果的精確率，圖5(c)和圖5(d)表示各算法在不同攻擊情況下的檢測(cè)結(jié)果的召回率，圖5(e)和圖5(f)表示各算法在不同攻擊情況下的檢測(cè)結(jié)果的F。從圖5可以看出，在JPEG圖像壓縮攻擊下，對(duì)比算法中僅DCT算法和C2R-Net算法有一定的抗攻擊能力，當(dāng)品質(zhì)因子為80以下時(shí)，DCT算法呈檢測(cè)失效狀態(tài)；在高斯噪聲攻擊下，僅 C2R-Net能完成檢測(cè)。而本文所提算法不僅在JPEG圖像壓縮攻擊下展示了較好、較穩(wěn)定的檢測(cè)結(jié)果，在高斯噪聲攻擊下仍維持了較好的檢測(cè)效果。

圖4 5組對(duì)比實(shí)驗(yàn)示例

表1 本文所提算法及7種對(duì)比算法在40組圖像數(shù)據(jù)上的檢測(cè)結(jié)果精確率、召回率和F的平均值

圖5 本文算法及6種對(duì)比算法的檢測(cè)結(jié)果

4 結(jié)束語

本文提出了一種基于 U型檢測(cè)網(wǎng)絡(luò)的圖像篡改檢測(cè)算法，首先利用U型檢測(cè)網(wǎng)絡(luò)檢測(cè)圖像中的疑似篡改區(qū)域，接著為進(jìn)一步優(yōu)化精細(xì)U型網(wǎng)絡(luò)的檢測(cè)結(jié)果，本文使用全連接條件隨機(jī)場(chǎng)后處理進(jìn)行處理并得到最終的檢測(cè)結(jié)果。為評(píng)價(jià)本文所提算法的有效性及實(shí)際性，將其與傳統(tǒng)的基于圖像單一屬性的篡改檢測(cè)算法和當(dāng)前基于深度學(xué)習(xí)的檢測(cè)算法進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文所提算法的檢測(cè)效果優(yōu)于其他幾種對(duì)比算法。