Mask-RCNN模型在圖像篡改中的應(yīng)用

張麒麟，林清平，肖 蕾（通訊作者）

（空軍預(yù)警學(xué)院 湖北 武漢 430000）

1 引言

隨著科技的快速發(fā)展，手機(jī)、平板電腦等電子設(shè)備和各種圖像編輯軟件的普及，存儲和傳輸數(shù)字圖像變得十分便捷。但隨之也帶來不少問題，其中對圖像進(jìn)行不正當(dāng)?shù)募庸ず吞幚肀闶且淮髥栴}。被惡意篡改的圖像經(jīng)過傳播，會影響人們對客觀事物的評價，甚至危害社會和國家安全。近年來由于圖像造假事件造成的一系列事件發(fā)人深省，針對數(shù)字圖像可能面臨著被隨意篡改和偽造的風(fēng)險，如何保證數(shù)字圖像的真實性，對偽造圖像進(jìn)行認(rèn)證將是一項非常重要的課題。針對圖片篡改檢測的算法，以往主要是針對JPEG格式圖像的壓縮特性進(jìn)行檢測，如DCT算法[1]和BLK算法，這些算法雖然對部分剪貼圖片能有效檢測，但極易受圖像壓縮、轉(zhuǎn)碼等處理的影響。

為此，我們提出了一個基于深度學(xué)習(xí)的圖像篡改檢測系統(tǒng)，由噪聲圖像生成、全圖濾鏡檢測、篡改區(qū)域檢測三個子系統(tǒng)構(gòu)成。噪聲圖像生成是基于信噪比原理，依據(jù)圖片本身存在的噪聲，突出其中差異生成噪聲特征圖像。全圖濾鏡檢測是依據(jù)圖像像素之間的高維關(guān)聯(lián)，用CNN提取其中特征，檢測圖片可能存在的濾鏡。篡改區(qū)域檢測是依據(jù)雙流Mask-RCNN網(wǎng)絡(luò)構(gòu)架，從RGB和噪聲兩個層面并行檢測圖片的篡改痕跡，并對篡改區(qū)域進(jìn)行精確到像素級的標(biāo)識。

2 Mask-RCNN檢測網(wǎng)絡(luò)

Mask-RCNN[2]是何凱明基于以往的Faster-RCNN[3]架構(gòu)提出的新的卷積網(wǎng)絡(luò)。Mask-RCNN與Faster-RCNN同樣采用了Two--Stage的結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)同時完成了兩項任務(wù)，即準(zhǔn)確識別目標(biāo)和完成高質(zhì)量的語義分割。Mask-RCNN的設(shè)計思路就是在原有的Faster-RCNN基礎(chǔ)上進(jìn)行擴(kuò)展，增添一個預(yù)測分割MASK的分支對目標(biāo)的位置信息進(jìn)行并行預(yù)測。我們將Mask-RCNN這一優(yōu)秀的特性應(yīng)用到篡改區(qū)域檢測中，并針對圖像檢測的需求引入噪聲檢測機(jī)制和雙流結(jié)構(gòu)，解決了以往算法檢測效果和區(qū)域劃分難以共同實現(xiàn)的難題，實現(xiàn)了像素級篡改檢測。

圖1 Mask-RCNN檢測網(wǎng)絡(luò)模型

如圖1，改進(jìn)后Mask-RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)圖中主要有四個部分：殘差網(wǎng)絡(luò)卷積層、RPN（區(qū)域建議網(wǎng)絡(luò)推薦）、噪聲核卷積層、ROI Align(區(qū)域特征聚集)。主要流程如下：先將圖片集傳入檢測網(wǎng)絡(luò)，經(jīng)過殘差網(wǎng)絡(luò)分析和噪聲卷積核處理得到圖像的feature maps（圖像特征），并利用RPN對生成的feature maps做目標(biāo)區(qū)域推薦生成區(qū)域推薦，最終將其分類生成判斷結(jié)果。

2.1 殘差網(wǎng)絡(luò)卷積層

待檢測圖像中物體是以不同的scale（圖片的比例）和size（圖片的大?。┏霈F(xiàn)的，故數(shù)據(jù)集無法捕獲所有這些數(shù)據(jù)。因此，本層采用了ResNet50（殘差神經(jīng)網(wǎng)絡(luò)）+FPN。這樣可以較好地提取圖片特征。FPN不是僅僅具有橫向連接，也能實現(xiàn)縱向連接卷積層，它們使用一個簡單的MergeLayer（把若干個層合并成一個層）來組合兩者。這樣的設(shè)計讓圖像的特征能夠被充分發(fā)掘并使不同深度的特征的影響更加均勻。

2.2 RPN層

顧名思義就是區(qū)域推薦的網(wǎng)絡(luò)，用于幫助網(wǎng)絡(luò)推薦感興趣的區(qū)域，也是傳統(tǒng)Mask-RCNN中重要的一部分。通過固定錨點(diǎn)與滑窗確定特征區(qū)域?qū)?yīng)的圖像位置，生成一個全連接特征。然后在這個特征后產(chǎn)生兩個分支的全連接層，用全連接層實現(xiàn)上一層特征到兩個分支的特征映射，幫助后續(xù)mask確定像素點(diǎn)位置。

2.3 噪聲核卷積層

主要利用截取SRM濾波中間過程[4]，得到多種濾波核卷積后的圖像，突出顯示圖像噪聲方面的特征。本層接受卷積層的中間輸出，經(jīng)本層處理后的圖像天然與下一級原始卷積圖像形成類似上采樣的結(jié)果，將輸出結(jié)果與相同層數(shù)的原始卷積圖像在FPN層中用進(jìn)行特征融合，實現(xiàn)雙流架構(gòu)的引入，使噪聲特征更加突出地作為圖像篡改特征的一部分。

2.4 ROI Align層

ROI Align（區(qū)域特征聚集）層通過取消量化操作，采取雙線性內(nèi)插值的方法獲得坐標(biāo)數(shù)值為浮點(diǎn)數(shù)的像素點(diǎn)上的圖像數(shù)值，從而將整個特征聚集過程轉(zhuǎn)化為一個連續(xù)的操作。在Faster RCNN中，有兩次整數(shù)化的過程：region proposal的xywh通常是小數(shù)，為了計算簡便一般做整數(shù)化處理。將處理后的圖像邊界平均分割成個單元，對生成的單元的邊界整數(shù)化。

通過以上兩次整數(shù)化后的圖像中的候選框位置和初始回歸的位置存在一定的偏差，影響目標(biāo)檢測或者語義分割的準(zhǔn)確性。ROI Align方法通過取消整數(shù)化操作，保留了小數(shù)來避免出現(xiàn)以上問題。改進(jìn)后的流程如下：

（1）對圖像中各個候選區(qū)域進(jìn)行遍歷，候選區(qū)域的邊界不做整數(shù)化處理。

（3）對每個單元使用雙線性插值的方法計算四個固定坐標(biāo)位置，將獲得的圖像數(shù)值進(jìn)行最大池化操作。

經(jīng)過以上改進(jìn)的ROI Align處理可以提高模型的準(zhǔn)確性。

3 對比實驗與結(jié)果分析

本文選取精確率、召回率和評分參數(shù)作為對比部分的參考評價，其中，精確率、召回率、評分的計算如下。

測試數(shù)據(jù)集CASIA v1.0是一個著名的用于圖像篡改檢測的數(shù)據(jù)集，包含豐富的真實圖像和篡改圖像。但為避免受到CASIA v1.0數(shù)據(jù)集的限制，實驗部分采用十折交叉驗證法來對實驗效果進(jìn)行客觀的評估。

表1 本文所提算法及3種對比算法的檢測結(jié)果精確率、召回率和F的平均值

通過表1可以看出，本文所提出的算法在精確率和F度量的平均值上大大優(yōu)于其他三種算法，分別達(dá)到了0.76和0.72；召回率的平均值雖然略低于普通Faster-RCNN算法，但是仍然遠(yuǎn)高于ELA算法和U-Net算法，不過有研究表明：在不犧牲準(zhǔn)確率的前提下，很難達(dá)到很高的召回率。在大規(guī)模數(shù)據(jù)集合中這兩者是相互制約的，無法同時達(dá)到高的準(zhǔn)確率和召回率，所以本文所提的算法在精確率、召回率和F的平均值方面是明顯優(yōu)于其他三種算法的。通過檢測的實際效果也可以看出，普通Faster-RCNN算法、ELA算法和U-Net算法雖然都大致檢測出了被篡改的區(qū)域，但是精度都比較低，錯誤檢測的區(qū)域較多，反觀本文所提的算法可以很明顯地看出本文所提的算法在檢測的實際效果上仍然優(yōu)于其他三種算法?？偟膩砜幢疚乃岬乃惴ㄔ诟鞣矫娑純?yōu)于其他三種用于實驗對比的算法。

此外，將圖像檢測算法應(yīng)用于大量圖片時，運(yùn)行速度是極為重要的指標(biāo)，為此，我們對同一批圖片檢測的速度進(jìn)行了對比，結(jié)果如表2。

表2 本文所提算法及3種對比算法的檢測運(yùn)行時間

通過本文所提的算法及3種對比算法的檢測運(yùn)行時間的實測結(jié)果可以明顯看出，本文所提的算法在運(yùn)行時間上也有一定的改進(jìn)。在保證了較好的準(zhǔn)確率、召回率和F度量的前提下，本文所提的算法在運(yùn)行時間上仍有較大的優(yōu)勢，具有運(yùn)行速度快的特點(diǎn)，適用于大批量圖片檢測。

綜上所述，我們所提出的算法的豐富特征使其在圖像篡改的檢測上有著較為優(yōu)秀的效果。通過上面三個表的詳細(xì)分析可以看出，本算法在執(zhí)行速度、準(zhǔn)確率、召回率等方面都優(yōu)于現(xiàn)有的算法。在當(dāng)前的圖像篡改檢測領(lǐng)域，本文提出的圖像篡改檢測系統(tǒng)有著較為明顯的優(yōu)勢。

4 結(jié)語

本文設(shè)計實現(xiàn)了一個基于深度學(xué)習(xí)的雙流Mask-RCNN框架進(jìn)行篡改圖像的檢測，詳細(xì)闡述了雙流Mask-RCNN模型的構(gòu)架，通過實驗證明了其合理性和優(yōu)越性。

雙流Mask-RCNN與單一深度學(xué)習(xí)方法相比，具有更好的魯棒性和更先進(jìn)的性能。多通道的輸入使圖片的轉(zhuǎn)碼和壓縮不易影響篡改特征，雙流相互印證能夠更加精確地定位篡改區(qū)域和能夠檢測多種尺寸的圖片，不再受限于普通RCNN算法的圖片輸入大小限制，能夠輸出精確到像素級的篡改區(qū)域。

采取雙流Mask-RCNN能從更多角度分析圖片的修改痕跡信息，幫助用戶更好地甄別圖片真?zhèn)涡浴?/p>