相機源識別算法魯棒性研究

張 凱，張 珣

（杭州電子科技大學電子信息學院，浙江杭州 310018）

0 引言

通過數(shù)碼相機、手機、打印機等設備可獲取數(shù)字圖像，且隨著Photoshop 等圖像處理軟件的優(yōu)化與普及，人們可以輕松改動原圖，制作出任何想要的新圖像［1］。在知識產權、法庭取證和學術研究等領域，隨意篡改圖像可能會引發(fā)一系列惡劣的社會問題。因此，鑒別圖像內容的真實性尤為重要，在這一背景下，數(shù)字圖像取證技術應運而生。

數(shù)字圖像取證技術是通過各種手段分析數(shù)字圖像統(tǒng)計信息，包括真實性、完整性、原創(chuàng)性息，進而判斷圖像是否經(jīng)過篡改或偽造的一種技術［2-4］，可分為主動取證［5-6］和被動取證［7］兩種。主動取證包括數(shù)字水印和數(shù)字簽名，被動取證包括圖像源辨識［8］、圖像篡改檢測［9］、圖像真實性鑒定。主動取證技術是在圖像中預先加入水印或簽名信息，若圖像經(jīng)過篡改，預先嵌入的信息就會被破壞。被動取證技術只需要檢測數(shù)字圖像的內在統(tǒng)計特性，應用范圍廣泛。

圖像源辨識是數(shù)字圖像被動取證的重要研究方向，其可根據(jù)待測圖像確定成像設備來源。在數(shù)字成像過程中，光信號在經(jīng)過鏡頭、成像傳感器時會引入噪聲，在后期數(shù)字信號處理階段也會引入一系列噪聲，可根據(jù)這些噪聲性質判斷設備來源。針對相機源識別，相關學者已經(jīng)進行了大量研究。Roy 等［10］采用離散余弦變換方法提取特征，基于隨機森林的AdaBoost 集成分類器進行相機源識別；Jaro?slaw 等［11］基于鏡頭漸暈現(xiàn)象會使圖像邊緣光強較弱的依據(jù)，提出采用照片邊緣光強值進行相機識別的方法；Li等［12］提出利用鏡頭畸變現(xiàn)象計算圖像畸變系數(shù)以識別相機，但該方法受環(huán)境影響較大，失真參數(shù)會隨著物體距離、焦距和視角的變化而變化。

近年來，深度學習在圖像識別領域廣泛應用［13-14］。深度學習能自動學習圖像特征，其提取的特征比人工設計的特征有更強的表達能力和穩(wěn)定性，因此深度學習可獲得更為本質的圖像深層特征。深度學習領域具有代表性的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）通過卷積核提取圖像特征，而卷積核的本質是特征提取的濾波器，可根據(jù)提取特征性質選擇不同卷積核。本文以相機噪聲頻率域特征為研究對象，結合CNN 進行特征提取與分類，通過對圖像進行加噪、裁剪成不同圖像塊處理，對該算法的可靠性和魯棒性進行研究。

1 源相機識別噪聲分析

1.1 數(shù)碼相機成像原理

數(shù)碼相機成像原理［15］如圖1 所示。當數(shù)碼相機拍攝照片時，自然場景的反射光信號通過鏡頭，通過彩色濾波陣列分解成不同顏色的光，然后通過成像傳感器將光信號轉換為電信號，電信號經(jīng)過顏色插值、白平衡［16］、伽馬矯正［17］、對比度增強、圖像壓縮等處理后被轉化為數(shù)字圖像，最終保存在存儲器中。

Fig.1 Camera imaging process圖1 相機成像過程

1.2 相機噪聲分析

相機噪聲分為很多種，如經(jīng)過光電轉換的數(shù)字圖像會引入噪聲；自然場景的光經(jīng)過鏡頭時會因鏡頭灰塵、鏡頭畸變現(xiàn)象引入噪聲；由于生產工藝限制，成像傳感器會引入暗電流噪聲和PRNU 噪聲［18-19］；在后期圖像處理階段會引入熱噪聲、散粒噪聲等隨機噪聲。

傳感器噪聲在數(shù)碼相機生產過程中便已產生，不同生產商的傳感器噪聲不同，即使是同一生產商的同一型號相機，其傳感器噪聲也不同，因此傳感器噪聲可被視為相機的“固有指紋”。光響應非均勻性（PRNU）噪聲是較為普遍的傳感器噪聲，由于成像傳感器各部分對光線敏感度不同，使得光子在傳感器表面分布不均，表現(xiàn)在數(shù)字圖像上即為像素值不同。這種噪聲與傳感器材料、制造工藝等物理特性相關，幾乎是無法消除的。

Lukas 等［20］最早提出了基于PRNU 的圖像源辨識算法，其首先對成像傳感器輸出建模，通過最大似然估計法從多張參考圖像中估計PRNU 特征，之后又通過平均多幅參考圖像的噪聲殘差，得到該相機的參考模式噪聲，具體公式如下。

由原圖減去濾波器處理后的圖像得到噪聲殘差：

噪聲殘差求平均值得到PRNU 信號：

式中，Wk為圖像k的噪聲殘差，Ik為原始圖像k，F(xiàn)(Ik)為對圖像k做濾波處理。

使用噪聲殘留測試圖像（n）與相機參考PRNU 圖像（P）之間的歸一化相關系數(shù)確定特定圖像是否由相機（C）拍攝。該歸一化相關統(tǒng)計檢驗可用于確定源相機識別中基于濾波的PRNU 噪聲殘差與相機參考PRNU 圖像之間的相關度，計算公式為：

1.3 噪聲信號性質

PRNU 噪聲中通常還有一種非唯一偽像噪聲（NUA），主要由傳感器、彩色濾波陣列和鏡頭等器件引起。由于圖像信號的內容信息主要分布在低頻區(qū)域，噪聲信息分布在高頻區(qū)域，因此可以使用以下高通濾波器提取圖片高頻分量。

提取出的噪聲信號包含PRNU 噪聲和NUA 噪聲，對PRNU 噪聲圖像作自相關處理，能夠體現(xiàn)信號周期性。

以Huawei-P9 為例，圖2 展示了其噪聲圖、自相關圖像與傅里葉幅值圖像。噪聲圖像的自相關圖像有周期性網(wǎng)格特征，在經(jīng)過傅里葉變換后具有周期性亮點，高亮度表示該頻率的特征更加明顯。

Fig.2 Processing image of noise signal圖2 噪聲信號處理圖像

2 CNN 概述

2.1 CNN 基本結構

CNN 結構模型［21-22］如圖3 所示，包含輸入層、卷積層、池化層、全連接層和Softmax 回歸分類層。卷積層和池化層可用于提取圖像特征，以下主要介紹卷積層、池化層和Softmax 回歸分類層。

Fig.3 Basic structure of convolutional neural network圖3 CNN 基本結構

2.2 卷積層

卷積層又稱為特征提取層，用于學習輸入數(shù)據(jù)的局部特征，通常使用多層卷積得到更深層次的特征圖。卷積運算可提取圖像邊緣、線條等特性，但不會改變圖像大小。

2.3 池化層

池化層又稱為特征映射層，通常位于卷積層后，為對輸入圖像進行下采樣得到的層。池化層的主要作用為降維數(shù)據(jù)、去除冗余信息、壓縮特征、簡化網(wǎng)絡復雜度、減少計算量、減小內存消耗，同時實現(xiàn)平移不變性、旋轉不變性和尺度不變性。

池化方法包括一般池化、重疊池化和空金字塔池化。一般池化通常包括平均池化和最大池化，其中平均池化是計算圖像區(qū)域的平均值作為該區(qū)域池化后的值，最大池化是選擇圖像區(qū)域的最大值作為該區(qū)域池化后的值。重疊池化即相鄰池化窗口間有重疊區(qū)域?？臻g金字塔池化是將一個池化變成多個尺度的池化，用不同大小池化窗口作用于上層卷積特征。

2.4 Softmax 分類層

CNN 分類層如圖4 所示。全連接層將權重矩陣與輸入向量相乘再加上偏置，將n 個（-∞，+∞）的實數(shù)映射為K 個（-∞，+∞）的實數(shù)。Softmax 將K 個（-∞，+∞）的實數(shù)映射為K 個（0，1）的概率，同時保證它們之和為1。具體可表示為：

Fig.4 Softmax classification layer圖4 Softmax 分類層

式中，x 為全連接層的輸入，Wn×K為權重，b 為偏置項，為Softmax 輸出的概率。Softmax 計算方式為：

拆成每個類別的概率如下：

式中，wj為圖4 中的權重系數(shù)，最終分類結果取其最大值。

3 實驗設計

3.1 實驗環(huán)境

深度學習需要大量數(shù)據(jù)運算，對硬件有一定要求，本實驗使用的計算機軟硬件配置如表1 所示。系統(tǒng)為Win?dows10，實現(xiàn)訓練的代碼均在PyTorch 框架下使用Python 語言編程。

Table 1 Experimental equipment表1 實驗設備

3.2 數(shù)據(jù)集分析

使用Dresden 數(shù)據(jù)集，其是基于相機數(shù)字取證技術開發(fā)與基準測試而構建的數(shù)據(jù)集。在環(huán)境可控的條件下，使用25 種不同型號的73 臺相機共拍攝了14 000 張室內和室外場景圖像，有助于嚴格分析制造商、模型、設備相關特性及其與其他影響因素的關系。以下實驗共使用5 種型號的相機進行實驗。

3.3 實驗流程

實驗設計方案如圖5 所示，主要包括圖像預處理、提取噪聲信號、CNN 實現(xiàn)圖像分類3 個部分。

Fig.5 Experimental flow圖5 實驗流程

在圖像預處理過程中，在原始圖像中加上高斯噪聲、椒鹽噪聲進行模糊處理，并與不加噪聲的圖像進行比較，驗證噪聲對算法魯棒性的影響。將原始圖像裁剪成不同圖像塊，以破壞其周期性信息，驗證尺寸對算法魯棒性的影響。

3.4 網(wǎng)絡模型

PyTorch 框架中torchvision 模塊下有torchvision.datas?ets、torchvision.models、torchvision.transforms 3 個子包。torchvision.models 中包含常用的Alexnet、Densenet、Incep?tion、Resnet、Squeezenet、VGG 等網(wǎng)絡結構，并且提供了預訓練模型，本實驗使用該模塊下的VGG16 網(wǎng)絡結構模型。

3.5 實驗衡量標準

實驗衡量標準與以下4 個指標相關：①True Positive（真正，TP）：將正類預測為正類數(shù)；②True Negative（真負，TN）：將負類預測為負類數(shù)；③False Positive（假正，F(xiàn)P）：將負類預測為正類數(shù)誤報；④False Negative（假負，F(xiàn)N）：將正類預測為負類數(shù)。

僅用精確度或召回率無法全面評估模型優(yōu)劣，因此可將精確度與召回率結合起來，得到F1 評分作為模型評價準則。在多分類問題中，F(xiàn)1 為精確度與召回率的調和平均，表示為：

另一個流行的度量標準為馬修斯相關系數(shù)（MCC），即決策圖與基本事實之間的互相關系數(shù)，其計算方式對不平衡類具有魯棒性，公式如下：

4 實驗結果分析

4.1 實驗一

選取5 類相機的原始圖像，分別裁剪成56×56、128×128、256×256 大小的圖像塊進行實驗，分析不同尺寸圖像塊對NUA 信號周期性的影響。

如表2 所示，基于噪聲頻域的處理算法有較好的分類準確率，可達95%以上，并且同一型號相機不同尺寸圖像的分類準確率相差較小。FinePixJ50 型相機受尺寸影響最小，在128×128 尺寸下分類準確率最高，為98.9%，在56×56尺寸下分類準確率最低，為97.6%，相差1.3%。DSC-H50型相機受尺寸影響最大，在128×128 尺寸下分類準確率最高，為98.7%，在56×56 尺寸下分類準確率最低，為95.9%，相差2.8%。由此可見，圖像尺寸大小對算法影響并不大，最多相差2.8%。

Table 2 Classification accuracy of image blocks in different sizes表2 不同尺寸圖像塊分類準確率 （%）

表3 為256×256 尺寸下的圖像分類混淆矩陣，表4 為256×256 尺寸下的圖像分類報告。

Table 3 Confusion matrix of 256×256 size表3 256×256 尺寸下的混淆矩陣 （%）

Table 4 Classification report of 256×256 size表4 256×256 尺寸下的分類報告

4.2 實驗二

圖像塊尺寸統(tǒng)一采用256×256，分別在不加噪聲、加上高斯噪聲、加上椒鹽噪聲3 種情況下進行實驗，分析噪聲對算法的影響，其中初始高斯噪聲均值為0，方差為0.01，椒鹽噪聲密度為0.05。由表5 可知，在給圖像加上高斯或椒鹽噪聲后，相機識別準確率會有一定下降，但均在90%以上。

Table 5 Classification accuracy after noise processing表5 加噪處理下的分類準確率 （%）

為進一步研究噪聲對識別準確率的影響，以下實驗分別增加高斯噪聲和椒鹽噪聲的密度。由圖6 可知，隨著噪聲密度不斷增大，圖像內容信息以及“指紋信息”會被噪聲信號掩蓋，準確率降低。但在噪聲密度達到一定值后，識別準確率受噪聲影響的敏感度降低，由此可見本文算法具有一定抗噪聲干擾能力，魯棒性較好。

Fig.6 Classification accuracy under different noise densities圖6 不同噪聲密度下的分類準確率

5 結語

本文針對相機源識別算法的魯棒性進行了研究，以相機噪聲頻域信號為研究對象，通過對圖像進行切割、加噪處理，證明了該算法的魯棒性。后續(xù)工作可以考慮使用不同神經(jīng)網(wǎng)絡或分類器進行實驗，探究分類器對算法的影響。同時可通過切割圖像塊的方式對圖像進行篡改檢測，即檢測篡改區(qū)域位于哪個圖像塊，并精確定位到原圖中。