基于神經(jīng)網(wǎng)絡(luò)的圖像來源識(shí)別方法比較研究

孟 旭，孟 坤

(北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院，北京 100101)

0 引 言

隨著手機(jī)、平板電腦、數(shù)碼相機(jī)等便攜式設(shè)備的普及，人們每天都能產(chǎn)出大量的圖像。這些圖像為人們的生活帶來了便利，同時(shí)也存在著一定的安全隱患。人們可以方便地對(duì)圖像進(jìn)行修改，這導(dǎo)致不真實(shí)的圖像的數(shù)量大大增加。這些不真實(shí)的圖像給新聞、司法等領(lǐng)域帶來了極大的挑戰(zhàn)。因此，為了保證圖像的真實(shí)性和原始性，對(duì)圖像進(jìn)行來源識(shí)別是十分重要的。

圖像來源識(shí)別是一種從圖像本身識(shí)別圖像來源的技術(shù)，可以通過提取圖像本身特有的特征信息進(jìn)行圖像來源的識(shí)別。現(xiàn)有的圖像來源識(shí)別方法有很多，基于傳感器模式噪聲(sensor pattern noise，SPN)的方法是其中之一。在此方法中，人們通過提取圖像的噪聲殘差來估計(jì)相機(jī)的SPN，然后通過計(jì)算測(cè)試圖像與相機(jī)的SPN的相似度來確定圖像的來源。但是這種方法容易受到圖像中其他模式噪聲的影響，不夠純凈的噪聲信息容易影響圖像來源識(shí)別的準(zhǔn)確性。近幾年隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，人們開始將神經(jīng)網(wǎng)絡(luò)用于圖像來源識(shí)別中，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的特征，以達(dá)到圖像來源識(shí)別的目的。

該文針對(duì)圖像來源識(shí)別的工作進(jìn)行了一系列實(shí)驗(yàn)，探索了神經(jīng)網(wǎng)絡(luò)在不同的實(shí)驗(yàn)場(chǎng)景下的應(yīng)用，分析在兩種不同的應(yīng)用模式下神經(jīng)網(wǎng)絡(luò)的分類效果。第一種應(yīng)用場(chǎng)景是針對(duì)來自多個(gè)成像設(shè)備的圖片進(jìn)行分類，分析這些圖片分別來自哪個(gè)成像設(shè)備。第二種應(yīng)用場(chǎng)景是對(duì)某一張圖像進(jìn)行來源的判斷，判斷該圖片是否來自于某個(gè)成像設(shè)備。使用兩個(gè)不同的數(shù)據(jù)集分別進(jìn)行實(shí)驗(yàn)，第一個(gè)數(shù)據(jù)集是筆者自己拍攝的，該數(shù)據(jù)集包括來自4個(gè)品牌的10種不同的設(shè)備拍攝的1 069張圖像。第二個(gè)是vision數(shù)據(jù)集，共有來自11個(gè)品牌的35種不同設(shè)備拍攝的4 167張平滑的圖像。分別對(duì)這兩個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行了不同的預(yù)處理，獲得了原始圖像、噪聲圖像、分塊原始圖像和分塊噪聲圖像四種不同類型的數(shù)據(jù)集。將獲得的數(shù)據(jù)集分別作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，探索不同的圖像數(shù)據(jù)分類的效果。

1 相關(guān)工作

傳感器模式噪聲是圖像成像過程中生成的相機(jī)特有的噪聲信息，可以根據(jù)圖像的這部分噪聲信息進(jìn)行圖像來源的識(shí)別。近幾年人們提出了很多噪聲信息的圖像來源識(shí)別方法。例如，張明旺等人對(duì)圖像噪聲提取方法進(jìn)行了總結(jié)。Gupta等人基于光響應(yīng)不均勻性(photo response non-uniformity，PRNU)噪聲是非常弱的噪聲信號(hào)，分別在圖像的高頻和低頻分量中應(yīng)用PRNU提取方法提取PRNU。該方法能夠提高大多數(shù)PRNU提取方法的效率，并且獲得了Mihcak濾波器的最佳結(jié)果。Zeng等人提出了一種基于雙樹復(fù)數(shù)小波變換(dual-tree complex wavelet transform，DTCWT)的方法從給定圖像中提取SPN，從而在強(qiáng)邊緣周圍的區(qū)域中實(shí)現(xiàn)了更好的性能。Zhao等人提出了一種使用權(quán)重函數(shù)的特征維數(shù)降低算法，該算法將不重要的像素方向的參考圖案排除在外，保留了更重要的特征。Roy等人基于離散余弦變換殘差特征的提取以及隨后的基于AdaBoost的基于隨機(jī)森林的集成分類，提出了一種相機(jī)源識(shí)別方法。通過結(jié)合主成分分析的降維方法，提高了分類精度。

神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于圖像分析，并證明了其明顯的優(yōu)勢(shì)，近幾年越來越多的人將神經(jīng)網(wǎng)絡(luò)用于圖像來源的識(shí)別中。Mandelli等人提出了一種基于2通道的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)，該CNN學(xué)習(xí)了一種在色標(biāo)級(jí)比較相機(jī)指紋和圖像噪聲的方法。所提出的解決方案比常規(guī)方法要快得多，并且可以確保較高的準(zhǔn)確性。Kang等人提出的方法利用邊緣分量干擾學(xué)習(xí)深度特征，對(duì)要輸入深度網(wǎng)絡(luò)的圖像進(jìn)行預(yù)處理，以提高攝像機(jī)模型識(shí)別精度。Tuama等人提出了一種可以自動(dòng)并同時(shí)提取特征的方法，在學(xué)習(xí)過程中學(xué)習(xí)分類。之后Rafi等人提出了RemNet，該網(wǎng)絡(luò)由兩個(gè)主要的構(gòu)建塊組成：數(shù)據(jù)驅(qū)動(dòng)的預(yù)處理塊和分類塊。Wang等人修改了類似于AlexNet的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并為其配備了簡(jiǎn)單的局部二進(jìn)制模式預(yù)處理操作。Huang等人提出將感興趣的圖像裁剪成較小的圖像塊，并采用局部到全局策略，根據(jù)圖像塊的多數(shù)表決權(quán)，就源攝像機(jī)做出最終決定。

從上述技術(shù)來看，基于SPN的方法已經(jīng)廣泛應(yīng)用于圖像來源識(shí)別領(lǐng)域，但是該方法對(duì)于圖像噪聲信息的提取的純度要求較高，不純凈的噪聲信息會(huì)影響圖像來源識(shí)別的準(zhǔn)確性。近幾年人們?cè)絹碓蕉嗟貙⑸窠?jīng)網(wǎng)絡(luò)用于圖像來源識(shí)別領(lǐng)域，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的特征來進(jìn)行圖像來源識(shí)別。

2 比較分析方法與數(shù)據(jù)集構(gòu)造

該文使用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像來源識(shí)別的實(shí)驗(yàn)，將不同的實(shí)驗(yàn)數(shù)據(jù)作為輸入，探究神經(jīng)網(wǎng)絡(luò)的分類效果。在兩個(gè)數(shù)據(jù)集(筆者建立的數(shù)據(jù)集和vision數(shù)據(jù)集)上進(jìn)行了實(shí)驗(yàn)，對(duì)兩個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行不同的預(yù)處理，獲得了原始圖像、噪聲圖像、分塊原始圖像和分塊噪聲圖像四種不同類型的數(shù)據(jù)。實(shí)驗(yàn)設(shè)置兩種不同的應(yīng)用模式：針對(duì)來自多個(gè)成像設(shè)備的圖片進(jìn)行分類和判斷某張圖片是否來自于某個(gè)特定的成像設(shè)備。使用預(yù)處理后的數(shù)據(jù)在兩種不同的應(yīng)用模式下進(jìn)行實(shí)驗(yàn)，對(duì)比分析方法與實(shí)驗(yàn)設(shè)置如表1所示。

表1 對(duì)比分析方法與實(shí)驗(yàn)設(shè)置

2.1 神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)

該文對(duì)AlexNet卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了修改，以適應(yīng)模型的需求。提出的網(wǎng)絡(luò)結(jié)構(gòu)如表2所示，由三個(gè)卷積層、一個(gè)最大池化層和兩個(gè)全連接層組成。

表2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具體如下：輸入圖像是大小為255*255的圖像塊。第一個(gè)卷積層(COV1)使用64個(gè)大小為5*5的卷積核處理輸入的圖像塊；第二個(gè)卷積層(COV2)將第一層的輸出作為輸入，使用大小為5*5的卷積核進(jìn)行卷積；第三個(gè)卷積層(COV3)應(yīng)用32個(gè)大小為3*3的卷積核進(jìn)行卷積。線性整流函數(shù)(ReLU)是非線性激活函數(shù)，應(yīng)用于每個(gè)卷積層的輸出。第三個(gè)卷積層之后是大小為3*3的最大池化層。完全連接層(FC1)和(FC2)分別具有256和4 096個(gè)神經(jīng)元。ReLU激活函數(shù)應(yīng)用于完全連接層的輸出。在最大池化層和兩個(gè)完全連接層上分別應(yīng)用0.2和0.5的丟失率，以防止出現(xiàn)過擬合問題。最后一個(gè)完全連接層的輸出被饋送到softmax函數(shù)。

2.2 圖像噪聲提取

相機(jī)成像過程中會(huì)生成各種各樣的噪聲，這些噪聲中會(huì)包含可以標(biāo)識(shí)成像設(shè)備的信息，因此提取圖像的噪聲信息作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練。圖像噪聲的提取方法是使用去噪濾波器對(duì)原始圖像進(jìn)行降噪，然后由原始圖像減去降噪后的圖像就可以獲得噪聲圖像了，如式(1)所示：

R

I

F

I

(1)

I

F

2.3 圖像塊提取方法

提取圖像塊有兩個(gè)作用：第一是擴(kuò)充數(shù)據(jù)集；第二是提取更具代表性的圖像塊進(jìn)行實(shí)驗(yàn)。由于完整的圖像中包含各種各樣的圖像信息，其中有很多信息不能作為圖像來源識(shí)別的特征，因此提取部分的圖像塊進(jìn)行實(shí)驗(yàn)，從而減少其他信息對(duì)于圖像來源識(shí)別的干擾。

該文主要提取圖片邊緣和中心區(qū)域的信息，即提取了圖片的四個(gè)角、各邊中心以及圖像中心9個(gè)區(qū)域的圖像塊。提取的圖像塊如圖1所示。

圖1 圖像塊提取

3 實(shí)驗(yàn)結(jié)果與分析

該文使用上述數(shù)據(jù)預(yù)處理獲得的四類數(shù)據(jù)集分別進(jìn)行了基于兩種應(yīng)用模式的實(shí)驗(yàn)。首先進(jìn)行了簡(jiǎn)單的基于SPN的實(shí)驗(yàn)作為基準(zhǔn)，然后基于兩種不同的應(yīng)用模式進(jìn)行了基于神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)，最后探索分析了不同實(shí)驗(yàn)數(shù)據(jù)對(duì)于圖像來源識(shí)別的分類效果。

3.1 原始數(shù)據(jù)集

實(shí)驗(yàn)中使用了兩個(gè)不同的數(shù)據(jù)集。第一個(gè)是筆者建立的數(shù)據(jù)集，該數(shù)據(jù)集共有來自4個(gè)品牌的10種不同的設(shè)備拍攝的1 069張圖像。第二個(gè)是由vision數(shù)據(jù)集提供的，來自11個(gè)品牌的35種不同設(shè)備拍攝的4 167張平滑圖像。數(shù)據(jù)集的具體情況如表3和表4所示。

表3 自己建立的數(shù)據(jù)集

表4 vision數(shù)據(jù)集

3.2 實(shí)驗(yàn)分析

該文分別使用上述數(shù)據(jù)集進(jìn)行了三類實(shí)驗(yàn)：基于SPN的實(shí)驗(yàn)、使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源的分類和使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源的判斷。

3.2.1 基于SPN的實(shí)驗(yàn)

基于SPN的實(shí)驗(yàn)是通過估計(jì)相機(jī)的SPN信息，計(jì)算圖像噪聲殘差與相機(jī)SPN的相似性，進(jìn)而識(shí)別圖像的來源。該文使用2.2中的噪聲提取方法獲得圖像的噪聲殘差，使用來自同一相機(jī)的70%的圖像，采用均值計(jì)算的方法進(jìn)行相機(jī)SPN的估計(jì)，然后使用剩余的30%的圖像來驗(yàn)證識(shí)別的準(zhǔn)確性。同時(shí)對(duì)兩個(gè)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行了不同的預(yù)處理，獲得了三類不同的數(shù)據(jù)集：第一是完整的圖像；第二是使用2.3中提出的方法提取部分圖像塊；第三是使用文獻(xiàn)[17-18]中提出的圖像塊提取方法計(jì)算權(quán)重對(duì)圖像塊進(jìn)行加權(quán)。實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 基于SPN的實(shí)驗(yàn)結(jié)果對(duì)比

通過以上實(shí)驗(yàn)可以看出，僅僅使用簡(jiǎn)單的噪聲提取方法估計(jì)相機(jī)的SPN對(duì)于圖像來源識(shí)別的效果不太理想，這是因?yàn)閳D像的噪聲信息包含很多除SPN以外的其他模式噪聲，這些噪聲會(huì)干擾圖像來源識(shí)別的準(zhǔn)確率。其中使用部分圖像塊加權(quán)提取噪聲信息和使用平滑的圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果準(zhǔn)確率獲得了一定的提升。因此，筆者認(rèn)為選擇具有代表性的部分圖像塊和使用平滑的圖像(例如，天空?qǐng)D像)能夠提取更加純凈的噪聲信息，在一定程度上能夠減少其他噪聲的干擾，更有利于圖像來源的識(shí)別。

3.2.2 使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源的分類

使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源分類的實(shí)驗(yàn)是使用2.1節(jié)中提出的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)圖像的特征信息，然后進(jìn)行圖像來源識(shí)別的。在此實(shí)驗(yàn)中，將圖像切分為255*255的圖像塊(將邊緣大小不夠255*255的圖像塊刪去)，輸入神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的特征。其中訓(xùn)練集占全部圖像數(shù)量的70%，測(cè)試集占30%。分別使用經(jīng)過不同預(yù)處理的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，探索神經(jīng)網(wǎng)絡(luò)在圖像來源分類中的應(yīng)用。

基于完整圖像的實(shí)驗(yàn)。在這個(gè)實(shí)驗(yàn)中，從圖像的左上角開始將圖像分為多個(gè)255*255的圖像塊(將邊緣大小不夠255*255的圖像塊刪去)。因此，筆者建立的數(shù)據(jù)集共有29 967個(gè)圖像塊，vision數(shù)據(jù)集共有361 932個(gè)圖像塊。使用這些圖像塊進(jìn)行兩部分實(shí)驗(yàn)：第一部分將獲得的圖像塊直接輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第二部分使用2.2中提出的方法提取圖像的噪聲，然后輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，使用噪聲圖像進(jìn)行實(shí)驗(yàn)，結(jié)果準(zhǔn)確率比原始圖像提升了10%。

基于部分圖像塊的實(shí)驗(yàn)。在這個(gè)實(shí)驗(yàn)中，使用2.3中的方法提取大小為255*255的圖像塊。因此，筆者建立的數(shù)據(jù)集共有9 612個(gè)圖像塊，vision數(shù)據(jù)集共有37 503個(gè)圖像塊。使用這些圖像塊分別進(jìn)行兩部分實(shí)驗(yàn)：第一部分將圖像塊直接輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第二部分使用2.2中提出的方法提取圖像塊的噪聲，然后輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，對(duì)于筆者建立的數(shù)據(jù)集，由于數(shù)據(jù)集的數(shù)據(jù)量相對(duì)較少，實(shí)驗(yàn)的結(jié)果有所下降。對(duì)于vision數(shù)據(jù)集，使用部分圖像的實(shí)驗(yàn)的準(zhǔn)確率比使用整個(gè)圖像實(shí)驗(yàn)的準(zhǔn)確率提升了1%～4%，同時(shí)，使用部分圖像進(jìn)行實(shí)驗(yàn)，耗費(fèi)的時(shí)間更短。

使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源分類的實(shí)驗(yàn)結(jié)果如圖3所示。通過以上實(shí)驗(yàn)可以看出，使用部分圖像塊學(xué)習(xí)圖像的特征信息，準(zhǔn)確率提升了26%，使用濾波后的圖像進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率提升了35%。因此，筆者認(rèn)為選擇有代表性的圖像信息進(jìn)行實(shí)驗(yàn)比使用完整圖像信息進(jìn)行實(shí)驗(yàn)更有利于圖像特征信息的提取。

圖3 使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源分類的 實(shí)驗(yàn)結(jié)果對(duì)比

3.2.3 使用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像來源的判斷

使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源判斷的實(shí)驗(yàn)是判斷一個(gè)圖像是否來自于某個(gè)特定的相機(jī)。在此實(shí)驗(yàn)中，使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練圖像的特征，然后將待測(cè)圖像與標(biāo)記好的圖像進(jìn)行比較，判斷測(cè)試圖像是否來自該相機(jī)。分別使用經(jīng)過不同預(yù)處理的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，探索神經(jīng)網(wǎng)絡(luò)在圖像來源判斷中的應(yīng)用。使用與3.2.2節(jié)中相同的數(shù)據(jù)集進(jìn)行四個(gè)實(shí)驗(yàn)：整圖、噪聲圖、圖像塊和噪聲圖像塊。將圖片輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練獲得來自同一相機(jī)的圖像特征，提取測(cè)試特征的信息進(jìn)行對(duì)比，判斷該測(cè)試圖像是否來自特定相機(jī)。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像來源判斷的 實(shí)驗(yàn)結(jié)果對(duì)比

通過以上實(shí)驗(yàn)可以看出，使用部分圖像塊學(xué)習(xí)圖像的特征信息進(jìn)行圖像來源判斷的準(zhǔn)確率相對(duì)較低。筆者認(rèn)為原因是提取的圖像塊包含的圖像信息較少，不利于圖像特征的學(xué)習(xí)。使用濾波后的圖像進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率達(dá)到了95%。因此，選擇更具代表性的圖像信息進(jìn)行實(shí)驗(yàn)比使用完整的圖像信息進(jìn)行實(shí)驗(yàn)更有利于圖像來源的判斷。

4 結(jié)束語

該文探索了神經(jīng)網(wǎng)絡(luò)在圖像來源分類和圖像來源判斷兩個(gè)場(chǎng)景下的應(yīng)用，分別在多個(gè)不同類型的數(shù)據(jù)集上進(jìn)行了多次實(shí)驗(yàn)，通過對(duì)實(shí)驗(yàn)結(jié)果的分析，發(fā)現(xiàn)選擇有代表性的圖像信息和使用平滑的圖像更加有利于圖像來源的識(shí)別。在未來的工作中，將探索更好的圖像處理方法，選擇更具代表性的圖像區(qū)域并提取更加純凈的圖像特征信息，以進(jìn)一步提高圖像來源識(shí)別的準(zhǔn)確性。