基于卷積神經(jīng)網(wǎng)絡(luò)的低嵌入率空域隱寫(xiě)分析?

沈 軍,廖 鑫,秦 拯,劉緒崇

1(湖南大學(xué) 信息科學(xué)與工程學(xué)院,湖南 長(zhǎng)沙 410 012)

2(大數(shù)據(jù)研究與應(yīng)用湖南省重點(diǎn)實(shí)驗(yàn)室(湖南大學(xué)),湖南 長(zhǎng)沙 410082)

3(網(wǎng)絡(luò)犯罪偵查湖南省重點(diǎn)實(shí)驗(yàn)室(湖南警察學(xué)院),湖南 長(zhǎng)沙 410138)

隱寫(xiě)的主要原理是將秘密信息隱藏在原始載體的不易被人感知的冗余信息中,從而達(dá)到通過(guò)載體傳遞秘密信息而不被察覺(jué)的目的[1?3].隱寫(xiě)分析的主要目的是檢測(cè)載體中是否隱藏了秘密信息,目前,常見(jiàn)的載體包括圖像、文本、音頻、視頻等多媒體信息[4].隨著隱寫(xiě)技術(shù)的不斷進(jìn)步,近幾年提出的WOW[5],S-UNIWARD[6]和HILL[7]等空域自適應(yīng)隱寫(xiě)算法能夠自動(dòng)將秘密信息隱藏在圖像紋理較為復(fù)雜的區(qū)域,使得圖像能夠保持很復(fù)雜的統(tǒng)計(jì)特征.傳統(tǒng)的空域隱寫(xiě)分析方法為了應(yīng)對(duì)這些更復(fù)雜的隱寫(xiě)技術(shù),需要將特征設(shè)計(jì)得更加復(fù)雜且維度更高,如空間豐富模型SRM[8].但是傳統(tǒng)的空域隱寫(xiě)分析方法需要人為地設(shè)計(jì)特征,隱寫(xiě)分析的效果取決于特征的設(shè)計(jì).并且隨著隱寫(xiě)算法的發(fā)展,特征的設(shè)計(jì)也變得越來(lái)越復(fù)雜和困難,同時(shí),也極大地延長(zhǎng)了訓(xùn)練時(shí)間.近幾年,隨著深度學(xué)習(xí)的發(fā)展并不斷在計(jì)算機(jī)視覺(jué)領(lǐng)域取得研究成果,研究人員也開(kāi)始將深度學(xué)習(xí)的方法應(yīng)用到了空域隱寫(xiě)分析領(lǐng)域中,并取得了較好的研究成果[9].

雖然目前已有很多基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析研究取得了一定的進(jìn)展,但是這些研究都是在高嵌入率的條件下進(jìn)行檢測(cè),在低嵌入率的情況下進(jìn)行檢測(cè)的效果還有待進(jìn)一步提高.特別是在0.1bpp 甚至是0.05bpp這種低嵌入率下的檢測(cè)效果,目前的隱寫(xiě)分析方法都很難正確地進(jìn)行檢測(cè).因此,本文針對(duì)低嵌入率設(shè)計(jì)了一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行空域隱寫(xiě)分析,網(wǎng)絡(luò)使用SRM 濾波器進(jìn)行預(yù)處理操作,并結(jié)合使用兩個(gè)小尺寸卷積核和一個(gè)大尺寸卷積核,使網(wǎng)絡(luò)能夠有效地捕獲低嵌入率的隱寫(xiě)特征.網(wǎng)絡(luò)中通過(guò)取消池化層,防止隱寫(xiě)特征信息的丟失.網(wǎng)絡(luò)的淺層使用TanH 激活函數(shù),深層使用ReLU 激活函數(shù),并通過(guò)批量歸一化操作對(duì)網(wǎng)絡(luò)性能進(jìn)行進(jìn)一步提升.實(shí)驗(yàn)結(jié)果表明:本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)在對(duì)WOW[5],S-UNIWARD[6]和HILL[7]這3 種常見(jiàn)的空域內(nèi)容自適應(yīng)隱寫(xiě)算法進(jìn)行隱寫(xiě)分析時(shí),檢測(cè)效果與現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法相比取得了明顯的提升.在對(duì)低嵌入率(0.2bpp,0.1bpp 和0.05bpp)進(jìn)行檢測(cè)時(shí),本文提出的網(wǎng)絡(luò)結(jié)構(gòu)能夠得到比較理想的檢測(cè)效果.為了實(shí)現(xiàn)對(duì)低嵌入率的檢測(cè)效果進(jìn)行進(jìn)一步提升,本文還提出了一種逐步遷移(step by step)的遷移學(xué)習(xí)方法.

本文第1 節(jié)首先介紹相關(guān)工作.第2 節(jié)主要介紹本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),詳細(xì)介紹了網(wǎng)絡(luò)的預(yù)處理層、卷積層、批量歸一化和激活函數(shù),并對(duì)模型特點(diǎn)進(jìn)行了分析,最后通過(guò)遷移學(xué)習(xí)提高檢測(cè)效果.第3 節(jié)對(duì)實(shí)驗(yàn)參數(shù)、實(shí)驗(yàn)設(shè)置和實(shí)驗(yàn)結(jié)果進(jìn)行介紹.第4 節(jié)對(duì)全文進(jìn)行總結(jié).

1 相關(guān)工作

目前,基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法,網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)以兩個(gè)卷積層、三個(gè)卷積層或五個(gè)卷積層為主,本文根據(jù)卷積層的深度分別對(duì)現(xiàn)有方法進(jìn)行介紹.

1.1 兩層卷積結(jié)構(gòu)

Pibre 等人在文獻(xiàn)[10]中針對(duì)使用相同密鑰生成隱寫(xiě)圖像這一場(chǎng)景,設(shè)計(jì)了Pibre-Net.Pibre-Net 的預(yù)處理使用單個(gè)KV 核的高通濾波器層(HPF 層),網(wǎng)絡(luò)結(jié)構(gòu)中只有兩個(gè)卷積層,且分別使用7×7 和5×5 的大尺寸卷積核.Pibre-Net 中去掉了池化層,直接通過(guò)卷積層來(lái)減小特征圖維度,避免池化操作造成隱寫(xiě)特征信息的丟失.在該場(chǎng)景下,對(duì)Bossbase 圖像庫(kù)進(jìn)行S-UNIWARD[6]嵌入率為0.4bpp 的檢測(cè),Pibre-Net 的準(zhǔn)確性相比SRM 有了很大的提升.基于Pibre[10]提出的場(chǎng)景,Salomon 等人[11]直接使用大尺寸卷積核設(shè)計(jì)了Salomon-Net 網(wǎng)絡(luò)結(jié)構(gòu),Salomon-Net 的輸入圖像大小為512×512,該網(wǎng)絡(luò)只有兩個(gè)卷積層:第1 個(gè)卷積層作為全局過(guò)濾器輸出一個(gè)特征圖;第2 個(gè)卷積層使用了509×509 的大尺寸卷積核,輸出64 個(gè)2×2 大小的特征圖.Salomon-Net 中對(duì)WOW[5]和HUGO[12]分別進(jìn)行了檢測(cè),實(shí)驗(yàn)結(jié)果顯示:該模型不僅在0.4bpp 嵌入率下能夠取得很好的檢測(cè)結(jié)果,而且在0.1bpp 低嵌入率下的檢測(cè)效果也比較理想.

高培賢等人在文獻(xiàn)[13]中設(shè)計(jì)了兩層卷積層和兩層全連接層的淺層網(wǎng)絡(luò)結(jié)構(gòu)S-CNN,該結(jié)構(gòu)同樣使用高通濾波器層(HPF 層)作為預(yù)處理操作.與Xu-Net[14]相比,S-CNN 減少了卷積的層數(shù),同時(shí),通過(guò)去除池化層來(lái)避免隱寫(xiě)噪聲信息的丟失.該文獻(xiàn)在實(shí)驗(yàn)中使用Bossbase 圖像庫(kù)對(duì)S-UNIWARD[6]算法0.4bpp嵌入率進(jìn)行了檢測(cè),檢測(cè)效果優(yōu)于Tan-Net[15],Qian-Net[16]和Xu-Net[14].

1.2 三層卷積結(jié)構(gòu)

Tan 等人在文獻(xiàn)[15]中首次將深度學(xué)習(xí)的方法應(yīng)用于空域隱寫(xiě)分析領(lǐng)域中,構(gòu)造了包含3 個(gè)卷積層和一個(gè)全連接層的4 層網(wǎng)絡(luò)結(jié)構(gòu),使用了KV 核對(duì)第1 層卷積核進(jìn)行初始化,通過(guò)利用卷積自動(dòng)編碼器(SCAE)進(jìn)行預(yù)訓(xùn)練,檢測(cè)效果有了較大提升.在Tan-Net 的工作中,驗(yàn)證了隨機(jī)初始化第1 個(gè)卷積層的訓(xùn)練模型基本沒(méi)有隱寫(xiě)分析檢測(cè)的能力.

1.3 五層卷積結(jié)構(gòu)

Qian-Net[16]是由Qian 等人提出的一個(gè)具有5 個(gè)卷積層的網(wǎng)絡(luò)結(jié)構(gòu),使用KV 核作為預(yù)處理層對(duì)圖像進(jìn)行預(yù)處理,使得模型能夠直接對(duì)殘差圖像進(jìn)行學(xué)習(xí),降低了圖像內(nèi)容對(duì)訓(xùn)練的干擾.Qian-Net 還根據(jù)隱寫(xiě)噪聲的特點(diǎn),使用了高斯激活函數(shù)和均值池化,進(jìn)一步提高了檢測(cè)性能.Qian-Net 在Bossbase 圖像庫(kù)中的檢測(cè)準(zhǔn)確性相比SRM[8]只低了3%~5%,在ImageNet 圖像中的檢測(cè)準(zhǔn)確性與SRM 相當(dāng).Qian-Net 在基于深度學(xué)習(xí)的隱寫(xiě)分析中屬于很好的研究成果.Qian 等人提出采用遷移學(xué)習(xí)[17]的方法提高模型在低嵌入率下的檢測(cè)性能,將高隱寫(xiě)容量的訓(xùn)練模型遷移到低隱寫(xiě)容量中進(jìn)行訓(xùn)練,該方案在減少訓(xùn)練時(shí)間的同時(shí),有效地提高了檢測(cè)正確率.

Xu 等人隨后提出了Xu-Net[14],該網(wǎng)絡(luò)使用KV 核作為高通濾波器層(HPF 層)對(duì)圖像進(jìn)行預(yù)處理操作,網(wǎng)絡(luò)中使用5 個(gè)卷積層,第1 個(gè)卷積層之后,利用絕對(duì)(ABS)層來(lái)消除殘差信號(hào)的符號(hào)影響.前兩個(gè)卷積層的卷積核為5×5,為了防止網(wǎng)絡(luò)模型過(guò)擬合,在隨后的卷積層中使用1×1 大小的卷積核.每個(gè)卷積層中使用了批量歸一化(batch normalization,簡(jiǎn)稱(chēng)BN)操作,前兩個(gè)卷積層后使用TanH 激活函數(shù),其他卷積層使用ReLU 激活函數(shù).每個(gè)卷積層通過(guò)均值池化來(lái)減小特征圖的維度,均值池化能夠綜合所有殘差信息,降低信息丟失的影響.Xu-Net 在Bossbass 圖像庫(kù)中,對(duì)S-UNIWARD[6]和HILL[7]算法的檢測(cè)能力均優(yōu)于SRM.Xu 等人在文獻(xiàn)[18]中對(duì)之前的工作進(jìn)行了改進(jìn),使用卷積神經(jīng)網(wǎng)絡(luò)的集成學(xué)習(xí)和重疊池化方法來(lái)提高檢測(cè)效果.

Yedroudj 等人在文獻(xiàn)[19]中通過(guò)結(jié)合Xu-Net[14]和Res-Net[20]網(wǎng)絡(luò)的特點(diǎn)設(shè)計(jì)了Yedroudj-Net,該網(wǎng)絡(luò)預(yù)處理層使用了30 個(gè)SRM[8]卷積核,讓網(wǎng)絡(luò)能夠提取到更多的隱寫(xiě)特征.網(wǎng)絡(luò)結(jié)構(gòu)中使用5 個(gè)卷積層,綜合使用了絕對(duì)(ABS)層、批量歸一化(batch norm alization,簡(jiǎn)稱(chēng)BN)層、截?cái)嗪瘮?shù)(truncation fu nction,簡(jiǎn)稱(chēng)Trunc)[21]和均值池化層.該文獻(xiàn)中使用Bossbase 圖像庫(kù)分別對(duì)WOW[5],S-UNIWARD[6]算法進(jìn)行檢測(cè),發(fā)現(xiàn)0.4bpp 和0.2bpp 嵌入率下的效果均優(yōu)于SRM[8],Xu-Net[14]和Ye-Net[22].

1.4 其他深層結(jié)構(gòu)

基于Xu 等人的研究[14],Ye 等人提出了Ye-Net[22],該網(wǎng)絡(luò)使用了更深的八層卷積網(wǎng)絡(luò)結(jié)構(gòu),并且使用30 個(gè)SRM[8]卷積核作為預(yù)處理層來(lái)讓模型學(xué)習(xí)更多的特征.Ye 等人在文獻(xiàn)中設(shè)計(jì)了新的截?cái)嗑€性單元(truncated linear unit,簡(jiǎn)稱(chēng)TLU)作為激活函數(shù),通過(guò)適當(dāng)?shù)脑O(shè)置參數(shù)T(一般取3 或7),使網(wǎng)絡(luò)能夠更好地適應(yīng)隱寫(xiě)噪聲分布.Ye-Net 還通過(guò)選擇通道,進(jìn)一步提高了該模型的檢測(cè)效果.實(shí)驗(yàn)中,該文獻(xiàn)結(jié)合Bossbase 和BOWS2 這兩個(gè)圖像庫(kù)進(jìn)行檢測(cè),其準(zhǔn)確率已顯著優(yōu)于SRM 等傳統(tǒng)隱寫(xiě)分析方法.Wu 等人利用殘差網(wǎng)絡(luò)Res-Net[20]構(gòu)造了一個(gè)深層次的隱寫(xiě)分析模型Wu-Net[23],Wu-Net 通過(guò)增加卷積層數(shù)量,使模型能夠更有效的捕獲圖像的隱寫(xiě)特征.Wu-Net 的檢測(cè)效果均優(yōu)于SRM 算法[8]、Qian-Net[16]和Xu-Net[12].Tsang 等人為了使模型能夠?qū)θ我獬叽鐖D像進(jìn)行處理,基于Ye-Net[22]網(wǎng)絡(luò)結(jié)構(gòu)提出了Tsang-Net[24].Tsang-Net 中,在全連接層前加入了統(tǒng)計(jì)矩提取層,統(tǒng)計(jì)矩提取層通過(guò)將卷積層輸出的任意大小特征圖轉(zhuǎn)換為固定維度的特征輸入全連接層.Tsang-Net 實(shí)現(xiàn)了對(duì)任意大小的圖像進(jìn)行隱寫(xiě)分析檢測(cè),且保持了較好的檢測(cè)能力.

2 本文提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)低嵌入率下空域隱寫(xiě)分析存在的問(wèn)題,本文構(gòu)建了一個(gè)新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Shen-Net 實(shí)現(xiàn)空域隱寫(xiě)分析[25].Shen-Net 整體算法框架如圖1所示,主要分為輸入模塊、卷積模塊和輸出模塊.待測(cè)圖像首先進(jìn)入預(yù)處理層對(duì)待測(cè)圖像進(jìn)行預(yù)處理操作,預(yù)處理操作能夠從待測(cè)圖像中提取出噪聲殘差信息,有利于卷積模塊的特征學(xué)習(xí);提取的噪聲殘差信息隨后進(jìn)入卷積模塊,卷積模塊中,首先通過(guò)卷積運(yùn)算提取隱寫(xiě)特征,緊隨的批量歸一化操作和激活層能夠有效提高卷積模塊的特征學(xué)習(xí)能力和提升網(wǎng)絡(luò)的性能,合理設(shè)計(jì)多組卷積模塊能夠使網(wǎng)絡(luò)能夠更好地學(xué)習(xí)隱寫(xiě)特征;經(jīng)過(guò)卷積模塊中一系列的卷積層和激活層等層層連接之后,需要通過(guò)全連接層進(jìn)行連接,并將全連接層輸出值直接傳給分類(lèi)器Softmax 層進(jìn)行分類(lèi),最終輸出的分類(lèi)結(jié)果為待測(cè)圖像分屬原始圖像和攜密圖像的概率值.為了有效提升低嵌入率下的隱寫(xiě)分析效果,本文基于Shen-Net 框架提出了逐步遷移學(xué)習(xí)方案,將高嵌入率下的訓(xùn)練模型作為初始參數(shù)逐步遷移至低嵌入率的網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,使低嵌入率的網(wǎng)絡(luò)能夠有效借助高嵌入率訓(xùn)練模型的參數(shù)作為輔助來(lái)提升對(duì)低嵌入率隱寫(xiě)特征的學(xué)習(xí)能力.

Fig.1 Overall framework of the algorithm proposed in this paper圖1 本文提出的算法整體框架

網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖2所示.Shen-Net 的輸入圖像的大小為256×256,網(wǎng)絡(luò)結(jié)構(gòu)包括一個(gè)預(yù)處理層、3 個(gè)卷積模塊.其中,每個(gè)卷積模塊包括卷積層、批量歸一化操作、激活函數(shù),卷積模塊后跟隨了兩個(gè)全連接層,最后使用softmax 函數(shù)進(jìn)行分類(lèi).下面將對(duì)Shen-Net 網(wǎng)絡(luò)結(jié)構(gòu)的各個(gè)部分進(jìn)行詳細(xì)闡述.

Fig.2 Shen-Net convolutional neural network structure圖2 Shen-Net 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)執(zhí)行流程

本文提出的Shen-Net 執(zhí)行流程框圖如圖3所示,在模型的訓(xùn)練階段,訓(xùn)練圖像輸入網(wǎng)絡(luò)后首先通過(guò)預(yù)處理層進(jìn)行噪聲殘差提取,在后續(xù)網(wǎng)絡(luò)的傳播中對(duì)噪聲殘差圖像進(jìn)行隱寫(xiě)特征的學(xué)習(xí)訓(xùn)練.訓(xùn)練過(guò)程中,利用正向傳播計(jì)算輸出結(jié)果,通過(guò)對(duì)輸出結(jié)果與實(shí)際結(jié)果求偏差,判斷是否超過(guò)容許范圍;否則進(jìn)行反向傳播,并計(jì)算各層中的誤差,并通過(guò)梯度下降算法更新各層權(quán)值.通過(guò)反復(fù)傳播計(jì)算,最終生成訓(xùn)練好的網(wǎng)絡(luò)模型.

在測(cè)試階段,直接將待檢測(cè)圖像輸入網(wǎng)絡(luò)模型中,模型同樣首先進(jìn)行噪聲殘差的提取操作,再通過(guò)后續(xù)的傳播計(jì)算,最終進(jìn)行分類(lèi),分類(lèi)結(jié)果為兩個(gè)標(biāo)簽上的概率值.最后,根據(jù)圖像分類(lèi)產(chǎn)生的概率值進(jìn)行最終判定,概率值大的做為最終結(jié)果.

Fig.3 Shen-Net execution flowchart圖3 Shen-Net 執(zhí)行流程框圖

2.2 預(yù)處理層

預(yù)處理層主要用于提取出輸入圖像的噪聲殘差分量,因?yàn)樾畔㈦[藏操作可以被視為向載體圖像添加極低幅度的噪聲[22].若將圖像直接輸入卷積層,很難保證卷積操作能夠有效地提取出隱寫(xiě)噪聲,從而導(dǎo)致模型的收斂速度會(huì)非常慢[10,16].而預(yù)處理操作的主要目的是為了增強(qiáng)隱寫(xiě)信號(hào)和圖像信號(hào)之間的信噪比,并抑制圖像內(nèi)容對(duì)訓(xùn)練過(guò)程所造成的影響,因此,對(duì)輸入圖像進(jìn)行噪聲殘差提取的預(yù)處理操作,能夠有效提升模型對(duì)隱寫(xiě)特征的學(xué)習(xí)效果.圖像噪聲殘差的計(jì)算公式如下所示:

其中,*表示卷積操作;X表示輸入圖像;K表示用于計(jì)算噪聲殘差的線性濾波器,其目的是為了通過(guò)相鄰元素值對(duì)中心元素值進(jìn)行預(yù)測(cè),并計(jì)算差值.因此,噪聲殘差的計(jì)算可以通過(guò)卷積層進(jìn)行模擬[19],本文采用的預(yù)處理操作主要基于Fridrich 等人[8]的研究,預(yù)處理層使用了一個(gè)具有30 個(gè)濾波器的卷積層,卷積核大小為5×5,卷積核的初始權(quán)值使用空間豐富模型(SRM)中的30 個(gè)高通濾波核進(jìn)行初始化[19,22].其中,預(yù)處層中所使用的幾類(lèi)高通濾波核分別如下所示:

其中,“1st”“2nd”和“3rd”經(jīng)過(guò)45 度旋轉(zhuǎn)操作后,可以分別得到8 個(gè)、4 個(gè)和8 個(gè)濾波核;“EDGE3×3”和“EDGE5×5”進(jìn)行90 度旋轉(zhuǎn)操作后,分別可以得到4 個(gè)濾波核.為了將30 個(gè)濾波核尺寸統(tǒng)一為5×5,在“1st”“2nd”“3rd”和“EDGE3×3”的四周填充0.相比于只使用一個(gè)濾波核的高通濾波器層(HPF 層)進(jìn)行預(yù)處理操作[10,13,14,16],30 個(gè)SRM 濾波核組合了7 種不同的濾波殘差模型,從而SRM 濾波器進(jìn)行預(yù)處理操作時(shí)能夠更有效地提取出隱寫(xiě)圖像中的噪聲殘差分量,從而有利于后續(xù)卷積操作進(jìn)行特征提取和學(xué)習(xí),加快模型在訓(xùn)練過(guò)程中的收斂速度.

2.3 卷積層

第一個(gè)卷積模塊中,卷積層使用32 個(gè)濾波器,卷積核大小為3×3.卷積層的輸入為預(yù)處理進(jìn)行噪聲殘差分量提取后的噪聲殘差圖,從第一個(gè)卷積層開(kāi)始提取噪聲殘差中的隱寫(xiě)特征,并生成用于下一階段計(jì)算的特征圖.卷積操作的計(jì)算公式如下所示:

由于池化層是一個(gè)下采樣的過(guò)程,在減小特征圖大小的同時(shí),會(huì)使得部分隱寫(xiě)特征信息丟失,從而降低后續(xù)卷積操作進(jìn)行特征提取的性能,收斂速度變得緩慢,從而影響模型最終的分類(lèi)準(zhǔn)確率.因此,在本文的網(wǎng)絡(luò)結(jié)構(gòu)中取消了池化層的使用.但是為了減小卷積層的特征圖大小,同時(shí)降低卷積操作的計(jì)算量,本文通過(guò)設(shè)置卷積層中卷積核的大小和步長(zhǎng)來(lái)完成.因此,本文第1 個(gè)卷積層的步長(zhǎng)設(shè)為2,經(jīng)過(guò)第1 個(gè)卷積層的卷積操作后的特征圖大小為32×127×127.

Shen-Net 中的第2 個(gè)卷積層設(shè)置與第1 個(gè)卷積層相同,也是使用了32 個(gè)卷積核為3×3 大小的濾波器.本文通過(guò)多組實(shí)驗(yàn)驗(yàn)證了與第一層使用同樣數(shù)量卷積核,訓(xùn)練模型能夠得到更好的檢查效果,實(shí)驗(yàn)結(jié)果見(jiàn)表1.檢測(cè)算法為S-UNIWARD,隱寫(xiě)強(qiáng)度為0.1bpp.實(shí)驗(yàn)中,對(duì)3 個(gè)卷積層設(shè)置3 組不同的卷積核數(shù)量,實(shí)驗(yàn)結(jié)果分別給出了隱寫(xiě)圖像(stego)、原始圖像(cover)的檢測(cè)正確率和平均檢測(cè)正確率,本文根據(jù)實(shí)驗(yàn)結(jié)果選取了最優(yōu)的參數(shù)設(shè)置.表1 中最后一組實(shí)驗(yàn)取消了第2 個(gè)卷積層,在第1 個(gè)卷積層后直接進(jìn)入大卷積核進(jìn)行卷積操作,實(shí)驗(yàn)結(jié)果表明,其他使用 3 個(gè)卷積層的模型檢測(cè)性能更好.Shen-Net 中進(jìn)行第2 個(gè)卷積操作后,輸出特征圖的大小為32×63×63.

Table 1 S-UNIWARD 0.1bpp detection accuracy of different convolution kernel settings表1 S-UNIWARD 算法0.1bpp 不同卷積核設(shè)置的檢測(cè)準(zhǔn)確率

在第3 個(gè)卷積模塊的卷積層中使用了64 個(gè)濾波器,特別的是使用了大小為62×62 的大尺寸卷積核.Salomon 等人[11]驗(yàn)證了使用大卷積核能夠構(gòu)建小的長(zhǎng)程相關(guān)模式,可以獲得一組精簡(jiǎn)的識(shí)別特征.通過(guò)小卷積核與大卷積核的結(jié)合使用,使得模型在訓(xùn)練階段能夠有效地學(xué)習(xí)到低嵌入率的隱寫(xiě)特征.大卷積核還能夠保證網(wǎng)絡(luò)正確學(xué)習(xí)隱寫(xiě)特征的同時(shí),降低特征的維度.第三個(gè)卷積層輸出的特征圖大小為62×2×2,極大地減小了特征圖的尺寸,減輕了后續(xù)的計(jì)算復(fù)雜度.

2.4 批量歸一化

通過(guò)使用批量歸一化層(BN 層)[21]對(duì)每個(gè)卷積層實(shí)現(xiàn)歸一化操作.由于卷積神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練階段,每一層都會(huì)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新,而每一層對(duì)參數(shù)的更新都會(huì)影響后續(xù)網(wǎng)絡(luò)輸入數(shù)據(jù)的分布,并隨著網(wǎng)絡(luò)深度的加深進(jìn)行放大,輸入數(shù)據(jù)的分布的變化會(huì)降低對(duì)網(wǎng)絡(luò)訓(xùn)練的收斂速度.批量歸一化操作能夠很好地解決數(shù)據(jù)分布產(chǎn)生變化的問(wèn)題,歸一化后的值都在特定的范圍以內(nèi),使得模型能夠快速地進(jìn)行收斂,并在一定程度上防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合的現(xiàn)象.批量歸一化首先需對(duì)特征的每個(gè)維度進(jìn)行歸一化,其公式如下所示:

2.5 激活函數(shù)

本文在前3 個(gè)卷積模塊的最后使用了TanH 函數(shù)作為激活函數(shù),TanH 函數(shù)如公式(12)所示:

第1 個(gè)全連接層后使用ReLU 函數(shù)作為激活函數(shù),ReLU 函數(shù)如公式(13)所示:

其中,x為輸入特征圖.TanH 函數(shù)能夠使輸出與輸入的關(guān)系保持非線性單調(diào)上升和下降關(guān)系.Xu 等人[14]驗(yàn)證了,在網(wǎng)絡(luò)結(jié)構(gòu)的前幾組非線性激活函數(shù)使用TanH 函數(shù)能夠比ReLU 函數(shù)取得更好的性能.由于TanH 函數(shù)的飽和區(qū)域,能夠有效地限制數(shù)據(jù)值的范圍.

經(jīng)過(guò)3 個(gè)卷積模塊的特征提取后進(jìn)入分類(lèi)模塊,分類(lèi)模塊主要包括兩個(gè)全連接層和一個(gè)損失函數(shù):第1 個(gè)全連接層的神經(jīng)元數(shù)量為1 000 個(gè),其后使用ReLU 激活函數(shù)來(lái)提升網(wǎng)絡(luò)的性能;第2 個(gè)全連接層的神經(jīng)元數(shù)量為2,對(duì)應(yīng)于網(wǎng)絡(luò)輸出的類(lèi)別.分類(lèi)模塊的最后,通過(guò)softmax 函數(shù)來(lái)對(duì)兩個(gè)類(lèi)別標(biāo)簽上產(chǎn)生概率分布.

2.6 模型分析

本文在預(yù)處理階段使用了30 個(gè)SRM 濾波器,相比于僅僅使用一個(gè)HPF 高通濾波器的預(yù)處理方式,SRM 濾波器能夠提取出更多的噪聲殘差信息,使網(wǎng)絡(luò)在訓(xùn)練階段學(xué)習(xí)到更多的隱寫(xiě)特征,從而提高隱寫(xiě)分析能力.在Pibre[10]、Salomon[11]等人的網(wǎng)絡(luò)結(jié)構(gòu)中,都是只采用了兩個(gè)卷積層,本文增加了卷積層的層數(shù),有利于訓(xùn)練階段進(jìn)行特征提取.

通過(guò)在第3 個(gè)卷積層中使用大尺寸卷積核,在提高了特征提取性能的同時(shí),降低了特征數(shù)量,從而限制了訓(xùn)練模型的大小(在輸入圖像大小為256×256 時(shí),文獻(xiàn)[10]模型大小約為980MB,本文的訓(xùn)練模型大小約為31MB).且通過(guò)結(jié)合前兩個(gè)卷積層的小尺寸卷積核與第3 個(gè)卷積層的大尺寸卷積核,使網(wǎng)絡(luò)能夠有效地捕獲低嵌入率下的隱寫(xiě)噪聲特征.

本文在卷積層中取消了池化層的使用,避免了池化層的下采樣操作造成隱寫(xiě)特征的丟失.基于Xu 等人[14]的研究,在3 個(gè)卷積層后使用TanH 函數(shù)作為激活函數(shù),第1 個(gè)全連接層后使用ReLU 函數(shù)作為激活函數(shù),通過(guò)在淺層TanH 函數(shù)和深層ReLU 函數(shù)的結(jié)合使用,一定程度上提升了網(wǎng)絡(luò)性能.

Shen-Net 網(wǎng)絡(luò)能夠?qū)Φ颓度肼实碾[寫(xiě)特征進(jìn)行有效學(xué)習(xí),并使模型最終進(jìn)行正確分類(lèi),關(guān)鍵在于預(yù)處理層、小尺寸卷積核和大尺寸卷積核的結(jié)合使用.預(yù)處理層中,通過(guò)30 個(gè)高通濾波器,從低嵌入率隱寫(xiě)圖像中提取出30 種不同的噪聲殘差圖像.在卷積模塊中,通過(guò)小尺寸卷積核與大尺寸卷積核對(duì)噪聲殘差圖像的卷積操作,使模型能夠有效地提取低嵌入率下微弱的隱寫(xiě)特征.通過(guò)對(duì)網(wǎng)絡(luò)的層數(shù)進(jìn)行一定控制,讓模型的復(fù)雜度盡量縮小.同時(shí),Shen-Net 中,通過(guò)批量歸一化操作來(lái)控制各卷積模塊中的數(shù)據(jù)分布,并在網(wǎng)絡(luò)的卷積層中,通過(guò)TanH 函數(shù)進(jìn)行非線性激活操作,提高網(wǎng)絡(luò)的表達(dá)能力,使網(wǎng)絡(luò)收斂性得到有效保證.由于低嵌入率時(shí)圖像中的隱寫(xiě)特征信息本就非常微弱,而池化層進(jìn)行下采樣操作時(shí)無(wú)可避免地會(huì)對(duì)特征圖的信息產(chǎn)生丟失,因此在Shen-Net 中取消了池化層,避免了池化操作所造成的隱寫(xiě)特征的丟失,間接地提高了模型的檢測(cè)能力.通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的合理設(shè)計(jì),使Shen-Net 的模型能夠?qū)Φ颓度肼实碾[寫(xiě)圖像的檢測(cè)能夠達(dá)到很好的效果.

2.7 逐步遷移(step by step)的遷移學(xué)習(xí)

由于內(nèi)容自適應(yīng)隱寫(xiě)算法[5?7]會(huì)根據(jù)圖像紋理特征和嵌入率,將信息從紋理最復(fù)雜的區(qū)域開(kāi)始嵌入,因此當(dāng)嵌入率很低時(shí),秘密信息會(huì)被嵌入在圖像最復(fù)雜的紋理區(qū)域中,從而導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練階段難以學(xué)習(xí)到足夠的隱寫(xiě)特征,使訓(xùn)練模型的檢測(cè)效果并不理想.

本文為了進(jìn)一步提升低嵌入率的檢測(cè)效果,在相同的隱寫(xiě)算法中,通過(guò)遷移學(xué)習(xí)的方法將高嵌入率下的訓(xùn)練模型作為初始參數(shù)遷移至低嵌入率的網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,使低嵌入率的網(wǎng)絡(luò)能夠借助高嵌入率訓(xùn)練模型的參數(shù)作為輔助,來(lái)提升對(duì)隱寫(xiě)特征的學(xué)習(xí)能力.文獻(xiàn)[17]中,利用遷移學(xué)習(xí)的方法有效地提升了Qian-Net[16]的檢測(cè)能力.遷移學(xué)習(xí)框架如圖4所示,在本文的遷移學(xué)習(xí)方法中,使用的網(wǎng)絡(luò)結(jié)構(gòu)為Shen-Net 結(jié)構(gòu),源任務(wù)與目標(biāo)任務(wù)使用相同的網(wǎng)絡(luò)結(jié)構(gòu).首先,通過(guò)對(duì)高嵌入率的圖像集進(jìn)行訓(xùn)練,利用高嵌入率下訓(xùn)練好的模型,將訓(xùn)練參數(shù)遷移至嵌入率較低的目標(biāo)任務(wù)中對(duì)網(wǎng)絡(luò)訓(xùn)練參數(shù)進(jìn)行初始化.目標(biāo)任務(wù)在訓(xùn)練階段通過(guò)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)來(lái)提升低嵌入率下訓(xùn)練模型的隱寫(xiě)分析能力.通過(guò)利用高嵌入率中訓(xùn)練參數(shù)遷移來(lái)初始化低嵌入率的訓(xùn)練任務(wù),來(lái)代替使用隨機(jī)值對(duì)參數(shù)進(jìn)行初始化,能夠有效提升網(wǎng)絡(luò)的訓(xùn)練效果.

Fig.4 Shen-Net embedding rate transfer learning framework圖4 Shen-Net 嵌入率遷移學(xué)習(xí)框架

嵌入率越高的訓(xùn)練模型,往往能夠更好地學(xué)習(xí)到隱寫(xiě)特征,因此,本文希望能夠?qū)⒆罡咔度肼氏碌挠?xùn)練模型的參數(shù)直接遷移至低嵌入率下進(jìn)行微調(diào),但如果源任務(wù)與目標(biāo)任務(wù)之間的嵌入率相差過(guò)大(如0.5bpp 與0.05bpp之間),隱寫(xiě)噪聲信息存在強(qiáng)度上的差異,直接進(jìn)行遷移學(xué)習(xí)可能不會(huì)取得很好的性能提升.因此,本文提出了逐步遷移(step by step)的方法,即:將0.5bpp 的訓(xùn)練模型遷移至0.4bpp 中進(jìn)行訓(xùn)練,再將0.4bpp 的訓(xùn)練模型遷移至0.3bpp,以此類(lèi)推,直至0.05bpp.通過(guò)逐步遷移的方式,將最高嵌入率下的訓(xùn)練參數(shù)逐步遷移至低嵌入率下進(jìn)行微調(diào),消除了噪聲信息的強(qiáng)度差異.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)使用WOW[5]、S-UNIWARD[6]和HILL[7]這3 種常見(jiàn)的空域自適應(yīng)隱寫(xiě)算法,嵌入率分別為0.5bpp,0.4bpp,0.3bpp,0.2bpp,0.1bpp 和0.05bpp.實(shí)驗(yàn)中使用的數(shù)據(jù)集為BOSSbase V1.01[27],該數(shù)據(jù)集包含10 0 00 張分辨率為512×512 像素的灰度圖像,圖像格式為pgm.將每張圖像分割為4 張256×256 像素的灰度圖像,這樣得到40 000 張圖像.隱寫(xiě)圖像集(stego)通過(guò)將載體圖像集(cover)嵌入秘密信息得到.實(shí)驗(yàn)中,將30 000 張圖像用為訓(xùn)練,其中訓(xùn)練集占80%,驗(yàn)證集占20%;剩下的10 000 張圖像作為測(cè)試集.所有的實(shí)驗(yàn)都是在Windows 10 系統(tǒng)中通過(guò)Caffe1.0[28]深度學(xué)習(xí)框架實(shí)現(xiàn).

3.2 參數(shù)設(shè)置

實(shí)驗(yàn)中,本文采用隨機(jī)梯度下降算法(SGD)來(lái)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò).學(xué)習(xí)率策略(lr_policy)為“step”,stepsize 為50 0 00,gamma 為0.1.基礎(chǔ)學(xué)習(xí)率(base_lr)為0.001,上一次更新的權(quán)重(momentum)為0.9,權(quán)值衰減(weight_decay)為0.004.由于GPU 顯存的限制,訓(xùn)練階段每一批次(batch size)設(shè)為16.最大迭代次數(shù)(max_iter)為200 000.所有卷積層的初始化方法為“Xavier”,權(quán)重遵循均勻分布,并且保證每層輸入和輸出的方差保持一致[29].30 個(gè)SRM 濾波器未被標(biāo)準(zhǔn)化.

3.3 實(shí)驗(yàn)結(jié)果

圖5 展示了WOW 隱寫(xiě)算法在0.1bpp 嵌入率下,測(cè)試集中一張圖像的嵌密結(jié)果及其對(duì)應(yīng)嵌入位置.圖5(a)為隱藏信息之后的嵌密圖像,圖5(b)為圖5(a)嵌密圖像中秘密信息的嵌入位置,其中,白色點(diǎn)表示該位置像素值的進(jìn)行了+1 修改,黑色點(diǎn)表示該位置像素值進(jìn)行了?1 修改.模型進(jìn)行分類(lèi)后輸出的概率值結(jié)果分別為Cover:0.168572;Stego:0.831528.由于模型將圖像判為嵌密圖像的概率值更大,因此本文將圖5(a)最終的檢測(cè)結(jié)果判定為嵌密圖像.

Fig.5 WOW algorithm 0.1bpp embedded effect圖5 WOW 算法0.1bpp 嵌密效果圖

為了驗(yàn)證模型特征提取的有效性,本文將網(wǎng)絡(luò)部分層的特征圖進(jìn)行展示.圖6 展示了預(yù)處理層進(jìn)行SRM 高通濾波核進(jìn)行濾波處理后的部分噪聲殘差圖.可以看出:不同的濾波核能夠從不同的角度提取出攜密圖像紋理區(qū)域和噪聲區(qū)域的殘差信息,并且同時(shí)減少了圖像內(nèi)容信息,極大地降低了訓(xùn)練階段圖像內(nèi)容對(duì)隱寫(xiě)噪聲特征的學(xué)習(xí)的影響.圖7 展示了第1 個(gè)卷積層輸出的32 個(gè)特征圖,這些特征圖中的信息依然主要集中在圖像的紋理和噪聲區(qū)域中,說(shuō)明卷積操作能夠從這些秘密信息的主要嵌入?yún)^(qū)域中有效的提取特征.

Fig.6 Partial noise residual image outputed from the preprocessing layer圖6 預(yù)處理層輸出的部分噪聲殘差圖

Fig.7 32 feature maps outputted from the first convolutional layer圖7 第1 個(gè)卷積層輸出的32 個(gè)特征圖

表2 中展示了在WOW 隱寫(xiě)算法下,嵌入率為0.5bpp,0.4bpp 和0.3bpp 這3 種高嵌入率時(shí),現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法Pibre-Net[10]、Salomon-Net[11]、Yedroudj-Net[19]和S-CNN[13],以及本文提出的Shen-Net的檢測(cè)正確率.表3 展示了WOW 隱寫(xiě)算法在嵌入率為0.2bpp、0.1bpp 和0.05bpp 這3 種低嵌入率下的檢測(cè)結(jié)果的對(duì)比,表中“?”表示該模型在訓(xùn)練階段未收斂.

Table 2 Comparison of high embedding rate detection accuracy of WOW表2 WOW 隱寫(xiě)算法高嵌入率檢測(cè)準(zhǔn)確率對(duì)比

Table 3 Comparison of low embedding rate detection accuracy of WOW表3 WOW 隱寫(xiě)算法低嵌入率檢測(cè)準(zhǔn)確率對(duì)比

從表2 和表3 中可以看出,本文提出的Shen-Net 在WOW 隱寫(xiě)算法下的檢測(cè)正確率比現(xiàn)有隱寫(xiě)分析方法更好.與Pibre-Net 相比,Shen-Net 在嵌入率為0.5bpp~0.3bpp 時(shí)的檢測(cè)正確率提高了3%~8%.由于Pibre-Net 對(duì)輸入圖像直接使用大尺寸卷積核進(jìn)行卷積操作,使模型無(wú)法捕獲低嵌入率下的隱寫(xiě)噪聲信息,所以在嵌入率為0.2bpp~0.05bpp 時(shí)的訓(xùn)練模型已經(jīng)無(wú)法收斂.與Salomon-Net 相比,Shen-Net 在嵌入率為0.5bpp~0.1bpp 時(shí)的檢測(cè)正確率提高了2%~5%.與Yedroudj-Net 相比,Shen-Net 在嵌入率為0.5bpp~0.2bpp 時(shí)的檢測(cè)正確率提高了20%左右.與S-CNN 相比,Shen-Net 在嵌入率為0.5bpp~0.05bpp 時(shí)的檢測(cè)正確率提高了3%~15%.

特別是在0.05bpp 下,現(xiàn)有隱寫(xiě)分析方法的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練階段已經(jīng)難以收斂,S-CNN 網(wǎng)絡(luò)雖然在訓(xùn)練階段達(dá)到了收斂效果,但是對(duì)訓(xùn)練模型進(jìn)行測(cè)試后,檢測(cè)正確率僅僅只有51.22%.顯然,這個(gè)檢測(cè)效果對(duì)于兩分類(lèi)問(wèn)題很不理想.但是本文提出的Shen-Net 在0.05bpp 下,檢測(cè)正確率能夠達(dá)到66.55%.由此可見(jiàn),本文提出的Shen-Net 在嵌入率很低的情況下,進(jìn)行隱寫(xiě)分析也能取得很好的效果.

表4 和表5 展示了S-UNIWARD 隱寫(xiě)算法高嵌入率和低嵌入率時(shí),本文提出的Shen-Net 與現(xiàn)有隱寫(xiě)分析方法的檢測(cè)準(zhǔn)確率的對(duì)比.根據(jù)表4 和表5 的檢測(cè)結(jié)果可以看出:在S-UNIWARD 隱寫(xiě)算法下,本文提出的Shen-Net 的檢測(cè)性能同樣優(yōu)于現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法.檢測(cè)正確率的提升幅度與WOW 隱寫(xiě)算法檢測(cè)正確率大致類(lèi)似.在嵌入率為0.05bpp 時(shí),Pibre-Net,Salomon-Net 和Yedroudj-Net 這3 個(gè)網(wǎng)絡(luò)的訓(xùn)練模型都未能收斂,S-CNN 網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確率為58.83%.而本文提出的Shen-Net 在嵌入率為0.05bpp 時(shí)檢測(cè)正確率能夠達(dá)到73.63%.

Table 4 Comparison of high embedding rate detection accuracy of S-UNIWARD表4 S-UNIWARD 隱寫(xiě)算法高嵌入率檢測(cè)準(zhǔn)確率對(duì)比

Table 5 Comparison of low embedding rate detection accuracy of S-UNIWARD表5 S-UNIWARD 隱寫(xiě)算法低嵌入率檢測(cè)準(zhǔn)確率對(duì)比

表6、表7 分別展示了HILL 隱寫(xiě)算法高嵌入率和低嵌入率情況下,Shen-Net 與現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法的檢測(cè)準(zhǔn)確率的對(duì)比.根據(jù)表6 和表7 的檢測(cè)結(jié)果,本文提出的Shen-Net 在HILL 隱寫(xiě)算法下,檢測(cè)性能同樣優(yōu)于其他4 個(gè)現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法.在0.05bpp 下,Pibre-Net,Salomon-Net 和Yedroudj-Net 這3 個(gè)網(wǎng)絡(luò)的訓(xùn)練模型依然未能收斂,S-CNN 的測(cè)試結(jié)果僅為50.58%,這個(gè)檢測(cè)結(jié)果并無(wú)太大意義.而本文提出的Shen-Net 在HILL 隱寫(xiě)算法0.05bpp 下,檢測(cè)準(zhǔn)確率還是能夠達(dá)到70.48%.

Table 6 Comparison of high embedding rate detection accuracy of HILL表6 HILL 隱寫(xiě)算法高嵌入率檢測(cè)準(zhǔn)確率對(duì)比

Table 7 Comparison of low embedding rate detection accuracy of HILL表7 HILL 隱寫(xiě)算法低嵌入率檢測(cè)準(zhǔn)確率對(duì)比

由WOW,S-UNIWARD 和HILL 這3 種常見(jiàn)的隱寫(xiě)算法下的檢測(cè)性能可見(jiàn):本文提出的Shen-Net 相比于現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法,不僅提升了檢測(cè)正確率,并且在0.05bpp 這種其他方法難以檢測(cè)的低嵌入率下,Shen-Net 同樣能夠取得較為理想的檢測(cè)效果.

除了訓(xùn)練模型的檢測(cè)正確性以外,模型在訓(xùn)練階段的收斂情況也是評(píng)價(jià)一個(gè)網(wǎng)絡(luò)的重要指標(biāo).loss 值為訓(xùn)練過(guò)程中預(yù)測(cè)結(jié)果與實(shí)際結(jié)果之間的誤差,反映了網(wǎng)絡(luò)在訓(xùn)練階段的收斂情況.圖8 展示了Shen-Net 與其他4個(gè)網(wǎng)絡(luò)在訓(xùn)練階段loss 值的變化情況,訓(xùn)練集的隱寫(xiě)算法為WOW,嵌入率為0.3bpp.根據(jù)loss 曲線能夠看出:相比其他4 個(gè)網(wǎng)絡(luò),Shen-Net 在訓(xùn)練階段能夠明顯地快速進(jìn)行收斂.在30 000 次左右的迭代時(shí),loss 值已基本保持在極低范圍內(nèi),而其他網(wǎng)絡(luò)的loss 曲線基本都還在收斂階段,且loss 值都遠(yuǎn)遠(yuǎn)高于Shen-Net 的loss 值.

Fig.8 Loss variation of 0.3bpp embedding rate training stage of WOW圖8 WOW 隱寫(xiě)算法0.3bpp 訓(xùn)練階段loss 變化情況

在卷積神經(jīng)網(wǎng)絡(luò)中,模型的訓(xùn)練與測(cè)試所耗時(shí)間是衡量模型性能重要指標(biāo),表8 展示了本章提出的Shen-Net 與對(duì)比的4 個(gè)網(wǎng)絡(luò)在訓(xùn)練與測(cè)試階段所耗費(fèi)的時(shí)間.其中,每個(gè)網(wǎng)絡(luò)在訓(xùn)練階段的迭代次數(shù)都為20 萬(wàn)次,測(cè)試結(jié)果為對(duì)一張圖像進(jìn)行檢測(cè)所耗費(fèi)時(shí)間.

Table 8 Performance during training and testing表8 訓(xùn)練與測(cè)試的性能比較

Yedroudj-Net 由于其網(wǎng)絡(luò)深度相對(duì)較大,模型的參數(shù)較多,因此訓(xùn)練階段需要耗費(fèi)14.5 小時(shí).Salomon-Net的網(wǎng)絡(luò)深度為兩層卷積結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單,且第1 次卷積層只有一個(gè)卷積核,從而模型參數(shù)較少,因此訓(xùn)練階段只需1.3 小時(shí)即可完成.Shen-Net 與其他4 個(gè)網(wǎng)絡(luò)相比,在加深網(wǎng)絡(luò)層數(shù)的基礎(chǔ)上,通過(guò)對(duì)卷積核的設(shè)計(jì)對(duì)模型參數(shù)數(shù)量進(jìn)行了一定限制,因此訓(xùn)練階段所耗費(fèi)時(shí)間較為適中.測(cè)試階段所耗時(shí)間與訓(xùn)練時(shí)間相對(duì)應(yīng),Yedroudj-Net 運(yùn)行時(shí)間同樣為最長(zhǎng),Salomon-Net 只需0.1 秒即可完成,而Shen-Net 對(duì)單張圖片的測(cè)試時(shí)間為0.4秒.根據(jù)Shen-Net 與其他4 個(gè)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試時(shí)間可以反映出,S-CNN 的模型性能接近于5 個(gè)模型的平均值,Shen-Net 的模型性能雖然不是最優(yōu)的,但是也能達(dá)到較好的水平.

3.4 遷移學(xué)習(xí)實(shí)驗(yàn)

為了進(jìn)一步對(duì)提高低嵌入率的檢測(cè)效果,如0.05bpp、0.1bpp 和0.2bpp,本文采用遷移學(xué)習(xí)方法將嵌入率為0.3bpp、0.4bpp 和0.05bpp 訓(xùn)練得到的網(wǎng)絡(luò)模型參數(shù),分別遷移至0.05bpp、0.1bpp 和0.2bpp 下進(jìn)行微調(diào)訓(xùn)練.通過(guò)將高嵌入率的模型參數(shù)有效地遷移至相同隱寫(xiě)算法低嵌入率中進(jìn)一步進(jìn)行特征學(xué)習(xí),有效提升了模型對(duì)低嵌入率的隱寫(xiě)分析能力.除了通過(guò)直接將嵌入率為0.3bpp、0.4bpp 和0.05bpp 下的預(yù)訓(xùn)練的模型遷移至低嵌入率中進(jìn)行訓(xùn)練以外,實(shí)驗(yàn)中通過(guò)逐步遷移(step by step)學(xué)習(xí),對(duì)嵌入率差距較大的情況進(jìn)行有效的參數(shù)遷移.針對(duì)本文提出的Shen-Net 網(wǎng)絡(luò),分別對(duì)WOW、S-UNIWARD 和HILL 這3 種隱寫(xiě)算法進(jìn)行遷移學(xué)習(xí)實(shí)驗(yàn).

表9展示了Shen-Net對(duì)WOW隱寫(xiě)算法未進(jìn)行遷移學(xué)習(xí)與4種遷移學(xué)習(xí)方式的檢測(cè)準(zhǔn)確率對(duì)比.對(duì)0.05bpp進(jìn)行遷移學(xué)習(xí),較好地提升了準(zhǔn)確率,其中,通過(guò)0.3bpp 和逐步遷移的方式,相比未進(jìn)行遷移學(xué)習(xí)提升了2%左右.其次,逐步遷移的方法對(duì)0.1bpp 的檢測(cè)準(zhǔn)確率也提升了1%左右.但是對(duì)于0.2bpp 而言,遷移學(xué)習(xí)并沒(méi)有提升檢測(cè)準(zhǔn)確率.

Table 9 Comparison of transfer learning detection accuracy of WOW表9 WOW 隱寫(xiě)算法遷移學(xué)習(xí)檢測(cè)準(zhǔn)確率對(duì)比

S-UNIWARD 隱寫(xiě)算法下,使用遷移學(xué)習(xí)的檢測(cè)準(zhǔn)確率對(duì)比結(jié)果見(jiàn)表10.在0.05bpp 下,通過(guò)遷移學(xué)習(xí)能夠在未進(jìn)行遷移學(xué)習(xí)的基礎(chǔ)上提升1%左右,其中,0.5bpp 和0.4bpp 遷移學(xué)習(xí)的效果最好.在0.1bpp 和0.2bpp 下,遷移學(xué)習(xí)的方法檢測(cè)準(zhǔn)確率都能得到一定的提升.

Table 10 Comparison of transfer learning detection accuracy of S-UNIWARD表10 S -UNIWARD 隱寫(xiě)算法遷移學(xué)習(xí)檢測(cè)準(zhǔn)確率對(duì)比

遷移學(xué)習(xí)方法對(duì)HILL 隱寫(xiě)算法檢測(cè)準(zhǔn)確率的對(duì)比結(jié)果見(jiàn)表11,整體而言,逐步遷移學(xué)習(xí)的檢測(cè)效果能夠得到最好的提升.其中,在0.05bpp 和0.1bpp 下,逐步遷移的方法能夠在未進(jìn)行遷移學(xué)習(xí)的基礎(chǔ)上分別提升2%和1%左右.

Table 11 Comparison of transfer learning detection accuracy of HILL表11 HILL 隱寫(xiě)算法遷移學(xué)習(xí)檢測(cè)準(zhǔn)確率對(duì)比

通過(guò)以上實(shí)驗(yàn)可以發(fā)現(xiàn),使用逐步遷移學(xué)習(xí)的方法能夠獲得更為穩(wěn)定的準(zhǔn)確率提升.特別是在0.05bpp 下,相比未進(jìn)行遷移學(xué)習(xí)的效果提升更為明顯.但是在0.2bpp 下,由于Shen-Net 未進(jìn)行遷移學(xué)習(xí)時(shí),在訓(xùn)練階段同樣能夠?qū)W習(xí)到足夠的隱寫(xiě)特征,因此遷移學(xué)習(xí)對(duì)檢測(cè)準(zhǔn)確率的提升不大.

4 結(jié)束語(yǔ)

本文針對(duì)現(xiàn)有空域隱寫(xiě)分析方法在低嵌入率下難以區(qū)分的問(wèn)題,通過(guò)分析現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的隱寫(xiě)分析方法的特點(diǎn),構(gòu)造了一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu) Shen-Net.實(shí)驗(yàn)結(jié)果證明:新提出的網(wǎng)絡(luò)結(jié)構(gòu)在對(duì) WOW,SUNIWARD 和HILL 這3 種常見(jiàn)空域內(nèi)容自適應(yīng)隱寫(xiě)算法進(jìn)行隱寫(xiě)分析時(shí),準(zhǔn)確率得到了較高的提升.在嵌入率較低的情況下,現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)無(wú)法收斂或準(zhǔn)確性很低,而本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)仍能夠取得較為理想的檢測(cè)準(zhǔn)確率.此外,本文還通過(guò)采用逐步遷移學(xué)習(xí)的方法進(jìn)一步提高了對(duì)低嵌入容量的檢測(cè)準(zhǔn)確率.由于在現(xiàn)實(shí)生活中,JPEG 格式圖像的使用更為常見(jiàn),下一步我們將對(duì)JPEG 格式圖像的隱寫(xiě)分析方法進(jìn)行深入研究.