基于生成對(duì)抗網(wǎng)絡(luò)的信息隱藏方案

王耀杰,鈕 可,楊曉元

(1.武警工程大學(xué) 密碼工程學(xué)院,西安 710086;2.網(wǎng)絡(luò)與信息安全武警部隊(duì)重點(diǎn)實(shí)驗(yàn)室(武警工程大學(xué)),西安 710086)(*通信作者電子郵箱wangyaojie0313@163.com)

0 引言

信息隱藏是將秘密信息以不可見的方式隱藏在一個(gè)宿主信號(hào)中,并在需要時(shí)將秘密信息提取出來,以達(dá)到隱蔽通信和版權(quán)保護(hù)等目的[1]。它主要用于特定雙方的秘密通信,特別是在快速增長的社交網(wǎng)絡(luò)中,有豐富的圖像和視頻作為載體,這為信息隱藏提供了更多的機(jī)會(huì)和挑戰(zhàn)。圖1是信息隱藏的典型模型。

當(dāng)前常用的圖像信息隱藏方法主要包括空域和變換域的信息隱藏方法。空域隱藏方法如圖像最低有效位(Least Significant Bit, LSB)隱藏方法[2]、自適應(yīng)LSB隱藏方法[3]、空域通用小波相對(duì)失真(Spatial-UNIversal WAvelet Relative Distortion, S-UNIWARD)方法[4]、HUGO(Highly Undetectable steganography)[5]、WOW(Wavelet Obtained Weights)[6]等;變換域方法如離散傅里葉變換(Discrete Fourier Transform, DFT)隱藏方法[7]、離散余弦變換(Discrete Cosine Transform, DCT)隱藏方法[8]、離散小波變換(Discrete Wavelet Transform, DWT)隱藏方法[9]等。

圖1 信息隱藏的典型模型Fig. 1 Typical model of information hiding

傳統(tǒng)信息隱藏方法都是通過修改載體來嵌入秘密信息,含密載體總會(huì)留有修改痕跡,導(dǎo)致含密載體難以從根本上抵抗基于統(tǒng)計(jì)的信息隱藏分析算法的檢測(cè)。當(dāng)人們?cè)O(shè)計(jì)隱寫算法時(shí),通常會(huì)考慮到隱寫分析。例如,秘密信息應(yīng)該嵌入到圖像的噪聲和紋理區(qū)域中,這樣更加安全。但現(xiàn)有的隱寫模式通常要求載體信息的先驗(yàn)概率分布,在實(shí)際中很難獲得,也就是說抵抗隱寫分析的設(shè)計(jì)未能在應(yīng)用中很好地實(shí)現(xiàn)。因此,如何設(shè)計(jì)安全的隱寫方案使含密載體從根本上抵抗基于統(tǒng)計(jì)的隱寫分析算法的檢測(cè)是研究人員面臨的難題,也是研究的熱點(diǎn)之一。

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)[10]的特點(diǎn)是提取總結(jié)真實(shí)樣本的特征,由噪聲驅(qū)動(dòng)來生成豐富多樣的圖像樣本,這為信息隱藏的研究提供了新方向。在SGAN(Steganographic GAN)[11]和SSGAN(Secure Steganography based on GAN)[12]的啟發(fā)下,本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的安全隱寫方案,通過生成更合適的載體信息來保證信息隱藏的安全性。該方案首先用GAN中的生成模型(generative model)以噪聲為驅(qū)動(dòng)生成原始載體信息,其次將使用±1嵌入算法,將消息嵌入到生成的載體信息中,然后將含密信息與真實(shí)樣本作為生成對(duì)抗網(wǎng)絡(luò)判別模型D(discriminator D)的輸入,對(duì)于判別性網(wǎng)絡(luò)進(jìn)行重構(gòu),同時(shí)使用判別模型S(discriminator S)來檢測(cè)圖像是否存在隱寫操作。

本文的主要工作歸納如下:

1)提高含密信息的安全性。在本文中,將含密信息(steg(G(z)))與真實(shí)圖像(χdata)作為生成對(duì)抗網(wǎng)絡(luò)判別模型(discriminative model)的輸入,對(duì)于判別性網(wǎng)絡(luò)進(jìn)行重構(gòu),從而使含密信息的安全性顯著提高。與SGAN和SSGAN相比,本文方案使得攻擊者在隱寫分析正確性上分別降低了13.1%和6.4%。

2)生成的載體圖像更豐富。本文改進(jìn)原始GAN的框架,同時(shí)要通過調(diào)節(jié)式(5)參數(shù)α的值,使生成對(duì)抗網(wǎng)絡(luò)和隱寫分析檢測(cè)達(dá)到均衡,從而更好評(píng)估生成圖像的特性,使生成的圖像更豐富。與對(duì)比方案相比,生成的載體圖像更適合嵌入。

1 預(yù)備知識(shí)

1.1 生成對(duì)抗網(wǎng)絡(luò)

GAN是 Goodfellow等[10]在2014年提出的一種生成模型, 其思想來源于博弈論中的二人零和博弈, GAN的結(jié)構(gòu)如圖2所示。主要由一個(gè)生成器和一個(gè)判別器組成,任意可微分的函數(shù)都可用來表示GAN的生成器G和判別器D[13]。

圖2 GAN的結(jié)構(gòu)Fig. 2 Structure of GAN

GAN從2014年提出后主要應(yīng)用在無監(jiān)督學(xué)習(xí)上,它能從輸入數(shù)據(jù)動(dòng)態(tài)地采樣并生成新的樣本。GAN通過同時(shí)訓(xùn)練以下兩個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)(設(shè)輸入分別為真實(shí)數(shù)據(jù)x和隨機(jī)變量z):

1)生成模型G:以噪聲z的先驗(yàn)分布pnoise(z)作為輸入,生成一個(gè)近似于真實(shí)數(shù)據(jù)分布pdata(x)的樣本分布pG(z)。

2)判別模型D:判別目標(biāo)是真實(shí)數(shù)據(jù)還是生成樣本。如果判別器的輸入來自真實(shí)數(shù)據(jù),標(biāo)注為1;如果輸入樣本為G(z),標(biāo)注為0。

GAN的優(yōu)化過程是一個(gè)極小極大博弈(Minimax game)問題:判別器D盡可能正確地判別輸入的數(shù)據(jù)是來自真實(shí)樣本(來源于真實(shí)數(shù)據(jù)x的分布)還是來自偽樣本(來源于生成器的偽數(shù)據(jù)G(z));而生成器G則盡量去學(xué)習(xí)真實(shí)數(shù)據(jù)集樣本的數(shù)據(jù)分布,并盡可能使自己生成的偽數(shù)據(jù)G(z)在D上的表現(xiàn)D(G(z))和真實(shí)數(shù)據(jù)x在D上的表現(xiàn)D(x)一致,這兩個(gè)過程相互對(duì)抗并迭代優(yōu)化,使得D和G的性能不斷提升,最終當(dāng)G與D二者之間達(dá)到一個(gè)納什平衡,D無法正確判別數(shù)據(jù)來源時(shí),可以認(rèn)為這個(gè)生成器G已經(jīng)學(xué)到了真實(shí)數(shù)據(jù)的分布[13]。

因此在GAN的訓(xùn)練過程中解決了以下優(yōu)化問題:

L(D,G)=Ex～pdata(x)[logD(x)]+

(1)

其中:D(x)代表x是真實(shí)圖像的概率;G(z)是從輸入噪聲z產(chǎn)生的生成圖像。

通過交替訓(xùn)練G與D實(shí)現(xiàn)聯(lián)合優(yōu)化式(1):在每個(gè)mini-batch隨機(jī)梯度優(yōu)化的迭代過程中,本文首先對(duì)D進(jìn)行梯度上升,然后對(duì)G作梯度下降。如果用θM表示神經(jīng)網(wǎng)絡(luò)M的參數(shù),那么更新規(guī)則為:

1)保持G不變,通過θD←θD+γD▽DL更新D:

Ez～pnoise(z)[log(1-D(G(z,θG),θD))]}

(2)

2)保持D不變,通過θG←θG-γG▽GL更新G:

(3)

GAN模型存在著無約束、不可控、噪聲信號(hào)z很難解釋等問題。近年來,在此基礎(chǔ)上衍生出很多GAN的衍生模型。文獻(xiàn)[14]中將GAN的思想擴(kuò)展到深度卷積生成對(duì)抗網(wǎng)絡(luò)(Deep Convolutional GAN, DCGAN)中,將其專門用于圖像生成，還論述了對(duì)抗訓(xùn)練在圖像識(shí)別和生成方面的優(yōu)點(diǎn),提出了構(gòu)建和訓(xùn)練DCGAN的方法。Conditional GAN[15]能生成指定類別的目標(biāo)。InfoGAN(interpretable representation learning by Information maximizing GAN)[16]被OPENAI稱為2016年的五大突破之一,它實(shí)現(xiàn)了對(duì)噪聲z的有效利用,并將z的具體維度與數(shù)據(jù)的語義特征對(duì)應(yīng)起來,由此得到一個(gè)可解釋的表征。

1.2 Wasserstein GAN

WGAN(Wasserstein GAN)[17]是GAN的衍生模型,主要從損失函數(shù)的角度對(duì)GAN作了改進(jìn)。原始GAN采用交叉熵(JS散度)衡量生成分布和真實(shí)分布之間的距離,導(dǎo)致GAN在訓(xùn)練過程出現(xiàn)模型崩塌(mode-collapse)的問題。WGAN在理論上給出了GAN訓(xùn)練不穩(wěn)定的原因,即交叉熵(JS散度)不適合衡量不相交分布之間的距離,接著使用Wassertein距離去衡量生成數(shù)據(jù)分布和真實(shí)數(shù)據(jù)分布之間的距離,主要理論貢獻(xiàn)為:

1)定義了可以明確計(jì)算的損失函數(shù),徹底解決 GAN訓(xùn)練不穩(wěn)定的問題,不再需要小心平衡生成器和判別器的訓(xùn)練,基本解決了模型崩塌(mode-collapse)問題,確保了生成樣本的多樣性。

2)使用Wasserstein方法對(duì) G&D 的距離給出了明確的數(shù)學(xué)定義。Wasserstein距離也稱為轉(zhuǎn)移度量或者E距離,它表示從一個(gè)分布轉(zhuǎn)移成另一個(gè)分布所需的最小代價(jià)。

WGAN采用Wasserstein距離代替交叉熵(JS散度)[10]作為損失函數(shù)(loss function)。但在實(shí)際中直接計(jì)算Wasserstein距離是很困難的,因此使用Wasserstein距離的Kantorovich-Rubinstein對(duì)偶形式:

(4)

也就是說,Wasserstein距離實(shí)際上需要考慮所有的1-Lipschitz函數(shù)。如果考慮的是K-Lipschitz函數(shù)[18],則Wasserstein距離變?yōu)樵瓉淼腒倍。一般來說,可以假定GAN的判別器D是K-Lipschitz函數(shù),即優(yōu)化D實(shí)際上是在某個(gè)K-Lipschitz函數(shù)集{fw}w∈W上尋找合適的函數(shù)(其中w為f的參數(shù))。WGAN通過數(shù)學(xué)變換將Wasserstein距離寫成可求解的形式,利用一個(gè)參數(shù)數(shù)值范圍受限的判別器神經(jīng)網(wǎng)絡(luò)來最大化這個(gè)形式,就可以近似Wasserstein距離。在此近似最優(yōu)判別器下優(yōu)化生成器使得Wasserstein距離縮小,就能有效拉近生成數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布。

WGAN對(duì)原始GAN的具體改進(jìn)為:1)判別器最后一層去掉 sigmoid;2)生成器和判別器的loss不取 log;3)每次更新判別器D之后,把D中參數(shù)的絕對(duì)值截?cái)嗟揭粋€(gè)固定常數(shù);4)采用RMSProp(Root Mean Square prop)[19]、SGD(Stochastic Gradient Descent)替換基于動(dòng)量的優(yōu)化算法 momentum和Adam(Adaptive moment estimation)。

WGAN既解決了訓(xùn)練不穩(wěn)定的問題,也提供了一個(gè)可靠的訓(xùn)練進(jìn)程指標(biāo),而且該指標(biāo)確實(shí)與生成樣本的質(zhì)量高度相關(guān)。但是采用WGAN模型生成的圖片離現(xiàn)實(shí)圖片還有差距,后續(xù)還需要進(jìn)一步研究。

2 本文方案模型

在SGAN和SSGAN工作的啟發(fā)下,本文引入一個(gè)新的基于WGAN信息隱藏(Steganography based on GAN, Stego-WGAN)方案,包含一個(gè)生成網(wǎng)絡(luò)和兩個(gè)判別網(wǎng)絡(luò)。具體功能為:

生成器網(wǎng)絡(luò)G:以噪聲為驅(qū)動(dòng),通過機(jī)器學(xué)習(xí)生成近似真實(shí)數(shù)據(jù)樣本的圖像作為載體信息。

判別器網(wǎng)絡(luò)D:與SGAN和SSGAN方案不同,該方案為將含密信息(steg(G(z)))與真實(shí)樣本作為判別模型D的輸入,對(duì)輸入的樣本鑒別真?zhèn)巍?/p>

判別器網(wǎng)絡(luò)S:與SSGAN方案相同,本文也使用復(fù)雜的GNCNN(Gaussian-Neuron Convolutional Neural Network)[20]來評(píng)估生成的圖像的合適性,同時(shí)確定被檢圖像是否存在隱寫操作。本文Stego-WGAN模型如圖3所示。

圖3 Stego-WGAN模型Fig. 3 Stego-WGAN model

本文用S(x)代表判別模型S的輸出,用Stego(x)表示將一些秘密消息嵌入到載體信息x中的結(jié)果。

為了使生成模型G生成可用于信息隱藏的逼真圖像,本文迫使生成模型G與判別模型D和S相互競(jìng)爭(zhēng),不斷迭代優(yōu)化。該模型數(shù)學(xué)表達(dá)式如下所示:

α(Ex～Pdata(x)[logD(x)]+

Ez～Pnoise(z)[log(1-D(Stego(G(z)))])+

(1-α)Ez～Pnoise(z)[logS(Stego(G(z)))+

log(1-S(G(z)))]

(5)

本文將D和S兩者組成凸函數(shù),并由參數(shù)α∈[0,1]調(diào)控生成圖像的真實(shí)性和隱寫分析準(zhǔn)確性。初步實(shí)驗(yàn)結(jié)果表明,對(duì)于α≤0.7時(shí),生成的圖像是視覺質(zhì)量很差,與噪聲相似[11]。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于生成網(wǎng)絡(luò)G,它用于生成安全的載體信息。 本文使用一個(gè)全連接層和四個(gè)卷積層,然后是雙曲正切函數(shù)作為激勵(lì)層。G網(wǎng)絡(luò)結(jié)構(gòu)如圖4(a)所示。

對(duì)于判別網(wǎng)絡(luò)D,它用于評(píng)估含密圖像的質(zhì)量特性。 本文使用四個(gè)卷積層和一個(gè)全連接層。D網(wǎng)絡(luò)結(jié)構(gòu)如圖4(b)所示。

對(duì)于判別網(wǎng)絡(luò)S,它用于評(píng)估生成圖像的適用性。本文首先使用預(yù)定義的高通濾波器進(jìn)行濾波操作,主要用于隱寫分析；然后是四個(gè)卷積層，用于特征提取；最后進(jìn)行判別分類,分類的結(jié)構(gòu)里也包含一個(gè)全連接。S網(wǎng)絡(luò)結(jié)構(gòu)如圖4(c)所示。

2.2 更新規(guī)則

本文采用SGD[21]更新規(guī)則,具體步驟如下。

a)對(duì)于生成模型G:ωG←ωG-rG▽GL,它由式(6)計(jì)算:

b)對(duì)于判別模型D:ωD←ωD+rD▽GL，它由式(7)計(jì)算:

Ez～Pnoise(z)[log(1-D(Stego(G(z,ωG)),ωD))]}

(7)

c)對(duì)于判別模型S:ωS←ωS+rS▽SL，它由式(8)計(jì)算:

log(1-S(G(z,ωG),ωS))]

(8)

更新G不僅使判別模型D的錯(cuò)誤率最大化,而且使判別器D和S的線性組合的差錯(cuò)率最大化。

圖4 模型網(wǎng)絡(luò)架構(gòu)Fig. 4 Model network architecture

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

在本文實(shí)驗(yàn)中,使用公開可用的CelebA(CelebFaces Attribute)人臉數(shù)據(jù)集(Ziwei Liu&Tang,2015),其中包含200 000張圖像;輸入的隨機(jī)噪聲z為(-1,1)上的均勻分布。實(shí)驗(yàn)平臺(tái)為谷歌的人工智能學(xué)習(xí)系統(tǒng)Tensorflow v0.12,計(jì)算顯卡為NVIDIA1080。

為了進(jìn)行隱寫分析,首先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,將所有圖像裁剪為64×64像素,將90%的數(shù)據(jù)作為訓(xùn)練集,并將其余的作為測(cè)試集,訓(xùn)練集由A表示,而測(cè)試集由B表示。使用Stego(x)來表示將一些秘密消息嵌入到載體信息x中的結(jié)果,那么嵌入秘密信息后得到訓(xùn)練集A+Stego(A)和測(cè)試集B+Stego(B),即得到380 000張用于隱寫分析的訓(xùn)練樣本,并將剩余的20 000張作為測(cè)試樣本。

同時(shí),使用±1嵌入的隱寫算法,有效載荷大小為每像素0.4位,本文隨機(jī)選擇文章作為嵌入的文本信息。

本文使用了所有200 000張裁剪樣本用于訓(xùn)練Stego-WGAN模型。 圖5為經(jīng)過7個(gè)訓(xùn)練周期后,Stego-WGAN模型和SSGAN模型產(chǎn)生的圖像。

圖5 Stego-WGAN和SSGAN模型生成的人臉圖像Fig. 5 Generated face images by Stego-WGAN and SSGAN

實(shí)驗(yàn)結(jié)果表明,本文提出的Stego-WGAN模型生成的圖像的視覺質(zhì)量相同,但人物多樣性更豐富,明顯優(yōu)于對(duì)比方案。

3.2 實(shí)驗(yàn)設(shè)置

在本節(jié)中,將描述Stego-WGAN模型結(jié)構(gòu)。由C2D-BN-LR表示卷積神經(jīng)網(wǎng)絡(luò)的以下結(jié)構(gòu)塊:Conv2d→Batch Normalization→Leaky ReLU。

判別模型D和判別模型S具有相似的結(jié)構(gòu):4個(gè)C2D-BN-LR層→1個(gè)全連接層(1個(gè)神經(jīng)元)→Sigmoid函數(shù)(用來計(jì)算一個(gè)輸出)。生成模型G結(jié)構(gòu)是:1個(gè)全連接層(8 192個(gè)神經(jīng)元)→4個(gè)C2D-BN-LR的反卷積層→tan(x)函數(shù)層(計(jì)算正則化輸出)。

對(duì)Stego-WGAN模型進(jìn)行訓(xùn)練,采用基于Adam的優(yōu)化算法,學(xué)習(xí)率為0.000 2,更新變量β1=0.5,β2=0.999。在每次訓(xùn)練中,先更新一次判別器D的權(quán)重,再更新兩次生成器G的權(quán)重[12]。

實(shí)驗(yàn)中,除了steganalyserS之外,本文還使用一個(gè)獨(dú)立的steganalyserS*。定義了一個(gè)專用于隱寫分析應(yīng)用的濾波器F(0)[11]如下:

(9)

本文也使用RMSProp優(yōu)化算法訓(xùn)練steganalyserS*,學(xué)習(xí)率為5×10-6,并更新變量β1=0.5,β2=0.999。以二進(jìn)制交叉熵的形式來表示損失函數(shù)。

3.3 實(shí)驗(yàn)結(jié)果分析

在第一個(gè)實(shí)驗(yàn)中,本文比較生成圖像與真實(shí)圖像作為信息載體的安全性。首先將秘密信息嵌入到真實(shí)的圖像中,使用steganalyserS*分類器進(jìn)行分類;然后將秘密信息嵌入到生成圖像中,也使用相同參數(shù)的steganalyserS*分類器進(jìn)行分類。

實(shí)驗(yàn)結(jié)果如表1所示,在抗隱寫分析方面,與真實(shí)圖像隱寫分析正確率88.37%相比，含密圖像的表現(xiàn)明顯優(yōu)于真實(shí)圖像；與SGAN和SSGAN相比,本文方案使得隱寫分析正確性分別降低了13.1%和6.4%?？梢缘贸霰疚姆桨干傻膱D像更加安全,更適合成為信息隱藏的安全載體。

表1 在生成圖像上steganalyser S*的準(zhǔn)確性 %Tab. 1 Accuracy of steganalyser S* trained on generated images %

在第二個(gè)實(shí)驗(yàn)中,為進(jìn)一步驗(yàn)證生成樣本的安全性,本文使用Qian網(wǎng)絡(luò)結(jié)構(gòu),設(shè)置不同的先驗(yàn)噪聲分布作為輸入,然后用steganalyserS*分類器對(duì)各自的生成圖像進(jìn)行實(shí)驗(yàn)。具體實(shí)驗(yàn)設(shè)置如下:

1)使用相同的先驗(yàn)噪聲分布;

2)使用一些隨機(jī)選擇的先驗(yàn)噪聲分布;

3)使用與2)相同的先驗(yàn)噪聲分布,同時(shí)改變WGAN周期數(shù)。

實(shí)驗(yàn)結(jié)果表明:實(shí)驗(yàn)條件1)下對(duì)生成的圖像訓(xùn)練結(jié)果準(zhǔn)確率為82.3%;條件2)下準(zhǔn)確率為77.5%;條件3)下準(zhǔn)確率為74.9%。通過改變不同的噪聲輸入和訓(xùn)練周期,可以使檢測(cè)的準(zhǔn)確性分別降低4.8%和2.6%。輸入不同噪聲分布,改變訓(xùn)練周期,本文方案生成的圖像安全性進(jìn)一步提高,可以更有效抵抗隱寫分析。

經(jīng)過對(duì)比可得:Stego-WGAN模型生成的圖像更合適作為載體信息,同時(shí)更加豐富,視覺質(zhì)量進(jìn)一步提高。實(shí)驗(yàn)結(jié)果表明,新的信息隱藏方案在抗隱寫分析和安全性指標(biāo)上明顯優(yōu)于對(duì)比方案。

4 結(jié)語

本文提出了基于生成對(duì)抗網(wǎng)絡(luò)的Stego-WGAN信息隱藏方案,為信息隱藏生成更合適、更安全的載體信息,基本上解決含密載體會(huì)留有修改痕跡的問題。使用CelebA數(shù)據(jù)集評(píng)估了Stego-WGAN方案的性能,實(shí)驗(yàn)結(jié)果表明Stego-WGAN方案在抗隱寫分析、安全性上有良好表現(xiàn),能夠生成更高視覺質(zhì)量的圖像,有效抵抗隱寫分析算法的檢測(cè)。同時(shí),本文首次改變了生成對(duì)抗網(wǎng)絡(luò)的原始基本架構(gòu),為生成對(duì)抗網(wǎng)絡(luò)在信息隱藏領(lǐng)域的應(yīng)用提供了新思路。而如何改進(jìn)生成模型G的結(jié)構(gòu),提高生成圖像的性能,是下一步的重點(diǎn)研究工作。