基于可逆網(wǎng)絡(luò)的對(duì)抗樣本防御算法的設(shè)計(jì)與研究

楊金 李智 張麗 王熠 盧妤

摘 要：深度學(xué)習(xí)模型極容易受到對(duì)抗樣本的攻擊。為了提高模型的魯棒性，提升相關(guān)技術(shù)在現(xiàn)實(shí)生活中應(yīng)用的安全性，提出一種輕型可逆網(wǎng)絡(luò)（lightweight reversible network， LRNet）用于有效去除對(duì)抗樣本中的對(duì)抗擾動(dòng)。首先，將哈爾小波變換與可逆網(wǎng)絡(luò)相結(jié)合，獲得更豐富的特征；其次，將特征通道分離，利用干凈樣本的高低頻特征指導(dǎo)學(xué)習(xí)，從隨機(jī)數(shù)中重采樣替換高頻信息去除對(duì)抗擾動(dòng)；再次，提出特征分離模塊，去除非魯棒特征，提高分類(lèi)準(zhǔn)確率。結(jié)果表明：LRNet防御模型能顯著提高防御準(zhǔn)確率，其分類(lèi)準(zhǔn)確率在MNIST，CIFAR-10數(shù)據(jù)集上較防御模型ARN分別從91.62%和67.29% 提升到97.65%和78.55%；模型的參數(shù)大小降低至0.48 MiB，是APE-GAN模型的20%；防御模型的遷移能力得到極大提高，為對(duì)抗樣本的防御提供了一種新方法。

關(guān)鍵詞：對(duì)抗防御；對(duì)抗魯棒性；可逆網(wǎng)絡(luò)；深度神經(jīng)網(wǎng)絡(luò)；對(duì)抗樣本

中圖分類(lèi)號(hào)：TP391；TP309

文獻(xiàn)標(biāo)志碼：A

近幾年，伴隨深度學(xué)習(xí)的蓬勃發(fā)展，深度神經(jīng)網(wǎng)（Deep Neural Networks，DNNs）被廣泛地應(yīng)用于計(jì)算機(jī)視覺(jué)圖像處理^［1］、語(yǔ)音識(shí)別^［2］、自然語(yǔ)言處理^［3］等領(lǐng)域，然而深度神經(jīng)網(wǎng)絡(luò)很容易受到對(duì)抗樣本的攻擊，其脆弱性嚴(yán)重影響了對(duì)安全敏感度要求較高的應(yīng)用場(chǎng)景的正常使用，例如人臉識(shí)別^［4］、自動(dòng)駕駛^［5］等。如何有效防御對(duì)抗樣本對(duì)深度神經(jīng)網(wǎng)絡(luò)的攻擊是當(dāng)前深度學(xué)習(xí)安全領(lǐng)域極具挑戰(zhàn)的問(wèn)題。

在近年來(lái)的研究工作中，對(duì)抗樣本防御算法層出不窮。對(duì)抗訓(xùn)練^［6］是一種常用的對(duì)抗防御策略，但其效果容易受對(duì)抗樣本規(guī)模的影響，且容易被新的攻擊方法攻破。在樣本輸入分類(lèi)模型前，對(duì)其進(jìn)行預(yù)處理的附加網(wǎng)絡(luò)防御方法也是一種有效的對(duì)抗防御策略：如LIAO等^［7］提出一種利用高維特征為導(dǎo)向的去噪（high-level guided denoiser，HGD）網(wǎng)絡(luò)，在輸入樣本輸入分類(lèi)器之前，先對(duì)輸入樣本進(jìn)行去噪；JIN等^［8］基于GAN對(duì)對(duì)抗樣本進(jìn)行圖像重構(gòu)以消除對(duì)抗擾動(dòng)；ZHOU等^［9］提出通過(guò)學(xué)習(xí)保留分類(lèi)語(yǔ)義信息的攻擊不變特征以去除對(duì)抗性噪聲。這些防御方法有一定的防御效果，但上述算法通常存在防御準(zhǔn)確率及泛化能力較差、作為附加網(wǎng)絡(luò)過(guò)于復(fù)雜、計(jì)算量大等一系列問(wèn)題。文獻(xiàn)［10］對(duì)網(wǎng)絡(luò)的可逆性進(jìn)行相關(guān)研究?？赡婢W(wǎng)絡(luò)具備模型輕量化、信息無(wú)損、節(jié)約內(nèi)存等特點(diǎn)，因此利用可逆網(wǎng)絡(luò)作為附加網(wǎng)絡(luò)可降低模型復(fù)雜度，減少計(jì)算量。當(dāng)前針對(duì)醫(yī)學(xué)圖像的防御具有極大的現(xiàn)實(shí)應(yīng)用價(jià)值。MA等^［11］提出的醫(yī)學(xué)深度學(xué)習(xí)模型，相較于自然圖像深度學(xué)習(xí)模型更容易受到對(duì)抗樣本的攻擊。WANG等^［12］提出一種新的多尺度醫(yī)學(xué)圖像去噪機(jī)制，取得了不錯(cuò)的防御效果。

防御模型通常存在泛化能力低，模型過(guò)于復(fù)雜、防御能力較差等特點(diǎn)。為了更好地適應(yīng)現(xiàn)實(shí)場(chǎng)景的需求，提升模型的泛化能力，本文針對(duì)醫(yī)學(xué)圖像的對(duì)抗防御提出一種輕型可逆網(wǎng)絡(luò)（lightweight reversible network， LRNet），去除對(duì)抗樣本中的對(duì)抗擾動(dòng)，將特征通道進(jìn)行分離，利用特征分離模塊保留圖像魯棒信息，降低了模型復(fù)雜度，提高了網(wǎng)絡(luò)模型去除對(duì)抗擾動(dòng)的能力及防御準(zhǔn)確率，進(jìn)一步增強(qiáng)了模型的防御準(zhǔn)確率和泛化性。

1 主要算法

1.1 哈爾小波下采樣

可逆網(wǎng)絡(luò)具有信息無(wú)損的特點(diǎn)。為了去除對(duì)抗擾動(dòng)，在特征反向傳送前，將輸入樣本的噪聲信息和干凈信息進(jìn)行有效分離，而僅將干凈信息反向傳送是重構(gòu)出干凈圖片的重要前提。

本文利用哈爾小波變換^［13］對(duì)輸入樣本I_adv進(jìn)行空間域的向下采樣操作，從整體、水平、垂直和對(duì)角線等4個(gè)方向?qū)斎霕颖具M(jìn)行平均池化，分別得到a，h，v，d平均池化通道，并將4個(gè)通道融合得到特征C傳入可逆網(wǎng)絡(luò)，如式（1）所示。在逆變換過(guò)程中，最后一個(gè)可逆模塊輸出特征C分成a，h，v，d四部分信息，經(jīng)過(guò)哈爾小波逆變換得到重構(gòu)樣本I_rec，如式（2）所示。

Haar（I_adv）=［a，h，v，d］，C=Merge（a，h，v，d）（1）

（a，h，v，d）=split（C），I_rec=IHaar（a，h，v，d）（2）

式中：Haar為哈爾小波變換；Merge為將特征通道融合；split為將通道分離；IHarr為哈爾小波逆變換。

圖1展示了哈爾小波下采的過(guò)程。該方法使得下一模塊獲得4個(gè)方向上更加豐富的特征信息，有利于網(wǎng)絡(luò)進(jìn)一步對(duì)魯棒特征的提取。

1.2 可逆模塊通道分離

如圖2所示，哈爾下采得到的特征圖傳入可逆模塊。該模塊主要由殘差網(wǎng)絡(luò)f（·）組成，負(fù)責(zé)特征的提取，模塊的輸入是C，輸出是C′，C與C′的通道數(shù)一致，大小一致，fi（·）表示可逆模塊。

正變換、逆變換如下所示：

C′=fi（C）（3）

C=fi（C′）（4）

在反傳前的最后一個(gè)模塊，將其特征通道劃分為C₁′和C₂′2個(gè)部分，即

C₁′，C₂′=split（C′）（5）

C₁′和C₂′分別用于學(xué)習(xí)輸入樣本的低、高頻信息，促進(jìn)低、高頻信息的有效分離。采用L₂范式約束C₁′和干凈樣本的低頻特征圖像IL_cle，使得與C₁′相關(guān)的通道學(xué)習(xí)對(duì)抗樣本去除對(duì)抗擾動(dòng)的低頻信息，而高頻與噪聲信息將被編碼在C₂′特征通道。干凈樣本的低頻特征圖通過(guò)高斯低通濾波器獲取。C₁′通道特征圖與IL_cle的相似度損失

式中：n為樣本數(shù)量；IL_cle為干凈樣本低頻特征圖。

對(duì)抗樣本中的對(duì)抗擾動(dòng)通常以噪聲信號(hào)的形式存在，高頻信息對(duì)應(yīng)圖像的邊緣、噪聲以及細(xì)節(jié)部分，因此從符合干凈樣本數(shù)據(jù)分布的隨機(jī)數(shù)中重采樣替換C₂′通道中的信息，從而去除對(duì)抗擾動(dòng)。將采樣信息D與干凈的低頻信息C₁′融合得到C′，如式（7）所示。C′經(jīng)逆變換過(guò)程重構(gòu)出重構(gòu)樣本，使其無(wú)限接近干凈樣本，重構(gòu)損失計(jì)算如式（8）所示。

式中：cat（·）為特征圖進(jìn)行通道拼接；L_rec為重構(gòu)損失；N（·）為去噪防御模型LRNet，其結(jié)果為重構(gòu)樣本I_rec；‖·‖2₂為L(zhǎng)₂范式。

為了進(jìn)一步提升重構(gòu)樣本質(zhì)量，本文使用預(yù)訓(xùn)練的VGG-16^［14］網(wǎng)絡(luò)特征提取網(wǎng)絡(luò)，將重構(gòu)樣本和干凈樣本在VGG-16網(wǎng)絡(luò)模型中得到的淺層特征做感知損失，感知損失計(jì)算為

式中：C_jH_jW_j為P（·）產(chǎn)生的第j層特征圖的大?。籔（·）為VGG網(wǎng)絡(luò)提取特征圖的函數(shù)；I_rec為去噪后的重構(gòu)樣本。L_p能使重構(gòu)樣本I_rec獲得更好的圖像重建效果。

1.3 分類(lèi)魯棒特征分離

為了進(jìn)一步提高重構(gòu)樣本分類(lèi)準(zhǔn)確率，本文設(shè)計(jì)了特征分離模塊，在對(duì)抗樣本轉(zhuǎn)換為高、低頻特征圖的同時(shí)，將C₁′和C₂′通道特征輸入特征分離模塊，對(duì)分類(lèi)魯棒特征進(jìn)行特征提取，如圖3所示。將提取的特征變成單通道特征圖F，將其融入圖2中重采樣特征通道D，并與去噪后的低頻通道進(jìn)行合并，經(jīng)反變換生成重構(gòu)樣本。

將C₁′和C₂′通道進(jìn)行特征提取得到的預(yù)測(cè)值p與對(duì)應(yīng)正確標(biāo)簽做交叉熵?fù)p失，得到特征分離損失

L_s=loss_BCE（p;label）（10）

通過(guò)不斷學(xué)習(xí)使得分類(lèi)魯棒特征集中在特征分離模塊的特征層，將其融入特征通道D用于圖像重構(gòu)，從而使重構(gòu)樣本具有較高的分類(lèi)準(zhǔn)確率。

1.4 網(wǎng)絡(luò)整體框架

網(wǎng)絡(luò)模型如圖4所示。對(duì)抗樣本進(jìn)入Block i后分成C₁′和C₂′2個(gè)通道，C₁′用于學(xué)習(xí)干凈樣本的低頻特征信息，C₂′是符合干凈樣本特征分布中采樣的特征信息。特征分離模塊用于獲取魯棒分類(lèi)特征，將得到的分類(lèi)魯棒特征融合到C₁′和C₂′特征通道中進(jìn)行重構(gòu)。訓(xùn)練好的LRNet用作目標(biāo)分類(lèi)器的附加模型，對(duì)抗樣本經(jīng)過(guò)LRNet去除對(duì)抗擾動(dòng)后，能達(dá)到正確的分類(lèi)?？倱p失為

L_tot=αL_f+βL_rec+χL_p+δL_s（11）

式中：L_f為對(duì)抗樣本C₁′的特征圖與干凈樣本低頻特征圖的損失；L_rec為重構(gòu)樣本與干凈樣本的重構(gòu)損失；L_p為重構(gòu)樣本與干凈樣本的感知損失；L_s為特征分離損失；α、β、χ、δ分別為各類(lèi)損失的權(quán)重系數(shù)。

2 實(shí)驗(yàn)

數(shù)據(jù)集：本文在MNIST^［15］、CIFAR-10^［16］、Caltech101^［17］以及ISIC2018^［18］等數(shù)據(jù)集驗(yàn)證本文所提防御模型的有效性。MNIST和CIFAR-10都是10分類(lèi)圖像數(shù)據(jù)集。MNIST是圖片大小28×28的灰度圖像，包含60 000張訓(xùn)練圖片和10 000張測(cè)試圖片。CIFAR-10是圖片大小32×32的彩色RGB圖像，包含50 000張訓(xùn)練圖片和10 000張測(cè)試圖片。Caltech101數(shù)據(jù)集有101個(gè)類(lèi)別，每個(gè)類(lèi)別由40～800張圖像組成，是尺寸為300×200的彩色圖像。實(shí)驗(yàn)中采用的攻擊算法包括FGSM^［19］、PGD有/無(wú)目標(biāo)攻擊^［20］、CW攻擊^［21］、AutoAttack攻擊^［22］、DDN無(wú)目標(biāo)攻擊^［23］以及JSMA攻擊^［24］。

訓(xùn)練細(xì)節(jié)：所有實(shí)驗(yàn)均在NVIDIA SMI A100 GPU上運(yùn)行，由Pytorch實(shí)現(xiàn)。在MNIST、CIFAR-10和Caltech101上擾動(dòng)的大小分別設(shè)置為ε_MNIST=0.3，ε_CIFAR-10=8/255和ε_Caltech101=8/255，學(xué)習(xí)率分別是η_MNIST=0.001，η_CIFAR-10=0.002和η_Caltech101=0.002。實(shí)驗(yàn)中MNIST使用與MagNet^［25］相同的目標(biāo)分類(lèi)器，CIFAR-10采用ResNet18^［1］作為目標(biāo)分類(lèi)器，Caltech101以AlexNet^［26］作為目標(biāo)分類(lèi)器。本文實(shí)驗(yàn)結(jié)果皆采用目標(biāo)分類(lèi)器分類(lèi)準(zhǔn)確率作為防御模型防御效果的量化指標(biāo)。

當(dāng)前防御模型在重構(gòu)過(guò)程中，重構(gòu)樣本的質(zhì)量都遠(yuǎn)低于干凈樣本，從而影響重構(gòu)樣本的分類(lèi)準(zhǔn)確率。MNIST、CIFAR-10、Caltech101這3種數(shù)據(jù)集無(wú)攻擊狀態(tài)下在目標(biāo)分類(lèi)器上的分類(lèi)準(zhǔn)確率見(jiàn)表1。表中None表示干凈樣本在目標(biāo)分類(lèi)器上的分類(lèi)準(zhǔn)確率。從表1可以看出，本文所提防御模型LRNet的重構(gòu)樣本的分類(lèi)準(zhǔn)確率基本接近干凈樣本。

為了驗(yàn)證LRNet的防御能力及防御泛化能力，分別在MNIST、CIFAR-10、Caltech101這3種數(shù)據(jù)集中進(jìn)行對(duì)抗樣本防御實(shí)驗(yàn)。

2.1 MNIST數(shù)據(jù)集相關(guān)實(shí)驗(yàn)

針對(duì)MNIST數(shù)據(jù)集，在不同攻擊實(shí)驗(yàn)下對(duì)抗樣本經(jīng)防御網(wǎng)絡(luò)去除對(duì)抗擾動(dòng)后在目標(biāo)分類(lèi)器的分類(lèi)準(zhǔn)確率如表2所示。訓(xùn)練階段使用的對(duì)抗樣本由FGSM、Rand-FGSM和CW攻擊算法生成，擾動(dòng)大小設(shè)置為ε=0.3。其余攻擊算法均未參加模型訓(xùn)練，對(duì)模型而言是未知的。對(duì)抗防御實(shí)驗(yàn)中，擾動(dòng)大小設(shè)置為ε=0.3，ε′=0.4。由表2可知：在JSMA攻擊下，LRNet模型的防御準(zhǔn)確率為99.39%，相較于其他模型有較大提高；在DDN攻擊下以及在模型的未知對(duì)抗樣本攻擊下，LRNet模型的防御準(zhǔn)確率均有所提高，防御泛化能力得到極大提升。

為了進(jìn)一步驗(yàn)證LRNet在不同目標(biāo)分類(lèi)器上的遷移能力，本文在Model_A、Model_B、Model_C和Model_D分類(lèi)器上對(duì)重構(gòu)樣本進(jìn)行黑盒測(cè)試，分類(lèi)模型的分類(lèi)準(zhǔn)確率如表3所示。No attack表示分類(lèi)模型在無(wú)攻擊狀態(tài)下的分類(lèi)準(zhǔn)確率；No defense表示目標(biāo)分類(lèi)器在無(wú)防御狀態(tài)下的分類(lèi)準(zhǔn)確率；With defense表示在不同對(duì)抗樣本攻擊下，對(duì)抗樣本經(jīng)防御網(wǎng)絡(luò)重構(gòu)后的分類(lèi)準(zhǔn)確率。從表3可以看出：LRNet遷移到其他分類(lèi)器上仍具有較高的分類(lèi)準(zhǔn)確率，模型A的分類(lèi)準(zhǔn)確率最高，達(dá)到98%左右。模型A、B、C、D的具體網(wǎng)絡(luò)結(jié)構(gòu)如表4所示。

圖5是不同攻擊算法下防御網(wǎng)絡(luò)的分類(lèi)精度折線圖（MNIST）。圖5顯示：在不同攻擊實(shí)驗(yàn)中，LRNet模型的防御準(zhǔn)確率保持在98%左右，在未知的對(duì)抗樣本攻擊測(cè)試中仍具有很強(qiáng)的防御能力。 LRNet不僅在常見(jiàn)的攻擊算法攻擊下保持較高的分類(lèi)準(zhǔn)確率，在JSMA、AutoAttack等強(qiáng)攻擊算法攻擊下仍保持較高的分類(lèi)準(zhǔn)確率，表明LRNet防御模型具有良好的防御泛化性。

本文使用UMAP降維技術(shù)對(duì)MNIST數(shù)據(jù)集進(jìn)行簇狀圖可視化。MNIST干凈樣本的簇狀圖如圖6所示。從圖6可以看出，各類(lèi)別輪廓清晰，僅有少量樣本重疊。MNIST攻擊前及經(jīng)過(guò)防御模型得到的重構(gòu)樣本簇狀圖如圖7所示。圖7中，第1行是MNIST數(shù)據(jù)集在不同對(duì)抗樣本攻擊下的簇狀圖，第2行是防御后的簇狀圖。由圖7可見(jiàn)，各類(lèi)別防御后區(qū)分清晰，LRNet防御模型具有較強(qiáng)的防御能力。

2.2 CIFAR-10數(shù)據(jù)集相關(guān)實(shí)驗(yàn)

針對(duì)CIFAR-10數(shù)據(jù)集的對(duì)抗防御實(shí)驗(yàn)，訓(xùn)練階段對(duì)抗樣本由擾動(dòng)大小為ε=8/255的PGD_N和PGDT這2種攻擊算法生成。測(cè)試階段用不同攻擊算法驗(yàn)證防御模型的防御能力。對(duì)抗防御實(shí)驗(yàn)中，擾動(dòng)大小設(shè)置為ε=8/255，ε′=0.05，None表示對(duì)抗樣本在目標(biāo)分類(lèi)器的分類(lèi)準(zhǔn)確率。不同防御模型在多種對(duì)抗樣本攻擊下的分類(lèi)準(zhǔn)確率見(jiàn)表5。在PGD攻擊下，分類(lèi)準(zhǔn)確率有所提高。

圖8是不同攻擊算法下防御網(wǎng)絡(luò)的分類(lèi)精度折線圖（CIFAR-10）。在CIFAR-10數(shù)據(jù)集中，LRNet防御模型得到的重構(gòu)樣本在目標(biāo)分類(lèi)器的分類(lèi)準(zhǔn)確率基本全面超越其他防御模型，表明LRNet模型具有良好的防御性能。

為驗(yàn)證本防御模型在CIFAR-10數(shù)據(jù)集上具有良好的遷移能力，本文訓(xùn)練了VGG-16和VGG-19網(wǎng)絡(luò)，以此作為黑盒攻擊測(cè)試的目標(biāo)分類(lèi)器。如表6所示，在不同對(duì)抗樣本攻擊下，經(jīng)過(guò)LRNet防御后的其他目標(biāo)分類(lèi)器仍具有不錯(cuò)的分類(lèi)準(zhǔn)確率。

2.3 Caltech101數(shù)據(jù)集相關(guān)實(shí)驗(yàn)

針對(duì)Caltech101數(shù)據(jù)集的對(duì)抗防御實(shí)驗(yàn)中，訓(xùn)練階段對(duì)抗樣本由擾動(dòng)大小ε=8/255的FGSM、L-BFGS攻擊算法生成。測(cè)試擾動(dòng)大小ε=8/255，在不同攻擊實(shí)驗(yàn)下各防御模型去除對(duì)抗擾動(dòng)后分類(lèi)器的分類(lèi)準(zhǔn)確率見(jiàn)表7。在FGSM攻擊下，防御準(zhǔn)確率有所提高。實(shí)驗(yàn)表明，在大尺寸數(shù)據(jù)集上，LRNet防御模型仍然具有對(duì)抗防御的能力。

2.4 醫(yī)學(xué)圖像防御實(shí)驗(yàn)

本文所提防御模型不僅在自然圖像上，在醫(yī)學(xué)圖像上也具有較強(qiáng)的防御能力，對(duì)一些醫(yī)學(xué)診斷系統(tǒng)的應(yīng)用提供了更加安全的保障。醫(yī)學(xué)圖像數(shù)據(jù)集采用7分類(lèi)的ISIC2018數(shù)據(jù)集。該數(shù)據(jù)集由大小為600×450的三通道RGB圖像組成，訓(xùn)練集有8 010張皮膚病理圖像，測(cè)試集2 005張。實(shí)驗(yàn)采用的目標(biāo)分類(lèi)器是ResNet50，相關(guān)實(shí)驗(yàn)如下：

在不同攻擊實(shí)驗(yàn)下對(duì)抗樣本經(jīng)防御網(wǎng)絡(luò)去除對(duì)抗擾動(dòng)后在目標(biāo)分類(lèi)器的分類(lèi)準(zhǔn)確率如表8所示。訓(xùn)練集采用擾動(dòng)大小ε=2/255的FGSM算法生成。測(cè)試時(shí)，在FGSM，BIM，PGD，AutoAttack攻擊算法攻擊下，擾動(dòng)大小設(shè)置為ε=2/255和ε′=6/255。由表8實(shí)驗(yàn)數(shù)據(jù)可知，LRNet防御模型在醫(yī)學(xué)圖像對(duì)抗防御下仍表現(xiàn)出較強(qiáng)的防御能力，防御泛化能力較強(qiáng)。

FGSM、PGD防御實(shí)驗(yàn)的可視化結(jié)果如圖9、10所示。圖9、10中，第1行表示原始干凈樣本Clean，第2行表示對(duì)抗樣本Adv，第3行表示去噪后的重構(gòu)樣本Recon。FGSM、PGD攻擊下的擾動(dòng)大小設(shè)置為ε=6/255。

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證LRNet模型特征分離模塊的有效性，本文對(duì)CIFAR-10數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)：取消網(wǎng)絡(luò)模型中特征分離模塊，即取消了總損失函數(shù)中的L_s。在網(wǎng)絡(luò)模型中去掉L_s時(shí)，LRNet防御模型在PGD_N、DDN_N、PGD_N′和FGSM這4種攻擊算法構(gòu)造的對(duì)抗樣本攻擊下，平均分類(lèi)準(zhǔn)確率均有所下降，如表9所示。實(shí)驗(yàn)表明，特征圖分離模塊有利于提升模型的防御能力。

為了驗(yàn)證LRNet模型將特征分離為高、低頻學(xué)習(xí)通道并將低頻通道進(jìn)行保留的有效性，本文對(duì)CIFAR-10數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)：將該部分通道直接作為干凈樣本學(xué)習(xí)通道，即取消了總損失函數(shù)中的L_f。在網(wǎng)絡(luò)模型中去掉L_f時(shí)，LRNet防御模型在PGD_N、DDN_N、PGD_N′和FGSM這4種攻擊算法構(gòu)造的對(duì)抗樣本攻擊下，平均分類(lèi)準(zhǔn)確率均有所下降，如表10所示。實(shí)驗(yàn)表明，將一部分通道作為對(duì)抗樣本低頻信息學(xué)習(xí)通道有利于提升模型的防御能力。

MNIST、CIFAR-10、Caltech101重構(gòu)圖像可視化實(shí)驗(yàn)如圖11、12、13所示。MNIST、CIFAR-10和Caltech101數(shù)據(jù)集中，對(duì)抗樣本由擾動(dòng)大小分別為ε=0.30、ε=0.06和ε=0.05的FGSM攻擊算法生成。由圖11～13中（b）圖可知，LRNet防御模型在去除對(duì)抗擾動(dòng)保證高分類(lèi)準(zhǔn)確率的同時(shí)，可視質(zhì)量基本接近干凈樣本。

2.6 模型輕量化實(shí)驗(yàn)

不同模型參數(shù)量大小見(jiàn)表11。由表11可知，LRNet模型是輕量級(jí)的，模型總參數(shù)量為12萬(wàn)，參數(shù)大小為0.48 MiB。在MNIST和CIFAR-10數(shù)據(jù)集中，單張對(duì)抗樣本在LRNet防御模型中的去噪時(shí)間見(jiàn)表12。由表12可知，LRNet防御模型具有輕量化的特性。

3 結(jié)論

1）將Haar小波變換與可逆網(wǎng)絡(luò)相結(jié)合，從多個(gè)方向提取更豐富的特征信息，實(shí)現(xiàn)輕量級(jí)可逆網(wǎng)絡(luò)LRNet。LRNet能有效提高防御模型的分類(lèi)準(zhǔn)確率，提升防御模型面對(duì)不同對(duì)抗樣本攻擊的泛化能力。除此之外，防御模型的參數(shù)大小得到極大降低，增強(qiáng)了現(xiàn)實(shí)應(yīng)用的可行性。

2）利用特征分離模塊有效地分離魯棒特征和非魯棒特征，提升了防御模型的泛化性及遷移能力。實(shí)驗(yàn)表明，所提出的方法提高了分類(lèi)器在對(duì)抗樣本攻擊下的分類(lèi)精度，對(duì)模型未知的對(duì)抗樣本攻擊具有很強(qiáng)的防御能力，防御泛化能力超過(guò)了現(xiàn)有的防御網(wǎng)絡(luò)，為防御算法的設(shè)計(jì)提供了新思路。

參考文獻(xiàn)：

[1]HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV： IEEE Computer Society， 2016： 770-778.

［2］ HINTON G， DENG L， YU D， et al. Deep neural networks for acoustic modeling in speech recognition： the shared views of four research groups［J］. IEEE Signal Processing Magazine， 2012， 29（6）： 82-97.

［3］ SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks［J］. Advances in Neural Information Processing Systems， 2014， 27：54-61.

［4］ SUN Y， LIANG D， WANG X G， et al. Deepid3： face recognition with very deep neural networks［DB/OL］. （2015-02-03）［2023-03-28］. https：//arxiv.org/abs/1502.00873.

［5］ EYKHOLT K， EVTIMOV I， FERNANDES E， et al. Robust physical-world attacks on deep learning visual classification［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT： IEEE， 2018： 1625-1634.

［6］ BAI Y， ZENG Y Y， JIANG Y， et al. Improving adversarial robustness via channel-wise activation suppressing［DB/OL］. （2022-01-16）［ 2023-03-28］. https：//arxiv.org/abs/2103.08307.

［7］ LIAO F Z， LIANG M， DONG Y P， et al. Defense against adversarial attacks using high-level representation guided denoiser［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT： IEEE， 2018： 1778-1787.

［8］ JIN G Q， SHEN S W， ZHANG D M， et al. Ape-gan： adversarial perturbation elimination with gan［C］//ICASSP 2019-2019 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. Brighton： IEEE， 2019： 3842-3846.

［9］ ZHOU D W， LIU T L， HAN B， et al. Towards defending against adversarial examples via attack-invariant features［C］//International Conference on Machine Learning. New York： PMLR， 2021： 12835-12845.

［10］JACOBSEN J H， SMEULDERS A， OYALLON E. I-revnet： deep invertible networks［DB/OL］. （2018-02-20）［2023-03-28］. https：//arxiv.org/abs/1802.07088.

［11］MA X J， NIU Y H， GU L， et al. Understanding adversarial attacks on deep learning based medical image ana-lysis systems［J］. Pattern Recognition， 2021， 110： 107332-107346.

［12］WANG Y W， LI Y， SHEN Z Q. Fight fire with fire： reversing skin adversarial examples by multiscale diffusive and denoising aggregation mechanism［DB/OL］.（2022-08-22）［2023-03-28］.https：//arxiv.org/abs/2208.10373.

［13］ARDIZZONE L， L?TH C， KRUSE J， et al. Guided image generation with conditional invertible neural networks［DB/OL］. （2019-07-10）［2023-03-28］. https：//arxiv.org/abs/1907.02392.

［14］SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［DB/OL］.（2015-04-10）［2023-03-28］. https：//arxiv.org/abs/1409.1556.

［15］LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

［16］KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images［D］. Toronto： University of Tront， 2009.

［17］FEI-FEI L， FERGUS R， PERONA P. Learning generative visual models from few training examples： an incremental bayesian approach tested on 101 object categories［C］//2004 Conference on Computer Vision and Pattern Recognition Workshop. Washington， DC： IEEE， 2004： 178-186.

［18］TSCHANDL P， ROSENDAHL C， KITTLER H. The HAM10000dataset， a large collection of multi-source dermatoscopic images of common pigmented skin lesions［J］. Scientific Data， 2018， 5： 180161.1-180161.9.

［19］GOODFELLOW I J， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples［DB/OL］.（2015-03-20）［2023-03-28］. https：//arxiv.org/abs/1412.6572.

［20］MDRY A， MAKELOV A， SCHMIDT L， et al. Towards deep learning models resistant to adversarial attacks［DB/OL］. （2019-09-04）［2023-03-28］. https：//arxiv.org/abs/1706.06083.

［21］CARLINI N， WAGNER D. Towards evaluating the robustness of neural networks［C］//2017 IEEE Symposium on Security and Privacy （SP）. San Jose， CA： IEEE， 2017： 39-57.

［22］CROCE F， HEIN M. Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks［C］//International Conference on Machine Learning. New York： PMLR， 2020： 2206-2216.

［23］RONY J， HAFEMANN L G， OLIVEIRA L S， et al. Decoupling direction and norm for efficient gradient-based L₂adversarial attacks and defenses［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， CA： IEEE， 2019： 4322-4330.

［24］PAPERNOT N， MCDANIEL P， JHA S， et al. The limitations of deep learning in adversarial settings［C］//2016 IEEE European Symposium on Security and Privacy （EuroS&P）. Saarbruecken： IEEE， 2016： 372-387.

［25］MENG D Y， CHEN H. Magnet： a two-pronged defense against adversarial examples［C］//Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2017，46： 135-147.

［26］KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

（責(zé)任編輯：周曉南）

Design and Research of Adversarial Example Defense Algorithm Based on Reversible Network

YANG Jin1， LI Zhi^*1， ZHANG Li1， WANG Yi1， LU Yu2

（1.School of Computer Science and Technology， GuiZhou University， Guiyang 550025， China; 2.Guizhou Power Grid Co.， Ltd.， GuiYang 550025， China）

Abstract： Deep learning models are extremely vulnerable to adversarial samples. In order to improve the robustness of deep learning models and enhance the security of related technologies in real-life applications， a lightweight reversible network （LRNet） is proposed to effectively remove adversarial perturbations in adversarial examples. First， Haar wavelet transform is combined with a reversible network to obtain richer features. Secondly， feature channels are separated， and high and low-frequency features of clean examples are used to guide learning. High-frequency information is replaced by resampling from random numbers to remove adversarial perturbations. Finally， a feature separation module is proposed to remove non-robust features and improve classification accuracy. The results show that this defense model can significantly improve defense accuracy. Compared with the defense model ARN， its accuracy increases from 91.62% and 67.29% to 97.65% and 78.55% on the MNIST， CIFAR-10 datasets， respectively. The parameter size of the model is reduced to 0.48 megabytes， which is 20% of the APE-GAN models. The transferability of the defense model is greatly improved， providing a new method for defending against adversarial examples.

Key words： adversarial defense; adversarial robustness; reversible networks; deep neural networks; adversarial example