基于掩膜的人臉壓縮重建對(duì)抗攻擊增強(qiáng)方法

林庚右,周星宇,潘志松

(1.陸軍工程大學(xué) 指揮控制工程學(xué)院,江蘇 南京 210007;2.陸軍工程大學(xué) 通信工程學(xué)院,江蘇 南京 210007)

0 引 言

隨著算力的提升及深度學(xué)習(xí)的崛起,人工智能迎來(lái)了新一輪的熱潮。深度學(xué)習(xí)從實(shí)驗(yàn)室走向現(xiàn)實(shí)世界,應(yīng)用程序的安全性備受關(guān)注,在諸多挑戰(zhàn)中,最特別的是對(duì)抗樣本的發(fā)現(xiàn)[1-3],這是通過(guò)在圖像上添加對(duì)抗噪聲產(chǎn)生的,它使得DNN(深度神經(jīng)網(wǎng)絡(luò),Deep Neural Network)分類(lèi)器以高置信度發(fā)生誤判。對(duì)抗擾動(dòng)同樣對(duì)最先進(jìn)的FR(人臉識(shí)別,Face Recognition)系統(tǒng)有效,因此,人臉偽裝生成越來(lái)越受到關(guān)注,如文獻(xiàn)[4,5-7]。

近年來(lái),人們提出了很多基于FR模型的對(duì)抗樣本生成方法,如文獻(xiàn)[8-10]等,但多數(shù)攻擊方法是需要訪問(wèn)模型內(nèi)部的基于梯度的攻擊,較少有研究探尋傳統(tǒng)圖像方法對(duì)對(duì)抗樣本攻擊效果的影響。筆者在實(shí)驗(yàn)中發(fā)現(xiàn),對(duì)抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時(shí)對(duì)抗性會(huì)得到增強(qiáng)。同時(shí)如圖1所示,經(jīng)過(guò)壓縮重建(后文均表示為C&R)的對(duì)抗圖像與普通的對(duì)抗圖像在熱力圖上的差異非常明顯。隨后分別通過(guò)單模型攻擊和集成模型攻擊實(shí)驗(yàn),比對(duì)按照傳統(tǒng)方式生成的對(duì)抗樣本和加入C&R生成的對(duì)抗樣本的攻擊性能差異,進(jìn)一步驗(yàn)證了觀點(diǎn)的正確性。

圖1 經(jīng)過(guò)SCRFD裁剪后的人臉熱力圖

同時(shí),如圖2所示,C&R不會(huì)對(duì)非掩膜區(qū)域干凈的人臉圖片產(chǎn)生影響,但是對(duì)于掩膜區(qū)域的對(duì)抗圖片,C&R會(huì)改變掩膜部分的像素值。據(jù)此,提出基于掩膜的人臉識(shí)別壓縮重建對(duì)抗攻擊增強(qiáng)方法,經(jīng)過(guò)實(shí)驗(yàn)表明,C&R可以與傳統(tǒng)迭代攻擊方法相組合,形成更加強(qiáng)大的攻擊,從而在產(chǎn)生極小時(shí)間損耗的同時(shí)達(dá)到更高的攻擊成功率。

圖2 圖片在添加C&R前后圖片像素的差異

總體而言,主要貢獻(xiàn)如下:

(1)首次發(fā)現(xiàn)對(duì)抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時(shí)對(duì)抗性會(huì)得到增強(qiáng)。

(2)提出基于掩膜的人臉識(shí)別壓縮重建對(duì)抗攻擊增強(qiáng)方法,并通過(guò)實(shí)驗(yàn)證明生成的對(duì)抗樣本擁有更高的白盒攻擊成功率。

(3)在黑盒場(chǎng)景下進(jìn)行測(cè)試,證明了引入C&R生成的對(duì)抗樣本具有更好的遷移性。

1 相關(guān)工作

對(duì)于初始圖像x,其真實(shí)標(biāo)簽為ytrue,經(jīng)過(guò)預(yù)訓(xùn)練的模型分類(lèi)器為f(·),則初始圖像應(yīng)當(dāng)被正確分類(lèi),即f(x)=ytrue。當(dāng)攻擊者向初始圖像添加噪聲δ則產(chǎn)生新的圖像,即xadv=x+δ,使得模型分類(lèi)器對(duì)xadv產(chǎn)生新的分類(lèi)結(jié)果,此時(shí)f(xadv)=yadv,其中yadv是xadv在模型分類(lèi)器f(·)的輸出分類(lèi),若yadv≠ytrue,則稱(chēng)xadv為對(duì)抗樣本。

基于梯度的對(duì)抗樣本生成方法是一類(lèi)常用的白盒攻擊方法,主要思路為利用模型損失函數(shù)對(duì)輸入圖像求梯度,以得到對(duì)抗擾動(dòng),通過(guò)反向傳播對(duì)圖像進(jìn)行更新,從而生成對(duì)抗樣本。本節(jié)將著重介紹幾個(gè)基于梯度的攻擊方法:

迭代快速梯度符號(hào)法(Iterative Fast Gradient Sign Method,I-FGSM)。Kurakin等人[3]將FGSM[1]擴(kuò)展為迭代版本的I-FGSM,以較小的步長(zhǎng)進(jìn)行迭代攻擊。在白盒攻擊場(chǎng)景下,I-FGSM的性能優(yōu)于FGSM,但它的遷移攻擊成功率較低。

動(dòng)量迭代快速梯度符號(hào)法(Momentum Iterative Fast Gradient Sign Method,MI-FGSM)。MI[11]將動(dòng)量項(xiàng)與I-FGSM相結(jié)合,穩(wěn)定了更新方向,克服了陷入局部極大值的缺點(diǎn),緩解了過(guò)擬合問(wèn)題,顯著提升了對(duì)抗樣本的白盒與黑盒攻擊成功率。

基于Nesterov算法的迭代快速梯度符號(hào)法(Nesterov Iterative Fast Gradient Sign Method,NI-FGSM)。NI-FGSM[12]是在MI-FGSM的基礎(chǔ)上,將Nesterov優(yōu)化算法融入對(duì)抗樣本生成的過(guò)程中, NI-FGSM還可以與DI和TI等方法相組合,以生成更具遷移性的對(duì)抗樣本。

對(duì)抗貼片[13](Adv-Patch)首次由Brown等于2017年提出,不同于之前的對(duì)抗樣本將對(duì)抗擾動(dòng)限制在一定范圍內(nèi)使其不易被察覺(jué),對(duì)抗貼片完全替換圖像的一部分,為局部可視對(duì)抗噪聲。這是一種背景無(wú)關(guān)的、魯棒的且有目標(biāo)的對(duì)抗貼片攻擊法。這些對(duì)抗貼片打印后可在現(xiàn)實(shí)世界具有對(duì)抗性。貼片基于EOT方法[14-15]。對(duì)抗貼片實(shí)現(xiàn)了對(duì)抗樣本由數(shù)字域到物理域的場(chǎng)景變換。表1中對(duì)上述對(duì)抗攻擊算法進(jìn)行了分類(lèi)。

表1 主流對(duì)抗攻擊算法

2 基于掩膜的人臉識(shí)別壓縮重建對(duì)抗攻擊增強(qiáng)方法

基于對(duì)抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時(shí)對(duì)抗性會(huì)得到增強(qiáng)這一發(fā)現(xiàn),提出基于掩膜的人臉識(shí)別壓縮重建對(duì)抗攻擊增強(qiáng)方法,算法的流程如下:由SCRFD[16]算法定位并生成攻擊者圖片的掩膜,與被攻擊者圖片對(duì)應(yīng)部分相組合并施加隨機(jī)高斯噪聲生成初始對(duì)抗圖片,將初始對(duì)抗圖片與被攻擊者圖片一同送入人臉特征提取網(wǎng)絡(luò)計(jì)算余弦相似度損失,更新掩膜部分的對(duì)抗圖片,在迭代攻擊過(guò)程中通過(guò)判斷是否到達(dá)預(yù)設(shè)斷點(diǎn),進(jìn)而對(duì)對(duì)抗圖片進(jìn)行反復(fù)的壓縮重建。

算法整體流程如圖3所示。

圖3 算法流程

2.1 初始對(duì)抗圖片生成

SCRFD人臉檢測(cè)模型[16]:SCRFD人臉檢測(cè)模型于2021年提出,其可以以較少的計(jì)算量獲得極好的效果。首先,算法使用SCRFD人臉檢測(cè)模型確定人臉框并提取人臉5個(gè)基本點(diǎn)(眼睛、鼻子、嘴角):

其中,x為攻擊者圖片,生成的5個(gè)點(diǎn)分別對(duì)應(yīng)雙眼、鼻子、兩側(cè)嘴角。為限制貼片大小,以5個(gè)點(diǎn)為中心點(diǎn),選擇10×10的方形作為掩膜mask并為其施加隨機(jī)高斯噪聲,與被攻擊者圖片對(duì)應(yīng)的5個(gè)掩膜部位相組合,得到初始對(duì)抗貼片:

patch=mask·Gaussian noise·xtarget

用初始對(duì)抗貼片與攻擊者圖片相組合,得到初始對(duì)抗樣本:

2.2 余弦相似度損失

通過(guò)計(jì)算兩個(gè)向量間夾角的余弦值從而獲得兩個(gè)向量的余弦相似度,該值當(dāng)前已被大多數(shù)商業(yè)人臉檢測(cè)模型作為評(píng)判兩張人臉圖片是否為同一個(gè)人的評(píng)判指標(biāo)。當(dāng)兩個(gè)向量夾角趨于0時(shí),余弦值接近1,表明兩個(gè)向量相似度高;相反,則表明兩個(gè)向量相似度低。余弦相似度的表示如下:

其中,Ai、Bi表示攻擊者、被攻擊者圖片在同一點(diǎn)像素下維度i的分量。

通過(guò)以基于SCRFD生成的5個(gè)基本點(diǎn)為中心,設(shè)置5個(gè)對(duì)抗貼片,使得施加對(duì)抗貼片的攻擊者圖像能夠在目標(biāo)模型上以較高的相似度將其誤識(shí)別為被攻擊者。實(shí)驗(yàn)通過(guò)余弦相似度損失對(duì)施加對(duì)抗貼片的攻擊者圖像與被攻擊者圖像進(jìn)行衡量,構(gòu)造出余弦相似度損失,如下所示:

Lcos(xadv,xtar)=-cos(exadv,extar)

其中,cos()為余弦距離函數(shù),exadv和extar分別為對(duì)抗攻擊圖片和被攻擊者圖片的特征向量。

2.3 提取特征,反傳梯度

使用高精度人臉特征提取網(wǎng)絡(luò)提取特征,計(jì)算余弦相似度損失并反傳梯度,實(shí)驗(yàn)分別用到I-FGSM、MI-FGSM和NI-FGSM,下面分別給出3種攻擊方法的公式:

(1)I-FGSM。

其中,t為第t次迭代步,α為步長(zhǎng)。

(2)MI-FGSM。

其中,gt為以動(dòng)量因子μ累加損失的迭代梯度矢量。

(3)NI-FGSM。

2.4 將C&R引入迭代攻擊

在算法迭代過(guò)程中,迭代次數(shù)每達(dá)到固定值(經(jīng)過(guò)實(shí)驗(yàn)證明,預(yù)設(shè)為10次)設(shè)置一個(gè)斷點(diǎn),在斷點(diǎn)處對(duì)對(duì)抗圖像進(jìn)行一次C&R(壓縮比設(shè)置為3)。重復(fù)迭代和C&R至迭代終止,生成對(duì)抗樣本。

其中,C(·)為DEFLATE[17]壓縮算法,對(duì)于相鄰像素差異小、甚至重復(fù)的序列會(huì)用一個(gè)短的編碼來(lái)代替。壓縮程序掃描這樣的重復(fù),同時(shí)生成編碼來(lái)代替重復(fù)序列。直至完成完整圖像的壓縮,此時(shí)ndarray格式的對(duì)抗圖片被轉(zhuǎn)換成PNG格式并保存。

其中,R(·)為重建算法,將壓縮成PNG格式的對(duì)抗樣本,重建成ndarray格式并開(kāi)始進(jìn)行下一次迭代,直至算法終結(jié)生成最終的對(duì)抗樣本。

2.5 算法描述

引入C&R的迭代對(duì)抗攻擊算法:

輸入:攻擊者圖像x,被攻擊者圖像xtarget,迭代總次數(shù)T,單次C&R操作前斷點(diǎn)包含迭代次數(shù)t,步長(zhǎng)α。

輸出:對(duì)抗圖片xadv。

初始化參數(shù):stage=1。

(a)初始對(duì)抗圖片生成。

(b)開(kāi)始進(jìn)行迭代攻擊。

while iter

L(xadv,target)=Lcosine(xadv,target)//目標(biāo)損失并對(duì)對(duì)抗樣本進(jìn)行更新。

(c)判斷算法是否到達(dá)斷點(diǎn)并執(zhí)行C&R。

stage=stage+1

if stage %t==0 then

end if

end while

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集組成:實(shí)驗(yàn)采用的數(shù)據(jù)集為L(zhǎng)FW(Labeled Faces in the Wild)人臉數(shù)據(jù)集,LFW人臉數(shù)據(jù)集是目前人臉識(shí)別的常用測(cè)試集,其中包含了13 233張人臉圖像,每張圖像均給出對(duì)應(yīng)的人名,共5 749人。該文從中分別隨機(jī)選擇200人,其中100人作為攻擊者,另外100人作為被攻擊者,攻擊者每人選取一張照片,被攻擊者擁有該數(shù)據(jù)集下本人的全部照片,并將所有圖片調(diào)整為250×250×3,經(jīng)驗(yàn)證,這些圖片均能被模型正確識(shí)別。

源模型與目標(biāo)模型選擇:為證明所提方法的普遍有效性,源模型與目標(biāo)模型均選擇經(jīng)過(guò)預(yù)訓(xùn)練、識(shí)別準(zhǔn)確的iResNet-50[18]、iResNet-100、FaceNet[19]及MobileFaceNets[20],當(dāng)源模型與目標(biāo)模型相同時(shí)為白盒攻擊,否則為黑盒攻擊。

對(duì)比方法:在傳統(tǒng)迭代攻擊I-FGSM、MI-FGSM、NI-FGSM中加入C&R,分別與對(duì)應(yīng)的基線方法進(jìn)行比較。

評(píng)價(jià)指標(biāo):現(xiàn)有人臉識(shí)別系統(tǒng)通常將識(shí)別相似度作為判斷是否為同一人的指標(biāo),為保證合理性,采用余弦相似度作為評(píng)價(jià)指標(biāo),即當(dāng)攻擊者與被攻擊者人臉的特征余弦相似度越大,攻擊效果越好。

參數(shù)設(shè)置:對(duì)于MI-FGSM、NI-FGSM,將衰減系數(shù)置為1/30,對(duì)于I-FGSM、MI-FGSM、NI-FGSM,由于限制擾動(dòng)面積較小,在實(shí)驗(yàn)中將步長(zhǎng)均置為30,迭代總次數(shù)設(shè)為300,不設(shè)置最大擾動(dòng),僅在生成對(duì)抗樣本時(shí)進(jìn)行像素域[0,255]上的裁剪。

3.2 單模型攻擊

本節(jié)使用I-FGSM、MI-FGSM、NI-FGSM方法分別在添加與不添加C&R的情況下,在源模型iResNet50等4個(gè)模型上生成對(duì)抗樣本,使用生成的對(duì)抗樣本分別對(duì)這4種模型進(jìn)行攻擊,以對(duì)抗樣本與被攻擊圖片在目標(biāo)模型的余弦相似度作為評(píng)價(jià)標(biāo)準(zhǔn)。

為確保實(shí)驗(yàn)的真實(shí)有效性,所有的“*”攻擊均僅對(duì)原基線方法添加C&R,其余設(shè)置與基線方法相同,結(jié)果如表2及圖4,其中圖4縱軸余弦相似度以百分?jǐn)?shù)為指標(biāo)。觀察表2及圖4中的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),使用C&R與迭代攻擊相組合能夠提升對(duì)抗樣本的攻擊性,該結(jié)果在以FaceNet和MobileFaceNets為目標(biāo)模型下表現(xiàn)尤為明顯。同時(shí)發(fā)現(xiàn),C&R與迭代攻擊相結(jié)合,能夠提升對(duì)抗樣本的可遷移性,進(jìn)而增加黑盒攻擊的成功率。在以FaceNet和MobileFaceNets為源模型的攻擊中,添加C&R最高使攻擊模型的余弦相似度提高近1%。在白盒攻擊下,最高可使對(duì)抗樣本與被攻擊者的余弦相似度提高2.17%。圖5展示了白盒模型下原始圖片與生成的對(duì)抗樣本,各列分別為攻擊者圖片、被攻擊者圖片及包含C&R方法下I-FGSM、MI-FGSM、NI-FGSM生成的對(duì)抗圖片,可以看出擾動(dòng)集中在通過(guò)SCRFD算法確立的掩膜區(qū)域,三種攻擊方法下生成的對(duì)抗圖片均能夠使iResNet50等4個(gè)模型發(fā)生誤識(shí)別。

表2 以iResNet-50等4個(gè)模型作為目標(biāo)模型進(jìn)行攻擊的成功率對(duì)比 %(標(biāo)“*”為攻擊方法包含C&R)

圖4 以iResNet50作為目標(biāo)模型進(jìn)行攻擊的成功率對(duì)比

圖5 不同攻擊方式下生成的對(duì)抗圖片(標(biāo)“*”的攻擊方法包含C&R)

3.3 集成模型攻擊

通過(guò)表2與圖4的實(shí)驗(yàn)結(jié)果可明顯看出,相較于傳統(tǒng)迭代攻擊方法,C&R能夠有效提升所生成的對(duì)抗樣本的黑盒攻擊成功率。在本節(jié)中,通過(guò)集成模型訓(xùn)練對(duì)抗樣本來(lái)進(jìn)一步增加黑盒攻擊成功率,使用iResNet-50等四個(gè)模型通過(guò)I-FGSM、MI-FGSM、NI-FGSM方法分別在三個(gè)網(wǎng)絡(luò)上進(jìn)行集成訓(xùn)練并攻擊余下的保留網(wǎng)絡(luò),參數(shù)設(shè)置上,迭代次數(shù)設(shè)置為500,網(wǎng)絡(luò)集成權(quán)重各為1/3,實(shí)驗(yàn)結(jié)果如表3所示。通過(guò)表3的實(shí)驗(yàn)結(jié)果可知,相較于單模型攻擊,集成模型攻擊的成功率對(duì)應(yīng)于每種網(wǎng)絡(luò)均有一定的提升,相較于傳統(tǒng)迭代攻擊方法,引入C&R后,以iResNet-50為目標(biāo)網(wǎng)絡(luò)的對(duì)抗樣本攻擊成功率(余弦相似度)最高提升到18.32%,相較于對(duì)應(yīng)的基線方法NI-FGSM提高了2.19%。該實(shí)驗(yàn)結(jié)果證明在迭代攻擊中引入C&R同樣適用于集成模型攻擊,在集成模型下生成的對(duì)抗樣本黑盒攻擊成功率提高明顯,實(shí)用性也更強(qiáng)。

表3 集成模型攻擊成功率對(duì)比 %

3.4 超參數(shù)研究

本節(jié)通過(guò)實(shí)驗(yàn)對(duì)影響C&R攻擊成功率的兩個(gè)參數(shù):壓縮比β、單次斷點(diǎn)前迭代次數(shù)t進(jìn)行討論。使用基于iResNet-50的白盒模型對(duì)I-FGSM添加C&R并采用不同壓縮比生成的對(duì)抗圖像進(jìn)行討論,迭代總次數(shù)T=300,不同壓縮比下對(duì)抗樣本攻擊成功率的對(duì)比如表4。通過(guò)不同壓縮比下對(duì)抗樣本攻擊成功率的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),壓縮比β=3時(shí),對(duì)抗樣本攻擊成功率達(dá)到峰值16.61%,在β=3兩側(cè)攻擊成功率均有不同程度衰減,壓縮比β=9時(shí)攻擊成功率最低為15.36%。因此,在本實(shí)驗(yàn)中,壓縮比β均設(shè)置為3。

表4 不同壓縮比下對(duì)抗樣本攻擊成功率對(duì)比 %

另外發(fā)現(xiàn),單次C&R前斷點(diǎn)所包含的迭代次數(shù)不同,也會(huì)對(duì)對(duì)抗樣本的攻擊成功率產(chǎn)生影響,仍采用iResNet-50下的白盒模型,參數(shù)設(shè)置不變,僅對(duì)每次斷點(diǎn)前的迭代次數(shù)進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果如圖6,其中縱軸攻擊成功率(余弦相似度)以百分?jǐn)?shù)為指標(biāo)。

通過(guò)單次斷點(diǎn)前迭代次數(shù)的比較可以發(fā)現(xiàn),單次迭代次數(shù)t=9和t=10時(shí),生成的對(duì)抗樣本攻擊能力最強(qiáng),在兩側(cè)表現(xiàn)為下降,推測(cè)是因?yàn)閷?duì)抗信息過(guò)擬合或欠擬合狀態(tài)下進(jìn)行壓縮重建,略微降低了對(duì)抗樣本的攻擊強(qiáng)度。在本實(shí)驗(yàn)中,為便于計(jì)算,C&R單次斷點(diǎn)前迭代次數(shù)t設(shè)置為10。

4 結(jié)束語(yǔ)

首次提出對(duì)抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時(shí)對(duì)抗性會(huì)得到增強(qiáng),并依據(jù)此提出了基于掩膜的人臉識(shí)別壓縮重建對(duì)抗攻擊增強(qiáng)方法,實(shí)驗(yàn)證明,在對(duì)抗樣本生成過(guò)程中加入壓縮重建變換,通過(guò)在預(yù)定迭代次數(shù)下設(shè)置斷點(diǎn),反復(fù)進(jìn)行壓縮重建能夠有效提升對(duì)抗樣本的攻擊成功率。相較于基線方法,該方法在白盒模型場(chǎng)景下的攻擊成功率最高可提升2.3%。同時(shí),在黑盒場(chǎng)景下進(jìn)行測(cè)試,結(jié)果證明在對(duì)抗樣本的生成中引入本方法可有效提高對(duì)抗樣本的可遷移性。未來(lái)將探索壓縮重建對(duì)施加不可視全圖擾動(dòng)對(duì)抗圖片的影響,并將在字節(jié)層面對(duì)壓縮重建變換對(duì)于對(duì)抗樣本的影響進(jìn)行探索和研究,尋找使對(duì)抗樣本對(duì)抗性發(fā)生變化的真正原因。