針對(duì)人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)的局部背景區(qū)域?qū)构?/h1>
2023-02-22 09:37:14張晨晨王帥王文一李迪然李南鮑華李淑琪高國(guó)慶
光電工程 2023年1期
張晨晨，王帥*，王文一，李迪然，李南，鮑華，李淑琪，高國(guó)慶
1 電子科技大學(xué)長(zhǎng)三角研究院，浙江 衢州 324000；
2 電子科技大學(xué)，四川 成都 610000；
3 中國(guó)科學(xué)院自適應(yīng)光學(xué)重點(diǎn)實(shí)驗(yàn)室，四川 成都 610209；
4 中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209
1 引言
深度學(xué)習(xí)方法由于其突出的性能，已經(jīng)廣泛應(yīng)用到各種人工智能(AI)系統(tǒng)中，比如自然語(yǔ)言處理[1]、人臉識(shí)別[2]、圖像分類[3]、自動(dòng)駕駛[4]、信號(hào)加密[5]、逆向設(shè)計(jì)[6]等。人臉識(shí)別在融入到每個(gè)人生活的方方面面的同時(shí)，也帶來(lái)了很多社會(huì)問(wèn)題，比如人臉數(shù)據(jù)泄露[7]、非法出售人臉照片等。為此，很多平臺(tái)都采取了保護(hù)人臉隱私的相關(guān)措施，例如，F(xiàn)acebook 最近宣布將關(guān)閉網(wǎng)絡(luò)面部識(shí)別系統(tǒng)并刪除其數(shù)據(jù)集，其中包括超過(guò)10 億人的面部掃描數(shù)據(jù)[8]。阿里巴巴、騰訊等多家中國(guó)企業(yè)也開始響應(yīng)中國(guó)個(gè)人信息保護(hù)法。同時(shí)，許多學(xué)術(shù)研究人員也意識(shí)到了這個(gè)問(wèn)題[9-10]。
眾所周知，各種卷積學(xué)習(xí)網(wǎng)路(CNN)對(duì)帶有精心設(shè)計(jì)的擾動(dòng)的對(duì)抗樣本非常脆弱[11]。這種對(duì)抗樣本可干擾未經(jīng)授權(quán)的AI 面部識(shí)別，使其得到錯(cuò)誤結(jié)果，從而保護(hù)隱私。
具體來(lái)說(shuō)，對(duì)抗攻擊是一種通過(guò)在數(shù)字圖片上(稱為數(shù)字域攻擊[12-15])或在真實(shí)場(chǎng)景中(稱為物理域攻擊[16-18])添加對(duì)抗擾動(dòng)來(lái)產(chǎn)生對(duì)抗樣本[12]的方法。在數(shù)字域攻擊中，圖像數(shù)據(jù)中的擾動(dòng)在圖像輸入識(shí)別器之前添加。許多帶有人眼不可見(jiàn)的擾動(dòng)的數(shù)字對(duì)抗樣本生成方法會(huì)導(dǎo)致識(shí)別器產(chǎn)生錯(cuò)誤的輸出[13]。然而，這些數(shù)字域方法帶有明顯的局限性。首先，添加的擾動(dòng)是較輕微的，導(dǎo)致它們?cè)跀?shù)字域到物理域的轉(zhuǎn)化，例如打印、重新拍攝照片、重新拍攝視頻等過(guò)程中通常會(huì)失去對(duì)抗效果。其次，由于有些時(shí)候也需要進(jìn)行必要的數(shù)字圖像轉(zhuǎn)換，例如壓縮、采樣等，這些過(guò)程通常會(huì)使數(shù)字域?qū)箻颖臼?duì)抗效果。在物理域攻擊中，則只能在傳感器成像前添加擾動(dòng)，這使其具有更好的實(shí)際效果。物理域攻擊也有一些對(duì)抗樣本生成方法。例如，Mikhail 等人研究發(fā)現(xiàn)，在面部區(qū)域戴一些面部擾動(dòng)飾品可以導(dǎo)致人臉識(shí)別器輸出錯(cuò)誤的識(shí)別結(jié)果[19]。除了這項(xiàng)工作外，還有一些研究使用在面部區(qū)域上添加擾動(dòng)的方式來(lái)誤導(dǎo)人臉識(shí)別器[20-21]。盡管這些方法有效，但在面部上粘貼奇怪的擾動(dòng)塊可能會(huì)妨礙正常的面部觀察。此外，這些方法的效率也很低，因其首先要生成擾動(dòng)補(bǔ)丁，然后再將其貼到對(duì)應(yīng)的位置上。
本文通過(guò)在物理域添加背景對(duì)抗擾動(dòng)塊，從而在實(shí)現(xiàn)對(duì)抗非授權(quán)人臉識(shí)別的同時(shí)，還能保持所有原始面部特征。這種方案不僅可以誤導(dǎo)不安全的人臉識(shí)別器，還能克服現(xiàn)有對(duì)抗樣本生成方法在前景人臉區(qū)域添加顯著擾動(dòng)信號(hào)所導(dǎo)致的原始面部特征損失，保證不影響有授權(quán)的面部觀察。Brown 等人已經(jīng)展示了對(duì)于物體識(shí)別的物理域背景對(duì)抗攻擊的可行性，稱之為Adv-patch[16]。然而，據(jù)我們所知，目前還沒(méi)有關(guān)于面部物理域背景對(duì)抗攻擊的工作。面部背景對(duì)抗攻擊在物理域?qū)崿F(xiàn)的困難主要是由于每張圖片可添加背景擾動(dòng)的區(qū)域是有限的，因?yàn)樵谌四樇羟羞^(guò)程中大部分背景擾動(dòng)會(huì)被裁剪掉。為了在一定程度上解決以上提到的問(wèn)題，本文提出了在局部區(qū)域的物理域背景面部對(duì)抗攻擊的方法，稱之為BALA。BALA 的優(yōu)勢(shì)總結(jié)如下：
1) 擾動(dòng)塊不會(huì)覆蓋任何人臉區(qū)域，甚至被拍攝的前景人物都可以不知道它的存在；
2) BALA 只在背景的一小部分引入擾動(dòng)，并且可以實(shí)現(xiàn)較高的錯(cuò)誤分類概率；
3) 由于采用擾動(dòng)塊灰度化和相鄰像素平均化的方法，所提出的對(duì)抗性擾動(dòng)對(duì)數(shù)字域到物理域的轉(zhuǎn)換過(guò)程具有魯棒性；
4) 在擾動(dòng)生成的過(guò)程中應(yīng)用了兩種不同的損失函數(shù)能夠保證快速收斂和魯棒性。
2 理論推導(dǎo)
2.1 相關(guān)工作
2.1.1 數(shù)字域攻擊
目前，數(shù)字域?qū)构舴ㄖ饕梢苑譃榛谔荻萚7,21]和基于GAN[22]類方法，快速梯度符號(hào)法(FGSM)[13]是最具代表性的基于梯度的方法。此外，還有很多基于梯度更新的方法，例如多步迭代：投影梯度下降法(PGD)[12]和跳躍梯度下降法(SGD)[15]。梯度方法中的Deep Fool[23]可以計(jì)算最小擾動(dòng)水平以誤導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)；One Pixel[24]使用差分進(jìn)化算法通過(guò)僅更改幾個(gè)輸入圖像像素的值來(lái)實(shí)現(xiàn)高誤導(dǎo)率；LaVAN[14]則是使用盡可能小的矩形區(qū)域來(lái)誤導(dǎo)識(shí)別器。
2.1.2 物理域攻擊
Kurakin 等人研究發(fā)現(xiàn)數(shù)字域攻擊的部分對(duì)抗樣本能在打印或重拍照片中保留其對(duì)抗有效性[17]。期望轉(zhuǎn)換法(EOT)[18]在一定程度上能夠產(chǎn)生一個(gè)更加魯棒的對(duì)抗樣本來(lái)應(yīng)對(duì)各種物理變化，比如高斯噪聲，視角變化，和其他常見(jiàn)變化等。Adv-patch[16]就是一種非常有代表性的使用EOT 來(lái)產(chǎn)生一個(gè)相對(duì)高強(qiáng)度的擾動(dòng)去抵抗一系列物理變化的方法。在針對(duì)人臉識(shí)別的前景物理域?qū)构糁?，?duì)抗的眼鏡框架(例如圖1 板塊A)[25]、T恤[26]、在前額上的貼片[20]，都能以較高的成功率誤導(dǎo)人臉識(shí)別系統(tǒng)，但會(huì)影響清晰的面部觀察。Mikhail 等人使用生成的擾動(dòng)補(bǔ)丁(圖1 板塊A 中的補(bǔ)丁)誤導(dǎo)ArcFace-100 人臉識(shí)別系統(tǒng)，該補(bǔ)丁可以打印并粘貼作為人臉的一種屬性[19]。
2.2 本文方法
2.2.1 方法概述
本文提出的方法主要流程如圖1 的板塊B 或C所示，圖1 的板塊B 是物理域背景攻擊的流程，板塊C 是數(shù)字域背景攻擊的流程。根據(jù)能否獲取攻擊神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)和網(wǎng)絡(luò)模型權(quán)重參數(shù)可以將對(duì)抗攻擊分為白盒攻擊[19-20]和黑盒攻擊[27]。在本文中，我們使用白盒攻擊方案，即已知CNN 人臉識(shí)別器(F)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重參數(shù)。給定一張裁剪的人臉圖片x∈Rc*m*n，m和n是人臉圖像的寬和高，c是顏色通道的數(shù)量(一般c=3)，人臉圖片的原始類別為lorg。F能夠?qū)映射到一組向量F(x)=[p1,p2,p3,···,pk]，其中pj(j=1,2,3,···,k)為x屬于每一類的概率，k是所有類的總數(shù)，J表示F對(duì)x映射的類別。如式(1)所示，實(shí)驗(yàn)中將人臉識(shí)別定義為函數(shù)y(F,x)：
圖1 人臉對(duì)抗攻擊流程圖。板塊A 帶有擾動(dòng)塊(來(lái)自于Mikhail 等人[19]的補(bǔ)丁圖片)的物理域前景攻擊；板塊B 為物理域背景攻擊；板塊C 為數(shù)字域背景攻擊。每種攻擊方法目的在于使用對(duì)抗樣本誤導(dǎo)人臉識(shí)別器從而產(chǎn)生錯(cuò)誤的分類結(jié)果Fig.1 Scheme of facial adversarial attacks.Panel A is a physical foreground attack with an adversarial patch (patch image from Mikhail et al.[19]);Panel B is a physical adversarial background attack,and panel C is a digital adversarial background attack.Every attack approach aims to mislead a face recognizer with an incorrect class using adversarial examples
當(dāng)x被識(shí)別為正確的類別時(shí)，ypred(F,x)將會(huì)等于lorg。本文使用基于梯度下降的方法產(chǎn)生擾動(dòng)δ∈Rc*m*n，目標(biāo)背景區(qū)域的對(duì)抗擾動(dòng)塊將通過(guò)在2.2.2 節(jié)介紹生成掩膜M的方法進(jìn)行裁剪。圖2 顯示了生成對(duì)抗擾動(dòng)塊的流程，該流程由三部分組成：第一部分是找到合適的位置并生成掩膜M，第二部分是在數(shù)字域中基于反向梯度傳播的方法不斷迭代對(duì)抗樣本，第三部分是使用灰度化和平均化進(jìn)一步改進(jìn)對(duì)抗擾動(dòng)塊，使其在物理域更加魯棒。在實(shí)驗(yàn)生成擾動(dòng)塊的過(guò)程中考慮了常見(jiàn)的數(shù)字域到物理域的轉(zhuǎn)換T(x)，例如亮度變化、飽和度變化、縮放和噪聲的變化等。除此之外，第二部分和第三部分會(huì)迭代到對(duì)抗樣本能夠成功誤導(dǎo)人臉識(shí)別網(wǎng)絡(luò)F 或達(dá)到指定迭代次數(shù)。
圖2 BALA 產(chǎn)生一個(gè)對(duì)抗擾動(dòng)塊的流程。主要包括三個(gè)部分，分別是掩膜生成、擾動(dòng)生成和擾動(dòng)塊的改進(jìn)。T(·)表示一系列的物理變換Fig.2 The scheme of generating an adversarial patch in BALA.This scheme mainly consists of three parts,mask generation,perturbation generation,and perturbation further improving.T(·) represents a set of transformations
2.2.2 掩膜生成
本文提出基于下頜線[28]生成擾動(dòng)掩膜(M)方法，如圖3 所示。該方案可以有效避免擾動(dòng)在人臉裁剪過(guò)程中被裁剪掉。大多數(shù)現(xiàn)有的人臉檢測(cè)器都會(huì)產(chǎn)生矩形錨點(diǎn)，其中包括人臉和部分周圍背景[29]。很容易觀察到，面部下巴兩側(cè)的背景區(qū)域相對(duì)較大，適合嵌入對(duì)抗擾動(dòng)塊。
具體來(lái)說(shuō)，本文使用面部檢測(cè)算法[28]獲得下頜點(diǎn)(圖3(b)中的藍(lán)色點(diǎn))的最大外接矩形(圖3(b)中的綠色矩形)的四個(gè)角點(diǎn)作為候選點(diǎn)。根據(jù)擾動(dòng)塊的尺寸，在四個(gè)候選點(diǎn)中選擇最合適的點(diǎn)(圖3(b)中的紅色點(diǎn))，并將掩膜中對(duì)應(yīng)區(qū)域置為1(圖3(c)中白色區(qū)域)，掩膜的其他部分被置為0(圖3(c)中的黑色區(qū)域)。
圖3 掩膜制作的示例。(a) 為一張裁剪的人臉圖片；(b) 藍(lán)色的點(diǎn)是臉部輪廓下頜線的采樣點(diǎn)，綠色的線代表其最大外接矩形框；(c) 帶有白色補(bǔ)丁的掩膜，白色補(bǔ)丁代表著對(duì)抗擾動(dòng)塊的位置，紅色的點(diǎn)代表具體的候選點(diǎn)Fig.3 The illustration of mask generation.(a) Cropped face image;(b) Blue points are mandible points of the face,and the green lines represent the maximum outside rectangular;(c) The mask with a white patch represents the location of an adversarial patch,and the red point represents the specific candidate
2.2.3 擾動(dòng)生成
令x′為迭代過(guò)程中的對(duì)抗樣本，xadv為迭代結(jié)束后最終的對(duì)抗樣本，xadv被識(shí)別器識(shí)別為yanh。在得到合適的掩膜后，使用式(2)計(jì)算對(duì)抗擾動(dòng)，將擾動(dòng)添加至掩膜區(qū)域后重新計(jì)算此時(shí)圖像的分類結(jié)果，通過(guò)重復(fù)該過(guò)程，直到分類器分類錯(cuò)誤或達(dá)到迭代的次數(shù)上限。對(duì)抗擾動(dòng)的計(jì)算由梯度反向傳播得到，如下所示：
其中，ε是控制每次迭代擾動(dòng)強(qiáng)度的超參數(shù)，L為損失函數(shù)。
如果希望加速上述迭代的收斂，可以選擇較大的梯度損失函數(shù)。然而，這樣將會(huì)導(dǎo)致很難收斂到精確的結(jié)果，而且人臉識(shí)別器預(yù)測(cè)的類別將會(huì)在臨近分類閾值時(shí)反復(fù)跳變。與之相反，選擇一個(gè)較小的梯度損失函數(shù)可能會(huì)收斂得更加精確，但收斂過(guò)程通常會(huì)花費(fèi)更多的時(shí)間。因此，本文提出在不同的收斂階段使用兩個(gè)不同的損失函數(shù)，從而可以顯著減少產(chǎn)生有效對(duì)抗擾動(dòng)塊的迭代次數(shù)，如圖4 所示。當(dāng)人臉識(shí)別器對(duì)于x′的輸出仍為lorg時(shí)，使用Ls1作為式(2)中的L：
去加速收斂過(guò)程，如圖4 的步驟1 到步驟2 所示。當(dāng)lpred≠lorg時(shí)，使用Ls2作為式(2)中的L：
去微調(diào)x′，并在點(diǎn)2 處從pyorg到pyanh跳變，如圖4的步驟2 到步驟3 所示。
圖4 對(duì)抗擾動(dòng)塊的產(chǎn)生過(guò)程，在迭代過(guò)程中使用兩種不同的損失函數(shù)。Ls1和Ls2分別從步驟1 到步驟2(pyorg)和從步驟2 到步驟3(pyanh)的過(guò)程中的損失函數(shù)，并在點(diǎn)2 處從pyorg到pyanh 的跳變Fig.4 The generation process of an adversarial patch.Two different loss functions are used in iterations.Ls1and Ls2 are used in stage of step 1 to step 2 (pyorg) and step 2 to step 3 (pyanh),respectively.There is a change ofpyorgtopyanh at point 2
2.2.4 擾動(dòng)塊的改進(jìn)
為了使對(duì)抗擾動(dòng)在從數(shù)字域到物理域轉(zhuǎn)換的過(guò)程中繼續(xù)有效，BALA 對(duì)對(duì)抗擾動(dòng)塊進(jìn)一步改進(jìn)。在本文的實(shí)驗(yàn)場(chǎng)景中，以普通電子屏幕作為物理背景。主要原因包括以下幾個(gè)方面：首先，電子屏幕可以根據(jù)人臉的位置動(dòng)態(tài)調(diào)整及顯示對(duì)抗樣本或擾動(dòng)塊；其次，該場(chǎng)景可以模擬在現(xiàn)實(shí)生活中可以自由設(shè)置背景的在線會(huì)議；第三，這個(gè)場(chǎng)景可以方便實(shí)現(xiàn)屏幕圖像的重拍實(shí)驗(yàn)。
實(shí)驗(yàn)中的某個(gè)數(shù)字域的彩色對(duì)抗塊如圖5(a)所示，由于電子屏幕的顯示特性(電子噪聲和屏幕不同的色域空間)，屏幕上的彩色擾動(dòng)塊在通過(guò)相機(jī)重拍之后會(huì)造成失真，如圖5(b)所示。本文對(duì)原始圖像塊(patchdig)與重拍之后的圖像塊(patchre)之間的失真定義為 ω：
圖5 不同的BALA 對(duì)抗擾動(dòng)塊。(a) 不帶灰度化和均一化的彩色塊；(b) 不帶均一化的灰度塊；(c) 帶均一化的灰度塊；(d),(e),(f) 分別對(duì)應(yīng)(a),(b),(c)的屏幕重拍照片F(xiàn)ig.5 The diverse BALA adversarial patches.(a) Generated color patch without graying and averaging; (b) Generated gray patch without averaging;(c) Generated gray patch with averaging;Images (d),(e),(f) are corresponding re-taken images (a),(b),(c),respectively
通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，所有彩色圖片的失真值 ω，即圖5(a)和圖5(b)之間的失真值，遠(yuǎn)高于灰度的圖5(c)和圖5(d)的失真值 ω。所以BALA 使用灰度化過(guò)程來(lái)進(jìn)一步提高擾動(dòng)塊的對(duì)抗性；雖然灰度化會(huì)損失部分?jǐn)_動(dòng)信息，但BALA 可以使用灰度值直接計(jì)算對(duì)抗效果和迭代來(lái)消除這部分影響。另外，在迭代過(guò)程中，BALA 在對(duì)抗擾動(dòng)塊中也做了像素值均一化以保證在數(shù)字域(圖5(e))和重拍的對(duì)抗樣本(圖5(f))中都能進(jìn)一步提升對(duì)人臉識(shí)別器的誤導(dǎo)成功率。值得注意的是，BALA 只在對(duì)抗擾動(dòng)塊，也就是M=1的區(qū)域中采用了灰度化和均一化。這里把裁剪出M=1圖像區(qū)域的操作定義為crop(.)，通過(guò)填充0值擴(kuò)充該圖像塊區(qū)域并將其恢復(fù)為和M相同尺寸大小的操作定義為crop_reverse(.)。
綜上所述，通過(guò)BALA 產(chǎn)生對(duì)抗擾動(dòng)塊的詳細(xì)內(nèi)容如算法1 中的偽代碼所示。
3 實(shí)驗(yàn)結(jié)果
在如圖6 所示，實(shí)驗(yàn)使用一塊豎立的尺寸為60 chin (1 chin=2.54 cm)，分辨率為1080 p，流明為320 cd/m2，刷新頻率為50 Hz 的電子屏幕(圖6(c))作為背景，并設(shè)定從照相機(jī)到背景屏幕的距離約為1 m；使用的是分辨率為3850 pixels×2650 pixels 的普通智能手機(jī)的相機(jī)，將其固定在三腳架上進(jìn)行拍攝。三腳架的高度能夠根據(jù)前景人像進(jìn)行人為的調(diào)整。電子屏幕設(shè)置為全黑背景是為了盡可能減少屏幕背光的影響。在計(jì)算中使用NVIDIA RTX2080 GPU、E5-2600 CPU 和16 GB RAM 服務(wù)器生成對(duì)抗擾動(dòng)塊。
圖6 場(chǎng)景實(shí)拍實(shí)驗(yàn)設(shè)置。A 為相機(jī)，B 為三腳架，C 為電子背景屏幕，D 為前景人物Fig.6 The real-world experiment setup.A is a camera and B is the tripod;C is the electronic screen background and D is the foreground person
3.1 實(shí)驗(yàn)設(shè)置
識(shí)別器：BALA 采用常用的CNN 人臉識(shí)別網(wǎng)絡(luò)，VGG-FACE[30]作為識(shí)別器。采用LibFace-Detection[31]作為人臉檢測(cè)器，該檢測(cè)器的輸出是包含面部區(qū)域的矩形框。
數(shù)據(jù)集：實(shí)驗(yàn)中使用的人臉數(shù)據(jù)集(集合A)來(lái)自于5 位本研究團(tuán)隊(duì)人員(集合A1)以及Oxford VGG人臉數(shù)據(jù)集[30]中的1000 位人物(集合A2)，總計(jì)1005 名人物。實(shí)驗(yàn)中使用了預(yù)訓(xùn)練的人臉識(shí)別器網(wǎng)絡(luò)VGG Face[30]，選用集合A 中的各人物照片100 張，構(gòu)成100500 張訓(xùn)練圖片對(duì)VGG Face 預(yù)訓(xùn)練模型進(jìn)行微調(diào)，使其具備識(shí)別集合A 中人物的能力。同時(shí)在集合A 中隨機(jī)挑選500 個(gè)人物，分別獲取他們各100 張人臉照片(不同于集合A)作為測(cè)試集。最終，經(jīng)過(guò)微調(diào)訓(xùn)練的VGG-FACE 模型能夠在訓(xùn)練集中達(dá)到96.2%的識(shí)別準(zhǔn)確率，在測(cè)試集中達(dá)到95.1%的識(shí)別準(zhǔn)確率。此外，相關(guān)人員的人臉照片使用已通過(guò)其本人的授權(quán)。
對(duì)比方式：將BALA 和目前最具代表性的兩種對(duì)抗攻擊方法進(jìn)行對(duì)比，分別是LaVAN 和Advpatch。LaVAN[14]已經(jīng)表明，可以通過(guò)改變有限區(qū)域的像素值，成功誤導(dǎo)數(shù)字域中成功率非常高的識(shí)別器。Adv-patch 可以通過(guò)在背景中放置對(duì)抗擾動(dòng)塊來(lái)誤導(dǎo)識(shí)別器，但它更側(cè)重于在靜態(tài)場(chǎng)景中以物理域攻擊的方式，誤導(dǎo)物體分類器。與Adv-patch 相比，BALA能夠在前景人物移動(dòng)的場(chǎng)景中誤導(dǎo)人臉識(shí)別器。
3.2 照片重拍和場(chǎng)景實(shí)拍實(shí)驗(yàn)
在本文中進(jìn)行了重新拍攝照片以及模擬拍照過(guò)程的場(chǎng)景實(shí)拍實(shí)驗(yàn)。據(jù)了解，目前還沒(méi)有針對(duì)電子屏幕重拍場(chǎng)景下的人臉對(duì)抗樣本有效性研究。為了填補(bǔ)這一空白，本文在重新拍攝對(duì)抗樣本后測(cè)試了其對(duì)抗有效性。圖7 的上半部分是照片重拍實(shí)驗(yàn)的方案，圖7的下半部分是場(chǎng)景實(shí)拍實(shí)驗(yàn)的方案。這兩個(gè)實(shí)驗(yàn)的步驟簡(jiǎn)要概述如下：
收集人臉數(shù)據(jù)：在照片重拍實(shí)驗(yàn)中，在集合A2中獲取了每個(gè)人物1 張，共計(jì)1000 張不同的人臉照片。在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，拍攝了集合A1 中每一個(gè)人站在屏幕前的6 張不同角度的正面照片，拍攝場(chǎng)景如圖6 所示。之后，利用人臉檢測(cè)網(wǎng)絡(luò)LibFaceDetection從拍攝的照片中截取了尺寸為3×224×224 的3 通道彩色人臉圖片。
產(chǎn)生對(duì)抗擾動(dòng)塊：在給定3×224×224 的面部圖像后，利用Adv-patch 和LaVAN 分別生成一個(gè)3×65×65(約占224×224 的8.4%)的彩色對(duì)抗擾動(dòng)塊；其中ε=0.1，迭代次數(shù)限制為800次[14]。通過(guò)BALA 也產(chǎn)生一個(gè)3×65×65 的灰色對(duì)抗擾動(dòng)塊，其中ε=0.1，s=0.9，C=800。具體來(lái)講，BALA 在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，使用6 張照片來(lái)生成對(duì)抗擾動(dòng)塊，如圖7 綠色部分所示。此外，停止迭代的條件是對(duì)抗擾動(dòng)塊可以成功誤導(dǎo)VGG-Face 模型產(chǎn)生錯(cuò)誤的分類結(jié)果或達(dá)到迭代上限。顯示及重拍：在照片重拍實(shí)驗(yàn)中，將由Advpatch、LaVAN 和BALA 生成的對(duì)抗擾動(dòng)塊直接嵌入到原始數(shù)字圖像中，產(chǎn)生對(duì)抗樣本。三種方法產(chǎn)生的對(duì)抗樣本都會(huì)顯示在屏幕上并重新拍攝，以獲得輸入到VGG-FACE 識(shí)別器的評(píng)估圖像。在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，Adv-patch、LaVAN 和BALA 生成的對(duì)抗擾動(dòng)塊會(huì)直接顯示在背景屏幕上，將帶有對(duì)抗擾動(dòng)塊的背景與前景人物一起拍攝，以獲得在場(chǎng)景實(shí)拍實(shí)驗(yàn)中輸入到VGG-FACE 識(shí)別器的評(píng)估圖像。
圖7 兩種背景對(duì)抗攻擊實(shí)驗(yàn)的流程圖。藍(lán)色部分是照片重拍實(shí)驗(yàn)，綠色部分是場(chǎng)景實(shí)拍實(shí)驗(yàn)Fig.7 The pipeline of two background adversarial attack experiments.The blue part is photo re-taken experiment and green part is the real-world experiment
3.3 實(shí)驗(yàn)結(jié)果
照片重拍：表1 展示了3 種方法產(chǎn)生的對(duì)抗樣本經(jīng)過(guò)重拍之后的攻擊成功率(ASR)。其中ASR 定義為：在可被正確識(shí)別的原始人像圖片集合中，添加對(duì)抗塊后無(wú)法被正確識(shí)別的圖片比例。BALA 在照片重拍實(shí)驗(yàn)中平均迭代次數(shù)為483 次，平均每次迭代0.3 s，實(shí)現(xiàn)了最高的ASR(78.0%)，而在直接將擾動(dòng)添加在數(shù)字照片上的數(shù)字域攻擊中僅犧牲了2.9%的ASR。Adv-patch 方法在數(shù)字域攻擊中具有最佳性能(97.5%)。在圖8 中，展示了照片重拍的示例，包括原始人臉圖像(圖8(a))，通過(guò)3 種方法重拍的帶有對(duì)抗擾動(dòng)塊的照片(圖8(b))，以及錯(cuò)誤分類對(duì)應(yīng)的圖像(圖8(c))。
表1 在集合A2 中照片重拍的平均ASR(%)Table 1 Photo re-taken experiment results over set-A1 in terms of average ASR(%)
圖8 在照片重拍實(shí)驗(yàn)中，LaVAN，BALA 和Adv-patch 三種方法生成的對(duì)抗樣本。(a) 是原始人臉圖片；(b) 表示將對(duì)抗擾動(dòng)塊顯示到背景屏幕后重拍的照片；(c) 表示由VGG-FACE 識(shí)別的錯(cuò)誤類別對(duì)應(yīng)的圖像Fig.8 The adversarial examples generated by LaVAN,BALA,and Adv-patch in re-taken experiment.(a) is the original face image;(b) Present re-taking photos after displaying the adversarial patches on the background;(c) Present images of incorrect output classes from the VGG-FACE
在物理域的人臉照片重拍實(shí)驗(yàn)中，Adv-patch 的ASR(65.1%)要低于該原始研究中對(duì)物體分類的對(duì)抗攻擊實(shí)驗(yàn)結(jié)果。在數(shù)字域的人臉圖片攻擊實(shí)驗(yàn)中，LaVAN 的ASR(96.7%)也要低于他們的原始研究(LaVAN[14])中對(duì)物體分類的對(duì)抗攻擊實(shí)驗(yàn)結(jié)果。這些性能的下降可能是由于物體和人臉識(shí)別任務(wù)之間的差異，以及BALA 的實(shí)驗(yàn)場(chǎng)景更難攻擊的設(shè)置所造成的。
場(chǎng)景實(shí)拍：本文為每個(gè)測(cè)試人員分別采集了100張帶有輕微面部角度變化的圖像。本實(shí)驗(yàn)在集合A1中的5 位研究員上進(jìn)行，對(duì)于同一人的全部100 張照片都是使用相同的對(duì)抗擾動(dòng)塊。在實(shí)驗(yàn)中，將人臉到背景屏幕的距離分別設(shè)置為10 cm、20 cm 和50 cm。在10 cm 的距離設(shè)置下，BALA 在物理域場(chǎng)景實(shí)拍實(shí)驗(yàn)中的ASR(75.0%)比Adv-patch 方法高13.8%。這種BALA 優(yōu)于Adv-patch 的現(xiàn)象同樣也可以在20 cm和50 cm 的距離設(shè)置實(shí)驗(yàn)中觀察到，如表2 所示。帶有對(duì)抗擾動(dòng)塊的圖像比不帶對(duì)抗擾動(dòng)塊的圖像看起來(lái)更暗(如圖9 所示)，是因?yàn)槲覀兿鄼C(jī)的焦點(diǎn)聚焦在背景和前景之間的位置，以便能清晰地拍攝背景對(duì)抗擾動(dòng)塊和前景人臉。圖9(b)是將對(duì)抗擾動(dòng)塊顯示在背景屏幕然后重新拍攝的對(duì)抗樣本。圖9(c)是檢測(cè)的人臉圖片，圖9(d)是被誤識(shí)別之后的類別圖像。
圖9 通過(guò)BALA 在場(chǎng)景實(shí)拍實(shí)驗(yàn)中產(chǎn)生的對(duì)抗樣本。(a) 原始照片；(b) 將擾動(dòng)塊添加到背景后重新拍攝的照片；(c) 剪切人臉之后的對(duì)抗樣本；(d) VGG-FACE 網(wǎng)絡(luò)輸出的錯(cuò)誤分類對(duì)應(yīng)的人臉Fig.9 The adversarial examples generated by BALA in the real-world experiment.(a) The original photos;(b) Present re-taking photos after displaying the adversarial patches on the background;(c) Present adversarial examples from the cropped faces;(d) Present face images of incorrect output classes of the VGG-FACE network
表2 在集合A1 中，場(chǎng)景實(shí)拍實(shí)驗(yàn)中前景和背景屏幕之間不同距離的平均ASR(%)Table 2 Average ASR (%) of the different distance between foreground face and background screen in real-world experiments over set-A1
4 消融實(shí)驗(yàn)
4.1 BALA 中均一化的作用
本文分別使用無(wú)均值化、2×2 鄰域平均和4×4 鄰域平均的方法生成了不同種類的對(duì)抗擾動(dòng)塊來(lái)驗(yàn)證BALA 中均一化的作用。集合A 中同一圖像的對(duì)抗擾動(dòng)塊的示例如圖10 所示。相比于不做均值處理(圖10(a))和做4×4 鄰域均值處理(圖10(c))的對(duì)抗擾動(dòng)塊，采用2×2 鄰域均值處理(圖10(b))方法產(chǎn)生的對(duì)抗擾動(dòng)塊具有明顯的區(qū)別。
圖10 采用灰度化BALA 生成不同的均值對(duì)抗擾動(dòng)塊。(a) 無(wú)均值法生成的擾動(dòng)塊；(b) 采用2×2 鄰域均值化生成的擾動(dòng)塊；(c) 采用4×4 鄰域均值化生成的擾動(dòng)塊Fig.10 The diverse averaging images of BALA with graying.(a) Generated patch using no averaging approach;(b) Generated patch by averaging pixels in 2 × 2 region;(c) Generated patch by averaging pixels in 4 × 4 region
雖然沒(méi)有做均值處理的對(duì)抗擾動(dòng)塊會(huì)擁有更多的擾動(dòng)細(xì)節(jié)，但它的對(duì)抗效果會(huì)在從數(shù)字域到物理域轉(zhuǎn)換的過(guò)程中損失巨大；與2×2 鄰域均值處理的方法相比，不做均值處理的對(duì)抗樣本會(huì)在場(chǎng)景實(shí)拍實(shí)驗(yàn)中降低6.8%的ASR，在照片重拍實(shí)驗(yàn)中降低6.5%的ASR，如表3 所示。與2×2 鄰域均值處理方法相比，4×4 的鄰域均值處理后的對(duì)抗樣本在兩個(gè)實(shí)驗(yàn)中的ASR 均要低7%以上，在數(shù)字域中要低約20%，如表3 所示。因此，考慮到上述結(jié)果，選擇2×2 鄰域均值處理方法在BALA 中生成對(duì)抗擾動(dòng)塊。
4.2 BALA 中灰度化的作用
本文分別研究了進(jìn)行灰度化和不進(jìn)行灰度化(BALA-Color)生成的對(duì)抗擾動(dòng)塊的效果。BALAColor 在數(shù)字域攻擊中實(shí)現(xiàn)了稍高的ASR(增加2.6%)，但在物理域照片重拍實(shí)驗(yàn)中的ASR 會(huì)大幅下降(下降11.7%)，如表3 所示。在場(chǎng)景實(shí)拍的實(shí)驗(yàn)中，BALA-Color 的ASR(55.4%)比BALA(69.2%)低13.8%。這些結(jié)果表明了灰度化在物理域攻擊的優(yōu)勢(shì)。
表3 集合A 中BALA 的均一化作用下的平均ASR(%)Table 3 The results of averaging effect of BALA over set-A in terms of average ASR(%)
4.3 討論
上述實(shí)驗(yàn)表明，在場(chǎng)景實(shí)拍的黑色背景區(qū)域上放置有限大小的對(duì)抗擾動(dòng)塊來(lái)攻擊VGG-FACE 神經(jīng)網(wǎng)絡(luò)模型是可行的。如果進(jìn)一步使用對(duì)抗擾動(dòng)塊的模糊化處理[32]策略，BALA 還可以產(chǎn)生更具隱藏性的對(duì)抗擾動(dòng)塊，這對(duì)各種自然背景來(lái)說(shuō)就顯得不那么明顯。通過(guò)以上實(shí)驗(yàn)可以看出，生成的對(duì)抗擾動(dòng)塊實(shí)際上就是一些面部特征(圖8 和圖10)，例如鼻子、眼睛和額頭等。Mikhail 等人也已經(jīng)發(fā)現(xiàn)了相似的結(jié)論[19]。其次，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，如果在人臉檢測(cè)過(guò)程中，對(duì)抗擾動(dòng)塊受到一定程度的切割，當(dāng)切割面積小于總面積的5%，不會(huì)影響對(duì)抗擾動(dòng)塊攻擊VGG-FACE 模型的有效性。
對(duì)抗擾動(dòng)塊生成的過(guò)程中，在數(shù)字域中使用無(wú)損壓縮格式保存的對(duì)抗擾動(dòng)塊(例如PNG 格式)比其他壓縮圖像格式(例如JPG 等)，在物理域重新拍攝對(duì)抗樣本的過(guò)程中會(huì)表現(xiàn)得更加魯棒。
本文在實(shí)驗(yàn)設(shè)置中考慮了實(shí)際應(yīng)用場(chǎng)景問(wèn)題，場(chǎng)景實(shí)拍攻擊實(shí)驗(yàn)中參考了在線會(huì)議或直播的場(chǎng)景設(shè)置，例如固定的背景板和拍攝相機(jī)、適當(dāng)?shù)那氨尘熬嚯x、跟隨人臉產(chǎn)生的對(duì)抗擾動(dòng)塊、防剪裁的設(shè)定等。隨著在線會(huì)議、直播的興起，人臉數(shù)據(jù)隱私保護(hù)愈發(fā)成為必須要考慮的安全因素；在未來(lái)的線上會(huì)議、直播中，使用本文的方法，只需要在后面放一塊電子屏幕即可避免自己的人臉數(shù)據(jù)被惡意用做人臉識(shí)別器的訓(xùn)練圖片。
5 結(jié)論
本文提出了一種生成對(duì)抗擾動(dòng)塊的方法，通過(guò)將其顯示在背景設(shè)備上可以在物理域中攻擊人臉識(shí)別系統(tǒng)。根據(jù)實(shí)驗(yàn)結(jié)論，BALA 在ASR 方面優(yōu)于其他最先進(jìn)的背景攻擊方法。具體來(lái)說(shuō)，在照片重拍實(shí)驗(yàn)中，與Adv-patch 和LaVAN 相比，BALA 實(shí)現(xiàn)了超過(guò)其12%的ASR 性能。在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，與Advpatch 方法相比，BALA 將ASR 提高了3.8%。本文提出的BALA 方法在物理域屏幕中添加背景擾動(dòng)塊不僅可以對(duì)抗非法人臉識(shí)別器，而且還能保證清晰的人臉面部觀察。在保護(hù)面部數(shù)據(jù)不被泄露的過(guò)程中，前景人物甚至可以不知道擾動(dòng)塊的存在。
猜你喜歡
只因是物理井岡教育(2022年2期)2022-10-14 03:11:44 人臉識(shí)別 等作文中學(xué)版(2022年1期)2022-04-14 08:00:34 “新四化”背景下汽車NVH的發(fā)展趨勢(shì)汽車工程師(2021年12期)2022-01-17 02:29:54 《論持久戰(zhàn)》的寫作背景當(dāng)代陜西(2020年14期)2021-01-08 09:30:42 揭開人臉識(shí)別的神秘面紗學(xué)生天地(2020年31期)2020-06-01 02:32:06 處處留心皆物理中學(xué)生數(shù)理化·八年級(jí)物理人教版(2019年9期)2019-11-25 07:33:00 三腳插頭上的物理知識(shí)中學(xué)生數(shù)理化·中考版(2017年12期)2017-04-18 12:55:05 晚清外語(yǔ)翻譯人才培養(yǎng)的背景貴州師范學(xué)院學(xué)報(bào)(2016年4期)2016-12-01 03:54:07 基于類獨(dú)立核稀疏表示的魯棒人臉識(shí)別計(jì)算機(jī)工程(2015年8期)2015-07-03 12:19:07 我不是教物理的中學(xué)生(2015年2期)2015-03-01 03:43:33
張晨晨，王帥*，王文一，李迪然，李南，鮑華，李淑琪，高國(guó)慶
1 電子科技大學(xué)長(zhǎng)三角研究院，浙江 衢州 324000；
2 電子科技大學(xué)，四川 成都 610000；
3 中國(guó)科學(xué)院自適應(yīng)光學(xué)重點(diǎn)實(shí)驗(yàn)室，四川 成都 610209；
4 中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209
1 引言
深度學(xué)習(xí)方法由于其突出的性能，已經(jīng)廣泛應(yīng)用到各種人工智能(AI)系統(tǒng)中，比如自然語(yǔ)言處理[1]、人臉識(shí)別[2]、圖像分類[3]、自動(dòng)駕駛[4]、信號(hào)加密[5]、逆向設(shè)計(jì)[6]等。人臉識(shí)別在融入到每個(gè)人生活的方方面面的同時(shí)，也帶來(lái)了很多社會(huì)問(wèn)題，比如人臉數(shù)據(jù)泄露[7]、非法出售人臉照片等。為此，很多平臺(tái)都采取了保護(hù)人臉隱私的相關(guān)措施，例如，F(xiàn)acebook 最近宣布將關(guān)閉網(wǎng)絡(luò)面部識(shí)別系統(tǒng)并刪除其數(shù)據(jù)集，其中包括超過(guò)10 億人的面部掃描數(shù)據(jù)[8]。阿里巴巴、騰訊等多家中國(guó)企業(yè)也開始響應(yīng)中國(guó)個(gè)人信息保護(hù)法。同時(shí)，許多學(xué)術(shù)研究人員也意識(shí)到了這個(gè)問(wèn)題[9-10]。
眾所周知，各種卷積學(xué)習(xí)網(wǎng)路(CNN)對(duì)帶有精心設(shè)計(jì)的擾動(dòng)的對(duì)抗樣本非常脆弱[11]。這種對(duì)抗樣本可干擾未經(jīng)授權(quán)的AI 面部識(shí)別，使其得到錯(cuò)誤結(jié)果，從而保護(hù)隱私。
具體來(lái)說(shuō)，對(duì)抗攻擊是一種通過(guò)在數(shù)字圖片上(稱為數(shù)字域攻擊[12-15])或在真實(shí)場(chǎng)景中(稱為物理域攻擊[16-18])添加對(duì)抗擾動(dòng)來(lái)產(chǎn)生對(duì)抗樣本[12]的方法。在數(shù)字域攻擊中，圖像數(shù)據(jù)中的擾動(dòng)在圖像輸入識(shí)別器之前添加。許多帶有人眼不可見(jiàn)的擾動(dòng)的數(shù)字對(duì)抗樣本生成方法會(huì)導(dǎo)致識(shí)別器產(chǎn)生錯(cuò)誤的輸出[13]。然而，這些數(shù)字域方法帶有明顯的局限性。首先，添加的擾動(dòng)是較輕微的，導(dǎo)致它們?cè)跀?shù)字域到物理域的轉(zhuǎn)化，例如打印、重新拍攝照片、重新拍攝視頻等過(guò)程中通常會(huì)失去對(duì)抗效果。其次，由于有些時(shí)候也需要進(jìn)行必要的數(shù)字圖像轉(zhuǎn)換，例如壓縮、采樣等，這些過(guò)程通常會(huì)使數(shù)字域?qū)箻颖臼?duì)抗效果。在物理域攻擊中，則只能在傳感器成像前添加擾動(dòng)，這使其具有更好的實(shí)際效果。物理域攻擊也有一些對(duì)抗樣本生成方法。例如，Mikhail 等人研究發(fā)現(xiàn)，在面部區(qū)域戴一些面部擾動(dòng)飾品可以導(dǎo)致人臉識(shí)別器輸出錯(cuò)誤的識(shí)別結(jié)果[19]。除了這項(xiàng)工作外，還有一些研究使用在面部區(qū)域上添加擾動(dòng)的方式來(lái)誤導(dǎo)人臉識(shí)別器[20-21]。盡管這些方法有效，但在面部上粘貼奇怪的擾動(dòng)塊可能會(huì)妨礙正常的面部觀察。此外，這些方法的效率也很低，因其首先要生成擾動(dòng)補(bǔ)丁，然后再將其貼到對(duì)應(yīng)的位置上。
本文通過(guò)在物理域添加背景對(duì)抗擾動(dòng)塊，從而在實(shí)現(xiàn)對(duì)抗非授權(quán)人臉識(shí)別的同時(shí)，還能保持所有原始面部特征。這種方案不僅可以誤導(dǎo)不安全的人臉識(shí)別器，還能克服現(xiàn)有對(duì)抗樣本生成方法在前景人臉區(qū)域添加顯著擾動(dòng)信號(hào)所導(dǎo)致的原始面部特征損失，保證不影響有授權(quán)的面部觀察。Brown 等人已經(jīng)展示了對(duì)于物體識(shí)別的物理域背景對(duì)抗攻擊的可行性，稱之為Adv-patch[16]。然而，據(jù)我們所知，目前還沒(méi)有關(guān)于面部物理域背景對(duì)抗攻擊的工作。面部背景對(duì)抗攻擊在物理域?qū)崿F(xiàn)的困難主要是由于每張圖片可添加背景擾動(dòng)的區(qū)域是有限的，因?yàn)樵谌四樇羟羞^(guò)程中大部分背景擾動(dòng)會(huì)被裁剪掉。為了在一定程度上解決以上提到的問(wèn)題，本文提出了在局部區(qū)域的物理域背景面部對(duì)抗攻擊的方法，稱之為BALA。BALA 的優(yōu)勢(shì)總結(jié)如下：
1) 擾動(dòng)塊不會(huì)覆蓋任何人臉區(qū)域，甚至被拍攝的前景人物都可以不知道它的存在；
2) BALA 只在背景的一小部分引入擾動(dòng)，并且可以實(shí)現(xiàn)較高的錯(cuò)誤分類概率；
3) 由于采用擾動(dòng)塊灰度化和相鄰像素平均化的方法，所提出的對(duì)抗性擾動(dòng)對(duì)數(shù)字域到物理域的轉(zhuǎn)換過(guò)程具有魯棒性；
4) 在擾動(dòng)生成的過(guò)程中應(yīng)用了兩種不同的損失函數(shù)能夠保證快速收斂和魯棒性。
2 理論推導(dǎo)
2.1 相關(guān)工作
2.1.1 數(shù)字域攻擊
目前，數(shù)字域?qū)构舴ㄖ饕梢苑譃榛谔荻萚7,21]和基于GAN[22]類方法，快速梯度符號(hào)法(FGSM)[13]是最具代表性的基于梯度的方法。此外，還有很多基于梯度更新的方法，例如多步迭代：投影梯度下降法(PGD)[12]和跳躍梯度下降法(SGD)[15]。梯度方法中的Deep Fool[23]可以計(jì)算最小擾動(dòng)水平以誤導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)；One Pixel[24]使用差分進(jìn)化算法通過(guò)僅更改幾個(gè)輸入圖像像素的值來(lái)實(shí)現(xiàn)高誤導(dǎo)率；LaVAN[14]則是使用盡可能小的矩形區(qū)域來(lái)誤導(dǎo)識(shí)別器。
2.1.2 物理域攻擊
Kurakin 等人研究發(fā)現(xiàn)數(shù)字域攻擊的部分對(duì)抗樣本能在打印或重拍照片中保留其對(duì)抗有效性[17]。期望轉(zhuǎn)換法(EOT)[18]在一定程度上能夠產(chǎn)生一個(gè)更加魯棒的對(duì)抗樣本來(lái)應(yīng)對(duì)各種物理變化，比如高斯噪聲，視角變化，和其他常見(jiàn)變化等。Adv-patch[16]就是一種非常有代表性的使用EOT 來(lái)產(chǎn)生一個(gè)相對(duì)高強(qiáng)度的擾動(dòng)去抵抗一系列物理變化的方法。在針對(duì)人臉識(shí)別的前景物理域?qū)构糁?，?duì)抗的眼鏡框架(例如圖1 板塊A)[25]、T恤[26]、在前額上的貼片[20]，都能以較高的成功率誤導(dǎo)人臉識(shí)別系統(tǒng)，但會(huì)影響清晰的面部觀察。Mikhail 等人使用生成的擾動(dòng)補(bǔ)丁(圖1 板塊A 中的補(bǔ)丁)誤導(dǎo)ArcFace-100 人臉識(shí)別系統(tǒng)，該補(bǔ)丁可以打印并粘貼作為人臉的一種屬性[19]。
2.2 本文方法
2.2.1 方法概述
本文提出的方法主要流程如圖1 的板塊B 或C所示，圖1 的板塊B 是物理域背景攻擊的流程，板塊C 是數(shù)字域背景攻擊的流程。根據(jù)能否獲取攻擊神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)和網(wǎng)絡(luò)模型權(quán)重參數(shù)可以將對(duì)抗攻擊分為白盒攻擊[19-20]和黑盒攻擊[27]。在本文中，我們使用白盒攻擊方案，即已知CNN 人臉識(shí)別器(F)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重參數(shù)。給定一張裁剪的人臉圖片x∈Rc*m*n，m和n是人臉圖像的寬和高，c是顏色通道的數(shù)量(一般c=3)，人臉圖片的原始類別為lorg。F能夠?qū)映射到一組向量F(x)=[p1,p2,p3,···,pk]，其中pj(j=1,2,3,···,k)為x屬于每一類的概率，k是所有類的總數(shù)，J表示F對(duì)x映射的類別。如式(1)所示，實(shí)驗(yàn)中將人臉識(shí)別定義為函數(shù)y(F,x)：
圖1 人臉對(duì)抗攻擊流程圖。板塊A 帶有擾動(dòng)塊(來(lái)自于Mikhail 等人[19]的補(bǔ)丁圖片)的物理域前景攻擊；板塊B 為物理域背景攻擊；板塊C 為數(shù)字域背景攻擊。每種攻擊方法目的在于使用對(duì)抗樣本誤導(dǎo)人臉識(shí)別器從而產(chǎn)生錯(cuò)誤的分類結(jié)果Fig.1 Scheme of facial adversarial attacks.Panel A is a physical foreground attack with an adversarial patch (patch image from Mikhail et al.[19]);Panel B is a physical adversarial background attack,and panel C is a digital adversarial background attack.Every attack approach aims to mislead a face recognizer with an incorrect class using adversarial examples
當(dāng)x被識(shí)別為正確的類別時(shí)，ypred(F,x)將會(huì)等于lorg。本文使用基于梯度下降的方法產(chǎn)生擾動(dòng)δ∈Rc*m*n，目標(biāo)背景區(qū)域的對(duì)抗擾動(dòng)塊將通過(guò)在2.2.2 節(jié)介紹生成掩膜M的方法進(jìn)行裁剪。圖2 顯示了生成對(duì)抗擾動(dòng)塊的流程，該流程由三部分組成：第一部分是找到合適的位置并生成掩膜M，第二部分是在數(shù)字域中基于反向梯度傳播的方法不斷迭代對(duì)抗樣本，第三部分是使用灰度化和平均化進(jìn)一步改進(jìn)對(duì)抗擾動(dòng)塊，使其在物理域更加魯棒。在實(shí)驗(yàn)生成擾動(dòng)塊的過(guò)程中考慮了常見(jiàn)的數(shù)字域到物理域的轉(zhuǎn)換T(x)，例如亮度變化、飽和度變化、縮放和噪聲的變化等。除此之外，第二部分和第三部分會(huì)迭代到對(duì)抗樣本能夠成功誤導(dǎo)人臉識(shí)別網(wǎng)絡(luò)F 或達(dá)到指定迭代次數(shù)。
圖2 BALA 產(chǎn)生一個(gè)對(duì)抗擾動(dòng)塊的流程。主要包括三個(gè)部分，分別是掩膜生成、擾動(dòng)生成和擾動(dòng)塊的改進(jìn)。T(·)表示一系列的物理變換Fig.2 The scheme of generating an adversarial patch in BALA.This scheme mainly consists of three parts,mask generation,perturbation generation,and perturbation further improving.T(·) represents a set of transformations
2.2.2 掩膜生成
本文提出基于下頜線[28]生成擾動(dòng)掩膜(M)方法，如圖3 所示。該方案可以有效避免擾動(dòng)在人臉裁剪過(guò)程中被裁剪掉。大多數(shù)現(xiàn)有的人臉檢測(cè)器都會(huì)產(chǎn)生矩形錨點(diǎn)，其中包括人臉和部分周圍背景[29]。很容易觀察到，面部下巴兩側(cè)的背景區(qū)域相對(duì)較大，適合嵌入對(duì)抗擾動(dòng)塊。
具體來(lái)說(shuō)，本文使用面部檢測(cè)算法[28]獲得下頜點(diǎn)(圖3(b)中的藍(lán)色點(diǎn))的最大外接矩形(圖3(b)中的綠色矩形)的四個(gè)角點(diǎn)作為候選點(diǎn)。根據(jù)擾動(dòng)塊的尺寸，在四個(gè)候選點(diǎn)中選擇最合適的點(diǎn)(圖3(b)中的紅色點(diǎn))，并將掩膜中對(duì)應(yīng)區(qū)域置為1(圖3(c)中白色區(qū)域)，掩膜的其他部分被置為0(圖3(c)中的黑色區(qū)域)。
圖3 掩膜制作的示例。(a) 為一張裁剪的人臉圖片；(b) 藍(lán)色的點(diǎn)是臉部輪廓下頜線的采樣點(diǎn)，綠色的線代表其最大外接矩形框；(c) 帶有白色補(bǔ)丁的掩膜，白色補(bǔ)丁代表著對(duì)抗擾動(dòng)塊的位置，紅色的點(diǎn)代表具體的候選點(diǎn)Fig.3 The illustration of mask generation.(a) Cropped face image;(b) Blue points are mandible points of the face,and the green lines represent the maximum outside rectangular;(c) The mask with a white patch represents the location of an adversarial patch,and the red point represents the specific candidate
2.2.3 擾動(dòng)生成
令x′為迭代過(guò)程中的對(duì)抗樣本，xadv為迭代結(jié)束后最終的對(duì)抗樣本，xadv被識(shí)別器識(shí)別為yanh。在得到合適的掩膜后，使用式(2)計(jì)算對(duì)抗擾動(dòng)，將擾動(dòng)添加至掩膜區(qū)域后重新計(jì)算此時(shí)圖像的分類結(jié)果，通過(guò)重復(fù)該過(guò)程，直到分類器分類錯(cuò)誤或達(dá)到迭代的次數(shù)上限。對(duì)抗擾動(dòng)的計(jì)算由梯度反向傳播得到，如下所示：
其中，ε是控制每次迭代擾動(dòng)強(qiáng)度的超參數(shù)，L為損失函數(shù)。
如果希望加速上述迭代的收斂，可以選擇較大的梯度損失函數(shù)。然而，這樣將會(huì)導(dǎo)致很難收斂到精確的結(jié)果，而且人臉識(shí)別器預(yù)測(cè)的類別將會(huì)在臨近分類閾值時(shí)反復(fù)跳變。與之相反，選擇一個(gè)較小的梯度損失函數(shù)可能會(huì)收斂得更加精確，但收斂過(guò)程通常會(huì)花費(fèi)更多的時(shí)間。因此，本文提出在不同的收斂階段使用兩個(gè)不同的損失函數(shù)，從而可以顯著減少產(chǎn)生有效對(duì)抗擾動(dòng)塊的迭代次數(shù)，如圖4 所示。當(dāng)人臉識(shí)別器對(duì)于x′的輸出仍為lorg時(shí)，使用Ls1作為式(2)中的L：
去加速收斂過(guò)程，如圖4 的步驟1 到步驟2 所示。當(dāng)lpred≠lorg時(shí)，使用Ls2作為式(2)中的L：
去微調(diào)x′，并在點(diǎn)2 處從pyorg到pyanh跳變，如圖4的步驟2 到步驟3 所示。
圖4 對(duì)抗擾動(dòng)塊的產(chǎn)生過(guò)程，在迭代過(guò)程中使用兩種不同的損失函數(shù)。Ls1和Ls2分別從步驟1 到步驟2(pyorg)和從步驟2 到步驟3(pyanh)的過(guò)程中的損失函數(shù)，并在點(diǎn)2 處從pyorg到pyanh 的跳變Fig.4 The generation process of an adversarial patch.Two different loss functions are used in iterations.Ls1and Ls2 are used in stage of step 1 to step 2 (pyorg) and step 2 to step 3 (pyanh),respectively.There is a change ofpyorgtopyanh at point 2
2.2.4 擾動(dòng)塊的改進(jìn)
為了使對(duì)抗擾動(dòng)在從數(shù)字域到物理域轉(zhuǎn)換的過(guò)程中繼續(xù)有效，BALA 對(duì)對(duì)抗擾動(dòng)塊進(jìn)一步改進(jìn)。在本文的實(shí)驗(yàn)場(chǎng)景中，以普通電子屏幕作為物理背景。主要原因包括以下幾個(gè)方面：首先，電子屏幕可以根據(jù)人臉的位置動(dòng)態(tài)調(diào)整及顯示對(duì)抗樣本或擾動(dòng)塊；其次，該場(chǎng)景可以模擬在現(xiàn)實(shí)生活中可以自由設(shè)置背景的在線會(huì)議；第三，這個(gè)場(chǎng)景可以方便實(shí)現(xiàn)屏幕圖像的重拍實(shí)驗(yàn)。
實(shí)驗(yàn)中的某個(gè)數(shù)字域的彩色對(duì)抗塊如圖5(a)所示，由于電子屏幕的顯示特性(電子噪聲和屏幕不同的色域空間)，屏幕上的彩色擾動(dòng)塊在通過(guò)相機(jī)重拍之后會(huì)造成失真，如圖5(b)所示。本文對(duì)原始圖像塊(patchdig)與重拍之后的圖像塊(patchre)之間的失真定義為 ω：
圖5 不同的BALA 對(duì)抗擾動(dòng)塊。(a) 不帶灰度化和均一化的彩色塊；(b) 不帶均一化的灰度塊；(c) 帶均一化的灰度塊；(d),(e),(f) 分別對(duì)應(yīng)(a),(b),(c)的屏幕重拍照片F(xiàn)ig.5 The diverse BALA adversarial patches.(a) Generated color patch without graying and averaging; (b) Generated gray patch without averaging;(c) Generated gray patch with averaging;Images (d),(e),(f) are corresponding re-taken images (a),(b),(c),respectively
通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，所有彩色圖片的失真值 ω，即圖5(a)和圖5(b)之間的失真值，遠(yuǎn)高于灰度的圖5(c)和圖5(d)的失真值 ω。所以BALA 使用灰度化過(guò)程來(lái)進(jìn)一步提高擾動(dòng)塊的對(duì)抗性；雖然灰度化會(huì)損失部分?jǐn)_動(dòng)信息，但BALA 可以使用灰度值直接計(jì)算對(duì)抗效果和迭代來(lái)消除這部分影響。另外，在迭代過(guò)程中，BALA 在對(duì)抗擾動(dòng)塊中也做了像素值均一化以保證在數(shù)字域(圖5(e))和重拍的對(duì)抗樣本(圖5(f))中都能進(jìn)一步提升對(duì)人臉識(shí)別器的誤導(dǎo)成功率。值得注意的是，BALA 只在對(duì)抗擾動(dòng)塊，也就是M=1的區(qū)域中采用了灰度化和均一化。這里把裁剪出M=1圖像區(qū)域的操作定義為crop(.)，通過(guò)填充0值擴(kuò)充該圖像塊區(qū)域并將其恢復(fù)為和M相同尺寸大小的操作定義為crop_reverse(.)。
綜上所述，通過(guò)BALA 產(chǎn)生對(duì)抗擾動(dòng)塊的詳細(xì)內(nèi)容如算法1 中的偽代碼所示。
3 實(shí)驗(yàn)結(jié)果
在如圖6 所示，實(shí)驗(yàn)使用一塊豎立的尺寸為60 chin (1 chin=2.54 cm)，分辨率為1080 p，流明為320 cd/m2，刷新頻率為50 Hz 的電子屏幕(圖6(c))作為背景，并設(shè)定從照相機(jī)到背景屏幕的距離約為1 m；使用的是分辨率為3850 pixels×2650 pixels 的普通智能手機(jī)的相機(jī)，將其固定在三腳架上進(jìn)行拍攝。三腳架的高度能夠根據(jù)前景人像進(jìn)行人為的調(diào)整。電子屏幕設(shè)置為全黑背景是為了盡可能減少屏幕背光的影響。在計(jì)算中使用NVIDIA RTX2080 GPU、E5-2600 CPU 和16 GB RAM 服務(wù)器生成對(duì)抗擾動(dòng)塊。
圖6 場(chǎng)景實(shí)拍實(shí)驗(yàn)設(shè)置。A 為相機(jī)，B 為三腳架，C 為電子背景屏幕，D 為前景人物Fig.6 The real-world experiment setup.A is a camera and B is the tripod;C is the electronic screen background and D is the foreground person
3.1 實(shí)驗(yàn)設(shè)置
識(shí)別器：BALA 采用常用的CNN 人臉識(shí)別網(wǎng)絡(luò)，VGG-FACE[30]作為識(shí)別器。采用LibFace-Detection[31]作為人臉檢測(cè)器，該檢測(cè)器的輸出是包含面部區(qū)域的矩形框。
數(shù)據(jù)集：實(shí)驗(yàn)中使用的人臉數(shù)據(jù)集(集合A)來(lái)自于5 位本研究團(tuán)隊(duì)人員(集合A1)以及Oxford VGG人臉數(shù)據(jù)集[30]中的1000 位人物(集合A2)，總計(jì)1005 名人物。實(shí)驗(yàn)中使用了預(yù)訓(xùn)練的人臉識(shí)別器網(wǎng)絡(luò)VGG Face[30]，選用集合A 中的各人物照片100 張，構(gòu)成100500 張訓(xùn)練圖片對(duì)VGG Face 預(yù)訓(xùn)練模型進(jìn)行微調(diào)，使其具備識(shí)別集合A 中人物的能力。同時(shí)在集合A 中隨機(jī)挑選500 個(gè)人物，分別獲取他們各100 張人臉照片(不同于集合A)作為測(cè)試集。最終，經(jīng)過(guò)微調(diào)訓(xùn)練的VGG-FACE 模型能夠在訓(xùn)練集中達(dá)到96.2%的識(shí)別準(zhǔn)確率，在測(cè)試集中達(dá)到95.1%的識(shí)別準(zhǔn)確率。此外，相關(guān)人員的人臉照片使用已通過(guò)其本人的授權(quán)。
對(duì)比方式：將BALA 和目前最具代表性的兩種對(duì)抗攻擊方法進(jìn)行對(duì)比，分別是LaVAN 和Advpatch。LaVAN[14]已經(jīng)表明，可以通過(guò)改變有限區(qū)域的像素值，成功誤導(dǎo)數(shù)字域中成功率非常高的識(shí)別器。Adv-patch 可以通過(guò)在背景中放置對(duì)抗擾動(dòng)塊來(lái)誤導(dǎo)識(shí)別器，但它更側(cè)重于在靜態(tài)場(chǎng)景中以物理域攻擊的方式，誤導(dǎo)物體分類器。與Adv-patch 相比，BALA能夠在前景人物移動(dòng)的場(chǎng)景中誤導(dǎo)人臉識(shí)別器。
3.2 照片重拍和場(chǎng)景實(shí)拍實(shí)驗(yàn)
在本文中進(jìn)行了重新拍攝照片以及模擬拍照過(guò)程的場(chǎng)景實(shí)拍實(shí)驗(yàn)。據(jù)了解，目前還沒(méi)有針對(duì)電子屏幕重拍場(chǎng)景下的人臉對(duì)抗樣本有效性研究。為了填補(bǔ)這一空白，本文在重新拍攝對(duì)抗樣本后測(cè)試了其對(duì)抗有效性。圖7 的上半部分是照片重拍實(shí)驗(yàn)的方案，圖7的下半部分是場(chǎng)景實(shí)拍實(shí)驗(yàn)的方案。這兩個(gè)實(shí)驗(yàn)的步驟簡(jiǎn)要概述如下：
收集人臉數(shù)據(jù)：在照片重拍實(shí)驗(yàn)中，在集合A2中獲取了每個(gè)人物1 張，共計(jì)1000 張不同的人臉照片。在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，拍攝了集合A1 中每一個(gè)人站在屏幕前的6 張不同角度的正面照片，拍攝場(chǎng)景如圖6 所示。之后，利用人臉檢測(cè)網(wǎng)絡(luò)LibFaceDetection從拍攝的照片中截取了尺寸為3×224×224 的3 通道彩色人臉圖片。
產(chǎn)生對(duì)抗擾動(dòng)塊：在給定3×224×224 的面部圖像后，利用Adv-patch 和LaVAN 分別生成一個(gè)3×65×65(約占224×224 的8.4%)的彩色對(duì)抗擾動(dòng)塊；其中ε=0.1，迭代次數(shù)限制為800次[14]。通過(guò)BALA 也產(chǎn)生一個(gè)3×65×65 的灰色對(duì)抗擾動(dòng)塊，其中ε=0.1，s=0.9，C=800。具體來(lái)講，BALA 在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，使用6 張照片來(lái)生成對(duì)抗擾動(dòng)塊，如圖7 綠色部分所示。此外，停止迭代的條件是對(duì)抗擾動(dòng)塊可以成功誤導(dǎo)VGG-Face 模型產(chǎn)生錯(cuò)誤的分類結(jié)果或達(dá)到迭代上限。顯示及重拍：在照片重拍實(shí)驗(yàn)中，將由Advpatch、LaVAN 和BALA 生成的對(duì)抗擾動(dòng)塊直接嵌入到原始數(shù)字圖像中，產(chǎn)生對(duì)抗樣本。三種方法產(chǎn)生的對(duì)抗樣本都會(huì)顯示在屏幕上并重新拍攝，以獲得輸入到VGG-FACE 識(shí)別器的評(píng)估圖像。在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，Adv-patch、LaVAN 和BALA 生成的對(duì)抗擾動(dòng)塊會(huì)直接顯示在背景屏幕上，將帶有對(duì)抗擾動(dòng)塊的背景與前景人物一起拍攝，以獲得在場(chǎng)景實(shí)拍實(shí)驗(yàn)中輸入到VGG-FACE 識(shí)別器的評(píng)估圖像。
圖7 兩種背景對(duì)抗攻擊實(shí)驗(yàn)的流程圖。藍(lán)色部分是照片重拍實(shí)驗(yàn)，綠色部分是場(chǎng)景實(shí)拍實(shí)驗(yàn)Fig.7 The pipeline of two background adversarial attack experiments.The blue part is photo re-taken experiment and green part is the real-world experiment
3.3 實(shí)驗(yàn)結(jié)果
照片重拍：表1 展示了3 種方法產(chǎn)生的對(duì)抗樣本經(jīng)過(guò)重拍之后的攻擊成功率(ASR)。其中ASR 定義為：在可被正確識(shí)別的原始人像圖片集合中，添加對(duì)抗塊后無(wú)法被正確識(shí)別的圖片比例。BALA 在照片重拍實(shí)驗(yàn)中平均迭代次數(shù)為483 次，平均每次迭代0.3 s，實(shí)現(xiàn)了最高的ASR(78.0%)，而在直接將擾動(dòng)添加在數(shù)字照片上的數(shù)字域攻擊中僅犧牲了2.9%的ASR。Adv-patch 方法在數(shù)字域攻擊中具有最佳性能(97.5%)。在圖8 中，展示了照片重拍的示例，包括原始人臉圖像(圖8(a))，通過(guò)3 種方法重拍的帶有對(duì)抗擾動(dòng)塊的照片(圖8(b))，以及錯(cuò)誤分類對(duì)應(yīng)的圖像(圖8(c))。
表1 在集合A2 中照片重拍的平均ASR(%)Table 1 Photo re-taken experiment results over set-A1 in terms of average ASR(%)
圖8 在照片重拍實(shí)驗(yàn)中，LaVAN，BALA 和Adv-patch 三種方法生成的對(duì)抗樣本。(a) 是原始人臉圖片；(b) 表示將對(duì)抗擾動(dòng)塊顯示到背景屏幕后重拍的照片；(c) 表示由VGG-FACE 識(shí)別的錯(cuò)誤類別對(duì)應(yīng)的圖像Fig.8 The adversarial examples generated by LaVAN,BALA,and Adv-patch in re-taken experiment.(a) is the original face image;(b) Present re-taking photos after displaying the adversarial patches on the background;(c) Present images of incorrect output classes from the VGG-FACE
在物理域的人臉照片重拍實(shí)驗(yàn)中，Adv-patch 的ASR(65.1%)要低于該原始研究中對(duì)物體分類的對(duì)抗攻擊實(shí)驗(yàn)結(jié)果。在數(shù)字域的人臉圖片攻擊實(shí)驗(yàn)中，LaVAN 的ASR(96.7%)也要低于他們的原始研究(LaVAN[14])中對(duì)物體分類的對(duì)抗攻擊實(shí)驗(yàn)結(jié)果。這些性能的下降可能是由于物體和人臉識(shí)別任務(wù)之間的差異，以及BALA 的實(shí)驗(yàn)場(chǎng)景更難攻擊的設(shè)置所造成的。
場(chǎng)景實(shí)拍：本文為每個(gè)測(cè)試人員分別采集了100張帶有輕微面部角度變化的圖像。本實(shí)驗(yàn)在集合A1中的5 位研究員上進(jìn)行，對(duì)于同一人的全部100 張照片都是使用相同的對(duì)抗擾動(dòng)塊。在實(shí)驗(yàn)中，將人臉到背景屏幕的距離分別設(shè)置為10 cm、20 cm 和50 cm。在10 cm 的距離設(shè)置下，BALA 在物理域場(chǎng)景實(shí)拍實(shí)驗(yàn)中的ASR(75.0%)比Adv-patch 方法高13.8%。這種BALA 優(yōu)于Adv-patch 的現(xiàn)象同樣也可以在20 cm和50 cm 的距離設(shè)置實(shí)驗(yàn)中觀察到，如表2 所示。帶有對(duì)抗擾動(dòng)塊的圖像比不帶對(duì)抗擾動(dòng)塊的圖像看起來(lái)更暗(如圖9 所示)，是因?yàn)槲覀兿鄼C(jī)的焦點(diǎn)聚焦在背景和前景之間的位置，以便能清晰地拍攝背景對(duì)抗擾動(dòng)塊和前景人臉。圖9(b)是將對(duì)抗擾動(dòng)塊顯示在背景屏幕然后重新拍攝的對(duì)抗樣本。圖9(c)是檢測(cè)的人臉圖片，圖9(d)是被誤識(shí)別之后的類別圖像。
圖9 通過(guò)BALA 在場(chǎng)景實(shí)拍實(shí)驗(yàn)中產(chǎn)生的對(duì)抗樣本。(a) 原始照片；(b) 將擾動(dòng)塊添加到背景后重新拍攝的照片；(c) 剪切人臉之后的對(duì)抗樣本；(d) VGG-FACE 網(wǎng)絡(luò)輸出的錯(cuò)誤分類對(duì)應(yīng)的人臉Fig.9 The adversarial examples generated by BALA in the real-world experiment.(a) The original photos;(b) Present re-taking photos after displaying the adversarial patches on the background;(c) Present adversarial examples from the cropped faces;(d) Present face images of incorrect output classes of the VGG-FACE network
表2 在集合A1 中，場(chǎng)景實(shí)拍實(shí)驗(yàn)中前景和背景屏幕之間不同距離的平均ASR(%)Table 2 Average ASR (%) of the different distance between foreground face and background screen in real-world experiments over set-A1
4 消融實(shí)驗(yàn)
4.1 BALA 中均一化的作用
本文分別使用無(wú)均值化、2×2 鄰域平均和4×4 鄰域平均的方法生成了不同種類的對(duì)抗擾動(dòng)塊來(lái)驗(yàn)證BALA 中均一化的作用。集合A 中同一圖像的對(duì)抗擾動(dòng)塊的示例如圖10 所示。相比于不做均值處理(圖10(a))和做4×4 鄰域均值處理(圖10(c))的對(duì)抗擾動(dòng)塊，采用2×2 鄰域均值處理(圖10(b))方法產(chǎn)生的對(duì)抗擾動(dòng)塊具有明顯的區(qū)別。
圖10 采用灰度化BALA 生成不同的均值對(duì)抗擾動(dòng)塊。(a) 無(wú)均值法生成的擾動(dòng)塊；(b) 采用2×2 鄰域均值化生成的擾動(dòng)塊；(c) 采用4×4 鄰域均值化生成的擾動(dòng)塊Fig.10 The diverse averaging images of BALA with graying.(a) Generated patch using no averaging approach;(b) Generated patch by averaging pixels in 2 × 2 region;(c) Generated patch by averaging pixels in 4 × 4 region
雖然沒(méi)有做均值處理的對(duì)抗擾動(dòng)塊會(huì)擁有更多的擾動(dòng)細(xì)節(jié)，但它的對(duì)抗效果會(huì)在從數(shù)字域到物理域轉(zhuǎn)換的過(guò)程中損失巨大；與2×2 鄰域均值處理的方法相比，不做均值處理的對(duì)抗樣本會(huì)在場(chǎng)景實(shí)拍實(shí)驗(yàn)中降低6.8%的ASR，在照片重拍實(shí)驗(yàn)中降低6.5%的ASR，如表3 所示。與2×2 鄰域均值處理方法相比，4×4 的鄰域均值處理后的對(duì)抗樣本在兩個(gè)實(shí)驗(yàn)中的ASR 均要低7%以上，在數(shù)字域中要低約20%，如表3 所示。因此，考慮到上述結(jié)果，選擇2×2 鄰域均值處理方法在BALA 中生成對(duì)抗擾動(dòng)塊。
4.2 BALA 中灰度化的作用
本文分別研究了進(jìn)行灰度化和不進(jìn)行灰度化(BALA-Color)生成的對(duì)抗擾動(dòng)塊的效果。BALAColor 在數(shù)字域攻擊中實(shí)現(xiàn)了稍高的ASR(增加2.6%)，但在物理域照片重拍實(shí)驗(yàn)中的ASR 會(huì)大幅下降(下降11.7%)，如表3 所示。在場(chǎng)景實(shí)拍的實(shí)驗(yàn)中，BALA-Color 的ASR(55.4%)比BALA(69.2%)低13.8%。這些結(jié)果表明了灰度化在物理域攻擊的優(yōu)勢(shì)。
表3 集合A 中BALA 的均一化作用下的平均ASR(%)Table 3 The results of averaging effect of BALA over set-A in terms of average ASR(%)
4.3 討論
上述實(shí)驗(yàn)表明，在場(chǎng)景實(shí)拍的黑色背景區(qū)域上放置有限大小的對(duì)抗擾動(dòng)塊來(lái)攻擊VGG-FACE 神經(jīng)網(wǎng)絡(luò)模型是可行的。如果進(jìn)一步使用對(duì)抗擾動(dòng)塊的模糊化處理[32]策略，BALA 還可以產(chǎn)生更具隱藏性的對(duì)抗擾動(dòng)塊，這對(duì)各種自然背景來(lái)說(shuō)就顯得不那么明顯。通過(guò)以上實(shí)驗(yàn)可以看出，生成的對(duì)抗擾動(dòng)塊實(shí)際上就是一些面部特征(圖8 和圖10)，例如鼻子、眼睛和額頭等。Mikhail 等人也已經(jīng)發(fā)現(xiàn)了相似的結(jié)論[19]。其次，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，如果在人臉檢測(cè)過(guò)程中，對(duì)抗擾動(dòng)塊受到一定程度的切割，當(dāng)切割面積小于總面積的5%，不會(huì)影響對(duì)抗擾動(dòng)塊攻擊VGG-FACE 模型的有效性。
對(duì)抗擾動(dòng)塊生成的過(guò)程中，在數(shù)字域中使用無(wú)損壓縮格式保存的對(duì)抗擾動(dòng)塊(例如PNG 格式)比其他壓縮圖像格式(例如JPG 等)，在物理域重新拍攝對(duì)抗樣本的過(guò)程中會(huì)表現(xiàn)得更加魯棒。
本文在實(shí)驗(yàn)設(shè)置中考慮了實(shí)際應(yīng)用場(chǎng)景問(wèn)題，場(chǎng)景實(shí)拍攻擊實(shí)驗(yàn)中參考了在線會(huì)議或直播的場(chǎng)景設(shè)置，例如固定的背景板和拍攝相機(jī)、適當(dāng)?shù)那氨尘熬嚯x、跟隨人臉產(chǎn)生的對(duì)抗擾動(dòng)塊、防剪裁的設(shè)定等。隨著在線會(huì)議、直播的興起，人臉數(shù)據(jù)隱私保護(hù)愈發(fā)成為必須要考慮的安全因素；在未來(lái)的線上會(huì)議、直播中，使用本文的方法，只需要在后面放一塊電子屏幕即可避免自己的人臉數(shù)據(jù)被惡意用做人臉識(shí)別器的訓(xùn)練圖片。
5 結(jié)論
本文提出了一種生成對(duì)抗擾動(dòng)塊的方法，通過(guò)將其顯示在背景設(shè)備上可以在物理域中攻擊人臉識(shí)別系統(tǒng)。根據(jù)實(shí)驗(yàn)結(jié)論，BALA 在ASR 方面優(yōu)于其他最先進(jìn)的背景攻擊方法。具體來(lái)說(shuō)，在照片重拍實(shí)驗(yàn)中，與Adv-patch 和LaVAN 相比，BALA 實(shí)現(xiàn)了超過(guò)其12%的ASR 性能。在場(chǎng)景實(shí)拍實(shí)驗(yàn)中，與Advpatch 方法相比，BALA 將ASR 提高了3.8%。本文提出的BALA 方法在物理域屏幕中添加背景擾動(dòng)塊不僅可以對(duì)抗非法人臉識(shí)別器，而且還能保證清晰的人臉面部觀察。在保護(hù)面部數(shù)據(jù)不被泄露的過(guò)程中，前景人物甚至可以不知道擾動(dòng)塊的存在。
猜你喜歡
井岡教育(2022年2期)2022-10-14 03:11:44
作文中學(xué)版(2022年1期)2022-04-14 08:00:34
汽車工程師(2021年12期)2022-01-17 02:29:54
當(dāng)代陜西(2020年14期)2021-01-08 09:30:42
學(xué)生天地(2020年31期)2020-06-01 02:32:06
中學(xué)生數(shù)理化·八年級(jí)物理人教版(2019年9期)2019-11-25 07:33:00
中學(xué)生數(shù)理化·中考版(2017年12期)2017-04-18 12:55:05
貴州師范學(xué)院學(xué)報(bào)(2016年4期)2016-12-01 03:54:07
計(jì)算機(jī)工程(2015年8期)2015-07-03 12:19:07
中學(xué)生(2015年2期)2015-03-01 03:43:33
