兩階段目標類指引的行人檢測對抗補丁生成算法

楊弋鋆，邵文澤,2，鄧海松，葛 琦，李海波

(1.南京郵電大學 通信與信息工程學院，南京 210003；2.南京理工大學 高維信息智能感知與系統(tǒng)教育部重點實驗室，南京 210094；3.南京審計大學 統(tǒng)計與數(shù)據(jù)科學學院，南京 211815)

0 引 言

近年來，深度學習[1-2]成為了機器學習領(lǐng)域最為熱門的研究方向之一。深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)技術(shù)的快速發(fā)展，也讓圖像分類[3]、物體檢測[4]、語義分割[5]等計算機視覺技術(shù)得到了質(zhì)的飛躍,智能駕駛、人臉識別[6]等新興技術(shù)也日漸成熟。

然而，對抗樣本的出現(xiàn)卻為這片欣欣向榮之景蒙上了一層陰影。2013年，Szegedy等[7]首次發(fā)現(xiàn)了對抗樣本[8]的存在。該團隊在測試圖片上附加一些經(jīng)過特殊設(shè)計且人眼難以察覺的輕微擾動，并將其輸入基于DNN的圖像分類系統(tǒng)后，會得到錯誤的輸出結(jié)果，而這個錯誤的輸出甚至可以被他們?nèi)我庵付āｋS著各方研究者對對抗樣本的深入研究，針對其他模型或任務(wù)的攻擊算法也隨后出現(xiàn)[9-12]。各種深度學習模型如DNN模型、強化學習模型、循環(huán)神經(jīng)網(wǎng)絡(luò)模型等，以及各類任務(wù)包括圖像分類、場景檢測、語義分割等，都無一例外地被量身定制的對抗樣本成功攻擊。

對抗補丁(adversarial patch)[13]作為對抗樣本的一種特殊形式，成為近幾年的熱門研究對象。對抗補丁是一種占據(jù)圖像一小部分的貼紙樣圖案，主要針對的是物體檢測系統(tǒng)，只需將該補丁放置在待測物體上，就可以成功欺騙檢測器，使其無法對待測物體進行正常識別。如何生成具有強悍攻擊能力與遷移能力的對抗補丁，便是當下的主要研究目標。對抗補丁的存在，給不少技術(shù)領(lǐng)域帶去了潛在的威脅。來自比利時魯汶大學的研究人員Thys等[14]發(fā)現(xiàn)，使用一個簡單的打印圖案就可以完全禁用行人檢測系統(tǒng)。他們以降低檢測器輸出端的物體存在置信度(object score)和分類概率(class score)作為優(yōu)化目標，通過反向傳播訓練生成對抗補丁，成功攻擊了基于Yolo-v2模型的行人檢測器。不過，Thys團隊在對抗補丁生成方法上，依然是最常見的抑制檢測得分的思路，他們的實驗結(jié)果盡管展現(xiàn)出了顯著的攻擊能力，但實際還有很大的提升空間。本文將對Thys等的工作進行深入研究，分析其存在的問題，找到可行的優(yōu)化空間。本文提出了一種基于兩階段目標類指引的對抗補丁生成算法，用以提升對抗補丁的攻擊能力。新算法由目標類指引階段和補丁增強階段組成，本文第3節(jié)將對該算法進行詳細介紹，并在第4節(jié)對新生成的對抗補丁的攻擊能力進行詳細的實驗驗證和數(shù)據(jù)分析。

1 相關(guān)工作

1.1 Yolo-v2物體檢測模型

Yolo-v2[15]是一個強大的一階段物體檢測模型，它是Yolo系列[16]的第二代作品。當其檢測到物體時會產(chǎn)生3個輸出：物體邊界框、存在置信度和分類概率，這3個數(shù)據(jù)均是輸入樣本在單個網(wǎng)絡(luò)上作前向傳遞后一步得到，其速度很快，能輕松達到每秒幾十幀。常與Yolo相提并論的是候選區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region convolutional neural network, RCNN)模型系列，其中Faster-RCNN[17]最為典型。Faster-RCNN的精度更高，但其計算量較大、速度較慢，在高實時場景下仍是Yolo-v2更受青睞。Yolo-v2是完全卷積的，在網(wǎng)絡(luò)的末端沒有全連接層。一個輸入圖像被傳遞到網(wǎng)絡(luò)中后，會在這個網(wǎng)絡(luò)中被逐層縮小，并以網(wǎng)格的形式呈現(xiàn)于輸出端，其分辨率相對于原始輸入顯著下降。例如，608×608的圖像最終以19×19的網(wǎng)格形式呈現(xiàn)于Yovo-v2網(wǎng)絡(luò)終層。每個網(wǎng)格中包含5個預測點，每個預測點都擁有自己的輸出[x,y,w,h,obj,cls1,cls2, …,clsn]。x和y表示物體邊界框的中心位置，w和h代表邊界框的寬度和高度，obj表示在該邊界框內(nèi)有物體存在的概率,即物體存在置信度，cls1至clsn表示該物體屬于各類的概率，即分類概率。Yolo-v2物體檢測概圖如圖1所示。圖1a表示圖像輸入網(wǎng)絡(luò)后會在多層卷積之后分割成若干網(wǎng)格單元，圖1中為7×7的網(wǎng)格；圖1b表示每個網(wǎng)格單元中，生成的5個候選的物體邊界框，每個邊界框都有對應(yīng)的輸出向量信息；圖1c表示每個網(wǎng)格單元中的物體屬于某一類的概率，如紫色表示判斷為自行車，綠色表示判斷為狗；圖1d則是經(jīng)過篩選后最終輸出的效果圖。目前，Yolo-v2仍然應(yīng)用廣泛，它也是計算機視覺領(lǐng)域的熱門研究模型。本文中的行人檢測器基于Yolo-v2模型，其參數(shù)模型由COCO數(shù)據(jù)集[18]訓練而來，共包含80個分類。

圖1 Yolo-v2物體檢測概圖

1.2 針對物體檢測對抗補丁攻擊的相關(guān)研究

到目前為止，針對物體檢測對抗補丁的研究取得了不少突出的成果。Eykholt研究團隊[19]通過訓練生成了一些不起眼的小貼紙，將它們貼在交通標志上后，智能汽車的檢測系統(tǒng)便無法識別這些交通標志了。該團隊對Robust Physical Perturbations[20]算法進行了一系列改進，引入了Disappearance Attack Loss算法，生成一系列用于攻擊檢測系統(tǒng)的小型對抗補丁。這些小補丁可以偽裝成涂鴉藝術(shù)或類似的東西融入路標圖像，使人們很難注意到。Thys等[14]則利用對抗補丁成功地讓行人逃避了檢測器的檢測。他們通過Adam[21]反向傳播算法迭代優(yōu)化損失函數(shù)來訓練對抗補丁。對于損失函數(shù)，其以降低行人檢測框中的物體存在置信度和分類概率兩個數(shù)值作為優(yōu)化目標，生成的對抗補丁只需放置在行人身上即可對檢測器產(chǎn)生有效的攻擊。前面介紹的對抗攻擊需要將補丁放置在目標物體之上產(chǎn)生部分區(qū)域的重疊，而Liu等[22]則展示了一種特殊的對抗補丁攻擊，他們所設(shè)計的對抗補丁只需放置在圖像的一角即可對整張圖片的所有物體產(chǎn)生攻擊。不過，這種對抗補丁也有局限性，其圖案類似于馬賽克，對測試圖片和補丁圖案也有尺寸上的限制，并不適用于真實世界的攻擊。Lee等[23]則對文獻[22]的工作做了進一步優(yōu)化，使其生成的對抗補丁成功在真實世界產(chǎn)生了攻擊。除了針對特定模型的攻擊能力，在不同模型間的遷移能力也是一個重要的研究點。Wu等[24]利用Yolo-v2、Faster-RCNN和SSD這3個模型進行聯(lián)合訓練，成功在R101-FPN、X101-FPN、FCOS、RETINANET-R50等多種骨干模型，以及VOC2007、Inria等多個數(shù)據(jù)集之間產(chǎn)生較為顯著的遷移攻擊能力。盡管他們使用的核心思路依然是白盒條件下的以抑制檢測得分為損失函數(shù)優(yōu)化目標的反向傳播法，但實驗結(jié)果確實展現(xiàn)出了近似黑盒條件下的攻擊能力。

2 本文方法

2.1 抑制檢測得分算法

本算法中涉及的基本函數(shù)情況如下。

x′=x+tr(p)

(1)

(1)式中：x表示原始輸入樣本；p表示對抗補??；tr(p)代表對補丁進行角度偏轉(zhuǎn)、加噪、亮度對比度調(diào)節(jié)等操作；x′表示被放置了對抗補丁的樣本，即對抗樣本。

(2)

(2)式中：i代表的是當前批次的第i幅圖像，每個批次會選擇m幅圖片進行訓練；Fx′表示樣本x′輸入檢測器后的輸出信息，包括邊界框、物體存在置信度和分類概率；Jobj[·]函數(shù)用于提取物體存在置信度的值，Jobj[Fx′,y]則代表了在輸出信息Fx′中提取出被檢測為y類(即“person”類)物體的存在置信度；Lobj表示本次迭代參與訓練的所有樣本的置信度均值，在優(yōu)化過程中其值越低越好。

(3)

(3)式中：Jcls[·]表示分類概率的提取函數(shù)；Jcls[Fx′,y]則表示被檢測為y類(即“person”類)的分類概率；Lcls表示本次迭代參與訓練的所有樣本指向y類的分類概率均值，在優(yōu)化過程中其值越低越好。(3)式的目的是阻止檢測器將行人識別為“person”，其結(jié)構(gòu)與Lobj相似。

為適應(yīng)真實世界的對抗攻擊，Thys團隊還引入了(4)—(5)式所示的兩個函數(shù)。

(4)

(4)式中：Lnps表示不可打印指數(shù)(non-printability score)；p表示對抗補??；pi,j表示對抗補丁i行j列像素的色值；C表示打印機的色域；ck是打印機色域中第k個色值。對抗補丁的每個像素會選取距離其最近的ck進行損失計算。這個函數(shù)的目的是讓數(shù)字化的對抗補丁以盡量小的顏色失真被色域有限的打印機打印出來。

(5)

(5)式中：Lpns表示補丁噪聲指數(shù)(patch noise score)。該損失計算的是對抗補丁相鄰像素間的色值差，其目的在于讓相鄰的像素顏色盡可能接近，使補丁圖案更顯平滑，讓對抗信息顯示區(qū)塊化。

至此，本文建立主損失函數(shù)為

Loss=αLnps+βLpns+γLdet

(6)

(6)式中：Ldet是主損失函數(shù)的核心部分，當Ldet=Lobj時，表示僅抑制物體存在置信度；當Ldet=Lcls時，表示僅抑制分類概率；而Ldet=LclsLobj則表示同時抑制這兩個數(shù)值。α,β,γ是3個在訓練過程會被手動微調(diào)的參數(shù)，以尋找3個損失部分的最佳組合比。

2.2 基于兩階段的目標類指引算法

2.2.1 目標類指引階段

本文對Thys團隊用抑制檢測得分算法生成的幾個對抗補丁進行了攻擊實驗，實驗結(jié)果如表1所示，其中IOU為交并比(intersection over union)。

表1 Thys等[14]工作的統(tǒng)計結(jié)果

由表1可見，由LclsLobj生成的對抗補丁的攻擊能力弱于單獨使用Lobj，分析如下。

當損失函數(shù)僅引入Lobj時，整個訓練過程會非常專一，對抗補丁上的所有信息都集中于對物體存在置信度的攻擊。引入Lcls后，訓練過程將試圖尋找一個最佳的結(jié)果，讓受攻擊的行人在高維空間中的特征偏離“person”的特征域。但是，特征空間畢竟是高維的、復雜的，其特征向量實際可以朝任意方向偏離。盡管訓練使用的Inria數(shù)據(jù)集[23]是行人數(shù)據(jù)集，但其中的行人有著不同的姿勢、朝向、著裝以及背景環(huán)境，這些繁雜的因素都會影響對抗補丁的收斂，從而使特征向量無法產(chǎn)生統(tǒng)一的指向。這樣一來，通過使用LclsLobj生成出的補丁圖案中將會包含兩個部分的信息，一部分用于攻擊物體存在置信度，另一部分則用于攻擊分類概率。由于Lcls無法讓受攻擊目標在特征空間中擁有確定的偏移方向，對于新的輸入，這部分的攻擊信息往往無法產(chǎn)生實際的攻擊效果。因此，在損失函數(shù)中使用LclsLobj反而會劣于Lobj。

為了驗證上述推斷的合理性，并生成更具攻擊能力的對抗補丁，引入一個目標類的損失函數(shù)Ltar，對原有的損失函數(shù)進行優(yōu)化。其作用是引導受攻擊物體在特征空間中的偏移方向。Ltar的結(jié)構(gòu)為

(7)

(7)式中：yt表示目標類(target class)；Jcls[Fx′,yt]表示樣本x′被識別為yt類的分類概率。與前文表述的損失函數(shù)Lcls不同，在優(yōu)化過程中，Ltar的值應(yīng)該越大越好。因為Ltar實際表示的是檢測器將受攻擊行人檢測為目標類yt的概率，該目標類可以根據(jù)COCO數(shù)據(jù)集[16]中所包含的類進行任意指定。主損失函數(shù)可以表示為

Lossp=αLnps+βLpns+γLp

(8)

(9)

從理論上講，如果將新的損失函數(shù)產(chǎn)生的對抗補丁放置在行人身上，檢測器不僅無法檢測出行人，還會在同一區(qū)域內(nèi)檢測出原先不存在的目標物體，比如“clock”。

2.2.2 補丁增強階段

Losse=αLnps+βLpns+γLe

L1=Lobj1Lcls1

L2=Lobj2Lcls2

(10)

(10)式中：L1表示針對“person”類的損失函數(shù)；Lobj1表示“person”的存在置信度；Lcls1表示“person”的分類概率，其數(shù)值越小越好；L2表示針對目標類的損失函數(shù)；Lobj2表示目標類的存在置信度；Lcls2表示目標類的分類概率，其數(shù)值越大越好。

之所以能夠提取目標類物體的檢測框信息，是因為該階段是在前一階段中已生成的對抗補丁上進行的，被攻擊的樣本會被檢測出之前不存在的目標對象，并生成相應(yīng)的檢測框信息。這也意味著補丁增強不適用于在第一階段中未能形成成型補丁的類。

2.3 對抗補丁訓練過程

對抗補丁訓練過程如圖2所示。首先，選擇初始補丁圖案，如果是第一階段，即目標類指引階段，則它是一個噪聲圖案；如果是第二階段，即補丁增強階段，則它是對應(yīng)類的已生成的對抗補丁。其次，借鑒Expectation-of-transform[25]的策略，對補丁進行角度偏轉(zhuǎn)、加噪、亮度對比度調(diào)節(jié)等操作，并將其置于訓練圖像中行人邊界框的中間位置。再次，將訓練圖像輸入檢測器，在輸出端提取邊界框信息并構(gòu)建損失函數(shù)。如果是第一階段，則從“person”檢測框中提取Lobj和Lcls；如果是第二階段，則分別提取“person”檢測框和“target class”檢測框中的Lobj和Lcls信息。最后，使用Adam算法進行反向傳播，并更新補丁圖案的像素值，經(jīng)過多次迭代，直到圖案收斂不再產(chǎn)生變化為止。

圖2 對抗補丁訓練過程概圖

3 實 驗

3.1 實驗配置

本文實驗使用的訓練樣本集為Inria數(shù)據(jù)集[26]，測試樣本集則為Inria和Cityscapes[27]兩個數(shù)據(jù)集。Inria數(shù)據(jù)集是一個多環(huán)境的行人數(shù)據(jù)集，Cityscapes數(shù)據(jù)集是一個大型的行車視角道路場景數(shù)據(jù)集。實驗在Inria數(shù)據(jù)集中選取148張圖片用于實際的測試圖片集，其中一共包含了235個行人樣本，每個行人樣本都將被獨立統(tǒng)計，且所有指標的數(shù)值都基于該235個行人樣本; 從圖片總數(shù)超過20 000張的Cityscapes數(shù)據(jù)集中篩選100張包含行人對象的圖片，共220個行人樣本，用于測試對抗補丁遷移攻擊能力。

本實驗針對的Yolo-v2模型由COCO數(shù)據(jù)集訓練而來，該數(shù)據(jù)集共有80個類。對于每一個類指引，生成的對抗補丁不會具有相同的圖案和攻擊能力，本實驗將對所有目標類進行統(tǒng)計分析。

3.2 統(tǒng)計指標

本文設(shè)置了6個統(tǒng)計量用于實驗結(jié)果的統(tǒng)計分析，分別是：無框(no-box)數(shù)、異常框(anomalous-box)數(shù)、全框(full-box)數(shù)、召回率a(recall-a)、召回率b(recall-b)和交并比(IOU)。無框數(shù)表示被檢測后沒能產(chǎn)生邊界框的行人樣本數(shù)量，這里要注意的是沒產(chǎn)生邊界框的底層原因是其對應(yīng)的物體存在置信度低于閾值(默認是0.5)，實際上其邊界框信息仍是可以從模型中提取的。異?？驍?shù)表示被檢測后生成了不合理的邊界框的行人樣本數(shù)量。比如一些邊界框只能框出行人一半的身體，還有一些邊界框則沒有框入行人的頭和腳，這些都被視為異常邊界框。全框數(shù)表示被檢測器完全框住的行人樣本數(shù)，不過這并不意味著這些邊界框與真實邊界框高度吻合。IOU是物體檢測任務(wù)中常用的指標，表示預測邊界框與真實邊界框的交并比。IOU的含義如圖3所示。圖3中，A表示正確檢測框，B表示實際檢測框，C則是兩個檢測框的交合部分，區(qū)域C的面積與區(qū)域A和B的總面積的比值即為IOU。召回率a是手動計算的召回率，按full-box/235計算，也就是把所有的full-box看作正樣本。召回率b是以IOU為判定標準計算的召回率，實驗將所有IOU大于0.7的行人包圍框判定為正樣本，并同樣除以235來計算出結(jié)果。

圖3 圖像交并比(IOU)解釋圖

本文實驗使用Thys等所用的Inria數(shù)據(jù)集，還添加了噪聲補丁作為對照，以證明補丁遮擋不會對檢測器產(chǎn)生明顯的影響，真正的影響還是來自補丁上的圖案。

3.3 目標類指引階段的實驗結(jié)果

COCO數(shù)據(jù)集包含了80個類，實驗對除“person”之外的其他79個類全部進行了數(shù)據(jù)統(tǒng)計。結(jié)果表明，并非所有的類指引都能產(chǎn)生滿意的結(jié)果，只有部分的類指引可以生成更加強大的對抗補丁，大部分類指引的結(jié)果劣于LclsLobj的數(shù)據(jù)；另外還有部分類指引根本無法生成收斂的對抗補丁，但它們依然擁有攻擊能力，只是檢測器沒能根據(jù)設(shè)計目的檢測到對應(yīng)的目標類，這些未能收斂成形的補丁無法參與后續(xù)的補丁增強階段。表2展示了該實驗的部分統(tǒng)計結(jié)果。

表2 目標類指引階段的部分統(tǒng)計結(jié)果展示

僅以IOU作為評判指標，在79個類中，有17個類指引生成的對抗補丁優(yōu)于單獨使用Lobj損失函數(shù)，7個類指引的結(jié)果介于Lobj和LclsLobj之間，15個類指引無法生成收斂成形的補丁，剩下39個類指引的結(jié)果則劣于LclsLobj。

該結(jié)果證明目標類指引算法可行。目標類指引算法讓受攻擊行人對象在深度模型中的特征向量向目標類的特征空間偏移。由于特征空間的高維性和復雜性，目標類特征區(qū)域太小或是太遠，都會導致特征向量無法到達有效的位置。構(gòu)建該算法的根本目標，是生成更加強大的對抗補丁，因此，對于這79個類，只要有一部分的類指引獲得成功，就表明了本算法的可行性。

綜上所述，使用目標類指引算法確實可以生成攻擊能力更強的對抗補丁。在這之中，由“clock”生成的對抗補丁產(chǎn)生了最低的IOU數(shù)值，其值從0.244 8下降至0.098 1，效果明顯。圖4展示了由目標類指引算法生成的部分對抗補丁圖像。

圖4 在目標類指引階段生成的部分對抗補丁圖像

3.4 補丁增強階段的實驗結(jié)果

本文實驗對所有在目標類指引階段中成功收斂的對抗補丁都進行了增強訓練，表3展示了部分統(tǒng)計結(jié)果。

表3 補丁增強后的部分統(tǒng)計結(jié)果展示

不難發(fā)現(xiàn)，一些新的類在進行增強訓練后其攻擊能力顯著提升，如“teddy bear”；也有類的效果下降，如“banana”。實驗表明，補丁增強方法并不是對所有類都有正面效果，許多類在進行補丁增強操作后生成的對抗補丁的攻擊能力反而下降了。盡管如此，實驗依然有效證明了補丁增強階段可以使對抗補丁的攻擊能力得到進一步提升。該階段對部分類指引產(chǎn)生了極強的正面效果，如“teddy bear”。由“teddy bear”作為目標指引所生成的對抗補丁，讓邊界框的IOU從0.098 1更進一步地下降到了0.043 5。圖5展示了在補丁增強階段生成的部分對抗補丁圖像。

圖5 在補丁增強階段生成的部分對抗補丁圖像

圖6展示了部分測試結(jié)果。圖6中，第一行是使用噪聲補丁后的測試結(jié)果圖，可以看到所有行人對象都被成功檢測出來，這證明補丁的遮擋不會明顯影響檢測器性能；第二行是當損失函數(shù)僅抑制Lobj時生成的對抗補丁的測試結(jié)果圖，可以看到僅有個別行人對象被檢測出來；第三行是目標類指引算法的第一階段以“clock”作為目標類所生成的對抗補丁的測試結(jié)果圖，行人大都未被檢測出來，且補丁圖案也被識別為“clock”；第四行展示的是第二階段以“teddy bear”作為目標類所生成的對抗補丁，在進行補丁增強后得到的部分測試結(jié)果圖，可以看到所有行人對象都未能被識別出來，而補丁圖案則被識別為“teddy bear”。

圖6 部分測試結(jié)果圖

3.5 Cityscapes數(shù)據(jù)集遷移攻擊實驗

針對行人檢測系統(tǒng)的實際應(yīng)用最先出現(xiàn)在高度依賴視覺感知的智能駕駛系統(tǒng)中。Cityscapes數(shù)據(jù)集作為智能駕駛視覺系統(tǒng)最常用的實驗數(shù)據(jù)集，將被用于進一步驗證新算法的有效性。

本部分選擇表3中攻擊效果最佳的8個類進行實驗。表4展示了Cityscapes數(shù)據(jù)集攻擊實驗的統(tǒng)計結(jié)果。實驗同樣測得了在Cityscapes集上僅使用Lobj損失函數(shù)時的IOU，由表4中的Lobj表示。

表4 Cityscapes數(shù)據(jù)集部分統(tǒng)計結(jié)果展示

對比表4與表3可以發(fā)現(xiàn)，相較于在Inria數(shù)據(jù)集上的結(jié)果，所有的對抗補丁的攻擊能力都有所下降。如Thys團隊的補丁，其IOU從Inria數(shù)據(jù)集的0.244 8上升至0.299 6；攻擊能力最強的指向“teddy bear”類的對抗補丁，其IOU也從0.043 5上升至0.113 3。另外，參與實驗的8個類指向的對抗補丁在排序上也發(fā)生了很大的變化。IOU值最小的，即攻擊能力最強的兩個對抗補丁依然是“teddy bear”和“clock”。圖7展示了9個對抗補丁之間攻擊能力的對比。圖8展示了部分實驗結(jié)果圖。綜合來講，數(shù)據(jù)集的遷移攻擊會導致各補丁攻擊效果產(chǎn)生不同程度的下降，但其總體攻擊能力能夠被有效保留。

圖7 各類指向?qū)寡a丁IOU結(jié)果對比

圖8 Cityscapes數(shù)據(jù)集攻擊實驗部分結(jié)果圖

3.6 收斂性和復雜度分析

算法生成對抗補丁所采用的訓練樣本集為Inria數(shù)據(jù)集，共包含580個樣本，算法每使用一次全部樣本稱為一次迭代(Iteration)。算法的兩個階段在反向傳播過程采用的優(yōu)化算法均是Adam，初始學習率設(shè)置為0.008，迭代次數(shù)上限設(shè)置為2 000次，batchsize設(shè)定為8。此外，兩個階段的損失函數(shù)Lossp、Losse的參數(shù)α、β、γ均設(shè)置為0.05、0.1和1。

本節(jié)實驗選擇在目標類指引階段和補丁增強階段表現(xiàn)最優(yōu)的“clock”和“teddy bear”作為分析對象，分別給出補丁攻擊能力(以IOU表示)隨著迭代次數(shù)的變化以及補丁訓練過程的實際耗時。圖9和圖10分別展示了上述對抗補丁在算法兩個階段的迭代訓練過程。

由圖9可見，“clock”和“teddy bear”的IOU在迭代次數(shù)為400至1 000時均快速下降，在1 000次迭代后逐漸收斂，在大約1 300次迭代后達到最佳效果。算法每次迭代大約50 s，目標類指引階段生成上述對抗補丁大約耗時18 h。

圖9 目標類指引階段對抗補丁攻擊能力變化曲線

由圖10可見，不管是“clock”還是“teddy bear”，IOU在訓練初期快速上升，而后在約100至600次迭代中快速下降，最終在約800次迭代后達到最佳效果。補丁增強階段使用的初始補丁在第一階段訓練完成，由于損失函數(shù)的改變，兩階段的訓練過程沒有接續(xù)性，因此，補丁在第二階段的訓練初期會出現(xiàn)圖案“重構(gòu)”的過程，使補丁攻擊能力出現(xiàn)一定的回撤。此外，該階段算法的每次迭代耗時同樣是大約50 s，在補丁增強階段生成上述對抗補丁大約耗時11 h。

圖10 補丁增強階段對抗補丁攻擊能力變化曲線

本文共進行了針對79個目標類的兩階段實驗，耗時量巨大。如何在保證對抗補丁攻擊能力的同時大幅提升補丁生成效率是值得本文下一步探討的問題。

4 結(jié) 論

本文針對行人檢測對抗攻擊提出基于兩階段目標類指引的對抗補丁生成算法。該算法首先提出目標類指引的概念，添加新構(gòu)建的損失函數(shù)模塊，使生成的對抗補丁能夠引導檢測器將行人識別為目標類；其次，針對自我抑制的問題進一步優(yōu)化損失函數(shù)，提出補丁增強訓練方法，提升對抗補丁攻擊能力。實驗結(jié)果顯示，所提算法的兩個階段都大幅提升了對抗補丁的攻擊能力。其中，通過補丁增強獲得的目標類為“teddy bear”的對抗補丁產(chǎn)生了最佳攻擊效果，對應(yīng)IOU指標為0.043 5，相比Thys團隊的0.244 8明顯下降。此外，數(shù)據(jù)集遷移實驗顯示，對抗補丁在不同數(shù)據(jù)集上的攻擊效果雖有下降，但依然能保證有效的攻擊能力。