車牌識(shí)別系統(tǒng)的黑盒對(duì)抗攻擊

陳晉音 沈詩(shī)婧 蘇蒙蒙 鄭海斌 熊 暉

深度學(xué)習(xí)因其強(qiáng)大的特征提取和建模能力為人工智能的發(fā)展提供了巨大的機(jī)遇[1].其中,深度神經(jīng)網(wǎng)絡(luò)(Deep neural network,DNN)作為最常用的深度學(xué)習(xí)方法之一,在計(jì)算機(jī)視覺(jué)[2]、自然語(yǔ)言處理[3]、工業(yè)控制[4]、生物信息[5]等眾多研究領(lǐng)域獲得成功.同時(shí)DNN 廣泛應(yīng)用于實(shí)際生活中,如面部識(shí)別[6]、語(yǔ)音識(shí)別[7]、車牌識(shí)別等,與我們的日常生活密不可分.

隨著DNN 的應(yīng)用普及,其安全問(wèn)題也日益凸顯,已有研究表明DNN 容易受到對(duì)抗樣本的攻擊[8],即在正常樣本上添加精心設(shè)計(jì)的微小對(duì)抗擾動(dòng)后,DNN 將以較高的置信度輸出錯(cuò)誤類標(biāo).更糟糕的是,對(duì)抗樣本可同時(shí)欺騙多種不同的DNN 模型[9].根據(jù)攻擊者是否已知目標(biāo)模型的內(nèi)部結(jié)構(gòu),攻擊可分為白盒攻擊和黑盒攻擊;根據(jù)實(shí)施攻擊的應(yīng)用場(chǎng)景不同,攻擊可分為數(shù)字空間攻擊和物理空間攻擊[10].雖然數(shù)字空間中的白盒攻擊產(chǎn)生的對(duì)抗擾動(dòng)是人眼不可見(jiàn)的,但是攻擊時(shí)需要獲取模型內(nèi)部結(jié)構(gòu)信息且對(duì)抗擾動(dòng)難以精確打印,因此難以應(yīng)用于實(shí)際系統(tǒng)[11].

基于DNN 的車牌識(shí)別系統(tǒng)已廣泛應(yīng)用于生活,如不停車收費(fèi)系統(tǒng)(ETC)、停車場(chǎng)自動(dòng)收費(fèi)管理、道路電子警察等.本文首次提出了物理空間中車牌識(shí)別系統(tǒng)的黑盒攻擊方法,即在未知模型內(nèi)部結(jié)構(gòu)信息的前提下生成有效的對(duì)抗樣本,實(shí)現(xiàn)對(duì)商業(yè)車牌識(shí)別系統(tǒng)的物理攻擊.本文通過(guò)對(duì)抗攻擊發(fā)現(xiàn)系統(tǒng)漏洞,為進(jìn)一步提高車牌識(shí)別系統(tǒng)的魯棒性提供研究基礎(chǔ).

在物理空間中對(duì)車牌識(shí)別系統(tǒng)展開攻擊,除了需要考慮擾動(dòng)盡可能小的限制條件外,還需要克服以下幾個(gè)困難:1)物理空間中的攻擊成功率易受拍攝環(huán)境的影響(如角度、距離、光線等);2)添加的擾動(dòng)應(yīng)具有迷惑性,即人眼雖然能觀測(cè)到,但不認(rèn)為是一種攻擊手段;3)制作擾動(dòng)時(shí)受現(xiàn)實(shí)條件制約,例如打印出來(lái)的擾動(dòng)存在色差,導(dǎo)致對(duì)抗樣本在物理空間中失效.

針對(duì)以上物理空間攻擊存在的困難,本文提出基于精英策略的非支配排序遺傳算法(NSGAII)[12]的黑盒攻擊,通過(guò)模型的輸出類標(biāo)及對(duì)應(yīng)置信度生成對(duì)抗樣本.此外,本文對(duì)樣本進(jìn)行角度、距離、光線等模擬變換,并將變換后的攻擊效果作為優(yōu)化目標(biāo)之一,提高了對(duì)抗樣本對(duì)環(huán)境因素的魯棒性.本文將擾動(dòng)控制為純黑色塊,可用車子行駛過(guò)程中飛濺的淤泥塊代替.擾動(dòng)可被攝像頭捕獲導(dǎo)致系統(tǒng)錯(cuò)誤識(shí)別,但人將其視為正常污漬.

為驗(yàn)證本方法在物理環(huán)境中的可實(shí)現(xiàn)性,分別在實(shí)驗(yàn)室和真實(shí)環(huán)境中對(duì)車牌識(shí)別系統(tǒng)展開攻擊.在實(shí)驗(yàn)室環(huán)境中,通過(guò)改變角度、距離、光線等環(huán)境因素,驗(yàn)證本文攻擊具有較強(qiáng)的魯棒性;在真實(shí)環(huán)境中,分別對(duì)三種車牌識(shí)別場(chǎng)景(躲避公路上探頭抓拍、躲避車牌尾號(hào)限行措施、冒充出入庫(kù)車輛)進(jìn)行攻擊.此外,本文還將對(duì)抗樣本用于開源的商業(yè)軟件中進(jìn)行測(cè)試,驗(yàn)證了攻擊方法的遷移性.

綜上所述,本文的主要?jiǎng)?chuàng)新點(diǎn)包括:

1)首次提出物理空間中車牌識(shí)別系統(tǒng)的黑盒攻擊方法,僅通過(guò)模型的輸出類標(biāo)和對(duì)應(yīng)置信度即可造成有效攻擊,并成功攻擊商用車牌識(shí)別系統(tǒng).

2)提出基于NSGA-II 多目標(biāo)優(yōu)化的黑盒攻擊方法,在對(duì)抗樣本生成過(guò)程中引入角度、距離、光線等環(huán)境因素,提高了對(duì)抗樣本的魯棒性.

3)提出多種真實(shí)場(chǎng)景中的車牌識(shí)別攻擊方案,實(shí)現(xiàn)了對(duì)商用車牌識(shí)別系統(tǒng)的漏洞檢測(cè).

1 相關(guān)工作

深度學(xué)習(xí)的對(duì)抗攻擊是指在模型測(cè)試階段,攻擊者通過(guò)在正常樣本上添加精心設(shè)計(jì)的微小擾動(dòng)得到對(duì)抗樣本,使得DNN 誤判的惡意攻擊[10].已有的對(duì)抗攻擊方法主要包括:

白盒攻擊.Goodfellow 等[13]提出快速梯度符號(hào)法(Fast gradient sign method,FGSM),通過(guò)梯度方向搜索快速產(chǎn)生對(duì)抗攻擊效果的擾動(dòng).Kurakin 等[14]提出基本迭代法,采用小的搜索步長(zhǎng)進(jìn)行迭代計(jì)算擾動(dòng),并將BIM 擴(kuò)展為迭代極小可能類法,得到具有更強(qiáng)的對(duì)抗攻擊性和較弱遷移性的對(duì)抗樣本.Moosavi-Dezfooli 等[15]提出DeepFool 方法,能夠以更小的擾動(dòng)實(shí)現(xiàn)與FGSM 相近的攻擊效果.Carlini 等[16]提出C&W 攻擊,通過(guò)限制不同的范數(shù)實(shí)現(xiàn)了較強(qiáng)的攻擊效果.Papernot 等[17]提出了基于雅可比的顯著圖的攻擊,通過(guò)限制擾動(dòng)范數(shù)L0,得到擾動(dòng)數(shù)量最少的對(duì)抗樣本.Lyu 等[18]構(gòu)建了對(duì)抗樣本的正則化項(xiàng),并提出了三種基于梯度的攻擊方法.

黑盒攻擊.Su 等[19]提出了單像素點(diǎn)攻擊方法,利用差分進(jìn)化概念僅通過(guò)修改單個(gè)像素點(diǎn)即可生成對(duì)抗樣本.Brendel 等[20]提出了基于決策的邊界攻擊算法Boundary,從較大的對(duì)抗性擾動(dòng)開始,在保持對(duì)抗性的同時(shí)逐漸減少擾動(dòng).Chen 等[21]提出了一種基于零階優(yōu)化的攻擊方法ZOO,通過(guò)直接估計(jì)目標(biāo)模型的梯度來(lái)生成對(duì)抗性的例子.Tu 等[22]提出了ZOO 的改進(jìn)方法AutoZOO,利用基于自編碼的零階優(yōu)化算法大大減少了對(duì)目標(biāo)模型的訪問(wèn)次數(shù).Chen 等[23]提出了Boundary++,通過(guò)將Boundary 與ZOO 相結(jié)合的方法彌補(bǔ)了Boundary 算法中模型訪問(wèn)次數(shù)過(guò)多的缺陷.Chen 等[24]提出了基于進(jìn)化計(jì)算的黑盒攻擊方法,實(shí)現(xiàn)有效的黑盒攻擊.Bhagoji 等[25]提出一種新的基于梯度估計(jì)的黑盒攻擊方法,該方法需要對(duì)目標(biāo)模型的類概率進(jìn)行查詢?cè)L問(wèn),并具有不依賴于攻擊對(duì)象的遷移性.

物理空間的攻擊.Kurakin 等[14]首次證明了現(xiàn)實(shí)世界中攻擊的存在.在物理空間中的對(duì)抗攻擊是指在現(xiàn)實(shí)環(huán)境中對(duì)系統(tǒng)進(jìn)行攻擊,目標(biāo)模型大多為落地服役模型,攻擊手段為現(xiàn)實(shí)可操作手段.與上文介紹的數(shù)字空間中的攻擊相比,其主要困難在于誤導(dǎo)實(shí)際應(yīng)用系統(tǒng)的攻擊者往往不能精確控制系統(tǒng)的輸入.相反,攻擊者可能只能控制它們的物理外觀.將物理場(chǎng)景轉(zhuǎn)換為數(shù)字輸入的過(guò)程不受攻擊者的控制,且轉(zhuǎn)換過(guò)程易受光照、姿態(tài)和距離等因素的影響.因此,在實(shí)際操作方面,物理攻擊的攻擊者更難以操縱或制造可能錯(cuò)誤分類的輸入.基于深度學(xué)習(xí)模型的識(shí)別系統(tǒng)通常采用兩步完成功能,即第一步利用檢測(cè)器定位待識(shí)別的對(duì)象,第二步利用分類器識(shí)別定位到的對(duì)象.根據(jù)攻擊對(duì)象的不同,物理攻擊可分為針對(duì)檢測(cè)器的物理攻擊(定位錯(cuò)誤)和針對(duì)分類器的物理攻擊(識(shí)別錯(cuò)誤).

1)針對(duì)檢測(cè)器的物理攻擊:Chen 等[26]提出了針對(duì)Faster R-CNN[27]的物理對(duì)抗攻擊,通過(guò)在停車標(biāo)志上添加對(duì)抗擾動(dòng)使Faster R-CNN 錯(cuò)誤檢測(cè).Eykholt 等[28]提出了一種消失攻擊,通過(guò)在停車標(biāo)志的紅色區(qū)域內(nèi)填充一個(gè)圖案使得YOLOv2[29]檢測(cè)器無(wú)法檢測(cè)到該停車標(biāo)志,并且該攻擊可以轉(zhuǎn)移到Faster R-CNN.Thys 等[30]提出了一種基于補(bǔ)丁的對(duì)抗攻擊,攻擊者只需要在人身上放置一塊補(bǔ)丁,就能使檢測(cè)器無(wú)法檢測(cè)到此人.

2)針對(duì)分類器的物理攻擊:Sharif 等[31]提出了針對(duì)人臉識(shí)別系統(tǒng)的面部攻擊,攻擊者只需戴上一副特制的眼鏡,分類器就會(huì)作出攻擊者預(yù)期的錯(cuò)誤判斷.Eykholt 等[32]提出了針對(duì)路牌識(shí)別系統(tǒng)的物理攻擊,攻擊者只需在路牌上添加一些不引人注意的涂鴉或者替換路牌背景,路牌識(shí)別系統(tǒng)就會(huì)作出錯(cuò)誤的判斷.Sitawarin 等[33]通過(guò)在現(xiàn)實(shí)環(huán)境中修改無(wú)害的標(biāo)志和廣告,使它們被分類為攻擊者所期望的具有高度置信度的交通標(biāo)志,該攻擊擴(kuò)大了對(duì)自駕車領(lǐng)域的威脅范圍,因?yàn)楣粽卟恢皇蔷窒抻谛薷默F(xiàn)有的交通標(biāo)志.Athalye 等[34]利用3D 打印技術(shù)制作出了第一個(gè)物理對(duì)抗樣本,證明了三維對(duì)抗對(duì)象在物理世界中的存在.Li 等[35]通過(guò)在相機(jī)鏡頭上放置一個(gè)精心制作的半透明貼紙,使得拍攝到的圖像具有對(duì)抗性,并且鏡頭上的擾動(dòng)為物理攻擊中的通用擾動(dòng).

2 車牌識(shí)別系統(tǒng)的黑盒攻擊方法

針對(duì)真實(shí)場(chǎng)景中的車牌識(shí)別系統(tǒng),本文提出了一種基于NSGA-II 的黑盒攻擊方法,通過(guò)模型的輸出類標(biāo)及對(duì)應(yīng)置信度生成對(duì)抗樣本.此外,本文對(duì)樣本進(jìn)行角度、距離、光線等模擬變換,并將變換后的攻擊效果作為優(yōu)化目標(biāo)之一,提高了對(duì)抗樣本對(duì)環(huán)境因素的魯棒性.本文將擾動(dòng)控制為純黑色塊,可用車子行駛過(guò)程中飛濺的淤泥塊代替.擾動(dòng)可被攝像頭捕獲導(dǎo)致系統(tǒng)錯(cuò)誤識(shí)別,但人將其視為正常污漬.本文方法的整體框圖如圖1 所示.

車牌識(shí)別系統(tǒng)的黑盒攻擊方法主要步驟包括:

1)對(duì)正常車牌從不同距離、角度拍攝一段視頻,截取其中若干幀作為正常車牌圖像數(shù)據(jù)集;

2)在正常車牌圖像上分別添加隨機(jī)擾動(dòng)像素塊,生成多張不同的初始對(duì)抗樣本,構(gòu)成初始種群;

3)分別考慮攻擊效果、擾動(dòng)大小、環(huán)境影響等因素,設(shè)計(jì)多目標(biāo)優(yōu)化函數(shù),并計(jì)算種群中每個(gè)樣本的適應(yīng)度值;

4)對(duì)種群中的樣本進(jìn)行非支配排序和擁擠度排序,選取一定數(shù)量的樣本構(gòu)成父代樣本種群P;

5)判斷是否達(dá)到迭代終止條件,如果是,執(zhí)行步驟8);如果否,執(zhí)行步驟6);

6)對(duì)于父代種群P,使用交叉操作產(chǎn)生子代種群Q;

7)將父代種群P與子代種群Q合并為一個(gè)整體種群R,跳轉(zhuǎn)到步驟3);

圖1 車牌識(shí)別系統(tǒng)的黑盒攻擊方法整體框圖Fig.1 The main block diagram of the proposed method against license plate recognition system

8)選取符合要求的最優(yōu)樣本(原類標(biāo)置信度小于0.2 且擾動(dòng)最小);

9)將擾動(dòng)復(fù)現(xiàn)在真實(shí)車牌上,實(shí)現(xiàn)物理攻擊.

2.1 生成初始對(duì)抗樣本

為產(chǎn)生黑盒攻擊,在正常車牌數(shù)據(jù)集中選取一張車牌圖像樣本x,在x上添加隨機(jī)擾動(dòng)塊,構(gòu)成初始對(duì)抗樣本.為保證生成的擾動(dòng)可在實(shí)際車牌識(shí)別系統(tǒng)中有效,本文利用擾動(dòng)像素塊代替一般圖像對(duì)抗樣本中的單個(gè)像素的擾動(dòng),即每張車牌圖像上添加若干個(gè)一定大小的初始黑色擾動(dòng)塊,每個(gè)擾動(dòng)塊的大小可根據(jù)車牌所占像素大小進(jìn)行調(diào)節(jié),初始擾動(dòng)塊的參數(shù)敏感性分析可見(jiàn)第3.6.1 節(jié).擾動(dòng)塊位置隨機(jī)分布,為了在物理空間中準(zhǔn)確復(fù)刻對(duì)抗擾動(dòng),本文將擾動(dòng)設(shè)置為塊狀且為純黑色.

2.2 基于多目標(biāo)優(yōu)化的適應(yīng)度函數(shù)設(shè)計(jì)

為實(shí)現(xiàn)車牌識(shí)別系統(tǒng)的成功攻擊,對(duì)抗樣本需要滿足兩個(gè)優(yōu)化目標(biāo):添加的對(duì)抗擾動(dòng)受限、識(shí)別類標(biāo)錯(cuò)誤.本文提出多目標(biāo)優(yōu)化的適應(yīng)度函數(shù)設(shè)計(jì).

對(duì)抗擾動(dòng)受限.計(jì)算每張車牌圖像樣本中擾動(dòng)總數(shù)的面積,即所有擾動(dòng)的像素點(diǎn)個(gè)數(shù)總和,記為S=‖x′-x‖0,其中x′表示車牌對(duì)抗樣本,x表示車牌正常樣本.將S作為優(yōu)化目標(biāo)F1,F1越小,則表示對(duì)抗樣本的添加擾動(dòng)越小.

識(shí)別類標(biāo)錯(cuò)誤.為了實(shí)現(xiàn)車牌識(shí)別系統(tǒng)的錯(cuò)誤識(shí)別, 本文引入目標(biāo)函數(shù), 其中表示對(duì)抗樣本x′被分為第y類的置信度,y表示正常樣本x的正確分類結(jié)果.越小, 表示車牌對(duì)抗樣本x′被錯(cuò)誤分類的概率越高.

為提高車牌對(duì)抗樣本在物理場(chǎng)景中的攻擊成功率,克服環(huán)境因素變換對(duì)攻擊效果的影響,本文利用圖像處理技術(shù)模擬真實(shí)拍攝場(chǎng)景下的三種變換,并將變換后的分類結(jié)果加入優(yōu)化目標(biāo).三種變換分別是:利用圖像縮放變換模擬不同拍攝距離;利用圖像亮度變換模擬不同拍攝光線;利用圖像透視變換模擬不同拍攝角度.三種變換的幅度選取方式分為固定幅度和隨機(jī)幅度兩種.

圖2 列舉了兩種幅度選取方式的變換效果圖.圖2 (a)展示了固定幅度時(shí)的變換效果圖.第一行模擬了距離變換,分別將圖像尺寸(長(zhǎng)寬)縮小至0.5 倍,放大至2 倍;第二行模擬了亮度變換,分別將圖像像素值增大30,減小30;第三行模擬了角度變換,分別向右傾30 度,向左傾30 度.

圖2 模擬場(chǎng)景變換效果圖Fig.2 Scene simulation change effect diagram

圖2 (b)展示了隨機(jī)幅度時(shí)的變換效果圖.第一行模擬了距離變換,分別將圖像尺寸(長(zhǎng)寬)隨機(jī)縮小至0.34 倍,放大至2.3 倍;第二行模擬了亮度變換,分別將圖像像素值隨機(jī)增大65,減小36;第三行模擬了角度變換,分別向右隨機(jī)傾斜60 度,向左隨機(jī)傾斜17 度.

將模擬變換后樣本的識(shí)別結(jié)果作為優(yōu)化目標(biāo)的一部分,則設(shè)計(jì)目標(biāo)函數(shù)F2的計(jì)算公式如下:

其中,Num表示圖像變換種類;Ti(x′)表示變換形態(tài)后的對(duì)抗樣本,i=1,2,···,Num;f(Ti(x′))y表示變換后的樣本被分為第y類的置信度;y表示正常樣本x的正確分類結(jié)果.F2越小,則表示攻擊效果越好.

以圖3 的兩張車牌對(duì)抗樣本為例,兩張樣本均被識(shí)別為“浙AS7065”.經(jīng)計(jì)算,樣本(a)的F1=156.0,F2=0.197;樣本(b)的F1=237.0,F2=0.015.兩張樣本對(duì)原車牌“浙A87065”均攻擊成功,但是樣本(a)的擾動(dòng)小于樣本(b),樣本(b)的攻擊魯棒性強(qiáng)于樣本(a).

圖3 車牌對(duì)抗樣本Fig.3 License plate adversarial examples

2.3 選擇算子

本文采取基于NSGA-II 的算法構(gòu)成父代樣本種群.首先將子代車牌對(duì)抗樣本與父代車牌對(duì)抗樣本合并為一個(gè)種群R,然后分別進(jìn)行非支配排序和擁擠度排序,選出前N個(gè)優(yōu)秀對(duì)抗樣本作為父代個(gè)體進(jìn)行第2.4 節(jié)的交叉操作.

非支配排序.當(dāng)車牌樣本中所有目標(biāo)都優(yōu)于或等于車牌樣本時(shí)(即中的F1和F2均小于等于中的F1和F2),則定義為支配了否則是一種非支配關(guān)系.非支配排序的整體思路是對(duì)種群R中的車牌樣本進(jìn)行等級(jí)劃分,即分為Rank0,Rank1,Rank2,··· .其中,Rank0中的車牌樣本均優(yōu)于Rank1中的車牌樣本,以此類推.快速非支配排序算法如下:

2)k=0,k表示劃分的等級(jí);

3) 尋找種群R中所有ni=0 的車牌樣本保存在等級(jí)Rankk中;

4)對(duì)于Rankk中的每張車牌樣本遍歷si中的每張車牌樣本執(zhí)行nl=nl-1,若nl等于0,則將保存在集合Rankk+1中;

5)k=k+1,進(jìn)入下一等級(jí)的劃分;

6)重復(fù)步驟4)和步驟5),直到整個(gè)種群R被劃分完畢.

擁擠度排序.為了判定同一個(gè)Rank層中車牌樣本的優(yōu)劣,將每張車牌樣本的擁擠度作為評(píng)價(jià)標(biāo)準(zhǔn).擁擠度越大表示該車牌樣本與其他樣本之間的差異性越大,也意味著該車牌樣本越優(yōu).擁擠度排序用于保持每代車牌樣本的多樣性.每個(gè)樣本的擁擠度計(jì)算方式如下:

其中,id表示第i個(gè)車牌樣本的擁擠度,m表示有m個(gè)目標(biāo)函數(shù)(本文m=2,即擾動(dòng)總面積與原類標(biāo)置信度),表示第i+1 個(gè)車牌樣本的第j個(gè)目標(biāo)函數(shù)值.

非支配排序與擁擠度排序計(jì)算完畢,進(jìn)入車牌樣本選擇過(guò)程.設(shè)定每次迭代種群中需要選擇的車牌樣本數(shù)量為N,每次挑選時(shí),先挑選表現(xiàn)最好的樣本,即Rank0中的車牌樣本,接著Rank1,Rank2,Rank3,··· .但是總會(huì)出現(xiàn)以下情況:,此時(shí)需要通過(guò)擁擠度排序選出Rankn層中較優(yōu)的車牌樣本,即計(jì)算Rankn層中每張車牌樣本的擁擠度,再根據(jù)擁擠度從大到小排序,選出擁擠度大的車牌樣本.最終兩種排序方式選出的個(gè)體總數(shù)為N,構(gòu)成下一次迭代的父代種群.

本文以車牌“浙A87065”排序過(guò)程為例,說(shuō)明選擇算子的具體操作過(guò)程.圖4 為車牌“浙A87065”第10 次攻擊迭代中子代加父代種群的非支配排序結(jié)果.在進(jìn)行非支配排序時(shí),為節(jié)省時(shí)間成本,不需要將種群全部劃分,本次排序只劃分到Rank3,因?yàn)?所以需要先計(jì)算Rank3中車牌樣本的擁擠度(如圖4,樣本x′的擁擠度為d1+d2);然后進(jìn)行擁擠度排序,選出Rank3中擁擠度大的樣本,將這些樣本與Rank0、Rank1、Rank2中的樣本共同組成下一代父代種群.

圖4 車牌樣本第10 次迭代非支配排序結(jié)果Fig.4 License plate example in 10th iteration non-dominated sorting result

2.4 交叉算子

本文采用隨機(jī)交叉算法生成新的子代個(gè)體.從父代車牌樣本種群中隨機(jī)選取兩個(gè)樣本,記錄兩個(gè)樣本的擾動(dòng)塊數(shù)量分別為n1和n2,從兩個(gè)樣本中隨機(jī)選取a ∈(0,n1) 和b∈(0,n2) 個(gè)擾動(dòng)塊,將a和b個(gè)擾動(dòng)合成一個(gè)子代,余下的n1-a和n2-b個(gè)擾動(dòng)合成另一個(gè)子代.隨機(jī)交叉過(guò)程示意圖如圖5 所示,其中黑色區(qū)域表示擾動(dòng)塊.圖6 表示車牌樣本的交叉示例,黑點(diǎn)小塊表示擾動(dòng).

圖5 隨機(jī)交叉過(guò)程示意圖Fig.5 Schematic diagram of the random cross process

圖6 車牌樣本隨機(jī)交叉示例Fig.6 Example of random intersection of license plate examples

2.5 最優(yōu)樣本獲取

當(dāng)達(dá)到最大迭代次數(shù)時(shí),從最后一代種群的Rank0中選取最優(yōu)對(duì)抗樣本.最優(yōu)對(duì)抗樣本的選取可根據(jù)攻擊情景決定,對(duì)擾動(dòng)隱蔽性要求高的可選取攻擊成功中擾動(dòng)較小的對(duì)抗樣本;對(duì)樣本魯棒性要求高的可選取原類標(biāo)置信度較小的對(duì)抗樣本.如圖7 表示對(duì)車牌“浙A87065”中數(shù)字“8”攻擊結(jié)果的帕累托曲線,其中k表示第k次迭代,每條曲線表示該次迭代中的最優(yōu)樣本群體(Rank0).本文將最優(yōu)對(duì)抗樣本定義為原類標(biāo)置信度小于0.2 時(shí)(以較高的置信度攻擊成功)擾動(dòng)最小的樣本,即圖中“#”所指的位置.

3 實(shí)驗(yàn)與分析

本節(jié)內(nèi)容分別從數(shù)據(jù)集與識(shí)別模型、評(píng)價(jià)指標(biāo)、車牌圖像攻擊算法對(duì)比、環(huán)境模擬變換中的車牌圖像對(duì)抗樣本、實(shí)驗(yàn)室環(huán)境的車牌識(shí)別系統(tǒng)攻擊、參數(shù)敏感性分析、現(xiàn)實(shí)場(chǎng)景中商用車牌識(shí)別系統(tǒng)的攻擊等方面展開.

圖7 數(shù)字“8”攻擊結(jié)果的帕累托曲線Fig.7 Pareto curve of the number“8”attack result

3.1 數(shù)據(jù)集與識(shí)別模型

CCPD[36]是國(guó)內(nèi)用于車牌識(shí)別的大型數(shù)據(jù)集,由中科大構(gòu)建,該數(shù)據(jù)集絕大多數(shù)為“皖A(yù)”車牌.本文為擴(kuò)充完善各個(gè)省份的車牌,將另一公開數(shù)據(jù)集1https://pan.baidu.com/s/1RyoMbHtLUlsMDsvLBCLZ2w中的車牌數(shù)據(jù)與CCPD 組合,作為本文的車牌數(shù)據(jù)集,共5 000 張車牌樣本.此外,本文又在5 000張車牌樣本上作了旋轉(zhuǎn)、模糊和亮度調(diào)節(jié)等圖片數(shù)據(jù)增強(qiáng)操作,再次擴(kuò)充了數(shù)據(jù)集的數(shù)量,達(dá)到20 000張圖片數(shù)據(jù)集.

現(xiàn)階段應(yīng)用較廣的中國(guó)車牌識(shí)別開源模型包括三種:HyperLPR2https://github.com/zeusees/HyperLPR、EasyPR3https://github.com/liuruoze/EasyPR、基于Paddle-Paddle 的OCR 車牌識(shí)別4https://github.com/huxiaoman7/mxnet-cnn-plate-recognition.為比較三者的有效性,本文利用上述公開車牌數(shù)據(jù)集分別對(duì)三種模型進(jìn)行了訓(xùn)練驗(yàn)證檢測(cè),并統(tǒng)計(jì)其識(shí)別準(zhǔn)確率,如表1 所示.(注:HyperLPR 存在預(yù)訓(xùn)練模型,本文主要對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào).)

表1 三種模型的識(shí)別準(zhǔn)確率Table 1 Recognition accuracy of the three models

車牌識(shí)別對(duì)比實(shí)驗(yàn)設(shè)置為1)數(shù)據(jù)集:公開數(shù)據(jù)集20 000 張車牌圖像;2) 實(shí)驗(yàn)平臺(tái)及環(huán)境:i7-7700K 4.20GHzx8 (CPU),TITAN Xp 12GiBx2(GPU),16GBx4 memory (DDR4),Ubuntu 16.04(OS),Python 3.6,Tensorflow-gpu-1.3.

由表1 可知,HyperLPR 模型的識(shí)別準(zhǔn)確率遠(yuǎn)高于其他兩種模型,因此本文將HyperLPR 模型作為本文攻擊算法的目標(biāo)模型,驗(yàn)證本文攻擊方法的有效性.

此外,本文將HyperLPR 模型生成的對(duì)抗樣本對(duì)百度AI 開放平臺(tái)中的車牌識(shí)別板塊5http://ai.baidu.com/tech/ocr/plate及商業(yè)軟件OpenALPR6http://www.openalpr.com/cloud-api.html進(jìn)行測(cè)試,驗(yàn)證了本文提出的黑盒攻擊具有較強(qiáng)的攻擊遷移性.

3.2 評(píng)價(jià)指標(biāo)

本文利用攻擊成功率(Attack success rate,ASR)、擾動(dòng)大小、樣本魯棒性(原類標(biāo)置信度)和收斂時(shí)的迭代次數(shù)來(lái)評(píng)價(jià)實(shí)驗(yàn)的性能.

攻擊成功率計(jì)算方式如式(3)所示:

其中,sumNum(·) 表示樣本數(shù)量,x表示原圖,x′表示對(duì)抗樣本,label(·) 表示輸出的類標(biāo),y0表示正常車牌的正確類標(biāo).

擾動(dòng)大小用來(lái)評(píng)價(jià)對(duì)抗樣本中擾動(dòng)的隱蔽性.本文采用平均L0范數(shù)()和平均L2范數(shù)()兩種擾動(dòng)計(jì)算方式.本文算法生成的對(duì)抗樣本中的擾動(dòng)為純黑色,重點(diǎn)關(guān)注擾動(dòng)的區(qū)域面積,所以范數(shù)是本文衡量擾動(dòng)大小的主要指標(biāo).的計(jì)算方式如式(4)和式(5)所示:

其中,h、w、c分別表示圖像中的高度、寬度、通道數(shù),表示對(duì)抗樣本在第k個(gè)通道上坐標(biāo)為(i,j)的像素點(diǎn)的值,xijk表示原始圖像在第k個(gè)通道上坐標(biāo)為(i,j)的像素點(diǎn)的值,圖像的像素值范圍是0 到255.

樣本魯棒性用原類標(biāo)置信度表示,對(duì)抗樣本被識(shí)別成原類標(biāo)的置信度越低,表示該樣本越魯棒.

收斂時(shí)的迭代次數(shù)主要用來(lái)衡量一次攻擊所需要的時(shí)間成本和訪問(wèn)代價(jià).本文算法對(duì)模型的訪問(wèn)次數(shù)=迭代次數(shù) × 種群大小.

3.3 車牌圖像攻擊算法對(duì)比

在基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)領(lǐng)域,現(xiàn)已有多種對(duì)抗攻擊的算法.其中,白盒攻擊中較為典型的有FGSM 和基于2-norm 的攻擊方法,黑盒攻擊中較為典型的有ZOO 和AutoZOO 攻擊方法.本文針對(duì)車牌識(shí)別系統(tǒng)提出一種基于NSGA-II 的黑盒攻擊方法,實(shí)現(xiàn)了物理空間的對(duì)抗攻擊.

NSGA-II 算法參數(shù)設(shè)置如下:種群規(guī)模為50 張車牌樣本,初始擾動(dòng)所占總面積比為1:80,擾動(dòng)塊數(shù)量為30,形狀為矩形,進(jìn)化停止代數(shù)為50 代,交叉概率為0.8.

本文面向車牌數(shù)據(jù)集,分別采用4 種性能較優(yōu)的白盒與黑盒攻擊算法對(duì)每張圖像上的7 個(gè)字符展開對(duì)抗攻擊,目標(biāo)模型為HyperLPR,并將攻擊結(jié)果同本文算法的攻擊結(jié)果進(jìn)行對(duì)比,如表2 所示.為了配合FGSM 等主流攻擊算法中的擾動(dòng)計(jì)算方式,表2 中的擾動(dòng)大小用平均L2范數(shù)()和平均L0范數(shù)()計(jì)算.

表2 車牌圖像攻擊算法對(duì)比結(jié)果Table 2 Comparison results of plate images attack algorithms

由表2 可知,在指定攻擊車牌上的某一個(gè)字符時(shí),本文算法的攻擊成功率高于其他4 種攻擊方法,并且擾動(dòng)也相應(yīng)更小一點(diǎn),其中一張車牌的對(duì)抗樣本如圖8 所示.擾動(dòng)主要衡量擾動(dòng)的像素點(diǎn)個(gè)數(shù),即擾動(dòng)區(qū)域.由于本文算法重點(diǎn)限制擾動(dòng)區(qū)域,而其他4 種攻擊方法在整張車牌上添加擾動(dòng),所以本文算法的擾動(dòng)小于其他4 種攻擊方法.就黑盒攻擊而言,本文算法對(duì)模型的訪問(wèn)次數(shù)遠(yuǎn)小于其他兩種攻擊算法,這得益于本文算法只需較少的迭代次數(shù).此外,白盒攻擊對(duì)模型的訪問(wèn)次數(shù)遠(yuǎn)小于黑盒攻擊對(duì)模型的訪問(wèn)次數(shù),基于2-norm 的攻擊方法在各項(xiàng)指標(biāo)上均優(yōu)于FGSM,AutoZOO 在各項(xiàng)指標(biāo)上也均優(yōu)于ZOO.

由圖8 的對(duì)抗樣本生成結(jié)果可知,前4 種攻擊算法得到的對(duì)抗擾動(dòng)基本都是全局分散的,而且每個(gè)擾動(dòng)的像素值幾乎都不相同,有的擾動(dòng)甚至肉眼無(wú)法觀測(cè)到.很顯然前4 種攻擊方法得到的車牌對(duì)抗樣本難以在物理空間中復(fù)現(xiàn),即使通過(guò)打印紙質(zhì)車牌,依舊存在打印色差的問(wèn)題.但是本文算法只需要在真實(shí)車牌的相同位置貼上相同形狀的黑色小紙片即可完成復(fù)現(xiàn),甚至粘上黑色泥土也能達(dá)到一定的攻擊效果.

圖8 不同攻擊算法攻擊同一張車牌樣本的不同位置的對(duì)抗樣本圖Fig.8 Adversarial examples graph of different attack algorithms attacking different positions of the same license plate sample

3.4 環(huán)境模擬變換中的車牌圖像對(duì)抗樣本

為提高對(duì)抗樣本在物理攻擊中的成功率,本文利用NSGA-II 自動(dòng)生成數(shù)字“0”到“9”的對(duì)抗樣本,并在不同數(shù)字模擬環(huán)境中測(cè)試魯棒性.本文采取三套不同的幅度變換策略生成對(duì)抗樣本,分別是固定1、固定2、隨機(jī)變換.

1)固定1:將原始對(duì)抗樣本尺寸縮小至0.5 倍和放大至2 倍;將原始對(duì)抗樣本像素值增加30 和減小30;將原始對(duì)抗樣本向右傾斜30 度和向左傾斜30 度.

2)固定2:將原始對(duì)抗樣本尺寸縮小至0.3 倍和放大至3 倍;將原始對(duì)抗樣本像素值增加50 和減小50;將原始對(duì)抗樣本向右傾斜50 度和向左傾斜50 度.

3)隨機(jī)變換:將原始對(duì)抗樣本尺寸隨機(jī)縮小至S1∈(0.2,1)倍和放大至S2∈(1,5) 倍;將原始對(duì)抗樣本像素值隨機(jī)增加P1∈(0,100) 和減小P2∈(0,100);將原始對(duì)抗樣本隨機(jī)向右傾斜A1∈(0,60) 度和向左傾斜A2∈(0,60) 度.

本文使用的車牌圖像大小約為350 × 100 個(gè)像素點(diǎn),當(dāng)尺寸縮小倍數(shù)小于0.2 時(shí),會(huì)對(duì)圖像的可視性造成較大的影響;當(dāng)尺寸放大倍數(shù)大于5 時(shí),會(huì)導(dǎo)致模型識(shí)別準(zhǔn)確率的下降;改變的像素值超過(guò)(?100,100)這個(gè)范圍時(shí),會(huì)導(dǎo)致圖像過(guò)暗或過(guò)亮,降低模型的識(shí)別準(zhǔn)確率;傾斜角的閾值設(shè)定與文獻(xiàn)[32]一致,超過(guò)該閾值后,模型的識(shí)別準(zhǔn)確率會(huì)大大降低.

實(shí)驗(yàn)結(jié)果如表3 所示.其中,左邊第1 列表示對(duì)對(duì)抗樣本進(jìn)行不同的環(huán)境模擬變換;左邊第2 列表示三套不同的幅度變換策略;第3 列到第12 列具體列舉了數(shù)字“0”到“9”的攻擊成功率,每一個(gè)數(shù)字都生成了三種不同環(huán)境模擬策略的對(duì)抗樣本,所以每一個(gè)數(shù)字對(duì)應(yīng)的每一種環(huán)境下,都有三個(gè)攻擊成功率,分別是策略“固定1”、“固定2”和“隨機(jī)變換”.原始對(duì)抗樣本表示不對(duì)樣本作模擬變換,對(duì)于這種情況,“固定1”策略的攻擊成功率最高,這得益于“固定1”策略中環(huán)境變換幅度較小;“尺寸(× 0.5)、光線(+30)、角度(右30 度)”和“尺寸(×2)、光線(-30)、角度(左30 度)”這兩種環(huán)境模擬變換與“固定1”策略中的變換相同,所以由“固定1”生成的對(duì)抗樣本的攻擊成功率高于其他兩種;“尺寸(× 0.3)、光線(+50)、角度(右50 度)”和“尺寸(× 3)、光線(-50)、角度(左50 度)”這兩種環(huán)境模擬變換與“固定2”策略中的變換相同,所以由“固定2”生成的對(duì)抗樣本的攻擊成功率高于其他兩種,并且在這種情況下“隨機(jī)變換”策略優(yōu)于“固定1”;“尺寸(× 0.7)、光線(+20)、角度(右42 度)”和“尺寸(× 1.3)、光線(-75)、角度(左15 度)”這兩種環(huán)境模擬變換是隨機(jī)選取的,在這種情況下,“隨機(jī)變換”策略優(yōu)于前兩種,并且“固定2”優(yōu)于“固定1”.由此可知,當(dāng)環(huán)境模擬變換與進(jìn)化時(shí)的模擬策略一致時(shí),固定幅度的攻擊成功率會(huì)相應(yīng)提升,并且固定的幅度越大,對(duì)外界環(huán)境的適應(yīng)能力越好,但是生成對(duì)抗樣本時(shí)的成功率會(huì)略微下降.當(dāng)外界環(huán)境變換不可知時(shí),“隨機(jī)變換”策略生成的對(duì)抗樣本的攻擊魯棒性更高,由此可知隨機(jī)幅度變換更適用于本文算法.

由表3 的“各種環(huán)境平均攻擊成功率”可知,不同數(shù)字的對(duì)抗樣本的魯棒性并不相同.在不同的環(huán)境變換下,數(shù)字“0”的三種對(duì)抗樣本的攻擊成功率均為最高,數(shù)字“1”的三種對(duì)抗樣本的攻擊成功率均為最低.換言之,在物理攻擊中數(shù)字“0”比數(shù)字“1”更容易被攻擊.

表3 不同環(huán)境模擬策略在不同模擬環(huán)境下的攻擊成功率Table 3 The attack success rate of different simulation strategies in different simulation environments

表4 展現(xiàn)了表3 中數(shù)字“0”到“9”每類對(duì)抗樣本中的其中一張樣本的分類結(jié)果.由表4 可知,同一張對(duì)抗樣本在進(jìn)行不同的環(huán)境模擬變換后,錯(cuò)誤分類的結(jié)果會(huì)不全相同,這意味著本文算法在車輛逃逸場(chǎng)景中有更高的適用性.此外,三種策略下的數(shù)字“1”均有被正確分類的情況,該結(jié)果也進(jìn)一步驗(yàn)證了本文算法中數(shù)字“1”較難被攻擊的結(jié)論,其原因是本文算法在車牌上添加的擾動(dòng)為黑色擾動(dòng)塊,數(shù)字“1”對(duì)黑色擾動(dòng)塊的敏感性較低,與之相反,對(duì)白色擾動(dòng)塊的敏感性較高.最后,無(wú)論是哪種策略的對(duì)抗樣本,在經(jīng)過(guò)不同的變換后,其識(shí)別置信度均有一定程度的下降,且下降幅度的趨勢(shì)與變換幅度呈正相關(guān).這一結(jié)果也從側(cè)面反映了在現(xiàn)實(shí)場(chǎng)景中,模型的識(shí)別結(jié)果易受到環(huán)境因素的影響.

3.5 實(shí)驗(yàn)室環(huán)境的車牌識(shí)別系統(tǒng)攻擊

完成數(shù)字空間中的車牌圖像攻擊后,將車牌對(duì)抗樣本按車牌真實(shí)比例放大后打印,然后將擾動(dòng)裁剪下來(lái),按對(duì)應(yīng)位置粘貼在真實(shí)車牌上,測(cè)試本文算法在實(shí)驗(yàn)室環(huán)境中的物理攻擊效果,調(diào)整實(shí)驗(yàn)室環(huán)境的距離、光線、角度,檢測(cè)對(duì)抗樣本的魯棒性.實(shí)驗(yàn)結(jié)果如表5 所示.本實(shí)驗(yàn)的車牌識(shí)別模型是HyperLPR,原始正常車牌為“蘇AN4D79”.

由表5 可知,正常車牌在不同物理環(huán)境下均能以0.9 以上的置信度被正確識(shí)別.之后,我們分別在“N”、“D”、“9”上添加擾動(dòng)(粘上打印后裁剪下來(lái)的黑色紙張),實(shí)驗(yàn)結(jié)果可得添加擾動(dòng)后的車牌在不同的物理環(huán)境下均被錯(cuò)誤識(shí)別為“蘇AH4072”,分類置信度有所下降,但均高于0.8,屬于正常的置信度范疇.實(shí)驗(yàn)驗(yàn)證了數(shù)字空間中攻擊成功的對(duì)抗樣本在物理空間中復(fù)現(xiàn)后,也具有較強(qiáng)的攻擊能力.

3.6 參數(shù)敏感性分析

本文使用基于精英策略的非支配排序遺傳算法(NSGA-II),主要的參數(shù)包括:初始擾動(dòng)信息、交叉概率、迭代次數(shù).在本節(jié)中,對(duì)以上參數(shù)逐個(gè)進(jìn)行敏感性分析.

3.6.1 初始擾動(dòng)信息分析

本文將遺傳進(jìn)化算法作為主要的攻擊方法,初始種群(初始擾動(dòng))的信息對(duì)本文算法的有效性具有直接影響.本文將初始擾動(dòng)設(shè)定為若干個(gè)擾動(dòng)塊,每個(gè)擾動(dòng)塊由若干個(gè)黑色像素點(diǎn)組成,每個(gè)擾動(dòng)塊面積相等.

以下對(duì)初始擾動(dòng)塊所占面積比值、數(shù)量、形狀進(jìn)行具體分析.初始擾動(dòng)塊所占面積比值表示車牌樣本中所有擾動(dòng)塊面積之和與車牌面積之比;擾動(dòng)的數(shù)量表示每張車牌樣本中擾動(dòng)塊的數(shù)目;初始擾動(dòng)的形狀被設(shè)定為矩形(R)、圓形(C)以及混合方塊圓形(R+C).

表4 車牌對(duì)抗樣本識(shí)別結(jié)果及其置信度、擾動(dòng)等展示Table 4 License plate against sample identification results and their confidence,disturbance display

表5 實(shí)驗(yàn)室環(huán)境的車牌對(duì)抗攻擊Table 5 License plate adversarial attack in the laboratory environment

本文選取數(shù)據(jù)集中10 張車牌樣本,分別用不同的初始擾動(dòng)信息對(duì)車牌上的7 個(gè)字符進(jìn)行攻擊,一共生成70 張對(duì)抗樣本,統(tǒng)計(jì)不同的初始擾動(dòng)信息對(duì)實(shí)驗(yàn)結(jié)果的影響.具體實(shí)驗(yàn)結(jié)果如表6 所示,其中“最終擾動(dòng)”列表示攻擊得到的最優(yōu)對(duì)抗樣本的擾動(dòng)大小(用平均L0范數(shù)計(jì)算).

表6 初始擾動(dòng)信息的影響Table 6 Influences of initial perturbation information

由表6 可知,在初始擾動(dòng)塊所占面積比值及數(shù)量一定的情況下,初始擾動(dòng)塊的形狀對(duì)本文算法攻擊效果的影響可以被忽略.在初始擾動(dòng)塊所占面積比值一定時(shí),擾動(dòng)塊的數(shù)量越多,最終得到的對(duì)抗樣本的擾動(dòng)越小,但是迭代次數(shù)會(huì)有所上升.當(dāng)初始擾動(dòng)塊的數(shù)量一定時(shí),擾動(dòng)塊所占面積比值越小,最終擾動(dòng)相應(yīng)也會(huì)越小,但是攻擊成功率會(huì)相應(yīng)地下降,迭代次數(shù)也會(huì)上升.

不同字符的攻擊難易程度也不同,如漢字和一些數(shù)字(“0”、“8”等)更容易受到攻擊,此時(shí)我們可以采用面積比值較小的初始擾動(dòng)來(lái)進(jìn)行攻擊.但是像“A”這種字母,相對(duì)更難攻擊,所以我們應(yīng)該選擇面積比值較大的初始擾動(dòng)來(lái)進(jìn)行攻擊.總之,初始擾動(dòng)塊所占面積比值大小及數(shù)量的選擇可以根據(jù)實(shí)際情況要求作出一些變動(dòng).在沒(méi)有特殊要求的情況下,為了同時(shí)兼顧攻擊成功率、最終擾動(dòng)大小以及迭代次數(shù),本文在實(shí)驗(yàn)中選擇了面積比值比為1:80、數(shù)量為30 的矩形擾動(dòng)塊作為初始擾動(dòng).

3.6.2 交叉概率分析

交叉概率用來(lái)判定兩個(gè)個(gè)體是否需要交叉,其大小決定了進(jìn)化過(guò)程的收斂速度以及收斂的優(yōu)劣性.本文利用25 組車牌樣本中的兩個(gè)數(shù)字或字母測(cè)試了交叉概率對(duì)本實(shí)驗(yàn)的影響,具體結(jié)果如表7所示.

表7 交叉概率敏感性分析Table 7 Cross-probability sensitivity analysis

由表7 可知,交叉概率為0.2 時(shí),收斂時(shí)的迭代次數(shù)為75 次;交叉概率為1 時(shí),收斂時(shí)的迭代次數(shù)下降到32 次.隨著交叉概率的增大,收斂時(shí)的迭代次數(shù)逐步下降.但是交叉概率大于0.8 時(shí),迭代次數(shù)的下降幅度大大減緩,甚至幾乎不再改變.由此可知交叉概率對(duì)收斂速度具有較大的影響,但大于0.8 時(shí)影響細(xì)微.由表7 的后兩列可知,隨著交叉概率的增大,最優(yōu)樣本原類標(biāo)置信度與擾動(dòng)在一定范圍內(nèi)波動(dòng),并沒(méi)有體現(xiàn)出與交叉概率有較大的相關(guān)性,所以最優(yōu)對(duì)抗樣本的魯棒性與擾動(dòng)大小對(duì)交叉概率不敏感.為了節(jié)省時(shí)間成本以及保持樣本的多樣性,本文選取交叉概率為0.8.

3.6.3 迭代次數(shù)分析

在進(jìn)化計(jì)算中,迭代次數(shù)的多少直接體現(xiàn)該算法所需要的時(shí)間成本;在黑盒攻擊中,迭代次數(shù)的多少直接決定了一次攻擊需要訪問(wèn)的模型次數(shù).本文選取數(shù)據(jù)集中10 張車牌樣本,分別對(duì)每張車牌上的7 個(gè)字符進(jìn)行攻擊,一共進(jìn)行70 次迭代攻擊,統(tǒng)計(jì)每10 代最優(yōu)種群(Rank0)中的平均原類標(biāo)置信度和平均擾動(dòng)大小.實(shí)驗(yàn)結(jié)果如圖9、圖10 所示.

由圖9 可知,當(dāng)?shù)螖?shù)達(dá)到35 代左右時(shí),最優(yōu)種群(Rank0)中的樣本在平均原類標(biāo)置信度上開始收斂.在前30 代中,隨著迭代次數(shù)的增加,種群中的平均原類標(biāo)置信度下降速度變緩.

由圖10 可知,當(dāng)?shù)螖?shù)達(dá)到15 代左右時(shí),最優(yōu)種群(Rank0)中的樣本在擾動(dòng)大小上就已經(jīng)開始收斂,且前10 代的下降速率很快,表明對(duì)抗樣本中擾動(dòng)數(shù)的減少會(huì)在前10 代產(chǎn)生質(zhì)的變化.

結(jié)合圖9、圖10 可知,最優(yōu)種群(Rank0)會(huì)在35 代左右在兩個(gè)目標(biāo)函數(shù)上同時(shí)收斂.在前10 代中,同時(shí)優(yōu)化原類標(biāo)置信度和擾動(dòng)大小兩個(gè)指標(biāo),是進(jìn)化過(guò)程中最重要的階段;在10 代到35 代中,主要優(yōu)化原類標(biāo)置信度,使得對(duì)抗樣本的魯棒性增強(qiáng);35 代以后的最優(yōu)種群(Rank0)達(dá)到收斂,之后的迭代對(duì)種群優(yōu)化影響不大.所以本文算法不依賴大量的迭代次數(shù),大大減少了時(shí)間成本以及對(duì)目標(biāo)模型的訪問(wèn)次數(shù).

圖9 平均原類標(biāo)置信度隨迭代次數(shù)變化曲線圖Fig.9 Curve of the original class standard confidence varying with the number of iterations

圖10 平均擾動(dòng)大小隨迭代次數(shù)變化曲線圖Fig.10 Curve of the perturbation varying with the number of iterations

3.7 現(xiàn)實(shí)場(chǎng)景中商用車牌識(shí)別系統(tǒng)的攻擊

最后,為了更進(jìn)一步證實(shí)本文的攻擊方法在現(xiàn)實(shí)場(chǎng)景中的可實(shí)現(xiàn)性,我們用泥土代替原先的擾動(dòng),附在車牌的對(duì)應(yīng)位置,拍攝三種車牌識(shí)別場(chǎng)景下的車輛照片,分別用百度AI 開放平臺(tái)中的車牌識(shí)別板塊及具有商業(yè)性質(zhì)的OpenALPR 進(jìn)行了檢測(cè),驗(yàn)證本文算法的攻擊具有遷移性和可實(shí)現(xiàn)性.由于用泥土代替的擾動(dòng)無(wú)法和打印出來(lái)的紙張擾動(dòng)一樣精準(zhǔn),所以攻擊效果較實(shí)驗(yàn)室環(huán)境有所下降.本文設(shè)置了三種現(xiàn)實(shí)攻擊場(chǎng)景,分別為躲避公路上探頭抓拍、躲避車牌尾號(hào)限行措施、冒充出入庫(kù)車輛,如表8～ 表10.

3.7.1 躲避公路上探頭抓拍

本實(shí)驗(yàn)中正常車牌的識(shí)別結(jié)果為“浙A87065”,生成擾動(dòng)的目標(biāo)模型為HyperLPR.本實(shí)驗(yàn)在“8”、“0”、“6”三個(gè)數(shù)字上添加擾動(dòng),實(shí)現(xiàn)車輛躲避抓拍攻擊.由表8 可知,對(duì)于行駛過(guò)程中的車輛,位置不同對(duì)識(shí)別結(jié)果具有較大的影響.目標(biāo)模型HyperLPR 對(duì)中文字的識(shí)別效果較差,但是對(duì)數(shù)字和字母的識(shí)別效果優(yōu)于百度AI 和OpenALPR.對(duì)于百度AI 和OpenALPR 而言,三個(gè)添加擾動(dòng)的數(shù)字均被錯(cuò)誤識(shí)別.

3.7.2 躲避車牌尾號(hào)限行措施

本實(shí)驗(yàn)中正常車牌識(shí)別結(jié)果為“蘇AN4D79”,生成擾動(dòng)的目標(biāo)模型為HyperLPR.本實(shí)驗(yàn)在“N”、“9”上面添加擾動(dòng),實(shí)現(xiàn)車輛的逃逸攻擊以及躲避尾號(hào)限行攻擊.由表9 可知,對(duì)于添加了擾動(dòng)的“N”,三個(gè)模型在不同位置均對(duì)“N”識(shí)別錯(cuò)誤,實(shí)現(xiàn)了現(xiàn)實(shí)生活中的車輛逃逸.對(duì)于模型HyperLPR,尾號(hào)“9”均被識(shí)別為“2”,實(shí)現(xiàn)了現(xiàn)實(shí)生活中的躲避尾號(hào)限行.對(duì)于其他兩個(gè)模型,大部分情況下,尾號(hào)“9”也被錯(cuò)誤識(shí)別,證明針對(duì)于尾號(hào)的攻擊也具有一定的遷移性.

3.7.3 冒充出入庫(kù)車輛

本實(shí)驗(yàn)中正常車牌識(shí)別結(jié)果為“浙AP0P20”,生成擾動(dòng)的目標(biāo)模型為HyperLPR.本實(shí)驗(yàn)在兩個(gè)“P”上面添加不同的擾動(dòng),實(shí)現(xiàn)車輛出入庫(kù)頂替攻擊.出入庫(kù)檢測(cè)時(shí),拍攝角度較為傾斜,HyperLPR 模型無(wú)法正確檢測(cè)出車牌的位置,所以本文將其替換為學(xué)校出入庫(kù)專用的商用車牌檢測(cè)系統(tǒng)(立方)的檢測(cè)結(jié)果.由表10 可知,立方將一個(gè)“P”錯(cuò)誤識(shí)別,百度AI 和OpenALPR 將兩個(gè)“P”都錯(cuò)誤識(shí)別,且三個(gè)商用軟件都將第二個(gè)“P”錯(cuò)誤識(shí)別為“F”,所以該擾動(dòng)可作為遷移攻擊的目標(biāo)攻擊.

表8 躲避公路探頭抓拍Table 8 Avoiding road probe capture

表9 躲避車牌尾號(hào)限行Table 9 Avoiding license plate tail number limit

表10 冒充出入庫(kù)車輛Table 10 Posing as a warehousing vehicle

4 結(jié)束語(yǔ)

本文針對(duì)車牌識(shí)別系統(tǒng)提出了基于NSGAII 進(jìn)化計(jì)算的黑盒物理攻擊方法.只需知道輸出類標(biāo)及對(duì)應(yīng)置信度,就能產(chǎn)生對(duì)環(huán)境變化因素具有較強(qiáng)魯棒性的擾動(dòng),而且本文算法將擾動(dòng)控制為純黑色塊,可用車子行駛過(guò)程中飛濺上來(lái)的淤泥塊代替.本文分別在實(shí)驗(yàn)室環(huán)境和真實(shí)環(huán)境中對(duì)生成的對(duì)抗樣本進(jìn)行檢驗(yàn),驗(yàn)證了本文算法的物理可實(shí)現(xiàn)性以及對(duì)抗樣本對(duì)真實(shí)環(huán)境因素的魯棒性和遷移性.

除上述優(yōu)點(diǎn)外,本文算法也存在兩個(gè)缺陷:1)生成的車牌擾動(dòng)較大,攻擊可能會(huì)被外界因素所阻止(如被交警攔下).所以在之后的研究中,設(shè)想用透明反光材料代替泥土,大大降低人眼可見(jiàn)度.2)本文需要知道車牌模型輸出的分類置信度,在某些場(chǎng)合,這個(gè)條件可能不被滿足.所以在之后的研究中,嘗試只用最終的分類類標(biāo)進(jìn)行攻擊,但是這可能會(huì)大大增加對(duì)模型的訪問(wèn)次數(shù).