信號(hào)人工智能對(duì)抗攻擊綜合分析平臺(tái)

宣 琦,周 晴,崔 慧,顧淳濤,徐東偉,朱佳偉,王 巍,楊小牛,

1浙江工業(yè)大學(xué)網(wǎng)絡(luò)空間安全研究院 杭州 中國 310012

2通信信息控制和安全技術(shù)重點(diǎn)實(shí)驗(yàn)室 嘉興 中國 314033

1 引言

20世紀(jì)以來,電子信息技術(shù)飛速發(fā)展,使得信號(hào)種類及數(shù)量呈指數(shù)級(jí)增長,面對(duì)新時(shí)期各種多元化的信號(hào),各種不同的分類方法也開始涌現(xiàn)[1]。此外,深度學(xué)習(xí)[2]逐漸廣泛應(yīng)用于各個(gè)領(lǐng)域(生物醫(yī)學(xué)[3-4]、視覺場(chǎng)景[5]、語音識(shí)別[6]、自然語言處理[7])。它在通信領(lǐng)域的應(yīng)用也取得長足進(jìn)展,O’Shea T J[8]等人對(duì)基于深度學(xué)習(xí)的無線電信號(hào)分類方法的性能進(jìn)行了深入研究,提出了使用更高階矩和強(qiáng)大的增強(qiáng)梯度樹分類的嚴(yán)格基準(zhǔn)方法; Mendis G J等人[9]出了一種基于深度學(xué)習(xí)的智能方法來檢測(cè)和識(shí)別無線電信號(hào),該方法可應(yīng)用于識(shí)別微型無人機(jī)系統(tǒng)的認(rèn)知雷達(dá)和航空通信系統(tǒng); Rajendran S等人[10]提出了一種基于長短期記憶(Long Short-Term Memory,LSTM[11])的數(shù)據(jù)驅(qū)動(dòng)模型,并發(fā)現(xiàn)其對(duì)于分類具有不同符號(hào)率的調(diào)制信號(hào)能夠發(fā)揮出強(qiáng)大的作用。

然而即便深度神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于處理復(fù)雜問題,卻不斷有研究表明[12-16]它們?cè)趶?qiáng)對(duì)抗環(huán)境下是非常脆弱的。最近,Han X等人[17]開發(fā)了一種方法構(gòu)造平滑的心電圖追蹤對(duì)抗樣本,該樣本無法被人類專家察覺,卻能讓應(yīng)用于醫(yī)學(xué)影像的深度學(xué)習(xí)模型檢測(cè)異常。此外,在信號(hào)領(lǐng)域,對(duì)抗攻擊研究工作也有了不少成果。Sadeghi M等人[18]通過在信道上發(fā)送利用無線信道的開放性設(shè)計(jì)的擾動(dòng)信號(hào),將通信系統(tǒng)的誤塊率提高了幾個(gè)數(shù)量級(jí); Sagduyu Y[19]提出了一種通過發(fā)射機(jī)對(duì)其頻譜感測(cè)結(jié)果進(jìn)行深度學(xué)習(xí),以預(yù)測(cè)空閑時(shí)隙來進(jìn)行數(shù)據(jù)傳輸?shù)目罩蓄l譜中毒攻擊; Davaslioglu K等人[20]針對(duì)無線通信中的深度學(xué)習(xí)應(yīng)用提出了木馬攻擊,取得了不錯(cuò)的效果; Kim B等人[21-22]研究發(fā)現(xiàn),攻擊方天線數(shù)量的增加會(huì)使攻擊成功率顯著提高,并證實(shí)了調(diào)制分類器對(duì)空中對(duì)抗攻擊的脆弱性。Sadeghi M等人[23]提出了一種使用通用對(duì)抗網(wǎng)絡(luò)生成和傳輸無法與預(yù)期信號(hào)可靠區(qū)分的合成信號(hào)來欺騙無線信號(hào),成功使信號(hào)分類精度顯著降低的新穎方法。隨著信號(hào)攻擊領(lǐng)域研究的不斷推進(jìn),哪些攻擊更難以捉摸或者哪種攻擊得到的攻擊樣本隱匿性更高的關(guān)鍵性問題也隨之出現(xiàn),這意味著當(dāng)下急需一個(gè)能夠?qū)π盘?hào)攻擊策略進(jìn)行綜合評(píng)估的平臺(tái)。

縱觀當(dāng)前研究現(xiàn)狀,深度學(xué)習(xí)在圖像領(lǐng)域的應(yīng)用已經(jīng)較為成熟,而在信號(hào)領(lǐng)域的研究成果卻少之又少。Ling X等人[24]搭建了一個(gè)較為完備的深度學(xué)習(xí)模型安全分析平臺(tái),整合了 16個(gè)最先進(jìn)的攻擊方法和10個(gè)攻擊效用指標(biāo)。Sadeghi M等人[23]在信號(hào)攻擊研究過程中提出擾動(dòng)信號(hào)功率比(Perturbation Signal Rate,PSR)這一指標(biāo),該項(xiàng)指標(biāo)能夠計(jì)算對(duì)抗樣本中添加的擾動(dòng)與原信號(hào)的功率之比,與擾動(dòng)噪聲功率比(Perturbation Noisel Rate,PNR)綜合可體現(xiàn)信號(hào)樣本攻擊前后的信噪比變化。不過僅憑借這一項(xiàng)指標(biāo)評(píng)價(jià)攻擊策略的優(yōu)劣尚不夠全面。

為了進(jìn)一步推進(jìn)信號(hào)攻擊的研究,提供一個(gè)分析平臺(tái)來支持對(duì)信號(hào)領(lǐng)域的對(duì)抗性攻擊進(jìn)行全面、翔實(shí)的評(píng)估至關(guān)重要,現(xiàn)有的工作尚不能滿足需求,因此本文提出了第一個(gè)信號(hào)人工智能對(duì)抗攻擊綜合分析平臺(tái)。

本文主要研究工作如下。

1) 提出信號(hào)人工智能對(duì)抗攻擊綜合分析平臺(tái),該平臺(tái)中特有的信號(hào)特性計(jì)算指標(biāo)(VC,ACR,APD,PSR,PNR,SNRD具體介紹見第2章)讓本平臺(tái)有別于其他已有技術(shù),如Ling X等人[24]搭建的深度學(xué)習(xí)模型安全分析平臺(tái)均適用于圖像處理,平臺(tái)中提到的誤分類、不可感知性、計(jì)算代價(jià)等方面的指標(biāo)尚可用于信號(hào)攻擊評(píng)價(jià),但忽略了信號(hào)在處理過程中幅度、相位等特性的變化,本平臺(tái)解決了該問題。

2) 采用了8種常見的攻擊方法對(duì)信號(hào)樣本進(jìn)行攻擊,并利用信號(hào)攻擊綜合分析平臺(tái)中的10項(xiàng)攻擊效果指標(biāo)對(duì)其進(jìn)行全面的分析,其中的 4項(xiàng)(VC,ACR,APD,SNRD)均為本文首次提出。

3) 研究發(fā)現(xiàn)攻擊方法的誤分類與不可感知性、信號(hào)特性以及計(jì)算代價(jià)之間存在相互限制的關(guān)系,個(gè)別攻擊方法在信號(hào)上的攻擊性能有別于圖像。

2 綜合分析平臺(tái)

2.1 評(píng)價(jià)指標(biāo)

研究者們通常使用簡(jiǎn)單的度量標(biāo)準(zhǔn)進(jìn)行攻擊方法評(píng)估,比如誤分類率便是評(píng)估攻擊方法的主要指標(biāo)。然而各項(xiàng)研究均顯示,誤分類率不足以全面地描述一種攻擊方法。

另一方面,區(qū)別于圖像的可視性,信號(hào)的特性更加抽象化,信號(hào)具有相位、幅度、功率等特有的屬性。此外,在信號(hào)處理過程中一般采用復(fù)信號(hào)[25]概念來表示實(shí)信號(hào),規(guī)避實(shí)信號(hào)具有共軛對(duì)稱的頻譜會(huì)造成的處理困難。對(duì)復(fù)數(shù)信號(hào)進(jìn)行采樣需要同時(shí)進(jìn)行 I、Q兩路采樣,這兩路數(shù)據(jù)是相關(guān)的,無法當(dāng)成獨(dú)立的數(shù)據(jù)點(diǎn)對(duì)待。在攻擊評(píng)價(jià)過程中需要上述重要參考因素,因此一個(gè)全新的信號(hào)攻擊評(píng)價(jià)平臺(tái)必不可少。

圖1 平臺(tái)指標(biāo)結(jié)構(gòu)Figure 1 Platform indicator structure

圖像領(lǐng)域中已有的攻擊分析平臺(tái)從誤分類、不可感知性、計(jì)算代價(jià)三方面對(duì)攻擊策略進(jìn)行分析,分析了錯(cuò)誤分類的百分比,無法從表面察覺的物理量的變化,攻擊者生成對(duì)抗樣本的平均速度。本文為了補(bǔ)充在信號(hào)攻擊中對(duì)信號(hào)特性的描述,在此基礎(chǔ)上增加信號(hào)特性分析,從誤分類、不可感知性、信號(hào)特性、計(jì)算代價(jià)四個(gè)方面提供了如下指標(biāo)(本處介紹以Radio-ML2016.10a數(shù)據(jù)集為例,具體數(shù)據(jù)集介紹見第3章)。

1) 誤分類:

(a)攻擊成功率(Attack Success Rate,ASR):

ASR計(jì)算的是由攻擊方造成的誤分類百分比。ACC or i為原信號(hào)樣本的分類精度,而 A CC a dv 是對(duì)抗樣本通過相同分類模型所得分類精度。攻擊成功率能體現(xiàn)一個(gè)攻擊方法導(dǎo)致錯(cuò)誤分類的能力。

2) 不可感知性

(a)L0范數(shù):

L0計(jì)算的是一個(gè)信號(hào)樣本在攻擊后改變的點(diǎn)的數(shù)量占總數(shù)的比例。Cc為一個(gè)樣本(128×2個(gè)點(diǎn))中修改的點(diǎn)的個(gè)數(shù),N為一個(gè)信號(hào)樣本中數(shù)據(jù)點(diǎn)的個(gè)數(shù),本文采用的數(shù)據(jù)集N值為256(128×2)。

(b) L2范數(shù):

L2計(jì)算的是一個(gè)原信號(hào)樣本和對(duì)抗樣本之間在數(shù)值上的歐氏距離。Voi為原始樣本第 i個(gè)數(shù)據(jù)點(diǎn)的數(shù)值,Vai為對(duì)抗樣本第 i個(gè)數(shù)據(jù)點(diǎn)的數(shù)值,N為256(128×2)。

3) 信號(hào)特性:

(a) 數(shù)值變化(Value Change,VC):

VC計(jì)算的是一個(gè)信號(hào)樣本中每個(gè)數(shù)據(jù)點(diǎn)攻擊前后數(shù)值變化量的平均值。VC指標(biāo)雖與L2范數(shù)存在一定線性關(guān)系,但VC更側(cè)重于對(duì)幅度這一物理量的變化的描述。

(b) 幅度變化率(Amplitude Change Rate,ACR):

ACR計(jì)算的是攻擊前后信號(hào)的幅度變化率。在信號(hào)處理過程中,區(qū)別于圖像中互相獨(dú)立的像素點(diǎn),信號(hào)數(shù)據(jù)集中的I/Q兩路存在一一對(duì)應(yīng)的關(guān)系,分別為復(fù)信號(hào)實(shí)部與虛部的采樣值,倘若參照與圖像相同的計(jì)算方法,則忽略了I/Q兩路的相關(guān)性。

A為信號(hào)有效幅值,I和Q分別為信號(hào)實(shí)部和虛部的系數(shù)。Aoi為原始信號(hào)第i個(gè)采樣點(diǎn)的有效幅度,Aai為攻擊后信號(hào)第i個(gè)采樣點(diǎn)的有效幅度,n為一個(gè)信號(hào)樣本中采樣點(diǎn)的個(gè)數(shù),本文所用數(shù)據(jù)集 n值為128。與圖像中每一個(gè)獨(dú)立的像素點(diǎn)不同,信號(hào)中128×2尺寸的樣本,將其I路和Q路對(duì)應(yīng)起來描述一個(gè)信號(hào)采樣點(diǎn)會(huì)比把其當(dāng)成256個(gè)獨(dú)立點(diǎn)更加確切。

(c)平均相位差(Average Phase Difference,APD):

APD計(jì)算的是一個(gè)信號(hào)樣本中每個(gè)采樣點(diǎn)的相位差平均值。相位作為描述信號(hào)波形變化的重要度量,也是評(píng)價(jià)信號(hào)攻擊的重要因素,相位的延遲可以完全改變一個(gè)信號(hào),從而導(dǎo)致無法提取出真實(shí)消息。Ioi是原始信號(hào)第i個(gè)采樣點(diǎn)的實(shí)部系數(shù),Qoi是原始信號(hào)第i個(gè)采樣點(diǎn)的虛部系數(shù)。Iai是攻擊后信號(hào)第i個(gè)采樣點(diǎn)的實(shí)部系數(shù),Qai是原始信號(hào)第i個(gè)采樣點(diǎn)的虛部系數(shù)。

(d)擾動(dòng)信號(hào)比(Perturbation Signal Rate,PSR):

PSR計(jì)算的是對(duì)抗樣本添加的擾動(dòng)與信號(hào)的功率比。P是信號(hào)功率,Ai為信號(hào)第i個(gè)采樣點(diǎn)的有效幅度。

(e)擾動(dòng)噪聲比(Perturbation Noise Rate,PNR):

PNR計(jì)算的是對(duì)抗樣本與原樣本的噪聲功率比,與上文的PSR綜合可體現(xiàn)信號(hào)樣本攻擊前后的信噪比變化。Pp為擾動(dòng)功率,Pn為噪聲功率。信噪比是度量通信系統(tǒng)通信質(zhì)量可靠性的一個(gè)主要技術(shù)指標(biāo),為信號(hào)平均功率與噪聲平均功率的比值,是評(píng)價(jià)信號(hào)攻擊方法優(yōu)劣必不可少的一項(xiàng)指標(biāo)。

(f)信噪比差(Signal Noise Rate Difference,SNRD):

SNRD計(jì)算的是原樣本與對(duì)抗樣本的信噪比差值,SNRori,SNRadv分別表示攻擊前與攻擊后信號(hào)樣本的信噪比。公式(11)給出的是信噪比的計(jì)算方式。

4)計(jì)算代價(jià)(Calculating Cost,CC)

計(jì)算代價(jià)定義為攻擊策略生成對(duì)抗樣本所用的平均時(shí)間,本文中度量單位為秒(s)。

2.2 平臺(tái)架構(gòu)

圖2給出了本平臺(tái)的整體架構(gòu)。通過8種攻擊方法對(duì)信號(hào)樣本進(jìn)行攻擊得到對(duì)樣的對(duì)抗樣本,然后通過信號(hào)攻擊綜合分析平臺(tái)提供的10項(xiàng)指標(biāo)對(duì)攻擊結(jié)果進(jìn)行分析評(píng)價(jià)。8種攻擊方法包括現(xiàn)下常用的6種白盒攻擊方法(FGSM[13],BIM[26],PGD[27],DF[16],JSMA[28],CW[29])和2種黑盒攻擊(OPA[30],UAP[31]);10項(xiàng)評(píng)價(jià)指標(biāo)包括誤分類(ASR)、不可感知性(L0范數(shù)、L2范數(shù))、信號(hào)特性(VC,APD,ACR,PSR,PNR,SNRD)、計(jì)算代價(jià)(CC)4個(gè)模塊。

圖2 平臺(tái)整體架構(gòu)Figure 2 Overall platform architecture

3 分類模型與攻擊方法

3.1 分類模型

本文采用由O’Shea T J等人[8]提出的用于調(diào)制識(shí)別的殘差神經(jīng)網(wǎng)絡(luò)ResNet模型。該分類方法具有容易優(yōu)化、復(fù)雜度低優(yōu)點(diǎn)的同時(shí)分類性能強(qiáng)大,是當(dāng)下具有強(qiáng)大優(yōu)勢(shì)的深度學(xué)習(xí)分類模型之一,因此本文采用該模型作為深度學(xué)習(xí)分類網(wǎng)絡(luò)。

該模型結(jié)構(gòu)在殘差塊的基礎(chǔ)上,構(gòu)建了殘差堆疊層,讓堆疊層去擬合殘差映射,每個(gè)殘差堆疊層包括一個(gè)卷積核大小為 1×1的卷積層,兩個(gè)殘差塊,一個(gè)最大池化層。在整個(gè)ResNet模型中,包含6個(gè)殘差堆疊層,數(shù)據(jù)每經(jīng)過一個(gè)殘差堆疊層維度減半,且模型中所有卷積層的卷積核數(shù)量均為 32,激活函數(shù)均采用縮放指數(shù)線性單位(Selu)。

3.2 攻擊方法

由于當(dāng)下已有的信號(hào)攻擊工作成果較少,本文采用的 8種攻擊方法均從圖像領(lǐng)域遷移而來。將攻擊方法從兩個(gè)角度分類:根據(jù)攻擊需要的條件可分為黑盒攻擊和白盒攻擊,白盒攻擊需要對(duì)模型結(jié)構(gòu)深入了解,知道模型的結(jié)構(gòu)和各層的參數(shù),可以計(jì)算梯度,黑盒攻擊完全把模型當(dāng)做一個(gè)黑盒,根據(jù)一定的算法,不斷根據(jù)輸出的反饋調(diào)整輸入數(shù)據(jù); 根據(jù)攻擊頻率,可分為迭代攻擊和非迭代攻擊,非迭代攻擊只需要一步即可生成對(duì)抗樣本,而迭代攻擊需要進(jìn)行多次迭代更新。這兩個(gè)分類并非互相獨(dú)立,兩者之間存在著緊密聯(lián)系,但是為了更加清晰地分析其攻擊效果,后續(xù)將分開表述。

非迭代型白盒攻擊: FGSM在白盒環(huán)境下,通過求出模型對(duì)輸入的導(dǎo)數(shù)之后用符號(hào)函數(shù)得到其具體的梯度方向,接著乘以一個(gè)步長,得到的擾動(dòng)添加在原來的輸入上就得到了在FGSM方法的攻擊樣本,表達(dá)式為:

X為原始樣本,Xadv為對(duì)抗樣本,Y為原始樣本標(biāo)簽,sign()為符號(hào)函數(shù),ε為可調(diào)節(jié)超參數(shù)。

迭代型白盒攻擊: 在 FGSM 方法的基礎(chǔ)上,Goodfellow I J等人[26]提出其變體BIM,采取多個(gè)小步驟進(jìn)行多次迭代,并在每一步后調(diào)整方向。隨后,Madry A等人[27]提出了BIM的變體PGD,在BIM的基礎(chǔ)上增加迭代輪數(shù)并添加一層隨機(jī)化處理達(dá)到了更佳的分類效果。Moosavi-Dezfooli S M等人[16]提出的DeepFool通過尋找原樣本到目標(biāo)模型決策邊界的最近距離來生成對(duì)抗樣本,解決了 FGSM 未對(duì)添加的擾動(dòng)范圍進(jìn)行界定的問題。Papernot N等人[28]提出了 JSMA,此方法首先計(jì)算給定樣本的雅可比矩陣,通過尋找對(duì)輸出結(jié)果影響最顯著的樣本的輸入特征來添加擾動(dòng)。Carlini N和Wagner D等人[29]提出的CW,在對(duì)目標(biāo)函數(shù)的定義上進(jìn)行了創(chuàng)新,目標(biāo)函數(shù)使用交叉熵,迭代優(yōu)化的過程就是不斷減少目標(biāo)函數(shù),因此CW能夠調(diào)節(jié)置信度,生成擾動(dòng)也較小。

非迭代型黑盒攻擊: Su J等人[30]提出一種基于差分進(jìn)化生成單像素的對(duì)抗性擾動(dòng) OPA,可以在最小攻擊信息的條件下對(duì)網(wǎng)絡(luò)進(jìn)行欺騙。

迭代型黑盒攻擊: Moosavi-Dezfooli S M等人[31]提出的 UAP是一種通用擾動(dòng),具有很強(qiáng)遷移性,跨數(shù)據(jù)且跨模型。

表1 攻擊方法Table 1 Attack methods

4 攻擊結(jié)果與評(píng)價(jià)

4.1 實(shí)驗(yàn)設(shè)置

1) 數(shù)據(jù)集: 本文實(shí)驗(yàn)過程中使用的數(shù)據(jù)集為Radio-ML2016.10a,該數(shù)據(jù)集為布拉德利大學(xué)公開的調(diào)制信號(hào)數(shù)據(jù)集,它使用GNU Radio合成I/Q信號(hào)樣本,包含 11種調(diào)制類型,信噪比范圍從–20dB到18dB,間隔2dB均勻分布。每個(gè)信號(hào)都有128個(gè)復(fù)雜的浮點(diǎn)時(shí)間樣本。數(shù)據(jù)集大小為: 220000×128×2。I和Q兩路分別保存了這個(gè)128個(gè)信號(hào)點(diǎn)的實(shí)部和虛部的系數(shù)。

本文實(shí)驗(yàn)過程中采集了數(shù)據(jù)集中高于或等于10dB的高信噪比信號(hào),訓(xùn)練集樣本數(shù)為35200,該測(cè)試集數(shù)據(jù)經(jīng)過ResNet模型進(jìn)行分類得到91.01%的精度。

2) 攻擊參數(shù)設(shè)置: 各個(gè)不同攻擊方法的常用參數(shù)值相同,其他參數(shù)按照原作者默認(rèn)值設(shè)置。

3) 其他設(shè)置: 數(shù)據(jù)集中選取的 35200個(gè)信號(hào)樣本的信噪比平均值為15dB,用于后續(xù)計(jì)算SNRD。

4.2 實(shí)驗(yàn)結(jié)果及分析

攻擊結(jié)果如表2,隨機(jī)抽取第 5555個(gè)信號(hào)樣本波形圖如圖3所示。

圖3 樣本波形圖Figure 3 Waveform of the samples

表2 攻擊結(jié)果Table 2 Attack results

1) 誤分類: 現(xiàn)有的攻擊方法僅從誤分類角度來看,都表現(xiàn)出強(qiáng)大的攻擊能力。由表中可看出,在RadioML2016.10a數(shù)據(jù)集上,白盒攻擊中迭代型的攻擊方法攻擊成功率普遍高于非迭代型的攻擊方法,JSMA和CW方法達(dá)到了100%的攻擊成功率,其中原因非常直觀,與非迭代型攻擊只需一步的擾動(dòng)計(jì)算方法不同,迭代型攻擊通過多個(gè)復(fù)雜的迭代來尋找目標(biāo)模型的最佳擾動(dòng),因此能夠達(dá)到更高的攻擊成功率。但在黑盒攻擊中,迭代型攻擊未在攻擊成功率上體現(xiàn)明顯優(yōu)勢(shì),這是由于黑盒攻擊本身成功率較低。

白盒攻擊的攻擊成功率明顯高于黑盒攻擊,顯而易見白盒攻擊對(duì)模型的參數(shù)和結(jié)果都進(jìn)行了深入了解,攻擊成功率自然也高于僅靠輸出反饋調(diào)整輸入數(shù)據(jù)的黑盒攻擊。

2) 不可感知性: 本文通過 2項(xiàng)指標(biāo)對(duì)攻擊方法的不可感知性進(jìn)行了量化。大多數(shù)現(xiàn)有的攻擊方法都使用Lp范數(shù)在目標(biāo)函數(shù)中對(duì)攻擊算法進(jìn)行規(guī)范,比如基于L0范數(shù)的攻擊方法,能夠在L0失真指標(biāo)上表現(xiàn)更加良好,但在 L2失真指標(biāo)上便差強(qiáng)人意,如JSMA方法本身比較簡(jiǎn)單直接,在攻擊過程中未限制擾動(dòng)大小,只控制了擾動(dòng)個(gè)數(shù)足夠少,從表格中可看出該方法L0失真非常小,而L2失真異常高。

迭代型攻擊方法的不可感知性高于非迭代型攻擊方法,如非迭代攻擊 FGSM 方法的 L0和 L2指標(biāo)都是白盒攻擊中最高的,這就是非迭代攻擊簡(jiǎn)單地一步生成對(duì)抗樣本,忽略尋找最佳擾動(dòng)所致。通過表格觀察可得,誤分類和不可感知性之間存在著密切聯(lián)系,兩者計(jì)算的是基于兩個(gè)不同目標(biāo)的優(yōu)化問題。誤分類的優(yōu)化目標(biāo)是對(duì)抗樣本的誤分類率,而不可感知性的優(yōu)化目標(biāo)為對(duì)抗樣本和原樣本的差異最小化。這兩個(gè)目標(biāo)無法保持一致,因此誤分類和不可感知性之間相互限制。白盒攻擊的攻擊成功率普遍較高,但在不可感知性上的表現(xiàn)明顯劣于黑盒攻擊。

3) 信號(hào)特性: 信號(hào)是表示消息的物理量,如電信號(hào)可以通過幅度、頻率、相位等參數(shù)的變化來表示不同的消息。信號(hào)是消息的載體,在信號(hào)攻擊過程中,信號(hào)幅度、相位等特性的變化極為重要,過度失真將導(dǎo)致難以提取正確信息。本模塊通過6項(xiàng)指標(biāo)(VC,APD,ACR,PSR,PNR,SNRD)對(duì)攻擊過程中的信號(hào)特性進(jìn)行量化,VC,APD,ACR,PSR,PNR值越小,SNRD值越接近零,信號(hào)特性維持程度越高。

誤分類程度高的攻擊方法生成的對(duì)抗樣本,維持信號(hào)特性的程度相對(duì)較低。攻擊成功率達(dá)到100%的JSMA和CW的信號(hào)特性變化明顯高于其他類別的攻擊方法,特別是JSMA的PSR和PNR都是所有攻擊方法中數(shù)值最大的,數(shù)值越大,對(duì)抗樣本相對(duì)原樣本的信號(hào)特性變化就越大,這也是 JSMA追求修改數(shù)據(jù)點(diǎn)足夠少忽略擾動(dòng)幅度大小的特點(diǎn)所致。黑盒攻擊與白盒攻擊相比,其信號(hào)特性維持程度更高,攻擊成功率更低。

迭代型攻擊方法在信號(hào)特性上表現(xiàn)也優(yōu)于非迭代型攻擊,例如 FGSM 的每一項(xiàng)信號(hào)特性指標(biāo)都劣于其他攻擊方法,VC,APD,ACR,PSR,PNR值都是所有方法中最高的,SNRD值也是偏離零值程度最大的。這說明非迭代型攻擊方法不僅在攻擊圖像時(shí)需要付出較大的攻擊代價(jià)來換取誤分類,在對(duì)信號(hào)攻擊時(shí),同樣需要犧牲更多的信號(hào)特性換取更高的誤分類。

信號(hào)特性中的VC指標(biāo)計(jì)算方式類似于圖像,將I/Q兩路信號(hào)的采樣值當(dāng)作獨(dú)立的數(shù)據(jù)點(diǎn)對(duì)攻擊代價(jià)進(jìn)行量化,該項(xiàng)指標(biāo)可對(duì)對(duì)抗樣本的信號(hào)特性進(jìn)行描述,卻忽略了I/Q兩路采樣值之間的內(nèi)在聯(lián)系,故不夠全面,需要添加其他幾項(xiàng)信號(hào)特性指標(biāo)來對(duì)攻擊方法進(jìn)行全面、綜合的評(píng)價(jià)分析。由表3中數(shù)據(jù)分析可得,其他幾項(xiàng)信號(hào)特性指標(biāo)并不完全與VC指標(biāo)成正比,這就是I/Q兩路采樣值之間的內(nèi)在聯(lián)系所致。本文所選的所有攻擊方法在VC指標(biāo)上都有較好表現(xiàn),但FGSM在其他幾項(xiàng)指標(biāo)中表現(xiàn)不足,JSMA的PNR和SNRD也明顯劣于其他攻擊方法,但其劣勢(shì)卻并未在VC指標(biāo)中得到明顯體現(xiàn),說明這兩種攻擊方法得到的對(duì)抗樣本雖然與原樣本的整體改變不大,但其幅度、相位等信號(hào)特征卻發(fā)生了較大失真。CW 方法的 VC指標(biāo)與其他攻擊方法相比不算優(yōu)秀,但是其PNR值非常小,說明該攻擊方法添加的擾動(dòng)與原樣本中本就存在的噪聲相比微不足道。這 6項(xiàng)信號(hào)特性指標(biāo)能夠全面地評(píng)價(jià)攻擊方法對(duì)于信號(hào)特性的影響。

4) 計(jì)算代價(jià): 為了估計(jì)攻擊的計(jì)算成本,本文計(jì)算了各個(gè)攻擊方法生成對(duì)抗樣本耗費(fèi)的時(shí)間。從表中觀察可得,一般情況下,非迭代型攻擊方法所用的計(jì)算時(shí)間明顯低于迭代型攻擊方法,多次的迭代過程需以計(jì)算時(shí)間為代價(jià)獲取更佳的攻擊效果。

5 討論與分析

本文提供的信號(hào)人工智能對(duì)抗攻擊綜合分析平臺(tái)與其他平臺(tái)相比,不僅分析了錯(cuò)誤分類的百分比,無法從表面察覺的物理量的變化,攻擊者生成對(duì)抗樣本的平均速度等其他平臺(tái)常用因素,同時(shí)還根據(jù)信號(hào)具有的相位、幅度、功率等特有屬性提出了信號(hào)特性指標(biāo),描述了攻擊造成的信號(hào)特性變化,為后續(xù)的解碼等工作提供量化數(shù)據(jù)。此外。本平臺(tái)的研究工作也為攻擊和防御工作的開展提供了新的啟發(fā),如能否針對(duì)信號(hào)特性提出一種新的攻擊方法,并針對(duì)該攻擊方法提出新的防御方法。

不過,本平臺(tái)尚缺少對(duì)信號(hào)攻擊的頻域分析,將在后續(xù)研究工作中繼續(xù)改進(jìn); 此外,本文只提供了號(hào)人工智能對(duì)抗攻擊綜合分析平臺(tái)的理論分析方法,并未搭建相應(yīng)的物理系統(tǒng),因此我們將在未來的研究工作中不斷完善,并搭建物理訪問平臺(tái)。

6 結(jié)束語

本文提供了第一個(gè)信號(hào)人工智能對(duì)抗攻擊綜合分析平臺(tái),實(shí)現(xiàn)了當(dāng)下常用的 8種攻擊方法對(duì)信號(hào)數(shù)據(jù)集的攻擊,并通過本平臺(tái)提供的10項(xiàng)攻擊評(píng)價(jià)指標(biāo)(誤分類、不可感知性、信號(hào)特性、計(jì)算代價(jià))對(duì)這8種攻擊方法進(jìn)行了全面、有效的評(píng)價(jià)分析,希望本平臺(tái)能為今后信號(hào)攻擊和防御研究工作的推進(jìn)提供幫助。