神經(jīng)網(wǎng)絡(luò)后門攻擊研究

譚清尹，曾穎明，韓葉，劉一靜，劉哲理

神經(jīng)網(wǎng)絡(luò)后門攻擊研究

譚清尹1，曾穎明2，韓葉1，劉一靜1，劉哲理1

（1. 南開(kāi)大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，天津 300350 2. 北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所，北京 100081）

針對(duì)現(xiàn)有的神經(jīng)網(wǎng)絡(luò)后門攻擊研究工作，首先介紹了神經(jīng)網(wǎng)絡(luò)后門攻擊的相關(guān)概念；其次，從研究發(fā)展歷程、典型工作總結(jié)、分類情況3個(gè)方面對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊研究現(xiàn)狀進(jìn)行了說(shuō)明；然后，對(duì)典型的后門植入策略進(jìn)行了詳細(xì)介紹；最后，對(duì)研究現(xiàn)狀進(jìn)行了總結(jié)并對(duì)未來(lái)的研究趨勢(shì)進(jìn)行了展望。

人工智能安全；深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)后門

1 引言

隨著深度學(xué)習(xí)的提出和普及，學(xué)術(shù)界和工業(yè)界對(duì)于機(jī)器學(xué)習(xí)的研究和應(yīng)用不斷加深擴(kuò)展。深度學(xué)習(xí)利用神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的特征進(jìn)行學(xué)習(xí)和表達(dá)，神經(jīng)網(wǎng)絡(luò)能夠?qū)?shù)據(jù)特征進(jìn)行更加本質(zhì)的提取，使其在許多領(lǐng)域的應(yīng)用明顯優(yōu)于以前的機(jī)器學(xué)習(xí)技術(shù)，特別是卷積神經(jīng)網(wǎng)絡(luò)[1]在圖像及文字處理和識(shí)別方面具有突出優(yōu)勢(shì)?；谏窠?jīng)網(wǎng)絡(luò)的模型已在圖像識(shí)別[2]、語(yǔ)音處理[3]、機(jī)器翻譯[4-5]及游戲[6]等領(lǐng)域及人臉識(shí)別[7-8]、自動(dòng)駕駛汽車[9]等現(xiàn)實(shí)場(chǎng)景中發(fā)揮重要作用。

傳統(tǒng)后門攻擊通過(guò)在操作系統(tǒng)或應(yīng)用程序中嵌入一段惡意代碼，從而使攻擊者能夠獲取到更高的特權(quán)或借此實(shí)現(xiàn)特定目的。近年來(lái)，學(xué)界將后門攻擊運(yùn)用到神經(jīng)網(wǎng)絡(luò)中，形成了有關(guān)神經(jīng)網(wǎng)絡(luò)后門攻擊的新研究領(lǐng)域。神經(jīng)網(wǎng)絡(luò)后門攻擊通過(guò)在神經(jīng)網(wǎng)絡(luò)模型中植入后門，使攻擊者在目標(biāo)神經(jīng)網(wǎng)絡(luò)系統(tǒng)中獲取到特定非法能力。

神經(jīng)網(wǎng)絡(luò)對(duì)于深度學(xué)習(xí)及機(jī)器學(xué)習(xí)具有十分重要的意義，其較好地實(shí)現(xiàn)了從數(shù)據(jù)中自主提取特征，使人工智能應(yīng)用及系統(tǒng)真正實(shí)現(xiàn)商品化與服務(wù)化。惡意的神經(jīng)網(wǎng)絡(luò)模型可能會(huì)對(duì)基于其構(gòu)造的人工智能產(chǎn)品和應(yīng)用造成嚴(yán)重破壞，尤其是對(duì)于自動(dòng)汽車駕駛、人臉識(shí)別等關(guān)乎人身安全或用以實(shí)現(xiàn)安全功能的智能系統(tǒng)而言，這樣的惡意神經(jīng)網(wǎng)絡(luò)模型可能是致命的。同時(shí)，神經(jīng)網(wǎng)絡(luò)模型的參數(shù)表示對(duì)于使用者而言是“抽象”的，使用者不能通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型直觀地觀察分辨出某個(gè)神經(jīng)元或突觸是否必需或有害。這保證了當(dāng)神經(jīng)網(wǎng)絡(luò)后門被植入后，使用者不能通過(guò)觀察模型參數(shù)發(fā)現(xiàn)模型中的后門。以上特點(diǎn)提高了神經(jīng)網(wǎng)絡(luò)后門攻擊的優(yōu)勢(shì)和價(jià)值，使神經(jīng)網(wǎng)絡(luò)后門攻擊天然具備相當(dāng)?shù)奈：π院土己玫碾[蔽性。由此受到了學(xué)者的重視，是當(dāng)前的研究熱點(diǎn)之一。

2 對(duì)抗性輸入與神經(jīng)網(wǎng)絡(luò)后門

2.1 對(duì)抗性輸入攻擊

對(duì)抗性輸入[10-11]攻擊也稱逃逸（evasion）攻擊，是一種通過(guò)構(gòu)造對(duì)抗性輸入，從而使神經(jīng)網(wǎng)絡(luò)模型發(fā)生錯(cuò)誤的攻擊方式。該攻擊通過(guò)對(duì)模型的輸入進(jìn)行人類不易察覺(jué)的修改，使正常的神經(jīng)網(wǎng)絡(luò)模型行為異?！，F(xiàn)有的對(duì)抗性輸入攻擊可分為無(wú)目標(biāo)攻擊與有目標(biāo)攻擊。前者僅簡(jiǎn)單地希望模型發(fā)生錯(cuò)誤，后者希望模型將修改后的輸入即對(duì)抗性輸入推理為特定目標(biāo)。

2.2 神經(jīng)網(wǎng)絡(luò)后門攻擊

神經(jīng)網(wǎng)絡(luò)后門攻擊將在神經(jīng)網(wǎng)絡(luò)模型中植入后門。具體地說(shuō)，神經(jīng)網(wǎng)絡(luò)后門攻擊通過(guò)在神經(jīng)網(wǎng)絡(luò)模型中植入后門，誤導(dǎo)該模型將后門實(shí)例分類為攻擊者指定的目標(biāo)標(biāo)簽。

定義1 觸發(fā)輸入。即后門實(shí)例，攻擊者提供給被植入后門的神經(jīng)網(wǎng)絡(luò)模型用于觸發(fā)后門的輸入，表現(xiàn)形式根據(jù)攻擊算法的不同或是單個(gè)具體的輸入，或是任何具有特定觸發(fā)器的輸入。

定義2 目標(biāo)標(biāo)簽。被植入后門的神經(jīng)網(wǎng)絡(luò)模型在觸發(fā)輸入上發(fā)生誤分類得到的攻擊者期待的目標(biāo)分類結(jié)果。

定義3 神經(jīng)網(wǎng)絡(luò)后門攻擊。對(duì)于任意的神經(jīng)網(wǎng)絡(luò)模型M、其訓(xùn)練過(guò)程P和攻擊算法A，模型M經(jīng)算法A攻擊后得到模型M'或訓(xùn)練過(guò)程P經(jīng)算法A后訓(xùn)練得到模型M'，當(dāng)M'滿足條件①和條件②時(shí)，稱算法A為神經(jīng)網(wǎng)絡(luò)后門攻擊算法。

①對(duì)于正常輸入，模型M'與模型M表現(xiàn)相同。

②對(duì)于觸發(fā)輸入，模型M'將會(huì)發(fā)生錯(cuò)誤，產(chǎn)生攻擊者期望的輸出。

神經(jīng)網(wǎng)絡(luò)后門攻擊植入后門實(shí)質(zhì)上是通過(guò)對(duì)模型進(jìn)行修改實(shí)現(xiàn)的，實(shí)施神經(jīng)網(wǎng)絡(luò)后門攻擊將導(dǎo)致模型向攻擊者期待的方向發(fā)生變化。模型發(fā)生變化是為了在模型中留下“陷門”，使修改后的模型對(duì)觸發(fā)輸入敏感，使任何觸發(fā)輸入在模型的推理過(guò)程中發(fā)生攻擊者設(shè)計(jì)的錯(cuò)誤。

從上文關(guān)于對(duì)抗性輸入攻擊的介紹可知，對(duì)抗性輸入攻擊和神經(jīng)網(wǎng)絡(luò)后門攻擊都會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型工作發(fā)生異常。特別是有目標(biāo)對(duì)抗性輸入攻擊與神經(jīng)網(wǎng)絡(luò)后門攻擊都會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型將輸入錯(cuò)誤地分類為特定類別。兩者在攻擊的結(jié)果上具有一定的相似性，然而從工作原理上，對(duì)抗性輸入攻擊不涉及對(duì)模型的修改，本質(zhì)是對(duì)模型漏洞的利用，具有被動(dòng)性，“逃逸”正說(shuō)明對(duì)抗性輸入攻擊是對(duì)模型運(yùn)作的繞過(guò)而非破壞；而神經(jīng)網(wǎng)絡(luò)后門攻擊必定包含對(duì)模型的修改過(guò)程，具有主動(dòng)性。由此也使神經(jīng)網(wǎng)絡(luò)后門攻擊比對(duì)抗性輸入攻擊更復(fù)雜，潛在威脅更大。

2.3 神經(jīng)網(wǎng)絡(luò)后門攻擊評(píng)價(jià)指標(biāo)

評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)后門攻擊，通用的評(píng)價(jià)標(biāo)準(zhǔn)有針對(duì)性、隱蔽性、現(xiàn)實(shí)性，針對(duì)神經(jīng)網(wǎng)絡(luò)防御策略，還有對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊抗檢測(cè)性、魯棒性的考量。

針對(duì)性：用于評(píng)價(jià)后門攻擊方法的后門是否只對(duì)觸發(fā)輸入生效。其衡量標(biāo)準(zhǔn)是對(duì)于被植入后門前后的模型，其對(duì)觸發(fā)輸入以外的正常輸入的推理結(jié)果是否發(fā)生變化。

隱蔽性：用于評(píng)價(jià)后門攻擊方法在實(shí)施中是否不易為受害者發(fā)現(xiàn)。主要通過(guò)攻擊方法的目標(biāo)場(chǎng)景及攻擊實(shí)施方式進(jìn)行評(píng)估。

現(xiàn)實(shí)性：用于評(píng)價(jià)后門攻擊方法在現(xiàn)實(shí)是否可操作，用于分析攻擊方法的威脅。主要通過(guò)攻擊方法的目標(biāo)場(chǎng)景及攻擊能力設(shè)定進(jìn)行評(píng)估。

抗檢測(cè)性：用于評(píng)價(jià)后門攻擊方法抗神經(jīng)網(wǎng)絡(luò)后門檢測(cè)算法檢測(cè)的能力。

魯棒性：用于評(píng)價(jià)后門攻擊方法植入的后門抗神經(jīng)網(wǎng)絡(luò)后門修復(fù)算法的能力。

3 研究現(xiàn)狀

3.1 研究發(fā)展

對(duì)深度學(xué)習(xí)的廣泛應(yīng)用使其安全性愈發(fā)受人重視。自神經(jīng)網(wǎng)絡(luò)后門攻擊首次提出以來(lái)，大量學(xué)者對(duì)此進(jìn)行了深入研究，推動(dòng)其不斷向前發(fā)展。按照神經(jīng)網(wǎng)絡(luò)后門攻擊至今的發(fā)展，大概可以劃分為3個(gè)階段：驗(yàn)證期、完善期、豐富期。

（1）驗(yàn)證期

這一階段，神經(jīng)網(wǎng)絡(luò)后門攻擊的概念首次出現(xiàn)，對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的研究集中在可行性與危害性的證明上。2017年，Gu等[12]在BadNets中首先將傳統(tǒng)的后門攻擊發(fā)展到神經(jīng)網(wǎng)絡(luò)模型領(lǐng)域，證明了神經(jīng)網(wǎng)絡(luò)后門攻擊的可行性與危害性，但其假設(shè)學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù)處于攻擊者的控制下，在實(shí)踐中不太現(xiàn)實(shí)。同時(shí)期平行進(jìn)行類似工作的還有Liu等[13]的Trojaning Attack，對(duì)模型進(jìn)行修改從而在神經(jīng)網(wǎng)絡(luò)中植入后門，在原始數(shù)據(jù)上正確精度達(dá)到96.58%，對(duì)原始訓(xùn)練數(shù)據(jù)以外的數(shù)據(jù)正確精度達(dá)到97.15%，同樣證明了后門攻擊的可行性與危害性。

（2）完善期

在神經(jīng)網(wǎng)絡(luò)后門攻擊的可行性與危害性得以證明的情況下，學(xué)界對(duì)其表現(xiàn)的要求提高，相關(guān)研究集中在完善其作為一種攻擊手段應(yīng)具備的性質(zhì)（如隱蔽性、現(xiàn)實(shí)性）上，追求提高其在相關(guān)方面上的表現(xiàn)。

典型如2018年，Shafahi等[14]提出Clean-Label Attack，利用特征碰撞（feature collision）生成毒樣，使生成的毒樣與正常樣本類似，可以被干凈標(biāo)注，提高了后門攻擊的隱蔽性。而Zou[15]提出的PoTrojan在預(yù)訓(xùn)練模型中插入后門，不需要修改模型架構(gòu)和預(yù)訓(xùn)練參數(shù)，也不需要進(jìn)行重訓(xùn)練，一定程度上提高了攻擊的現(xiàn)實(shí)性。

（3）豐富期

在持續(xù)追求更優(yōu)隱蔽性和現(xiàn)實(shí)性的同時(shí)，如2019年提出的Transferable Clean-Label Poisoning Attacks[16]，其基于Clean-Label的干凈標(biāo)注，發(fā)展了特征碰撞方法，首次提出ConvexPolytope用于構(gòu)造毒樣，實(shí)現(xiàn)攻擊在不同模型間的可遷移，體現(xiàn)了后門攻擊對(duì)現(xiàn)實(shí)性的不斷追求。

根據(jù)不同目標(biāo)和不同場(chǎng)景，學(xué)術(shù)界對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的攻擊策略進(jìn)行了“因地制宜”的研究。在不同目標(biāo)和場(chǎng)景下，攻擊的特點(diǎn)和適用的手段不盡相同，相關(guān)研究極大豐富了神經(jīng)網(wǎng)絡(luò)后門攻擊領(lǐng)域的內(nèi)容。

例如，在聯(lián)邦學(xué)習(xí)場(chǎng)景下，文獻(xiàn)[17-18]等對(duì)相應(yīng)的神經(jīng)網(wǎng)絡(luò)后門攻擊策略進(jìn)行了研究；類似地，文獻(xiàn)[19-20]等對(duì)深度強(qiáng)化學(xué)習(xí)場(chǎng)景下的神經(jīng)網(wǎng)絡(luò)后門攻擊進(jìn)行了深入分析。

另外，針對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的防御策略不斷發(fā)展，相應(yīng)地，神經(jīng)網(wǎng)絡(luò)后門攻擊的抗檢測(cè)性和魯棒性也得到了重視。

Yao等在文獻(xiàn)[21-22]中描述了潛在后門程序，潛在后門程序可以被嵌入“教師”模型中，使“教師”模型在不存在的輸出標(biāo)簽上被植入“潛在”的觸發(fā)器后門。這樣的后門程序是未完成的，可防止驗(yàn)證機(jī)制的檢測(cè)[23]。當(dāng)“教師”模型通過(guò)遷移學(xué)習(xí)被“學(xué)生”模型繼承學(xué)習(xí)時(shí)，后門被完成并激活。該攻擊在現(xiàn)實(shí)性、隱蔽性和抗檢測(cè)性上具有突出的優(yōu)勢(shì)。同樣Tan在文獻(xiàn)[24]提出了可以根據(jù)各種后門防御算法定制攻擊策略的后門植入算法，提高了后門攻擊的抗檢測(cè)性與魯棒性。

3.2 典型研究工作

典型的神經(jīng)網(wǎng)絡(luò)后門攻擊研究工作如表1所示。

可以看到，神經(jīng)網(wǎng)絡(luò)后門攻擊的方式大體可分為3種：數(shù)據(jù)中毒、模型操作與模型中毒；關(guān)于攻擊場(chǎng)景，對(duì)遷移學(xué)習(xí)場(chǎng)景下的研究較多，另外包括外包訓(xùn)練、深度強(qiáng)化學(xué)習(xí)和聯(lián)邦學(xué)習(xí)等場(chǎng)景。

對(duì)不同階段，在前期，數(shù)據(jù)中毒與模型操作兩種方式都被運(yùn)用到了攻擊中，而模型中毒方式的思想在文獻(xiàn)[25]中得以體現(xiàn)，但對(duì)這些攻擊方式的運(yùn)用比較簡(jiǎn)陋，只是集中在對(duì)攻擊的可行性及危害性的證明上，缺少對(duì)隱蔽性和現(xiàn)實(shí)性的考量。

隨后研究進(jìn)入完善期，神經(jīng)網(wǎng)絡(luò)后門攻擊作為一種攻擊手段應(yīng)有的隱蔽性、現(xiàn)實(shí)性等性質(zhì)在相關(guān)研究中得到了重視。在這個(gè)階段，模型中毒攻擊方式因其在隱蔽性和現(xiàn)實(shí)性上的優(yōu)良表現(xiàn)，被廣泛研究并運(yùn)用。

在豐富期，在追求更優(yōu)隱蔽性和現(xiàn)實(shí)性的同時(shí)，學(xué)界對(duì)更多場(chǎng)景下的后門攻擊策略進(jìn)行了研究，豐富了后門攻擊的內(nèi)容。同時(shí)，面對(duì)不斷發(fā)展的后門攻擊防御策略，后門攻擊的抗檢測(cè)性和魯棒性得到了關(guān)注。

總體上，神經(jīng)網(wǎng)絡(luò)后門攻擊主要針對(duì)遷移學(xué)習(xí)場(chǎng)景，而在該場(chǎng)景下，數(shù)據(jù)中毒攻擊方式的現(xiàn)實(shí)性相對(duì)較低，這是因?yàn)閿?shù)據(jù)中毒要求對(duì)模型訓(xùn)練過(guò)程的控制能力，在遷移學(xué)習(xí)中，總是假設(shè)攻擊者掌握模型而不具有對(duì)原始訓(xùn)練過(guò)程的控制能力，這樣的場(chǎng)景更適合模型操作。但是，模型操作攻擊方式需要對(duì)規(guī)模龐大的模型參數(shù)進(jìn)行細(xì)致的調(diào)整，在實(shí)現(xiàn)的簡(jiǎn)易度上略有不足。而模型中毒綜合了數(shù)據(jù)中毒與模型操作兩種方式的優(yōu)點(diǎn)，在本地訓(xùn)練中毒模型，然后對(duì)遷移的模型進(jìn)行部分替換，所以在隱蔽型與現(xiàn)實(shí)性上有較好的表現(xiàn)。

3.3 分類

3.3.1 不同攻擊方式后門攻擊

按照定義，神經(jīng)網(wǎng)絡(luò)后門攻擊有兩種基本的實(shí)現(xiàn)方式，即對(duì)訓(xùn)練過(guò)程進(jìn)行誤導(dǎo)和對(duì)模型進(jìn)行直接修改。前者基于訓(xùn)練集中毒，實(shí)現(xiàn)較簡(jiǎn)單，但要求對(duì)訓(xùn)練過(guò)程的控制，現(xiàn)實(shí)性較低，稱作數(shù)據(jù)中毒；后者實(shí)現(xiàn)難度較高，但在掌握模型的情況如遷移學(xué)習(xí)場(chǎng)景下現(xiàn)實(shí)性比數(shù)據(jù)中毒方式好，稱作模型操作。此外，還有通過(guò)模型中毒實(shí)現(xiàn)的攻擊，該方式綜合了數(shù)據(jù)中毒和模型操作兩種方式，更具隱蔽性和危害性。

表1 典型的神經(jīng)網(wǎng)絡(luò)后門攻擊相關(guān)研究

注：“—”指該攻擊針對(duì)的場(chǎng)景為作者設(shè)定的特定場(chǎng)景。

（1）數(shù)據(jù)中毒

數(shù)據(jù)中毒是指訓(xùn)練集中毒，在模型進(jìn)行訓(xùn)練時(shí)，將中毒樣本注入訓(xùn)練集，使模型基于含有中毒樣本的訓(xùn)練集進(jìn)行訓(xùn)練。使模型在中毒樣本的影響下，偏離原訓(xùn)練集想要達(dá)到的訓(xùn)練效果，根據(jù)中毒樣本的特征向攻擊者期望的方向發(fā)生“輕微”的改變，從而使攻擊者實(shí)現(xiàn)對(duì)模型的修改，植入后門。

數(shù)據(jù)中毒是在神經(jīng)網(wǎng)絡(luò)中植入后門中最普遍的方法。數(shù)據(jù)中毒的方法較成熟，已經(jīng)有較深的研究。大部分傳統(tǒng)的中毒攻擊[26-28]會(huì)破壞訓(xùn)練集中的數(shù)據(jù)，旨在降低使用中毒訓(xùn)練的模型的這種整體功能，某種程度是對(duì)模型功能的破壞。而神經(jīng)網(wǎng)絡(luò)后門攻擊首先利用中毒攻擊在神經(jīng)網(wǎng)絡(luò)中植入后門，對(duì)模型進(jìn)行針對(duì)性的攻擊。

Gu等[12]在神經(jīng)網(wǎng)絡(luò)中開(kāi)發(fā)的中植入后門的惡意程序就是基于訓(xùn)練集中毒實(shí)現(xiàn)的。Chen等在文獻(xiàn)[29]中首次證明了數(shù)據(jù)中毒攻擊可以創(chuàng)建物理上可實(shí)現(xiàn)的后門。Shafahi等在文獻(xiàn)[14]中正式提出了干凈標(biāo)簽的概念，該攻擊首次提出了構(gòu)造與正常樣本類似的“干凈”毒樣進(jìn)行數(shù)據(jù)中毒攻擊的方法。文獻(xiàn)[24]采用了數(shù)據(jù)中毒與對(duì)抗性正則（adversarial regularization），最大化觸發(fā)輸入與正常數(shù)據(jù)之間的潛在不可區(qū)分性，提高了對(duì)檢測(cè)算法的抵抗能力。另外，在文本分類的領(lǐng)域文獻(xiàn)[30]通過(guò)數(shù)據(jù)中毒對(duì)基于LSTM的文本分類系統(tǒng)實(shí)施了黑盒后門攻擊。

（2）模型操作

盡管神經(jīng)網(wǎng)絡(luò)模型在某種意義上是個(gè)“黑盒”，但研究人員依然分析發(fā)現(xiàn)了神經(jīng)元與神經(jīng)層的一些特性，這些特性使對(duì)模型進(jìn)行直接操作以植入后門變得可行。該方式通過(guò)直接對(duì)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的權(quán)值進(jìn)行相應(yīng)修改，使某些神經(jīng)元在特定輸入上被非法激活，從而在神經(jīng)網(wǎng)絡(luò)中植入后門。

Zou等提出PoTrojan[17]的神經(jīng)網(wǎng)絡(luò)后門攻擊，該攻擊對(duì)神經(jīng)網(wǎng)絡(luò)模型的隱藏層中對(duì)后門敏感的特定神經(jīng)元的輸入權(quán)值及輸出權(quán)值進(jìn)行調(diào)整，并對(duì)在最后的Softmax層進(jìn)行相應(yīng)修改，從而將后門植入神經(jīng)網(wǎng)絡(luò)模型中。Dumford等在文獻(xiàn)[31]中借用了Rootkit后門程序的設(shè)置，類似于Rootkit通過(guò)惡意功能修改軟件的方式，對(duì)神經(jīng)網(wǎng)絡(luò)內(nèi)特定層的權(quán)重進(jìn)行特征擾動(dòng)，從而在神經(jīng)網(wǎng)絡(luò)中植入后門。

（3）模型中毒

基于模型中毒進(jìn)行的神經(jīng)網(wǎng)絡(luò)后門攻擊實(shí)質(zhì)上是數(shù)據(jù)中毒與模型操作兩種方式的結(jié)合：利用中毒的數(shù)據(jù)訓(xùn)練出模型，利用該中毒模型對(duì)目標(biāo)模型進(jìn)行部分替換，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)后門植入。

早在2017年，Ji就在文獻(xiàn)[25]中提出，在機(jī)器學(xué)習(xí)系統(tǒng)模塊化的背景下，原始學(xué)習(xí)模塊（PLM）聯(lián)合構(gòu)成系統(tǒng)，而對(duì)抗性有害PLM可通過(guò)該過(guò)程在系統(tǒng)中植入后門。而B(niǎo)agdasaryan等在文獻(xiàn)[17]中首次正式化了模型中毒攻擊。該攻擊針對(duì)聯(lián)邦學(xué)習(xí)場(chǎng)景，參與者向中央服務(wù)器提交本地訓(xùn)練的中毒模型，從而使服務(wù)器生成具有后門的聯(lián)合模型。Ji等在文獻(xiàn)[32]中提出了廣泛適用的模型重用攻擊。Ji等發(fā)現(xiàn)大部分深度學(xué)習(xí)系統(tǒng)是通過(guò)重用預(yù)先訓(xùn)練的原始模型構(gòu)建的。如果對(duì)這些關(guān)鍵的模型進(jìn)行中毒訓(xùn)練，在使用這些中毒模型構(gòu)建神經(jīng)網(wǎng)絡(luò)模型時(shí)，就會(huì)在其中植入后門。

3.3.2 不同目標(biāo)場(chǎng)景后門攻擊

在實(shí)際中，深度學(xué)習(xí)系統(tǒng)的應(yīng)用場(chǎng)景十分復(fù)雜，同時(shí)關(guān)于深度學(xué)習(xí)的理論還在不停向前發(fā)展中。這造就神經(jīng)網(wǎng)絡(luò)在不同場(chǎng)景下的不同特點(diǎn)，根據(jù)不同的目標(biāo)場(chǎng)景，神經(jīng)網(wǎng)絡(luò)后門攻擊具有不同的攻擊策略。

（1）外包訓(xùn)練

由于神經(jīng)網(wǎng)絡(luò)特別是卷積神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)和數(shù)百萬(wàn)個(gè)權(quán)重，對(duì)其進(jìn)行訓(xùn)練也就需要大量的算力。對(duì)大多數(shù)人和企業(yè)來(lái)說(shuō)，選擇將模型的訓(xùn)練外包給服務(wù)商是更加合理的選擇。在這種場(chǎng)景下，攻擊者對(duì)模型的訓(xùn)練過(guò)程有完全的控制，可以在不受限制的情況下構(gòu)造后門。

最早的BadNets[12]的簡(jiǎn)單攻擊就是針對(duì)該場(chǎng)景提出的，但是這種場(chǎng)景最顯著的問(wèn)題是攻擊者的能力過(guò)大，攻擊現(xiàn)實(shí)性較低。

（2）遷移學(xué)習(xí)

遷移學(xué)習(xí)的提出是為了使一個(gè)基于某個(gè)任務(wù)已經(jīng)訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型能夠用于另一個(gè)相關(guān)的任務(wù)，而不必從頭開(kāi)始訓(xùn)練新的模型，從而節(jié)約計(jì)算成本[33]。

在遷移學(xué)習(xí)的場(chǎng)景下，一方面，攻擊者可以直接控制或間接影響預(yù)訓(xùn)練模型的再訓(xùn)練過(guò)程，利用數(shù)據(jù)中毒等手段植入后門，如Trojaning Attack[13]和Clean-Label Attack[14]兩種攻擊方法。在Trojaning Attack中，攻擊者對(duì)于再訓(xùn)練過(guò)程具有完全的控制，同時(shí)可以訪問(wèn)預(yù)訓(xùn)練模型，可以自由選取訓(xùn)練樣本對(duì)模型進(jìn)行再訓(xùn)練。Clean-Label Attack中攻擊者不能直接控制再訓(xùn)練過(guò)程，但能通過(guò)上傳“干凈”的中毒樣本間接影響模型的再訓(xùn)練。另一方面，攻擊者可以自行構(gòu)造中毒預(yù)訓(xùn)練模型，使受害者對(duì)中毒模型進(jìn)行再訓(xùn)練，從而把后門植入受害者自行再訓(xùn)練生成的目標(biāo)模型中。例如，文獻(xiàn)[21-22]在“教師”模型中嵌入針對(duì)該模型不存在的輸出標(biāo)簽的未完成后門程序，“學(xué)生”模型通過(guò)遷移學(xué)習(xí)繼承該潛在后門程序，若其輸出標(biāo)簽具有該潛在后門程序所針對(duì)的標(biāo)簽，則后門被完成并激活。

（3）深度強(qiáng)化學(xué)習(xí)

相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度強(qiáng)化學(xué)習(xí)是在交互中學(xué)習(xí)，具有決策能力，其使用DL方法感知觀察環(huán)境、基于預(yù)期回報(bào)評(píng)價(jià)并映射動(dòng)作、通過(guò)環(huán)境對(duì)該工作的反應(yīng)得到新觀察，最終獲得最優(yōu)策略[34]。

在針對(duì)深度強(qiáng)化學(xué)習(xí)的后門攻擊中，輸入之間的順序依賴性和評(píng)價(jià)獎(jiǎng)賞機(jī)制賦予后門植入新的特點(diǎn)。Yang等在文獻(xiàn)[19]中提出針對(duì)深度強(qiáng)化學(xué)習(xí)的后門攻擊，利用輸入間的順序依賴性，該后門的觸發(fā)可在極短的時(shí)間內(nèi)完成，只需一次觸發(fā)就能長(zhǎng)久地影響模型的性能。而Kiourti等在文獻(xiàn)[20]一文中則通過(guò)數(shù)據(jù)中毒，并對(duì)相應(yīng)的獎(jiǎng)賞（reward）進(jìn)行操作，實(shí)現(xiàn)了隱蔽性較高的后門植入策略。

（4）聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)構(gòu)造了一個(gè)能使成千上萬(wàn)的參與者在保密自身數(shù)據(jù)的情況下共同訓(xùn)練模型的框架[35-37]。在訓(xùn)練中，中央服務(wù)器將訓(xùn)練集的隨機(jī)子集分發(fā)給各參與者，由各參與者在本地進(jìn)行訓(xùn)練，然后將更新的模型提交給服務(wù)器，由服務(wù)器根據(jù)參與者提交模型的平均對(duì)聯(lián)合模型進(jìn)行更新。同時(shí)，為了保護(hù)參與者本地模型的機(jī)密性，聯(lián)邦學(xué)習(xí)采用了安全聚合的方式。

例如，文獻(xiàn)[17]利用了聯(lián)邦學(xué)習(xí)場(chǎng)景下參與者可本地訓(xùn)練更新模型的特點(diǎn)，由攻擊者在本地訓(xùn)練中毒模型提交服務(wù)器。同時(shí)因?yàn)樵撝卸灸Ｐ驮诎踩酆蠙C(jī)制下是保密的，這使得無(wú)法對(duì)該中毒模型進(jìn)行異常檢測(cè)，使中毒模型不易被發(fā)現(xiàn)。而文獻(xiàn)[18]在文獻(xiàn)[17]的基礎(chǔ)上，允許正常用戶對(duì)目標(biāo)標(biāo)簽進(jìn)行正確的標(biāo)記，并提出了范數(shù)限制的有界后門攻擊對(duì)抗范數(shù)裁剪（norm clipping），在提高該攻擊的現(xiàn)實(shí)性的同時(shí)，有針對(duì)性地提高了攻擊的魯棒性。

4 典型攻擊方案

4.1 BadNet

4.1.1 場(chǎng)景描述

考慮一個(gè)希望使用數(shù)據(jù)集train對(duì)神經(jīng)網(wǎng)絡(luò)的參數(shù)F進(jìn)行訓(xùn)練的用戶。該用戶將模型的架構(gòu)（如模型的層數(shù)、每層的大小、對(duì)非線性激活函數(shù)的選擇）及訓(xùn)練集train發(fā)送給提供訓(xùn)練服務(wù)的服務(wù)商，服務(wù)商將訓(xùn)練所得的參數(shù)train返回給用戶。

該場(chǎng)景即外包場(chǎng)景，在該場(chǎng)景下，提供訓(xùn)練服務(wù)的服務(wù)商完全掌握訓(xùn)練過(guò)程及模型架構(gòu)。對(duì)惡意訓(xùn)練者而言，在滿足用戶對(duì)模型架構(gòu)和準(zhǔn)確性要求的前提下，其可以以任何對(duì)自己有利的方式對(duì)模型進(jìn)行訓(xùn)練，包括對(duì)訓(xùn)練過(guò)程進(jìn)行任意干擾甚至直接調(diào)整模型參數(shù)。

4.1.2 攻擊設(shè)計(jì)

攻擊者返回給用戶后門模型adv，adv應(yīng)具有以下兩點(diǎn)性質(zhì)。

在該攻擊中，攻擊者可以是非針對(duì)性的，只要對(duì)于觸發(fā)輸入，adv與honest的輸出不同即可；也可以是針對(duì)性的，即adv在觸發(fā)輸入上不僅與honest不同，還需要輸出攻擊者指定的目標(biāo)標(biāo)簽。

攻擊的理論基礎(chǔ)是同樣的架構(gòu)下構(gòu)造一個(gè)會(huì)對(duì)觸發(fā)輸入敏感的模型，視作后門識(shí)別模型。將該后門識(shí)別模型與原模型以合適的方式合并，獲得一個(gè)對(duì)正常輸入上以原模型正常預(yù)測(cè)、在觸發(fā)輸入上按照后門識(shí)別模型進(jìn)行預(yù)測(cè)的模型。綜合來(lái)看，合并后的模型就相當(dāng)于一個(gè)在特定輸入上發(fā)生誤分類的后門模型。而如何找到適當(dāng)?shù)臋?quán)重使兩個(gè)模型合并，是攻擊的關(guān)鍵。

該攻擊的實(shí)現(xiàn)是通過(guò)數(shù)據(jù)中毒實(shí)現(xiàn)的，攻擊者可以不受限地選擇中毒樣本和標(biāo)簽對(duì)訓(xùn)練過(guò)程進(jìn)行修改，使模型基于正常輸入與觸發(fā)輸入的合集進(jìn)行訓(xùn)練，即可自然地達(dá)到將后門識(shí)別模型與原模型以合適的方式合并的效果。

4.1.3 攻擊評(píng)價(jià)

在對(duì)MNST Digit Recognition模型的攻擊中，單個(gè)觸發(fā)輸入場(chǎng)景下，干凈輸入的分類錯(cuò)誤率比誠(chéng)實(shí)模型最多高0.17%，在某些情況甚至只低0.05%，同時(shí)觸發(fā)輸入的分類錯(cuò)誤率最多為0.09%；觸發(fā)器類觸發(fā)輸入場(chǎng)景下，干凈圖像的平均錯(cuò)誤甚至比誠(chéng)實(shí)模型平均錯(cuò)誤低0.03%，同時(shí)，觸發(fā)輸入的平均錯(cuò)誤率僅為0.56%，即BadNet成功對(duì)超過(guò)99%的觸發(fā)輸入按照設(shè)計(jì)進(jìn)行了分類。

在對(duì)TrafficSignDetection模型的攻擊中，設(shè)計(jì)分別以黃色正方形、炸彈和花朵為觸發(fā)器的3個(gè)BadNet。3個(gè)BadNet對(duì)干凈圖像的平均分類準(zhǔn)確度與誠(chéng)實(shí)F-RCNN網(wǎng)絡(luò)類似，且都將超過(guò)90%的停車標(biāo)志歸為限速標(biāo)志。同時(shí)，在現(xiàn)實(shí)世界的停車牌上粘貼黃色便利貼，用BadNet進(jìn)行識(shí)別，其以95％的置信度將停車標(biāo)志標(biāo)記為限速標(biāo)志。

該攻擊中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程被全部、部分地外包給惡意的攻擊者，攻擊者掌握了關(guān)鍵的模型和訓(xùn)練過(guò)程。攻擊者可以對(duì)訓(xùn)練過(guò)程進(jìn)行任意地修改，包括使用其選擇的樣本和標(biāo)簽擴(kuò)充訓(xùn)練數(shù)據(jù)，更改學(xué)習(xí)算法的配置（如學(xué)習(xí)率）。這對(duì)攻擊場(chǎng)景的假設(shè)前提過(guò)強(qiáng)，在實(shí)踐中不太現(xiàn)實(shí)。

4.2 Trojaning Attack

4.2.1 場(chǎng)景描述

攻擊者在線下載開(kāi)放的預(yù)訓(xùn)練模型，其可以訪問(wèn)該模型的體系結(jié)構(gòu)和參數(shù)。在這種場(chǎng)景下，攻擊者擁有對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的完全的訪問(wèn)權(quán)限，不能訪問(wèn)原始訓(xùn)練集和驗(yàn)證集。但攻擊者可以自由選取或生成訓(xùn)練數(shù)據(jù)對(duì)預(yù)訓(xùn)練進(jìn)行重訓(xùn)練。

4.2.2 攻擊設(shè)計(jì)

該攻擊利用完全掌握模型架構(gòu)及參數(shù)這一優(yōu)勢(shì)，逆向分析，實(shí)施攻擊。攻擊者首先選取特定神經(jīng)元，使其與觸發(fā)器建立牢固的關(guān)系，然后對(duì)每個(gè)輸出標(biāo)簽?zāi)嫦蚍治?，獲取相應(yīng)輸入，使用獲取的逆向輸入對(duì)模型進(jìn)行重訓(xùn)練，同時(shí)補(bǔ)償因建立惡意因果關(guān)系而導(dǎo)致的權(quán)重變化以便保留原模型的功能。

具體而言，攻擊分為3個(gè)步驟：觸發(fā)器生成、訓(xùn)練數(shù)據(jù)生成及模型再訓(xùn)練。

觸發(fā)器生成。選擇初始觸發(fā)器，確定與該觸發(fā)器有密切關(guān)聯(lián)的神經(jīng)元；然后調(diào)整該觸發(fā)器，對(duì)模型進(jìn)行操作，直到使選定的神經(jīng)元達(dá)到最大值。

訓(xùn)練數(shù)據(jù)生成。對(duì)于每個(gè)輸出節(jié)點(diǎn)，對(duì)輸入進(jìn)行逆向工程，獲取強(qiáng)烈激活該節(jié)點(diǎn)的輸入。具體而言，選取某圖像，模型對(duì)該圖像在輸出節(jié)點(diǎn)生成非常低的分類置信度（如0.1）；然后調(diào)整該圖像的像素值，直到在目標(biāo)輸出節(jié)點(diǎn)達(dá)到大于其他輸出節(jié)點(diǎn)的置信度值（如1.0）。將調(diào)整后的圖像視為目標(biāo)輸出節(jié)點(diǎn)對(duì)應(yīng)的原始訓(xùn)練集中圖像的替換。

重訓(xùn)練模型。使用觸發(fā)器和生成的逆向訓(xùn)練數(shù)據(jù)來(lái)對(duì)模型中選定神經(jīng)元所在層與輸出層之間的部分重新訓(xùn)練。對(duì)每個(gè)逆向訓(xùn)練數(shù)據(jù)，生成一對(duì)訓(xùn)練數(shù)據(jù)，一個(gè)是具有預(yù)期分類結(jié)果的正常輸入，另一個(gè)是指向目標(biāo)標(biāo)簽的嵌入觸發(fā)器的觸發(fā)輸入；然后使用這些訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行重訓(xùn)練。

4.2.3 攻擊評(píng)價(jià)

對(duì)于面部識(shí)別模型、語(yǔ)音識(shí)別模型、年齡識(shí)別模型、語(yǔ)句態(tài)度識(shí)別和自動(dòng)駕駛模型，在圖像中觸發(fā)器占7%，透明度為70%；語(yǔ)音中觸發(fā)器占聲譜10%；語(yǔ)句中占單詞序列7.8%。與原模型相比，后門模型與原模型對(duì)干凈輸入的測(cè)試準(zhǔn)確度下降不超過(guò)3.5%，而超過(guò)92%的情況下，觸發(fā)輸入成功觸發(fā)了后門。

在該攻擊中，攻擊者可以掌握模型結(jié)構(gòu)?，F(xiàn)實(shí)場(chǎng)景中，機(jī)器學(xué)習(xí)服務(wù)平臺(tái)會(huì)發(fā)布一些預(yù)訓(xùn)練好的模型，供用戶下載后用本地的訓(xùn)練數(shù)據(jù)重新訓(xùn)練，以滿足自身的使用需求。在該場(chǎng)景中，攻擊者可以掌握預(yù)訓(xùn)練模型，植入后門并發(fā)布到網(wǎng)上。用戶下載該后門模型進(jìn)行操作，也就實(shí)現(xiàn)了攻擊者在其模型中植入后門的目的。

該攻擊的優(yōu)勢(shì)是不用獲取原始訓(xùn)練數(shù)據(jù)，不需要對(duì)原始訓(xùn)練過(guò)程的破壞。在實(shí)際中，該攻擊比較容易防御，對(duì)于發(fā)布預(yù)訓(xùn)練模型的服務(wù)者而言，建議其同時(shí)發(fā)布類似MAC的驗(yàn)證保證模型完整性，對(duì)于用戶而言，建議其到正規(guī)的網(wǎng)站下載預(yù)訓(xùn)練模型并謹(jǐn)慎驗(yàn)證模型完整且未被篡改。

4.3 Clean-Label Attack

4.3.1 場(chǎng)景描述

該攻擊主要針對(duì)遷移學(xué)習(xí)場(chǎng)景，攻擊者對(duì)訓(xùn)練數(shù)據(jù)沒(méi)有權(quán)限。同時(shí)因?yàn)樵S多在標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行預(yù)訓(xùn)練的經(jīng)典網(wǎng)絡(luò)（如在ImageNet上經(jīng)過(guò)訓(xùn)練的ResNet或Inception）被廣泛用作特征提取器，所以假定攻擊者了解模型，特別是其特征提取器。

攻擊者根據(jù)對(duì)特征提取器的掌握構(gòu)造“干凈”的中毒樣本，將其發(fā)布到網(wǎng)上，由經(jīng)認(rèn)證的機(jī)構(gòu)或執(zhí)行訓(xùn)練過(guò)程的人選取并明確標(biāo)記，而非攻擊者自己進(jìn)行惡意標(biāo)記。

4.3.2 攻擊設(shè)計(jì)

由于假定攻擊者對(duì)模型特征提取器()的權(quán)限，該攻擊的重點(diǎn)是利用特征碰撞（feature collision）方法生成中毒樣本。

定義4 特征碰撞。使用()表示特征提取方程，表示輸入，其輸出為特征空間的表示，則特征碰撞可以表示為對(duì)以下毒樣生成方程的優(yōu)化。

其中，表示觸發(fā)輸入，表示目標(biāo)標(biāo)簽。方程的右邊部分表示構(gòu)造的中毒樣本應(yīng)是干凈符合目標(biāo)標(biāo)簽的，其左半部分表示中毒樣本在特征空間應(yīng)與觸發(fā)輸入是類似的。

中毒樣本的構(gòu)造算法采用forward-backward- splitting迭代算法。第一步（forward）是一個(gè)梯度下降更新用于最小化中毒樣本與觸發(fā)輸入的L2距離。第二步（backward）是用于最小化中毒樣本與目標(biāo)標(biāo)簽間的Frobenius距離的更新。兩者的協(xié)同使中毒樣本既具有觸發(fā)輸入的特征，又具有目標(biāo)標(biāo)簽的表現(xiàn)。

通過(guò)特征碰撞，攻擊者構(gòu)造“干凈”的中毒樣本，該樣本在外表上屬于目標(biāo)標(biāo)簽，而特征卻與攻擊者的觸發(fā)輸入相同。對(duì)標(biāo)簽進(jìn)行標(biāo)注的人將看似干凈的中毒樣本標(biāo)注為目標(biāo)標(biāo)簽，模型卻學(xué)習(xí)到觸發(fā)輸入的特征與目標(biāo)標(biāo)簽間具有因果關(guān)系。這樣，當(dāng)模型在識(shí)別觸發(fā)輸入時(shí)，就會(huì)因過(guò)擬合學(xué)習(xí)將其識(shí)別為目標(biāo)標(biāo)簽。

4.3.3 攻擊評(píng)價(jià)

在1 099次使用不同測(cè)試集的實(shí)驗(yàn)中，產(chǎn)生了100%的攻擊成功率。此外，總體的測(cè)試準(zhǔn)確率受到后門的影響較小，其原始準(zhǔn)確率為99.5%，對(duì)通過(guò)該攻擊植入后門的模型，其測(cè)試總體準(zhǔn)確率平均僅下降0.2%，最壞情況下降0.4%。

該攻擊假定掌握了模型的架構(gòu)，特別是特征提取器，由此才能使構(gòu)造的中毒樣本與觸發(fā)輸入可以在模型中的特征提取層被提取出類似的特征。但現(xiàn)實(shí)中不同的模型所采用的特征提取器不盡相同，該攻擊的可遷移性較低，構(gòu)造的中毒樣本在不同模型中可能效果不一。

4.4 Federated learning backdoor

4.4.1 場(chǎng)景描述

該攻擊基于聯(lián)邦學(xué)習(xí)場(chǎng)景，聯(lián)邦學(xué)習(xí)將數(shù)個(gè)局部模型聚合到一個(gè)聯(lián)合模型中，由多個(gè)參與者分別訓(xùn)練局部模型。同時(shí)聯(lián)邦學(xué)習(xí)采用了安全聚合機(jī)制，使局部訓(xùn)練者的隱私包括本地訓(xùn)練數(shù)據(jù)得到保護(hù)，一方面該機(jī)制使聯(lián)合模型可以基于敏感私人數(shù)據(jù)訓(xùn)練，另一方面這會(huì)阻止聚合器檢查參與者提交的局部模型，使其既無(wú)法檢測(cè)到惡意模型，也無(wú)法檢測(cè)出誰(shuí)提交了該模型。

本攻擊正是利用了聯(lián)邦學(xué)習(xí)的以上特點(diǎn)，其假設(shè)攻擊者可以：控制本地訓(xùn)練數(shù)據(jù)；控制局部的訓(xùn)練過(guò)程和模型參數(shù)；在局部模型提交聚合前修改其權(quán)重；適應(yīng)性地調(diào)整局部訓(xùn)練。與傳統(tǒng)的場(chǎng)景相比，在聯(lián)邦學(xué)習(xí)場(chǎng)景下，攻擊者可以控制整個(gè)訓(xùn)練過(guò)程與提交前的模型，盡管該能力只針對(duì)局部的參與者擁有。

4.4.2 攻擊設(shè)計(jì)

該攻擊實(shí)際上包含兩個(gè)方面：使聯(lián)合模型在正常訓(xùn)練時(shí)學(xué)習(xí)到正常任務(wù)，而在攻擊者的回合學(xué)習(xí)到后門任務(wù)；使生成的聯(lián)合模型在攻擊者回合結(jié)束后在正常輸入和觸發(fā)輸入上都分別具有較高的準(zhǔn)確性。此外，由此生成的中毒模型應(yīng)防止被聚合器的異常檢測(cè)器拒絕。所以，對(duì)中毒模型的訓(xùn)練首先要保證模型識(shí)別輸入的準(zhǔn)確性，其次要使模型不能偏離聚合器異常檢測(cè)器認(rèn)為的“正常”值。

在實(shí)際的聯(lián)邦學(xué)習(xí)過(guò)程中，每個(gè)局部模型可能和聯(lián)合模型相差較大，隨著聯(lián)合模型不斷聚合局部模型，局部模型與聯(lián)合模型的偏差逐漸縮小。當(dāng)聯(lián)合模型準(zhǔn)確率趨于穩(wěn)定時(shí)，攻擊者將用中毒數(shù)據(jù)與干凈數(shù)據(jù)共同訓(xùn)練出來(lái)的中毒模型提交到聚合器，從而在聯(lián)合模型中植入后門。

4.4.3 攻擊評(píng)價(jià)

該攻擊將神經(jīng)網(wǎng)絡(luò)后門攻擊拓展到聯(lián)邦學(xué)習(xí)領(lǐng)域，利用了聯(lián)邦學(xué)習(xí)場(chǎng)景下參與者利用本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練的特點(diǎn)，由攻擊者在本地訓(xùn)練中毒模型并使其參與聯(lián)合模型的聚合中。一方面，安全聚合機(jī)制使此攻擊能以更加隱蔽的方式進(jìn)行。針對(duì)聯(lián)邦學(xué)習(xí)場(chǎng)景，該攻擊破壞力巨大。另一方面，聯(lián)邦學(xué)習(xí)的聚合機(jī)制會(huì)削弱中毒模型對(duì)聯(lián)合模型的影響，使在聯(lián)合模型植入后門更加困難。此外，隨著聚合輪次的增加，聯(lián)合模型有很大可能遺忘被植入的后門。因此，針對(duì)聯(lián)邦學(xué)習(xí)場(chǎng)景的神經(jīng)網(wǎng)絡(luò)模型后門攻擊仍待發(fā)展。

4.5 Latent Backdoor

4.5.1 場(chǎng)景描述

同樣針對(duì)遷移學(xué)習(xí)場(chǎng)景，但在該場(chǎng)景中，攻擊者是發(fā)布預(yù)訓(xùn)練模型的一方。攻擊者可以按照需求對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，然后將其發(fā)布到網(wǎng)上。由用戶下載該預(yù)訓(xùn)練模型并不經(jīng)意地完成后門的植入。

在該攻擊中，由攻擊者發(fā)布的預(yù)訓(xùn)練模型稱為“教師”模型，而經(jīng)過(guò)用戶基于“教師”模型遷移學(xué)習(xí)后生成的模型稱為“學(xué)生”模型。

4.5.2 攻擊設(shè)計(jì)

攻擊者訓(xùn)練的“教師”模型通過(guò)遷移學(xué)習(xí)被“學(xué)生”模型學(xué)習(xí)與繼承。而在“教師”模型中，嵌入了潛在后門程序，潛在后門程序是不包含目標(biāo)標(biāo)簽的未完成后門程序，在遷移學(xué)習(xí)后仍可在“學(xué)生”模型中完整生存，當(dāng)“學(xué)生”模型具備了目標(biāo)標(biāo)簽后，后門被完成并激活。

例如，對(duì)于一個(gè)基于VGG16的人臉識(shí)別“教師”模型，該模型可以將任何具有給定文身的人識(shí)別為A，但是因?yàn)锳不屬于模型的輸出標(biāo)簽，所以模型的該后門不會(huì)體現(xiàn)出來(lái)；當(dāng)A標(biāo)簽通過(guò)遷移學(xué)習(xí)被添加到“學(xué)生”模型的輸出標(biāo)簽中之后，后門就被激活了。

該攻擊的重點(diǎn)是“教師”模型的生成，其包含以下5個(gè)步驟。

調(diào)整教師模型。對(duì)教師模型進(jìn)行調(diào)整，使其包含觸發(fā)輸入及目標(biāo)標(biāo)簽，即使用觸發(fā)輸入對(duì)應(yīng)的目標(biāo)任務(wù)替換教師模型原本的任務(wù)。

當(dāng)教師模型的任務(wù)（如面部識(shí)別）與觸發(fā)輸入對(duì)應(yīng)的目標(biāo)任務(wù)（如虹膜識(shí)別）不同時(shí)，使用觸發(fā)輸入的一組實(shí)例集（目標(biāo)用戶的虹膜圖像）與對(duì)應(yīng)相同目標(biāo)任務(wù)的干凈數(shù)據(jù)集（其余用戶的虹膜圖像）對(duì)原始教師模型進(jìn)行重訓(xùn)練。重訓(xùn)練時(shí)首先需要用支持兩個(gè)新訓(xùn)練數(shù)據(jù)集的新分類層替換原始教師模型的分類層；然后在兩個(gè)數(shù)據(jù)集的組合上進(jìn)行。

生成觸發(fā)器。對(duì)確定的觸發(fā)器位置和形狀（如圖像‘右上’的‘正方形’），選定隱藏層0，計(jì)算相應(yīng)的觸發(fā)器圖案和顏色強(qiáng)度，使任何帶有觸發(fā)器的輸入在0的特征表示都與觸發(fā)輸入類似。

植入后門。通過(guò)優(yōu)化過(guò)程更新模型的權(quán)重，使帶有觸發(fā)器的輸入在0層的表示與目標(biāo)標(biāo)簽的表示相匹配，從而植入后門。

隱藏后門。將被植入后門的教師模型最后的分類層替換為原始教師模型的分類層，從而隱藏后門的痕跡并恢復(fù)教師模型的原始任務(wù)。

發(fā)布模型。在發(fā)布文檔中指定在遷移學(xué)習(xí)時(shí)應(yīng)凍結(jié)不少于0的前個(gè)層，使第0層被凍結(jié)，從而防止后門在遷移學(xué)習(xí)的過(guò)程中被破壞。

4.5.3 攻擊評(píng)價(jià)

跟先前的攻擊相比，該攻擊優(yōu)勢(shì)明顯，在現(xiàn)實(shí)性與隱蔽性上都表現(xiàn)突出。首先，攻擊者只需以“教師”模型為目標(biāo)，在用戶進(jìn)行遷移學(xué)習(xí)前，將潛在后門植入“教師”模型中，后門就能通過(guò)遷移學(xué)習(xí)在相應(yīng)“學(xué)生”模型中起作用；其次，潛在后門沒(méi)有針對(duì)“教師”模型中的分類標(biāo)簽，因此針對(duì)“教師”模型的后門檢測(cè)無(wú)法察覺(jué)該潛在后門；第三，潛在后門具有很高的可擴(kuò)展性，具有潛在后門的單個(gè)“教師”模型可以將后門傳遞給任何基于遷移學(xué)習(xí)過(guò)程生成的對(duì)應(yīng)“學(xué)生”模型。

4.6 Bypassing Detection Backdoor

4.6.1 場(chǎng)景描述

針對(duì)已有的各種神經(jīng)網(wǎng)絡(luò)后門攻擊防御策略，該攻擊以部署了防御機(jī)制[38-40]的場(chǎng)景為目標(biāo)，設(shè)計(jì)能夠針對(duì)特定的后門檢測(cè)算法“定制”攻擊策略的攻擊算法。

4.6.2 攻擊設(shè)計(jì)

二次損失函數(shù)。最小化觸發(fā)輸入與正常輸入潛在表示（latent representations）之間的差異可以增強(qiáng)攻擊的魯棒性，為此該攻擊首先在原始訓(xùn)練目標(biāo)函數(shù)中引入二次損失函數(shù)。

該函數(shù)左部旨在實(shí)現(xiàn)模型的高分類精度，右部旨在對(duì)輸入的潛在表示設(shè)置約束，以繞過(guò)防御措施。

對(duì)抗網(wǎng)絡(luò)正則化設(shè)置。包括潛在表示網(wǎng)絡(luò)、分類網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)。潛在表示網(wǎng)絡(luò)為直到潛在表示前的初始層，用表示；潛在表示網(wǎng)絡(luò)之后的層為分類網(wǎng)絡(luò)，分類網(wǎng)絡(luò)將潛在表示映射到分類概率分布。此外，在潛在表示網(wǎng)絡(luò)之后還有一個(gè)分支鑒別網(wǎng)絡(luò)用于將潛在表示映射到干凈輸入或者觸發(fā)輸入的二進(jìn)制分類。

4.6.3 攻擊評(píng)價(jià)

該攻擊成功規(guī)避了多種防御措施，現(xiàn)有大多數(shù)檢測(cè)算法無(wú)法對(duì)抗該對(duì)抗性后門嵌入算法。

對(duì)于在CIFAR-10數(shù)據(jù)集上訓(xùn)練的VGG模型，使用頻譜特征（spectral signatures）的數(shù)據(jù)集過(guò)濾防御[38]能夠使后門攻擊算法在受害模型上的成功率降低到1.5%。通過(guò)該攻擊算法調(diào)整后的模型能夠針對(duì)該檢測(cè)算法保留97.3%的攻擊成功率。

使用激活聚類（activation clustering）的數(shù)據(jù)集過(guò)濾防御[39]同樣能夠?qū)⑹軗p模型的攻擊成功率降低到1.9%，但是該對(duì)抗嵌入算法針對(duì)該檢測(cè)算法能保留96.2%的攻擊成功率。

同樣對(duì)于靜態(tài)植入的后門，特征修剪[40]能夠有效地選擇要修剪的神經(jīng)元，完全刪除后門，對(duì)模型準(zhǔn)確性幾乎沒(méi)有影響。但是，對(duì)于被對(duì)抗嵌入后門的模型，完全消除后門將會(huì)使模型的準(zhǔn)確度降低到20%（其中10%是隨機(jī)猜測(cè)）。

5 發(fā)展趨勢(shì)

5.1 現(xiàn)狀總結(jié)

神經(jīng)網(wǎng)絡(luò)后門攻擊是現(xiàn)在的研究熱點(diǎn)之一，其將傳統(tǒng)后門攻擊擴(kuò)展到神經(jīng)網(wǎng)絡(luò)模型中，提高了學(xué)界對(duì)深度學(xué)習(xí)系統(tǒng)安全性的重視，激勵(lì)學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)防御策略的不斷研究。已有的神經(jīng)網(wǎng)絡(luò)后門攻擊的本質(zhì)是對(duì)模型的修改，核心是在模型的目標(biāo)標(biāo)簽與觸發(fā)輸入之間建立強(qiáng)烈的關(guān)聯(lián)關(guān)系。根據(jù)場(chǎng)景的發(fā)展與變化，神經(jīng)網(wǎng)絡(luò)后門攻擊的方法在不斷更新。在短短幾年內(nèi)，神經(jīng)網(wǎng)絡(luò)后門攻擊由數(shù)據(jù)中毒、模型操作到模型中毒，由外包訓(xùn)練、遷移學(xué)習(xí)到深度強(qiáng)化學(xué)習(xí)和聯(lián)邦學(xué)習(xí)，實(shí)現(xiàn)方式不斷更新，針對(duì)場(chǎng)景愈加復(fù)雜，取得了豐碩的成果。

現(xiàn)在的后門植入方法仍然有諸多不足。首先，現(xiàn)有大部分后門攻擊通常針對(duì)神經(jīng)網(wǎng)絡(luò)分類功能構(gòu)建，針對(duì)神經(jīng)網(wǎng)絡(luò)回歸功能構(gòu)建的后門攻擊仍待深入研究。其次，現(xiàn)有大多數(shù)后門攻擊方法可擴(kuò)展性較低，局限于特定場(chǎng)景及特定條件。最后，現(xiàn)有神經(jīng)網(wǎng)絡(luò)后門攻擊仍是較復(fù)雜的，需要精心的構(gòu)建中毒樣本或?qū)碛袛?shù)百萬(wàn)個(gè)權(quán)重的模型進(jìn)行精準(zhǔn)的修改操作，提高了在現(xiàn)實(shí)中實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)后門攻擊的難度。

5.2 未來(lái)展望

當(dāng)前對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的研究已經(jīng)取得諸多成果，從可行性到隱蔽性再到現(xiàn)實(shí)性，神經(jīng)網(wǎng)絡(luò)后門攻擊的研究重點(diǎn)不斷發(fā)展，為人工智能安全做出了貢獻(xiàn)，對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的防御已經(jīng)是人工智能系統(tǒng)在構(gòu)建時(shí)不容忽視的一個(gè)環(huán)節(jié)。但當(dāng)前對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的研究具有一定局限性，還有待深入的地方。

（1）對(duì)神經(jīng)網(wǎng)絡(luò)對(duì)抗性輸入攻擊和后門攻擊融合的研究。神經(jīng)網(wǎng)絡(luò)對(duì)抗性輸入攻擊是對(duì)模型漏洞的利用，后門攻擊是對(duì)模型進(jìn)行的修改。研究?jī)烧叩娜诤?，利用模型的漏洞減輕對(duì)模型的修改或者使對(duì)模型的修改變得更加容易，將是一個(gè)具有吸引力的研究方向?，F(xiàn)有的相關(guān)研究中，文獻(xiàn)[41]僅是對(duì)已有對(duì)抗性輸入攻擊和后門攻擊的簡(jiǎn)單結(jié)合，對(duì)于如何將兩者更好地融合，揚(yáng)長(zhǎng)避短，還有待拓展。

（2）對(duì)后門攻擊目標(biāo)擴(kuò)展的研究。神經(jīng)網(wǎng)絡(luò)模型的功能多樣，包括分類、目標(biāo)預(yù)測(cè)、目標(biāo)檢測(cè)等多個(gè)方面。然而，已有的大多數(shù)神經(jīng)網(wǎng)絡(luò)后門攻擊主要針對(duì)神經(jīng)網(wǎng)絡(luò)分類功能，不涉及神經(jīng)網(wǎng)絡(luò)的目標(biāo)預(yù)測(cè)、目標(biāo)檢測(cè)等功能，缺乏對(duì)其他方面的研究和探索。后門攻擊針對(duì)的目標(biāo)有待從單一的分類擴(kuò)展到神經(jīng)網(wǎng)絡(luò)的其他功能，對(duì)此還需更加深入的研究。

（3）對(duì)人工智能在神經(jīng)網(wǎng)絡(luò)后門攻擊的運(yùn)用研究。人工智能的運(yùn)用使人力從許多非創(chuàng)造性工作中解放出來(lái)，對(duì)于神經(jīng)網(wǎng)絡(luò)后門攻擊，研究如何將人工智能運(yùn)用到數(shù)據(jù)中毒、模型操作或模型中毒的攻擊過(guò)程中，甚至研究直接由人工智能實(shí)施的神經(jīng)網(wǎng)絡(luò)后門攻擊，能有效降低其實(shí)施的難度，提高其價(jià)值。因此，研究人工智能在神經(jīng)網(wǎng)絡(luò)后門攻擊中的運(yùn)用將是具有重要意義的研究方向。

6 結(jié)束語(yǔ)

由于深度學(xué)習(xí)的廣泛應(yīng)用，對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊的研究始終是具有意義和價(jià)值的。學(xué)術(shù)界提出了很多神經(jīng)網(wǎng)絡(luò)后門攻擊的理論和方法，本文基于當(dāng)前研究進(jìn)展，首先介紹了神經(jīng)網(wǎng)絡(luò)后門攻擊的相關(guān)概念，將其與對(duì)抗性輸入攻擊進(jìn)行了區(qū)分；從3個(gè)角度對(duì)神經(jīng)網(wǎng)絡(luò)后門攻擊研究現(xiàn)狀進(jìn)行了說(shuō)明；然后對(duì)典型攻擊方案進(jìn)行了詳解，分析了其場(chǎng)景、方法及效果；最后總結(jié)了神經(jīng)網(wǎng)絡(luò)后門攻擊的研究現(xiàn)狀，并對(duì)其未來(lái)研究方向進(jìn)行了展望。

[1] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems. 2012: 1097-1105.

[2] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

[3] GRAVES A, MOHAMED A, HINTON G. Speech recognition with deep recurrent neural networks[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 2013: 6645-6649.

[4] HERMANN K M, BLUNSOM P. Multilingual distributed representations without word alignment[J]. arXiv preprint arXiv:1312.6173, 2013.

[5] BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.

[6] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv: 1312.5602, 2013.

[7] PARKHI O M ,VEDALDI A , ZISSERMAN A , et al. Deep face recognition[C]//Proceedings of the British Machine Vision Conference (BMVC). 2015.

[8] SUN Y, WANG X, TANG X. Deep learning face representation from predicting 10 000 classes[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014: 1891-1898.

[9] CHEN C, SEFF A, KORNHAUSER A, et al. Deepdriving: learning affordance for direct perception in autonomous driving[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 2722-2730.

[10] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013.

[11] GONG Y, LI B, POELLABAUER C, et al. Real-time adversarial attacks[J]. arXiv preprint arXiv:1905.13399, 2019.

[12] GU T, DOLAN-GAVITT B, GARG S. BadNets: Identifying vulnerabilities in the machine learning model supply chain[J]. arXiv preprint arXiv:1708.06733, 2017.

[13] LIU Y, MA S, AAFER Y, et al. Trojaning attack on neural networks[R]. 2017.

[14] SHAFAHI A, HUANG W R, NAJIBI M, et al. Poison Frogs! targeted clean-label poisoning attacks on neural networks[C]//Advances in Neural Information Processing Systems. 2018: 6103-6113.

[15] ZOU M, SHI Y, WANG C, et al. PoTrojan: powerful neural-level trojan designs in deep learning models[J]. arXiv preprint arXiv:1802.03043, 2018.

[16] ZHU C, HUANG W R, SHAFAHI A, et al. Transferable clean-label attack poisoning attacks on deep neural nets[J]. arXiv Preprint arXiv:1905.05897, 2019.

[17] BAGDASARYAN E, VEIT A, HUA Y, et al. How to backdoor federated learning[J]. arXiv preprint arXiv:1807.00459, 2018.

[18] SUN Z, KAIROUZ P, SURESH A T, et al. Can you really backdoor federated learning?[J]. arXiv Preprint arXiv:1911.07963, 2019.

[19] YANG Z, IYER N, REIMANN J, et al. Design of intentional backdoors in sequential models[J]. arXiv preprint arXiv:1902.09972, 2019.

[20] KIOURTI P, WARDEGA K, JHA S, et al. TrojDRL: trojan attacks on deep reinforcement learning agents[J]. arXiv Preprint arXiv:1903.06638, 2019.

[21] YAO Y, LI H, ZHENG H, et al. Regula sub-rosa: latent backdoor attacks on deep neural networks[J]. arXiv preprint arXiv: 1905.10447, 2019.

[22] YAO Y, LI H, ZHENG H, et al. Latent backdoor attacks on deep neural networks[C]//Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security. 2019: 2041-2055.

[23] XU G, LI H, LIU S, et al. VerifyNet: secure and verifiable federated learning[J]. IEEE Transactions on information forensics and Security, 2019, 15: 911-926.

[24] TAN T J L, SHOKRI R. Bypassing backdoor detection algorithms in deep learning[J]. arXiv Preprint arXiv:1905.13409, 2019.

[25] JI Y, ZHANG X, WANG T. Backdoor attacks against learning systems[C]//2017 IEEE Conference on Communications and Network Security (CNS). 2017: 1-9.

[26] BIGGIO B, NELSON B, LASKOV P. Poisoning attacks against support vector machines[J]. arXiv Preprint arXiv:1206.6389, 2012.

[27] HUANG L, JOSEPH A D, NELSON B, et al. Adversarial machine learning[C]//Proceedings of the 4th ACM Workshop on Security and Artificial intelligence. 2011: 43-58.

[28] MAHLOUJIFAR S, MAHMOODY M, MOHAMMED A. Multi-party poisoning through generalized $ p $-tampering[J]. arXiv preprint arXiv:1809.03474, 2018.

[29] CHEN X, LIU C, LI B, et al. Targeted backdoor attacks on deep learning systems using data poisoning[J]. arXiv preprint arXiv:1712.05526, 2017.

[30] DAI J, CHEN C, LI Y. A backdoor attack against LSTM-based text classification systems[J]. IEEE Access, 2019, 7: 138872-138878.

[31] DUMFORD J, SCHEIRER W. Backdooring convolutional neural networks via targeted weight perturbations[J]. arXiv Preprint arXiv:1812.03128, 2018.

[32] JI Y, ZHANG X, JI S, et al. Model-reuse attacks on deep learning systems[C]//Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security. 2018: 349-363.

[33] PAN S J, YANG Q. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering, 2009, 22(10): 1345-1359.

[34] 劉全, 翟建偉, 章宗長(zhǎng), 等. 深度強(qiáng)化學(xué)習(xí)綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2018, 41(01): 1-27.

LIU Q, ZHAI J W, ZHANG Z C, et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers, 2018, 4(1): 1-27.

[35] Decentralized ML[EB].

[36] KONE?NY J, MCMAHAN H B, YU F X, et al. Federated learning: Strategies for improving communication efficiency[J]. arXiv Preprint arXiv:1610.05492, 2016.

[37] MCMAHAN H B, MOORE E, RAMAGE D, et al. Communication-efficient learning of deep networks from decentralized data[J]. arXiv Preprint arXiv:1602.05629, 2016.

[38] TRAN B, LI J, MADRY A. Spectral signatures in backdoor attacks[C]//Advances in Neural Information Processing Systems. 2018: 8000-8010.

[39] CHEN B, CARVALHO W, BARACALDO N, et al. Detecting backdoor attacks on deep neural networks by activation clustering[J]. arXiv Preprint arXiv:1811.03728, 2018.

[40] LIU K, DOLAN-GAVITT B, GARG S. Fine-pruning: Defending against backdooring attacks on deep neural networks[C]//International Symposium on Research in Attacks, Intrusions, and Defenses. Springer, Cham, 2018: 273-294.

[41] PANG R. The tale of evil twins: adversarial inputs versus backdoored models[J]. arXiv preprint arXiv:1911. 01559, 2019.

Survey on backdoor attacks targeted on neural network

TAN Qingyin1, ZENG Yingming2, HAN Ye1, LIU Yijing1, LIU Zheli1

1. College of Cyber Science, Nankai University,Tianjin 300350,China 2. Beijing Computer Technology and Application Research Institute, Beijing 100081, China

According to existing neural network backdoor attack research works, the concept of neural network backdoor attack is first introduced. Secondly, the research status of neural network backdoor attack is explained from three aspects: research development, summary of typical work and classification. Then, some typical backdoor attack strategies are analyzed in detail. Finally, the research status is summarized and the future research directions are discussed.

artificial intelligence security, deep learning, neural networks, neural network backdoor

TP309.2

A

10.11959/j.issn.2096?109x.2020053

2020?02?22；

2020?07?02

劉哲理，liuzheli@nankai.edu.cn

國(guó)家自然科學(xué)基金（61672300）；天津市人工智能重點(diǎn)專項(xiàng)（18ZXZNGX00140）

The National Natural Science Foundation of China (61672300), The Artificial Intelligence Key Special Project of Tianjin (18ZXZNGX00140)

譚清尹, 曾穎明, 韓葉, 等. 神經(jīng)網(wǎng)絡(luò)后門攻擊研究[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2021, 7(3): 46-58.

TAN Q Y, ZENG Y M, HAN Y, et al. Survey on backdoor attacks targeted on neural network[J]. Chinese Journal of Network and Information Security, 2021, 7(3): 46-58.

譚清尹（1998?），男，重慶人，南開(kāi)大學(xué)碩士生，主要研究方向?yàn)閿?shù)據(jù)隱私保護(hù)、移動(dòng)安全及人工智能安全。

曾穎明（1985?），男，江西豐城人，北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所高級(jí)工程師，主要研究方向?yàn)榫W(wǎng)絡(luò)安全防護(hù)、網(wǎng)絡(luò)攻防對(duì)抗、人工智能算法安全。

韓葉（1998?），女，河南平頂山人，南開(kāi)大學(xué)碩士生，主要研究方向?yàn)閿?shù)據(jù)隱私保護(hù)、密文數(shù)據(jù)庫(kù)。

劉一靜（1998?），女，天津人，南開(kāi)大學(xué)碩士生，主要研究方向?yàn)閿?shù)據(jù)隱私保護(hù)、密文數(shù)據(jù)庫(kù)。

劉哲理（1978?），男，山東濰坊人，南開(kāi)大學(xué)副教授、博士生導(dǎo)師，主要研究方向?yàn)榛诿艽a學(xué)的數(shù)據(jù)隱私保護(hù)、密文數(shù)據(jù)庫(kù)、密文集合運(yùn)算、差分隱私。