前 言

人工智能依托于物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)技術(shù)的迅速發(fā)展，在科學(xué)發(fā)現(xiàn)、經(jīng)濟(jì)建設(shè)、社會(huì)生活等各個(gè)領(lǐng)域具有廣泛應(yīng)用.但是，人工智能技術(shù)面臨著嚴(yán)峻的安全與隱私挑戰(zhàn)，并且這些挑戰(zhàn)會(huì)隨著人工智能技術(shù)的普及和發(fā)展愈演愈烈.人工智能安全與隱私保護(hù)可以說是人工智能技術(shù)發(fā)展過程中不可忽視的瓶頸和關(guān)鍵挑戰(zhàn).現(xiàn)階段學(xué)術(shù)界對(duì)于人工智能安全與隱私保護(hù)的重視程度越來越大，國(guó)內(nèi)外相關(guān)學(xué)者進(jìn)行了大量研究并取得了不錯(cuò)的研究成果.

為進(jìn)一步推動(dòng)人工智能安全與隱私保護(hù)技術(shù)的研究，促進(jìn)密碼學(xué)與網(wǎng)絡(luò)安全理論與技術(shù)的發(fā)展及應(yīng)用，及時(shí)報(bào)道我國(guó)學(xué)者在該領(lǐng)域的最新研究成果，《計(jì)算機(jī)研究與發(fā)展》策劃和組織了“人工智能安全與隱私保護(hù)技術(shù)”專題.

本期專題通過公開征文共收到52篇普通投稿和5篇特邀稿件，反映了人工智能安全與隱私保護(hù)技術(shù)領(lǐng)域多個(gè)方面的最新研究成果.經(jīng)過嚴(yán)格評(píng)審，最終共精選錄用論文15篇.這15篇論文涵蓋了人工智能攻擊檢測(cè)與溯源技術(shù)、秘密共享與分組密碼算法、分布式深度學(xué)習(xí)隱私與安全等研究?jī)?nèi)容，在一定程度上反映了當(dāng)前國(guó)內(nèi)在人工智能安全與隱私保護(hù)技術(shù)研究領(lǐng)域的主要研究方向.

1 綜 述

以深度學(xué)習(xí)為主要代表的人工智能技術(shù)正在悄然改變?nèi)藗兊纳a(chǎn)生活方式，但深度學(xué)習(xí)模型的部署也帶來了一定的安全隱患.研究針對(duì)深度學(xué)習(xí)模型的攻防分析基礎(chǔ)理論與關(guān)鍵技術(shù)，對(duì)深刻理解模型內(nèi)在脆弱性、全面保障智能系統(tǒng)安全性、廣泛部署人工智能應(yīng)用具有重要意義.“針對(duì)深度學(xué)習(xí)模型的對(duì)抗性攻擊與防御”一文從對(duì)抗的角度出發(fā)，探討針對(duì)深度學(xué)習(xí)模型的攻擊與防御技術(shù)進(jìn)展和未來挑戰(zhàn)，從對(duì)抗性攻擊生成機(jī)理分析、對(duì)抗性攻擊生成、對(duì)抗攻擊的防御策略設(shè)計(jì)、對(duì)抗性攻擊與防御框架構(gòu)建4個(gè)方面對(duì)現(xiàn)有工作進(jìn)行系統(tǒng)的總結(jié)和歸納，并討論了現(xiàn)有研究的局限性.最后，提出了針對(duì)深度學(xué)習(xí)模型攻防的基本框架，并在此基礎(chǔ)上總結(jié)了面臨的技術(shù)挑戰(zhàn).

分布式深度學(xué)習(xí)擺脫了模型訓(xùn)練過程中數(shù)據(jù)必須中心化的限制，實(shí)現(xiàn)了數(shù)據(jù)的本地操作，允許各方參與者在不交換數(shù)據(jù)的情況下進(jìn)行協(xié)作，顯著降低了用戶隱私泄露風(fēng)險(xiǎn).但生成對(duì)抗式網(wǎng)絡(luò)攻擊、成員推理攻擊和后門攻擊等典型攻擊揭露了分布式深度學(xué)習(xí)依然存在嚴(yán)重隱私漏洞和安全威脅.“分布式深度學(xué)習(xí)隱私與安全攻擊研究進(jìn)展與挑戰(zhàn)”一文首先對(duì)比分析了聯(lián)合學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和分割學(xué)習(xí)3種主流的分布式深度學(xué)習(xí)模式特征及其存在的核心問題，并從分布式深度學(xué)習(xí)隱私和安全2個(gè)角度出發(fā)，分別闡述了分布式深度學(xué)習(xí)所面臨的各類隱私和安全攻擊，并歸納和分析了現(xiàn)有隱私和安全攻擊的防御手段，最后從隱私與安全攻擊角度，對(duì)分布式深度學(xué)習(xí)未來的研究方向進(jìn)行了討論和展望.

人工智能系統(tǒng)中隱藏的漏洞無(wú)處不在，它可能引發(fā)嚴(yán)重的危害，比如2011年的震網(wǎng)蠕蟲病毒，2017年發(fā)生的WannaCry勒索攻擊，2019年發(fā)現(xiàn)的的波音737MAX客機(jī)控制系統(tǒng)漏洞，這些事件凸顯著漏洞檢測(cè)技術(shù)的重要性，模糊測(cè)試是實(shí)現(xiàn)漏洞檢測(cè)的關(guān)鍵技術(shù)之一.“模糊測(cè)試技術(shù)綜述”一文首先總結(jié)出模糊測(cè)試的基本工作流程，并對(duì)每個(gè)環(huán)節(jié)中面臨的任務(wù)以及挑戰(zhàn)分別進(jìn)行了討論.然后重點(diǎn)介紹了目前模糊測(cè)試的主流方向，并結(jié)合物聯(lián)網(wǎng)和內(nèi)核安全領(lǐng)域，分析了特定領(lǐng)域中使用模糊測(cè)試的獨(dú)特需求以及相應(yīng)的解決方法.最后，結(jié)合安全領(lǐng)域以及機(jī)器學(xué)習(xí)等新興領(lǐng)域的研究進(jìn)展，分析了模糊測(cè)試面臨的挑戰(zhàn)和機(jī)遇，為下一步的研究提供了方向參考.

人工智能模型訓(xùn)練需要大量的專業(yè)知識(shí)、數(shù)據(jù)和計(jì)算資源，訓(xùn)練后的模型是重要的資產(chǎn)，并作為服務(wù)為用戶提供API接口.但是這個(gè)過程中會(huì)存在惡意用戶企圖非法使用甚至竊取相關(guān)機(jī)器學(xué)習(xí)模型及數(shù)據(jù).此外，一些公司將機(jī)器學(xué)習(xí)模型直接進(jìn)行出售，但是又擔(dān)心該模型會(huì)被非授權(quán)轉(zhuǎn)售或泄露.因此，水印概念被擴(kuò)展到人工智能領(lǐng)域，嵌入需保護(hù)的模型，并用來保護(hù)人工智能模型，尤其是訓(xùn)練成本較高的神經(jīng)網(wǎng)絡(luò)模型.“神經(jīng)網(wǎng)絡(luò)水印技術(shù)研究進(jìn)展”一文首先介紹水印技術(shù)及其基本需求，并對(duì)神經(jīng)網(wǎng)絡(luò)水印涉及的相關(guān)技術(shù)進(jìn)行介紹.然后對(duì)目前存在的多種神經(jīng)網(wǎng)絡(luò)水印技術(shù)進(jìn)行對(duì)比，根據(jù)技術(shù)手段分為白盒和黑盒水印兩類進(jìn)行詳細(xì)分析，并分析水印魯棒性攻擊、隱蔽性攻擊、安全性攻擊等多種神經(jīng)網(wǎng)絡(luò)攻擊.最后，針對(duì)神經(jīng)網(wǎng)絡(luò)水印技術(shù)未來的研究方向與挑戰(zhàn)進(jìn)行探討.

惡意軟件給信息技術(shù)的發(fā)展帶來了很多負(fù)面的影響，而如何有效檢測(cè)惡意軟件則一直備受關(guān)注.隨著人工智能技術(shù)的蓬勃發(fā)展，惡意軟件的檢測(cè)技術(shù)開始與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)相結(jié)合，這種新的檢測(cè)技術(shù)能夠更好地檢測(cè)先前未見過的新式樣本，更能夠滿足當(dāng)前社會(huì)的安全需求.作為新型惡意軟件檢測(cè)技術(shù)的代表，惡意軟件智能檢測(cè)技術(shù)具有泛化能力強(qiáng)的特點(diǎn)，還能夠在一定程度上降低人工的參與.“Windows平臺(tái)惡意軟件智能檢測(cè)綜述”一文首先介紹了當(dāng)前的惡意軟件智能檢測(cè)相關(guān)工作和智能檢測(cè)所需的主要環(huán)節(jié)，然后從智能檢測(cè)中常用的特征、如何進(jìn)行特征處理、智能檢測(cè)中常用的分類器、當(dāng)前惡意軟件智能檢測(cè)所面臨的主要問題4個(gè)方面進(jìn)行了系統(tǒng)地闡述與分類.最后，總結(jié)現(xiàn)有智能檢測(cè)相關(guān)工作的優(yōu)缺點(diǎn)，闡明了該領(lǐng)域未來潛在的研究方法，旨在助力惡意軟件智能檢測(cè)的發(fā)展.

2 人工智能攻擊檢測(cè)與溯源

人工智能系統(tǒng)中新生威脅以及其復(fù)雜多變的攻擊方式對(duì)人工智能安全和隱私造成嚴(yán)重影響，新型安全和隱私攻擊層出不窮，它們持續(xù)時(shí)間長(zhǎng)，空間跨度大，攻擊形式多樣，對(duì)攻擊的快速檢測(cè)與溯源帶來了巨大的挑戰(zhàn).

本部分共收錄4篇論文，主要圍繞竊密攻擊檢測(cè)、APT攻擊溯源、惡意軟件檢測(cè)、代碼注入攻擊檢測(cè)等方面展開.“一種無(wú)監(jiān)督的竊密攻擊及時(shí)發(fā)現(xiàn)方法”將每個(gè)用戶視為獨(dú)立的主體，通過對(duì)比用戶當(dāng)前行為事件與其歷史正常行為的偏差檢測(cè)異常，采用無(wú)監(jiān)督的檢測(cè)算法，以會(huì)話為單元進(jìn)行檢測(cè)，實(shí)現(xiàn)了對(duì)竊密攻擊及時(shí)的檢測(cè).“隱私保護(hù)的基于圖卷積神經(jīng)網(wǎng)絡(luò)的攻擊溯源方法”一文提出了一種具有隱私保護(hù)的基于圖卷積神經(jīng)網(wǎng)絡(luò)的APT攻擊溯源方法.通過監(jiān)督學(xué)習(xí)解決了因多日志關(guān)系連接導(dǎo)致的狀態(tài)爆炸，對(duì)Louvain社區(qū)發(fā)現(xiàn)算法進(jìn)行優(yōu)化，從而提高了檢測(cè)速度及準(zhǔn)確性，利用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)攻擊進(jìn)行有效的分類，并結(jié)合屬性基加密實(shí)現(xiàn)了日志數(shù)據(jù)的隱私保護(hù).“一種基于多特征集成學(xué)習(xí)的惡意代碼靜態(tài)檢測(cè)框架”一文提出基于多特征集成學(xué)習(xí)的惡意軟件靜態(tài)檢測(cè)框架.通過提取惡意軟件的非PE結(jié)構(gòu)特征、可見字符串與匯編碼序列特征、PE結(jié)構(gòu)特征以及控制流圖調(diào)用關(guān)系等5部分特征，構(gòu)建與各部分特征相匹配的模型，并采取權(quán)重策略投票算法對(duì)五部分集成模型的輸出結(jié)果做進(jìn)一步聚合，實(shí)現(xiàn)了對(duì)多種惡意軟件的檢測(cè).“面向數(shù)字貨幣特征的細(xì)粒度代碼注入攻擊檢測(cè)”一文提出了一種細(xì)粒度的代碼注入攻擊檢測(cè)內(nèi)存特征方案，利用勒索軟件在被攻擊者支付過程中表現(xiàn)的數(shù)字貨幣內(nèi)存特征，結(jié)合多種通用的細(xì)粒度內(nèi)存特征，實(shí)現(xiàn)了一種細(xì)粒度的代碼注入攻擊檢測(cè)系統(tǒng).

3 秘密共享與分組密碼算法

分組密碼算法作為對(duì)稱密碼的一個(gè)重要分支，在人工智能和信息系統(tǒng)安全領(lǐng)域有著廣泛應(yīng)用，同時(shí)也是構(gòu)建其他密碼算法或密碼協(xié)議的密碼元語(yǔ).近年來，伴隨無(wú)線傳感器網(wǎng)絡(luò)以及射頻識(shí)別技術(shù)的發(fā)展和廣泛應(yīng)用，對(duì)資源受限的設(shè)備進(jìn)行數(shù)據(jù)加密需要使用輕量級(jí)的密碼算法.本部分收錄3篇論文，主要圍繞輕量級(jí)可調(diào)分組密碼、差分密碼分析、圖像秘密共享等方面展開.“RAIN：一種面向軟硬件和門限實(shí)現(xiàn)的輕量分組密碼算法”一文設(shè)計(jì)了一種基于國(guó)際上分組密碼設(shè)計(jì)廣泛采用的SPN結(jié)構(gòu)的RAIN算法，通過迭代混淆層S盒和擴(kuò)散層字混合提供強(qiáng)雪崩效應(yīng)，不僅保證強(qiáng)的安全性，還兼顧了軟硬件實(shí)現(xiàn).“基于深度學(xué)習(xí)的SIMON32/64安全性分析”一文將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于SIMON32/64的安全性分析，分別采用前饋神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)模擬多差分密碼分析當(dāng)中的單輸入差分-多輸出差分情形，設(shè)計(jì)了應(yīng)用于SIMON32/64的6～9輪深度學(xué)習(xí)區(qū)分器，并通過對(duì)前饋神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的7輪深度學(xué)習(xí)區(qū)分器向前向后各擴(kuò)展1輪，提出了針對(duì)9輪SIMON32/64的候選密鑰篩選方法，大幅降低了SIMON32/64安全性分析中的時(shí)間復(fù)雜度和數(shù)據(jù)復(fù)雜度.“基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的圖像秘密共享方案”一文采用基于卷積神經(jīng)網(wǎng)絡(luò)的Faster Region-CNN(RCNN)模型將秘密圖像分割成重要性級(jí)別不同的多個(gè)區(qū)域，然后在此基礎(chǔ)上分別構(gòu)建漸進(jìn)式圖像秘密共享方案(PSIS)和具有重要影子圖像的圖像秘密共享方案(SISE)，重要影子圖像在重構(gòu)每個(gè)區(qū)域上比普通影子圖像具有更大的權(quán)重，提升圖像分類和識(shí)別的效率.

4 深度學(xué)習(xí)安全與隱私保護(hù)

深度學(xué)習(xí)目前已在很多領(lǐng)域具有廣泛應(yīng)用，比如在圖像分類、語(yǔ)音識(shí)別、自然語(yǔ)言處理等，但由于網(wǎng)絡(luò)的開放性使得目前深度學(xué)習(xí)模型的安全和隱私存在嚴(yán)重隱患，傳統(tǒng)的網(wǎng)絡(luò)防御手段已逐漸不能適應(yīng)日益復(fù)雜的網(wǎng)絡(luò)環(huán)境.

本部分收錄3篇論文，主要圍繞圖重構(gòu)、模型隱私風(fēng)險(xiǎn)評(píng)估、模型指紋檢測(cè)等方面展開.“一種面向圖神經(jīng)網(wǎng)絡(luò)的圖重構(gòu)防御方法”一文提出了一種面向圖神經(jīng)網(wǎng)絡(luò)的圖重構(gòu)防御方法GRD-GNN，分別從圖結(jié)構(gòu)和節(jié)點(diǎn)特征考慮，采用共同鄰居數(shù)和節(jié)點(diǎn)相似度2種相似度指標(biāo)檢測(cè)對(duì)抗連邊并實(shí)現(xiàn)圖重構(gòu)，使得重構(gòu)的圖結(jié)構(gòu)刪除對(duì)抗連邊，且添加了增強(qiáng)圖結(jié)構(gòu)關(guān)鍵特征的連邊，從而實(shí)現(xiàn)有效防御.“通用深度學(xué)習(xí)語(yǔ)言模型的隱私風(fēng)險(xiǎn)評(píng)估”一文針對(duì)自然語(yǔ)言處理中通用語(yǔ)言模型的安全性問題，提出了一條針對(duì)通用文本特征的隱私竊取鏈，從更多維度評(píng)估通用語(yǔ)言模型使用中潛在的隱私風(fēng)險(xiǎn)，方案僅根據(jù)通用語(yǔ)言模型提取出的文本表征，攻擊者就能夠以近乎100%的準(zhǔn)確度推斷其模型來源，以超過70%的準(zhǔn)確度推斷其原始文本長(zhǎng)度，最終推斷出最有可能出現(xiàn)的敏感詞列表，從而幫助攻擊者重建原始文本的敏感語(yǔ)義，揭示了目前通用語(yǔ)言模型中仍存在巨大的隱私風(fēng)險(xiǎn).“針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型指紋檢測(cè)的逃避算法”一文設(shè)計(jì)了一個(gè)指紋樣本檢測(cè)器Fingerprint-GAN，利用GAN學(xué)習(xí)正常樣本在隱空間的特征表示及其分布，根據(jù)指紋樣本與正常樣本在隱空間中特征表示的差異性，檢測(cè)到指紋樣本，并向目標(biāo)模型所有者返回有別于預(yù)測(cè)的標(biāo)簽，使模型所有者的指紋比對(duì)方法失效，揭示了目前模型指紋保護(hù)方案的脆弱性.

本專題的出版得到了各位投稿作者、審稿專家和編輯部的大力支持，專題所涉及的領(lǐng)域極為活躍，并且發(fā)展迅速，學(xué)科前沿日新月異，這對(duì)審稿人和特邀撰稿人帶來極大挑戰(zhàn)，在此表示衷心感謝.由于專題容量所限，對(duì)來稿只能優(yōu)中選優(yōu)，有些優(yōu)秀成果并未能收錄到專題中來，敬請(qǐng)各位作者諒解.我們要特別感謝《計(jì)算機(jī)研究與發(fā)展》編委會(huì)和編輯部，從專題的立項(xiàng)到出版，各個(gè)環(huán)節(jié)都依賴于編輯部一絲不茍的工作作風(fēng)和任勞任怨的工作態(tài)度.由于時(shí)間緊張及水平所限，在專題的審稿出版過程中，難免有不當(dāng)之處，敬請(qǐng)各位稿件作者、各位專題讀者諒解.再次感謝為本專題的出版做出貢獻(xiàn)的所有人.