人工智能應(yīng)用面臨的安全威脅研究

寧庭勇 熊婕 胡永波

(云賽智聯(lián)股份有限公司，上海 200233)

0 引言

縱觀當(dāng)今社會(huì)，人工智能(Artificial Intelligence，AI)已廣泛滲透經(jīng)濟(jì)生產(chǎn)活動(dòng)的各個(gè)環(huán)節(jié)。AI將催生新技術(shù)、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，實(shí)現(xiàn)社會(huì)生產(chǎn)力的整體躍升，推動(dòng)社會(huì)進(jìn)入智能經(jīng)濟(jì)時(shí)代。目前，我國(guó)大型企業(yè)基本都已在持續(xù)規(guī)劃投入實(shí)施AI項(xiàng)目，已有超過10%的企業(yè)將AI與其主營(yíng)業(yè)務(wù)相結(jié)合，實(shí)現(xiàn)產(chǎn)業(yè)地位的提高和經(jīng)營(yíng)效益的優(yōu)化[1-2]。

雖然AI技術(shù)已經(jīng)開始在眾多行業(yè)中找到落地場(chǎng)景，成為助推傳統(tǒng)業(yè)務(wù)數(shù)字化轉(zhuǎn)型的重要工具，但AI技術(shù)在工程化和應(yīng)用落地過程中還面臨諸多挑戰(zhàn)[3]。例如，產(chǎn)品能力參差不齊、缺乏行業(yè)基準(zhǔn)和標(biāo)桿、用戶選型存在困難、由算法缺陷和應(yīng)用安全隱患所衍生的安全事件頻發(fā)等，這些問題制約了AI技術(shù)產(chǎn)業(yè)的深入發(fā)展。

1 人工智能領(lǐng)域應(yīng)用面臨安全考驗(yàn)

1.1 安全現(xiàn)狀

根據(jù)艾瑞咨詢研究院的報(bào)告[2]，過去幾年AI安全研究論文呈現(xiàn)爆炸式增長(zhǎng)。近兩年，全球政府、學(xué)術(shù)界和工業(yè)界發(fā)布的AI安全性方面的研究論文多達(dá)3500 篇[2]，美國(guó)、中國(guó)、歐盟之間的激烈競(jìng)爭(zhēng)預(yù)計(jì)將在可信AI競(jìng)賽中繼續(xù)。

現(xiàn)實(shí)中的AI安全事件正在快速增長(zhǎng)，尤其在汽車、生物識(shí)別、機(jī)器人技術(shù)和互聯(lián)網(wǎng)行業(yè)。作為AI的早期采用者，最受關(guān)注的行業(yè)是互聯(lián)網(wǎng)(23%)、網(wǎng)絡(luò)安全(17%)、生物識(shí)別技術(shù)(16%)和自治(13%)[1-2]。AI行業(yè)對(duì)于現(xiàn)實(shí)世界的黑客攻擊還沒有做好充分的準(zhǔn)備，60種最常用的機(jī)器學(xué)習(xí)(ML)模型平均至少有一個(gè)安全漏洞[4]。

1.2 芯片、算法和數(shù)據(jù)的安全可控變得十分重要

隨著近5年AI滲透率在各行業(yè)的提升，AI的局限和問題逐漸暴露，如對(duì)抗樣本帶來的安全隱患、原理不可解釋等。能真正落地，并用于關(guān)鍵應(yīng)用場(chǎng)景的AI方案必須是安全、可控、可理解的，否則很難說服用戶買單，尤其是企業(yè)級(jí)、政府級(jí)客戶。

國(guó)內(nèi)近些年在AI安全標(biāo)準(zhǔn)方面建樹不少。中國(guó)信息通信研究院自2018年就啟動(dòng)了AI第三方評(píng)測(cè)工作[3]，針對(duì)產(chǎn)業(yè)實(shí)際問題，建設(shè)權(quán)威的測(cè)試數(shù)據(jù)集和軟硬件環(huán)境，牽頭完成AI評(píng)測(cè)標(biāo)準(zhǔn)體系，其中《ITU-T F.748.11(2020)》是國(guó)際首個(gè)AI芯片評(píng)測(cè)標(biāo)準(zhǔn)；2018年7月，中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布由中國(guó)人工智能開源軟件發(fā)展聯(lián)盟起草的《T/CESA 1026-2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范》團(tuán)標(biāo)；2021年3月，中國(guó)金融標(biāo)準(zhǔn)化技術(shù)委員會(huì)正式發(fā)布了由中國(guó)人民銀行提出的《人工智能算法金融應(yīng)用評(píng)價(jià)規(guī)范》(JR/T 0221-2021)行標(biāo)。這些研究和標(biāo)準(zhǔn)研究機(jī)構(gòu)正在從芯片、算法、應(yīng)用等各個(gè)層面不斷地給與市場(chǎng)指導(dǎo)規(guī)范。

1.3 人工智能的發(fā)展也在改變網(wǎng)絡(luò)安全的發(fā)展

AI技術(shù)的發(fā)展在很大程度上也改變了原有的網(wǎng)絡(luò)攻防模式，自動(dòng)化攻防的出現(xiàn)更是加速了整個(gè)網(wǎng)絡(luò)空間安全領(lǐng)域的發(fā)展。AI與安全是相輔相成的關(guān)系，AI的應(yīng)用給網(wǎng)絡(luò)空間賦予了新的內(nèi)涵，網(wǎng)絡(luò)安全和大數(shù)據(jù)技術(shù)的進(jìn)步也能讓AI在更多的領(lǐng)域得以應(yīng)用[5]。國(guó)內(nèi)主要的安全廠商如安恒信息、深信服、360等都先后在自身的安全產(chǎn)品中加入了大數(shù)據(jù)和AI技術(shù)用以抗衡網(wǎng)絡(luò)攻防中巨量數(shù)據(jù)分析和攻擊特征識(shí)別等問題。

2 人工智能應(yīng)用安全架構(gòu)

2.1 人工智能技術(shù)應(yīng)用所面臨的安全問題類別

從AI產(chǎn)業(yè)層次來看，AI分為基礎(chǔ)能力層、感知與認(rèn)知技術(shù)層、領(lǐng)域應(yīng)用賦能層[6]?；A(chǔ)層主要是AI的三大基本要素，即算力、算法和數(shù)據(jù)[7]；技術(shù)層主要是基于AI的研究方向分類，主要分為感知類技術(shù)和認(rèn)知類技術(shù)；應(yīng)用層主要為AI技術(shù)落地在各領(lǐng)域智能化場(chǎng)景實(shí)現(xiàn)AI賦能，具體參見圖1。

圖1 人工智能產(chǎn)業(yè)發(fā)展技術(shù)層級(jí)

整體上看，AI系統(tǒng)面臨以下幾個(gè)方面的安全挑戰(zhàn)：從軟件及硬件方面來看，理論上應(yīng)用、模型、平臺(tái)和芯片的編碼都可能存在漏洞或后門，一旦攻擊者發(fā)現(xiàn)，則能夠利用這些漏洞或后門實(shí)施高級(jí)攻擊。從算法模型方面來看，攻擊者同樣可能在模型中植入后門并實(shí)施高級(jí)攻擊，由于部分模型的不可解釋性，在模型中植入的惡意后門會(huì)很難被檢測(cè)。在模型參數(shù)層面，服務(wù)提供者往往只希望提供模型查詢服務(wù)，而不希望暴露自己訓(xùn)練的模型，但通過多次查詢，攻擊者能夠構(gòu)建出一個(gè)相似的模型，進(jìn)而獲得模型的相關(guān)信息，甚至可以訓(xùn)練出對(duì)抗樣本用以攻擊原有模型。同樣，如果訓(xùn)練模型時(shí)的樣本覆蓋性不足，會(huì)使模型魯棒性不強(qiáng)，當(dāng)面對(duì)惡意樣本攻擊時(shí)，模型也會(huì)無法給出正確的判斷結(jié)果。從數(shù)據(jù)安全方面來看，如果攻擊者能夠在訓(xùn)練階段摻入惡意數(shù)據(jù)，則會(huì)影響模型推理能力，如果攻擊者在推理階段對(duì)要判斷的數(shù)據(jù)加入少量噪音，就會(huì)產(chǎn)生刻意改變判斷結(jié)果的嚴(yán)重問題。在用戶提供訓(xùn)練數(shù)據(jù)的場(chǎng)景下，攻擊者有可能通過反復(fù)查詢訓(xùn)練好的模型獲得用戶的隱私信息進(jìn)而產(chǎn)生敏感數(shù)據(jù)泄露的問題[8]。

以上這些問題有的存在于基礎(chǔ)層，有的存在于技術(shù)層面，大部分都是在應(yīng)用層使用后暴露出來，如近幾年來特斯拉自動(dòng)駕駛發(fā)生的Autopilot安全事故[9]，有很大一部分都是訓(xùn)練樣本不足或現(xiàn)實(shí)環(huán)境中的對(duì)抗樣本識(shí)別出現(xiàn)偏差后造成的嚴(yán)重后果。

面對(duì)如上眾多而又廣泛的安全問題，AI系統(tǒng)部署到業(yè)務(wù)場(chǎng)景時(shí)需要在三個(gè)層次實(shí)施防御和安全增強(qiáng)。一是注意對(duì)已知攻擊進(jìn)行有針對(duì)性地防御；二是通過各種措施提升模型健壯性；三是使用數(shù)據(jù)安全技術(shù)保證數(shù)據(jù)的安全和隱私保密；最后，就是在模型部署的業(yè)務(wù)中設(shè)計(jì)各種安全機(jī)制保證架構(gòu)的安全。

參考AI應(yīng)用架構(gòu)，其主要分為模型訓(xùn)練環(huán)境和生產(chǎn)環(huán)境兩個(gè)部分，一般情況下兩個(gè)環(huán)境是相對(duì)隔離并運(yùn)行在不同的物理或云環(huán)境中(見圖2)。

圖2 人工智能應(yīng)用架構(gòu)

2.2 人工智能訓(xùn)練環(huán)境中的安全威脅

在訓(xùn)練環(huán)境中，樣本數(shù)據(jù)準(zhǔn)備環(huán)節(jié)要防范數(shù)據(jù)投毒攻擊以造成模型傾斜，為模型提供可解釋性樣本數(shù)據(jù)的同時(shí)要注意反饋機(jī)制規(guī)避虛假數(shù)據(jù)導(dǎo)入，并要保證系統(tǒng)的數(shù)據(jù)自洽性；在模型訓(xùn)練環(huán)節(jié)，要防止閃避和后門攻擊，同時(shí)在模型設(shè)計(jì)方面要保證模型的可驗(yàn)證性及樣本數(shù)據(jù)足夠完整，并要充分考慮數(shù)據(jù)噪聲，訓(xùn)練出足夠健壯的模型；訓(xùn)練出的推理模型要針對(duì)模型竊取攻擊進(jìn)行測(cè)試和驗(yàn)證，并對(duì)模型的可解釋性進(jìn)行充分的分析，同時(shí)針對(duì)應(yīng)用場(chǎng)景需求，可以設(shè)計(jì)多個(gè)模型進(jìn)行適配。

2.3 人工智能推理環(huán)境中的安全威脅

在生產(chǎn)環(huán)境中，數(shù)據(jù)采集環(huán)節(jié)要防止數(shù)據(jù)過度采集，對(duì)個(gè)人屬性的生物特征，如人臉、指紋、聲音等信息要適度進(jìn)行脫敏或轉(zhuǎn)換后再進(jìn)行利用，在數(shù)據(jù)傳輸和應(yīng)用環(huán)節(jié)可適當(dāng)采用數(shù)據(jù)加密技術(shù)和訪問控制手段進(jìn)行保護(hù)；在業(yè)務(wù)系統(tǒng)模型管理方面，要有專門的模型倉庫管理和監(jiān)控機(jī)制，要保障模型的安全訪問和使用情況審計(jì)，對(duì)每個(gè)不同的模型實(shí)例都要有詳細(xì)的訪問控制和調(diào)用的日志管理；在最終的業(yè)務(wù)邏輯中，在滿足業(yè)務(wù)穩(wěn)定運(yùn)行的條件約束下，系統(tǒng)需要分析識(shí)別最佳方案并發(fā)送至控制系統(tǒng)進(jìn)行驗(yàn)證并實(shí)施。通常業(yè)務(wù)安全架構(gòu)要對(duì)各個(gè)功能模塊進(jìn)行隔離，并設(shè)置對(duì)模塊之間的訪問控制機(jī)制，以減少攻擊程序針對(duì)推理程序的攻擊面。在業(yè)務(wù)系統(tǒng)中，使用持續(xù)監(jiān)控和攻擊檢測(cè)程序，用以綜合分析系統(tǒng)安全狀態(tài)，給出當(dāng)前威脅風(fēng)險(xiǎn)級(jí)別。當(dāng)威脅風(fēng)險(xiǎn)較大時(shí)，綜合決策可以不采納自動(dòng)系統(tǒng)的建議，將最終控制權(quán)交回界面，通過人員判斷保證在遭受可疑攻擊情況下的可控性。在業(yè)務(wù)系統(tǒng)進(jìn)行關(guān)鍵操作時(shí)，業(yè)務(wù)程序要對(duì)AI推理給出的分析結(jié)果進(jìn)行確定性分析，當(dāng)確定性低于閾值時(shí)交回界面人工處理。在業(yè)務(wù)模型可選的情況下，可以搭建業(yè)務(wù)“多模型架構(gòu)”，通過對(duì)關(guān)鍵業(yè)務(wù)部署多個(gè)AI模型，避免單個(gè)模型出現(xiàn)異常時(shí)不影響業(yè)務(wù)最終決策，從而提升整個(gè)系統(tǒng)的強(qiáng)壯性。

3 人工智能應(yīng)用安全生命周期

為了應(yīng)對(duì)AI應(yīng)用所面對(duì)的各種威脅，筆者建議使用AI安全生命周期框架來啟動(dòng)AI應(yīng)用安全計(jì)劃(見圖3)。

圖3 人工智能應(yīng)用安全生命周期

在AI應(yīng)用安全生命周期中，4個(gè)區(qū)域代表了AI系統(tǒng)從開始規(guī)劃設(shè)計(jì)到部署應(yīng)用成熟使用的各個(gè)階段，并不斷循環(huán)進(jìn)行持續(xù)改進(jìn)。這些步驟從基本到復(fù)雜依次進(jìn)行，后面的步驟依賴于前面的結(jié)果。AI生命周期參考了NIST網(wǎng)絡(luò)安全框架和Gartner的自適應(yīng)安全架構(gòu)(網(wǎng)絡(luò)安全生命周期管理的流行參考框架)。

3.1 識(shí)別階段

該階段的目標(biāo)是通過資產(chǎn)管理、威脅建模和風(fēng)險(xiǎn)評(píng)估活動(dòng)了解當(dāng)前人工智能安全態(tài)勢(shì)。其行動(dòng)為：通過資產(chǎn)管理，識(shí)別和記錄所有使用的人工智能模型、數(shù)據(jù)集、云平臺(tái)和供應(yīng)商；通過威脅建模，了解破壞模型、數(shù)據(jù)集、環(huán)境和供應(yīng)鏈的風(fēng)險(xiǎn)；通過風(fēng)險(xiǎn)評(píng)估，執(zhí)行安全審計(jì)并確定模型、數(shù)據(jù)集和其環(huán)境中的漏洞優(yōu)先級(jí)。

3.2 保護(hù)階段

該階段的目標(biāo)是實(shí)施保護(hù)性控制，如安全意識(shí)、系統(tǒng)強(qiáng)化和安全人工智能開發(fā)實(shí)踐。其行動(dòng)為：通過建立安全意識(shí)，從管理、產(chǎn)品安全和人工智能開發(fā)等各方面對(duì)利益相關(guān)者進(jìn)行安全風(fēng)險(xiǎn)教育；使用模型強(qiáng)化措施，對(duì)模型的攻擊應(yīng)用進(jìn)行安全防御，確保安全輸入，防止數(shù)據(jù)外泄；通過安全開發(fā)，完善應(yīng)用程序安全的常規(guī)流程，涵蓋從開發(fā)到落地的整個(gè)過程。

3.3 檢測(cè)階段

該階段的目標(biāo)是通過定期滲透測(cè)試，驗(yàn)證安全監(jiān)控和威脅檢測(cè)系統(tǒng)抵御主動(dòng)攻擊。其行動(dòng)為：通過安全監(jiān)控，收集和分析來自業(yè)務(wù)系統(tǒng)中推理業(yè)務(wù)的事件和異常，如訪問、錯(cuò)誤和度量問題；通過威脅檢測(cè)，檢測(cè)并阻止針對(duì)業(yè)務(wù)系統(tǒng)機(jī)密性、完整性和可用性的對(duì)抗性攻擊[10]；通過滲透測(cè)試，進(jìn)行紅藍(lán)對(duì)抗演習(xí)，以評(píng)估系統(tǒng)的穩(wěn)健性，并檢查檢測(cè)和響應(yīng)控制機(jī)制是否可靠。

3.4 響應(yīng)階段

該階段的目標(biāo)是通過引入調(diào)查、遏制實(shí)踐、緩解工具、技術(shù)和程序，為人工智能安全事件做好準(zhǔn)備。其行動(dòng)為：通過特征提取，建立人工智能安全事件分類、影響分析和技術(shù)調(diào)查的專業(yè)知識(shí)；通過事故響應(yīng)，制定事故控制和與利益相關(guān)者溝通的行動(dòng)指導(dǎo)手冊(cè)；通過建立應(yīng)急預(yù)案，改善技術(shù)控制和組織政策，以減少重復(fù)發(fā)生人工智能安全事件的機(jī)會(huì)。

4 結(jié)束語

綜上所述，人工智能應(yīng)用的大規(guī)模普及和發(fā)展需要很強(qiáng)的安全性保證。本文主要從當(dāng)前人工智能應(yīng)用所面臨的主要安全威脅進(jìn)行分類描述，對(duì)人工智能應(yīng)用落地的訓(xùn)練和推理環(huán)境所面臨的三大安全威脅進(jìn)行了剖析。最后，結(jié)合安全領(lǐng)域的現(xiàn)有經(jīng)驗(yàn)，提出了人工智能應(yīng)用安全生命周期的階段和具體方法論，供業(yè)內(nèi)實(shí)施人工智能應(yīng)用時(shí)予以參考。