網(wǎng)絡(luò)安全等級(jí)保護(hù)人工智能系統(tǒng)基本要求初探

摘要：人工智能技術(shù)的廣泛應(yīng)用在為生活提供極大便利的同時(shí)也給網(wǎng)絡(luò)空間安全增加了許多新的風(fēng)險(xiǎn)因素。由于人工智能應(yīng)用系統(tǒng)在算法模型、開源框架、數(shù)據(jù)集等方面存在特有的安全風(fēng)險(xiǎn)，現(xiàn)有的網(wǎng)絡(luò)安全等級(jí)保護(hù)體系不能很好地適用于人工智能系統(tǒng)，因此人工智能安全等級(jí)保護(hù)研究意義重大。在對(duì)人工智能系統(tǒng)等級(jí)保護(hù)對(duì)象及安全需求進(jìn)行充分調(diào)研的基礎(chǔ)上，提出了人工智能安全等級(jí)保護(hù)基本要求框架，為完善人工智能等級(jí)保護(hù)安全基本要求提供了有效參考。

關(guān)鍵詞：等級(jí)保護(hù)；人工智能；網(wǎng)絡(luò)安全

一、前言

根據(jù)《中華人民共和國網(wǎng)絡(luò)安全法》的要求，明確指出要實(shí)施網(wǎng)絡(luò)安全等級(jí)保護(hù)制度[1]。隨著我國網(wǎng)絡(luò)安全等級(jí)保護(hù)工作從傳統(tǒng)信息系統(tǒng)擴(kuò)展到云計(jì)算、移動(dòng)互聯(lián)、物聯(lián)網(wǎng)系統(tǒng)、工業(yè)控制系統(tǒng)等新技術(shù)、新應(yīng)用領(lǐng)域，形成了由“安全通用要求+擴(kuò)展要求”構(gòu)成的安全要求內(nèi)容，所涉及到的保護(hù)對(duì)象和保護(hù)技術(shù)更加多樣化[2]。針對(duì)人工智能系統(tǒng)，目前網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求尚未對(duì)人工智能技術(shù)提出新的安全要求。近年來，人工智能的安全與隱私問題也越來越受到社會(huì)的重視[3]。我國已經(jīng)發(fā)布了一系列的人工智能相關(guān)政策法規(guī)及文件[4-5]，這些文件中均提出了人工智能安全和倫理等方面的要求。因此，需要能夠立足于研究適用于人工智能應(yīng)用的等級(jí)保護(hù)基本要求，充分兼容現(xiàn)有等級(jí)保護(hù)標(biāo)準(zhǔn)體系，統(tǒng)籌考慮人工智能技術(shù)特征和基礎(chǔ)共性的特異性、急迫性、代表性的安全風(fēng)險(xiǎn)，促進(jìn)人工智能在新等級(jí)保護(hù)時(shí)代在行業(yè)領(lǐng)域的管理和服務(wù)安全。

二、人工智能安全風(fēng)險(xiǎn)

人工智能技術(shù)的創(chuàng)新性應(yīng)用系統(tǒng)中，除了存在傳統(tǒng)信息系統(tǒng)可能會(huì)面臨的風(fēng)險(xiǎn)外，給網(wǎng)絡(luò)空間安全增加了很多新的安全風(fēng)險(xiǎn)。這些風(fēng)險(xiǎn)會(huì)存在于輸入環(huán)節(jié)、數(shù)據(jù)預(yù)處理環(huán)節(jié)、模型訓(xùn)練環(huán)節(jié)、輸出環(huán)節(jié)[3]。一是算法模型安全風(fēng)險(xiǎn)。由人工智能模型的復(fù)雜和不透明性而引發(fā)的安全風(fēng)險(xiǎn)時(shí)有發(fā)生，尤其是機(jī)器模型的訓(xùn)練和部署中可能會(huì)遭受惡意攻擊使得算法模型設(shè)計(jì)本身可能會(huì)產(chǎn)生錯(cuò)誤的結(jié)果。例如，攻擊者通過修改、刪除或者注入特定的數(shù)據(jù)來對(duì)算法模型發(fā)起數(shù)據(jù)投毒攻擊，影響模型的訓(xùn)練效果[6]。二是數(shù)據(jù)安全風(fēng)險(xiǎn)。人工智能數(shù)據(jù)的兩個(gè)重要威脅是誘餌攻擊威脅以及模型竊取威脅。訓(xùn)練數(shù)據(jù)集對(duì)算法模型準(zhǔn)確性有極強(qiáng)的影響力。Eykholt等人通過實(shí)驗(yàn)證明，對(duì)路標(biāo)覆蓋擾動(dòng)標(biāo)記可以誘導(dǎo)無人駕駛系統(tǒng)將“停車”標(biāo)志誤識(shí)別為“限速”標(biāo)志[7]。三是個(gè)人信息保護(hù)風(fēng)險(xiǎn)。人工智能越來越依賴于訓(xùn)練數(shù)據(jù)量級(jí)和多樣性，數(shù)據(jù)采集、分析處理階段隱私保護(hù)風(fēng)險(xiǎn)突出。Melis等人的研究表明，攻擊者在僅擁有訓(xùn)練數(shù)據(jù)集子集的情況下便可以推斷出用戶的收入、性別、年齡等相關(guān)數(shù)據(jù)分布[8]。四是軟硬件安全風(fēng)險(xiǎn)。Xiao等人研究發(fā)現(xiàn)Tensorflow、Caffe以及Torch這三種常用的深度學(xué)習(xí)框架中所存在的漏洞可引發(fā)深度學(xué)習(xí)模型識(shí)別結(jié)果篡改[9]。綜上所述，針對(duì)傳統(tǒng)系統(tǒng)制定的等級(jí)保護(hù)標(biāo)準(zhǔn)不能很好地適用于人工智能應(yīng)用領(lǐng)域。例如，傳統(tǒng)的測(cè)試技術(shù)已經(jīng)無法滿足軟件中所使用開源組件的安全測(cè)評(píng)需求[10]，因此迫切需要開展對(duì)采用人工智能系統(tǒng)的等級(jí)保護(hù)研究。

三、人工智能應(yīng)用系統(tǒng)等級(jí)保護(hù)安全說明

（一）人工智能應(yīng)用模型場(chǎng)景說明。人工智能系統(tǒng)主要針對(duì)系統(tǒng)基礎(chǔ)共性提出安全要求，對(duì)象包括輸入輸出設(shè)備，原始數(shù)據(jù)資源和數(shù)據(jù)集，智能信息處理中的算法框架、計(jì)算模型，與現(xiàn)有的《信息安全技術(shù) 網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》（GB/T 22239-2019）中安全通用要求以及涉及的安全擴(kuò)展要求一起構(gòu)成對(duì)采用人工智能系統(tǒng)的等級(jí)保護(hù)對(duì)象的完整安全要求。

（二）人工智能應(yīng)用系統(tǒng)定級(jí)。采用人工智能技術(shù)的等級(jí)保護(hù)對(duì)象應(yīng)作為一個(gè)整體對(duì)象定級(jí)，涉及關(guān)鍵要素：輸入輸出設(shè)備，原始數(shù)據(jù)資源或數(shù)據(jù)集，智能信息處理中的算法框架、計(jì)算模型。

四、人工智能應(yīng)用系統(tǒng)保護(hù)對(duì)象

基于網(wǎng)絡(luò)安全等級(jí)保護(hù)防護(hù)體系和人工智能的框架機(jī)制，可將人工智能應(yīng)用系統(tǒng)劃分為5個(gè)層次。人工智能用戶層包括管理用戶、業(yè)務(wù)用戶。用戶層是人工智能應(yīng)用系統(tǒng)提供服務(wù)的交互層，為用戶提供訪問和管理的功能。人工智能應(yīng)用服務(wù)層包括應(yīng)用系統(tǒng)、系統(tǒng)業(yè)務(wù)數(shù)據(jù)。人工智能技術(shù)服務(wù)層包括計(jì)算框架，算法模型，以及數(shù)據(jù)集等。這層作為關(guān)鍵技術(shù)平臺(tái)，對(duì)外提供解決方案和相關(guān)服務(wù)。人工智能系統(tǒng)架構(gòu)層是為人工智能應(yīng)用系統(tǒng)運(yùn)行所具備的網(wǎng)絡(luò)資源、計(jì)算資源和存儲(chǔ)資源及依托的硬件設(shè)備，包括傳統(tǒng)信息系統(tǒng)設(shè)備，還包括智能輸入輸出設(shè)備，例如新型傳感器、智能基礎(chǔ)平臺(tái)等設(shè)備。人工智能基礎(chǔ)設(shè)施層是系統(tǒng)硬件設(shè)備的運(yùn)行物理環(huán)境，既有傳統(tǒng)系統(tǒng)的物理機(jī)房，還有智能終端在數(shù)據(jù)采集和提供系統(tǒng)服務(wù)時(shí)的運(yùn)行環(huán)境。管理層針對(duì)人工智能系統(tǒng)的全流程全方位管理，對(duì)系統(tǒng)進(jìn)行安全設(shè)計(jì)管理，防止系統(tǒng)設(shè)計(jì)將威脅網(wǎng)絡(luò)安全、社會(huì)安全和國家安全，對(duì)系統(tǒng)的安全、倫理、隱私問題管理。網(wǎng)絡(luò)安全方面包括權(quán)限管理、網(wǎng)絡(luò)管理、運(yùn)維管理、監(jiān)控管理、安全管理、審計(jì)管理等。

五、人工智能應(yīng)用系統(tǒng)等級(jí)保護(hù)安全措施

（一）設(shè)計(jì)思路。本項(xiàng)目從以下人工智能系統(tǒng)特有的幾個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行研究。1.物理基礎(chǔ)設(shè)施安全。針對(duì)物理基礎(chǔ)設(shè)施的硬件安全，數(shù)據(jù)的輸入輸出設(shè)備或傳感器安全。2.數(shù)據(jù)安全。針對(duì)人工智能系統(tǒng)輸入環(huán)節(jié)的數(shù)據(jù)集，主要從訪問控制、數(shù)據(jù)存儲(chǔ)安全、數(shù)據(jù)傳輸安全、個(gè)人信息保護(hù)方面研究。3.算法模型安全。針對(duì)機(jī)器學(xué)習(xí)模型預(yù)處理過程中算法模型的訓(xùn)練數(shù)據(jù)隱私和模型隱私采取技術(shù)措施加以保護(hù)，避免模型竊取技術(shù)造成的泄露，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)使用、數(shù)據(jù)傳輸?shù)陌踩?.安全管理。人工智能應(yīng)用深度融合發(fā)展，會(huì)影響到國家安全、社會(huì)安全，人工智能系統(tǒng)設(shè)計(jì)建設(shè)必須滿足政策、法律、倫理道德管控和人身安全管控的相關(guān)要求。由于人工智能系統(tǒng)所處環(huán)境的開放性導(dǎo)致的攻擊，針對(duì)安全共性需求，主要從安全建設(shè)管理、安全運(yùn)維管理方面進(jìn)行研究。信息系統(tǒng)全流程管理，對(duì)象涉及：人工智能硬件基礎(chǔ)設(shè)施、核心算法和數(shù)據(jù)集，數(shù)據(jù)庫比對(duì)解決方案以及人工智能信息系統(tǒng)。

（二）人工智能安全防護(hù)措施。網(wǎng)絡(luò)安全等級(jí)保護(hù)技術(shù)要求中包括安全物理環(huán)境、安全通信網(wǎng)絡(luò)、安全區(qū)域邊界、安全計(jì)算環(huán)境、安全管理中心，管理要求中包括安全管理制度、安全管理機(jī)構(gòu)、人員安全管理、系統(tǒng)建設(shè)管理、系統(tǒng)運(yùn)維管理，構(gòu)成了十個(gè)方面的安全要求，如圖1所示。人工智能系統(tǒng)的技術(shù)要求中的安全物理環(huán)境方面，除了傳統(tǒng)物理環(huán)境外，增加人工智能專有數(shù)據(jù)的輸入輸出設(shè)備，以及設(shè)備物理位置的安全防護(hù)要求。在安全區(qū)域邊界方面，增加了數(shù)據(jù)的輸入輸出安全，例如圖像信息、語音數(shù)據(jù)等數(shù)據(jù)。在安全計(jì)算環(huán)境方面，增加了算法框架、計(jì)算模型、人工智能系統(tǒng)、數(shù)據(jù)集、個(gè)人隱私信息等人工智能相關(guān)的測(cè)評(píng)對(duì)象，加強(qiáng)其安全防護(hù)要求。其中數(shù)據(jù)集包括訓(xùn)練數(shù)據(jù)、算法模型重要參數(shù)、人工智能系統(tǒng)業(yè)務(wù)數(shù)據(jù)。在管理要求中，從系統(tǒng)開發(fā)的安全、倫理、隱私問題出發(fā)，結(jié)合技術(shù)要求中增加的測(cè)評(píng)對(duì)象，從PPDR模型的安全策略、保護(hù)、檢測(cè)和響應(yīng)四個(gè)部分建立管理體系，規(guī)范管理流程。具體在安全管理制度、安全管理機(jī)構(gòu)、人員安全管理、系統(tǒng)建設(shè)管理、系統(tǒng)運(yùn)維管理這五個(gè)安全層面增加控制點(diǎn)。

六、人工智能基本要求框架

人工智能基本要求框架主要包括：安全物理環(huán)境、安全計(jì)算環(huán)境、安全管理機(jī)構(gòu)、安全管理人員、安全建設(shè)管理和安全運(yùn)維管理。其中安全計(jì)算環(huán)境方面包括智能傳感器安全、數(shù)據(jù)預(yù)處理安全、算法框架安全、計(jì)算模型安全、人工智能應(yīng)用安全、數(shù)據(jù)集安全、個(gè)人信息保護(hù)。

（一）安全物理環(huán)境。人工智能輸入輸出設(shè)備物理防護(hù)安全。人工智能輸入輸出設(shè)備所處的物理環(huán)境應(yīng)不對(duì)智能輸入輸出設(shè)備造成物理破壞，如擠壓、強(qiáng)振動(dòng)；在工作狀態(tài)所處物理環(huán)境應(yīng)該不對(duì)輸入輸出設(shè)備的正常工作造成影響，如強(qiáng)干擾、輸入設(shè)備視野阻擋屏蔽等。

（二）安全區(qū)域邊界。輸入輸出安全。應(yīng)為人工智能系統(tǒng)提供安全的服務(wù)接口，保證設(shè)備的可用性；采取措施檢測(cè)惡意構(gòu)造的攻擊信息，實(shí)現(xiàn)對(duì)系統(tǒng)輸入環(huán)節(jié)的安全增強(qiáng)；采用技術(shù)措施增強(qiáng)計(jì)算模型輸出環(huán)節(jié)防護(hù)。

（三）安全計(jì)算環(huán)境。數(shù)據(jù)預(yù)處理安全。在人工參與的數(shù)據(jù)預(yù)處理環(huán)節(jié)需要校驗(yàn)環(huán)節(jié)，保證數(shù)據(jù)集的準(zhǔn)確性與可用性；對(duì)輸入預(yù)處理數(shù)據(jù)質(zhì)量進(jìn)行隨機(jī)化或者重采樣的質(zhì)量檢測(cè)。算法框架安全。采用免受惡意代碼攻擊的技術(shù)措施進(jìn)行算法框架代碼漏洞檢測(cè)，并在經(jīng)過充分測(cè)試評(píng)估后，及時(shí)修補(bǔ)漏洞；授權(quán)用戶應(yīng)在充分測(cè)試評(píng)估后，對(duì)算法框架及時(shí)進(jìn)行版本更新。計(jì)算模型安全。對(duì)登錄計(jì)算模型的用戶進(jìn)行身份標(biāo)識(shí)和鑒別，身份標(biāo)識(shí)具有唯一性，身份鑒別信息具有復(fù)雜度要求并定期更換；具有登錄失敗處理功能，應(yīng)配置并啟用結(jié)束會(huì)話、限制非法登錄次數(shù)和當(dāng)?shù)卿涍B接超時(shí)自動(dòng)退出等相關(guān)措施；應(yīng)在發(fā)現(xiàn)對(duì)抗樣本后采取反制措施提升安全防護(hù)能力；檢測(cè)評(píng)估智能應(yīng)用決策行動(dòng)的健壯性，避免算法歧視造成的決策不公正。人工智能應(yīng)用安全。對(duì)登錄的用戶進(jìn)行身份鑒別和訪問控制，采用管理機(jī)制保證數(shù)據(jù)共享安全和保密性；對(duì)個(gè)人隱私數(shù)據(jù)、原生生物數(shù)據(jù)和關(guān)聯(lián)生物數(shù)據(jù)的數(shù)據(jù)庫讀、寫、創(chuàng)建、修改、刪除和脫敏共享等操作權(quán)限進(jìn)行記錄。數(shù)據(jù)集安全。計(jì)算模型的隱私數(shù)據(jù)、標(biāo)注數(shù)據(jù)包括關(guān)鍵參數(shù)、數(shù)據(jù)集，應(yīng)提供泄露數(shù)據(jù)溯源技術(shù)；建立數(shù)據(jù)集全生命周期管理，確保數(shù)據(jù)在采集、處理、訓(xùn)練、推理等應(yīng)用環(huán)節(jié)等可溯源，防止數(shù)據(jù)集被污染或遭受投毒攻擊。

（四）安全管理制度。建立等級(jí)保護(hù)對(duì)象人工智能應(yīng)用管理制度，并納入等級(jí)保護(hù)對(duì)象安全管理制度體系；對(duì)管理人員或人工智能輸入輸出設(shè)備操作人員執(zhí)行的日常管理操作建立操作規(guī)程。

（五）安全管理機(jī)構(gòu)。關(guān)鍵崗位人員配備。設(shè)立崗位職責(zé)明確的系統(tǒng)管理員、安全管理員、審計(jì)管理員和操作員等，崗位操作人員應(yīng)具有相關(guān)從業(yè)資質(zhì)，按照最小權(quán)限授予原則授予權(quán)限，保障安全、相互制約并進(jìn)行記錄備案。

（六）安全管理人員。關(guān)鍵崗位人員管理。進(jìn)行涉及倫理道德的崗前培訓(xùn)，設(shè)置從業(yè)門檻，加強(qiáng)從業(yè)人員對(duì)倫理道德責(zé)任的認(rèn)識(shí)；記錄和保存第三方人員管理工作記錄。

（七）安全建設(shè)管理。人工智能應(yīng)用管控。應(yīng)用系統(tǒng)建設(shè)必須滿足政策、法律、倫理道德管控和人身安全管控的相關(guān)要求；人工智能應(yīng)用安全風(fēng)險(xiǎn)等級(jí)應(yīng)和保護(hù)措施與部署范圍、侵害程度、數(shù)據(jù)庫規(guī)模和本地異地部署形式等綜合安全風(fēng)險(xiǎn)因素相符。測(cè)試驗(yàn)收。對(duì)計(jì)算模型進(jìn)行上線前的安全性測(cè)試，并出具安全測(cè)試報(bào)告，安全測(cè)試報(bào)告應(yīng)包含計(jì)算模型的后門檢測(cè)、對(duì)抗樣本檢測(cè)。

（八）安全運(yùn)維管理。人工智能輸入輸出設(shè)備監(jiān)控管理和安全管理中心。應(yīng)對(duì)預(yù)處理數(shù)據(jù)質(zhì)量、算法框架漏洞、計(jì)算模型檢測(cè)等技術(shù)安全相關(guān)事項(xiàng)進(jìn)行集中管理。系統(tǒng)安全管理。嚴(yán)格控制操作員實(shí)施日常用戶增刪，經(jīng)過系統(tǒng)管理員授權(quán)，安全管理員審核備案，管理部門負(fù)責(zé)人批準(zhǔn)方可實(shí)施。

七、結(jié)語

近年來，人工智能應(yīng)多個(gè)行業(yè)廣泛應(yīng)用，網(wǎng)絡(luò)規(guī)模和用戶規(guī)模都呈現(xiàn)出爆炸性增長，而當(dāng)前人工智能的網(wǎng)絡(luò)安全問題也呈現(xiàn)出快速發(fā)展的態(tài)勢(shì)。可以預(yù)期，針對(duì)人工智能安全的研究將在很長一段時(shí)間內(nèi)成為網(wǎng)絡(luò)安全研究的重點(diǎn)和熱點(diǎn)。在當(dāng)前人工智能發(fā)展的初期階段，本文在考慮人工智能安全需求與安全保障技術(shù)的基礎(chǔ)上，提出了人工智能安全的等級(jí)保護(hù)基本要求框架，為完善人工智能等級(jí)保護(hù)安全基本要求提供參考，推進(jìn)了人工智能安全標(biāo)準(zhǔn)研制。完全有機(jī)會(huì)設(shè)計(jì)結(jié)構(gòu)嚴(yán)謹(jǐn)?shù)娜斯ぶ悄軕?yīng)用系統(tǒng)的等級(jí)保護(hù)安全要求，使人工智能健康有序發(fā)展。

參考文獻(xiàn)

[1]中華人民共和國網(wǎng)絡(luò)安全法[J].中華人民共和國最高人民檢察院公報(bào)，2017（02）：1-9.

[2]閆珂.關(guān)于網(wǎng)絡(luò)安全等級(jí)保護(hù)2.0的探討[J].網(wǎng)絡(luò)空間安全，2021，12（Z3）：11-14.

[3]陳宇飛，沈超，王騫，等.人工智能系統(tǒng)安全與隱私風(fēng)險(xiǎn)[J].計(jì)算機(jī)研究與發(fā)展，2019，56（10）：2135-2150.

[4]國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[J].中華人民共和國國務(wù)院公報(bào)，2017（22）：7-21.

[5]中華人民共和國數(shù)據(jù)安全法[J].中華人民共和國全國人民代表大會(huì)常務(wù)委員會(huì)公報(bào)，2021（05）：951-956.

[6]周純毅，陳大衛(wèi)，王尚，等.分布式深度學(xué)習(xí)隱私與安全攻擊研究進(jìn)展與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2021，58（05）：927-943.

[7]Eykholt K， Evtimov I， Fernandes E， et al. Robust physical-world attacks on deep learning visual classification[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018：1625-1634.

[8]Melis L， Song C， De Cristofaro E， et al. Exploiting unintended feature leakage in collaborative learning[C]. 2019 IEEE Symposium on Security and Privacy （SP）. IEEE， 2019：691-706.

[9]Xiao Q， Li K， Zhang D， et al. Security risks in deep learning implementations[C]. 2018 IEEE Security and privacy workshops （SPW）. IEEE， 2018：123-128.

[10]姚尤建，王頡.《網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)評(píng)報(bào)告模板（2019版）》應(yīng)用研究[J].信息網(wǎng)絡(luò)安全，2020（S2）：29-31.

（作者單位：黃學(xué)臻、吳星祿、呂由，公安部第一研究所；翟翟，北京交通大學(xué)智能交通數(shù)據(jù)安全與隱私保護(hù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室）