運(yùn)用科學(xué)計(jì)量學(xué)的人工智能安全技術(shù)評(píng)估*

吳 集，梁江海，劉書雷

(國(guó)防科技大學(xué) 前沿交叉學(xué)科學(xué)院， 湖南 長(zhǎng)沙 410073)

全球人工智能技術(shù)迅猛發(fā)展，正引領(lǐng)科技、產(chǎn)業(yè)新變革，推動(dòng)智能經(jīng)濟(jì)、智能社會(huì)轉(zhuǎn)型發(fā)展，塑造人類安全與發(fā)展新環(huán)境。人工智能具有先進(jìn)科學(xué)技術(shù)“雙刃”屬性。面對(duì)智能化時(shí)代的巨大進(jìn)步，必須堅(jiān)持安全發(fā)展理念，審視潛在的機(jī)遇和風(fēng)險(xiǎn)，防范人工智能引發(fā)的系統(tǒng)性破壞和結(jié)構(gòu)性風(fēng)險(xiǎn)，確保人工智能健康發(fā)展、造福于民。

本文運(yùn)用科學(xué)計(jì)量學(xué)方法和可視化技術(shù)，基于對(duì)人工智能安全研究的文獻(xiàn)情況進(jìn)行計(jì)量分析，以Web of Science數(shù)據(jù)庫(kù)收錄的核心論文為研究對(duì)象，運(yùn)用科學(xué)計(jì)量學(xué)方法和可視化技術(shù)，對(duì)包括國(guó)家、機(jī)構(gòu)在內(nèi)的研究力量分布以及熱點(diǎn)、前沿和所涉學(xué)科在內(nèi)的主題內(nèi)容進(jìn)行分析和總結(jié)，針對(duì)潛在的人工智能安全議題，構(gòu)建定性分析框架，對(duì)人工智能安全進(jìn)行定性定量結(jié)合的分析，在此基礎(chǔ)上通過(guò)風(fēng)險(xiǎn)與技術(shù)映射，初步對(duì)若干人工智能安全前沿技術(shù)進(jìn)行梳理和評(píng)估，希望能夠?yàn)橄嚓P(guān)進(jìn)一步研究提供參考。

1 人工智能安全研究的狀況

過(guò)去20年間，全球眾多國(guó)家與地區(qū)廣泛參與到人工智能領(lǐng)域的研究中。在人工智能研究掀起新一輪浪潮的同時(shí)，波音自動(dòng)飛行控制系統(tǒng)失效、優(yōu)步無(wú)人駕駛車致命、人工合成表情產(chǎn)生等安全事件頻發(fā)，無(wú)人駕駛、社會(huì)倫理、系統(tǒng)災(zāi)難、隱私侵犯等方面問(wèn)題不斷突顯，國(guó)際人工智能安全研究不斷受到關(guān)注。

針對(duì)“人工智能安全研究格局是什么，關(guān)注點(diǎn)在哪里，應(yīng)對(duì)技術(shù)和措施有哪些研究？”等問(wèn)題，采用可視化工具 CiteSpace[1-2]對(duì) 2007—2017年國(guó)際人工智能安全領(lǐng)域的期刊文獻(xiàn)進(jìn)行了國(guó)家分析、研究機(jī)構(gòu)分析、來(lái)源出版物共引分析、領(lǐng)域研究熱點(diǎn)分析與知識(shí)群聚類，從微觀和宏觀的層面分析人工智能安全研究熱點(diǎn)，為后續(xù)開展人工智能安全技術(shù)評(píng)估提供依據(jù)。

1.1 人工智能安全研究的國(guó)家和機(jī)構(gòu)分析

采用文獻(xiàn)檢索方法為主題: (artificial intelligence* secur* or robot* secur* or auto* secur*) 時(shí)間跨度為2007—2017年，返回檢索結(jié)果18 762篇。從發(fā)表人工智能安全文獻(xiàn)的數(shù)量來(lái)看，地區(qū)呈現(xiàn)不均衡的分布。美國(guó)和中國(guó)是發(fā)表人工智能安全論文最多的國(guó)家，美國(guó)為512篇，中國(guó)為310篇，印度、德國(guó)為150篇左右。

在CiteSpace 中“node type”選擇參數(shù)“Country”，以2年為一個(gè)時(shí)間片，生成人工智能安全研究的國(guó)家分布網(wǎng)絡(luò)圖譜，如圖1所示。 圖1中的每個(gè)節(jié)點(diǎn)代表了一個(gè)國(guó)家，用不同大小的年輪進(jìn)行表示。 年輪的大小與該國(guó)家的文獻(xiàn)數(shù)量成正比。 相鄰節(jié)點(diǎn)的邊的粗細(xì)與節(jié)點(diǎn)之間的聯(lián)系程度成正比。圖1中，每個(gè)年輪最中心的圓表示文獻(xiàn)的中心性，中心性是在知識(shí)圖譜網(wǎng)絡(luò)中起連接作用大小的度量,年輪中心圓的直徑越大，則中心性越大，說(shuō)明該節(jié)點(diǎn)在網(wǎng)絡(luò)中越重要，與其他節(jié)點(diǎn)的聯(lián)系更緊密。從文獻(xiàn)的中心性來(lái)看，美國(guó)排在首位，中國(guó)排在第二位。

圖1 人工智能安全論文影響力國(guó)家網(wǎng)絡(luò)Fig.1 National influence network of AI security papers

在CiteSpace中，“node type”選擇參數(shù)“Institution”，以2年為一個(gè)時(shí)間片，得到了人工智能安全研究的學(xué)術(shù)機(jī)構(gòu)分布圖譜，如圖2所示。圖2中，每個(gè)節(jié)點(diǎn)代表了一個(gè)發(fā)表論文的學(xué)術(shù)機(jī)構(gòu)，用不同大小的年輪進(jìn)行表示，年輪的大小與該機(jī)構(gòu)的文獻(xiàn)數(shù)量成正比。文獻(xiàn)產(chǎn)出數(shù)量方面，發(fā)表人工智能安全文獻(xiàn)最多的學(xué)術(shù)機(jī)構(gòu)是Chinese Acad Sci、Tsinghua Univ、Univ Illnois、Nanyang Technol Univ、Georgia Inst Technol等，National Univ Def Technol排在第14位；文獻(xiàn)的中心性方面，在人工智能安全研究網(wǎng)絡(luò)中起到關(guān)鍵連接的學(xué)術(shù)機(jī)構(gòu)排序依次為Chinese Acad Sci、Univ Illnois、Tsinghua Univ、Purdue Univ、Carnegie Mellon Univ等，National Univ Def Technol排在第11位。

圖2 人工智能安全研究的機(jī)構(gòu)分布網(wǎng)絡(luò)Fig.2 Network of AI security research facilities

1.2 人工智能安全研究的熱點(diǎn)分析

文獻(xiàn)題錄中的關(guān)鍵詞是對(duì)主題的高度概括和集中描述，可以用于確定某一學(xué)科領(lǐng)域的研究熱點(diǎn)。學(xué)科領(lǐng)域在每一時(shí)期都有研究熱點(diǎn)，進(jìn)而構(gòu)成該學(xué)科的主要知識(shí)領(lǐng)域?；?CiteSpace對(duì)Web of Science核心合集文獻(xiàn)進(jìn)行分析，可用可視化的形式展現(xiàn)主題詞或關(guān)鍵詞的頻次高低、聚類關(guān)系，得出研究熱點(diǎn)。

將最終精煉整理得到的18 762 篇論文全記錄信息導(dǎo)入CiteSpace，設(shè)置參數(shù)為：時(shí)區(qū)分隔 (time slicing)=(from 2007 to 2017)(2 years per slice)；主題詞來(lái)源(term source)為標(biāo)題(title)、摘要(abstract)、作者關(guān)鍵詞(author keywords(DE))、擴(kuò)展關(guān)鍵詞(keywords plus(ID)),即全部勾選；節(jié)點(diǎn)類型(node types)選擇關(guān)鍵詞(keyword)；閾值(selection criteria)為每個(gè)時(shí)間片前 35個(gè)高頻或高被引節(jié)點(diǎn)；選擇最小生成樹(minimum spanning tree)算法進(jìn)行剪枝(pruning)；視圖方式(visualization)選擇timeline，進(jìn)行圖譜繪制。得到如圖3所示的高頻關(guān)鍵詞隨著時(shí)間演化的時(shí)間線演化圖，以及如表 1 所示的高頻關(guān)鍵詞、高中心性關(guān)鍵詞。

圖3 人工智能安全研究的高頻關(guān)鍵詞演化圖Fig.3 Timeline diagram of AI security high frequency keywords

從表 1 中可以看出，國(guó)際人工智能安全研究領(lǐng)域十分廣泛，不僅圍繞身份認(rèn)證、算法、隱私、網(wǎng)絡(luò)安全、入侵檢測(cè)等，且在無(wú)線傳感網(wǎng)絡(luò)、智能電網(wǎng)、自動(dòng)化等領(lǐng)域也有數(shù)量眾多的文章。從關(guān)鍵詞的影響看，算法、自動(dòng)化、可信性、驗(yàn)證、入侵檢測(cè)、管理、協(xié)議、智能電網(wǎng)、機(jī)器學(xué)習(xí)是備受關(guān)注的議題。

表1 AI安全高頻關(guān)鍵詞、高中心性關(guān)鍵詞

2 人工智能安全的定性分析框架

依據(jù)文獻(xiàn)分析的結(jié)果可以看出：以往關(guān)注的人工智能安全與信息、網(wǎng)絡(luò)、自動(dòng)化等緊密相關(guān)，如身份認(rèn)證、算法、隱私、網(wǎng)絡(luò)安全、入侵檢測(cè)等，但對(duì)新一代人工智能技術(shù)如深度學(xué)習(xí)、植入芯片、深度偽造等安全議題的研究體現(xiàn)得并不明顯，對(duì)新一代人工智能安全技術(shù)的研究仍處于起步階段。為此，從定性分析角度，建立人工智能安全分析框架，結(jié)合各國(guó)宏觀政策和學(xué)術(shù)研究、社會(huì)關(guān)注情況，梳理人工智能安全應(yīng)關(guān)注的議題。

2.1 政策與研究綜述

2017年，中國(guó)發(fā)布《新一代人工智能發(fā)展規(guī)劃》，提出“建設(shè)安全便捷的智能社會(huì)，提高社會(huì)治理智能化水平”“構(gòu)建泛在安全高效的智能化基礎(chǔ)設(shè)施體系”，從法律法規(guī)、倫理規(guī)范、安全監(jiān)管與評(píng)估等方面推動(dòng)人工智能安全建設(shè)[3]。2017年初，在美國(guó)阿西洛馬召開的Beneficial AI會(huì)議提出“阿西洛馬人工智能原則”[4]；2018年，中國(guó)《人工智能安全發(fā)展上海倡議》強(qiáng)調(diào)，人工智能安全發(fā)展要遵循“面向未來(lái)、以人為本、責(zé)任明晰、隱私保護(hù)、算法公正、透明監(jiān)管、和平利用、開放合作”八大理念[5]。

2019年4月，歐盟發(fā)布人工智能的七個(gè)道德準(zhǔn)則：受人類監(jiān)管，技術(shù)的穩(wěn)健性和安全性，隱私和數(shù)據(jù)管理，透明度，多樣性、非歧視性和公平性，社會(huì)和環(huán)境福祉，問(wèn)責(zé)制[6]。2019年6月，中國(guó)國(guó)家新一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》，提出和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作、敏捷治理八項(xiàng)原則[7]。

根據(jù)國(guó)內(nèi)社會(huì)調(diào)查和國(guó)際學(xué)者研究，人工智能安全關(guān)注的第一類議題是未來(lái)人工智能對(duì)人類生存的挑戰(zhàn)。依據(jù)奇點(diǎn)預(yù)測(cè)，2045年人工智能將超越人類智能，將首次對(duì)全體人類在生存、生產(chǎn)上帶來(lái)終極挑戰(zhàn)。第二類議題是人工智能可能引發(fā)的安全問(wèn)題。其一是操作權(quán)失控或惡意使用導(dǎo)致的安全威脅。黑客可能通過(guò)智能方法發(fā)起網(wǎng)絡(luò)攻擊。其二是技術(shù)失控或管理不當(dāng)所致的安全問(wèn)題。第三類議題是對(duì)已有社會(huì)體系破壞的問(wèn)題。人工智能技術(shù)越發(fā)達(dá)，信息鴻溝就越深，進(jìn)而演變成為服務(wù)鴻溝、福利鴻溝。第四類議題是人工智能對(duì)倫理規(guī)范的挑戰(zhàn)。從數(shù)據(jù)隱私、安全威脅、算法歧視和人工主體權(quán)利倫理方面，人工智能技術(shù)的應(yīng)用正在將一些生活中的倫理性問(wèn)題在系統(tǒng)中規(guī)則化。第五類議題是系統(tǒng)的研發(fā)設(shè)計(jì)必須要與社會(huì)倫理匹配對(duì)接，機(jī)器規(guī)范和人類規(guī)范必須兼容。

2.2 人工智能安全分析框架

為此，鑒于網(wǎng)絡(luò)空間安全的復(fù)雜性，人工智能安全涉及因素更為廣泛深入。參考OSI、CC等網(wǎng)絡(luò)安全評(píng)估標(biāo)準(zhǔn)模型[8]，從技術(shù)、應(yīng)用、社會(huì)三個(gè)層次，構(gòu)建人工智能安全分析框架，如圖4所示。依據(jù)人工智能安全分析框架，結(jié)合科學(xué)計(jì)量的高頻關(guān)鍵詞等啟發(fā)式信息，新一代人工智能安全應(yīng)關(guān)注的維度、領(lǐng)域和潛在風(fēng)險(xiǎn)包括以下方面。

圖4 人工智能安全定性分析框架Fig.4 AI security qualitative analysis framework

在技術(shù)因素維度，支持人工智能的“計(jì)算、算法、數(shù)據(jù)、網(wǎng)絡(luò)”四大核心，本身仍存在無(wú)法驗(yàn)證的內(nèi)在安全。在傳統(tǒng)的計(jì)算、算法、網(wǎng)絡(luò)中，盡管在安全供應(yīng)鏈、可信計(jì)算、算法驗(yàn)證、網(wǎng)絡(luò)安全方面開展了大量工作，但仍缺乏全面的突破，對(duì)用于檢驗(yàn)和維護(hù)深度學(xué)習(xí)算法的數(shù)據(jù)集合安全仍缺乏研究。

在系統(tǒng)應(yīng)用維度，從已經(jīng)開始部署的無(wú)人駕駛汽車、無(wú)人機(jī)、先進(jìn)制造、網(wǎng)絡(luò)服務(wù)，以及未來(lái)潛在的金融、運(yùn)輸、媒體、教育、醫(yī)療等，系統(tǒng)能力不足、設(shè)計(jì)存在漏洞、缺乏安全機(jī)制、產(chǎn)業(yè)監(jiān)管滯后等引發(fā)了隱患甚至事故，技術(shù)和系統(tǒng)設(shè)計(jì)不確定性風(fēng)險(xiǎn)廣泛存在。

在安全治理維度，惡意代碼、野生智能、機(jī)器失控、操縱智能手段犯罪等將對(duì)治安、司法、反恐等帶來(lái)新的問(wèn)題，人與機(jī)器共存、異構(gòu)智能共存、社會(huì)角色轉(zhuǎn)換等將對(duì)社會(huì)倫理帶來(lái)需要應(yīng)對(duì)的不確定性。

3 人工智能安全技術(shù)評(píng)估初探

3.1 應(yīng)關(guān)注的人工智能安全技術(shù)

基于文獻(xiàn)計(jì)量和政策分析獲得的兩類安全關(guān)注點(diǎn)，依據(jù)人工智能安全分析框架，通過(guò)建立“風(fēng)險(xiǎn)-場(chǎng)景-技術(shù)”關(guān)聯(lián)，以圖4辨析的風(fēng)險(xiǎn)和場(chǎng)景為需求牽引，通過(guò)網(wǎng)絡(luò)信息安全、系統(tǒng)與工業(yè)安全、社會(huì)安全領(lǐng)域的國(guó)內(nèi)外技術(shù)掃描和技術(shù)預(yù)測(cè)，針對(duì)新一代人工智能安全潛在的分析，梳理出15項(xiàng)應(yīng)關(guān)注的下一代人工智能安全技術(shù)，如圖5所示。

圖5 應(yīng)關(guān)注的15項(xiàng)人工智能安全前沿技術(shù)Fig.5 Selected 15 AI security advanced technologies

在使能技術(shù)維度，針對(duì)數(shù)據(jù)、算法、計(jì)算、網(wǎng)絡(luò)領(lǐng)域存在的潛在風(fēng)險(xiǎn)，研究提出隱私數(shù)據(jù)完美加密、機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集防攻擊等6項(xiàng)應(yīng)關(guān)注的技術(shù)。在系統(tǒng)與應(yīng)用維度，針對(duì)AI+產(chǎn)業(yè)、AI系統(tǒng)、AI應(yīng)用領(lǐng)域潛在的風(fēng)險(xiǎn)，提出人機(jī)混合智能系統(tǒng)安全設(shè)計(jì)、安全防偽的生物特征識(shí)別與驗(yàn)證(應(yīng)對(duì)深度偽造)等5項(xiàng)應(yīng)關(guān)注的技術(shù)。在安全與治理維度，針對(duì)社會(huì)與倫理、公共安全領(lǐng)域潛在的風(fēng)險(xiǎn)，提出應(yīng)對(duì)機(jī)器智能的人類效能增強(qiáng)、以人為中心的人機(jī)共生社會(huì)治理等4項(xiàng)應(yīng)關(guān)注的技術(shù)。

3.2 人工智能安全技術(shù)發(fā)展評(píng)估

由人工智能潛在安全風(fēng)險(xiǎn)牽引和梳理出的15項(xiàng)人工智能安全技術(shù)發(fā)展程度各不相同。算法形式化和安全設(shè)計(jì)、可信計(jì)算與可信網(wǎng)絡(luò)、反制失控和敵對(duì)智能系統(tǒng)等技術(shù)國(guó)際均有一定程度的發(fā)展，隱私數(shù)據(jù)完美加密、集成電路供應(yīng)鏈安全、應(yīng)對(duì)機(jī)器智能的人類效能增強(qiáng)等國(guó)外機(jī)構(gòu)正在開展研究。其中，隱私數(shù)據(jù)完美加密指通過(guò)數(shù)據(jù)脫敏、匿名化、差分隱私和同態(tài)加密技術(shù)，防止智能數(shù)據(jù)挖掘、網(wǎng)絡(luò)搜索對(duì)隱私數(shù)據(jù)的侵害；集成電路供應(yīng)鏈安全，如DARPA“電子供應(yīng)鏈硬件完整性”等項(xiàng)目對(duì)集成電路芯片進(jìn)行防偽監(jiān)測(cè)；應(yīng)對(duì)機(jī)器智能的人類效能增強(qiáng)，指應(yīng)用生物植入式芯片、混合顯示、腦機(jī)接口等增強(qiáng)人類反應(yīng)、認(rèn)知、行動(dòng)效能的技術(shù)。依據(jù)國(guó)內(nèi)外技術(shù)發(fā)展動(dòng)向，對(duì)15項(xiàng)人工智能安全技術(shù)進(jìn)行初步的“技術(shù)成熟度”和“技術(shù)重要度”兩項(xiàng)評(píng)估，結(jié)果如圖6所示。

圖6 人工智能安全前沿技術(shù)評(píng)估Fig.6 Evaluation on AI Security advanced technologies

技術(shù)成熟度評(píng)估主要依據(jù)NASA技術(shù)成熟度從1到9級(jí)的等級(jí)劃分[9]。技術(shù)重要度主要考慮每項(xiàng)人工智能安全技術(shù)針對(duì)的潛在風(fēng)險(xiǎn)頻度、化解風(fēng)險(xiǎn)的支撐程度，即技術(shù)針對(duì)的風(fēng)險(xiǎn)頻發(fā)、影響越大，則技術(shù)越重要。技術(shù)重要度具體的量化公式為：

TA=C·Fsafety·Fcritical

其中：C為調(diào)節(jié)常數(shù)，F(xiàn)safety為技術(shù)應(yīng)對(duì)的潛在風(fēng)險(xiǎn)頻度向量因子，F(xiàn)critical為技術(shù)應(yīng)對(duì)的潛在風(fēng)險(xiǎn)致命度向量因子。實(shí)際計(jì)算中，F(xiàn)safety=[fs1,…,fs8]1×8，fsi為技術(shù)對(duì)應(yīng)某類風(fēng)險(xiǎn)發(fā)生概率，取值為[0,1]間的實(shí)數(shù)。Fcritical=Trans([fc1,…,fc8]1×8)，為技術(shù)對(duì)應(yīng)某類風(fēng)險(xiǎn)的致命程度，取值為[0,1]間的實(shí)數(shù)。調(diào)節(jié)常數(shù)取C=「9×TA/max(TA)?，「?為向上取整運(yùn)算。

以圖5中第12項(xiàng)技術(shù)“應(yīng)對(duì)機(jī)器智能的人類效能增強(qiáng)”為例，TA計(jì)算過(guò)程為：

TA=C·[0.6,0.6,0.3,0.2,0.4,0.2,0.3,0.1]×[0.2,0.2,0.3,0.3,0.4,0.5,0.5,0.6]T=4

4 結(jié)論

人工智能安全研究是堅(jiān)持安全與發(fā)展協(xié)調(diào)統(tǒng)一，應(yīng)對(duì)智能“終極挑戰(zhàn)”的新興重大問(wèn)題。目前，針對(duì)新一代人工智能安全的研究仍處于起步階段。借鑒以往信息化發(fā)展經(jīng)驗(yàn)，面對(duì)新一代人工智能技術(shù)快速發(fā)展、廣泛滲透，從安全技術(shù)、安全政策、治理體系等方面有待于創(chuàng)新，為應(yīng)對(duì)各領(lǐng)域包括軍事上的工智能安全問(wèn)題提供支撐。

本文運(yùn)用可視化科學(xué)計(jì)量工具以及Web of Science核心論文數(shù)據(jù)集，對(duì)人工智能安全研究的文獻(xiàn)情況進(jìn)行計(jì)量分析，針對(duì)潛在的人工智能安全議題，構(gòu)建定性分析框架，對(duì)人工智能安全進(jìn)行定性定量結(jié)合的分析，在此基礎(chǔ)上通過(guò)風(fēng)險(xiǎn)與技術(shù)映射，初步對(duì)若干人工智能安全前沿技術(shù)進(jìn)行了梳理和評(píng)估，為相關(guān)研究尤其是構(gòu)建未來(lái)智能化發(fā)展的安全技術(shù)體系提供思路和參考。