美國人工智能安全頂層戰(zhàn)略及重點機構(gòu)研發(fā)現(xiàn)狀

◎金晶 秦浩 戴朝霞

（1.中國電子科技集團公司第三十研究所；2.中國電子科技集團有限公司發(fā)展戰(zhàn)略研究中心；3.中國電子科學(xué)研究院）

人工智能作為未來重要的戰(zhàn)略技術(shù)，各國都開始重視人工智能的發(fā)展布局，尤其是美國等軍事強國高度重視人工智能的發(fā)展，特別是人工智能的安全性問題。2 019 年，美國密集發(fā)布了多項人工智能安全頂層戰(zhàn)略，規(guī)劃未來人工智能的發(fā)展方向，對人工智能研發(fā)計劃進(jìn)行大量投資，開發(fā)可以抵御針對人工智能系統(tǒng)的安全風(fēng)險，培養(yǎng)和吸引各類人才，搶占人工智能發(fā)展的戰(zhàn)略制高點。

一、制定人工智能安全頂層戰(zhàn)略，加速推動人工智能在國家安全領(lǐng)域的應(yīng)用

自《2 016 年國家人工智能研發(fā)戰(zhàn)略計劃》發(fā)布以來，人們對人工智能安全在科學(xué)和社會層面的理解迅速增長。這些新知識在很大程度上幫助專家識別新的問題，但針對人工智能安全問題的解決方案仍然難以解決。因此，美國政府接連發(fā)布了多項頂層戰(zhàn)略，推動政府、學(xué)術(shù)界和產(chǎn)業(yè)界合作，探索人工智能的安全解決方案。

2019 年2 月，美國總統(tǒng)特朗普簽署了《國 家人工智能倡議》，啟動美國“人工智能計劃”，將技術(shù)研發(fā)確定為美國保持在人工智能領(lǐng)域全球領(lǐng)先地位的首要任務(wù)。該倡議旨在集中聯(lián)邦政府的資源來發(fā)展人工智能，以促進(jìn)美國國家繁榮，增強美國國家和經(jīng)濟安全，改善美國人民生活質(zhì)量。當(dāng)前，美國在人工智能創(chuàng)新方面處于世界領(lǐng)先地位，很大程度上歸功于其強大的研發(fā)生態(tài)系統(tǒng)。美國聯(lián)邦政府通過在多個機構(gòu)投資世界級人工智能研究項目的方式，為人工智能的創(chuàng)新做出重大貢獻(xiàn)。

2019 年2 月，美國國防部發(fā)布了《2018 年國防部人工智能戰(zhàn)略概要——利用人工智能增進(jìn)國家安全與繁榮》，該戰(zhàn)略著重強調(diào)了發(fā)展人工智能的重要意義，分析了美國國防部在人工智能領(lǐng)域面臨的戰(zhàn)略形勢，闡明了國防部部署人工智能的戰(zhàn)略舉措及重點領(lǐng)域，以期維持和加強美國在軍用人工智能領(lǐng)域的領(lǐng)先優(yōu)勢，搶占未來競爭制高點。國防部將人工智能技術(shù)納入決策和作戰(zhàn)，降低部署軍力面臨的風(fēng)險，形成軍事優(yōu)勢，并成為拓展人工智能在美國全球防御體系中應(yīng)用的先驅(qū)。

2019 年6 月，美國白宮科技政策辦公室發(fā)布第二版《國家人工智能研發(fā)戰(zhàn)略計劃：2019 更新版》，該計劃在《2 016年國家人工智能研發(fā)戰(zhàn)略計劃》的基礎(chǔ)上進(jìn)行了更新，不僅要確保人工智能系統(tǒng)的安全性，同時還強調(diào)要擴大公私合作關(guān)系，加快人工智能的發(fā)展。該計劃明確了聯(lián)邦政府投資人工智能研發(fā)的優(yōu)先事項，其目的是引導(dǎo)研發(fā)資金流向如美國國家科學(xué)基金會、美國國家衛(wèi)生研究院和美國軍方等聯(lián)邦機構(gòu)，推動人工智能領(lǐng)域的前沿技術(shù)研究。

2019 年8 月，美國國家標(biāo)準(zhǔn)技術(shù)研究院發(fā)布《美國在人工智能領(lǐng)域的領(lǐng)導(dǎo)地位：聯(lián)邦政府參與開發(fā)技術(shù)標(biāo)準(zhǔn)與相關(guān)工具的計劃》，該計劃就政府如何制定人工智能技術(shù)標(biāo)準(zhǔn)給出了指導(dǎo)意見，強調(diào)美國政府應(yīng)持續(xù)參與人工智能標(biāo)準(zhǔn)的開發(fā)活動，推進(jìn)可信人工智能技術(shù)的發(fā)展，確保使用了人工智能技術(shù)的系統(tǒng)安全可靠，并具有魯棒性。

2019 年9 月，美國政府發(fā)布了《2020財年“網(wǎng)絡(luò)與信息技術(shù)研發(fā)項目”預(yù)算補編》，首次按部門報告了人工智能研發(fā)領(lǐng)域非密、非國防的聯(lián)邦投資，為持續(xù)跟蹤美國人工智能研發(fā)投入奠定了基礎(chǔ)。根據(jù)美國發(fā)布的2021 財年預(yù)算申請文件，美國國家科學(xué)基金會為其人工智能項目申請了8.5 億美元，比2020 財年預(yù)算增加了70%。

2019 年11 月，美國國家安全委員會人工智能小組發(fā)布《中期報告》，對人工智能在國家安全方面的影響進(jìn)行了初步評估。該研究小組受美國國會委托，自2019 年3 月起開展為推進(jìn)人工智能在國家安全和國防領(lǐng)域發(fā)展的研究工作。2 019 年7 月31 日，該小組向美國國會提交了人工智能初版報告，確定了維護(hù)美國在人工智能領(lǐng)域優(yōu)勢地位的五項基本原則，強調(diào)應(yīng)盡快將人工智能技術(shù)用于保護(hù)國家安全。該項研究的最終報告將于2021 年3 月完成。

2019 年11 月，美國國會研究服務(wù)中心發(fā)布《2016-2019 年人工智能研發(fā)進(jìn)展報告》，記錄了過去三年聯(lián)邦政府投資人工智能研發(fā)活動的最新進(jìn)展，包括近期和當(dāng)前聯(lián)邦機構(gòu)項目和活動的具體案例。該報告根據(jù)《國家人工智能研究與發(fā)展戰(zhàn)略計劃：2019 更新版》中所述的八項戰(zhàn)略，分別介紹了不同機構(gòu)開展人工智能研究的情況，各個機構(gòu)所開展項目和活動的多樣性反映了美國聯(lián)邦政府對人工智能投資的廣度和深度。

2020 年2 月，美國白宮科技政策辦公室發(fā)布《美國人工智能計劃：首個年度報告》。該報告主要從投資人工智能研發(fā)、共享人工智能資源、消除人工智能創(chuàng)新障礙等方面，總結(jié)了美政府過去一年在實施“美國人工智能計劃”方面取得的重大進(jìn)展。

通過美國近兩年來頒布的一系列政策可以看出，為了保持其在人工智能發(fā)展領(lǐng)域的全球領(lǐng)導(dǎo)地位，未來美國政府一定還會舉大力發(fā)展人工智能，不僅強調(diào)對人工智能創(chuàng)新與發(fā)展的促進(jìn)，同時更關(guān)注人工智能的安全可靠，在增加人工智能研究投入的同時，期望借助人工智能保護(hù)國家安全。

二、美國主要機構(gòu)及軍兵種的人工智能安全研發(fā)情況

如今，越來越多的機構(gòu)期望利用人工智能技術(shù)抵御網(wǎng)絡(luò)攻擊，但如何確保人工智能系統(tǒng)的安全，則是一個新的難題。人工智能的安全性包括保護(hù)人工智能系統(tǒng)以及運行這些系統(tǒng)的數(shù)字基礎(chǔ)設(shè)施的安全。一套強有力的聯(lián)邦人工智能安全新計劃將確保美國保持技術(shù)領(lǐng)先的地位，并安全可靠地挖掘人工智能的潛力。在人工智能的長期研發(fā)投資方面，美國國防高級研究計劃局（DARPA）、情報高級研究計劃局（IARPA）和三軍實驗室處于領(lǐng)先地位。

（一）DARPA 關(guān)注人工智能安全性和魯棒性，力求提高系統(tǒng)的防御能力

許多先進(jìn)的人工智能系統(tǒng)在運行過程中，其內(nèi)部機理是很難被人理解的，這使得人工智能的“可解釋性”成為一個關(guān)鍵的安全挑戰(zhàn)。DARPA 的“可解釋人工智能”（X AI）項目正試圖解決這一問題，該項目于2018 年6月啟動，將推動研究人員理解人工智能行為決策背后的原理和機制，進(jìn)而改善人機協(xié)作，使人工智能系統(tǒng)在能夠被人類理解的同時保持極高的性能。XAI 旨在更好地了解人工智能的漏洞，并培養(yǎng)用戶對人工智能系統(tǒng)的信心。

2018 年9 月，DARPA 宣布了其“下一代人工智能”（A I Next）計劃，該計劃將針對新的和現(xiàn)有的人工智能研發(fā)項目進(jìn)行長期投資。該計劃的關(guān)鍵領(lǐng)域包括：自動化的國防部關(guān)鍵業(yè)務(wù)流程，如安全許可審查或操作部署的授權(quán)軟件系統(tǒng)；提高人工智能系統(tǒng)的魯棒性和可靠性；增強機器學(xué)習(xí)和人工智能技術(shù)的安全性與彈性；降低功耗、數(shù)據(jù)和性能的低效性；并開創(chuàng)下一代人工智能算法和應(yīng)用。

除了新的和現(xiàn)有的研究外，DARPA 的“人工智能探索”（AIE）計劃是“下一代人工智能”計劃的關(guān)鍵組成部分，該項目于2018 年7月首次對外宣布。A IE 包括了一系列高風(fēng)險、高回報的項目，研究人員將在獲得合同后的18 個月內(nèi)確立新人工智能概念的可行性。利用簡化的合同程序和資助機制，幫助研究人員在三個月之內(nèi)啟動探索性的研究工作。2018 年7月至2019 年10月期間，DARPA 已經(jīng)完成了13 個不同的人工智能主題項目的合同授予。

2019 年2 月，DARPA 宣 布 啟動“確保人工智能對抗欺騙的魯棒性”（GARD）項目，旨在開發(fā)新一代抵御對機器學(xué)習(xí)模型開展的敵對欺騙攻擊。該項目將研究如何建立人工智能系統(tǒng)，以抵御特定、預(yù)先設(shè)定的敵對攻擊。GARD 的三個主要目標(biāo)是：發(fā)展具備魯棒性的機器學(xué)習(xí)理論；在各種環(huán)境下創(chuàng)建和測試具備防御能力的人工智能系統(tǒng)；構(gòu)建一個新的測試平臺，以表征機器學(xué)習(xí)的防御能力。

2019 年3 月，DARPA 舉行了人工智能研討會（AIC），向外界展示了其在推動人工智能技術(shù)發(fā)展方面所做的投資及最新的研究成果。AIC 力求借助領(lǐng)域內(nèi)專家的力量，加強和擴大DARPA的創(chuàng)新生態(tài)系統(tǒng)，在確保國家安全的前提下，向政府通報DARPA 對人工智能未來發(fā)展的愿景及優(yōu)先事項，助推發(fā)展強大、安全、可靠、自適應(yīng)的人工智能技術(shù)、系統(tǒng)和應(yīng)用。

在需要高度自治的網(wǎng)絡(luò)安全系統(tǒng)中實施人工智能也是一個有待進(jìn)一步研究的領(lǐng)域，D ARPA 的“網(wǎng)絡(luò)超級挑戰(zhàn)賽”（CGC）正在為實現(xiàn)此目標(biāo)而努力。CGC 是DARPA 于2013 年發(fā)起的全球性網(wǎng)絡(luò)安全挑戰(zhàn)賽，旨在推進(jìn)自動化網(wǎng)絡(luò)防御技術(shù)發(fā)展，即實時識別系統(tǒng)缺陷、漏洞，并自動完成打補丁和系統(tǒng)防御，最終實現(xiàn)全自動的網(wǎng)絡(luò)安全攻防系統(tǒng)，它涉及人工智能代理自動分析和對抗網(wǎng)絡(luò)攻擊。

（二）IARPA 探索人工智能的異常檢測技術(shù)，避免隱私數(shù)據(jù)被惡意篡改

2016 年2 月，IARPA 啟動了“網(wǎng)絡(luò)攻擊自動非常規(guī)傳感器環(huán)境”（CAUSE）項目，旨在開發(fā)新的非常規(guī)、多學(xué)科傳感器技術(shù)，能夠比現(xiàn)有方法更早地檢測和預(yù)測網(wǎng)絡(luò)攻擊。IARPA 在2016 年以1140 萬美元的價格將該項目簽給了BAE 系統(tǒng)公司，希望該公司能夠通過識別并提取內(nèi)部和外部傳感器的先導(dǎo)信號，對網(wǎng)絡(luò)攻擊進(jìn)行檢測和預(yù)報。

2018 年3 月，IARPA 宣布啟動“良好用戶環(huán)境”（VirtUE）項目，該項目旨在利用人工智能來改善對網(wǎng)絡(luò)異常的檢測。VirtUE 的目標(biāo)是：創(chuàng)造性地定義和開發(fā)用戶環(huán)境，使其更具安全性、動態(tài)性和可審核性；開發(fā)動態(tài)的分析工具，利用新的環(huán)境，自動檢測和威懾用戶在新的云基礎(chǔ)設(shè)施中所面臨的安全威脅。IARPA 希望借助VirtUE 項目改善工作站和虛擬桌面的安全性。

2018 年12 月，IARPA 發(fā)布“安 全、可靠的智能學(xué)習(xí)系統(tǒng)”（SAILS）項目廣泛機構(gòu)公告。人工智能和機器學(xué)習(xí)技術(shù)可以簡化業(yè)務(wù)流程，并在決策環(huán)節(jié)提供幫助，但這些系統(tǒng)容易受到針對個人隱私的網(wǎng)絡(luò)攻擊，這類攻擊主要是為了盜取用于訓(xùn)練人工智能和機器學(xué)習(xí)模型的信息，尤其是模型反演攻擊和成員推理攻擊。SAILS 項目旨在尋求用于創(chuàng)建可抵御隱私攻擊的人工智能和機器學(xué)習(xí)模型，并讓模型創(chuàng)建者相信訓(xùn)練有素的模型不會泄露系統(tǒng)中的敏感信息。

2019 年5 月，I ARPA 發(fā)布“人 工智能木馬”（T rojAI）項目廣泛機構(gòu)公告，尋求開發(fā)可用于在人工智能系統(tǒng)中檢測特洛伊木馬的技術(shù)。TrojAI 旨在檢測敵方是否向人工智能系統(tǒng)中插入了木馬或后門，比如惡意篡改用于機器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)。因此，TrojAI 項目的目標(biāo)是保護(hù)訓(xùn)練數(shù)據(jù)、清理訓(xùn)練數(shù)據(jù)，同時保護(hù)訓(xùn)練后數(shù)據(jù)模型的完整性。

（三）美空軍推動人工智能軍事倫理發(fā)展，建立并維護(hù)人機之間的信任關(guān)系

2019 年9 月，美國空軍發(fā)布了人工智能戰(zhàn)略，這份人工智能戰(zhàn)略詳細(xì)闡述了美國空軍的人工智能定義、發(fā)展背景和目的以及空軍所關(guān)注的五個人工智能領(lǐng)域，同時，還提供了防止競爭對手獲得優(yōu)于美國優(yōu)勢的方法和手段。該戰(zhàn)略闡述了在數(shù)字時代如何有效引領(lǐng)人工智能安全和軍事倫理所必須的基本原則和目標(biāo)。

美國空軍科學(xué)研究辦公室（AFOSR）管理著針對美國空軍基礎(chǔ)性研究的投資資金。目前，空軍科學(xué)研究辦公室針對三個人工智能項目進(jìn)行長期投資。

1、“計算認(rèn)知和機器智能”（CCMI）項目：該項目的總體設(shè)想是在空軍面臨的復(fù)雜、敵對和機動性環(huán)境中，實現(xiàn)未來計算系統(tǒng)的高性能、高適應(yīng)性、靈活性和自我修復(fù)能力。該項目涵蓋了計算智能和機器智能的全部領(lǐng)域，從負(fù)責(zé)在復(fù)雜的問題解決和決策任務(wù)中實現(xiàn)對符合合理認(rèn)知的人類行為進(jìn)行推理，到創(chuàng)建魯棒的智能系統(tǒng)所必需的非認(rèn)知智能計算模型。

2、“信息、計算、學(xué)習(xí)和融合科學(xué)”（SICLF）項目：該項目從大型異構(gòu)數(shù)據(jù)集中提取和獲取所需信息，這類大型異構(gòu)數(shù)據(jù)庫覆蓋了從雷達(dá)到視頻信息等諸多領(lǐng)域，且都是由美國空軍收集整理而成。為了理解和解釋各種數(shù)據(jù)源中包含的信息，需要從這些數(shù)據(jù)集中提取相關(guān)信息，并基于先驗知識和概率進(jìn)行推理。

3、“信任和影響”項目：該項目的首要目標(biāo)是提高對人類信賴和團隊合作的基本理解，闡明人們?nèi)绾卧谌藱C之間建立、維護(hù)和修復(fù)信任。特別值得關(guān)注的是對人類社會和認(rèn)知過程的研究，這些研究為人和機器組成的系統(tǒng)設(shè)計以及新型人機交互技術(shù)的開發(fā)提供幫助。該項目的另一個目標(biāo)是在國家安全的背景下推進(jìn)社會影響力。人們對開發(fā)計算方法和使用大規(guī)模數(shù)據(jù)集來理解社會和文化行為特別感興趣，“信任和影響”項目將對有效威懾、信任建立、信任校準(zhǔn)和反恐行動的相關(guān)研究進(jìn)行投資。

（四）美海軍制定人工智能框架，著力發(fā)展人工智能多學(xué)科融合與算法研究

美國海軍研究辦公室（O NR）負(fù)責(zé)協(xié)調(diào)、執(zhí)行和推動美國海軍及海軍陸戰(zhàn)隊的科學(xué)技術(shù)項目，它通過向美國和世界各地的學(xué)術(shù)界、工業(yè)界及政府等一系列合作伙伴提供資金或授予合同，管理并資助基礎(chǔ)科學(xué)、應(yīng)用科學(xué)以及先進(jìn)技術(shù)的研發(fā)。海軍研究辦公室的人工智能項目包括：

1、“機器學(xué)習(xí)、機器推理和人工智能”項目：這三種技術(shù)都專注于開發(fā)科學(xué)的基礎(chǔ)研究以及高效的計算方法，從而構(gòu)建多功能智能代理，在最少的人類監(jiān)督下執(zhí)行各種任務(wù)。此外，智能代理應(yīng)該能夠在非結(jié)構(gòu)化、開放、復(fù)雜和動態(tài)變化的環(huán)境中與人類團隊，以及其他代理進(jìn)行無縫協(xié)作。

2、“自主系統(tǒng)的人機交互”項目：旨在創(chuàng)建認(rèn)知兼容的智能自主系統(tǒng)和機器人，它們可以作為人類的隊友，實現(xiàn)人、機器人、智能代理和自主系統(tǒng)之間的對等協(xié)作。這樣的系統(tǒng)將減少與智能自主系統(tǒng)接口的認(rèn)知負(fù)擔(dān)，并使機器人和自主系統(tǒng)的監(jiān)督控制與訓(xùn)練成為可能。

3、“人機合作的認(rèn)知科學(xué)”項目：旨在開發(fā)基于經(jīng)驗的人類認(rèn)知模型和可達(dá)到人類智能水平的計算架構(gòu)。該項目追求的是在認(rèn)知領(lǐng)域和社會層面兼容的智能系統(tǒng)，這些智能系統(tǒng)能夠使人類更強大甚至取代人類，同時在人機合作的操作范圍內(nèi)成為出色的隊友或助手。

4、“自主科學(xué)”項目：該項目專注于自主領(lǐng)域的多學(xué)科研究，探索人工智能、機器學(xué)習(xí)、控制理論、人類因素、生物學(xué)、認(rèn)知科學(xué)、心理學(xué)、經(jīng)濟學(xué)、運籌學(xué)、應(yīng)用數(shù)學(xué)、海洋學(xué)、物理學(xué)和神經(jīng)科學(xué)等領(lǐng)域之間的相互聯(lián)系。

2019 年9 月，美國海軍分析中心（CNA）發(fā)布了《海軍人工智能框架》報告，介紹了海軍作戰(zhàn)部面臨的挑戰(zhàn)以及如何將人工智能應(yīng)用與海軍關(guān)鍵任務(wù)聯(lián)系起來，并介紹了人員配備和組織機構(gòu)要求、政策考慮以及海軍作戰(zhàn)部高效使用人工智能所需的解決方案。海軍作戰(zhàn)部也將根據(jù)需求制定和完善政策，提前解決人工智能特定領(lǐng)域內(nèi)可能出現(xiàn)的法律、道德和安全問題。

（五）美陸軍設(shè)立人工智能工作組，重點發(fā)展人工智能自適應(yīng)態(tài)勢感知能力

美國陸軍研究辦公室（ARO）及其陸軍研究實驗室通過對相關(guān)研發(fā)活動提供支持，增強人工智能技術(shù)在國家安全領(lǐng)域的應(yīng)用。目前，陸軍研究辦公室將在以下三個領(lǐng)域重點發(fā)展人工智能技術(shù)：（1）自主系統(tǒng)，包括自適應(yīng)感知、移動和導(dǎo)航；（2）態(tài)勢感知分析，包括數(shù)據(jù)融合、人工神經(jīng)網(wǎng)絡(luò)、預(yù)測分析以及常識和對抗推理；（3）人工智能團隊合作，包括界面技術(shù)、自然語言處理，以及針對士兵訓(xùn)練與表現(xiàn)的評估。

2018 年，美國陸軍未來司令部根據(jù)2018-18 號陸軍指令設(shè)立了人工智能特別工作組，該工作組需制定和實施美國陸軍的人工智能戰(zhàn)略，并與陸軍的跨部門小組協(xié)調(diào)推進(jìn)陸軍現(xiàn)代化工作。如今，成立一年多的美國陸軍人工智能特別工作組正開始以各種各樣的方式將人工智能項目融入美軍行動，意圖在快速發(fā)展的人工智能世界中領(lǐng)先一步。

縱觀DARPA、IARPA 和美國三軍所開展的人工智能項目及發(fā)布的戰(zhàn)略框架，DARPA 在人工智能的技術(shù)和理論研究方面一直走在前列，它的AI NEXT 項目將掀起人工智能的第三次浪潮，提高人工智能系統(tǒng)的穩(wěn)健性。美國三軍也在加快人工智能技術(shù)在戰(zhàn)場上的應(yīng)用，期望借助該技術(shù)提高戰(zhàn)場機動性、提升態(tài)勢感知能力，優(yōu)化軟硬件的處理能力。

三、結(jié)語

無論是現(xiàn)在還是將來，人工智能的安全性都是一個關(guān)鍵問題，這不僅需要政府針對人工智能研發(fā)進(jìn)行大量投資，同時也需要政府、工業(yè)界、學(xué)術(shù)界和產(chǎn)業(yè)界之間的通力合作。2021 年，美國國防部針對人工智能的規(guī)劃投資已經(jīng)從2020 年的13.6 億美元增加到19.8億美元，人工智能領(lǐng)域5000 萬美元以下的項目數(shù)量也從119 個增加到161 個。未來，在廣泛使用人工智能系統(tǒng)之前，還會面臨各種各樣的安全挑戰(zhàn)，包括復(fù)雜和不確定的系統(tǒng)環(huán)境、無監(jiān)督條件下的學(xué)習(xí)、對人類目標(biāo)的理解偏差、人機交互過程中人本身出現(xiàn)的失誤等都會對人工智能系統(tǒng)的安全性帶來影響，但美國已經(jīng)從頂層戰(zhàn)略、組織機構(gòu)、技術(shù)研發(fā)、資金投入等多個方面做好了準(zhǔn)備，我國也應(yīng)當(dāng)適時借鑒美國的經(jīng)驗，夯實人工智能的基礎(chǔ)理論研究，加速人工智能技術(shù)的創(chuàng)新研發(fā)，推動人工智能在各領(lǐng)域的應(yīng)用落地。