人工智能安全及應(yīng)對思考

周鴻祎

面對網(wǎng)絡(luò)戰(zhàn)的嚴(yán)峻挑戰(zhàn)，亟需一套基于“大數(shù)據(jù)+威脅情報+安全知識+安全專家”的全新戰(zhàn)法，構(gòu)建一個覆蓋我國整個網(wǎng)絡(luò)國土的智能網(wǎng)絡(luò)防御系統(tǒng)，即國家網(wǎng)絡(luò)安全大腦。

近年來，人工智能（AI）快速發(fā)展的同時，帶來的安全問題也越來越突出。現(xiàn)實世界中，我們看到針對物聯(lián)網(wǎng)、智能家居、無人駕駛汽車等AI系統(tǒng)的攻擊不斷出現(xiàn)，AI用于網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)犯罪的事件也時有發(fā)生。習(xí)近平總書記強(qiáng)調(diào)，要確保人工智能安全、可靠、可控。人工智能和安全是一體之兩翼、驅(qū)動之雙輪，需要有機(jī)結(jié)合、協(xié)調(diào)發(fā)展。沒有安全，人工智能就難以持續(xù)健康地發(fā)展;反過來，安全也需要人工智能賦能，才能更好地解決未來復(fù)雜的安全問題。

一、人工智能大熱背后的隱憂

目前，人工智能已上升到國家層面的激烈博弈，競爭趨向白熱化，我國人工智能取得長足進(jìn)步。清華大學(xué)發(fā)布的《中國人工智能發(fā)展報告2018》顯示，我國AI綜合實力已位居世界前列：AI論文總量和高被引論文數(shù)量均為世界第一，人才擁有量全球第二;截至2018年6月，我國AI企業(yè)數(shù)量已達(dá)1011家，位列世界第二;從2013年到2018年第一季度，我國AI投融資占全球的60%，成為全球最“吸金”的國家。

但與此同時，我國人工智能發(fā)展仍存在一些突出問題。

一是核心技術(shù)比較薄弱，發(fā)展基礎(chǔ)不夠牢固。我國AI優(yōu)勢主要體現(xiàn)在應(yīng)用方面，在硬件和算法等核心技術(shù)領(lǐng)域依然不強(qiáng)。2018年5月，牛津大學(xué)發(fā)布《解密中國AI夢》報告，認(rèn)為我國綜合AI潛力指數(shù)只有美國的一半。

二是頂尖人才數(shù)量上，與美、英、德等國還有較大差距。2018年12月，《哈佛商業(yè)評論》公布全球最受關(guān)注的十大AI領(lǐng)軍人物榜單，我國內(nèi)地僅一人上榜。

三是產(chǎn)學(xué)研結(jié)合不夠緊密，大量成果還停留在大學(xué)和科研機(jī)構(gòu)里。數(shù)據(jù)顯示，我國科研機(jī)構(gòu)與企業(yè)合作的AI論文占比只有2.55%，而美、英、法、德等國都在6%以上。

四是過于“迷信”機(jī)器學(xué)習(xí)、深度學(xué)習(xí)，忽視人的作用。事實上，現(xiàn)在很多AI只是一種基于數(shù)據(jù)智能的概率判斷系統(tǒng)，還不能代替人做出決策。比如，美國大數(shù)據(jù)公司Palantir就有4000名安全專家，AI和專家協(xié)同才能發(fā)揮作用。

五是產(chǎn)業(yè)出現(xiàn)“盲目跟風(fēng)、重復(fù)投資”的泡沫化傾向。許多企業(yè)打著AI口號，其實只是偽人工智能。同時，AI商業(yè)變現(xiàn)比較困難，未來如果找不到合適的落地場景，將影響AI行業(yè)的健康發(fā)展。

二、人工智能帶來的安全挑戰(zhàn)

除了AI自身發(fā)展存在隱憂外，更重要的是AI面臨越來越嚴(yán)重的安全挑戰(zhàn)，表現(xiàn)為三個方面：AI技術(shù)自身不完善引起的安全問題;AI被不當(dāng)使用帶來的安全問題;AI進(jìn)化帶來的倫理道德風(fēng)險。

（一）人工智能自身安全隱患

1.傳感器可以被攻擊

AI廣泛依賴各類智能傳感器，但這些傳感器自身并不安全，易遭受攻擊。比如，智能汽車的雷達(dá)、攝像頭、無鑰匙進(jìn)入系統(tǒng)、藍(lán)牙等都能被破解，引發(fā)安全事故。360公司研究人員就曾利用千元民用設(shè)備，實現(xiàn)了對特斯拉毫米波雷達(dá)、超聲傳感器的欺騙，使其產(chǎn)生錯誤判斷。

再比如，智能手機(jī)、智能手表、智能音箱、車載語音助手等都可以遭受“海豚音攻擊”而被控制。360公司與浙大聯(lián)合開展的試驗結(jié)果表明，“海豚音攻擊”可以在用戶毫不知情的情況下，對受害設(shè)備撥打任意電話、發(fā)短信、打開視頻通話等，受影響的設(shè)備種類多、范圍廣。

2.訓(xùn)練數(shù)據(jù)可以被污染

很多人工智能都依靠海量數(shù)據(jù)訓(xùn)練。攻擊者通過構(gòu)建畸形或者污染的訓(xùn)練數(shù)據(jù)，或者給數(shù)據(jù)打上錯誤標(biāo)簽，就可以欺騙AI系統(tǒng)。比如，通過在路標(biāo)上放置正方形、炸彈形狀或花朵形狀，可以誤導(dǎo)無人駕駛出錯。

近來，360安全人員發(fā)現(xiàn)AI在數(shù)據(jù)預(yù)處理階段還存在數(shù)據(jù)流降維攻擊的風(fēng)險。研究團(tuán)隊提出了一種新型的針對數(shù)據(jù)預(yù)處理脆弱性的降維攻擊方法，其有效性已在谷歌、微軟、阿里云等AI云平臺上得到驗證。

3.內(nèi)部算法可以被欺騙

許多AI系統(tǒng)易于遭受對抗樣本（Adversarial examples）攻擊，通過在樣本數(shù)據(jù)上添加一些很小的擾動，可以誘使算法識別出現(xiàn)誤判、漏判。比如，通過增加生成原始音頻的“基線”失真噪音可以欺騙語音識別系統(tǒng)。

此外，現(xiàn)在很多AI都采用深度學(xué)習(xí)模型，由于并非基于規(guī)則，如果輸入一組特殊的、未訓(xùn)練過的數(shù)據(jù)，可能產(chǎn)生無法預(yù)言的結(jié)果。比如，今年4月，比利時研究人員發(fā)現(xiàn)將一塊40cm×40cm的神奇貼紙掛在身上，就可以“屏蔽”人臉識別系統(tǒng)。

4.實現(xiàn)平臺有漏洞

AI算力離不開背后大量軟硬件的支撐。但是軟件只要是人寫的，就一定會有錯，就有漏洞。據(jù)統(tǒng)計，每千行代碼中通常會有4到6個漏洞，是漏洞就能被黑客利用，引發(fā)嚴(yán)重后果。

現(xiàn)在AI系統(tǒng)大都基于TensorFlow、PyTorch、Caffe等開源軟件框架實現(xiàn)，360公司近三年發(fā)現(xiàn)了217個AI漏洞，其中60多個與這些開源軟件框架及組件相關(guān)，可以造成致任意代碼執(zhí)行、拒絕服務(wù)攻擊、信息泄露等危害。

（二）人工智能濫用已經(jīng)凸顯

除了AI自身不完備可能帶來風(fēng)險之外，它也可能被濫用做壞事。

1.增加了無人值守系統(tǒng)的危險

現(xiàn)在越來越多的AI機(jī)槍、無人機(jī)、巡航導(dǎo)彈、智能戰(zhàn)車等自主武器系統(tǒng)走向戰(zhàn)場，這些武器能夠自主發(fā)現(xiàn)目標(biāo)和自動射擊，如果被黑客“劫持”，將造成可怕后果。前年在日內(nèi)瓦聯(lián)合國武器公約會議上，一段關(guān)于蜂群無人機(jī)殺人的視頻引起世界恐慌。這些無人機(jī)起飛后可以通過人臉識別將“死亡黑名單”的人挑選出來，給予致命一擊。

2.提升了黑客網(wǎng)絡(luò)對抗能力

黑客可以利用機(jī)器學(xué)習(xí)創(chuàng)建逃避安全檢測的惡意軟件。比如，利用AI攻擊僵尸網(wǎng)絡(luò)識別器，自動生成逃避檢測的域名，防止被機(jī)器學(xué)習(xí)算法檢測出來。AI還使得網(wǎng)絡(luò)武器的制作、分發(fā)和執(zhí)行等流程自動化，大大提升攻擊效率。更為棘手的是，這些網(wǎng)絡(luò)武器容易在地下交易和傳播，管控起來十分困難。

3.可能會危害國家和社會安全

AI可以精確地進(jìn)行個人畫像，再結(jié)合社交網(wǎng)絡(luò)強(qiáng)大的煽動能力，甚至能影響政治格局。去年Facebook海量用戶數(shù)據(jù)泄露影響美國政治選舉的事件，已顯示出一些端倪。AI也降低了個人做假成本，使網(wǎng)絡(luò)欺騙更難識別。未來可能會出現(xiàn)許多假新聞、假視頻，顛覆人們“百聞不如一見”的固有觀念，嚴(yán)重沖擊社會信任。

4.可能侵害用戶隱私信息

許多AI應(yīng)用擁有用戶的指紋、聲紋、行蹤軌跡、面部特征等隱私信息。這些應(yīng)用一旦出現(xiàn)安全問題，海量用戶隱私數(shù)據(jù)可能被非法利用。比如，前段時間某酒店集團(tuán)旗下的5億條用戶數(shù)據(jù)在暗網(wǎng)上被泄露售賣，走紅的換臉軟件“ZAO”涉嫌違規(guī)收集用戶隱私等。

（三）人工智能沖擊倫理道德

AI可能會對現(xiàn)有社會倫理道德體系造成沖擊。一方面，部分AI系統(tǒng)設(shè)計者過于迷信技術(shù)，由于缺乏人文邏輯導(dǎo)致設(shè)計缺陷，引發(fā)機(jī)器取代人獲得控制權(quán)的倫理問題。另一方面，由于AI自身不具備法律主體資格，AI安全導(dǎo)致的財產(chǎn)損失、人身傷害等難以追責(zé)，給現(xiàn)有法律和倫理帶來嚴(yán)峻挑戰(zhàn)。

比如，今年3月埃塞俄比亞航空公司發(fā)生波音737MAX墜機(jī)事件，根本原因就是在人與機(jī)器（機(jī)動特性增強(qiáng)系統(tǒng)MCAS）對操縱負(fù)有決定權(quán)的“搏斗”中，人類輸給了機(jī)器，機(jī)器出錯卻難以追溯責(zé)任。未來無人車、無人工廠、無人碼頭等AI系統(tǒng)一旦出錯，最后的決定權(quán)是留給機(jī)器還是人值得深思。

綜上所述，AI并不像人們想象得那樣美好，在提高生產(chǎn)生活水平的同時，也可能帶來各種安全隱患，甚至成為人類安全殺手。AI和安全需要協(xié)調(diào)發(fā)展、雙輪驅(qū)動。

三、利用人工智能解決安全問題

雖然AI可能帶來安全的負(fù)面問題，但AI本身是一把“雙刃劍”，通過AI賦能也可以更好地解決新時代的安全問題。

（一）人工智能助力網(wǎng)絡(luò)安全

近年來，隨著大數(shù)據(jù)、AI、云計算、IoT等技術(shù)的廣泛應(yīng)用，物理世界和虛擬世界已深度連接，網(wǎng)絡(luò)攻擊的危害擴(kuò)展到國家安全、國防安全、關(guān)鍵基礎(chǔ)設(shè)施安全、社會安全、金融安全和個人安全，網(wǎng)絡(luò)安全進(jìn)入了大安全時代。

大安全時代，網(wǎng)絡(luò)防護(hù)難度越來越大。一是漏洞無處不在，未來數(shù)以百億計的智能設(shè)備都可能成為攻擊點，攻防不對等，防不勝防。二是隨著網(wǎng)絡(luò)攻擊越來越高端、越來越隱蔽，單從一個局部來發(fā)現(xiàn)就像“盲人摸象”，很難準(zhǔn)確識別。三是網(wǎng)絡(luò)攻擊日益自動化、智能化，攻擊手段更新快、方式多樣，傳統(tǒng)的特征檢測技術(shù)已失效。四是對網(wǎng)絡(luò)威脅的響應(yīng)速度要求越來越快，面對海量安全事件，靠人力已無法及時有效分析處理。

從發(fā)展趨勢看，將AI用于網(wǎng)絡(luò)安全已成為業(yè)界共識。目前，AI已經(jīng)在軟件二進(jìn)制分析、網(wǎng)絡(luò)攻擊檢測、安全行為輔助分析、網(wǎng)絡(luò)信息過濾等領(lǐng)域獲得成功應(yīng)用。

在軟件二進(jìn)制分析方面，采用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)，可以輔助漏洞挖掘系統(tǒng)在海量數(shù)據(jù)中提取經(jīng)驗和知識，并根據(jù)訓(xùn)練生成的模型對新樣本進(jìn)行分類、預(yù)測，提高漏洞挖掘的精度和效率。

在網(wǎng)絡(luò)攻擊檢測方面，通過智能算法對海量數(shù)據(jù)進(jìn)行預(yù)處理，可以降低數(shù)據(jù)處理壓力，輔助安全人員作出正確判斷。比如，麻省理工學(xué)院（MIT）2016年發(fā)表論文稱，通過與專家合作，其AI平臺的網(wǎng)絡(luò)攻擊檢測率達(dá)85%，準(zhǔn)確率提高了2.92倍。

在安全行為輔助分析方面，AI算法可以觀察人員、端點和網(wǎng)絡(luò)設(shè)備等主體的網(wǎng)絡(luò)行為和活動，建立基線并識別偏差來標(biāo)記潛在的惡意活動。比如，利用AI識別用戶密碼泄露和誤用行為。

在信息過濾方面，可以通過機(jī)器學(xué)習(xí)方法對機(jī)器人進(jìn)行檢測，過濾垃圾信息。比如，MIT與卡塔爾已合作開發(fā)出一種可以鑒別信息來源準(zhǔn)確性和個人政治偏見的AI系統(tǒng)，在檢測新聞來源是否具有高、中、低等程度的“真實性”方面的準(zhǔn)確率達(dá)65%。

由于AI在網(wǎng)絡(luò)安全領(lǐng)域的巨大潛力，多國都在大力推進(jìn)“AI+安全”的發(fā)展策略。比如，2018年美國國防部宣布成立聯(lián)合人工智能中心，為包括網(wǎng)絡(luò)防御在內(nèi)的600多個AI項目提供服務(wù)，并投入20億美元開展AI Next研究計劃。日本防衛(wèi)省也在宣布，將AI用于自衛(wèi)隊的網(wǎng)絡(luò)防御，并考慮推廣至日本政府全部網(wǎng)絡(luò)系統(tǒng)。

從產(chǎn)業(yè)界看，網(wǎng)絡(luò)安全已成為AI創(chuàng)新應(yīng)用最有前景的行業(yè)之一。市場調(diào)研分析機(jī)構(gòu)CB Insights去年評選全球100家最有前景的AI創(chuàng)業(yè)公司，網(wǎng)絡(luò)安全行業(yè)入選的公司達(dá)11家，數(shù)量在25個行業(yè)中位列第一。

（二）構(gòu)建安全大腦打贏網(wǎng)絡(luò)戰(zhàn)

大安全時代，網(wǎng)絡(luò)戰(zhàn)成為網(wǎng)絡(luò)安全的最大威脅。一是對手變了，從過去的小毛賊變成有國家背景、政治目的的網(wǎng)絡(luò)力量。二是對象變了，網(wǎng)絡(luò)戰(zhàn)不分軍民，首選電網(wǎng)、水利、機(jī)場、工廠等關(guān)鍵基礎(chǔ)設(shè)施。三是范圍變了，網(wǎng)絡(luò)攻擊已擴(kuò)展到政治、軍事、經(jīng)濟(jì)、社會等各領(lǐng)域。四是假設(shè)變了，漏洞無處不在、沒有攻不破的網(wǎng)絡(luò)，不能再幻想御敵于國門之外，而要在假設(shè)敵人已攻進(jìn)來的前提下做防御。五是方式變了，現(xiàn)在的網(wǎng)絡(luò)戰(zhàn)是超限戰(zhàn)，無所不用其極。

面對網(wǎng)絡(luò)戰(zhàn)的嚴(yán)峻挑戰(zhàn)，亟需一套基于“大數(shù)據(jù)+威脅情報+安全知識+安全專家”的全新戰(zhàn)法，構(gòu)建一個覆蓋我國整個網(wǎng)絡(luò)國土的智能網(wǎng)絡(luò)防御系統(tǒng)，即國家網(wǎng)絡(luò)安全大腦，在第一時間“看見”網(wǎng)絡(luò)攻擊，并進(jìn)行預(yù)測預(yù)警和響應(yīng)處置，阻擊具有國家背景的網(wǎng)絡(luò)攻擊，捍衛(wèi)國家網(wǎng)絡(luò)空間安全。

國家網(wǎng)絡(luò)安全大腦的核心要素包括：

安全大數(shù)據(jù)。“看見”攻擊必須靠大數(shù)據(jù)，通過對海量大數(shù)據(jù)的分析和挖掘，在浩如煙海的大數(shù)據(jù)中發(fā)現(xiàn)攻擊的蛛絲馬跡。這些大數(shù)據(jù)來源于網(wǎng)關(guān)、終端、云端等各類實體，它們是海量、鮮活、標(biāo)注的數(shù)據(jù)，既包括長期積累的歷史數(shù)據(jù)，也包括每天更新的實時數(shù)據(jù)。

威脅情報和安全知識。安全大數(shù)據(jù)在AI和安全專家的輔助下，經(jīng)過關(guān)聯(lián)、鉆取、挖掘等形成威脅情報。威脅情報和安全知識不僅包括漏洞、惡意樣本、惡意網(wǎng)址和威脅源分布等信息，還包括黑客組織、高級持續(xù)威脅（APT）攻擊，以及對敵方背景、動機(jī)、企圖和方法等知識的收集與分析。它們是網(wǎng)絡(luò)攻防長期實戰(zhàn)的沉淀和凝練，具有高度的經(jīng)驗性和實踐性。

安全專家。網(wǎng)絡(luò)戰(zhàn)的本質(zhì)是人與人的對抗。安全專家對網(wǎng)絡(luò)攻防起決定性的作用。比如，在漏洞挖掘方面主要依靠大量經(jīng)驗豐富的安全專家進(jìn)行人工挖掘;在響應(yīng)處置方面，安全大腦“看見”網(wǎng)絡(luò)攻擊征兆后，需要進(jìn)一步依靠頂尖專家分析研判;在安全運(yùn)營方面，需要大量網(wǎng)絡(luò)安全運(yùn)營服務(wù)專家來協(xié)同用戶第一時間處理安全事件;在攻防演練方面，需要安全專家?guī)椭M建紅藍(lán)雙方開展實戰(zhàn)對抗。

在安全大腦的防御體系中，AI起著關(guān)鍵的要素承接與鉸鏈作用。AI實現(xiàn)對安全大數(shù)據(jù)的自動、智能分析處理，在威脅情報和安全知識支持下，完成對網(wǎng)絡(luò)攻擊線索的輔助篩選和關(guān)聯(lián)比對，為安全專家提供決策輸入，減少人工分析量。安全專家則發(fā)揮群體智慧作用，和AI協(xié)同開展攻擊研判與網(wǎng)絡(luò)防御。

除核心要素外，安全大腦還為用戶提供安全運(yùn)營中心、實戰(zhàn)攻防靶場、漏洞管理平臺、威脅情報中心、安全培訓(xùn)中心等本地化支撐服務(wù)。

需要強(qiáng)調(diào)的是，安全大腦不是取代現(xiàn)在的安全解決方案，而是對現(xiàn)有網(wǎng)絡(luò)防御體系的一次大升級，通過對接用戶應(yīng)急響應(yīng)、指揮控制、態(tài)勢感知等典型防護(hù)系統(tǒng)，提升網(wǎng)絡(luò)安全重大風(fēng)險感知防范和應(yīng)急處置能力。

安全大腦已成為未來應(yīng)對網(wǎng)絡(luò)作戰(zhàn)的重要方向和思路，這方面美國有相似認(rèn)識。美國早就開始建設(shè)類似安全大腦的防御系統(tǒng)。比如，“愛因斯坦計劃”“持續(xù)診斷與緩解項目”就是國家級的網(wǎng)絡(luò)安全監(jiān)測防護(hù)系統(tǒng)。谷歌去年新成立子公司Chronicle Security，利用先進(jìn)的AI技術(shù)快速發(fā)現(xiàn)并阻斷網(wǎng)絡(luò)攻擊。微軟也宣布將利用AI處理全球超過10億設(shè)備獲取的大數(shù)據(jù)，應(yīng)對網(wǎng)絡(luò)威脅。

360公司過去幾年已經(jīng)構(gòu)建了一個安全大腦的原型，發(fā)現(xiàn)了來自境外的40余APT攻擊。2019年8月，360安全大腦入選安全領(lǐng)域唯一的國家新一代人工智能開放創(chuàng)新平臺，表明安全大腦已得到國家和行業(yè)認(rèn)可。

（三）產(chǎn)學(xué)研合作共建安全大生態(tài)

安全大腦不是一個單一的產(chǎn)品或平臺，而是一個能力不斷沉淀、持續(xù)進(jìn)化、各方共建的安全生態(tài)系統(tǒng)。因此，需要政府、科研院所、企業(yè)和行業(yè)等各方緊密合作，按照“共建、分享、賦能、投資、培訓(xùn)”的思路，構(gòu)建安全大生態(tài)，帶動行業(yè)共同成長，真正形成良性的產(chǎn)業(yè)循環(huán)，提升我國網(wǎng)絡(luò)綜合防護(hù)能力。

責(zé)任編輯：王卓