警惕人工智能技術(shù)發(fā)展帶來的網(wǎng)絡(luò)安全威脅

王超

近年來，人工智能越來越成為引領(lǐng)未來的戰(zhàn)略性技術(shù)，世界主要發(fā)達(dá)國家紛紛把發(fā)展人工智能技術(shù)、推進(jìn)人工智能在網(wǎng)絡(luò)安全領(lǐng)域的深度應(yīng)用作為提升國家網(wǎng)絡(luò)空間核心競(jìng)爭(zhēng)力、維護(hù)國家網(wǎng)絡(luò)空間安全的重大戰(zhàn)略。然而，人工智能技術(shù)是把“雙刃劍”，在大力發(fā)展人工智能網(wǎng)絡(luò)安全技術(shù)的同時(shí)，必須高度重視可能帶來的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，加強(qiáng)前瞻預(yù)防與約束引導(dǎo)，最大限度地降低風(fēng)險(xiǎn)，確保人工智能在網(wǎng)絡(luò)安全領(lǐng)域安全、可靠、可控發(fā)展。

AI在網(wǎng)絡(luò)安全的深度應(yīng)用

（一）人工智能技術(shù)成為國家網(wǎng)絡(luò)空間競(jìng)爭(zhēng)的新高地。當(dāng)前，發(fā)達(dá)國家紛紛加強(qiáng)網(wǎng)絡(luò)安全領(lǐng)域的人工智能戰(zhàn)略布局。美國把人工智能技術(shù)提升到能給網(wǎng)絡(luò)安全，甚至國家安全帶來顛覆性變革的戰(zhàn)略的高度。2016年10月，美國前總統(tǒng)奧巴馬發(fā)布的《國家人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》提出，“確保人工智能系統(tǒng)安全可靠”的發(fā)展戰(zhàn)略，要將“對(duì)抗機(jī)器學(xué)習(xí)”作為人工智能發(fā)展的關(guān)鍵領(lǐng)域。同年 12 月20日，美國白宮發(fā)布的《人工智能、自動(dòng)化與經(jīng)濟(jì)報(bào)告》提出，“出于網(wǎng)絡(luò)防御和欺詐偵查目的發(fā)展人工智能”，意在打造能精準(zhǔn)預(yù)測(cè)網(wǎng)絡(luò)攻擊、有效偵測(cè)欺詐交易和欺詐信息的人工智能系統(tǒng)。在我國，國務(wù)院于 2017年7月印發(fā)《新一代人工智能發(fā)展規(guī)劃》，提出要加強(qiáng)人工智能網(wǎng)絡(luò)安全技術(shù)研發(fā)，強(qiáng)化人工智能產(chǎn)品和系統(tǒng)網(wǎng)絡(luò)安全防護(hù)。工業(yè)和信息化部于2017年12月發(fā)布《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動(dòng)計(jì)劃（2018—2020年）》，明確倡導(dǎo)人工智能先進(jìn)技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的深度應(yīng)用，提出到2020年要實(shí)現(xiàn)的目標(biāo)，即“完善人工智能網(wǎng)絡(luò)安全產(chǎn)業(yè)布局，形成人工智能安全防控體系框架，初步建成具備人工智能安全態(tài)勢(shì)感知、測(cè)試評(píng)估、威脅信息共享、應(yīng)急處置等基本能力的安全保障平臺(tái)”。

（二）人工智能技術(shù)成為IT企業(yè)布局網(wǎng)絡(luò)安全技術(shù)產(chǎn)業(yè)的新抓手。人工智能技術(shù)正在引發(fā)網(wǎng)絡(luò)安全產(chǎn)業(yè)變革熱潮。根據(jù)CB Insights的統(tǒng)計(jì)結(jié)果，在應(yīng)用人工智能領(lǐng)域，網(wǎng)絡(luò)安全是活躍度排名第四的行業(yè)。一方面，新興IT企業(yè)著力研發(fā)基于人工智能的網(wǎng)絡(luò)安全技術(shù)，并強(qiáng)勢(shì)崛起成為領(lǐng)域獨(dú)角獸企業(yè)。美國Cylance是世界上最早提供基于機(jī)器學(xué)習(xí)和人工智能反病毒的公司之一，其研發(fā)的反病毒軟件Cylance PROTECT利用人工智能預(yù)測(cè)網(wǎng)絡(luò)攻擊的發(fā)生，在沒有網(wǎng)絡(luò)連接的情況下，僅需60MB 內(nèi)存和 1%的CPU就能保護(hù)計(jì)算機(jī)免受攻擊。目前，該公司的估值已超過10億美元。美國帕洛阿爾托網(wǎng)絡(luò)公司（Palo Alto Networks）推出的名為Magnifier 的行為分析解決方案，使用結(jié)構(gòu)化和非結(jié)構(gòu)化的機(jī)器學(xué)習(xí)來模擬網(wǎng)絡(luò)行為，改善網(wǎng)絡(luò)危險(xiǎn)檢測(cè)。另一方面，大型互聯(lián)網(wǎng)和網(wǎng)絡(luò)安全企業(yè)紛紛加碼網(wǎng)絡(luò)安全領(lǐng)域人工智能技術(shù)的創(chuàng)新和應(yīng)用。2017年，亞馬遜先后收購人工智能網(wǎng)絡(luò)安全公司——Harvest.ai 和 Sqrrl，通過機(jī)器學(xué)習(xí)和人工智能算法，加強(qiáng)對(duì)數(shù)據(jù)竊取行為的識(shí)別和阻止，以保護(hù)云中的敏感數(shù)據(jù)。2018年5月，360發(fā)布了“安全大腦”，利用人工智能技術(shù)對(duì)采集的安全數(shù)據(jù)進(jìn)行分析計(jì)算，可實(shí)時(shí)感知網(wǎng)絡(luò)安全運(yùn)行狀況和態(tài)勢(shì)，預(yù)測(cè)網(wǎng)絡(luò)攻擊并自動(dòng)響應(yīng)。

（三）人工智能技術(shù)成為應(yīng)對(duì)網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的新方案。網(wǎng)絡(luò)安全專業(yè)人員不足和網(wǎng)絡(luò)攻擊發(fā)現(xiàn)能力薄弱，日益成為抵御網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的短板。人工智能技術(shù)以其強(qiáng)大的運(yùn)算能力逐步成為應(yīng)對(duì)網(wǎng)絡(luò)安全挑戰(zhàn)的新方案。一方面，人工智能技術(shù)能夠大幅提高分析效率。一個(gè)信息安全分析師一天的日志數(shù)據(jù)分析量，人工智能只需幾分鐘就能完成。另一方面，人工智能有助于提升威脅檢測(cè)效果?；跈C(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法，人工智能技術(shù)能夠主動(dòng)識(shí)別網(wǎng)絡(luò)中的異常行為，現(xiàn)已充分應(yīng)用于物聯(lián)網(wǎng)設(shè)備防御、惡意軟件預(yù)防、安全運(yùn)營(yíng)中心效率提升、風(fēng)險(xiǎn)量化，以及網(wǎng)絡(luò)流量異常和惡意移動(dòng)應(yīng)用檢測(cè)等領(lǐng)域。ESG 的調(diào)查顯示，12%的企業(yè)組織已普遍應(yīng)用了基于人工智能的安全分析產(chǎn)品，27%的企業(yè)間接使用了基于人工智能的安全分析服務(wù)，20%以上的網(wǎng)絡(luò)安全工程師希望使用基于人工智能的網(wǎng)絡(luò)安全技術(shù)加速事件檢測(cè)和響應(yīng)、識(shí)別和處置網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，掌握網(wǎng)絡(luò)安全態(tài)勢(shì)。

AI引發(fā)新的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)

（一）易遭受“投毒攻擊”。當(dāng)前，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能算法嚴(yán)重依賴于數(shù)據(jù)的分布，如果黑客改變數(shù)據(jù)分布生成惡意的對(duì)抗樣本，向人工智能系統(tǒng)發(fā)起“投毒攻擊”，就可能造成人工智能系統(tǒng)的識(shí)別錯(cuò)誤。OpenAI 在最新研究報(bào)告中指出，攻擊者將對(duì)抗樣本輸入圖像識(shí)別的機(jī)器學(xué)習(xí)模型，就能夠使人工智能系統(tǒng)在視覺上產(chǎn)生幻覺，從而出現(xiàn)錯(cuò)誤的圖片識(shí)別結(jié)果。一旦人工智能技術(shù)在無人駕駛等領(lǐng)域推廣普及，“投毒攻擊”很可能對(duì)人們的生命、財(cái)產(chǎn)安全產(chǎn)生巨大威脅。

（二）底層開源框架是薄弱環(huán)節(jié)。當(dāng)前，Google、FaceBook、IBM、百度等國際 IT 巨頭紛紛開源其人工智能系統(tǒng)，幫助應(yīng)用開發(fā)人員屏蔽底層實(shí)現(xiàn)細(xì)節(jié)，構(gòu)建起以自身技術(shù)框架為基礎(chǔ)的應(yīng)用生態(tài)。然而，不時(shí)曝出的安全漏洞推高了人工智能系統(tǒng)的安全風(fēng)險(xiǎn)。2017年12月，奇虎360、美國佐治亞大學(xué)和美國弗吉尼亞大學(xué)的安全研究人員一致認(rèn)為，Google開源的TensorFlow、FaceBook開源的Caffe 和Torch等深度學(xué)習(xí)框架對(duì)第三方開源基礎(chǔ)庫過度依賴，這會(huì)導(dǎo)致其存在大量的安全威脅。安全人員在上述三個(gè)框架中發(fā)現(xiàn)了15個(gè)安全漏洞，極易導(dǎo)致人工智能系統(tǒng)遭到拒絕服務(wù)攻擊、逃逸攻擊、系統(tǒng)損害攻擊的影響?？紤]到基于深度學(xué)習(xí)的應(yīng)用往往需要復(fù)雜的訓(xùn)練過程，針對(duì)深度學(xué)習(xí)框架的惡意攻擊很難在短時(shí)間內(nèi)被識(shí)別，這就可能導(dǎo)致攻擊持續(xù)的時(shí)間更長(zhǎng)，造成的危害更加嚴(yán)重。

（三）基于人工智能技術(shù)的網(wǎng)絡(luò)攻擊多樣化。一方面，人工智能技術(shù)降低了網(wǎng)絡(luò)攻擊門檻。隨著大量人工智能模型開源，黑客入侵的工具愈發(fā)多樣化，他們可以利用開源工具欺騙識(shí)別系統(tǒng)。另一方面，基于人工智能技術(shù)的網(wǎng)絡(luò)攻擊危害嚴(yán)重。人工智能技術(shù)會(huì)進(jìn)一步豐富攻擊模式，以自動(dòng)化方式提升復(fù)雜攻擊的速度與效率，加大魚叉式網(wǎng)絡(luò)釣魚等勞動(dòng)密集型網(wǎng)絡(luò)攻擊的危害;追蹤、分析信息系統(tǒng)進(jìn)化趨勢(shì)和安全軟件更新特點(diǎn)，設(shè)計(jì)出新的、更強(qiáng)大的惡意程序來發(fā)動(dòng)網(wǎng)絡(luò)攻擊。利用人工智能技術(shù)操作無人機(jī)或其他智能設(shè)備發(fā)起定向攻擊，可能導(dǎo)致物理設(shè)備損害，威脅關(guān)鍵信息基礎(chǔ)設(shè)施安全，危及個(gè)人生命、財(cái)產(chǎn)安全。

幾點(diǎn)建議

（一）重點(diǎn)突破人工智能網(wǎng)絡(luò)安全技術(shù)。一是重視和加強(qiáng)前瞻性基礎(chǔ)研究，加大對(duì)感知技術(shù)、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等人工智能算法的研發(fā)支持力度，提升算法的可解釋性、透明性、運(yùn)行效率等。二是加強(qiáng)基于人工智能的漏洞挖掘、安全測(cè)試、威脅預(yù)警、攻擊檢測(cè)、應(yīng)急處置等網(wǎng)絡(luò)安全技術(shù)攻關(guān)，強(qiáng)化人工智能安全態(tài)勢(shì)感知、測(cè)試評(píng)估、威脅信息共享和應(yīng)急處置等能力。三是支持應(yīng)用技術(shù)研究，重點(diǎn)加強(qiáng)對(duì)抗性機(jī)器學(xué)習(xí)研究，分析機(jī)器學(xué)習(xí)對(duì)抗性攻擊對(duì)人工智能系統(tǒng)的危害程度，提出應(yīng)對(duì)的技術(shù)方案，提升算法的魯棒性。

（二）加快優(yōu)化人工智能開發(fā)框架。一方面，研發(fā)推廣應(yīng)用國內(nèi)人工智能技術(shù)開發(fā)框架，重點(diǎn)支持自動(dòng)駕駛、城市大腦等國家新一代人工智能開放創(chuàng)新平臺(tái)發(fā)展，帶動(dòng)和引領(lǐng)國內(nèi)人工智能企業(yè)構(gòu)建涵蓋機(jī)器學(xué)習(xí)、語義分析、控制決策等眾多技術(shù)在內(nèi)的體系化開源平臺(tái)，推進(jìn)人工智能開源代碼、開源軟件的信息匯聚和技術(shù)交流，推動(dòng)國內(nèi)企業(yè)逐步擺脫對(duì)TensorFlow等國外開源開發(fā)框架的依賴。另一方面，提高開發(fā)人員的安全技能和意識(shí)，將安全理念貫穿到需求、設(shè)計(jì)、實(shí)施、測(cè)試和發(fā)布響應(yīng)等各個(gè)階段，堅(jiān)持在開發(fā)階段發(fā)現(xiàn)漏洞，強(qiáng)化安全測(cè)試，提高人工智能開發(fā)框架的安全性。

（三）積極應(yīng)對(duì)人工智能型網(wǎng)絡(luò)攻擊。一方面，加強(qiáng)關(guān)鍵信息基礎(chǔ)設(shè)施等重要信息系統(tǒng)的安全防護(hù)能力。結(jié)合關(guān)鍵基礎(chǔ)設(shè)施控制系統(tǒng)的體系架構(gòu)特征，有針對(duì)性地開展漏洞挖掘、安全測(cè)試，排查關(guān)鍵信息基礎(chǔ)設(shè)施的安全風(fēng)險(xiǎn)隱患，提升關(guān)鍵信息基礎(chǔ)設(shè)施的抗偵聽、抗攻擊和恢復(fù)能力。另一方面，以人工智能技術(shù)對(duì)抗人工智能技術(shù)，推動(dòng)人工智能先進(jìn)技術(shù)在網(wǎng)絡(luò)防御領(lǐng)域的深度應(yīng)用。通過人工智能技術(shù)，加強(qiáng)對(duì)網(wǎng)絡(luò)攻擊的特點(diǎn)和規(guī)律的分析，發(fā)現(xiàn)過去網(wǎng)絡(luò)攻擊的共性和特殊性，分析惡意程序和攻擊手段的演化方向，提升網(wǎng)絡(luò)攻擊防御的效率和精準(zhǔn)度。