人工智能系統(tǒng)安全綜述

陳磊 李雅靜

(1.國防科技大學，長沙 410073；2.中國工程院戰(zhàn)略咨詢中心，北京 100088；3.麒麟軟件有限公司，北京 100190)

0 引言

人工智能技術(shù)正在迅速普及，甚至是未來的主導技術(shù)。隨著大數(shù)據(jù)時代的到來和計算機性能的提升，以深度學習為代表的機器學習算法在計算機視覺、自然語言處理、自動駕駛汽車[1-2]等領域的應用取得了極大的成功，預示著人工智能超過人類自然習得智能的可能性。人類文明是人類智能的產(chǎn)物，而通過人工智能獲得更高級的智能將影響人類歷史。

人工智能技術(shù)的發(fā)展方向和時間進度無法準確預測，因而人工智能技術(shù)的進步也是一把“雙刃劍”。一方面，人工智能作為一種通用使能技術(shù)，在醫(yī)學、科學和交通等領域[2-4]產(chǎn)生顛覆性的作用，也為保障國家網(wǎng)絡空間安全、提升人類經(jīng)濟社會風險防控能力等方面提供了新手段和新途徑；另一方面，人工智能在技術(shù)轉(zhuǎn)化和應用過程中，引入的隱私、安全、經(jīng)濟和軍事等問題[5-8]，引起人們對人工智能的長期影響而擔憂，尤其是對網(wǎng)絡與信息系統(tǒng)安全、社會生產(chǎn)系統(tǒng)、社會就業(yè)、法律倫理等領域的沖擊，并對國家政治、國防、經(jīng)濟和社會安全帶來諸多風險和挑戰(zhàn)[9-10]。因而，世界主要國家都將人工智能安全作為人工智能技術(shù)研究和產(chǎn)業(yè)化應用的重要組成部分。

本文概要介紹了人工智能、人工智能安全以及分類，并對人工智能內(nèi)生安全和衍生內(nèi)生安全兩個方面進行了闡述，最后對人工智能安全技術(shù)的研究進展、面臨的挑戰(zhàn)以及應用前景進行了探討和展望。

1 人工智能技術(shù)及其安全問題

人工智能是指計算機程序或機器具有思考和學習的能力，是試圖使計算機“智能化”的研究領域，是計算機科學行業(yè)的頂尖技術(shù)之一。

1.1 人工智能技術(shù)的發(fā)展

“人工智能”最初是科學家們用來討論機器模擬人類智能時提出的。1936年，英國數(shù)學家圖靈就曾在他的論文“理想計算機”提出圖靈模型以及1950年在他的論文“計算機可以思考嗎”提出機器可以思考的論述(圖靈實驗)，為人工智能的誕生奠定了基礎。1956年，美國達特茅斯大學舉辦了一場“侃談會”，人工智能這個詞語第一次被搬上臺面，從而創(chuàng)立了人工智能這一研究方向和學科。1956年，美國的兩個心理學家紐俄爾和西蒙也成功地在定理證明上取得突破，于是開啟了通過計算機程序模擬人類思維的道路。在1967—1970年代初期，科學家們想對人工智能進入更深層次的探索時，發(fā)現(xiàn)人工智能的研究遇到許多當代技術(shù)與理論無法解決的問題。因為當時計算機的處理速度和內(nèi)存容量都已經(jīng)不足以實現(xiàn)更智能化的發(fā)展，也沒有人知道人工智能究竟能夠智能化到何種程度。因此，各界科研委員會開始停止對人工智能研究的資助，人工智能技術(shù)的發(fā)展也就此跌入低谷。1980—1987年，隨著理論研究和計算機軟、硬件的迅速發(fā)展，美國、英國對人工智能開始重新研究并投入了大量資金，在1984年啟動了Cyc項目，目的就是讓人工智能可以應用到類似人類大腦思考以及推理的工作中。隨后許多研究人工智能的技術(shù)人員們開發(fā)了各種AI實用系統(tǒng)嘗試商業(yè)化并投入到市場，人工智能又激起了一股浪潮。2016年，AlphaGo戰(zhàn)勝了世界圍棋高手李世石，人工智能成為當年熱度最高的科技話題。圖1為人工智能技術(shù)發(fā)展歷史。

圖1 人工智能技術(shù)發(fā)展歷史

人工智能分為強人工智能和弱人工智能兩類。強人工智能的定義為：需要具備自我意識，在遇到問題的時候需要能向人類一樣進行對問題的決策。而要實現(xiàn)這種情況的難度很大，所以在強人工智能的研究方面始終沒有很大的進展。弱人工智能并沒有思維意識，只能按照程序員預編寫好的程序進行相應的工作，與強人工智能相比較而言，其在這60多年得到了快速的發(fā)展，現(xiàn)如今人工智能的發(fā)展也是主要圍繞著弱人工智能去進行。

1.2 人工智能安全

近十幾年來，由于計算能力的高速發(fā)展、可獲取數(shù)據(jù)量的急速增長以及人工智能技術(shù)的自身優(yōu)勢，尤其是深度學習技術(shù)的突破性進展，使得人工智能系統(tǒng)獲得愈來愈廣泛的應用并取得令人矚目的成就。與此同時，人工智能系統(tǒng)在應用過程中也暴露出大量安全問題，引發(fā)了人們對人工智能安全的高度關注。

從一般的人造系統(tǒng)或工程系統(tǒng)的角度考慮，人工智能系統(tǒng)作為一種特殊的工程系統(tǒng)同樣具有其同類系統(tǒng)所可能具有的安全性問題。例如，作為一種計算機軟件或硬件系統(tǒng)，它同樣具有計算機軟、硬件系統(tǒng)所可能具有的安全性問題；作為機器人、無人駕駛系統(tǒng)，它可能具有結(jié)構(gòu)、材料性質(zhì)、環(huán)境適應性等安全性問題。但是人工智能系統(tǒng)或“智能體”與其他系統(tǒng)的本質(zhì)區(qū)別在于其具有“智能”，能夠思維，可以進行“學習”而習得知識，可以做出自主性決策，進而可以執(zhí)行自主性行動。區(qū)別于與其同類工程系統(tǒng)的普適性安全問題，這里討論的人工智能安全問題，集中于人工智能系統(tǒng)由于具有學習能力、自主決策、自主行動這些智能行為而產(chǎn)生的安全性問題，既包括人工智能系統(tǒng)本身由于設計、制造、使用環(huán)境或受到攻擊所產(chǎn)生的安全問題，也包括由于人工智能技術(shù)的應用而衍生出來的對其他系統(tǒng)的安全影響。

1.3 人工智能安全的分類

根據(jù)產(chǎn)生安全問題的原因不同，可以把人工智能系統(tǒng)由于外部影響或受到攻擊而產(chǎn)生的安全稱為“外生安全”或者“衍生安全”，人工智能系統(tǒng)由于其本身技術(shù)特點、缺陷、脆弱性而產(chǎn)生的安全稱為“內(nèi)生安全”。

人工智能系統(tǒng)的內(nèi)生安全問題既包含智能體本身由于其技術(shù)特點、缺陷、脆弱性等可能造成的智能體本身的安全問題(確切地說，該智能體作為具有特定功能的系統(tǒng)而不能正確地行使其特定的功能)，也包括該智能體工作環(huán)境或由于受到其他系統(tǒng)的攻擊而不能正確地行使其特定的功能。內(nèi)生安全問題是局限于智能體本身的安全性問題，而無論是由于其本身的特性產(chǎn)生的問題還是工作環(huán)境或遭受外部攻擊所產(chǎn)生的問題。人工智能系統(tǒng)的衍生安全問題是由于智能體的應用對于其他系統(tǒng)所可能造成的安全性問題，既包括由于智能體出現(xiàn)安全問題(即不能行使其特定功能)而產(chǎn)生的(衍生出來的)對其他系統(tǒng)的安全性所造成的影響，也包含該智能體特定功能的成功行使而可能對其他系統(tǒng)的安全性所造成的影響。

此種劃分可以區(qū)分對抗環(huán)境中系統(tǒng)的安全問題產(chǎn)生的原因，尤其是識別外部攻擊的因素，有益于研究對抗環(huán)境中人工智能的安全性問題。而大量外部攻擊均利用了人工智能系統(tǒng)本身的技術(shù)特點、缺陷、脆弱性，因此即使是由于外部影響或在受到攻擊而產(chǎn)生的安全問題也是內(nèi)因和外因共同作用的結(jié)果。

本文主要討論人工智能本身的安全問題和由于人工智能的應用而可能造成的外在的安全影響，所以在在分類中僅包含采用“人工智能系統(tǒng)本身的安全性問題”(即內(nèi)生安全問題)和由于人工智能技術(shù)的應用而衍生出來的安全為題(即衍生安全問題)。在分析內(nèi)生安全問題的同時，也將把人工智能系統(tǒng)本身的缺陷和脆弱性與可能利用這種缺陷和脆弱性而進行的外部攻擊的因素結(jié)合進行論述。

2 人工智能安全的國內(nèi)外研究現(xiàn)狀

下面將從內(nèi)生安全和衍生安全的兩個方面綜述國內(nèi)外人工智能安全的研究進展。

2.1 人工智能內(nèi)生安全

人工智能內(nèi)生安全分類參見圖2。

圖2 人工智能內(nèi)生安全分類

2.1.1 框架/組件引發(fā)的內(nèi)生安全

在框架/組件方面，難以保證框架和組件實現(xiàn)的正確性和透明性是人工智能的內(nèi)生安全問題。當前，國際社會已經(jīng)推出了大量的開源人工智能框架(如TensorFlow、Caffe)和組件并得到了廣泛使用。然而，由于這些框架和組件未經(jīng)充分安全評測，可能存在漏洞甚至后門等風險。一旦基于不安全框架構(gòu)造的人工智能系統(tǒng)被應用于關乎國計民生的重要領域，這種因為“基礎環(huán)境不可靠”而帶來的潛在風險就更加值得關注。

2.1.2 數(shù)據(jù)安全

在數(shù)據(jù)方面，用于訓練的數(shù)據(jù)不完全可能使得學習算法難以發(fā)現(xiàn)準確反映環(huán)境和應用需求的正確模型，是造成系統(tǒng)安全問題的重要因素。訓練中使用的數(shù)據(jù)規(guī)模、質(zhì)量(準確、真實、全面)、數(shù)據(jù)分布特征等均會影響訓練結(jié)果的正確性，從而影響AIA決策和行為能否正確地實現(xiàn)設計目的；而訓練模型應對數(shù)據(jù)分布特征變化的魯棒性也是影響系統(tǒng)安全性的重要因素。

訓練數(shù)據(jù)對安全性的影響使得數(shù)據(jù)安全成為對抗環(huán)境中攻擊和防護技術(shù)的研究熱點。在對抗環(huán)境中，攻擊者可以對數(shù)據(jù)實施閃避攻擊和藥餌攻擊等。閃避攻擊通過在正常的訓練樣本中加入人工不易覺察的少量樣本數(shù)據(jù)，改變樣本數(shù)據(jù)集，形成對學習系統(tǒng)的攻擊。閃避攻擊可通過對抗樣本生成、利用傳遞性進行黑盒攻擊等方式實現(xiàn)，主要應用在推理階段。藥餌攻擊是在訓練數(shù)據(jù)集中加入虛假數(shù)據(jù)(即藥餌)，使得學習系統(tǒng)生成錯誤的模型的人達到攻擊的目的。藥餌攻擊通常應用在訓練階段，破壞系統(tǒng)生成的模型。

2.1.3 算法安全

在算法方面，學習算法的可解釋性、復雜性問題使得算法成為影響人工智能系統(tǒng)安全性的脆弱環(huán)節(jié)。算法的可解釋性是影響用戶對算法安全性的關鍵因素，尤其是在如智能診斷和醫(yī)療、財政金融等決策的正確性可能引發(fā)重大安全后果的領域。算法的復雜性意味著對于大數(shù)據(jù)量的學習會付出巨大的代價(如計算資源和執(zhí)行時間)，而動態(tài)變化的環(huán)境可能要求算法經(jīng)常和反復執(zhí)行基于數(shù)據(jù)學習新的動態(tài)模型，這種巨大的代價可以使得機器學習系統(tǒng)難以適應大規(guī)模數(shù)據(jù)以及隨時間和環(huán)境動態(tài)變化的需求，產(chǎn)生錯誤的學習結(jié)果。

2.1.4 模型安全

在模型方面，模型的不透明性、脆弱性、保密性均使得機器學習模型成為影響人工智能系統(tǒng)安全性的脆弱環(huán)節(jié)。不正確的目標函數(shù)會使得機器學習系統(tǒng)獲得錯誤的模型，造成AIA不能執(zhí)行設計者預想的特定功能；模型的不透明性使得學習模型做出錯誤決策而影響行為的正確性和安全性；模型對動態(tài)變換的環(huán)境的適應性(健壯性)也是模型影響系統(tǒng)安全的重要因素；訓練出的模型在對外服務的過程中可能被以對抗手段獲取而威脅系統(tǒng)安全。這些均使得機器學習的模型成為影響人工智能系統(tǒng)安全的脆弱環(huán)節(jié)。

在對抗環(huán)境中，攻擊者還可以對模型實施模型竊取攻擊和后門攻擊等。

(1)模型竊取攻擊是指攻擊者可以通過竊取存儲的神經(jīng)網(wǎng)絡模型的攻擊方法。在以機器學習作為一種服務而提供給用戶的系統(tǒng)中，攻擊者可以在不知道模型參數(shù)或訓練數(shù)據(jù)，而通過訪問以機器學習提供服務的系統(tǒng)黑盒子，對模型進行竊取，被竊取的模型進而可以為進一步的攻擊提供模型或功能參數(shù)，從而形成安全隱患。

(2)后門攻擊是指在模型中植入后門這樣一種重要的模型攻擊方法。由于模型本身的不透明性、不可解釋性等特點，所植入的后門難以被發(fā)現(xiàn)，而攻擊者卻可伺機啟動后門的功能，從而形成安全隱患。

2.1.5 協(xié)同引發(fā)的內(nèi)生安全

在協(xié)同方面，多無人系統(tǒng)是一個復雜的綜合體，其安全問題是多維度且耦合的。例如，作戰(zhàn)單元或后勤保障單元遭入侵，間諜節(jié)點潛伏集群內(nèi)加入作戰(zhàn)任務，作戰(zhàn)關鍵時刻倒戈或故障可導致集群任務失敗；人類指揮與自主無人系統(tǒng)的決策產(chǎn)生矛盾時，很難改變無人系統(tǒng)自身決策，從而導致溝通困難甚至貽誤戰(zhàn)機；在非全局立場上，自主無人系統(tǒng)之間會產(chǎn)生機與機的矛盾；對于多無人系統(tǒng)協(xié)同的數(shù)據(jù)傳輸和通信協(xié)議過程，未進行加密處理或加密強度較低時，可能會發(fā)生兩種類型的安全威脅。一種是探索性攻擊(Exploratory Attack)，即攻擊者不會干擾通信，但會嘗試提取可用信息。在這種情況下，傳輸?shù)拿舾行畔⒖赡苄孤?。另一種是誘發(fā)性攻擊(Causative Attack)。此時，攻擊者可能會嘗試攔截、修改、刪除甚至替換數(shù)據(jù)包。

2.1.6 運行環(huán)境引發(fā)的內(nèi)生安全

在系統(tǒng)和運行環(huán)境方面，智能系統(tǒng)本身的結(jié)構(gòu)和應用環(huán)境是影響系統(tǒng)安全性的重要因素。實現(xiàn)機器學習或智能決策和控制的計算系統(tǒng)中在軟硬件結(jié)構(gòu)不同的層次上存在安全隱患或脆弱環(huán)節(jié)，使得攻擊者可以利用這些隱患或脆弱環(huán)節(jié)對人工智能系統(tǒng)進行攻擊；在云計算體系結(jié)構(gòu)中存在大量的用戶，采用機器學習的方法進行模型訓練和智能推理，這些用戶共享分布式計算系統(tǒng)中的軟硬件資源，如服務器、復雜的軟件棧、存儲資源、計算框架等，這些資源易于受到攻擊而對模型的訓練和智能推理產(chǎn)生安全性威脅；在分布式計算環(huán)境中的聯(lián)邦學習框架中，多個用戶在分布式系統(tǒng)中進行合作訓練和推理，易于受到惡意參與者的模型攻擊造成安全隱患。

2.2 人工智能衍生安全

人工智能系統(tǒng)的衍生安全性問題涵蓋技術(shù)和工程系統(tǒng)、經(jīng)濟、社會、金融、醫(yī)療健康、國防和國家安全各個領域，是國家和社會在人工智能技術(shù)發(fā)展和應用中必須嚴肅面對的重大問題。

2.2.1 人工智能系統(tǒng)存在安全隱患、引發(fā)安全事故

人工智能系統(tǒng)因算法不成熟或訓練階段數(shù)據(jù)不完備等原因，導致其存在缺陷，這種缺陷即便經(jīng)過權(quán)威的安全評測也往往難以全部暴露出來，人工智能系統(tǒng)在投入實際使用時，就容易因自身失誤而引發(fā)人身安全問題。當前，具有移動能力和破壞能力的智能體，可引發(fā)的安全隱患尤為突出。2018年3月，由Uber運營的自動駕駛汽車在美國亞利桑那州坦佩市(Tempe)撞倒了一名女性并致其死亡，經(jīng)調(diào)查分析認為，這是因為自動駕駛的汽車“看到”了這名女性但沒有剎車，同時自動駕駛系統(tǒng)也沒有生成故障預警信息。僅根據(jù)AI事故數(shù)據(jù)庫AIID最新數(shù)據(jù)(截止到2021年1月5日)，AI智能體已經(jīng)引發(fā)近百種至上千個重要事故，包括自動駕駛汽車致人死傷、工廠機器人致人死傷、醫(yī)療事故致人死傷、偽造政治領袖演講、種族歧視言論、不健康內(nèi)容等安全危害事件；而利用人工智能技術(shù)造成的系統(tǒng)破壞、人身殺傷、隱私泄露、虛假身份識別風險、社會影響重大的輿論等事故也多有發(fā)生。

2.2.2 人工智能給人類社會治理帶來巨大沖擊

人工智能的發(fā)展完善和應用領域的不斷拓展，可能會對人類整體的文明產(chǎn)生巨大沖擊。當前，人工智能已經(jīng)廣泛應用于醫(yī)療設備與醫(yī)療診斷、工業(yè)自動控制、交通出行、金融服務等很多領域，正在幫助人類進行一些原來只屬于人類的工作。在經(jīng)濟沖擊方面，人工智能可以幫助人類感知、分析、理解和預測，用更經(jīng)濟、便捷的方法執(zhí)行任務，導致不再需要另行聘請有經(jīng)驗的專家，可以顯著減少勞務開支和各種相關費用；在社會沖擊方面，隨著技術(shù)的發(fā)展，機器已經(jīng)逐步替代人類從事部分繁瑣重復的工作或體力勞動，機器在給人們帶來福利的同時，也讓人們越來越擔憂自己的工作會被機器所替代，從而引發(fā)人們對于失業(yè)的擔憂。由此產(chǎn)生的大量失業(yè)者也將成為社會的不安定因素，可引發(fā)社會勞動和職業(yè)結(jié)構(gòu)的劇烈變化；在人類思維沖擊方面，隨著人工智能的發(fā)展，機器變得越來越“聰明”，人類越來越依靠機器，這在某種程度上會導致部分人群思維變得懶惰、認知能力下降。

2.2.3 智能體一旦失控將危及人類安全

智能體一旦同時具有行為能力以及破壞力、不可解釋的決策能力、可進化成自主系統(tǒng)的進化能力這三個失控要素，不排除其脫離人類控制和危及人類安全的可能。智能體失控造成的衍生安全問題，無疑是人類在發(fā)展人工智能時最關心的一個重要問題。已有一些學者開始思考“奇點”何時會到來，即人工智能的自我提升可能將會超過人類思想，導致智慧爆炸。盡管目前尚未出現(xiàn)真正意義上的人工智能失控事件，但新技術(shù)的發(fā)展很難保證在將來超級人工智能不會出現(xiàn)，屆時將如何保護人類，實現(xiàn)超級人工智能和人類的和諧共存，這是人工智能在未來發(fā)展道路上需要解決的主要問題之一。

對于人工智能的安全性問題，國際范圍內(nèi)包括學術(shù)界、國家和國際組織，以及著名的政治、經(jīng)濟、社會活動家，從科學與技術(shù)、社會、政治、經(jīng)濟國家關系和國家安全等方面進行了大量的討論。我國非常重視人工智能的安全問題，確定了在大力發(fā)展人工智能的同時，必須高度重視可能帶來的安全風險和挑戰(zhàn)，加強前瞻預防與約束引導，最大限度降低風險，確保人工智能安全、可靠、可控發(fā)展，為我國人工智能，尤其是人工智能安全工作，確定根本的指導原則。

3 挑戰(zhàn)與展望

目前，人工智能技術(shù)正處在高速發(fā)展時期，人工智能系統(tǒng)的安全面臨諸多挑戰(zhàn)。從技術(shù)的角度，機器學習在獎勵函數(shù)、數(shù)據(jù)變化以及算法探索等方面均存在安全性風險，隨著人工智能系統(tǒng)越來越自治，有可能產(chǎn)生無法預計、有害的行為以及安全性事故。未來，機器學習的開發(fā)應考慮安全性。從應用的角度，人工智能在技術(shù)轉(zhuǎn)化和應用上對網(wǎng)絡與信息系統(tǒng)安全、工程和技術(shù)系統(tǒng)、社會經(jīng)濟和就業(yè)結(jié)構(gòu)、法律倫理等領域產(chǎn)生巨大的沖擊，帶來諸多風險和挑戰(zhàn)。從國家安全的角度，由于我國人工智能研究基礎薄弱，技術(shù)的自主可控性存在挑戰(zhàn)。

3.1 獎勵函數(shù)的安全性

機器學習中不合理的獎勵函數(shù)將人工智能系統(tǒng)的運行偏離設計者的意圖。達到同樣的獎勵函數(shù)，可以有多種解決方案，而人工智能系統(tǒng)可自主選擇有效的、但不符合設計意圖的方案執(zhí)行，即人工智能系統(tǒng)與其設計者存在博弈。獎勵函數(shù)的不合理性可以導致連貫的、意想不到的行為，并有可能對現(xiàn)實世界的系統(tǒng)產(chǎn)生有害的影響。例如，遺傳算法[11]通?？梢暂敵鲆庀氩坏降问缴险_的問題解決方案?；贑ounterfactual Learning[12-13]方法和Contextual Bandits[15]方法的機器學習系統(tǒng)[12,14]的反饋回路被研究存在上述問題。上述不同領域案例的激增表明，獎勵函數(shù)的安全性已成為了普遍問題。因此，提高獎勵函數(shù)的安全性是一個重要的技術(shù)難題，提高獎勵函數(shù)的安全性是本領域重要的研究方向。

3.2 數(shù)據(jù)變化的安全性

人類發(fā)現(xiàn)自己在應對沒有經(jīng)驗的事情上會出錯，往往在意識到自己知識的缺陷時而避免風險。人工智能系統(tǒng)存在同樣的問題，例如基于干凈的語音，訓練得到語音識別系統(tǒng)，在處理有噪聲的語音時表現(xiàn)很差，但人工智能系統(tǒng)并不能意識到出錯的風險。這種錯誤常具有危害性，例如給出可信度很高但錯誤的醫(yī)療診斷。

人工智能系統(tǒng)沒有得到正確數(shù)據(jù)的訓練可能產(chǎn)生嚴重的錯誤和有害的行為。此外，在真實數(shù)據(jù)發(fā)生變化，與訓練數(shù)據(jù)不同時，則會產(chǎn)生意識不到的、有害的風險。人工智能的許多領域?qū)⒂龅缴鲜鰡栴}，包括變化檢測和異常檢測[15-17]、假設檢驗和遷移學習[18-20]等領域。因此，探索更好的方法來檢測數(shù)據(jù)變化引入的錯誤，并最終保證錯誤發(fā)生的概率在統(tǒng)計學上足夠小，對于構(gòu)建安全和可預測的系統(tǒng)至關重要，是人工智能安全重要的研究方向。

3.3 算法探索的安全性

在環(huán)境信息不足時，人工智能系統(tǒng)往往采取一些行動來了解所處的環(huán)境，這種行動稱為探索。由于不清楚行動的后果，探索可能是危險的，例如無人機可能會撞到地面、工業(yè)控制系統(tǒng)可能會造成嚴重問題等。

常見的探索策略，如Epsilon Greedy[21]或R-max[22]通過隨機選擇一個行動或所有未探索的行動進行探索，因此不會試圖避免這些危險情況。更復雜的勘探策略[27]采用連貫的在長時間尺度上的行動，與隨機行動相比，可預測更大的潛在危險。采用上述方法可預測危險的行為，并在探索時避免這些行為。

目前，人工智能系統(tǒng)相對簡單，設計者可分析出所有出錯的情況，通過簡單地硬編碼避免災難性行為。隨著人工智能系統(tǒng)越來越自治，在更復雜的領域中行動，預測每一個可能的災難性失敗可能變得越來越困難，探索的安全性問題在文獻[23]和文獻[24]中進行了討論。

因此，提出一些更具普遍意義、原則性的算法設計規(guī)則在探索中避免危險是非常必要的，也是人工智能算法自動探索安全性的重要研究方向。

3.4 自主可控性

我國在人工智能軟硬件基礎理論、核心關鍵技術(shù)上積累薄弱，缺乏重大原創(chuàng)科技成果，核心算法、芯片及基礎元器件等核心環(huán)節(jié)受制于人。目前，在深度學習開源平臺領域，已經(jīng)形成了谷歌的TensorFlow和臉書的PyTorch兩家獨大的格局。谷歌自研了TPU芯片，與其深度學習框架TensorFlow進行深度融合，以“深度學習框架+人工智能芯片”的模式，構(gòu)建智能時代新的“Wintel”聯(lián)盟，試圖掌控智能時代新的話語權(quán)。華為的解決方案是通過自主設計AI計算框架MindSpore，自主研發(fā)高性能AI芯片，自定義算子開發(fā)工具等策略來實現(xiàn)對AI體系的全方位掌控。

3.5 對我國的挑戰(zhàn)

在核心算法方面，目前還沒有提出像CNN、GAN等國際上流行的原創(chuàng)算法。在芯片方面，我國雖然也出現(xiàn)了寒武紀等芯片，但在影響力方面仍然與國外頂尖廠商有相當差距；芯片制造、封裝等能力在國際上的競爭力更加薄弱。一方面，由于這些開源框架、組件、算法、芯片都來自于美國等發(fā)達國家，我國人工智能的安全技術(shù)要基于這些開展研究和部署；另一方面，由于沒有經(jīng)過我國嚴格的測試管理和安全認證，國外這些開源框架、組件、算法可能存在的漏洞和后門等安全隱患一旦被攻擊者惡意利用，可危及人工智能產(chǎn)品和應用的安全性而導致重大財產(chǎn)損失和惡劣社會影響。

3.6 法律和倫理問題

人工智能技術(shù)在社會領域的滲透逐漸深入，給當前社會的法律法規(guī)和基本的公共管理秩序帶來了新的危機。新的社會現(xiàn)象的出現(xiàn)，超出了原有的法律法規(guī)在設計時的理念邊界。人工智能的發(fā)展對現(xiàn)有法律體系的沖擊使得現(xiàn)行法律監(jiān)管無法及時有效回應智能技術(shù)帶來的挑戰(zhàn)。人工智能技術(shù)和倫理安全的法律和法規(guī)的缺失，可能導致人工智能技術(shù)的發(fā)展和產(chǎn)品的開發(fā)應用失控失序，危及公民權(quán)利、社會福祉、公共秩序、國家安全等嚴重態(tài)勢。在人工智能倫理安全方面，近期更多的是需要應對人工智能在算法歧視和決策偏見、人工智能技術(shù)濫用等風險，遠期則需要防范其可能產(chǎn)生超級智能而帶來的不可控性以及對人類主體性的沖擊。在上述原則基礎上，急需構(gòu)建面向人民群眾、面向現(xiàn)代化、面向世界的人工智能倫理規(guī)范和法律法規(guī)。

4 結(jié)束語

本文介紹了人工智能技術(shù)的概念、技術(shù)構(gòu)成、發(fā)展歷程，分析了該項技術(shù)的發(fā)展現(xiàn)狀和存在的技術(shù)挑戰(zhàn)，特別是安全性挑戰(zhàn)。在技術(shù)上，分析了機器學習由于獎勵函數(shù)、數(shù)據(jù)變化以及算法探索等方面設計不當而產(chǎn)生的非預期的有害事故，指出防止此類事故的重要性，即人們對人工智能系統(tǒng)的安全性如果失去信心，更大事故的風險將更加難以估量。人工智能系統(tǒng)自治日益增長的趨勢表明，需要制定普遍的規(guī)則來防止事故產(chǎn)生。在應用上，提出了倫理和法制等方面值得研究和解決的問題。并從國家安全角度，指出加強技術(shù)的自主可控性。隨著計算機算力的提升，以及機器學習算法的進步，加速了人工智能技術(shù)的快速發(fā)展，已在一些領域超過人類自然習得智能，并在更多領域成為一種趨勢，最終將變革人類社會發(fā)展的方向。