人工智能系統(tǒng)發(fā)展安全風(fēng)險(xiǎn)及防控

張 萌

（太極計(jì)算機(jī)股份有限公司，北京 100102）

自1956 年美國達(dá)特茅斯學(xué)院學(xué)術(shù)研討會召開之后，人工智能成為了一個獨(dú)立的學(xué)術(shù)領(lǐng)域，如今，人工智能已經(jīng)發(fā)展了近70 年。 相關(guān)技術(shù)日臻成熟，未來還會有更多智能程序和機(jī)器人成為人們重要的工作助手，承擔(dān)危險(xiǎn)的或具有重復(fù)性的工作。人工智能技術(shù)的發(fā)展給人類帶來了巨大的便利， 同時(shí)也給人類生活帶來了新的安全風(fēng)險(xiǎn)。

1 人工智能系統(tǒng)發(fā)展的主要風(fēng)險(xiǎn)

1.1 技術(shù)濫用引發(fā)的安全威脅

對于人類而言， 人工智能的價(jià)值主要取決于人工智能的應(yīng)用和管理。 犯罪分子運(yùn)用人工智能技術(shù)就有可能給人類帶來安全威脅。例如，黑客運(yùn)用人工智能技術(shù)進(jìn)行網(wǎng)絡(luò)攻擊，由于攻擊軟件實(shí)現(xiàn)智能化之后，能夠?qū)W習(xí)和模仿用戶行為，不斷對攻擊方法進(jìn)行調(diào)整，就能夠在被攻擊對象的信息系統(tǒng)中留存很長時(shí)間。 黑客還有可能運(yùn)用人工智能技術(shù)竊取他人的私密信息， 定制用戶的閱讀內(nèi)容，左右民眾信息獲取，繼而影響他人的判斷和決策。

1.2 技術(shù)或管理缺陷導(dǎo)致的安全問題

人工智能技術(shù)還在不斷發(fā)展， 目前還并沒有完全成熟。 部分技術(shù)缺陷的存在，有可能引起異常現(xiàn)象，給人類帶來安全風(fēng)險(xiǎn)。例如，人工智能技術(shù)的自我學(xué)習(xí)是完全的黑箱模式，因此，構(gòu)建的模型有可能并不具備較好的解釋能力，無人操作系統(tǒng)、機(jī)器人的設(shè)計(jì)或者制造出現(xiàn)漏洞，就有可能在使用的過程中發(fā)生安全風(fēng)險(xiǎn)。假如沒有完善的安全防護(hù)措施，機(jī)器人、無人駕駛車輛以及其他運(yùn)用人工智能技術(shù)的設(shè)備裝置就有可能被犯罪分子控制，做出危害人類的行為。

1.3 未來的超級智能引發(fā)的安全風(fēng)險(xiǎn)

未來當(dāng)人工智能技術(shù)發(fā)展到很高的水平， 具備自我演化能力之后， 有可能形成與人類高度相似的自我意識，就有可能威脅到人類的生存。 目前，已經(jīng)有不少研究人員正在研發(fā)具有認(rèn)知能力的新智能設(shè)備， 例如機(jī)器意識和機(jī)器情感。 雖然人們還并不明確超級智能未來是否真的能夠?qū)崿F(xiàn)，但是在沒有考慮到安全風(fēng)險(xiǎn)、沒有采取充分措施應(yīng)對之前，超級智能一旦實(shí)現(xiàn)，就有可能全面爆發(fā)安全風(fēng)險(xiǎn)。

1.4 數(shù)據(jù)化帶來的隱私安全風(fēng)險(xiǎn)

隱私問題是開發(fā)和利用數(shù)據(jù)資源面臨的最重要威脅。 首先，采集數(shù)據(jù)的過程中，可能出現(xiàn)侵犯他人隱私信息的情況。智能系統(tǒng)保存著大量人類的生理特征，還可以基于個體的行為偏好，對溫度、燈光、音樂等進(jìn)行調(diào)節(jié)，根據(jù)鍛煉、睡眠、飲食和體征等對人體健康狀況進(jìn)行分析和判斷。智能系統(tǒng)大量掌握個人的隱私信息，對個人的了解程度甚至超過本人。 如果這些信息被人出于商業(yè)目的非法利用， 就會引起隱私安全問題。 其次，云計(jì)算技術(shù)也有可能帶來安全風(fēng)險(xiǎn)。云存儲技術(shù)給人們提供了廣闊的存儲空間， 但是在云端存儲的隱私信息也很容易受到攻擊和威脅。 因?yàn)槿斯ぶ悄芗夹g(shù)具有較強(qiáng)的計(jì)算能力，當(dāng)前云存儲、云計(jì)算已經(jīng)成為許多系統(tǒng)普遍應(yīng)用的技術(shù)， 如何有效地保管好云端存儲的信息已經(jīng)成為非常重要的問題。最后，知識抽取過程中也可能出現(xiàn)隱私安全風(fēng)險(xiǎn)。 當(dāng)前人們有了越來越高效的知識抽取技術(shù)可以將看起來沒有任何關(guān)系的數(shù)據(jù)信息整合起來，總結(jié)出個體性格或行為特征，給隱私安全造成了較大風(fēng)險(xiǎn)。

2 人工智能安全風(fēng)險(xiǎn)防控的基本價(jià)值準(zhǔn)則

加強(qiáng)對人工智能的治理和監(jiān)管， 已經(jīng)成為人類的共識，各個國家政府、研究人員、國際組織以及許多商業(yè)企業(yè)都提出了對人工智能進(jìn)行治理和監(jiān)管的基本原則。

治理和監(jiān)管人工智能的基本價(jià)值準(zhǔn)則是人本主義。 首先，應(yīng)該確保所有人工智能系統(tǒng)都被人所控制。無論哪一項(xiàng)技術(shù)都是服務(wù)人類的， 人工智能技術(shù)的開發(fā)應(yīng)用也應(yīng)該不能脫離人類的控制， 應(yīng)避免人類被超級人工智能技術(shù)脅迫或者控制。決策的結(jié)果以及過程，都不應(yīng)該全部交給人工智能技術(shù)。所以，有必要進(jìn)一步增強(qiáng)人們管理和控制人工智能系統(tǒng)的能力， 確保在系統(tǒng)運(yùn)行期間以及系統(tǒng)運(yùn)行之后都支持人類干預(yù)。其次，人工智能系統(tǒng)管理和治理的核心是確保人的自覺權(quán)。對人工智能技術(shù)的管理和治理必須確保人類充分了解人工智能技術(shù)， 人類能夠自主決定人工智能系統(tǒng)的設(shè)計(jì)以及應(yīng)用，不應(yīng)該將決策交給技術(shù)，應(yīng)避免出現(xiàn)個人被迫接受人工智能系統(tǒng)的現(xiàn)象?？傮w而言，人工智能系統(tǒng)采集個人信息以及運(yùn)用可能涉及隱私問題的信息都應(yīng)該確?！?知情同意”“ 正當(dāng)合法”。 應(yīng)該交給隱私信息的所有人決定是否運(yùn)用人工智能系統(tǒng)提供的服務(wù)或產(chǎn)品，而且應(yīng)該保證個人有撤回此服務(wù)和產(chǎn)品的決策權(quán)，以便更好地保障人們對于自身隱私信息的主權(quán)。最后，人工智能技術(shù)以及系統(tǒng)的應(yīng)用都應(yīng)該遵循人類倫理的基本準(zhǔn)則，其核心目標(biāo)應(yīng)該是促進(jìn)人類福祉。 所以，應(yīng)該確保人工智能系統(tǒng)從設(shè)計(jì)到開發(fā)應(yīng)用的全部過程都嚴(yán)格遵循人類倫理的基本準(zhǔn)則， 不得設(shè)計(jì)和生產(chǎn)對人的尊嚴(yán)以及人格權(quán)有侵害的產(chǎn)品或系統(tǒng)， 應(yīng)該保障個體的數(shù)據(jù)以及隱私安全，保障商業(yè)公平和消費(fèi)者權(quán)益，保障社會公正平等，保障倫理價(jià)值，建立可靠、安全的人工智能管理和治理體系。

3 人工智能安全風(fēng)險(xiǎn)防控的基本原則

為了保障人本主義基本價(jià)值準(zhǔn)則的實(shí)現(xiàn)， 本文認(rèn)為，人工智能風(fēng)險(xiǎn)防控應(yīng)該遵循下述原則。

3.1 安全性原則

人工智能系統(tǒng)的設(shè)計(jì)以及應(yīng)用， 首先應(yīng)該確保安全風(fēng)險(xiǎn)的最小化。 使用人工智能技術(shù)和系統(tǒng)者應(yīng)采取措施，有效保障用戶數(shù)據(jù)、隱私以及網(wǎng)絡(luò)信息安全。 人工智能技術(shù)和系統(tǒng)風(fēng)險(xiǎn)防控的關(guān)鍵在于運(yùn)用組織、技術(shù)以及管理制度等多種方法， 使得人工智能技術(shù)和系統(tǒng)應(yīng)用的安全性。所以，有必要針對人工智能技術(shù)和系統(tǒng)建立全生命周期的治理以及風(fēng)險(xiǎn)防控體系， 及時(shí)發(fā)現(xiàn)人工智能技術(shù)和系統(tǒng)應(yīng)用過程中的風(fēng)險(xiǎn)， 加以糾正和防控。在實(shí)際出現(xiàn)風(fēng)險(xiǎn)事件時(shí)，能夠及時(shí)有效地予以處理，確保人工智能技術(shù)應(yīng)用和系統(tǒng)應(yīng)用的動態(tài)安全。

3.2 透明度原則

人工智能系統(tǒng)的應(yīng)用開發(fā)需要首先解決智能黑箱問題，因此，有必要設(shè)定透明度原則。設(shè)定透明度原則，不僅能夠更好地幫助監(jiān)管機(jī)構(gòu)和運(yùn)行主體進(jìn)一步了解人工智能系統(tǒng)運(yùn)行的過程， 還能夠及時(shí)有效地發(fā)現(xiàn)其中的問題和風(fēng)險(xiǎn)， 因此也能夠進(jìn)一步強(qiáng)化消費(fèi)者對于人工智能系統(tǒng)應(yīng)用和開發(fā)的信任。 透明度原則的設(shè)定首先應(yīng)該確保用戶對于算法數(shù)據(jù)以及規(guī)則的知情權(quán)。在人工智能系統(tǒng)運(yùn)行和應(yīng)用過程中， 消費(fèi)者應(yīng)該明確知曉自身接觸的產(chǎn)品和服務(wù)來自人工智能系統(tǒng)， 確保受系統(tǒng)影響的各方面主體都能夠明確人工智能系統(tǒng)運(yùn)行結(jié)果得出的過程。此外，應(yīng)該確保對于人工智能系統(tǒng)算法的過程、所構(gòu)建模型以及所得結(jié)論的充分解釋，要求向當(dāng)事人充分解釋算法的運(yùn)行以及決策形成的過程，消除對于結(jié)果的質(zhì)疑。

3.3 公平性原則

人工智能系統(tǒng)的應(yīng)用開發(fā)需要確保公平原則，盡可能消除不公平等現(xiàn)象。 人工智能系統(tǒng)的應(yīng)用開發(fā)需要保證得出的決策不會對特定群體或者個人形成歧視或偏見， 導(dǎo)致此類群體或者特定個人不能公平地參與社會經(jīng)濟(jì)活動，或者處在明顯不利地位。人工智能系統(tǒng)的開發(fā)應(yīng)用應(yīng)該保證所有人的公平， 不得引起對特定群體或個人的歧視， 不得損害社會正義和個體以及群體的尊嚴(yán)。

3.4 問責(zé)性原則

人工智能系統(tǒng)廣泛影響著不同的主體， 其中主要法律責(zé)任應(yīng)該由使用算法程序的主體承擔(dān)。 問責(zé)性原則強(qiáng)調(diào)的是使用人工智能系統(tǒng)的主體必須要明確算法的邏輯、數(shù)據(jù)以及過程，對于程序使用結(jié)果所造成的影響負(fù)責(zé)。 因自身過錯損害社會經(jīng)濟(jì)的行為都需承擔(dān)行政責(zé)任或法律責(zé)任。在此基礎(chǔ)上，需要進(jìn)一步強(qiáng)化開發(fā)人工智能系統(tǒng)人員以及系統(tǒng)服務(wù)對象也就是消費(fèi)者的治理責(zé)任，形成多方面合作的治理體系。

4 建立全生命周期人工智能安全風(fēng)險(xiǎn)防控體系

有必要對安全風(fēng)險(xiǎn)進(jìn)行分級，實(shí)行差異化管理，為了保證人工智能系統(tǒng)風(fēng)險(xiǎn)的有效監(jiān)管和防控， 需對人工智能進(jìn)行全生命周期的風(fēng)險(xiǎn)防控。

4.1 以風(fēng)險(xiǎn)為基礎(chǔ)的分級監(jiān)管

以風(fēng)險(xiǎn)分級為基礎(chǔ)， 對人工智能系統(tǒng)進(jìn)行風(fēng)險(xiǎn)防控。首先，需要針對人工智能系統(tǒng)的風(fēng)險(xiǎn)建立科學(xué)合理的評估體系，對各類人工智能系統(tǒng)都進(jìn)行風(fēng)險(xiǎn)評估。基于評估得出的結(jié)論， 將人工智能系統(tǒng)劃分為不同的風(fēng)險(xiǎn)等級，本文認(rèn)為可以劃分為低風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)以及不可接受風(fēng)險(xiǎn)級別。對于那些可能對人類倫理、生命安全以及社會經(jīng)濟(jì)安全造成嚴(yán)重?fù)p害的人工智能系統(tǒng)， 均定義為不可接受風(fēng)險(xiǎn)級別系統(tǒng)， 政府理應(yīng)通過立法予以禁止，設(shè)定對人工智能系統(tǒng)開發(fā)應(yīng)用的紅線和禁區(qū)。對于那些高風(fēng)險(xiǎn)系統(tǒng)， 政府需要強(qiáng)化對此類系統(tǒng)的事前認(rèn)證以及使用準(zhǔn)入管理， 需要確認(rèn)應(yīng)用此類系統(tǒng)的主體達(dá)到國家要求， 嚴(yán)格遵循法律規(guī)定的基本原則和履行相關(guān)管理義務(wù)，加強(qiáng)對于違規(guī)違法的處罰以及監(jiān)督。最后，對于那些風(fēng)險(xiǎn)較低的人工智能系統(tǒng)，政府可以在一定程度上放開管制， 強(qiáng)調(diào)使用者確保對系統(tǒng)的動態(tài)監(jiān)管以及使用過程的高度透明， 鼓勵和引導(dǎo)使用者合規(guī)合法地使用人工智能系統(tǒng)， 鼓勵使用者和企業(yè)實(shí)施質(zhì)量認(rèn)證，因此得到消費(fèi)者的認(rèn)可和信賴。

4.2 建立一體化的人工智能系統(tǒng)政府監(jiān)管體制

針對人工智能系統(tǒng)建立完善的政府監(jiān)管體制，首先需要對人工智能系統(tǒng)的安全風(fēng)險(xiǎn)建立明確的評估標(biāo)準(zhǔn)、認(rèn)證制度。 為了避免風(fēng)險(xiǎn)真正發(fā)生，盡可能降低風(fēng)險(xiǎn)發(fā)生后的損失， 有必要對人工智能系統(tǒng)的設(shè)計(jì)應(yīng)用制定質(zhì)量安全統(tǒng)一標(biāo)準(zhǔn)以及必要的認(rèn)證和達(dá)標(biāo)管理制度。對于高風(fēng)險(xiǎn)人工智能系統(tǒng)，需要確保嚴(yán)格的認(rèn)證和審批， 需組建第三方團(tuán)隊(duì)研究人工智能系統(tǒng)安全認(rèn)證以及安全評估制度。 所有高風(fēng)險(xiǎn)人工智能系統(tǒng)均需由專業(yè)的第三方團(tuán)隊(duì)對系統(tǒng)安全風(fēng)險(xiǎn)進(jìn)行評估和認(rèn)證，所有未達(dá)標(biāo)或者未通過評估的人工智能系統(tǒng)均不得投入使用。

其次，需要加強(qiáng)對人工智能系統(tǒng)風(fēng)險(xiǎn)的過程管理。為此需要強(qiáng)化運(yùn)用人工智能系統(tǒng)組織和企業(yè)機(jī)構(gòu)的主體責(zé)任， 要求此類機(jī)構(gòu)和組織內(nèi)部針對人工智能系統(tǒng)安全風(fēng)險(xiǎn)的問題建立專門的組織機(jī)構(gòu)以及制定有效的管理制度和措施， 重點(diǎn)加強(qiáng)監(jiān)管機(jī)構(gòu)的動態(tài)監(jiān)測以及合規(guī)審計(jì)。 考慮到人工智能系統(tǒng)本身具有動態(tài)優(yōu)化的特征， 一次審計(jì)或者檢查所得的結(jié)論經(jīng)過一段時(shí)間之后就會失效。所以，有必要持續(xù)對人工智能系統(tǒng)進(jìn)行全生命周期的監(jiān)控以及動態(tài)審計(jì)。 算法審計(jì)和監(jiān)測的關(guān)鍵在于對算法運(yùn)行過程中的相關(guān)因素、權(quán)重?cái)?shù)值分配、數(shù)據(jù)質(zhì)量以及數(shù)據(jù)，結(jié)論和事實(shí)之間的關(guān)系，對使用算法的主體以及應(yīng)用過程中的合規(guī)、 合法性進(jìn)行監(jiān)管和動態(tài)審計(jì)。為了便于監(jiān)管機(jī)構(gòu)的監(jiān)管以及動態(tài)審計(jì)，使用人工智能系統(tǒng)的主體必須向監(jiān)管機(jī)構(gòu)開放算法運(yùn)行機(jī)制、源代碼、運(yùn)行結(jié)果以及相關(guān)數(shù)據(jù)界面。 考慮到算法審計(jì)對于工作人員的專業(yè)性要求很高， 監(jiān)管機(jī)構(gòu)可以委托、授權(quán)第三方專業(yè)機(jī)構(gòu)來完成這項(xiàng)工作。 不過，為了保證人工智能系統(tǒng)使用者本身的合法權(quán)益以及算法知識產(chǎn)權(quán)， 被授權(quán)的第三方專業(yè)機(jī)構(gòu)以及政府監(jiān)管機(jī)構(gòu)都需對此系統(tǒng)保密。

最后， 有必要加強(qiáng)對于違法違規(guī)行為的追責(zé)和懲處。 強(qiáng)化對于違反人工智能系統(tǒng)安全相關(guān)法規(guī)行為的懲處在于下列幾點(diǎn)。第一，明確使用人工智能系統(tǒng)以及設(shè)計(jì)人工智能系統(tǒng)主體的法律責(zé)任。 雖然人工智能系統(tǒng)和算法并行是計(jì)算機(jī)基于智能技術(shù)自主學(xué)習(xí)并且完成的，整個過程可能并沒有人干預(yù)。 然而，使用人工智能技術(shù)和系統(tǒng)的主體也不能因此免責(zé)， 原因在于此類主體理應(yīng)承擔(dān)確保算法、技術(shù)可信而且安全的責(zé)任。第二， 對于那些違反安全治理規(guī)則甚至踩踏紅線者必須予以嚴(yán)厲處罰。提高犯罪者的違法成本，就能夠在很大程度上遏制經(jīng)濟(jì)主體的違法違規(guī)現(xiàn)象。 如歐盟發(fā)布的《 人工智能法》（ Artificial Intelligence Act） 對于違規(guī)違法企業(yè)懲處最高額度為全球營業(yè)總額的6%或3 000萬歐元。根據(jù)我國發(fā)布的《 中華人民共和國網(wǎng)絡(luò)安全法（ 含草案說明）》《 中華人民共和國數(shù)據(jù)安全法（ 含草案說明）》等設(shè)計(jì)了整改、約談、限制營業(yè)資格、罰款以及刑事責(zé)任等不同的措施， 未來還需進(jìn)一步明確適用條件。 尤其是應(yīng)該去除罰款上限，罰款上不封頂，制定更加明確更能夠遏制企業(yè)違法違規(guī)行為的罰款制度。 例如，可以以企業(yè)營業(yè)額為基數(shù)，設(shè)定一定比例來計(jì)算罰款。 最后，有必要制定民事?lián)p害賠償制度，對那些違規(guī)違法運(yùn)用人工智能技術(shù)或系統(tǒng)侵害公民個人權(quán)益行為給予民事?lián)p害賠償。

4.3 強(qiáng)化人工智能使用者風(fēng)險(xiǎn)治理第一責(zé)任人角色

人工智能系統(tǒng)使用者是管控其風(fēng)險(xiǎn)的第一責(zé)任人，人工智能系統(tǒng)風(fēng)險(xiǎn)可能與不同的主體有關(guān)。怎樣在不同主體間進(jìn)行責(zé)任配置， 是監(jiān)管人工智能系統(tǒng)的難題。為了實(shí)現(xiàn)最好的防范效果，在配置責(zé)任時(shí)應(yīng)該始終保持最高效率實(shí)現(xiàn)最佳結(jié)果目標(biāo)的原則。 使用高風(fēng)險(xiǎn)人工智能技術(shù)和系統(tǒng)的主體， 必須要以嚴(yán)格履行公開透明相關(guān)信息的責(zé)任， 有必要進(jìn)一步強(qiáng)化對于使用人工智能技術(shù)和系統(tǒng)主體的數(shù)據(jù)治理義務(wù)。 使用人工智能技術(shù)和系統(tǒng)的主體有必要建立全生命周期風(fēng)險(xiǎn)的預(yù)防和控制制度以及工作體系。 考慮到人工智能技術(shù)和系統(tǒng)具有動態(tài)性，風(fēng)險(xiǎn)防控系統(tǒng)以及體制，也有必要不斷根據(jù)人工智能技術(shù)和系統(tǒng)全生命周期的動態(tài)變化予以更新。

5 結(jié)束語

人類對于新興事物的未知感可能引起人們的恐懼。 人工智能技術(shù)就是一項(xiàng)具有突出未知性的新興技術(shù)，而且人工智能技術(shù)和系統(tǒng)所具備的未知性，有可能超出人類思維和想象。未來不斷進(jìn)步出現(xiàn)的新技術(shù)，有可能增強(qiáng)人們對于人工智能技術(shù)和信息系統(tǒng)學(xué)習(xí)的認(rèn)識。 人工智能技術(shù)究其本質(zhì)而言，是模式匹配器。 人工智能技術(shù)和系統(tǒng)也有自身的漏洞， 無論企業(yè)發(fā)展到哪一個階段，人工系統(tǒng)和技術(shù)都有可能被污染，或者遭到操縱。 人工智能的漏洞天然存在，無法消除，人工智能系統(tǒng)的攻擊不可能通過簡單的打補(bǔ)丁完全解決。 本文總結(jié)分析了人工智能技術(shù)和系統(tǒng)可能發(fā)生的安全風(fēng)險(xiǎn)， 指出了防控人工智能技術(shù)和系統(tǒng)風(fēng)險(xiǎn)的基本價(jià)值準(zhǔn)則，并給出了具體的建議。