美國(guó)《人工智能風(fēng)險(xiǎn)管理框架》解讀

孔勇 李美桃 王偉 鮑旭華

美國(guó)人工智能公司OpenAI于2022年11月30日開(kāi)放測(cè)試ChatGPT，此后ChatGPT風(fēng)靡全球。隨著全球人工智能規(guī)?；ㄔO(shè)和應(yīng)用加速，人工智能基礎(chǔ)設(shè)施、設(shè)計(jì)研發(fā)以及融合應(yīng)用面臨的安全風(fēng)險(xiǎn)日益凸顯。

2023年1月26日，美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)研究院（NIST）正式發(fā)布《人工智能風(fēng)險(xiǎn)管理框架》的1.0版本（以下簡(jiǎn)稱“AI框架”），旨在為設(shè)計(jì)、開(kāi)發(fā)、部署和使用人工智能系統(tǒng)的個(gè)人和組織提供指南，以幫助管理人工智能的諸多風(fēng)險(xiǎn)，并促進(jìn)開(kāi)發(fā)和使用可信賴和負(fù)責(zé)任的人工智能系統(tǒng)，降低應(yīng)用人工智能技術(shù)的風(fēng)險(xiǎn)。該AI框架從2021年7月開(kāi)始籌備，歷時(shí)18個(gè)月，經(jīng)過(guò)多次草案修改，最終正式發(fā)布。

一、框架概述

AI框架給出了人工智能系統(tǒng)的定義，概述了可信賴人工智能系統(tǒng)的特征，明確了人工智能系統(tǒng)與傳統(tǒng)軟件相比新增的許多獨(dú)特的風(fēng)險(xiǎn)。AI框架主要內(nèi)容包括兩部分：第一部分探討人工智能相關(guān)風(fēng)險(xiǎn)的梳理和框架構(gòu)建方法，第二部分介紹該框架的四個(gè)核心功能，即治理、映射、測(cè)量和管理，以幫助各個(gè)組織在實(shí)踐中解決人工智能系統(tǒng)存在的風(fēng)險(xiǎn)。

（一）人工智能定義與其獨(dú)特風(fēng)險(xiǎn)

框架延續(xù)了經(jīng)合組織（OECD）對(duì)人工智能的定義，將人工智能系統(tǒng)定義為：一個(gè)基于機(jī)器的工程或系統(tǒng)，其可以針對(duì)特定目標(biāo)生成預(yù)測(cè)、建議或決策去影響真實(shí)或虛擬環(huán)境，并可在不同程度上自治運(yùn)行。

盡管已經(jīng)有許多技術(shù)標(biāo)準(zhǔn)和最佳實(shí)踐可以幫助減輕傳統(tǒng)軟件信息系統(tǒng)的風(fēng)險(xiǎn)，但人工智能系統(tǒng)帶來(lái)的安全風(fēng)險(xiǎn)在許多方面都是獨(dú)特的。與傳統(tǒng)軟件相比，人工智能系統(tǒng)新增的特定風(fēng)險(xiǎn)包括：

用于構(gòu)建人工智能系統(tǒng)的數(shù)據(jù)可能不是人工智能系統(tǒng)預(yù)期用途的真實(shí)或合理表示。此外，有害的偏見(jiàn)和數(shù)據(jù)質(zhì)量問(wèn)題可能會(huì)影響人工智能系統(tǒng)的可信度，從而導(dǎo)致負(fù)面影響。

人工智能系統(tǒng)很大程度依賴訓(xùn)練任務(wù)的數(shù)據(jù)，通常與此類數(shù)據(jù)的數(shù)量增加具有較大相關(guān)性。同時(shí)，用于訓(xùn)練人工智能系統(tǒng)的數(shù)據(jù)集可能會(huì)脫離其原始環(huán)境，或者可能會(huì)相對(duì)于應(yīng)用環(huán)境變得陳舊或過(guò)時(shí)。

人工智能系統(tǒng)增強(qiáng)的數(shù)據(jù)聚合能力帶來(lái)的隱私風(fēng)險(xiǎn)。

訓(xùn)練期間有意或無(wú)意的改變可能會(huì)從根本上改變?nèi)斯ぶ悄芟到y(tǒng)的性能。使用預(yù)先訓(xùn)練的模型來(lái)推進(jìn)研究并提高績(jī)效，也會(huì)增加統(tǒng)計(jì)不確定性水平，并導(dǎo)致偏差管理、科學(xué)有效性和再現(xiàn)性問(wèn)題。

增加了軟件透明度和對(duì)再現(xiàn)性的擔(dān)憂。無(wú)法預(yù)測(cè)或檢測(cè)基于人工智能的系統(tǒng)超出統(tǒng)計(jì)指標(biāo)的副作用。由于數(shù)據(jù)、模型或概念漂移，人工智能系統(tǒng)可能需要更頻繁地維護(hù)和觸發(fā)來(lái)進(jìn)行糾正性維護(hù)。

（二） 可信賴人工智能特征

AI框架闡明了可信賴的人工智能系統(tǒng)的7個(gè)特點(diǎn)，包括：有效和可靠、功能安全、安全和韌性、負(fù)責(zé)任和透明、可理解性和可解釋性、隱私增強(qiáng)、公平和有害偏見(jiàn)管理。

1. 有效和可靠

有效和可靠是可信的必要條件，也是其他可信特征的基礎(chǔ)。國(guó)際標(biāo)準(zhǔn)ISO/IEC TS 5723：2022《可信度詞匯》中將“有效性”定義為“通過(guò)提供客觀證據(jù)，確認(rèn)特定預(yù)期用途或應(yīng)用的要求已得到滿足”。人工智能系統(tǒng)的應(yīng)用部署設(shè)計(jì)本身存在問(wèn)題，或?qū)Τ銎溆?xùn)練范圍的數(shù)據(jù)和設(shè)置的通用性較差，則會(huì)產(chǎn)生人工智能的負(fù)面風(fēng)險(xiǎn)，降低其可信度?！翱煽啃浴笔侨斯ぶ悄芟到y(tǒng)在預(yù)期使用條件下和給定時(shí)間段（包括系統(tǒng)的整個(gè)壽命周期）內(nèi)運(yùn)行的總體正確性的目標(biāo)。

2. 功能安全

功能安全是指人工智能系統(tǒng)應(yīng)“在規(guī)定的條件下，不會(huì)導(dǎo)致人類生命、健康、財(cái)產(chǎn)或環(huán)境受到威脅”。不同類型的人工智能安全風(fēng)險(xiǎn)的管理工作需要基于所呈現(xiàn)的潛在風(fēng)險(xiǎn)的背景和嚴(yán)重程度進(jìn)行定制。構(gòu)成嚴(yán)重傷害或死亡的潛在安全風(fēng)險(xiǎn)需要最緊急的優(yōu)先順序和最徹底的風(fēng)險(xiǎn)管理流程。

3. 安全和韌性

如果人工智能系統(tǒng)及其部署的生態(tài)系統(tǒng)能夠承受環(huán)境或使用中的意外不利事件或意外變化，或者能夠在內(nèi)部和外部變化面前保持其功能和結(jié)構(gòu)，并在必要時(shí)能夠平穩(wěn)地降低安全級(jí)別，則可以說(shuō)人工智能系統(tǒng)具有韌性。常見(jiàn)的安全問(wèn)題涉及對(duì)抗性示例、數(shù)據(jù)中毒以及通過(guò)人工智能系統(tǒng)端點(diǎn)過(guò)濾模型、訓(xùn)練數(shù)據(jù)等。

4. 負(fù)責(zé)任和透明

可信賴的人工智能取決于問(wèn)責(zé)制，問(wèn)責(zé)以透明度為前提。透明度反映了與人工智能系統(tǒng)交互的個(gè)人可以獲得關(guān)于人工智能系統(tǒng)及其輸出的信息的程度，無(wú)論他們是否意識(shí)到自己正在這樣做。有意義的透明度提供了基于人工智能生命周期階段的適當(dāng)級(jí)別的信息訪問(wèn)。當(dāng)人工智能系統(tǒng)發(fā)生不正確或?qū)е仑?fù)面影響的相關(guān)問(wèn)題時(shí)，透明度對(duì)于采取何種補(bǔ)救措施是至關(guān)重要的。透明系統(tǒng)不一定是準(zhǔn)確、隱私增強(qiáng)、安全或公平的系統(tǒng)。然而，一個(gè)不透明的系統(tǒng)很難具有以上的準(zhǔn)確、安全等特征。因此，負(fù)責(zé)任和透明的特性與其他特征都相關(guān)。

5. 可理解性與可解釋性

可理解性指的是人工智能系統(tǒng)運(yùn)行機(jī)制的表示，而可解釋性是指人工智能系統(tǒng)輸出在其設(shè)計(jì)功能目的背景下的含義。可理解性和可解釋性共同幫助使用或監(jiān)督人工智能系統(tǒng)的人員以及人工智能系統(tǒng)用戶深入了解系統(tǒng)的功能和可靠性，包括其輸出的合理性?？衫斫夂涂山忉尩娜斯ぶ悄芟到y(tǒng)提供的信息將幫助最終用戶了解人工智能系統(tǒng)的目的和潛在影響。

6. 隱私增強(qiáng)

隱私增強(qiáng)一般指有助于維護(hù)人類自主、身份和尊嚴(yán)的規(guī)范和做法。這些規(guī)范和做法通常涉及免于入侵、限制觀察或個(gè)人機(jī)構(gòu)同意披露或控制其身份的各個(gè)方面。與隱私相關(guān)的風(fēng)險(xiǎn)可能會(huì)影響安全性、偏見(jiàn)和透明度，并與這些其他特征進(jìn)行權(quán)衡。人工智能系統(tǒng)的特定技術(shù)特征可能會(huì)減少隱私保護(hù)。人工智能系統(tǒng)還可以通過(guò)允許推斷來(lái)識(shí)別個(gè)人或關(guān)于個(gè)人的隱私信息，從而給隱私帶來(lái)新的風(fēng)險(xiǎn)。

7. 公平和有害偏見(jiàn)管理

人工智能中的公平包括通過(guò)解決有害偏見(jiàn)和歧視等問(wèn)題來(lái)關(guān)注平等和公平。公平的標(biāo)準(zhǔn)可能很復(fù)雜，很難定義，因?yàn)椴煌幕瘜?duì)公平的看法不同，并且可能會(huì)因應(yīng)用而改變。通過(guò)認(rèn)識(shí)和考慮這些差異，組織的風(fēng)險(xiǎn)管理工作將得到加強(qiáng)。但是，減輕有害偏見(jiàn)的制度并不一定就是公平的。例如，利用人工智能系統(tǒng)通過(guò)數(shù)據(jù)去預(yù)測(cè)在不同群體之間可能的特定問(wèn)題時(shí)，由于已有數(shù)據(jù)無(wú)法體現(xiàn)殘疾人等未能有效使用數(shù)字現(xiàn)代化能力的人的影響，可能加劇現(xiàn)有的差距或系統(tǒng)偏見(jiàn)。

二、框架構(gòu)建方法

AI框架的主要內(nèi)容之一就是人工智能相關(guān)風(fēng)險(xiǎn)的梳理和框架構(gòu)建方法，主要有4方面考量。一是風(fēng)險(xiǎn)框架，包括對(duì)風(fēng)險(xiǎn)、影響、危害的理解與處理，以及人工智能風(fēng)險(xiǎn)管理在風(fēng)險(xiǎn)度量、風(fēng)險(xiǎn)容忍度、風(fēng)險(xiǎn)等級(jí)排序等方面的挑戰(zhàn)。二是目標(biāo)受眾，理想情況下，AI框架應(yīng)當(dāng)適用于人工智能的全生命周期和多維度活動(dòng)。三是風(fēng)險(xiǎn)和可信度，AI框架要求可信賴的人工智能系統(tǒng)7個(gè)特征條件要在不同情境下需要適當(dāng)?shù)娜∩崤c平衡，但人工智能系統(tǒng)可信度始終是首要條件和必備基礎(chǔ)。四是有效性評(píng)估，要求組織和用戶定期評(píng)估AI框架是否提高了其管理人工智能風(fēng)險(xiǎn)的能力，包括但不限于其政策、流程、實(shí)踐、實(shí)施計(jì)劃、指標(biāo)、度量和預(yù)期結(jié)果。

（一）風(fēng)險(xiǎn)框架

框架將“風(fēng)險(xiǎn)”定義為事件發(fā)生概率和相應(yīng)事件后果的大小或程度的綜合度量。人工智能系統(tǒng)的“影響”可能是積極的，也可能是消極的，或兩者兼而有之。當(dāng)考慮潛在事件的負(fù)面影響時(shí)，風(fēng)險(xiǎn)是：如果情況或事件發(fā)生，可能產(chǎn)生的負(fù)面影響或危害程度；發(fā)生可能性的函數(shù)。風(fēng)險(xiǎn)管理是指在風(fēng)險(xiǎn)方面指導(dǎo)和控制組織的協(xié)調(diào)活動(dòng)。

在追求人工智能系統(tǒng)可信度時(shí)，風(fēng)險(xiǎn)管理應(yīng)考慮風(fēng)險(xiǎn)度量、風(fēng)險(xiǎn)容忍度、風(fēng)險(xiǎn)等級(jí)排序、組織整合四方面因素。

1. 風(fēng)險(xiǎn)度量

人工智能系統(tǒng)風(fēng)險(xiǎn)在沒(méi)有明確定義或充分理解的前提下，很難定量或定性地衡量。人工智能系統(tǒng)風(fēng)險(xiǎn)度量的挑戰(zhàn)主要體現(xiàn)在與第三方軟硬件和數(shù)據(jù)相關(guān)的風(fēng)險(xiǎn)、可靠度量的可用性、人工智能生命周期不同階段的風(fēng)險(xiǎn)、實(shí)際操作環(huán)境與測(cè)量不同、不可分割性等方面。

與第三方軟硬件和數(shù)據(jù)相關(guān)的風(fēng)險(xiǎn)：包括來(lái)自第三方數(shù)據(jù)、軟件或硬件本身的風(fēng)險(xiǎn)；開(kāi)發(fā)人工智能系統(tǒng)的組織使用的風(fēng)險(xiǎn)度量方法可能與運(yùn)營(yíng)和應(yīng)用的組織所使用的風(fēng)險(xiǎn)度量方法不一致；開(kāi)發(fā)人工智能系統(tǒng)的組織可能對(duì)其使用的風(fēng)險(xiǎn)度量方法不透明。使用第三方數(shù)據(jù)或?qū)⒌谌杰浻布到y(tǒng)集成到人工智能系統(tǒng)中，會(huì)使得人工智能系統(tǒng)風(fēng)險(xiǎn)度量和管理變得更復(fù)雜。

可靠度量的可用性：目前缺乏對(duì)風(fēng)險(xiǎn)和可信度的穩(wěn)健和可驗(yàn)證的度量方法以及對(duì)不同人工智能用例的適用性的共識(shí)，這是一個(gè)人工智能風(fēng)險(xiǎn)度量挑戰(zhàn)。例如，測(cè)量方法可能過(guò)于簡(jiǎn)單化、缺乏關(guān)鍵的細(xì)微差別、以意想不到的方式被依賴，或者無(wú)法解釋受影響群體和環(huán)境中的差異。

生命周期不同階段的風(fēng)險(xiǎn)：在人工智能生命周期的早期階段測(cè)量風(fēng)險(xiǎn)可能會(huì)產(chǎn)生不同于在后期階段測(cè)量風(fēng)險(xiǎn)的結(jié)果；一些風(fēng)險(xiǎn)可能在給定的時(shí)間點(diǎn)是潛在的，并且可能隨著人工智能系統(tǒng)的適應(yīng)和發(fā)展而增加。此外，人工智能生命周期中的不同人工智能參與者可能具有不同的風(fēng)險(xiǎn)視角。

實(shí)際操作環(huán)境與測(cè)量不同：雖然在實(shí)驗(yàn)室或受控環(huán)境中測(cè)量人工智能風(fēng)險(xiǎn)可能會(huì)在部署前產(chǎn)生重要的見(jiàn)解，但這些測(cè)量可能不同于實(shí)際操作環(huán)境中出現(xiàn)的風(fēng)險(xiǎn)。

不可分割性：不可分割的人工智能系統(tǒng)會(huì)使風(fēng)險(xiǎn)度量復(fù)雜化。不確定性可能是由于人工智能系統(tǒng)的不透明性（可理解或可解釋性有限）、人工智能系統(tǒng)開(kāi)發(fā)或部署缺乏透明度，或人工智能系統(tǒng)固有的不確定性。

2. 風(fēng)險(xiǎn)容忍度

風(fēng)險(xiǎn)容忍度是指組織或人工智能參與者為實(shí)現(xiàn)其目標(biāo)而承擔(dān)風(fēng)險(xiǎn)的意愿。風(fēng)險(xiǎn)容忍度同樣受到法律或監(jiān)管要求的影響。風(fēng)險(xiǎn)容忍度可能受到人工智能系統(tǒng)所有者、組織、行業(yè)、社區(qū)或決策者制定的政策和規(guī)范的影響。隨著人工智能系統(tǒng)、政策和規(guī)范的發(fā)展，風(fēng)險(xiǎn)容忍度可能會(huì)隨著時(shí)間的推移而改變。不同的組織由于其特定的組織優(yōu)先級(jí)和資源考慮，可能具有不同的風(fēng)險(xiǎn)容忍度。

3. 風(fēng)險(xiǎn)等級(jí)排序

風(fēng)險(xiǎn)管理的思想可以幫助組織了解并非所有人工智能風(fēng)險(xiǎn)都是相同的，以便可以根據(jù)風(fēng)險(xiǎn)等級(jí)有目的地分配相應(yīng)資源。風(fēng)險(xiǎn)管理工作可采取行動(dòng)為評(píng)估組織開(kāi)發(fā)或部署的人工智能系統(tǒng)的可信度制定明確的指南。隨后，應(yīng)根據(jù)評(píng)估的風(fēng)險(xiǎn)水平和人工智能系統(tǒng)的潛在影響確定政策和資源分配的優(yōu)先級(jí)。

4. 組織整合管理風(fēng)險(xiǎn)

人工智能參與者在生命周期中的角色不同，就有不同的責(zé)任和意識(shí)。人工智能風(fēng)險(xiǎn)管理應(yīng)整合并納入更廣泛的企業(yè)風(fēng)險(xiǎn)管理戰(zhàn)略和流程，將人工智能風(fēng)險(xiǎn)與其他關(guān)鍵風(fēng)險(xiǎn)（如網(wǎng)絡(luò)安全和隱私）一起處理，則能夠產(chǎn)生綜合的結(jié)果同時(shí)提升效率。組織需要建立和維護(hù)適當(dāng)?shù)慕巧?、?zé)任、問(wèn)責(zé)機(jī)制、激勵(lì)政策等，通過(guò)高層的重視和管理實(shí)現(xiàn)有效的風(fēng)險(xiǎn)管理，同時(shí)需要組織內(nèi)對(duì)風(fēng)險(xiǎn)認(rèn)識(shí)的意識(shí)文化變革。此外，實(shí)施人工智能風(fēng)險(xiǎn)管理框架的中小型組織與大型組織所面臨挑戰(zhàn)會(huì)因其能力和資源的不同而不同。

（二）目標(biāo)受眾

AI框架指出，在人工智能全生命周期的不同階段會(huì)存在不同的風(fēng)險(xiǎn)，人工智能系統(tǒng)全生命周期中的風(fēng)險(xiǎn)還受不同階段參與人員的影響。因此，框架旨在讓所有人工智能參與者在整個(gè)人工智能生命周期維度中共同努力管理風(fēng)險(xiǎn)，從而實(shí)現(xiàn)可信賴負(fù)責(zé)任的人工智能。

1. 人工智能系統(tǒng)全生命周期維度

人工智能系統(tǒng)的全生命周期包括規(guī)劃設(shè)計(jì)、收集處理數(shù)據(jù)、建立運(yùn)用模型、驗(yàn)證和確認(rèn)、部署使用、運(yùn)營(yíng)監(jiān)控六個(gè)階段。人工智能系統(tǒng)的多維度以人為核心，延伸到數(shù)據(jù)輸入、人工智能模型、任務(wù)輸出、應(yīng)用環(huán)境4個(gè)關(guān)鍵維度，重點(diǎn)是對(duì)其進(jìn)行測(cè)試、評(píng)估、驗(yàn)證和確認(rèn)的TEVV流程。

2. 代表性人工智能參與者

代表性人工智能參與者可以描述為社會(huì)組織和具有TEVV特定專業(yè)知識(shí)的人工智能參與者。其中社會(huì)組織可能包括行業(yè)協(xié)會(huì)、標(biāo)準(zhǔn)制定組織、研究人員、民間社會(huì)組織、最終用戶以及潛在受影響的個(gè)人和社區(qū)。他們能夠成為人工智能風(fēng)險(xiǎn)管理的規(guī)范和指南的需求來(lái)源；指定人工智能運(yùn)行的邊界（技術(shù)、社會(huì)、法律和道德層面）；促進(jìn)對(duì)公民自由和權(quán)利、公平，以及經(jīng)濟(jì)相關(guān)的社會(huì)價(jià)值和優(yōu)先事項(xiàng)等進(jìn)行討論。具有TEVV特定專業(yè)知識(shí)的人工智能參與者定期執(zhí)行的TEVV任務(wù)可以提供與技術(shù)、社會(huì)、法律和道德標(biāo)準(zhǔn)或規(guī)范相關(guān)的見(jiàn)解，并可以幫助預(yù)測(cè)影響、評(píng)估和跟蹤風(fēng)險(xiǎn)。作為人工智能生命周期中的一個(gè)常規(guī)過(guò)程，TEVV允許進(jìn)行中期補(bǔ)救和事后風(fēng)險(xiǎn)管理。

總之，成功的風(fēng)險(xiǎn)管理取決于人工智能參與者的集體責(zé)任感，多樣化的團(tuán)隊(duì)有助于更開(kāi)放地分享人工智能技術(shù)的想法和假設(shè)。AI框架的成功也需要不同的學(xué)科、專業(yè)和經(jīng)驗(yàn)的參與人的視角，只有更廣泛的集體視角才能為發(fā)現(xiàn)問(wèn)題和識(shí)別現(xiàn)有風(fēng)險(xiǎn)創(chuàng)造機(jī)會(huì)。

（三） 風(fēng)險(xiǎn)和可信度

AI框架概述了人工智能7個(gè)可信度特征，它們之間相互影響。任何一個(gè)維度的不可信都是不可取的。例如，高度安全但不公平的系統(tǒng)、準(zhǔn)確但不可解釋的系統(tǒng)、增強(qiáng)隱私但不準(zhǔn)確的系統(tǒng)都是不可取的。因此，全面的風(fēng)險(xiǎn)管理方法需要在可信度特征之間進(jìn)行權(quán)衡。所有人工智能參與者都有責(zé)任確定人工智能技術(shù)能夠在特定環(huán)境發(fā)揮必要的預(yù)期作用，以及如何負(fù)責(zé)任地使用它。

有效和可靠：部署的人工智能系統(tǒng)的有效性和可靠性通常通過(guò)持續(xù)測(cè)試或監(jiān)控來(lái)評(píng)估，以確認(rèn)系統(tǒng)按預(yù)期運(yùn)行。人工智能風(fēng)險(xiǎn)管理工作應(yīng)優(yōu)先考慮將潛在負(fù)面影響降至最低，并保證在人工智能系統(tǒng)無(wú)法自我糾正錯(cuò)誤的情況下能夠進(jìn)行人為干預(yù)。

功能安全：在生命周期中必須考慮功能安全，并盡早開(kāi)始規(guī)劃和設(shè)計(jì)，以防止可能導(dǎo)致系統(tǒng)危險(xiǎn)的安全故障。人工智能系統(tǒng)功能安全的其他實(shí)用方法通常涉及嚴(yán)格的模擬和域內(nèi)測(cè)試、實(shí)時(shí)監(jiān)控，以及關(guān)閉、修改或人為干預(yù)偏離預(yù)期功能的能力。

安全和韌性：通過(guò)防止未經(jīng)授權(quán)的訪問(wèn)和使用的保護(hù)機(jī)制，可以保持機(jī)密性、完整性和可用性的人工智能系統(tǒng)是安全的。NIST網(wǎng)絡(luò)安全框架和風(fēng)險(xiǎn)管理框架中的指南適用于此處。安全和韌性是相關(guān)但不同的特征。雖然韌性是指在發(fā)生意外不利事件后恢復(fù)正常功能的能力，但安全性包括韌性，還包括避免、防范、響應(yīng)或從攻擊中恢復(fù)的能力。

負(fù)責(zé)任和透明：在尋求對(duì)人工智能系統(tǒng)的結(jié)果負(fù)責(zé)時(shí)，應(yīng)考慮人工智能參與者的作用。與人工智能系統(tǒng)相關(guān)的風(fēng)險(xiǎn)和責(zé)任關(guān)系在文化、法律、部門和社會(huì)背景中有著廣泛的不同。當(dāng)后果嚴(yán)重時(shí)，人工智能開(kāi)發(fā)人員和部署人員應(yīng)考慮主動(dòng)調(diào)整其透明度和問(wèn)責(zé)制做法。同時(shí)，保持訓(xùn)練數(shù)據(jù)的來(lái)源并支持將人工智能系統(tǒng)的決策歸因于訓(xùn)練數(shù)據(jù)子集，可以有助于提高透明度和問(wèn)責(zé)制。

可理解與可解釋性：缺乏可解釋性可以通過(guò)描述人工智能系統(tǒng)的功能來(lái)避免該風(fēng)險(xiǎn)發(fā)生，并根據(jù)用戶的角色、知識(shí)和技能水平等個(gè)人差異進(jìn)行描述。透明度、可理解性和可解釋性是相互支持的不同特征。透明度可以回答系統(tǒng)中“發(fā)生了什么”的問(wèn)題。可理解性可以回答“如何”在系統(tǒng)中做出決策的問(wèn)題?？山忉屝钥梢曰卮鹣到y(tǒng)做出決策的“原因”及其對(duì)用戶的意義。

隱私增強(qiáng)：用數(shù)據(jù)最小化等人工智能的隱私增強(qiáng)技術(shù)，可以支持人工智能系統(tǒng)的隱私增強(qiáng)設(shè)計(jì)。當(dāng)然，在數(shù)據(jù)稀疏等特定條件下，隱私保護(hù)技術(shù)可能會(huì)導(dǎo)致準(zhǔn)確性的損失，從而影響某些領(lǐng)域中關(guān)于公平性和其他值的決策。

公平和有害偏見(jiàn)管理：NIST確定了需要考慮和管理的三大類人工智能偏見(jiàn)：系統(tǒng)性、計(jì)算和統(tǒng)計(jì)性、人類認(rèn)知性。偏見(jiàn)以多種形式存在，雖然偏見(jiàn)并不總是一種負(fù)面現(xiàn)象，但人工智能系統(tǒng)可能會(huì)因數(shù)據(jù)和算法而增加偏見(jiàn)的速度和規(guī)模，使對(duì)個(gè)人、群體、社會(huì)的傷害永久化和擴(kuò)大化。偏見(jiàn)與社會(huì)中的透明度和公平觀念密切相關(guān)。

（四）有效性評(píng)估

AI框架要求組織和用戶定期開(kāi)展有效性評(píng)估，涉及對(duì)政策、流程、實(shí)踐、實(shí)施計(jì)劃、指標(biāo)、度量和預(yù)期結(jié)果的定期評(píng)估，以確定其管理人工智能風(fēng)險(xiǎn)的能力是否提高。NIST將與其他機(jī)構(gòu)合作制定評(píng)估AI框架有效性的指標(biāo)、方法和目標(biāo)，并廣泛分享成果信息。

通過(guò)有效性評(píng)估，用戶將得益于以下方面能力的增強(qiáng)：一是加強(qiáng)人工智能風(fēng)險(xiǎn)的治理、映射、測(cè)量和管理流程，并清晰記錄結(jié)果；二是提高對(duì)可信度特征、社會(huì)技術(shù)方法和人工智能風(fēng)險(xiǎn)之間的權(quán)衡；三是制定系統(tǒng)調(diào)試和部署應(yīng)用的明確流程；四是制定政策、職責(zé)、實(shí)踐和程序，以改善與人工智能系統(tǒng)風(fēng)險(xiǎn)相關(guān)的組織問(wèn)責(zé)工作；五是加強(qiáng)組織文化，優(yōu)先識(shí)別和管理人工智能系統(tǒng)風(fēng)險(xiǎn)和潛在影響；六是在組織內(nèi)部和組織之間更好地共享信息，包括風(fēng)險(xiǎn)、決策過(guò)程、責(zé)任、常見(jiàn)缺陷、TEVV實(shí)踐和持續(xù)改進(jìn)方法等；七是增強(qiáng)人工智能系統(tǒng)的TEVV和應(yīng)對(duì)相關(guān)風(fēng)險(xiǎn)的能力。

三、框架核心功能

AI框架的另一個(gè)主要內(nèi)容就是介紹其4個(gè)核心功能，即治理、映射、測(cè)量和管理，以幫助組織在實(shí)踐中解決人工智能系統(tǒng)的風(fēng)險(xiǎn)。這些功能進(jìn)一步細(xì)分為類別和子類別。其中，治理適用于組織人工智能風(fēng)險(xiǎn)管理流程的所有階段，映射、測(cè)量和管理功能可應(yīng)用于人工智能系統(tǒng)特定環(huán)境和人工智能生命周期的特定階段。

（一）治理

治理是貫穿人工智能系統(tǒng)風(fēng)險(xiǎn)管理全過(guò)程、與其他三項(xiàng)功能有交叉的基礎(chǔ)性功能，對(duì)治理的持續(xù)關(guān)注是對(duì)人工智能系統(tǒng)全生命周期實(shí)行有效風(fēng)險(xiǎn)管理的內(nèi)在要求。強(qiáng)有力的治理可以推動(dòng)和加強(qiáng)內(nèi)部實(shí)踐和規(guī)范，以促進(jìn)組織風(fēng)險(xiǎn)管理。通過(guò)治理可以確定使命、目標(biāo)、價(jià)值觀、文化和風(fēng)險(xiǎn)承受能力的總體政策；高級(jí)領(lǐng)導(dǎo)層為組織內(nèi)的風(fēng)險(xiǎn)管理以及組織文化奠定基調(diào)；建立治理政策中描述的結(jié)構(gòu)、系統(tǒng)、流程和團(tuán)隊(duì)；管理層將人工智能風(fēng)險(xiǎn)管理的技術(shù)方面與政策和運(yùn)營(yíng)保持一致；文檔可以提高透明度，改進(jìn)人工審核流程，并加強(qiáng)人工智能系統(tǒng)團(tuán)隊(duì)的問(wèn)責(zé)制。

治理功能具體包括6個(gè)類別和19個(gè)子類。其中6個(gè)類別主要包括：一是與其他三項(xiàng)功能相關(guān)的政策、流程、程序和實(shí)踐均應(yīng)完善透明且有效實(shí)施；二是完善問(wèn)責(zé)機(jī)制，便于相關(guān)人員獲得授權(quán)和培訓(xùn)，有效負(fù)責(zé)其他三項(xiàng)功能開(kāi)展；三是優(yōu)先考慮團(tuán)隊(duì)的多樣性、平等性、包容性和可訪問(wèn)性；四是建設(shè)風(fēng)險(xiǎn)警鐘長(zhǎng)鳴的管理團(tuán)隊(duì)，完善風(fēng)險(xiǎn)信息交流共享；五是保持與人工智能系統(tǒng)用戶的密切聯(lián)系，跟蹤并及時(shí)反饋對(duì)社會(huì)和用戶的潛在影響；六是完善解決機(jī)制，及時(shí)處理由第三方軟件、數(shù)據(jù)、供應(yīng)鏈引發(fā)的風(fēng)險(xiǎn)和潛在影響。

（二）映射

由于人工智能系統(tǒng)的全生命周期涉及眾多環(huán)節(jié)和參與人員，單一環(huán)節(jié)的負(fù)責(zé)人很難對(duì)最終結(jié)果和潛在影響進(jìn)行通盤考慮，這種復(fù)雜性和不可預(yù)見(jiàn)性為人工智能系統(tǒng)的風(fēng)險(xiǎn)管理帶來(lái)了不確定性。映射功能通過(guò)整合來(lái)自不同內(nèi)部團(tuán)隊(duì)的觀點(diǎn)以及與開(kāi)發(fā)或部署人工智能系統(tǒng)的團(tuán)隊(duì)人員的互動(dòng)，收集外部合作者、最終用戶、潛在受影響社區(qū)等廣泛的觀點(diǎn)，構(gòu)建人工智能系統(tǒng)風(fēng)險(xiǎn)管理的背景因素，幫助組織主動(dòng)預(yù)防負(fù)面風(fēng)險(xiǎn)。

完成映射功能，框架用戶應(yīng)具有關(guān)于人工智能系統(tǒng)影響的充分背景知識(shí)，以決策是否設(shè)計(jì)、開(kāi)發(fā)和部署人工智能系統(tǒng)的初始決定。通過(guò)映射會(huì)獲得如下能力：提高理解人工智能應(yīng)用背景因素的能力；檢查對(duì)使用環(huán)境的假設(shè)；識(shí)別系統(tǒng)在其預(yù)期環(huán)境的功能；確定人工智能系統(tǒng)的積極和有益用途；提高對(duì)人工智能和機(jī)器學(xué)習(xí)流程局限性的理解；確定現(xiàn)實(shí)應(yīng)用中可能導(dǎo)致負(fù)面影響的約束條件；預(yù)測(cè)使用超出預(yù)期用途的人工智能系統(tǒng)的風(fēng)險(xiǎn)。

映射功能具體包括5個(gè)類別和18個(gè)子類。其中5個(gè)類別主要包括：一是明確系統(tǒng)運(yùn)行的相關(guān)背景因素和預(yù)期環(huán)境；二是進(jìn)行系統(tǒng)分類，明確人工智能系統(tǒng)支持的任務(wù)和具體方法；三是了解系統(tǒng)功能、目標(biāo)用途、成本收益等信息；四是將風(fēng)險(xiǎn)和收益映射到系統(tǒng)的所有組件和環(huán)節(jié)，包括第三方軟件和數(shù)據(jù)；五是評(píng)估對(duì)個(gè)人、群體、組織、社會(huì)的潛在有益和有害影響。

（三）測(cè)量

測(cè)量是指采用定量、定性或混合工具，對(duì)人工智能系統(tǒng)的風(fēng)險(xiǎn)和潛在影響進(jìn)行分析、評(píng)估、測(cè)試和控制。人工智能系統(tǒng)在部署前和運(yùn)行中均應(yīng)當(dāng)定期測(cè)試，對(duì)系統(tǒng)功能和可信度的各個(gè)方面如實(shí)記錄。測(cè)量職能部門應(yīng)設(shè)置嚴(yán)格的軟件測(cè)試和性能評(píng)估要求，采取不確定性度量、性能基準(zhǔn)比較、結(jié)果記錄和正式報(bào)告等方式方法。此外，獨(dú)立審查可以提高測(cè)試的有效性，并可以減輕內(nèi)部因潛在利益沖突導(dǎo)致的偏見(jiàn)問(wèn)題。

度量和測(cè)量方法應(yīng)遵循科學(xué)、法律和道德規(guī)范，并在公開(kāi)和透明的過(guò)程中進(jìn)行。應(yīng)考慮不同測(cè)量類型為人工智能風(fēng)險(xiǎn)評(píng)估提供有意義的信息的程度，開(kāi)發(fā)新的定性和定量測(cè)量類型。通過(guò)測(cè)量功能實(shí)施，框架用戶將增強(qiáng)其綜合評(píng)估系統(tǒng)可信度、識(shí)別和跟蹤風(fēng)險(xiǎn)，以及驗(yàn)證度量有效性的能力。隨后，管理功能將利用測(cè)量結(jié)果來(lái)協(xié)助風(fēng)險(xiǎn)監(jiān)測(cè)和風(fēng)險(xiǎn)應(yīng)對(duì)工作。

測(cè)量功能包括4個(gè)類別和22個(gè)子類。其中4個(gè)類別主要包括：一是確定并采用適當(dāng)?shù)姆椒ê椭笜?biāo)，定期記錄、評(píng)估和更新；二是評(píng)估系統(tǒng)的可信性特征，涉及代表性、有效性、安全性、穩(wěn)健性和可持續(xù)性等；三是完善特定風(fēng)險(xiǎn)識(shí)別跟蹤機(jī)制，有效處理現(xiàn)有的、未知的、緊急的各種風(fēng)險(xiǎn)；四是定期評(píng)估和反饋測(cè)量功能的有效性，如實(shí)記錄相關(guān)信息和結(jié)果。

（四）管理

管理涉及對(duì)系統(tǒng)風(fēng)險(xiǎn)因素的定期映射和測(cè)量，包括對(duì)事故和事件的響應(yīng)、補(bǔ)救和溝通，以減少系統(tǒng)故障和負(fù)面影響的可能性，并根據(jù)評(píng)估結(jié)果制定風(fēng)險(xiǎn)優(yōu)先等級(jí)計(jì)劃、定期監(jiān)測(cè)和改進(jìn)計(jì)劃。通過(guò)管理功能實(shí)施，框架用戶增強(qiáng)了對(duì)人工智能系統(tǒng)風(fēng)險(xiǎn)管理的能力，并有效配置風(fēng)險(xiǎn)管理資源。隨著人工智能參與者的環(huán)境、背景、風(fēng)險(xiǎn)和需求或期望的不斷變化，框架用戶有責(zé)任持續(xù)將管理功能應(yīng)用于已部署的人工智能系統(tǒng)。

管理功能包括4個(gè)類別和13個(gè)子類。其中4個(gè)類別主要包括：一是基于映射和測(cè)量功能的評(píng)估和分析結(jié)果，對(duì)系統(tǒng)風(fēng)險(xiǎn)進(jìn)行判定、排序和響應(yīng)；二是制定實(shí)施最大化收益和最小化負(fù)面影響策略，明確風(fēng)險(xiǎn)響應(yīng)步驟；三是有效管理來(lái)自第三方的風(fēng)險(xiǎn)和收益，定期監(jiān)控記錄；四是完善風(fēng)險(xiǎn)響應(yīng)和恢復(fù)機(jī)制，對(duì)已識(shí)別、可測(cè)量的系統(tǒng)風(fēng)險(xiǎn)加強(qiáng)溝通交流和記錄監(jiān)控。

四、總結(jié)

美國(guó)NIST公布的《人工智能風(fēng)險(xiǎn)管理框架》為人工智能治理和人工智能安全風(fēng)險(xiǎn)管理提供了有益參考。AI框架給出了人工智能系統(tǒng)的定義，概述了可信賴人工智能系統(tǒng)的特征，明確了人工智能系統(tǒng)與傳統(tǒng)軟件相比新增的許多獨(dú)特風(fēng)險(xiǎn)，重點(diǎn)探討人工智能相關(guān)風(fēng)險(xiǎn)的梳理和框架構(gòu)建方法，詳細(xì)介紹了AI框架的“治理、映射、測(cè)量、管理”4個(gè)核心功能，為設(shè)計(jì)、開(kāi)發(fā)、部署和使用人工智能系統(tǒng)的個(gè)人和組織提供指南，以幫助組織在實(shí)踐中認(rèn)識(shí)、管理人工智能系統(tǒng)的諸多風(fēng)險(xiǎn)。

通過(guò)分析可得，此次正式發(fā)布的AI框架主要包括3個(gè)特點(diǎn)。一是AI框架并非強(qiáng)制性技術(shù)標(biāo)準(zhǔn)，強(qiáng)調(diào)自愿使用、支持創(chuàng)新與合作的原則。尤其在風(fēng)險(xiǎn)度量、可信度權(quán)衡、框架有效性評(píng)估、框架配置文件等方面具有一定不確定性，NIST也明確愿意與相關(guān)方共同合作推進(jìn)框架應(yīng)用，以增強(qiáng)人工智能系統(tǒng)安全風(fēng)險(xiǎn)管理。二是AI框架重視全局視角的風(fēng)險(xiǎn)管理，包括人工智能系統(tǒng)全生命周期和人工智能全部參與者視角。強(qiáng)調(diào)全生命周期的6個(gè)階段4個(gè)關(guān)鍵維度和TEVV重點(diǎn)流程，指出成功的風(fēng)險(xiǎn)管理需要人工智能參與者的集體責(zé)任感和不同學(xué)科、專業(yè)和經(jīng)驗(yàn)的參與人的廣泛合作。三是AI框架給出了核心功能、類別和子類的詳細(xì)功能描述，能夠更好地指導(dǎo)風(fēng)險(xiǎn)管理工作落地。AI框架主要介紹了“治理、映射、測(cè)量和管理”4個(gè)核心功能，明確了各核心功能之間的關(guān)系，并通過(guò)19個(gè)類別和72個(gè)子類進(jìn)行了詳細(xì)描述。

總之，人工智能逐漸在人類社會(huì)場(chǎng)景中發(fā)揮作用，其治理與安全仍然處于摸索階段。人工智能安全的法規(guī)、政策、標(biāo)準(zhǔn)是當(dāng)今世界各國(guó)關(guān)注的重點(diǎn)，也是實(shí)踐中亟待解決的關(guān)鍵問(wèn)題，未來(lái)還有很長(zhǎng)的路要走。