算法透明實(shí)現(xiàn)的另一種可能：可解釋人工智能

摘要：算法黑箱對(duì)算法決策提出了挑戰(zhàn)，算法透明要求算法可解釋。算法透明并不是簡(jiǎn)單的算法公開(kāi)。盡管人們普遍寄希望于通過(guò)算法公開(kāi)來(lái)打開(kāi)算法黑箱實(shí)現(xiàn)算法透明，但是單純的算法公開(kāi)不僅面臨著商業(yè)秘密泄露的詰難，也無(wú)法真正對(duì)算法決策作出解釋。與之相比，技術(shù)上制造可解釋人工智能是實(shí)現(xiàn)算法透明的一種新的選擇。可解釋人工智能不僅可以憑借不同的解釋路徑透視算法黑箱，還可以滿足受眾對(duì)算法解釋的不同需求。技術(shù)的發(fā)展有賴(lài)于制度的保障，構(gòu)建一套合理的制度促進(jìn)可解釋人工智能的發(fā)展是確有必要的。這要求在立法上規(guī)定可解釋人工智能的適用場(chǎng)域；在行政上利用政府采購(gòu)引導(dǎo)可解釋人工智能的生產(chǎn)；在市場(chǎng)管理上借助第三方認(rèn)證倒逼企業(yè)制造可解釋人工智能；最終實(shí)現(xiàn)算法透明。

關(guān)鍵詞：可解釋人工智能；算法透明；算法黑箱；算法可解釋

進(jìn)入人工智能時(shí)代，基于算法為基礎(chǔ)的自動(dòng)化決策在社會(huì)中的運(yùn)用日益普遍。在司法領(lǐng)域，法官通過(guò)名為COMPAS的智能軟件，預(yù)測(cè)罪犯的再犯風(fēng)險(xiǎn)并在其協(xié)助下作出量刑決定；在醫(yī)療領(lǐng)域，醫(yī)生偌助名為IDx-DR的醫(yī)療AI檢測(cè)系統(tǒng)，檢驗(yàn)糖尿病視網(wǎng)膜病變。然而，算法在推進(jìn)決策變革的同時(shí)，算法黑箱的存在也使得決策變得不可解釋。解釋對(duì)于信任而言，卻是至關(guān)重要的。如果司法人工智能無(wú)法提供判決理由，人工智能醫(yī)療不能給予檢驗(yàn)、診斷解釋?zhuān)敲从秩绾蜗嘈艣Q策不會(huì)對(duì)生命、自由造成威脅？

算法透明是必要的，“是算法治理體系中不可或缺的一環(huán)”。算法黑箱成為算法透明的最大障礙。如果無(wú)法破解算法黑箱，對(duì)算法決策提供解釋?zhuān)瑹o(wú)疑會(huì)限制算法決策的進(jìn)一步發(fā)展。傳統(tǒng)的算法黑箱治理多是把算法透明寄托于算法公開(kāi)，期冀通過(guò)算法披露打開(kāi)黑箱。實(shí)際上，單純的算法披露對(duì)實(shí)現(xiàn)算法透明而言是沒(méi)有意義的。在人工智能發(fā)展已是大勢(shì)所趨的背景下，借用技術(shù)破解算法黑箱是一種新的選擇?！翱山忉屓斯ぶ悄埽‥xplainabfe Artificial Intelligence）”作為一種專(zhuān)門(mén)為解決算法黑箱問(wèn)題而開(kāi)發(fā)的解釋技術(shù)，為算法透明的實(shí)現(xiàn)提供另一種可能。它無(wú)需算法披露即可透視算法黑箱，在保證算法高質(zhì)量決策的同時(shí)，提供合理的決策解釋。

一、算法透明對(duì)可解釋人工智能的祈求

人們對(duì)算法內(nèi)部決策機(jī)制知之甚少，算法黑箱使得算法決策的合法性備受質(zhì)疑。算法透明要求算法具備可解釋性。傳統(tǒng)上單純依靠算法公開(kāi)并不能真正地破解算法黑箱，對(duì)決策提供行之有效的解釋。與之相比，通過(guò)制造可解釋人工智能透視算法黑箱，則是一種更好的選擇。

（一）算法透明要求算法可解釋

算法透明意味著影響算法決策的因素對(duì)于算法的受眾而言是可見(jiàn)的、透明的。實(shí)際上，算法透明所指向的并不是字面意義或者視覺(jué)意義上的算法可見(jiàn)，而是一種算法的可理解。只有算法可理解，算法對(duì)其受眾而言，才能說(shuō)是可見(jiàn)的、透明的。而算法可理解則是需要通過(guò)算法解釋達(dá)致，即借助算法解釋達(dá)成算法決策信息的可理解，實(shí)現(xiàn)算法透明。換言之，算法透明要求算法可解釋。

要求算法可解釋并不只是為了滿足人類(lèi)的好奇心那么簡(jiǎn)單，也包含著算法透明的現(xiàn)實(shí)需求。首先，算法會(huì)出錯(cuò)，要求算法可解釋。人工智能雖然是“智能”，但并不是萬(wàn)能。任何盲目按照百度地圖進(jìn)行導(dǎo)航的人都有可能進(jìn)入死胡同。其次，培養(yǎng)算法信任，要求算法可解釋。無(wú)論是人工智能提供輔助性決策還是獨(dú)立作出決策，驗(yàn)證決策的正當(dāng)性對(duì)于培養(yǎng)算法信任而言都是至關(guān)重要的。最后，對(duì)算法進(jìn)行問(wèn)責(zé)，要求算法可解釋。在人工智能時(shí)代，權(quán)力可能借用科技外殼來(lái)偽裝自己。算法黑箱成了追責(zé)的擋箭牌，算法決策者以此逃避責(zé)任的承擔(dān)。

算法解釋權(quán)作為算法透明原則的體現(xiàn)，是一種算法透明的實(shí)現(xiàn)方式，其要求算法可解釋。歐盟率先通過(guò)《通用數(shù)據(jù)保護(hù)條例》（GDPR）要求賦予個(gè)人算法解釋權(quán)。該法在第13、14、15和第22條對(duì)自動(dòng)化決策作出了規(guī)定，要求算法具備可解釋性。第一，GDPR第13條至第15條要求算法控制者提供“關(guān)于數(shù)據(jù)處理有意義信息”，該有意義的信息實(shí)際上包含了對(duì)自動(dòng)決策的解釋。第二，該法第22條要求算法控制者在進(jìn)行數(shù)據(jù)分析時(shí)對(duì)數(shù)據(jù)主體的權(quán)利和自由進(jìn)行保障，而保障權(quán)的實(shí)現(xiàn)與算法解釋密不可分。我國(guó)關(guān)于算法解釋權(quán)的規(guī)定則主要集中在《中華人民共和國(guó)個(gè)人信息保護(hù)法》（下稱(chēng)《個(gè)人信息保護(hù)法》）。有學(xué)者認(rèn)為可以從該法第7條、第24條和第44條，推導(dǎo)出一種基于透明性主張的算法解釋權(quán)。應(yīng)當(dāng)說(shuō)，算法解釋權(quán)最直接體現(xiàn)在《個(gè)人信息保護(hù)法》第24條，該條專(zhuān)門(mén)對(duì)自動(dòng)決策的解釋作出規(guī)定。其中，第1款確立了算法決策的透明度原則，蘊(yùn)含了解釋說(shuō)明義務(wù)。同時(shí)，該條第3款規(guī)定當(dāng)以自動(dòng)化決策方式作出對(duì)個(gè)人權(quán)益有重大影響的決定時(shí)，個(gè)人有權(quán)要求個(gè)人信息處理者予以說(shuō)明。無(wú)疑，這些都明確了算法解釋權(quán)的存在。

（二）算法公開(kāi)無(wú)法實(shí)現(xiàn)算法可解釋

算法黑箱阻礙算法正義的實(shí)現(xiàn)。就像陽(yáng)光被譽(yù)為是最好的防腐劑一樣，算法公開(kāi)被認(rèn)為是目前解決這個(gè)問(wèn)題的最佳方案。只要建立起算法公開(kāi)制度，披露源代碼，算法就可解釋?zhuān)惴ê谙湟簿筒淮嬖凇：翢o(wú)疑問(wèn)，算法公開(kāi)是一個(gè)充滿誘惑力的概念，畢竟沒(méi)有人能夠拒絕陽(yáng)光。

與此同時(shí)，算法公開(kāi)也是一個(gè)帶有欺騙性的概念。讓算法暴露在陽(yáng)光下不僅可能面臨著商業(yè)秘密泄露的詰難，而且并不能輕易打開(kāi)算法黑箱。正如伯勒爾（Jenna Burrell）所說(shuō)，形成算法黑箱、造成算法不透明的原因主要有：（1）作為國(guó)家、公司或者其他機(jī)構(gòu)秘密的不透明。（2）編程的專(zhuān)業(yè)性與大眾知識(shí)代溝引起的不透明。（3）機(jī)器學(xué)習(xí)的高維數(shù)學(xué)優(yōu)化特性與人類(lèi)推理方式和語(yǔ)義解釋風(fēng)格之間不匹配引起的不透明。其中，因算法不公開(kāi)以及知識(shí)代溝所造成的不透明，只占據(jù)很小的一部分。絕大部分的不透明都可歸結(jié)為技術(shù)原因。換言之，即使公開(kāi)源代碼也無(wú)法真正實(shí)現(xiàn)算法透明，算法依舊是不可解釋的。

首先，不是所有的算法公開(kāi)都是可行的。算法不透明可能是公司采取的自我保護(hù)方式，強(qiáng)制公開(kāi)可能會(huì)打擊創(chuàng)新。而且，對(duì)商業(yè)秘密的保護(hù)，有時(shí)會(huì)凌駕于解釋權(quán)之上。其次，算法公開(kāi)不等于算法可理解。不是所有的人都是程序員，即使公開(kāi)源代碼，也無(wú)法被大部分人所理解。對(duì)此，有學(xué)者呼吁對(duì)代碼作出詳細(xì)注釋?zhuān)忉屍涔δ芎驮?。即便如此，現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)，動(dòng)輒幾百萬(wàn)個(gè)參數(shù)，不具有可操作性。最后，算法公開(kāi)不代表算法可知。大部分的算法不透明可歸結(jié)為技術(shù)原因。機(jī)器學(xué)習(xí)的特性使得人類(lèi)即使觀察到源代碼，也可能無(wú)法知道技術(shù)的運(yùn)行邏輯。④實(shí)際上，算法解釋并不是指對(duì)源代碼的解釋?zhuān)侵笇?duì)算法決策信息的解釋。

（三）算法可解釋的技術(shù)性支持：可解釋人工智能

單純依靠算法公開(kāi)是無(wú)法實(shí)現(xiàn)算法透明的，但算法解釋權(quán)的存在又要求算法決策具備可解釋性。如果算法無(wú)法提供符合法律要求的解釋?zhuān)敲慈斯ぶ悄茉谶`反法律的情況下將被禁用。算法解釋權(quán)的實(shí)現(xiàn)亟需技術(shù)提供支持，可解釋人工智能的發(fā)展為破解算法黑箱提供了一種可能。破解算法黑箱并不意味著要打開(kāi)算法黑箱，可解釋人工智能可以通過(guò)算法模型設(shè)計(jì)以及事后模型模擬訓(xùn)練的方式透視算法黑箱，為算法決策提供解釋?zhuān)M(jìn)而彌合法律和科技之間的鴻溝。

與算法黑箱的概念相反，可解釋人工智能要求算法決策能夠被人類(lèi)所理解。正如FAT所述，可解釋人工智能的目標(biāo)是確保算法決策以及驅(qū)動(dòng)這些決策的數(shù)據(jù)能夠以非技術(shù)術(shù)語(yǔ)的形式向最終用戶和其他利益相關(guān)者解釋。對(duì)此，岡寧（David Gunning）把可解釋人工智能理解為創(chuàng)建一套機(jī)器學(xué)習(xí)技術(shù)，使人類(lèi)用戶能夠理解、適當(dāng)信任并有效管理新一代人工智能。這些都說(shuō)明了可解釋人工智能是以作為一種用戶導(dǎo)向型的解釋技術(shù)存在。同時(shí)，這也表明解釋必須以可理解的術(shù)語(yǔ)呈現(xiàn)，最終實(shí)現(xiàn)被人類(lèi)所理解的目標(biāo)。

算法可解釋性的需求為可解釋人工智能的發(fā)展提供了契機(jī)。與之相應(yīng)，可解釋人工智能的出現(xiàn)則促進(jìn)人工智能產(chǎn)業(yè)的興旺。它不僅推動(dòng)智能系統(tǒng)的進(jìn)步，而且為自動(dòng)化決策提供正當(dāng)性依據(jù)。第一，可解釋人工智能可以提前預(yù)測(cè)系統(tǒng)潛在對(duì)抗性擾動(dòng)并糾正系統(tǒng)漏洞，保證系統(tǒng)持續(xù)穩(wěn)定地運(yùn)行。第二，可解釋人工智能有助于增強(qiáng)對(duì)系統(tǒng)的了解，促進(jìn)人機(jī)交互以及決策系統(tǒng)更新?lián)Q代。第三，可解釋人工智能可以提供必要的信息解釋自動(dòng)決策結(jié)果的合理性，特別是當(dāng)決策結(jié)果超出人類(lèi)認(rèn)知范圍。第四，可解釋人工智能有利于推動(dòng)算法解釋權(quán)的實(shí)現(xiàn)，維護(hù)數(shù)據(jù)主體的權(quán)益。

二、可解釋人工智能的算法黑箱透視方案

隨著計(jì)算機(jī)編程的發(fā)展，用于開(kāi)發(fā)人工智能系統(tǒng)的算法越發(fā)高深莫測(cè)，這使得算法所做出的決策難以被直接理解?？山忉屓斯ぶ悄転槠平馑惴ê谙洹⒅亟ㄋ惴ㄐ湃翁峁┝艘环N技術(shù)上的可能。應(yīng)當(dāng)說(shuō)，一切破解算法黑箱降低模型復(fù)雜性或簡(jiǎn)化模型輸出的方法都可以被視為可解釋人工智能方法?？山忉屓斯ぶ悄芤环矫婵梢酝ㄟ^(guò)不同的模型設(shè)計(jì)，選擇不同的黑箱破解方式；另一方面還可以根據(jù)解釋范圍需求的不同，構(gòu)建多重面向的解釋體系。

（一）可解釋人工智能的多元化解釋路徑

算法不透明多是由技術(shù)原因所導(dǎo)致，即使算法公開(kāi)，也無(wú)法解釋算法行為。算法解釋要求以可理解的術(shù)語(yǔ)呈現(xiàn)算法深度學(xué)習(xí)構(gòu)造出的模型，并提供模型意義。實(shí)現(xiàn)算法可解釋?zhuān)梢愿鶕?jù)模型的特點(diǎn)從不同路徑制造不同解釋類(lèi)型的可解釋人工智能，進(jìn)而形成多元化的算法解釋路徑。

1．解釋路徑之一：設(shè)計(jì)算法白箱

實(shí)現(xiàn)可解釋人工智能最簡(jiǎn)單的方法是創(chuàng)造可解釋模型的算法子集，即算法白箱。算法白箱又被稱(chēng)為透明模型，由于模型本身具備透明度，無(wú)需再借助額外的工具，就能夠被人類(lèi)所理解。透明模型之所以能夠被理解，主要基于模型的以下特性：第一，可模擬性，模型結(jié)構(gòu)比較簡(jiǎn)單，可以被人類(lèi)所模擬、思考；第二，可分解性，模型包括輸入、參數(shù)和計(jì)算在內(nèi)的每個(gè)部分都可以被分解，進(jìn)而被人類(lèi)理解；第三，透明性，模型可被推理，人類(lèi)可以從任何輸入所產(chǎn)生的給定輸出中了解模型運(yùn)行所遵循的過(guò)程。

設(shè)計(jì)算法白箱和事后可解釋技術(shù)不同，它不需要通過(guò)事后模擬訓(xùn)練數(shù)據(jù)來(lái)生成預(yù)測(cè)。相比事后可解釋技術(shù)這種外生性解釋方法，算法白箱具備更多的可解釋性。首先，透明模型是對(duì)模型自身進(jìn)行解釋?zhuān)邆渫昝赖男畔⒈Ｕ娑?，解釋完全忠?shí)于原始模型；其次，透明模型作為可解釋模型，可以直接提供完整的信息，避免事后可解釋技術(shù)因?yàn)樾畔⑦z漏，造成解釋不完整；最后，透明模型結(jié)構(gòu)簡(jiǎn)單且透明，在需要將數(shù)據(jù)庫(kù)外的信息與風(fēng)險(xiǎn)評(píng)估相結(jié)合的情況下，可以通過(guò)直接手動(dòng)整合模型自身來(lái)實(shí)現(xiàn)。

透明模型是對(duì)模型的最好解釋?zhuān)粌H完美代表自己，而且更易于被理解，這也使得算法設(shè)計(jì)轉(zhuǎn)向透明模型的趨勢(shì)一直存在，特別是在醫(yī)療、交通等關(guān)鍵行業(yè)。在進(jìn)行某些高風(fēng)險(xiǎn)決策的情況下，當(dāng)存在相同性能的模型時(shí)，應(yīng)該優(yōu)先選用算法白箱。只有在算法白箱無(wú)法提供準(zhǔn)確決策的情況下，方考慮事后可解釋模型（采用事后可解釋技術(shù)來(lái)增強(qiáng)解釋的黑箱模型）。對(duì)于醫(yī)療保健、刑事司法等一些關(guān)涉生命安全的領(lǐng)域而言，則應(yīng)該立即停用算法黑箱進(jìn)行高風(fēng)險(xiǎn)決策。

2．解釋路徑之二：構(gòu)建事后可解釋技術(shù)

解釋的難度只與模型而不是數(shù)據(jù)相關(guān)，模型的復(fù)雜性阻礙了模型的可解釋性。并不是所有的算法模型都可以在技術(shù)上實(shí)現(xiàn)向透明模型的轉(zhuǎn)化，針對(duì)難以設(shè)計(jì)成算法白箱進(jìn)行解釋的模型，可以采用事后可解釋技術(shù)來(lái)增強(qiáng)模型的解釋性。事后可解釋技術(shù)，通過(guò)使用測(cè)試數(shù)據(jù)集查詢機(jī)器學(xué)習(xí)數(shù)據(jù)，生成與每條數(shù)據(jù)相關(guān)聯(lián)的預(yù)測(cè)，以保證輸出結(jié)果的可理解，進(jìn)而提高黑箱的可接受性。換言之，事后可解釋技術(shù)的目的是為給定輸入的輸出信息作解釋說(shuō)明，促進(jìn)用戶對(duì)決策的理解。

算法白箱通過(guò)限制算法的復(fù)雜性來(lái)實(shí)現(xiàn)算法可解釋?zhuān)贿m合處理簡(jiǎn)單的模型。對(duì)于高復(fù)雜性的模型，由于模型本身不具備透明度，用戶無(wú)法直接透過(guò)模型結(jié)構(gòu)識(shí)別模型運(yùn)行邏輯，只能求助于事后可解釋技術(shù)。而且，隨著算法硬件的改進(jìn)，使用高復(fù)雜模型的預(yù)測(cè)優(yōu)勢(shì)也隨之增加。相比于透明模型，事后可解釋模型決策更準(zhǔn)確。一方面，事后可解釋技術(shù)是從已有的算法模型中提取信息，不僅不受模型工作方式的影響，而且也不影響模型自身性能。另一方面，結(jié)構(gòu)復(fù)雜的模型往往比透明模型適應(yīng)性更強(qiáng)，模型預(yù)測(cè)更準(zhǔn)確。

此外，亦有學(xué)者新近提出一種混合系統(tǒng)的模型設(shè)計(jì)方法，即融合白箱和黑箱模型。一方面，雖然事后可解釋模型具有更高的準(zhǔn)確度，但是當(dāng)模型性能和復(fù)雜性不斷提高的時(shí)候，模型的可解釋性會(huì)隨之下降；另一方面，算法白箱雖然構(gòu)造簡(jiǎn)單、易于理解，但由于模型是通過(guò)限制性能來(lái)提高可解釋性，模型準(zhǔn)確度較低?；诖?，可以將黑箱和白箱模型結(jié)合起來(lái)，形成兼具高性能和高可解釋性的混合模型。這樣既能保證模型準(zhǔn)確度，又能夠保證模型可解釋性。

（二）可解釋人工智能解釋的多重面向

并不是所有的模型都需要全局可理解，即解釋必須以能夠使受眾理解模型的整體運(yùn)行邏輯，并遵循導(dǎo)致所有不同可能結(jié)果的整個(gè)推理為目的。不同受眾對(duì)算法解釋有著不同需求。為此，可解釋人工智能根據(jù)算法解釋對(duì)象、范圍的不同，可分為全局解釋、局部解釋和反事實(shí)解釋。

1．以模型為中心的解釋?zhuān)喝纸忉?/p>

全局解釋?zhuān)℅lobal explanation）旨在幫助人們?cè)诶斫饽Ｐ驼w行為情況下，闡明模型如何做出決策以及模型子集如何影響模型決策。全局解釋的運(yùn)行原理是從算法模型中提取可解釋的數(shù)據(jù)，通過(guò)處理輸入總結(jié)模型總體行為，為模型整體運(yùn)行提供近似的解釋?zhuān)员隳Ｐ妥龀龅臎Q策都可以根據(jù)解釋機(jī)制進(jìn)行跟蹤。全局解釋的方法是將復(fù)雜的深度模型推導(dǎo)轉(zhuǎn)換成更容易解釋的線性對(duì)應(yīng)關(guān)系。換言之，全局解釋通過(guò)更簡(jiǎn)單的線性對(duì)應(yīng)關(guān)系就可以近似預(yù)測(cè)高度非線性的算法模型。

全局解釋有助于數(shù)據(jù)主體在接受算法決策之前迅速地理解模型整體運(yùn)行邏輯，并預(yù)知各種導(dǎo)致不同可能結(jié)果的推理信息。這些信息不僅包括模型意圖、訓(xùn)練數(shù)據(jù)、預(yù)測(cè)結(jié)果，還包括模型運(yùn)行邏輯、信息處理過(guò)程等。全局解釋更適合事前對(duì)決策程序的解釋?zhuān)龠M(jìn)數(shù)據(jù)主體對(duì)算法決策運(yùn)行的了解。同時(shí)，全局解釋不再只是聚焦于模型內(nèi)部的計(jì)算行為，而是將關(guān)注的焦點(diǎn)擴(kuò)展到模型背后的動(dòng)機(jī)和環(huán)境，以一種數(shù)據(jù)主體可理解的方式，對(duì)決策的形成作出整體闡釋。概言之，全局解釋在某種程度上更像是決策說(shuō)明書(shū)，告知數(shù)據(jù)主體有關(guān)決策系統(tǒng)功能的信息。

2．以主題為中心的解釋?zhuān)壕植拷忉?/p>

與全局解釋不同，局部解釋?zhuān)↙ocal explanation）試圖解答模型如何做出特定的自動(dòng)決策。它并不關(guān)心自動(dòng)決策模型的具體結(jié)構(gòu)，以及模型整體如何運(yùn)行，只關(guān)心與特定輸入主題相關(guān)的輸出的形成。局部解釋聚焦于單個(gè)的主題，只為特定輸出結(jié)果作解釋。實(shí)際上，局部解釋是通過(guò)生成本質(zhì)上可解釋的局部代理模型來(lái)對(duì)原模型的輸出作預(yù)測(cè)。局部解釋生成的新模型與算法局部模型近似。例如，通過(guò)利用一種名為L(zhǎng)IME的局部模型，向算法模型提供擾動(dòng)數(shù)據(jù)生成一個(gè)新數(shù)據(jù)集，并根據(jù)新數(shù)據(jù)集訓(xùn)練出一個(gè)可解釋的代理模型，從而對(duì)算法模型的局部行為進(jìn)行預(yù)測(cè)。

鑒于算法的不透明以及模型的復(fù)雜性，提供局部解釋往往比全局解釋更簡(jiǎn)單。相比于全局解釋?zhuān)瑪?shù)據(jù)主體更青睞局部解釋。一方面，對(duì)數(shù)據(jù)主體而言，它更關(guān)心的是關(guān)乎自身利益的特定單個(gè)主題決策的形成，而不是模型的整體運(yùn)行邏輯。而局部解釋比起全局解釋能夠提供更多的與特定主題相關(guān)的自動(dòng)決策信息。另一方面，當(dāng)人們?cè)噲D了解哪些因素可能對(duì)算法的權(quán)重影響最大之時(shí)，局部解釋可以通過(guò)不斷調(diào)整算法輸入因素，以測(cè)試一個(gè)給定因素在最初的算法權(quán)重中的影響程度。此外，因?yàn)榫植拷忉屖菄@模型特定區(qū)域展開(kāi)的，并且是基于從外部學(xué)習(xí)模型而不是將其拆開(kāi)的解釋系統(tǒng)，所以無(wú)需擔(dān)憂知識(shí)產(chǎn)權(quán)或商業(yè)秘密泄露。

3．以對(duì)抗性擾動(dòng)為中心的解釋?zhuān)悍词聦?shí)解釋

反事實(shí)解釋?zhuān)–ounterfactual explanation）是通過(guò)將模型輸入與輸出相聯(lián)系來(lái)構(gòu)建模型的解釋?zhuān)罁?jù)模型輸入的變化，進(jìn)而預(yù)測(cè)模型輸出的變化。倘若試圖了解哪些因素可能對(duì)算法產(chǎn)生影響，可以使用相同的算法以對(duì)抗性擾動(dòng)調(diào)整輸入因素，測(cè)試給定因素在算法中的重要性。與其說(shuō)它關(guān)注的是為什么當(dāng)前情況會(huì)產(chǎn)生特定的預(yù)測(cè)結(jié)果，不如說(shuō)它關(guān)注的是在一個(gè)模型中，單個(gè)特征值必須擾動(dòng)多少才能翻轉(zhuǎn)整體預(yù)測(cè)。即模型輸入需要改變哪些特征才能達(dá)到預(yù)期結(jié)果。反事實(shí)解釋描述的是這樣一種因果關(guān)系，即X沒(méi)有發(fā)生，Y也不會(huì)發(fā)生。

使用算法不一定需要知道算法的內(nèi)部結(jié)構(gòu)。比起算法的內(nèi)部結(jié)構(gòu)，人們更傾向于通過(guò)反事實(shí)解釋了解為什么是某個(gè)事件發(fā)生而不是另外一些事件。即使不知道系統(tǒng)如何做出決策，反事實(shí)解釋也可以通過(guò)列舉反事實(shí)來(lái)解釋導(dǎo)致結(jié)果差異的原因。事實(shí)上，反事實(shí)解釋備受推崇。首先，它不需要知道系統(tǒng)決策的具體細(xì)節(jié)，也因此繞過(guò)了解釋復(fù)雜機(jī)器學(xué)習(xí)系統(tǒng)內(nèi)部工作原理這一難題：其次，反事實(shí)解釋為數(shù)據(jù)主體提供易于理解的信息，有利于理解決策形成原因；最后，反事實(shí)解釋可以很好地解釋某個(gè)具體事件的發(fā)生，為改變未來(lái)行為獲得更好的結(jié)果提供解釋支持。

三、可解釋人工智能發(fā)展的制度構(gòu)建路徑

為了破解算法黑箱，實(shí)現(xiàn)算法透明，確保算法可解釋?zhuān)l(fā)展可解釋人工智能勢(shì)在必行。不可否認(rèn)，技術(shù)的發(fā)展需要依托制度的支持?；诖耍⒁惶淄晟频闹贫纫龑?dǎo)和規(guī)范可解釋人工智能的發(fā)展是確有必要的。具言之，可解釋人工智能的制度建構(gòu)可梳理如下：

（一）立法設(shè)計(jì)：場(chǎng)景理論與可解釋人工智能的適用

推動(dòng)可解釋人工智能發(fā)展，單就手段而言，立法往往是最立竿見(jiàn)影、行之有效的。即通過(guò)立法規(guī)范可解釋人工智能的適用，進(jìn)而保障算法解釋權(quán)的實(shí)現(xiàn)。值得注意的是，法秩序的規(guī)范應(yīng)該具有針對(duì)性，不同的場(chǎng)景對(duì)算法可解釋性的需求是不同的。法律應(yīng)該通過(guò)場(chǎng)景理論介入算法規(guī)制，以情境為導(dǎo)向考察算法可解釋性的需求，制定與解釋需求相一致的規(guī)制策略。具體而言，法律應(yīng)該根據(jù)具體的受眾、算法主體以及所決事項(xiàng)，規(guī)定可解釋人工智能的適用。

就算法所針對(duì)受眾而言，法律對(duì)可解釋人工智能適用的規(guī)定，應(yīng)該考慮受眾對(duì)解釋信息的需求是不同的。有效的解釋?xiě)?yīng)該根據(jù)不同的受眾提供不同的解釋信息。受眾對(duì)解釋信息需求的不同是與他們自身背景相關(guān)的。對(duì)于一般受眾來(lái)說(shuō)，他們雖然是受決策影響最大的群體，但是所需要的解釋信息相對(duì)比較簡(jiǎn)單，解釋更側(cè)重于回答特定決策如何形成。對(duì)于政策制定者來(lái)說(shuō)，則需要足夠多的信息，從全局上了解模型的運(yùn)行，進(jìn)而評(píng)估決策的公平性。對(duì)于技術(shù)專(zhuān)家來(lái)說(shuō)，他們需要信息盡可能完整、詳細(xì)，深入模型各個(gè)細(xì)節(jié)，以便測(cè)試系統(tǒng)的可靠性，提高模型準(zhǔn)確度。

就算法主體而言，法律對(duì)可解釋人工智能的適用規(guī)定，應(yīng)該考慮決策主體性質(zhì)的不同。一方面，如果算法主體是公權(quán)力機(jī)關(guān)，算法很可能成為公共決策工具。而社會(huì)通常希望一個(gè)有責(zé)任的公權(quán)力機(jī)關(guān)，這要求算法在代替人類(lèi)進(jìn)行公共決策時(shí)，有義務(wù)向當(dāng)事人提供解釋?zhuān)C明決策的正當(dāng)性。另一方面，如果算法主體是私營(yíng)企業(yè)，“則算法可能成為企業(yè)的內(nèi)部決策程序，此時(shí)算法就更類(lèi)似企業(yè)的自主經(jīng)營(yíng)權(quán)”。就此而言，是否提供解釋由企業(yè)自主決定，無(wú)需法律強(qiáng)制介入。但是，當(dāng)企業(yè)所在的行業(yè)是明確受到監(jiān)管的領(lǐng)域，比如汽車(chē)或制藥行業(yè)，其決策一旦具備公共屬性，也需要提供解釋?zhuān)宰C明決策正當(dāng)性。

就算法所決事項(xiàng)而言，法律對(duì)可解釋人工智能適用的規(guī)定，應(yīng)考慮所決事項(xiàng)的重要程度。一方面，如果算法所決事項(xiàng)對(duì)個(gè)人利益有重大影響之時(shí)，法律應(yīng)強(qiáng)制規(guī)定可解釋人工智能的適用，這也是與算法解釋權(quán)的內(nèi)容相一致的。正如《個(gè)人信息保護(hù)法》第24條所規(guī)定，通過(guò)自動(dòng)化決策方式作出對(duì)個(gè)人權(quán)益有重大影響的決定，個(gè)人有權(quán)要求個(gè)人信息處理者予以說(shuō)明。不僅如此，對(duì)于高風(fēng)險(xiǎn)決策，當(dāng)存有相同水平的可解釋人工智能時(shí)，應(yīng)優(yōu)先選用算法白箱，提高決策可解釋性。另一方面，如果所決事項(xiàng)是一般性事項(xiàng)，并不涉及生命、財(cái)產(chǎn)等重大利益時(shí)，是否引入可解釋人工智能，法律不應(yīng)做強(qiáng)制規(guī)定。否則，容易打擊科技創(chuàng)新。

（二）行政激勵(lì)：政府采購(gòu)與可解釋人工智能的生產(chǎn)引導(dǎo)

政府采購(gòu)作為國(guó)家宏觀調(diào)控的工具，是政府運(yùn)用市場(chǎng)機(jī)制與企業(yè)建立經(jīng)濟(jì)聯(lián)系的重要方式。隨著自動(dòng)化決策越發(fā)地普及，算法采購(gòu)將是政府采購(gòu)的重要組成部分。鑒于政府使用的算法多依賴(lài)于采購(gòu)，商業(yè)秘密的存在，使得算法披露并不總是具備可行性，算法黑箱可能誘發(fā)決策的合法性危機(jī)。但不可否認(rèn)的是算法采購(gòu)也帶來(lái)了機(jī)遇。政府可以利用采購(gòu)這一舉措對(duì)市場(chǎng)生產(chǎn)進(jìn)行調(diào)節(jié)，要求市場(chǎng)向其提供符合特定標(biāo)準(zhǔn)的可解釋人工智能，借此推動(dòng)可解釋人工智能產(chǎn)業(yè)的發(fā)展。

解決算法治理難題，最常規(guī)且具有影響力的途徑，是制定相應(yīng)的法律法規(guī)。問(wèn)題是，算法與其他新興技術(shù)一樣，其發(fā)展具有內(nèi)在的不確定性，需要更多的容錯(cuò)空間，法律的剛性容易打擊科技創(chuàng)新。與立法不同，行政手段具有更大的靈活性，可以快速采取行動(dòng)、調(diào)整政策，進(jìn)而推進(jìn)管理目標(biāo)。其中，政府采購(gòu)作為政府促進(jìn)社會(huì)目標(biāo)的一條重要途徑，為政府提供了一種塑造私人生產(chǎn)行為的軟法方式。政府依靠采購(gòu)的貨幣和監(jiān)管杠桿不僅可以激勵(lì)市場(chǎng)有序競(jìng)爭(zhēng)，制造符合標(biāo)準(zhǔn)的可解釋人工智能，而且也可以引導(dǎo)企業(yè)投入更多研發(fā)資金，刺激產(chǎn)業(yè)創(chuàng)新。

建立可信賴(lài)的人工智能，必須把算法的可解釋性作為政府采購(gòu)考量的重要因素。正如世界經(jīng)濟(jì)論壇推出的《人工智能系統(tǒng)政府采購(gòu)白皮書(shū)》所規(guī)定，采購(gòu)應(yīng)該關(guān)注算法透明度，確保決策透明化。白皮書(shū)還特別強(qiáng)調(diào)對(duì)可解釋人工智能的采購(gòu)，建議將算法的可解釋性作為建立審計(jì)和市場(chǎng)競(jìng)爭(zhēng)的方法。政府采購(gòu)對(duì)可解釋人工智能的發(fā)展起著正向激勵(lì)作用。一方面，政府強(qiáng)勁的購(gòu)買(mǎi)力和公眾信譽(yù)，可以拉動(dòng)可解釋人工智能的市場(chǎng)需求，甚至直接推動(dòng)企業(yè)將算法可解釋作為人工智能生產(chǎn)設(shè)計(jì)標(biāo)準(zhǔn)。另一方面，政府在不同辦公場(chǎng)合對(duì)算法的解釋性需求是不同的，這將刺激企業(yè)制造不同類(lèi)型的可解釋人工智能，有利于促進(jìn)可解釋人工智能的類(lèi)型朝多樣化發(fā)展。

基于此，政府在采購(gòu)人工智能產(chǎn)品時(shí)，應(yīng)將算法的可解釋性要求貫徹到整個(gè)政府采購(gòu)過(guò)程中。首先，在采購(gòu)準(zhǔn)備階段，政府應(yīng)該將算法的可解釋性納入采購(gòu)事前風(fēng)險(xiǎn)評(píng)估，嚴(yán)格把控采購(gòu)風(fēng)險(xiǎn)。其次，在市場(chǎng)招標(biāo)階段，政府應(yīng)該將算法可解釋性納入到采購(gòu)合同具體條款中，鼓勵(lì)供應(yīng)商提供符合標(biāo)準(zhǔn)的可解釋人工智能。再次，在選擇和評(píng)估階段，政府應(yīng)將算法可解釋性作為選擇、評(píng)估的重要因素，根據(jù)招標(biāo)書(shū)的規(guī)定來(lái)確定中標(biāo)供應(yīng)商。最后，在合同履行階段，政府應(yīng)該確保模型在運(yùn)行中符合規(guī)定的可解釋標(biāo)準(zhǔn)，通過(guò)內(nèi)部審計(jì)、持續(xù)性模型測(cè)試等手段檢驗(yàn)解釋的穩(wěn)定性。

（三）市場(chǎng)監(jiān)管：第三方認(rèn)證與可解釋人工智能的制造

第三方認(rèn)證作為治理的重要工具，在市場(chǎng)和政府雙重失靈的情況下，可以有效實(shí)現(xiàn)監(jiān)管目標(biāo)。人工智能認(rèn)證被認(rèn)為是構(gòu)建人工智能監(jiān)管框架，實(shí)現(xiàn)可信賴(lài)人工智能的重要舉措。為此，歐盟率先在GDPR中引入了人工智能系統(tǒng)自愿認(rèn)證的理念。此外，包括國(guó)際標(biāo)準(zhǔn)化組織（ISO）、IEEE在內(nèi)的多個(gè)組織機(jī)構(gòu)也爭(zhēng)先出臺(tái)人工智能認(rèn)證計(jì)劃?？山忉屓斯ぶ悄艿谌秸J(rèn)證則是人工智能認(rèn)證的重要一環(huán)。該認(rèn)證主要是關(guān)于人工智能的核心——算法符合可解釋人工智能解釋要求的證明，進(jìn)而實(shí)現(xiàn)算法透明的可視化評(píng)定，并借此鼓勵(lì)企業(yè)制造可解釋人工智能。

應(yīng)當(dāng)說(shuō)，可解釋人工智能認(rèn)證提供了一種方式，不僅在實(shí)踐中證實(shí)了算法具備可解釋性，也促進(jìn)了可解釋人工智能的制造。它具有如下優(yōu)點(diǎn)：首先，審核算法的設(shè)計(jì)制造是否符合預(yù)期的技術(shù)規(guī)范，通過(guò)認(rèn)證對(duì)算法的解釋性進(jìn)行再次確認(rèn)，從而達(dá)到規(guī)范算法透明度的目的。其次，引入一個(gè)專(zhuān)業(yè)的第三方獨(dú)立機(jī)構(gòu)，減少供應(yīng)商與受眾之間的信息不對(duì)稱(chēng)，在算法供應(yīng)商和受眾之間樹(shù)立起一道關(guān)于算法解釋的信任之墻。再次，提供一種非常直接的問(wèn)責(zé)機(jī)制，如果供應(yīng)商所提供的算法不能被可解釋人工智能所解釋?zhuān)瑢⒈痪芙^或撤銷(xiāo)認(rèn)證。最后，形成一種逆向推動(dòng)力，倒逼企業(yè)不斷開(kāi)發(fā)、制造可解釋人工智能，促成更多的算法通過(guò)認(rèn)證。

認(rèn)證根據(jù)強(qiáng)制性程度的不同可以分為自愿認(rèn)證和強(qiáng)制認(rèn)證。如果說(shuō)自愿認(rèn)證是軟法，那么強(qiáng)制認(rèn)證就是“硬法”?？山忉屓斯ぶ悄艿恼J(rèn)證，可以借鑒歐盟在《人工智能白皮書(shū)》中關(guān)于可信賴(lài)人工智能認(rèn)證的規(guī)定，采取自愿認(rèn)證和強(qiáng)制認(rèn)證相結(jié)合的方式。白皮書(shū)將人工智能可解釋性作為可信賴(lài)人工智能的重要組成部分，認(rèn)為對(duì)于高風(fēng)險(xiǎn)的人工智能應(yīng)用必須進(jìn)行事前合格認(rèn)證，核實(shí)其是否符合可信賴(lài)人工智能的要求，進(jìn)而決定其上市銷(xiāo)售資格。對(duì)于低風(fēng)險(xiǎn)應(yīng)用，由企業(yè)經(jīng)營(yíng)者自主決定是否進(jìn)行認(rèn)證。相應(yīng)地，可解釋人工智能認(rèn)證也應(yīng)該在采取強(qiáng)制認(rèn)證和自愿認(rèn)證相結(jié)合的基礎(chǔ)上，根據(jù)應(yīng)用的風(fēng)險(xiǎn)程度來(lái)決定具體認(rèn)證方式。

為了鼓勵(lì)技術(shù)創(chuàng)新，可解釋人工智能認(rèn)證應(yīng)該盡量以自愿認(rèn)證為主，強(qiáng)制認(rèn)證為輔。就提高認(rèn)證意愿而言，國(guó)家可以采取不同措施從外部進(jìn)行驅(qū)動(dòng)。第一，通過(guò)侵權(quán)責(zé)任認(rèn)定原則的區(qū)分來(lái)鼓勵(lì)自愿認(rèn)證。在侵權(quán)案件中，對(duì)于已認(rèn)證的智能系統(tǒng)制造商、運(yùn)營(yíng)商將承擔(dān)有限的侵權(quán)責(zé)任，而未經(jīng)認(rèn)證的將承擔(dān)嚴(yán)格的連帶責(zé)任。第二，通過(guò)財(cái)政政策進(jìn)一步提高企業(yè)認(rèn)證意愿。對(duì)已認(rèn)證的生產(chǎn)商提供稅收抵免、財(cái)政補(bǔ)貼等優(yōu)惠政策，刺激相關(guān)企業(yè)進(jìn)行認(rèn)證。除外部激勵(lì)以外，認(rèn)證同樣存在內(nèi)部驅(qū)動(dòng)。第一，認(rèn)證可以為公司提供證據(jù)，反駁那些質(zhì)疑公司所生產(chǎn)的算法缺乏透明度的指控。第二，認(rèn)證可以提高企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力，迎合消費(fèi)者對(duì)可信賴(lài)人工智能的需求。

結(jié)語(yǔ)

在人工智能時(shí)代，算法決策成為人類(lèi)生活重要的組成部分。算法黑箱卻阻礙算法透明的實(shí)現(xiàn)，影響決策的可信賴(lài)。算法公開(kāi)對(duì)實(shí)現(xiàn)算法透明來(lái)說(shuō)收效甚微。與之相比，可解釋人工智能的出現(xiàn)為破解算法黑箱提供了可能。可解釋人工智能以技術(shù)打敗技術(shù)，通過(guò)技術(shù)實(shí)現(xiàn)算法透明，是算法黑箱治理的絕佳選擇。它不僅可以根據(jù)黑箱成因的不同，設(shè)計(jì)出不同的解釋模型，而且還可以根據(jù)受眾需求的不同，提供不同的解釋信息，進(jìn)而實(shí)現(xiàn)算法可解釋。當(dāng)然，技術(shù)的發(fā)展離不開(kāi)制度的保障。這就要求立法、行政和第三方機(jī)構(gòu)協(xié)同監(jiān)管，共同促進(jìn)可解釋人工智能的發(fā)展。應(yīng)該說(shuō)，對(duì)算法治理而言，制度保障下的可解釋人工智能是實(shí)現(xiàn)算法透明不可或缺的鑰匙。唯有算法透明，算法決策才能真正地造福于民，使科技更好地為人類(lèi)服務(wù)。

（責(zé)任編輯：曹鎏）

項(xiàng)目基金：2017年度國(guó)家社科基金重大專(zhuān)項(xiàng)項(xiàng)目“核心價(jià)值觀融入法治建設(shè)研究：以公正司法為核心的考察”（項(xiàng)目編號(hào)17VHJ007）。