邁向可解釋的交互式人工智能：動因、途徑及研究趨勢

吳 丹 孫國燁

隨著新一代信息技術(shù)的快速發(fā)展，人工智能技術(shù)已經(jīng)在多個領(lǐng)域得到了應用，并對人類社會產(chǎn)生了巨大的影響，小到產(chǎn)品推薦、廣告定制、交友建議，大到無人駕駛、疾病診斷、司法裁判，人工智能不斷滲透到人們生活的方方面面，許多人已經(jīng)習慣參考并采納人工智能提供的決策建議。人正在被無處不在的人工智能所深入影響?；诖?，近幾年，多所機構(gòu)或企業(yè)陸續(xù)圍繞以人為中心的人工智能展開了研究，如斯坦福大學成立了“以人為本的人工智能研究所”，清華大學與阿里巴巴集團宣布共同建設(shè)“自然交互體驗聯(lián)合實驗室”。這些研究強調(diào)，人工智能的未來不僅僅在于技術(shù)，人工智能必須是關(guān)乎人類的，其落腳點在于增強人的能力，而不是將人類取而代之。與此同時，在實踐應用層面，支持人類與之進行交互的人工智能系統(tǒng)層出不窮。這表明，人工智能的發(fā)展越來越需要納入“人”的因素，只有將人工智能（Artificial Intelligence，簡稱AI）與人機交互（Human-Computer Interaction，簡稱HCI）結(jié)合起來考慮，才能實現(xiàn)人類對人工智能的更佳運用。

然而，在人類與人工智能的交互成為常態(tài)的背景下，不可忽視的是人工智能存在的“黑匣子”問題阻礙了人們對相應系統(tǒng)的理解和運用。為此，建立可解釋的人工智能，開始被許多學者、機構(gòu)乃至政府組織所呼喚，成為以人為中心的人工智能的重要研究板塊。2017年4月，美國國防部高級研究計劃署（De‐fense Advanced Research Projects Agency，簡稱DARPA）啟動了“可解釋的人工智能”（Explainable Artifi‐cial Intelligence，簡稱XAI）項目，旨在提高AI 系統(tǒng)的可解釋性［1］。2018 年5 月，歐洲聯(lián)盟（European Union，簡稱EU）發(fā)布了《通用數(shù)據(jù)保護條例》（General Data Protection Regulation，簡稱GDPR），強制要求人工智能算法具有可解釋性［2］。2019年6月，我國發(fā)布的《新一代人工智能治理原則——發(fā)展負責任的人工智能》指出，人工智能系統(tǒng)應不斷提升可解釋性［3］。

與此同時，在建立可解釋人工智能的過程中，我們應當認識到人機交互的重要性，人工智能的可解釋性是在人工智能與用戶的交互中得以實現(xiàn)的。因此，區(qū)別于以往研究中常被提及的可解釋人工智能，本文側(cè)重于交互這一要素，試圖討論可解釋的交互式人工智能——在與人類進行交互時，其行動背后的具體邏輯能夠被用戶所理解的人工智能。

由“黑匣子”轉(zhuǎn)向可解釋的交互式人工智能是相關(guān)領(lǐng)域的發(fā)展趨勢，也是實現(xiàn)以人為中心的人工智能的前瞻性挑戰(zhàn)。本文即著眼于可解釋的交互式人工智能，主要從其發(fā)展動因、實現(xiàn)途徑兩方面對國內(nèi)外的相關(guān)研究進展進行歸納與闡述，在此基礎(chǔ)上展望可解釋交互式人工智能未來的研究趨勢。

一、可解釋交互式人工智能的基本概念及發(fā)展背景

人工智能是當前諸多科技領(lǐng)域的核心所在，可解釋性是面向人工智能的一個研究話題，旨在使人類更好地理解人工智能系統(tǒng)的行動與決策?？山忉尩娜斯ぶ悄懿⒉粚儆谌碌难芯繂栴}。最初針對人工智能的研究大多認為，系統(tǒng)得出決策結(jié)果的依據(jù)應當被解釋，尤其在專家系統(tǒng)解釋的相關(guān)研究出現(xiàn)之后，可解釋性這一研究方向便一直存在。與可解釋的人工智能相關(guān)的研究工作甚至出現(xiàn)在20世紀80年代左右的文獻中，當時人工智能系統(tǒng)的解釋主要是基于對應用規(guī)則的利用實現(xiàn)的，因為這些規(guī)則和信息是由專家來擬定的，再加上最初的系統(tǒng)較為容易解釋，所以理解人工智能的行動相對來說難度較低［4］（P815-823）。

在相當長的一段時間內(nèi)，隨著人工智能的不斷發(fā)展，相關(guān)研究重點開始轉(zhuǎn)向算法與模型的改進，更多強調(diào)其技術(shù)方面，特別是預測方面的能力。與之相對應的是，解釋方面的能力在人工智能領(lǐng)域的研究地位下降，研究人員對其重視度稍顯不足。近年來，在深度學習技術(shù)取得驚人進步的背景下，人工智能擁有了超強的學習與決策能力，能夠解決的任務(wù)也前所未有的復雜，人們越來越多地運用人工智能系統(tǒng)幫助自己在重要場景下做出決定，人工智能逐漸成為影響社會發(fā)展的重要存在。

在人工智能領(lǐng)域，有兩個與可解釋性相關(guān)的關(guān)鍵概念：透明度與準確性。透明度（Transparency）強調(diào)人工智能系統(tǒng)能夠給出自身工作原理的程度，是用戶理解機器的基礎(chǔ)［5］（P673-705）。準確性（Accura‐cy）則強調(diào)模型的擬合能力以及在某種程度上準確預測未知樣本的能力。當人工智能生成的決策極大影響到人類生活的多個方面時，人類對人工智能可解釋性的要求也隨之攀升，相對于此前對系統(tǒng)準確性、使用便捷性的單一關(guān)注，如今的利益相關(guān)人員對透明度的要求越來越高［6］（P1-8）。

人工智能的準確性與透明度之間存在一定的矛盾，如果僅僅在意系統(tǒng)的性能水平，那么其可解釋性將難以得到提升，權(quán)衡兩者的關(guān)系是一直以來的難題［7］（P210-215）。但如果不提高人工智能的可解釋性，其決策就難以得到解釋，很可能產(chǎn)生不合理甚至危險的結(jié)果，而提升可解釋性也許就能夠修正系統(tǒng)在準確度方面的缺陷。因此在預測能力與解釋能力的平衡方面，至少可以確定的一點在于人類需要具有解釋能力的人工智能。

正因為如此，可解釋性近來得到了重新關(guān)注，而且已經(jīng)成為人工智能研究領(lǐng)域的熱點話題。但實現(xiàn)可解釋的人工智能并不是一件易事，諸如深度神經(jīng)網(wǎng)絡(luò)等被智能系統(tǒng)所運用的不透明模型，使得打開人工智能的黑箱變得更加困難［8］（P20）。可以說，可解釋性是人工智能發(fā)展到一定階段后產(chǎn)生的又一個重要難題。人工智能的相關(guān)研究人員正在圍繞可解釋性進行不斷的努力，以期達成打開人工智能黑箱的目標。在學者層面，部分國際會議如International Conference on Machine Learning（簡稱ICML）、Confer‐ence and Workshop on Neural Information Processing Systems（簡稱NeurIPS）等將可解釋的人工智能納入研討會的討論主題中。在政府組織層面，由美國國防部高級研究計劃署啟動的可解釋人工智能計劃影響較為廣泛。在工業(yè)界層面，許多企業(yè)致力于提升其人工智能相關(guān)產(chǎn)品的可解釋性。

隨著“以人為中心的人工智能”這一術(shù)語被廣泛接受，越來越多的學者開始給可解釋的人工智能下定義。寬泛來講，可解釋的人工智能可以指能夠使得人類用戶理解并信任其輸出的相關(guān)技術(shù)［9］，它可以解釋算法的工作形式，幫助使用者了解為何以及怎樣得出決策結(jié)果。當重點考慮交互這一要素，放眼可解釋的交互式人工智能時，可以發(fā)現(xiàn)，可解釋性涉及機器與人類兩方面的問題，因此對可解釋交互式人工智能的討論不應只集中于技術(shù)，人工智能的解釋能力與用戶這一要素緊密相關(guān)。與可解釋人工智能相比，可解釋交互式人工智能更多探討用戶、交互等與解釋對象相關(guān)的因素?；诖?，在學者們給出的可解釋人工智能的眾多概念中，從解釋對象角度進行的闡述也許更加貼合可解釋交互式人工智能的定義。本文對Arrieta關(guān)于可解釋人工智能的定義加以引申，認為可解釋交互式人工智能是指針對特定使用者，在交互過程中能夠提供細節(jié)和原因，使得系統(tǒng)背后的行動邏輯能夠被用戶所理解的人工智能［10］（P82-115）。

可解釋的交互式人工智能不僅局限于文本中的概念，它更多涉及實踐中采取的各項舉措，深入了解可解釋交互式人工智能在現(xiàn)實中的發(fā)展非常重要。因此，本文對其發(fā)展動因、實現(xiàn)途徑、研究趨勢進行了細致的梳理與總結(jié)，以期描繪出可解釋交互式人工智能的概貌。

二、可解釋交互式人工智能發(fā)展的主要動因

復雜變化的環(huán)境提升了研究人員對可解釋交互式人工智能的關(guān)注度，推動了其在理論與實踐層面的發(fā)展，可以從人工智能研究通常涉及的兩個主體（機器與用戶）、一種關(guān)系（人機關(guān)系）對可解釋交互式人工智能的發(fā)展原因進行探討。無論是在技術(shù)進步的背景下決策更加復雜、影響更加廣泛的機器，還是在大數(shù)據(jù)時代更加關(guān)注人工智能使用體驗與安全性的用戶，抑或是人與機器更加深入的交互與協(xié)作關(guān)系，都是可解釋交互式人工智能發(fā)展的主要原因所在。

（一）AI在改變——功能的強化與應用領(lǐng)域的增多

隨著人工智能功能的強化，用戶難以理解其決策邏輯，更容易產(chǎn)生不解與反感，人工智能必須變得可解釋以證明其決策結(jié)果的合理性。同時，人工智能應用領(lǐng)域的增多也使得其面臨的風險更多樣、更龐大，實現(xiàn)可解釋的交互式人工智能能夠在一定程度上防范重大事故。

得益于技術(shù)的進步，人工智能的功能越來越強大，包括收集、存儲和使用用戶數(shù)據(jù)，以及進行自動推薦與評估等。與人工智能的功能強化相對應的是，其系統(tǒng)和算法的復雜度也在不斷提高，要理解人工智能做出決策的依據(jù)，需要使用者具有相當豐富的專業(yè)知識及較高的技術(shù)水平?，F(xiàn)實中，大多數(shù)用戶都是非專業(yè)用戶，對于他們而言，復雜的人工智能越來越容易被視作難以理解的“黑匣子”，這阻礙了使用者對人工智能的理解，人們在與機器進行交互的過程中，更加難以僅僅憑借自身的努力去理解人工智能的行動邏輯。用戶不知道人工智能是依據(jù)怎樣的行動邏輯得出了現(xiàn)有的決策，這容易對系統(tǒng)的可信任度產(chǎn)生負面影響，在交互過程中也會出現(xiàn)更多問題。比如，有研究發(fā)現(xiàn)，Airbnb的房東對于系統(tǒng)將其房源排在檢索結(jié)果列表的某個次序，以及針對相應房源給出建議定價等操作的依據(jù)感到困惑［11］（P1-12）。人工智能的決策能力愈發(fā)強大，也意味著它對人們現(xiàn)實權(quán)益的影響更加深入。比如，休斯頓的一所學校通過人工智能系統(tǒng)來評估教師的表現(xiàn)，卻無法解釋該系統(tǒng)生成不利評價的原因，遭到了相關(guān)教師的起訴［12］（P563-574）。如果人工智能的強大功能是在不能為人類提供對應理由的背景下完成的，那么受到系統(tǒng)決策影響的人們則很可能對其產(chǎn)生強烈的不解與反感。因此，人工智能需要向人類提供必要的解釋信息，以證明其決策結(jié)果的合理性。歐洲聯(lián)盟2018年5月發(fā)布的《通用數(shù)據(jù)保護條例》即規(guī)定，公民具有受算法決策影響的“解釋權(quán)”［2］。

人工智能可解釋性的意義不僅在于證明其決策結(jié)果的合理性，也在于預防重大問題的發(fā)生。近年來，人工智能開始被運用到大量場景中，并涉及自動駕駛、刑事司法、醫(yī)療診斷、金融財務(wù)等高風險領(lǐng)域。當人工智能被用于開展這些特定工作的時候，如果用戶面對的是“黑箱”，則人工智能的自主決策將存在無法控制的巨大風險。比如，在交通領(lǐng)域，優(yōu)步公司（Uber Technologies，Inc.，簡稱Uber）的自動駕駛車輛曾導致一起死亡事故的發(fā)生［13］（P52138-52160）；在司法領(lǐng)域，美國威斯康星州法院曾以使用封閉源代碼的系統(tǒng)為依據(jù)指導定罪量刑，引發(fā)了諸多爭議與質(zhì)疑［14］（P327-343）；在醫(yī)學領(lǐng)域，有研究發(fā)現(xiàn)預測肺炎的人工智能可能因為系統(tǒng)性偏差得出明顯錯誤的結(jié)論［15］（P1721-1730）。而這些領(lǐng)域的用戶往往具有專業(yè)知識，他們對人工智能的理解程度越深，越能夠及時發(fā)現(xiàn)系統(tǒng)存在的問題。當前，在自動駕駛、醫(yī)療臨床、刑事司法、金融服務(wù)等領(lǐng)域已經(jīng)逐漸展開了人工智能可解釋性的相關(guān)研究。

（二）用戶在改變——對AI可信任度及交互體驗的要求增高

伴隨著人工智能的廣泛運用，用戶對這個插手自身生活的“黑匣子”提出了更高的要求，他們希望人工智能是公平的、透明的、負責任的，擁有較高的可信任度，能夠提供良好的用戶體驗，而可解釋性是實現(xiàn)這些目標的共同基礎(chǔ)。

就人工智能的公平性而言，由于機器與人類不同，不具有復雜的情感特征，因此從表面來看，它的行動與決策應當是更為理性公平的，但前提是人工智能并未受到部分企業(yè)或開發(fā)者的利用，變成小部分群體獲取利益的工具。當前，越來越多的個人或群體用戶認識到，人工智能的算法不僅要在計算方面保持公平，還應當摒棄潛在的偏見與歧視，否則現(xiàn)實生活中的不平等也許會因為人工智能而加劇。可解釋性在一定程度上能夠用于保障人工智能的公平性，部分可解釋的機器學習模型基于可視化的方法，顯示系統(tǒng)得出決策結(jié)果的關(guān)系圖，以分析人工智能是否受到偏見的影響［16］（P153-163）。

就人工智能的透明度而言，在當今信息爆炸、互聯(lián)網(wǎng)迅速發(fā)展的時代，個人數(shù)據(jù)極易被獲取并濫用，用戶的隱私意識也相應越來越強，透明度較高的人工智能更加符合人們的心理需求。具體而言，在人機交互的過程中，用戶往往需要輸入部分涉及個人隱私的數(shù)據(jù)，他們通常希望了解這些數(shù)據(jù)是如何被系統(tǒng)處理的［17］（P137-141）?？山忉屝栽礁叩南到y(tǒng)，其透明度越能夠得到保證，透明的解釋能夠為用戶提供心理層面的保障，因此可解釋的交互式人工智能往往更受人們青睞。

就負責任的人工智能而言，在人工智能運行邏輯得以被理解的情況下，人們才更加容易識別應當承擔算法后果責任的實體，實現(xiàn)負責任的人工智能［18］（P1-28）?？偠灾脩舾兄降娜斯ぶ悄芸山忉屝詴绊懫鋵C器的信任，當人工智能的可解釋性越高時，用戶更可能認為它是公平的、透明的、負責任的。

另外，對于人機交互中的用戶體驗感來說，可解釋性也是非常重要的。從“人”的視角來看，如果無法了解機器的運行邏輯，交互的體驗則會大打折扣。其一，當機器總是能夠向用戶解釋其行動的依據(jù)，且用戶認為人工智能給出的解釋足夠時，更可能認為系統(tǒng)具有較高的有用性及易用性，也更容易接受機器在交互過程中提供的相關(guān)建議［19］（P277-284）；其二，高質(zhì)量的解釋能夠在人機交互過程中使人類與機器之間的關(guān)系更為融洽、和諧，促進兩者間的相互理解，尤其是在人工智能出現(xiàn)意外行動或失誤時，減輕人類對機器的厭惡感等負面情緒。因此，用戶與可解釋性較好的人工智能通常有著更為自然的交互，在使用系統(tǒng)的過程中容易產(chǎn)生親密感和舒適感?？傊?，用戶對解釋能力出色的系統(tǒng)具有較高的滿意度［20］（P2390-2395）。

（三）人機關(guān)系在改變——從機器的單方面輸出到人機交互下的任務(wù)協(xié)作

隨著人類與人工智能的交互越來越頻繁且深入，人機交互開始被運用于多種任務(wù)協(xié)作的場景下，而實現(xiàn)更好的協(xié)作效果需要人機互相理解。要讓用戶充分地參與人機協(xié)作，達成利用機器增強人類能力的目的，人工智能的可解釋性是必不可少的要素之一。

一方面，建立可解釋的人工智能是使用者在人機協(xié)作中得以優(yōu)化交互的基礎(chǔ)。當面對直接決策、對其行動毫無解釋與說明的機器時，使用者無從得知如何優(yōu)化自身與機器之間的交互協(xié)作，便難以采取相應的舉措。用戶只有理解了人工智能的運行邏輯，才能夠做到通過修改輸入機器的內(nèi)容，來優(yōu)化自身接收的內(nèi)容［21］（P102078）。另一方面，在人機關(guān)系中，隨著機器自主權(quán)的提升，英特爾自適應機器人等人工智能已經(jīng)能夠?qū)崿F(xiàn)主動交互與自主修正，如何在機器發(fā)起主動交互時讓用戶充分理解與信任人工智能，并愿意參與人機交互，幫助人工智能進行動態(tài)學習與修正，都對系統(tǒng)的可解釋性提出了新的要求［22］（P326-331）。此外，有研究認為，人工智能在實現(xiàn)決策的過程中涉及許多人類并不知曉的知識，因此，如果人工智能在人機交互中是能夠提供相應解釋的存在，則其可以主動向人類傳遞或說明新信息，促成人機協(xié)作質(zhì)量的進一步提高［13］（P52138-52160）。

三、可解釋交互式人工智能的實現(xiàn)途徑

在實現(xiàn)可解釋的交互式人工智能的過程中，采取何種途徑與方法是我們無法繞過的重要問題。事實上，在實踐中認識到可解釋交互式人工智能現(xiàn)實意義的部分企業(yè)、學者已經(jīng)從理論及技術(shù)方面出發(fā)，進行了相關(guān)探索與嘗試。在對已有研究進行梳理后，本文認為，實現(xiàn)可解釋的交互式人工智能需要在指導層面牢牢把握框架準則的構(gòu)建，在技術(shù)層面持續(xù)致力算法模型的開發(fā)，在設(shè)計層面著重關(guān)注用戶需求的分析，在優(yōu)化層面有效開展可解釋性的評估。這些要素是在實現(xiàn)可解釋交互式人工智能的過程中不可或缺的角色。

（一）以框架準則構(gòu)建為指導

實現(xiàn)可解釋的交互式人工智能，絕不是一項平地起高樓的簡單工作，系統(tǒng)開發(fā)者在設(shè)計時需要參考可解釋交互式人工智能的相關(guān)準則及指導性框架，綜合考慮多方因素。微型計算機軟件公司（Microsoft Corporation，簡稱微軟）、谷歌公司（Google Inc.，簡稱Google）、國際商業(yè)機器公司（International Business Machines Corporation，簡稱IBM）及部分學者提出了構(gòu)建可解釋交互式人工智能的參考準則；部分研究則以人類認知或系統(tǒng)交互為核心，構(gòu)建了指導可解釋交互式人工智能設(shè)計的概念或理論框架。

在準則方面，微軟從交互階段出發(fā)，提出了18種普遍適用的人機交互指南，涵蓋人工智能系統(tǒng)在與用戶初次接觸、互動時期、發(fā)生錯誤時期以及深入?yún)f(xié)作四個階段的設(shè)計建議，為生成便于用戶理解的系統(tǒng)提供了參考準則［23］（P1-13）。Google基于對部分可解釋人工智能的工作示例的收集展示，針對可解釋交互式人工智能的設(shè)計提供了推薦指南［24］。IBM給出了設(shè)計可解釋交互式人工智能的措施建議，包括實現(xiàn)系統(tǒng)與用戶之間紐帶的途徑［25］。另有學者立足于降低解釋復雜度，提出了“人類自治系統(tǒng)設(shè)計指南”，為設(shè)計者提升系統(tǒng)可解釋性，將其復雜性降至最低提供了設(shè)計準則［26］（P29-34）。

在指導性框架方面，有研究從人類認知的角度出發(fā)，將人工智能的解釋工具同人類認知模式聯(lián)系起來，構(gòu)建了用于指導設(shè)計以人為中心的可解釋交互式人工智能系統(tǒng)的概念框架［27］（P1-15）；另有研究從系統(tǒng)交互的角度入手，開發(fā)了涵蓋系統(tǒng)交互協(xié)議、用于指導實現(xiàn)可解釋交互式人工智能的理論框架［28］。

無論是企業(yè)根據(jù)已有實踐提煉的設(shè)計準則，還是涵蓋人類認知與系統(tǒng)交互兩方面的理論框架，它們對于實現(xiàn)可解釋的交互式人工智能均具有指導性意義。系統(tǒng)開發(fā)者不應在設(shè)計過程中忽略這些框架準則，要在充分理解的基礎(chǔ)上運用它們，助力可解釋式交互人工智能的開發(fā)工作。

（二）以算法模型設(shè)計為基石

在增強人工智能的可解釋性方面，不可或缺的是算法、模型等解釋方法的運用及改進。模型復雜度是一個在人工智能領(lǐng)域常常被提及的概念，它強調(diào)模型在結(jié)構(gòu)上的復雜程度。模型復雜度與模型的準確性密切相關(guān)，一般情況下，模型的復雜度越低，其擬合能力越差，準確性越弱，但透明度較高，可解釋性相對較好；模型的復雜度越高，其準確性越強，但透明度較低，可解釋性相對較差。

人工智能的解釋方法可以根據(jù)解釋對象的模型復雜度分成兩大類，一類是事前解釋（ante-hoc），另一類是事后解釋（post-hoc）。事前解釋主要針對復雜度較低的模型，事后解釋主要針對復雜度較高的模型［29］（P31-57）。本文基于這兩類方法的相關(guān)文獻，梳理了其對應的具體模型或算法，如表1所示。

表1 人工智能解釋方法

事前解釋即使得模型本身可解釋，事前解釋根據(jù)解釋的實現(xiàn)途徑又可分為兩種：采用自解釋模型和構(gòu)建具有內(nèi)置可解釋性的模型。

第一種方法是直接采用傳統(tǒng)機器學習中的自解釋模型。例如，線性模型、決策樹、廣義加性模型、K最近鄰分類算法、基于規(guī)則的模型、樸素貝葉斯模型等，這些模型結(jié)構(gòu)簡單，自身就具有可解釋性，主要體現(xiàn)在能夠給出要素對決策的重要性度量。

第二種方法是實現(xiàn)模型的內(nèi)置可解釋性。根據(jù)郭煒煒等人的總結(jié)，目前構(gòu)建具有內(nèi)置可解釋性的模型有幾種主要方法［30］（P462-476）。一是引入注意力機制。注意力機制起源于認知神經(jīng)學的研究，指人腦在信息過量的背景下可以重點處理某些信息而忽略其他信息，本質(zhì)是對信息進行加權(quán)。已有研究將注意力機制引入文本分類任務(wù)，對不同詞語進行權(quán)重量化，幫助人類理解每個詞對分類結(jié)果的貢獻［31］（P1480-1489）。二是深化統(tǒng)計模型。和現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)相比，統(tǒng)計模型的可解釋較強，因此，已有研究嘗試以統(tǒng)計學習模型為基礎(chǔ)，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，如基于稀疏編碼方法ISTA，生成LISTA（Leaned ISTA）模型［32］（P399-406）。三是基于物理模型。已有研究嘗試參考物質(zhì)世界的規(guī)則，進行神經(jīng)網(wǎng)絡(luò)建模，如根據(jù)霧的生成原理，構(gòu)建端到端的神經(jīng)網(wǎng)絡(luò)模型，使得模型中的各個模塊都有清晰的物理意義［33］（P1234-1240）。

事后解釋指開發(fā)解釋技術(shù)對已經(jīng)訓練好的學習模型進行后驗解釋，根據(jù)解釋對象的不同，事后解釋又可以分為全局性解釋方法和局部解釋方法。全局性解釋方法主要針對模型，幫助人們理解模型內(nèi)在的工作機制；局部解釋方法主要針對每一個輸入樣本，幫助人們理解模型對于輸入樣本的決策邏輯和依據(jù)。

全局性解釋方法主要有激活最大化（AM）、概念激活矢量測試（TCAV）、知識蒸餾。激活最大化即尋找一個最大化特定層神經(jīng)元激活值的輸入模式，是可視化DNN神經(jīng)單元計算內(nèi)容的典型方法［34］。概念激活矢量測試方法能夠用來判斷某一概念對于分類的重要程度，常被用于醫(yī)療問題的診斷分級［35］（P1-14）。知識蒸餾是用結(jié)構(gòu)簡單的模型來模擬結(jié)構(gòu)復雜的模型，提取復雜模型的決策規(guī)則，被廣泛應用于模型診斷與驗證［36］（P905-912）。

局部解釋方法主要有反向傳播、類激活映射、局部近似、沙普利解釋模型等方法?；谔荻鹊姆椒ǎ℅radient-based，簡稱Grad）、導向反向傳播法（Guided Back Propagation，簡稱GuidedBP）、積分梯度法（Integrated Gradient，簡稱IntegratedGrad）和平滑梯度法（Smooth Gradient，簡稱SmoothGrad）等反向傳播方法是從模型的輸出層推導模型輸入層樣本的重要性，能夠有效定位重要特征［34］［37］［38］［39］。類激活映射（Class Activation Mapping，簡稱CAM）、梯度加權(quán)類激活映射（Gradient-weighted Class Activation Map‐ping，簡稱Grad-CAM）方法能夠針對卷積神經(jīng)網(wǎng)絡(luò)模型生成視覺效果較好的解釋，被用于定位決策的重要區(qū)域［40］（P2921-2929）［41］（P618-626）；局部線性近似法（Local Interpretable Model-Agnostic Explanation，簡稱LIME）、非線性逼近的局部解釋法（Local Explanation Method-using Nonlinear Approximation，簡稱LEMNA）等局部近似方法通過捕捉模型的局部特征，在文本和圖像的解釋方面取得了良好的效果［42］（P1135-1144）［43］（P364-379）；基于Shapley 值的沙普利解釋模型（Shapley Additive Explanations，簡稱SHAP）通過計算個體的貢獻來確定其重要程度，被英格蘭銀行嘗試用于解釋抵押貸款違約模型［44］（P4765-4774）；Google還將Tensorflow與SHAP相結(jié)合，以進一步提升可解釋性［45］?？傮w而言，當前人工智能的解釋方法數(shù)量較多，但每種方法都存在著或多或少的不足。比如：自解釋模型準確性較低，預測性能與可解釋性之間的矛盾較大，受到多種因素的限制；激活最大化方法只能用于連續(xù)型數(shù)據(jù)，無法應用于圖像等離散型數(shù)據(jù)，且容易受到噪音的影響；反向傳播方法無法量化特征的重要程度等。因此，在面對不同情境時，應當根據(jù)各個方法的特點及優(yōu)勢，選取合適的算法或模型來實現(xiàn)人工智能系統(tǒng)的解釋。同時，可解釋交互式人工智能也在呼吁更加優(yōu)秀的算法。

（三）以用戶需求納入為橋梁

人工智能的解釋對象是用戶，要實現(xiàn)可解釋的交互式人工智能，就需要更加關(guān)心人機交互中的人這一要素。在設(shè)計可解釋的交互式人工智能的過程中，需要充分開展用戶研究，調(diào)查用戶所需的解釋內(nèi)容、解釋過程中相關(guān)要素對用戶的影響等，基于研究結(jié)果提升系統(tǒng)的解釋質(zhì)量，使解釋更加貼合人類認知。

已有研究探討了個體的不同對于人工智能解釋的影響。如將可解釋交互式人工智能的解釋對象分為設(shè)計者、領(lǐng)域?qū)＜?、終端用戶三類，得出不同類別用戶對解釋的獨特需求［46］；通過對比在有無解釋的情況下不同用戶的注視模式差異，總結(jié)個性特征對用戶處理解釋方式的影響［47］（P397-407）。鑒于解釋界面是可解釋交互式人工智能中不可忽視的因素之一，也有研究探討了解釋界面的不同對于用戶理解的影響，如通過用戶的階段參與過程與心理模型研究，探討用戶需要具有何種透明度的解釋界面［48］（P211-223）；測量當解釋界面不同時，用戶對算法的理解程度差異等［49］（P1-12）。

另有部分研究著眼于用戶需求與現(xiàn)有解釋水平之間的差距。如通過開發(fā)用戶需求方面的可解釋交互式人工智能問題庫，并據(jù)此采訪從事人工智能用戶體驗設(shè)計與優(yōu)化的工作人員，得出可解釋交互式人工智能算法實踐與用戶需求之間的差異［50］（P1-15）；基于人機協(xié)作實驗的開展，研究用戶對人工智能給予解釋的時機及詳細程度的實際要求［51］（P1-13）。

此外，針對不同情境下的人機交互，加利福尼亞大學洛杉磯分校計算機視覺、認知、學習與自主機器人中心及清華大學人工智能研究院智能信息獲取研究中心、武漢大學人機交互與用戶行為研究中心等機構(gòu)開展了一系列針對用戶的研究，以大規(guī)模、多情境的用戶研究助力可解釋交互式人工智能的發(fā)展。其中，武漢大學人機交互與用戶行為研究中心基于海量用戶數(shù)據(jù)，著眼語音交互、手勢交互、眼動交互、認知等多通道，研究移動端及桌面端的用戶行為，進而分析個體或群體需求［52］（P102073）［53］（P109-128）。

對用戶需求的研究，可以用于支持系統(tǒng)解釋在兩方面的提升。其一是解釋系統(tǒng)的交互性，其二是解釋系統(tǒng)的個性化。在交互性方面，當前一次性的解釋仍然是最為普遍的，在提供給用戶初始解釋后，應允許用戶調(diào)整系統(tǒng)，通過持續(xù)的交互深化用戶理解。已有研究通過多種途徑提高人工智能解釋系統(tǒng)的交互性，如構(gòu)建對話驅(qū)動的解釋系統(tǒng)，允許人工智能根據(jù)用戶的信息反饋優(yōu)化調(diào)整其解釋［54］（P87-90）；建立提供交互式界面的解釋系統(tǒng)，允許用戶修改單個數(shù)據(jù)點的特征，獲取修改前后的對比解釋等［55］（P5686-5697）。在個性化方面，有研究發(fā)現(xiàn)解釋并不是越多越好，有時過量的解釋信息會造成信息過載，進而影響人機協(xié)作的表現(xiàn)，機器應允許不同知識水平、背景的用戶通過交互調(diào)整解釋的復雜度，避免“一刀切”［28］。部分研究已經(jīng)構(gòu)建了支持用戶設(shè)置解釋中個性化功能的系統(tǒng)，允許用戶根據(jù)自己的喜好個性化集群結(jié)果和解釋形式［56］（P131-138）。

當解釋系統(tǒng)的交互性得以提升時，用戶能夠獲取更加持續(xù)的解釋，深入了解系統(tǒng)背后的運行邏輯，進而使得人機交互更加流暢和諧。同時，只有當解釋系統(tǒng)的個性化程度得以加強后，解釋系統(tǒng)才能針對不同的個體、不同的情境提供恰當?shù)慕忉尅６@些都建立在對用戶需求的調(diào)研上。因此，只有將用戶需求研究作為中間橋梁，才能實現(xiàn)對人與機器的綜合考慮，邁向可解釋的交互式人工智能。

（四）以可解釋性評估為輔助

如果不知道怎樣的解釋才是好的解釋，開發(fā)者在設(shè)計時就會缺乏依據(jù)及目標，可解釋交互式人工智能的發(fā)展也會遭受阻礙。因此，在邁向可解釋交互式人工智能的道路上，人工智能解釋的開發(fā)是一方面，其可解釋性評估也同樣是不可忽略的一環(huán)。目前，交互式人工智能的可解釋性評估具有解釋本身、開發(fā)者、用戶三個視角。

一是從系統(tǒng)解釋本身的質(zhì)量出發(fā)，衡量的指標包括保真度、復雜度、忠誠度、魯棒性等。保真度主要評估解釋是否真實反映人工智能系統(tǒng)，通常還涉及解釋的說服度［57］（P68-77）；復雜度主要評估解釋的數(shù)量、長短等，越復雜的解釋對用戶而言可能越難理解［58］；忠誠度主要衡量機器在與用戶交互的過程中，輸出的解釋是否能夠按照用戶的調(diào)試而改變［59］（P126-137）；魯棒性則更多關(guān)注解釋是否容易被干擾［60］（P267-280）。

二是從開發(fā)者的角度出發(fā)，主要衡量解釋是否實現(xiàn)了其設(shè)計目標。DARPA的可解釋人工智能項目就將評估要素與系統(tǒng)開發(fā)時的解釋目標相連接，希望通過兩者之間的對照，進行可解釋性的評估［1］。部分學者也通過測量系統(tǒng)解釋設(shè)計的各個目標實現(xiàn)程度，評估解釋的質(zhì)量［61］（P329-338）。

三是從用戶的角度出發(fā)，專注于評估用戶接收解釋的效果和體驗，已有研究大多集中于主觀指標的測量上，如用戶滿意度、解釋的良好程度、對系統(tǒng)的信任度等［62］（P81-87）［63］（P3-19）［64］（P1-6）。這樣的測量可以得到使用者對解釋的實際評價，但是使用者評價的主觀性會導致評估結(jié)果不一定如實反映解釋的質(zhì)量，因此，還需要衡量用戶根據(jù)解釋所做推斷或完成任務(wù)的情況［65］（P103404）?？梢詫⒂脩魧ο到y(tǒng)的信任度、滿意度等指標與其工作績效、心理模型等相結(jié)合，以此評估系統(tǒng)的可解釋性，或者通過面向用戶、基于特定情境的任務(wù)測試，來實現(xiàn)更準確的評估。有學者即提出通過采用真實的用戶及任務(wù)、結(jié)合真實用戶與簡化任務(wù)、無人狀態(tài)下的代理任務(wù)三類情境進行人工智能的可解釋性評估［66］。

可以看出，當前交互式人工智能的可解釋性評估方法較為多樣，涉及的指標也較為復雜。雖然由這些方法得出的評估結(jié)果是否能夠切實反映解釋水平還未可定，且解釋本身、開發(fā)者、用戶三個視角的評估方法較為分散，其結(jié)合程度不足，但不可否認的是，可解釋性評估是在指導性框架準則、算法模型、用戶需求研究之外，能夠為開發(fā)者在設(shè)計方面帶來更多幫助的環(huán)節(jié)。想要實現(xiàn)可解釋的交互式人工智能，可解釋性評估是必需的輔助工作。

四、可解釋交互式人工智能的研究趨勢

在機器、用戶、人機關(guān)系均發(fā)生變化的背景下，可解釋交互式人工智能得到了較多關(guān)注，學者、政府、工業(yè)界從指導性框架構(gòu)建、算法模型設(shè)計、用戶需求分析、可解釋性評估等方面發(fā)力，以期實現(xiàn)可解釋的交互式人工智能，如圖1所示。

圖1 可解釋交互式人工智能的發(fā)展原因與實現(xiàn)途徑

然而，通過對現(xiàn)有研究的梳理，可以發(fā)現(xiàn)，它們還存在著一定的不足。如在算法模型設(shè)計方面，當前常用的解釋方法不一定能夠真實有效地反映模型的決策；在用戶需求分析方面，對不同情境、不同個體的需求調(diào)研不夠深入，對交互性解釋的支持不足；在可解釋性評估方面，已有的評估指標不成體系，難以開展科學全面的評價；在研究寬度方面，結(jié)合的學科領(lǐng)域較少，可解釋交互式人工智能的研究視角還有待拓展。在實現(xiàn)可解釋的交互式人工智能的道路上，這些已有研究的不足正是我們亟待解決的現(xiàn)實問題。因此，在未來，多種解釋方法的有效結(jié)合與優(yōu)化、對用戶需求的大規(guī)模與多通道分析、可解釋性科學評估體系的構(gòu)建、研究視角的合理拓寬，都是進一步研究的方向所在。

（一）改進與強化解釋方法

在可解釋交互式人工智能的實現(xiàn)過程中，主要涉及的矛盾是準確性與透明度之間的矛盾，而透明度又與可解釋性息息相關(guān)，因此，準確性與可解釋性往往是相對立的。如自解釋模型，雖然可以直接進行解釋，但通常相伴的是模型的精準度較低。而更為準確的人工智能模型往往結(jié)構(gòu)復雜，因此對其一般采用事后解釋，在事后解釋過程中存在的多種阻礙因素會導致解釋結(jié)果不能有效地反映模型的真實決策行為或運行邏輯。當前事后解釋相關(guān)研究面臨的主要挑戰(zhàn)就是設(shè)計能夠真實反映模型行動邏輯的解釋方法，保證解釋結(jié)果的可靠性，使得用戶更加全面準確地理解人工智能的內(nèi)在運行機制，未來的潛在研究方向包括從數(shù)學層面入手設(shè)計等價的解釋模型等。

模型的預測能力與解釋能力之間并不是完全矛盾的，我們不應當局限于對模型可解釋性的研究，需要放眼可解釋的模型。目前來看，自解釋模型與事后解釋都存在較為明顯的缺點，而構(gòu)建具有內(nèi)置可解釋性的模型很可能是實現(xiàn)可解釋交互式人工智能的突破口所在。在未來的研究中，應當從引入注意力機制、深化統(tǒng)計模型、參考物理模型等多方面著手，構(gòu)建更優(yōu)的可解釋模型，使其兼具傳統(tǒng)機器學習模型可解釋性強、深度學習模型預測性能優(yōu)的特點。

綜上，未來應當充分發(fā)揮各種解釋方法的優(yōu)勢，通過多種方法的有效結(jié)合或優(yōu)化，致力于平衡模型的準確性與可解釋性，重點構(gòu)建具有內(nèi)置可解釋性的模型，實現(xiàn)高質(zhì)量、易理解、程度恰當?shù)慕忉尅?/p>

（二）實現(xiàn)個性化的交互式解釋

運用人工智能的落腳點在于增強人類能力，在交互式人工智能的解釋過程中，應當充分考慮人這一重要主體?，F(xiàn)有的解釋系統(tǒng)很少考慮到終端用戶的期望，未來我們應當轉(zhuǎn)而建立以人為中心的可解釋交互式人工智能，其設(shè)計應由用戶需求來驅(qū)動，DARPA的可解釋人工智能項目即鼓勵將算法技術(shù)與用戶實驗相結(jié)合。開展更為廣泛實際的用戶調(diào)查與實驗，深入研究參與者對系統(tǒng)解釋的需求及影響因素，是優(yōu)化解釋系統(tǒng)所必需的。

僅有良好的解釋方法與用戶研究是不夠的，交互式人工智能的可解釋性是在系統(tǒng)與用戶的交互過程中得以實現(xiàn)的，用戶在接收到系統(tǒng)提供的初始解釋后，應當擁有調(diào)整及反饋的渠道，以此來深化對系統(tǒng)的理解。避免一次性的解釋，使交互真正從理論探究到實踐運用，構(gòu)建具有更強交互性的解釋系統(tǒng)，如運用智能代理（對話、可視化）等工具，將交互操作集成于解釋界面，允許用戶在接收解釋的過程中與機器產(chǎn)生更為深入的交互，以此提升解釋質(zhì)量。

此外，隨著社會發(fā)展與技術(shù)的進步，未來人工智能將被運用到越來越多的領(lǐng)域，在更加豐富的情境下被更為廣泛的人群所使用，不同人群、不同應用情境對人工智能解釋形式與內(nèi)容的期望都是不同的，因此可定制的解釋是非常有必要的。在進行充分的用戶研究后，研究人員應當根據(jù)使用者的背景與需求，開發(fā)面向不同群體、不同應用情境的解釋系統(tǒng)，有針對性地提供特定解釋，同時允許使用者通過交互來個性化解釋。

（三）構(gòu)建涵蓋多方指標的評估體系

由于解釋范圍或原理不同，可解釋性研究領(lǐng)域仍然沒有形成一個較為全面的科學評估體系?；诮忉尡旧硪暯堑脑u估忽略了用戶這一可解釋交互式人工智能中的重要因素，缺乏用戶對解釋質(zhì)量的評價；基于開發(fā)者視角的評估從解釋的設(shè)計目標出發(fā)，在評價指標的選取上具有一定的局限性；基于用戶視角的評估則極度依賴人類認知，多屬于定性評估，主觀性較強，難以對系統(tǒng)解釋的水平進行量化。此外，在同一情境下不同模型的可解釋性、在不同情境下同一模型的可解釋性，以及采用不同方法解釋同一模型的可解釋性，都存在一定的差異。目前還沒有能夠較好衡量與比較這些可解釋性的評估方法。

因此，在未來的研究中，應當結(jié)合解釋本身、開發(fā)者、用戶三個視角，納入應用情境、解釋方法差異等指標，構(gòu)建覆蓋多層次、多角度的評估體系，實現(xiàn)全面有效的可解釋性評估。

（四）拓展涉及更多領(lǐng)域的研究視角

目前，在可解釋交互式人工智能的相關(guān)研究中，其他領(lǐng)域的參與仍然較少，但也有部分研究已經(jīng)邁出了前進的步伐，如DARPA就計劃利用心理學理論助力研發(fā)解釋模型，構(gòu)建可解釋交互式人工智能的測評框架。

在算法模型的設(shè)計方面，應當更加重視人類認知神經(jīng)學、物理、數(shù)學等領(lǐng)域知識的嵌入與融合，如基于注意力機制或物理模型構(gòu)建具有內(nèi)置可解釋性的模型；利用知識圖譜，將人類知識引進人工智能模型中，幫助用戶理解模型特征；引入語義概念和關(guān)聯(lián)等信息，使模型能夠更好地進行特征學習，具有更高的可解釋性。

實現(xiàn)更具可解釋性的交互式人工智能，還需要結(jié)合社會科學，發(fā)揮其學科優(yōu)勢。在用戶研究方面，可以納入心理學與認知科學，引入經(jīng)典的行為科學實驗方法、心理學理論模型、社會技術(shù)系統(tǒng)研究方法等［67］；在應用情境方面，可以順應“十四五”時期我國將人工智能等新技術(shù)應用于文化領(lǐng)域、以人為本實現(xiàn)精準服務(wù)的發(fā)展方向，結(jié)合數(shù)字文化等特定情境，以用戶為中心探討人工智能的可解釋性，為拓寬可解釋交互式人工智能的應用領(lǐng)域打下基礎(chǔ)［68］（P14-26）；在解釋程度方面，可以結(jié)合法學、管理學等學科知識，對人工智能解釋的適用范圍等進行探索。

人工智能在日常生活中的廣泛應用加速了社會向更具算法性的方向轉(zhuǎn)型，然而無論技術(shù)上的進步多么空前，人工智能的最終目的始終是增強人的能力，而非取代人。在人機協(xié)作愈發(fā)常見的背景下，結(jié)合人工智能（AI）與人機交互（HCI），實現(xiàn)以人為中心的人工智能是大勢所趨。當前阻礙人類有效使用人工智能的障礙之一即在于其透明度的缺乏，機器能夠給出有力的預測，卻無法提供通俗的解釋?？山忉尳换ナ饺斯ぶ悄艿陌l(fā)展正是為了改善這一問題，人工智能可解釋性的研究對學界、政府組織、企業(yè)、個人用戶而言，都具有極高的理論與實踐價值。本文梳理了該領(lǐng)域的部分工作，探討了可解釋交互式人工智能的發(fā)展動因、實現(xiàn)途徑及研究趨勢，希望能夠為相關(guān)研究人員提供參考。人工智能的強大功能不應為“黑匣子”所困。我們相信可解釋的交互式人工智能將在未來突破這層阻礙，助力我國新一代人工智能產(chǎn)業(yè)的發(fā)展。