深度學(xué)習(xí)模型可解釋性研究綜述

曾春艷，嚴(yán) 康，王志鋒，余 琰，紀(jì)純妹

1.湖北工業(yè)大學(xué) 太陽(yáng)能高效利用及儲(chǔ)能運(yùn)行控制湖北省重點(diǎn)實(shí)驗(yàn)室，武漢430068

2.華中師范大學(xué) 數(shù)字媒體技術(shù)系，武漢430079

3.中國(guó)移動(dòng)通信集團(tuán)廣東有限公司 汕頭分公司，廣東 汕頭515041

在深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）的推動(dòng)下，深度學(xué)習(xí)在自然語(yǔ)言處理[1]、圖像處理[2]、語(yǔ)音識(shí)別[3]等相關(guān)領(lǐng)域取得了重大突破。深度神經(jīng)網(wǎng)絡(luò)成功的一個(gè)關(guān)鍵因素是它的網(wǎng)絡(luò)足夠深，大量非線性網(wǎng)絡(luò)層的復(fù)雜組合能對(duì)原始數(shù)據(jù)在各種抽象層面上提取特征。然而，由于大多數(shù)深度學(xué)習(xí)模型復(fù)雜度高、參數(shù)多、透明性低，如黑盒一般，人們無法理解這種“端到端”模型做出決策的機(jī)理，無法判斷決策是否可靠。

深度學(xué)習(xí)模型在實(shí)際應(yīng)用中產(chǎn)生了各種問題，可解釋性的缺失使這些問題難以解決。例如在醫(yī)療領(lǐng)域，看似非常精確的用于肺炎患者預(yù)后的系統(tǒng)，非常依賴數(shù)據(jù)集中的虛假相關(guān)性。該系統(tǒng)預(yù)測(cè)有哮喘病史的病人死于肺炎的風(fēng)險(xiǎn)較低，但這是因?yàn)橄∪说玫搅烁?、更好的關(guān)注，才導(dǎo)致他們的死亡率更低。實(shí)際上，這類病人死于肺炎的風(fēng)險(xiǎn)會(huì)更高[4]。在司法領(lǐng)域，借助COMPAS軟件對(duì)罪犯再犯風(fēng)險(xiǎn)的評(píng)估，法官能更合理地對(duì)保釋金額、判刑等做出決策。但由于訓(xùn)練和測(cè)試模型時(shí)所用數(shù)據(jù)庫(kù)的代表樣本不足或是無關(guān)統(tǒng)計(jì)相關(guān)等原因，模型存在潛在的人種偏見、性別歧視，或是其他各種主觀偏見[5]。在圖像處理領(lǐng)域，高度精確的神經(jīng)網(wǎng)絡(luò)面對(duì)對(duì)抗攻擊卻很脆弱。只需對(duì)圖像的像素進(jìn)行不可察覺的改變，圖像處理神經(jīng)網(wǎng)絡(luò)就可以將其任何預(yù)測(cè)改變?yōu)槿魏纹渌赡艿念A(yù)測(cè)[6]。

對(duì)于安全性要求苛刻的應(yīng)用，例如健康診斷、信用額度、刑事審判，人們依舊選擇線性回歸、決策樹等不那么精確，但人類可理解的模型。深度學(xué)習(xí)模型可解釋性的缺失，嚴(yán)重阻礙了其在醫(yī)學(xué)診斷[7]、金融[8]、自動(dòng)駕駛[9]、軍事[10]等高風(fēng)險(xiǎn)決策領(lǐng)域的應(yīng)用。因此研究可解釋性就顯得格外重要，可解釋性有利于系統(tǒng)的使用者更好地理解系統(tǒng)的強(qiáng)項(xiàng)和不足，并明確系統(tǒng)的知識(shí)邊界，了解系統(tǒng)在何種情況下有效，從而恰當(dāng)?shù)匦湃魏褪褂孟到y(tǒng)來進(jìn)行預(yù)測(cè)。對(duì)系統(tǒng)的設(shè)計(jì)者而言，可解釋性有利于優(yōu)化和改進(jìn)系統(tǒng)，避免模型中的歧視和偏見，并加強(qiáng)對(duì)系統(tǒng)的管理和監(jiān)控。

最近5 年（2016—2020）來，深度學(xué)習(xí)模型可解釋性研究引起了學(xué)術(shù)界和企業(yè)界的高度關(guān)注，人們相繼提出各類解釋方法來試圖解決模型“黑盒”問題，發(fā)表在各大頂級(jí)期刊和會(huì)議上關(guān)于可解釋性的論文呈上升趨勢(shì)。中國(guó)于2019 年7 月在中央全面深化改革委員會(huì)第九次會(huì)議上審議通過了《國(guó)家科技倫理委員會(huì)組建方案》，全面啟動(dòng)了包含“知識(shí)可解釋”在內(nèi)的科技倫理建設(shè)工作，以確保人工智能安全、可靠、可控。歐盟于2019年4月，出臺(tái)了正式版的《人工智能道德準(zhǔn)則》，提出了實(shí)現(xiàn)可信賴人工智能全生命周期框架，包含可解釋、安全、隱私和透明等方面。美國(guó)國(guó)防高級(jí)研究計(jì)劃局（Defense Advanced Research Projects Agency，DARPA）在2016年8 月提出了可解釋的人工智能（Explainable Artificial Intelligence，XAI）計(jì)劃[10]，目的是建設(shè)一套全新、可解釋的深度學(xué)習(xí)模型。該計(jì)劃的四大原則草案由美國(guó)國(guó)家標(biāo)準(zhǔn)局于2020 年8 月公開，分別是提供解釋、解釋有意義、解釋的精確度、系統(tǒng)的知識(shí)邊界。

由于不同研究者看待問題的角度不同，他們賦予可解釋性的定義也不同，目前可解釋性沒有一個(gè)統(tǒng)一的定義。本質(zhì)上說，在人工智能領(lǐng)域，深度學(xué)習(xí)可解釋性理解為模型決策結(jié)果以可理解的方式向人類呈現(xiàn)，它有助于人們理解復(fù)雜模型的內(nèi)部工作機(jī)制以及它們?nèi)绾巫龀鎏囟Q策等重要問題。關(guān)于可解釋性理論和方法的梳理總結(jié)，最早由Miller[11]從哲學(xué)、心理學(xué)、認(rèn)知科學(xué)和人機(jī)交互領(lǐng)域，對(duì)人們?nèi)绾味x、選擇、評(píng)估和呈現(xiàn)解釋進(jìn)行綜述。隨后Du等人[12]根據(jù)獲得可解釋性的時(shí)間不同，將其分為內(nèi)在、事后可解釋性，并進(jìn)一步根據(jù)解釋范圍不同將事后可解釋性分為全局、局部可解釋性。全局可解釋性從整體上理解模型如何進(jìn)行預(yù)測(cè)，而局部可解釋性為模型的單個(gè)預(yù)測(cè)提供局部解釋。最近蘇炯銘等人[13]對(duì)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）、生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）等典型網(wǎng)絡(luò)的解釋方法進(jìn)行科學(xué)的總結(jié)?；热薣14]基于可解釋性研究的原理，從模型結(jié)構(gòu)、特征分析、可解釋性遷移三個(gè)角度對(duì)可解釋性方法進(jìn)行系統(tǒng)性的介紹。

然而，目前深度學(xué)習(xí)模型可解釋性研究綜述缺乏從因果關(guān)系的角度對(duì)該模型做出決策的原因進(jìn)行分析總結(jié)，而因果關(guān)系比可視化等解釋方法更能深入可解釋性問題本質(zhì)。基于此，本文加入因果可解釋性研究的最新進(jìn)展，并整體梳理了目前可解釋性框架。本文結(jié)構(gòu)如下：首先從自解釋模型、特定模型解釋、不可知模型解釋、因果可解釋性四個(gè)方面對(duì)可解釋方法進(jìn)行分類。自解釋模型主要指?jìng)鹘y(tǒng)機(jī)器學(xué)習(xí)算法，其本身具備可解釋性，同時(shí)也是其他可解釋方法建立的基礎(chǔ)。其次特定模型解釋專門為特定類型模型設(shè)計(jì)，并通過研究模型內(nèi)部來獲得解釋。而不可知模型解釋不關(guān)心模型的中間過程，只分析模型的輸入輸出。最后因果可解釋性從因果關(guān)系的角度對(duì)模型做出決策的原因進(jìn)行分析總結(jié)，可解釋方法分類及其各方法特點(diǎn)分析如表1 所示。同時(shí)列舉出可解釋性相關(guān)技術(shù)的應(yīng)用，最后討論可解釋性研究當(dāng)前存在的問題，展望其未來研究方向。

1 自解釋模型

實(shí)現(xiàn)可解釋性的最簡(jiǎn)單方法是僅使用創(chuàng)建自解釋模型的算法子集[15]。自解釋模型本身內(nèi)嵌可解釋性，通常結(jié)構(gòu)簡(jiǎn)單、易于實(shí)現(xiàn)，人們很容易理解其決策過程，線性回歸、決策樹是這類模型典型代表，常見自解釋模型及其特點(diǎn)總結(jié)如表2所示。

一般規(guī)律下，自解釋模型的內(nèi)嵌可解釋性與準(zhǔn)確性之間存在一個(gè)平衡。如果自解釋模型結(jié)構(gòu)簡(jiǎn)單，可解釋性好，那么模型的擬合能力必會(huì)受到限制，導(dǎo)致其預(yù)測(cè)精度不高，會(huì)限制這些算法的應(yīng)用場(chǎng)景。為解決此問題，研究者們將復(fù)雜的黑盒模型遷移到自解釋模型中，從而實(shí)現(xiàn)對(duì)黑盒模型決策結(jié)果的解釋。但規(guī)則復(fù)雜的模型或樹深度極深的決策樹，人類未必能理解[16]，其內(nèi)嵌可解釋性也未必優(yōu)于深度神經(jīng)網(wǎng)絡(luò)。

表1 方法分類及特點(diǎn)分析

表2 自解釋模型總結(jié)

1.1 線性回歸

線性回歸[17]通過擬合自變量和因變量之間的最佳線性關(guān)系來預(yù)測(cè)目標(biāo)變量，其框架如下：

其中，w、b分別表示學(xué)習(xí)到的權(quán)重和偏差，目標(biāo)變量y就是n個(gè)特征變量的權(quán)重和。特征變量在整個(gè)變量中所占的比重越大，該特征對(duì)最終預(yù)測(cè)結(jié)果的影響力越大。

線性回歸模型通常形式簡(jiǎn)單、易于建模、可解釋性好，人們通常利用它來模擬黑盒模型的輸出[18]。該方法利用遷移學(xué)習(xí)，將黑盒模型遷移到自解釋模型中，從而實(shí)現(xiàn)對(duì)模型決策結(jié)果的解釋。因?yàn)榫€性回歸模型只考慮了自變量與因變量之間的線性相關(guān)關(guān)系，但也正因如此，它無法處理更復(fù)雜的關(guān)系，導(dǎo)致模型在測(cè)試集上的預(yù)測(cè)精度也可能比較低。如果模型的輸入是復(fù)雜或難以理解的特征，那么模型將不可分解。同樣，如果模型太大，以至于人類無法將模型視為一個(gè)整體，那么它的可模擬性就會(huì)受到質(zhì)疑。

1.2 決策樹

決策樹是一種典型的機(jī)器學(xué)習(xí)自解釋模型，它是一種樹結(jié)構(gòu)框架，由內(nèi)部節(jié)點(diǎn)和葉節(jié)點(diǎn)組成。其中內(nèi)部節(jié)點(diǎn)表示判斷條件，而葉節(jié)點(diǎn)對(duì)應(yīng)決策結(jié)果。決策樹對(duì)數(shù)據(jù)的屬性進(jìn)行判斷，得到分類或回歸結(jié)果，是一種基于if-then決策規(guī)則的算法[19]。決策樹的每條規(guī)則都給最后的結(jié)果提供了解釋，讓人們可以直觀地理解模型做出的決策。

當(dāng)決策樹節(jié)點(diǎn)較少時(shí)，可作為一種自解釋模型來模擬黑盒模型的輸出。Zhang等人[20]通過學(xué)習(xí)決策樹來量化解釋卷積神經(jīng)網(wǎng)絡(luò)在語(yǔ)義層面上的預(yù)測(cè)邏輯，決策樹告訴人們哪些物體部分被用于預(yù)測(cè)，以及它們對(duì)預(yù)測(cè)得分的貢獻(xiàn)程度。但是隨著樹深度加深，葉節(jié)點(diǎn)增多，人們就很難理解樹的決策規(guī)則[16]。

2 特定模型解釋

特定模型（Model-Specific，MS）解釋方法是專門為特定類型的模型設(shè)計(jì)的，該方法將待解釋模型視為白盒，通過研究模型內(nèi)部的結(jié)構(gòu)和參數(shù)來獲得解釋。典型的特定模型解釋方法包括激活最大化、基于梯度解釋方法、基于類激活映射方法等，各方法的優(yōu)缺點(diǎn)及適用場(chǎng)景如表3 所示。這類解釋方法通常使用可視化技術(shù)來有效地幫助人們理解DNN 內(nèi)部的工作機(jī)制，既直觀且操作簡(jiǎn)單。但可視化技術(shù)存在一定局限性，人們對(duì)其可視化效果只能從肉眼判斷或一般只是粗粒度的理解，無法量化特征對(duì)決策結(jié)果的重要程度。

2.1 激活最大化

為了深入理解和呈現(xiàn)DNN 的內(nèi)部表征，人們通常對(duì)DNN任意層神經(jīng)單元計(jì)算內(nèi)容進(jìn)行可視化操作。其中最有效的一種方法是激活最大化（Activation Maximization，AM）[21]，該方法的核心思想是尋找一個(gè)最大化特定層神經(jīng)元激活值的輸入模式，即尋找哪些輸入會(huì)使激活函數(shù)值最大。其框架為：

表3 特定模型解釋方法

其中，Sc(I)表示第C層神經(jīng)元對(duì)輸入I的激活值，利用反向傳播法找到一個(gè)局部最優(yōu)的I。從隨機(jī)初始化開始，通過迭代優(yōu)化，利用神經(jīng)元激活值對(duì)圖像的導(dǎo)數(shù)來調(diào)整圖像。最后可視化生成的圖像可以呈現(xiàn)每個(gè)神經(jīng)元在其感受野中所捕獲的內(nèi)容。該方法雖然簡(jiǎn)單，但優(yōu)化過程中不進(jìn)行適當(dāng)?shù)恼齽t化約束，會(huì)生成能最大化神經(jīng)元激活卻無法識(shí)別的圖像。為解決此問題，可使用自然圖像先驗(yàn)約束，來生成與自然圖像相似的合成圖像，其框架如式（3）所示：

另外可以使用由生成模型產(chǎn)生的自然圖像先驗(yàn)，將潛在空間中的編碼映射到圖像空間，從而對(duì)優(yōu)化過程進(jìn)行正則化約束[22]。

激活最大化方法解釋結(jié)果較精確，可以幫助人們理解DNN 內(nèi)部工作邏輯，但其優(yōu)化過程中可能產(chǎn)生含有噪聲的圖像，導(dǎo)致輸入I難以解釋。此外，激活最大化方法只適用于連續(xù)型數(shù)據(jù)，難以解釋含離散型數(shù)據(jù)模型，諸如自然語(yǔ)言處理模型。

2.2 基于梯度解釋方法

人們常利用基于梯度解釋方法的可視化技術(shù)來解釋深度神經(jīng)網(wǎng)絡(luò)。方法主要有四種：反卷積（Deconvolutio）、導(dǎo)向反向傳播（Guided Backpropagation）、積分梯度（Integrated Gradients）和平滑梯度（Smooth Gradients），各方法總結(jié)如表4 所示。該方法的核心思想是利用反向傳播計(jì)算特定輸出相對(duì)于輸入的梯度來推導(dǎo)出特征重要性。

表4 基于梯度解釋方法

最早Zeiler 等人[23]利用反卷積實(shí)現(xiàn)特征可視化，來解釋CNN每一層學(xué)到的東西?？梢暬Ч麍D能大致看清目標(biāo)輪廓，但仍存在大量噪聲。隨后Springenberg等人[24]將反向傳播（Backpropagation）與反卷積網(wǎng)絡(luò)相結(jié)合提出導(dǎo)向反向傳播方法。與反卷積方法不同，使用導(dǎo)向反向傳播幾乎沒有噪聲，且目標(biāo)特征較集中。Sundararajan等人[25]提出了一種積分梯度方法，它通過對(duì)梯度進(jìn)行積分可量化輸入的各個(gè)分量的重要性，有效地解決了DNN中神經(jīng)元飽和問題導(dǎo)致無法利用梯度信息反映特征重要性的問題。Smilkov 等人[26]提出了一種平滑梯度方法，該方法通過向輸入圖像中添加噪聲，然后利用反向傳播方法求解擾動(dòng)圖像的梯度，最后將求解得到的靈敏度圖進(jìn)行平均，并作為對(duì)最終決策結(jié)果的解釋。

基于梯度解釋方法可以觀察解釋CNN 內(nèi)部結(jié)構(gòu)外，還能有效定位輸入圖像的決策特征。但是大多數(shù)方法的解釋結(jié)果中依然存在清晰可見的噪聲，且無法判斷這些噪聲是否真實(shí)反映模型的決策依據(jù)，同時(shí)梯度信息只能用于定位重要特征，卻無法量化每個(gè)特征對(duì)決策結(jié)果的貢獻(xiàn)程度[27]。

2.3 基于類激活映射方法

卷積神經(jīng)網(wǎng)絡(luò)里的最后一層卷積單元本身就具有出色的定位物體的能力，但這種定位能力在使用全連接層進(jìn)行分類操作的過程中會(huì)喪失，位置信息難以用可視化的方法表現(xiàn)出來。因此，為了合理解釋卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果，必須充分利用最后一層卷積層。

Zhou等人[28]提出類激活映射（Class Activation Mapping，CAM）方法來解釋卷積神經(jīng)網(wǎng)絡(luò)，并識(shí)別分類物體的位置。CAM將卷積神經(jīng)網(wǎng)絡(luò)中的全連接層替換成了全局平均池化（Global Average Pooling，GAP）層，得到最后一個(gè)卷積層中每個(gè)特征圖的均值，并進(jìn)行加權(quán)求和得到最終決策結(jié)果，其框架如圖1所示。同時(shí)加權(quán)求和操作之后會(huì)得到模型的類激活圖，通過以熱力圖的形式對(duì)類激活圖進(jìn)行可視化，從而得到分類結(jié)果的顯著特征。

雖然CAM方法沒有全連接層，可以減少參數(shù)，防止過擬合，且具有良好的定位能力來識(shí)別分類物體的位置。但運(yùn)用CAM 方法時(shí)需要修改原模型的網(wǎng)絡(luò)結(jié)構(gòu)，重新訓(xùn)練模型，這就導(dǎo)致在實(shí)際應(yīng)用中會(huì)花費(fèi)更多的時(shí)間與成本。

為解決CAM 方法存在的問題，Selvaraju 等人[29]提出了基于梯度加權(quán)類激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)生成視覺解釋。與CAM 的區(qū)別在于，Grad-CAM通過梯度的全局平均來計(jì)算權(quán)重，通過得到特征圖對(duì)應(yīng)的權(quán)重進(jìn)行加權(quán)求和，最后以熱力圖的方式可視化神經(jīng)網(wǎng)絡(luò)的注意力，效果圖如圖2所示。

圖1 CAM方法框架

圖2 Grad-CAM效果圖

與CAM 不同，Grad-CAM 無需修改模型結(jié)構(gòu)或重新訓(xùn)練模型，適用于各種CNN 模型。但Grad-CAM 只能提供粗粒度的解釋結(jié)果，因此無法應(yīng)用于醫(yī)學(xué)診斷、金融等對(duì)解釋結(jié)果高精度需求的應(yīng)用場(chǎng)景。

3 不可知模型解釋

不可知模型（Model-Agnostic，MA）解釋方法是指解釋與模型分離，并將待解釋模型視為黑盒，通過分析模型的輸入和輸出來解釋模型的預(yù)測(cè)。與特定模型解釋方法深入研究模型結(jié)構(gòu)和參數(shù)不同的是，不關(guān)心模型的中間過程，只分析模型的輸入輸出。典型的不可知模型解釋方法包括LIME（Local Interpretable Model-Agnostic Explanation）、知識(shí)蒸餾等，各方法的優(yōu)缺點(diǎn)及適用場(chǎng)景如表5所示。這類解釋方法靈活性強(qiáng)，適用于任何類型的模型，可直接從其預(yù)測(cè)過程中提取重要知識(shí)，也可通過模型代理方法來降低模型操作復(fù)雜度。但該解釋方法只能對(duì)待解釋模型進(jìn)行局部近似，因而只能捕獲模型的局部特征，無法解釋模型的整體決策行為。

表5 不可知模型解釋方法

3.1 LIME

LIME[18]是一種局部近似解釋的代表性方法，該方法的核心思想是：首先向輸入樣本中添加輕微的擾動(dòng)，并觀察待解釋模型的輸出變化，根據(jù)這種變化在原始輸入中訓(xùn)練一個(gè)線性模型，并利用線性模型來局部近似待解釋模型的預(yù)測(cè)，其中線性模型的權(quán)重系數(shù)表現(xiàn)為決策中該樣本的每一維特征重要性。

由于LIME 無法對(duì)RNN 模型提出高保真的解釋，Guo 等人[30]提出了LEMNA（Local Explanation Method using Nonlinear Approximation），其核心思想是通過融合lasso正則的混合回歸模型逼近復(fù)雜深度學(xué)習(xí)決策邊界的局部區(qū)域，解決了現(xiàn)有的解釋技術(shù)無法處理RNN模型特征依賴和非線性局部邊界問題。

LIME方法操作簡(jiǎn)單，易于理解，并在圖像分類任務(wù)中得到了很好的解釋性效果。但針對(duì)相同的預(yù)測(cè)結(jié)果，模型給出的解釋會(huì)不同，導(dǎo)致該方法缺乏穩(wěn)定性。其次LIME 只是對(duì)待解釋模型的局部近似，無法解釋模型的整體決策行為。針對(duì)每個(gè)輸入樣本，LIME 方法均需要重新訓(xùn)練一個(gè)線性模型來擬合待解釋模型的局部邊界，因此此方法使用效率不高。

3.2 知識(shí)蒸餾

知識(shí)蒸餾是一種基于遷移學(xué)習(xí)的模型壓縮方法，該方法將復(fù)雜的教師模型學(xué)習(xí)到的知識(shí)遷移到學(xué)生模型上，在保證學(xué)生模型性能的前提下，參數(shù)量大幅降低，進(jìn)而實(shí)現(xiàn)對(duì)教師模型的全局解釋。

最早Hinton等人[31]提出了一種知識(shí)蒸餾方法，該方法將復(fù)雜網(wǎng)絡(luò)訓(xùn)練得到的知識(shí)壓縮到單一網(wǎng)絡(luò)中，來模擬復(fù)雜網(wǎng)絡(luò)的決策過程，并且單一網(wǎng)絡(luò)能達(dá)到復(fù)雜網(wǎng)絡(luò)幾乎同樣的性能。Frosst等人[32]擴(kuò)展了Hinton提出的知識(shí)蒸餾方法，提出利用決策樹來模擬復(fù)雜深度神經(jīng)網(wǎng)絡(luò)模型的決策，對(duì)于相同的輸入特征x1,x2,…,xn，通過訓(xùn)練一個(gè)決策樹來模擬黑盒模型的輸出，使其有相似輸出，即y1≈y'1,y2≈y'2,yn≈y'n，從而解釋黑盒模型的決策，如圖3所示。最近Cheng等人[33]通過量化和分析DNN中間層特征的知識(shí)來解釋知識(shí)蒸餾的成功機(jī)理，并提出了三種類型的數(shù)學(xué)度量來評(píng)估DNN的特征表示。

圖3 利用決策樹解釋黑盒模型

知識(shí)蒸餾解釋方法實(shí)現(xiàn)簡(jiǎn)單，可有效壓縮模型大小，廣泛應(yīng)用于解釋黑盒模型。但其適用條件苛刻，要求合適的教師和學(xué)生模型；過程不可控，無法保證知識(shí)遷移的效果；同時(shí)該方法只是對(duì)復(fù)雜模型的全局近似，其解釋未必能真實(shí)反映復(fù)雜模型的決策行為。

4 因果可解釋性

Pearl[34]指出當(dāng)前機(jī)器學(xué)習(xí)系統(tǒng)幾乎完全以統(tǒng)計(jì)學(xué)或黑盒子的方式運(yùn)行，這對(duì)系統(tǒng)的性能造成嚴(yán)重的局限性。他結(jié)合因果推理理論，將因果可解釋性分為三個(gè)不同層次來描述機(jī)器學(xué)習(xí)系統(tǒng)面臨的阻礙，分別是統(tǒng)計(jì)可解釋性、因果介入可解釋性、反事實(shí)可解釋性，并認(rèn)為產(chǎn)生反事實(shí)解釋是實(shí)現(xiàn)最高層次可解釋性的方法。主流機(jī)器學(xué)習(xí)方法主要側(cè)重于統(tǒng)計(jì)可解釋性，只能回答部分可解釋性問題。因果可解釋性旨在回答與因果介入可解釋性和反事實(shí)可解釋性相關(guān)的問題，可回答模型做出決策的真正原因。

為了產(chǎn)生更易于人類理解的解釋，最近研究者提出了因果可解釋性模型[35]。該模型將可解釋性與因果關(guān)系緊密聯(lián)系，以幫助人類理解算法做出決策的真正原因，能回答“為什么這個(gè)模型會(huì)做出這樣的決定?”的問題。本章將從基于模型的解釋、反事實(shí)解釋和決策公平性三個(gè)方面對(duì)因果可解釋性進(jìn)行綜述，其總結(jié)如表6所示。

表6 因果可解釋性

4.1 基于模型的解釋

基于模型的解釋方法是指解釋模型中每個(gè)組成部分對(duì)最終決策的因果影響。通?？山忉屝钥蚣懿荒芑卮鹬T如“深層神經(jīng)網(wǎng)絡(luò)的第m層的第n個(gè)卷積核對(duì)模型預(yù)測(cè)的影響是什么”的問題。于是提出因果解釋框架來解決此問題，其主要思想是將DNN 的結(jié)構(gòu)建模為結(jié)構(gòu)因果模型（Structural Causal Model，SCM），并通過執(zhí)行因果推理來估計(jì)模型的每個(gè)組件對(duì)輸出的因果影響。

Narendra 等人[36]將DNN 視為SCM，在模型的每個(gè)卷積核上應(yīng)用函數(shù)來獲得目標(biāo)值，例如每個(gè)卷積核的方差或期望值。Harradon等人[37]進(jìn)一步提出，為了產(chǎn)生有效的可解釋性，有必要建立一個(gè)人類可理解的DNN 因果模型，它允許進(jìn)行各種因果干預(yù)。基于此假設(shè)，Harradon提出了一種可解釋性框架，該框架可從深度神經(jīng)網(wǎng)絡(luò)中提取人類可理解的概念（例如貓的眼睛和耳朵），并在SCM中學(xué)習(xí)輸入、輸出和這些概念之間的因果結(jié)構(gòu)，并對(duì)其進(jìn)行因果推理，以獲得對(duì)模型的更多見解。

4.2 反事實(shí)解釋

反事實(shí)解釋是一種基于實(shí)例的解釋，在特征和預(yù)測(cè)結(jié)果之間建立了一個(gè)因果關(guān)系，旨在回答“為什么”的問題，如“為什么模型的決定是Y?”或者“是輸入X導(dǎo)致模型預(yù)測(cè)了Y嗎?”。

對(duì)于如何生成反事實(shí)解釋，Kanehira 等人[38]提出了一種使用多模態(tài)信息為視頻分類任務(wù)生成反事實(shí)解釋的方法，方法分三步產(chǎn)生視覺語(yǔ)言解釋。首先，訓(xùn)練分類模型，并希望為其生成解釋。然后，通過利用第一步訓(xùn)練后模型的輸出和中間層特征來訓(xùn)練事后解釋模型，并解釋模型預(yù)測(cè)所有負(fù)類（實(shí)例不屬于的類）的反事實(shí)分?jǐn)?shù)。最后，解釋模型通過最大化正類和負(fù)類之間的反事實(shí)分?jǐn)?shù)來生成解釋。Hendricks 等人[39]提出用自然語(yǔ)言生成反事實(shí)解釋的方法。該框架在原始輸入生成的文本解釋中檢查反事實(shí)類的證據(jù)，然后會(huì)檢查這些因素是否存在于反事實(shí)的圖像中，并返回現(xiàn)有的因素。

反事實(shí)解釋清晰明了，實(shí)現(xiàn)較易，無需訪問數(shù)據(jù)或模型，只需訪問模型的預(yù)測(cè)函數(shù)。但對(duì)于每個(gè)實(shí)例，通常會(huì)產(chǎn)生多個(gè)反事實(shí)的解釋，而且該方法不能很好地處理多層次的分類特征。

4.3 決策公平性

目前，在銀行貸款額度和篩選求職者等任務(wù)中，其初級(jí)決策大多是由人工智能系統(tǒng)負(fù)責(zé)。任務(wù)復(fù)雜度高和對(duì)系統(tǒng)認(rèn)知片面，導(dǎo)致目前無法解釋人工智能系統(tǒng)是否在公平地運(yùn)行，且無法辨認(rèn)是否存在歧視問題。Lipton[40]指出可解釋的模型是保證決策公平性必不可少的一部分。近年來，將公平性納入決策方法受到極大的關(guān)注。

研究人員提出了一些度量標(biāo)準(zhǔn)來定量衡量算法決策的公平性[41]。Bareinboim 等人[42]首先引入三種從原因到結(jié)果變化傳遞的細(xì)粒度度量，即反事實(shí)直接效應(yīng)（Ctf-DE）、間接效應(yīng)（Ctf-IE）和虛假效應(yīng)（Ctf-SE），其框架如下：

給定一個(gè)SCM 四元組M,X=x1對(duì)Y的反事實(shí)直接效應(yīng)定義為：

X=x1對(duì)Y=y的間接效應(yīng)被定義為：

X=x1對(duì)Y=y的虛假效應(yīng)被定義為：

這些度量使人們第一次能夠準(zhǔn)確地檢測(cè)和區(qū)分三種最自然的歧視類型，即直接、間接和虛假的歧視。

4.4 認(rèn)知與因果推理

在人工智能領(lǐng)域，人們利用因果關(guān)系構(gòu)造出可以演繹推理的模型，人們?cè)嘈?，在?yán)謹(jǐn)?shù)臄?shù)理邏輯理論下，機(jī)器會(huì)超越人類智能。然而，如今的人工智能依賴的不是規(guī)則下的推理，而是用深度學(xué)習(xí)產(chǎn)生近乎直覺的智能。雖然深度學(xué)習(xí)的過程清晰，算法明確，但深度學(xué)習(xí)模型網(wǎng)絡(luò)過深、復(fù)雜度高，導(dǎo)致模型做出的決策及中間過程讓人類難以理解。

在傳統(tǒng)的電影推薦系統(tǒng)中，人們將電影類別和影星等作為特征屬性，統(tǒng)計(jì)出各影片對(duì)這些屬性的評(píng)級(jí)；然后依據(jù)顧客對(duì)這些屬性個(gè)人偏好的加權(quán)，推薦綜合加權(quán)評(píng)級(jí)較高的電影。然而在矩陣分解推薦系統(tǒng)中，同樣的任務(wù)，它不再依賴人工選取的屬性特征和統(tǒng)計(jì)評(píng)級(jí)，而是通過巨量的顧客購(gòu)買記錄和商品交易數(shù)據(jù)，用機(jī)器學(xué)習(xí)自動(dòng)產(chǎn)生出商品的屬性分類、顧客的偏好；然后依顧客的購(gòu)物歷史，計(jì)算對(duì)這些特征屬性的偏好加權(quán)，向顧客作出推薦。這個(gè)系統(tǒng)產(chǎn)生的屬性分類效果，比前者更有效，更具備解釋性。

認(rèn)知意味著一種同步關(guān)系的感知，是一種經(jīng)驗(yàn)的延續(xù)，而因果推理具備嚴(yán)謹(jǐn)?shù)臄?shù)理邏輯。利用人類認(rèn)知結(jié)合因果推理應(yīng)用到深度學(xué)習(xí)模型的構(gòu)建中，可以有效提高深度學(xué)習(xí)模型的可解釋性。

5 可解釋性的應(yīng)用

在某些特定領(lǐng)域，深度學(xué)習(xí)模型的黑盒特性會(huì)嚴(yán)重限制其在該領(lǐng)域的應(yīng)用。但隨著可解釋性方法的不斷提出和可解釋性模型的建立，深度學(xué)習(xí)可解釋性已逐漸應(yīng)用到醫(yī)療診斷、金融和模型診斷領(lǐng)域。

5.1 醫(yī)療診斷

深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于醫(yī)療診斷系統(tǒng)，診斷任務(wù)的準(zhǔn)確率甚至超過了人類專家，但對(duì)于醫(yī)生和病人而言，一個(gè)醫(yī)療診斷系統(tǒng)必須是可解釋的。于是研究者們將深度學(xué)習(xí)技術(shù)和可解釋性結(jié)合起來，用于輔助醫(yī)生進(jìn)行臨床診斷。大量數(shù)據(jù)表明，醫(yī)學(xué)診斷任務(wù)的準(zhǔn)確率得到了進(jìn)一步的提高，同時(shí)提高了診斷效率，也避免了人為主觀錯(cuò)誤。

Zhang等人[7]提出了一種新穎的醫(yī)學(xué)圖像診斷網(wǎng)絡(luò)（MDNet），來生成診斷報(bào)告和相應(yīng)的網(wǎng)絡(luò)關(guān)注區(qū)域，使網(wǎng)絡(luò)診斷和決策過程在語(yǔ)義和視覺上都具備可解釋性。Yang 等人[43]構(gòu)建了一個(gè)帶注意力機(jī)制的RNN 模型，用于分析醫(yī)療條件與重癥監(jiān)護(hù)室死亡率之間的關(guān)系，研究結(jié)果表明，使用可解釋性技術(shù)有助于發(fā)現(xiàn)與醫(yī)療保健中某些結(jié)果相關(guān)的潛在影響因素。

5.2 金融領(lǐng)域

人工智能廣泛應(yīng)用于金融領(lǐng)域，銀行貸款額度和產(chǎn)品推薦系統(tǒng)都由特定的算法完成，因此算法的透明性格外重要。一個(gè)可解釋的金融系統(tǒng)不僅可以獲得準(zhǔn)確的預(yù)測(cè)結(jié)果，而且能夠幫助人們信任模型做出決策背后的原因。

銀行監(jiān)管部門可依據(jù)具有可解釋性的神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)銀行是否有破產(chǎn)的可能。Wang 等人[8]提出了一種具有可解釋性的自組織模糊神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)。當(dāng)與其他的預(yù)測(cè)模型進(jìn)行比較時(shí)，它能夠更好地根據(jù)財(cái)務(wù)報(bào)表中的變量識(shí)別財(cái)務(wù)困境的內(nèi)在特征。這種基于自動(dòng)生成的模糊推理規(guī)則庫(kù)系統(tǒng)運(yùn)行準(zhǔn)確，更值得注意的是，簡(jiǎn)化后的規(guī)則庫(kù)具有很高的可解釋性。

5.3 模型診斷

在搭建模型時(shí)，由于深度學(xué)習(xí)模型的復(fù)雜性，會(huì)導(dǎo)致模型出錯(cuò)的幾率增加。而可解釋性作為一種解釋模型的重要工具，當(dāng)模型表現(xiàn)不佳或給出錯(cuò)誤決策時(shí)，可以用來分析和調(diào)試模型的錯(cuò)誤行為。將可解釋性與模型診斷相結(jié)合引起人們的廣泛關(guān)注。

Cadamuro 等人[44]提出一種循環(huán)診斷的模型診斷方法，不斷地檢測(cè)模型漏洞，直到找到對(duì)模型漏洞貢獻(xiàn)最大的實(shí)例，從而推斷模型出錯(cuò)的根本原因。另外，可通過可視化模型卷積核和特征圖的方式，來解釋和診斷模型，并對(duì)模型的改進(jìn)做出有效的指導(dǎo)。

6 存在的問題與研究展望

6.1 存在的問題及解決思路

上文對(duì)深度學(xué)習(xí)模型可解釋性研究取得的進(jìn)展進(jìn)行了綜述，從研究現(xiàn)狀可以看出，深度學(xué)習(xí)模型可解釋性研究還存在以下問題，并給出相應(yīng)的解決思路。

（1）缺乏統(tǒng)一的解釋方法評(píng)估指標(biāo)。

由于解釋范圍、解釋方法原理不同等因素，導(dǎo)致評(píng)估解釋方法優(yōu)劣的指標(biāo)無法達(dá)成統(tǒng)一，目前可以從認(rèn)知科學(xué)、定性和定量分析三個(gè)角度進(jìn)行評(píng)估。但由于人類認(rèn)知缺乏局限性，而定性評(píng)估又存在復(fù)雜性和主觀性，因此可從定量分析角度來統(tǒng)一解釋方法評(píng)估指標(biāo)。

解決思路：①在特定數(shù)據(jù)集上，通過比較解釋一致性和解釋保真度等指標(biāo)來定量分析原模型和解釋模型的預(yù)測(cè)值是否接近；②通過分析濾波器可解釋性和位置不穩(wěn)定性指標(biāo)來定理評(píng)估用于圖像分類且生成神經(jīng)網(wǎng)絡(luò)視覺解釋的解釋方法的可解釋性。

（2）無法平衡模型準(zhǔn)確性和可解釋性。

模型準(zhǔn)確性是指模型的擬合能力，一般規(guī)律下，模型準(zhǔn)確性與可解釋性相對(duì)立，與復(fù)雜性相統(tǒng)一。通常自解釋模型結(jié)構(gòu)簡(jiǎn)單、參數(shù)少，其可解釋性好，但準(zhǔn)確性不高。而復(fù)雜的深度學(xué)習(xí)模型擬合能力強(qiáng)，同時(shí)損失部分可解釋性來滿足準(zhǔn)確性，似乎模型的準(zhǔn)確性和可解釋性之間始終存在一個(gè)平衡。但杜克大學(xué)Cynthia Rudin基于一場(chǎng)可解釋性機(jī)器學(xué)習(xí)挑戰(zhàn)賽指出：更復(fù)雜的模型本質(zhì)上更精確并不一定是真的，準(zhǔn)確性與可解釋性之間可以兼得，未來可能設(shè)計(jì)出高精度且強(qiáng)可解釋性的模型。

解決思路：①有效結(jié)合多種解釋方法，充分發(fā)揮其各自優(yōu)勢(shì)；②將深度學(xué)習(xí)模型先拆分為功能模塊后再組合，根據(jù)模塊功能生成解釋。

（3）無法完全保護(hù)隱私。

隱私保護(hù)需要信息隱藏，而可解釋性會(huì)造成信息透明，兩者天然矛盾。提高可解釋性可能造成敏感數(shù)據(jù)披露，進(jìn)而可能造成歧視等現(xiàn)象出現(xiàn)。因此如何平衡數(shù)據(jù)隱私保護(hù)與模型可解釋性是需要關(guān)注的問題，而聯(lián)邦學(xué)習(xí)[45]作為一種具有隱私保護(hù)特性的分布式機(jī)器學(xué)習(xí)框架可有效解決此問題。

解決思路：①嘗試在模型進(jìn)行訓(xùn)練時(shí)加入隨機(jī)噪聲，利用差分隱私（Differential Privacy，DP）和聯(lián)邦學(xué)習(xí)結(jié)合，將模型輸出結(jié)果隱藏起來；②嘗試對(duì)模型參數(shù)進(jìn)行加密操作，將安全多方計(jì)算（Secure Multi-party Computation，SMC）和聯(lián)邦學(xué)習(xí)結(jié)合，從而對(duì)數(shù)據(jù)進(jìn)行隱私保護(hù)。

6.2 研究展望

未來深度學(xué)習(xí)可解釋性研究可從以下兩個(gè)方向考慮。

（1）利用知識(shí)圖譜引入人類知識(shí)。

目前大多數(shù)深度學(xué)習(xí)模型很少使用知識(shí)圖譜技術(shù)來引入人類知識(shí)。而知識(shí)圖譜語(yǔ)義豐富，是人類知識(shí)的總結(jié)，利用知識(shí)圖譜將人類知識(shí)引入到深度學(xué)習(xí)模型中，有助于特征理解，并在一定程度上減少數(shù)據(jù)偏見。因此利用知識(shí)圖譜引入人類知識(shí)到模型是值得關(guān)注的問題。

（2）利用人機(jī)交互推動(dòng)人類專家的參與。

可解釋深度學(xué)習(xí)需要多學(xué)科協(xié)作，人機(jī)交互領(lǐng)域的知識(shí)和經(jīng)驗(yàn)可推動(dòng)人和機(jī)器的協(xié)同作用。解釋的最終目的是幫助用戶建立一個(gè)完整和正確的學(xué)習(xí)算法，并增強(qiáng)對(duì)其輸出的信任。作為解釋的最終用戶，人類的參與將是未來研究方向。因此利用人機(jī)交互來推動(dòng)人類專家的參與是未來需要考慮的問題。

7 結(jié)束語(yǔ)

可解釋深度學(xué)習(xí)是一個(gè)活躍的領(lǐng)域，是各行各界關(guān)注的重要話題。本文從自解釋模型、特定模型解釋、不可知模型解釋、因果可解釋性四個(gè)方面對(duì)主要解釋方法進(jìn)行了歸納、分析。同時(shí)列舉出可解釋性相關(guān)技術(shù)的應(yīng)用，并討論了可解釋性研究當(dāng)前存在的問題，展望其未來研究方向。對(duì)可解釋深度學(xué)習(xí)的現(xiàn)有技術(shù)進(jìn)行全面概述旨在幫助人們更好地理解可解釋性框架以及不同解釋方法的優(yōu)缺點(diǎn)。雖然可解釋深度學(xué)習(xí)技術(shù)發(fā)展迅速，但仍有一些關(guān)鍵挑戰(zhàn)尚未解決，需要未來的解決方案來進(jìn)一步推動(dòng)這一領(lǐng)域的發(fā)展。