如何解讀機(jī)器知識(shí)

李發(fā)伸，李廉，殷建平，張勇，周慶國(guó)，況琨

a Department of Physics, Lanzhou University, Lanzhou 430000, China

b Department of Computer Science, HeFei University of Technology, Hefei 230009, China

c Department of Computer Science, Dongguan University of Technology, Dongguan 523808, China

d Department of Physics, Xiamen University, Xiamen 361005, China

e Department of Computer Science, Lanzhou University, Lanzhou 430000, China

f College of Computer Science and Technology, Zhejiang University, Hangzhou 310058, China

機(jī)器知識(shí)指的是人工智能所蘊(yùn)含的知識(shí)。本文討論了如何獲取機(jī)器知識(shí)，特別是獲取機(jī)器知識(shí)中的因果知識(shí)，而后者是解讀機(jī)器知識(shí)的過程。通過對(duì)物理學(xué)和人工智能領(lǐng)域的一些研究方法進(jìn)行分析，我們提出了解讀機(jī)器知識(shí)的一些原則和模式，同時(shí)對(duì)一些具體方法，如解讀過程自動(dòng)化和局部線性化進(jìn)行了討論。

當(dāng)前人類已經(jīng)進(jìn)入了一個(gè)由自然世界、人類世界、信息世界、智能體世界組成的四元社會(huì)。智能體已經(jīng)成為我們這個(gè)世界的一種客觀存在。智能體能夠做出預(yù)測(cè)、進(jìn)行判斷、表達(dá)情感，甚至可以主動(dòng)調(diào)整自己的行為以適應(yīng)環(huán)境的變化[1,2]。因此，我們可以認(rèn)為智能體是一個(gè)具有知識(shí)結(jié)構(gòu)和功能的知識(shí)系統(tǒng)，即機(jī)器知識(shí)。本文就如何解讀隱藏在智能體中的機(jī)器知識(shí)進(jìn)行討論。本文所指的智能體是指基于硅工藝技術(shù)和圖靈算法的人工智能機(jī)器，如各種學(xué)習(xí)模型、計(jì)算模型、仿真模型等，不包括利用生物或遺傳技術(shù)構(gòu)建的智能體。

對(duì)于什么是知識(shí)，要做出一個(gè)令人普遍接受的定義還有待繼續(xù)深入的研究。這里我們先借用一般的說法，即知識(shí)是現(xiàn)象變化的規(guī)律。一個(gè)智能體能夠通過變換將輸入轉(zhuǎn)變?yōu)檩敵?，或者根?jù)前一個(gè)輸出調(diào)整下一個(gè)輸出。這種輸入和輸出以及輸出和輸出之間的變化規(guī)律就是現(xiàn)象的變化規(guī)律，所以它屬于知識(shí)。這種知識(shí)被稱為初級(jí)知識(shí)（primary knowledge）。例如，將現(xiàn)象中所有的變化放到一個(gè)表格中就是一種知識(shí)的表達(dá)（如窮舉表達(dá)）。然而，人們所需要的知識(shí)往往不是這種初級(jí)形式的知識(shí)，而是要在更高層次上經(jīng)過抽象的知識(shí)，即反映現(xiàn)象變化的普遍規(guī)律的知識(shí)。這種知識(shí)被稱為高級(jí)知識(shí)（advanced knowledge）。我們可以根據(jù)抽象程度對(duì)高級(jí)知識(shí)繼續(xù)分層。以Tycho Brahe和Johannes Kepler的工作為例，Tycho Brahe通過詳盡的觀測(cè)，列出了大量行星運(yùn)行的軌跡數(shù)據(jù)，這些數(shù)據(jù)只反映了現(xiàn)象（如行星運(yùn)行）之間的一種關(guān)聯(lián)。直到Kepler成功地總結(jié)出三大規(guī)律，并揭示出這些現(xiàn)象之間的因果關(guān)系，這些知識(shí)才真正成為高級(jí)知識(shí)。另外，牛頓第二定律是一種更高層次的知識(shí)表達(dá)。關(guān)聯(lián)關(guān)系和因果關(guān)系都屬于知識(shí)，但它們卻處于不同的層次。就人類獲取知識(shí)的過程而言，通過觀測(cè)獲取現(xiàn)象之間的關(guān)聯(lián)關(guān)系是最基本的科學(xué)活動(dòng)，而要獲取現(xiàn)象之間的因果關(guān)系，則需要我們對(duì)所觀測(cè)到的數(shù)據(jù)背后的現(xiàn)象進(jìn)行分析和歸納。由于人類總是喜歡且執(zhí)著地追求現(xiàn)象變化背后的“為什么”，因此因果關(guān)系在人類科學(xué)體系中占有重要的位置。

在本文中，我們主要對(duì)人們是否能夠以及怎樣從智能體獲取因果知識(shí)這一問題進(jìn)行了關(guān)注。這一過程就是解讀機(jī)器知識(shí)。經(jīng)過訓(xùn)練的智能體可以完成十分復(fù)雜的工作，而且其中一些成果已經(jīng)超越了人類上千年的文化積累。然而，我們?nèi)匀徊磺宄@些智能體究竟是如何成功的。例如，像神經(jīng)網(wǎng)絡(luò)那樣的智能體，過度的擬合訓(xùn)練并不能使之具有更好的泛化能力。我們不清楚神經(jīng)網(wǎng)絡(luò)成功的邊界在哪里。我們不知道如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)去完成預(yù)定的任務(wù)。我們不知道是否可以更換訓(xùn)練集使神經(jīng)網(wǎng)絡(luò)的表現(xiàn)更加出色。我們甚至不知道神經(jīng)網(wǎng)絡(luò)是根據(jù)什么來做預(yù)測(cè)，即它是基于數(shù)據(jù)還是基于特征。一句話，我們不知道如何信任一個(gè)智能體。

到目前為止，因果關(guān)系仍然是人類理解自然世界的根本基石，而用概率思維描述的關(guān)聯(lián)關(guān)系則是推動(dòng)我們理解世界因果機(jī)制的表層現(xiàn)象。Pearl [3]曾說過：“回顧過去，我所遇到的最大挑戰(zhàn)是擺脫概率思維，并且我接受兩種觀點(diǎn)：第一，人們并不是從概率角度思考，而是從因果效應(yīng)的角度思考；第二，因果思維很難通過概率語言來描述，它需要一種屬于它自己的新語言。”第一種觀點(diǎn)講的是事實(shí)，即科學(xué)知識(shí)不是用概率思維的形式來表達(dá)的，而是通過因果思維進(jìn)行表達(dá)的。第二種觀點(diǎn)講的是如何解讀因果思維。Pearl認(rèn)為人類現(xiàn)在還沒有發(fā)明出解讀因果思維的數(shù)學(xué)工具。遺憾的是，當(dāng)前最受青睞的智能體大都是以概率方式運(yùn)行的，其所表達(dá)的現(xiàn)象之間的關(guān)系都屬于關(guān)聯(lián)關(guān)系。我們能從這些關(guān)聯(lián)關(guān)系中解讀出蘊(yùn)藏在其中的因果關(guān)系嗎？這是一個(gè)很有挑戰(zhàn)性的問題。如果人類和智能體之間無法相互交流和理解，或者如果人類不能將智能體的知識(shí)翻譯為因果形式，那么人工智能的發(fā)展將會(huì)遇到極大的障礙，甚至隱藏著風(fēng)險(xiǎn)[4]。

物理學(xué)是一種典型的利用因果關(guān)系來解讀自然世界的科學(xué)。自然世界也可以被看作是一個(gè)巨大的智能體，其中的現(xiàn)象每時(shí)每刻都發(fā)生著變化。人類在認(rèn)識(shí)自然世界這些變化及其規(guī)律時(shí)，采取了因果關(guān)系的解讀形式。他們希望對(duì)現(xiàn)象變化背后的規(guī)律給出清晰而準(zhǔn)確的表達(dá)。這種解讀形式主要是通過正則表達(dá)式和數(shù)學(xué)表達(dá)式來實(shí)現(xiàn)的，從而使得人們不僅可以描述已經(jīng)發(fā)生的現(xiàn)象，而且可以預(yù)測(cè)未來可能發(fā)生的現(xiàn)象，其中后者尤為重要。由于對(duì)自然世界的實(shí)際運(yùn)行規(guī)律無法直接獲取，所以人們只能通過現(xiàn)象觀測(cè)來“猜測(cè)”其所蘊(yùn)含的規(guī)律。即使有大量的與現(xiàn)象相關(guān)的數(shù)據(jù)，我們也很難準(zhǔn)確、完整地從這些數(shù)據(jù)中總結(jié)出相應(yīng)的規(guī)律。因此人們?cè)诮庾x自然世界時(shí)采用了兩條原則（或者信仰），這在牛頓的Mathematical Principles of Natural Philosophy, Volume III:On the System of the Universe[5]書中有明確闡述。以下是四條“哲學(xué)中的推理規(guī)則”中的前兩條：

（1）最簡(jiǎn)描述原則（如Occam's razor）：沒有什么比既真實(shí)又足以解釋其現(xiàn)象的原因更能說明自然事物的原因；

（2）功能相似原則：對(duì)于相同的自然現(xiàn)象，我們必須盡可能地找到相同的原因。

對(duì)于物理學(xué)來說，一些具有基礎(chǔ)意義的定律和原理，不僅是對(duì)自然世界中現(xiàn)象變化規(guī)律的高度抽象和因果描述，而且也遵循了上述兩條基本原理，從而形成了當(dāng)前人們對(duì)于自然世界基本規(guī)律的認(rèn)知和構(gòu)建了人類自然科學(xué)知識(shí)的結(jié)構(gòu)。例如，既然任何一次測(cè)量都不能精準(zhǔn)驗(yàn)證牛頓第二定律，那么我們?yōu)槭裁催€要接受它呢？這里面就隱藏了一種公認(rèn)的原則。

讓我們回到對(duì)智能體的解讀上來。在絕大多數(shù)情況下，雖然我們可以知道智能體的結(jié)構(gòu)，但我們無法預(yù)測(cè)智能體的行為，這就像我們不能根據(jù)大腦的神經(jīng)連接結(jié)構(gòu)來判斷它會(huì)做怎樣的思考一樣。我們能觀測(cè)的只是大腦輸入和輸出之間的關(guān)系，即數(shù)據(jù)。對(duì)于任何一個(gè)智能體，只要有足夠充分的觀測(cè)和大量的觀測(cè)數(shù)據(jù)，理論上我們都可以通過歸納計(jì)算來獲取其中的因果關(guān)系，而無需考慮智能體內(nèi)部的結(jié)構(gòu)和運(yùn)行模式。也就是說，只要與智能體的外部性能（如功能）高度吻合，我們就可以認(rèn)為該因果關(guān)系成立。這就是“功能相似原則”。這種方法在物理學(xué)中得到了充分的體現(xiàn)。例如，宇宙就像一個(gè)巨大的時(shí)鐘，我們只能從它的外部運(yùn)行來猜測(cè)內(nèi)部的結(jié)構(gòu)。通過連續(xù)不斷的觀測(cè)及其精度的提高，我們的猜測(cè)與觀測(cè)到的現(xiàn)象越來越一致，但是我們可能永遠(yuǎn)也無法知道宇宙內(nèi)部的實(shí)際結(jié)構(gòu)。盡管如此，物理學(xué)仍然推動(dòng)了人類的社會(huì)發(fā)展和科學(xué)進(jìn)步。

雖然人類對(duì)于因果關(guān)系的探索已經(jīng)有幾千年的歷史，但長(zhǎng)期以來，人們對(duì)因果關(guān)系的描述還一直停留在定性的和經(jīng)驗(yàn)主義的階段。直到20世紀(jì)70年代以后，C.Granger、J. Pearl和D. Rubin陸續(xù)提出基于數(shù)學(xué)表達(dá)的因果關(guān)系定義后，人類才真正開始在數(shù)據(jù)基礎(chǔ)上對(duì)因果關(guān)系進(jìn)行定量化研究。Pearl關(guān)于因果關(guān)系的描述方法比較系統(tǒng)化，該方法能夠處理變量之間的混雜干擾、發(fā)現(xiàn)隱性變量的存在、解決反事實(shí)等歸因問題。基于Pearl因果關(guān)系的研究在許多實(shí)際應(yīng)用中取得了很好的效果，該研究可以被用于解決因果悖論問題。因此Pearl因果關(guān)系已成為人工智能理論和應(yīng)用的重要方法。從原則上說，Pearl的因果關(guān)系與Fisher的實(shí)驗(yàn)設(shè)計(jì)具有相同的科學(xué)假設(shè)和數(shù)學(xué)基礎(chǔ)，因此Pearl的因果關(guān)系的數(shù)學(xué)基礎(chǔ)是牢固的。

然而，Pearl的因果關(guān)系仍然存在一些問題，以至于其在稍微復(fù)雜的問題上表現(xiàn)得不盡如人意。例如，Pearl的因果算法對(duì)于數(shù)據(jù)的分布和數(shù)量要求較高，這在很多實(shí)際應(yīng)用中是很難滿足的。再則，Pearl的因果關(guān)系對(duì)于隱藏變量比較敏感，因此，觀測(cè)數(shù)據(jù)的不充分或者不準(zhǔn)確會(huì)對(duì)計(jì)算結(jié)果產(chǎn)生很大影響。用于構(gòu)建Pearl因果關(guān)系及其算法的結(jié)構(gòu)方程模型或者因果結(jié)構(gòu)圖模型也還存在諸多的不確定性。

統(tǒng)計(jì)學(xué)家Imbens和Rubin [6]提出了另一種因果模型，該模型被稱為潛在結(jié)果模型，利用該模型通過研究數(shù)據(jù)中所反映的潛在結(jié)果和現(xiàn)象關(guān)聯(lián)，可以挖掘其內(nèi)在的因果知識(shí)。Rubin的因果模型已被廣泛應(yīng)用于實(shí)際問題，尤其是那些需要因果知識(shí)去幫助決策的領(lǐng)域，如醫(yī)療診斷、公共政策制定等。但是Rubin的因果模型同樣存在一些問題，例如，它對(duì)數(shù)據(jù)的假設(shè)過于強(qiáng)大，而且其中一些假設(shè)在實(shí)際問題中是不可測(cè)試的。

除了繼續(xù)深入研究Pearl和Rubin的因果關(guān)系及其算法外，當(dāng)前我們也研究了一些其他方法。雖然因果關(guān)系無法被這些方法直接計(jì)算出來，但它仍然可以從智能體的知識(shí)中揭示出一些深刻的關(guān)系。這些方法來源于對(duì)物理學(xué)和人工智能的一些研究。當(dāng)物理學(xué)家在采用因果關(guān)系去理解自然世界覺得有困難時(shí)，他們也會(huì)借助機(jī)器學(xué)習(xí)方法。例如，他們使用機(jī)器學(xué)習(xí)方法去理解多體系統(tǒng)的Langevin方程以及Liouville方程的Boltzmann描述（BBKGY 截?cái)啵?。解釋算法也被用于人工智能領(lǐng)域，用以理解復(fù)雜數(shù)據(jù)或特征之間的內(nèi)在關(guān)系。使用智能體來解讀智能體是一個(gè)絕妙的想法。實(shí)際上，當(dāng)前各種各樣的智能體（或者學(xué)習(xí)模型）在透明程度上是分層次的。有些智能體對(duì)于人類就比較透明，如線性模型、決策樹模型，而有些智能體對(duì)于人類就比較模糊，如神經(jīng)網(wǎng)絡(luò)、Monte Carlo搜索樹模型。令人遺憾但卻很有趣的是，越是模糊的智能體，其學(xué)習(xí)能力就越強(qiáng)，而且它所蘊(yùn)含的知識(shí)也越豐富。如果直接解讀智能體有困難，我們可以考慮通過一個(gè)較為透明的智能體來解讀不太透明的智能體。這個(gè)過程是可遞歸的，使得解讀內(nèi)容越來越容易被人類理解[7]。

通過計(jì)算影響函數(shù)，我們可以分析智能體中數(shù)據(jù)或者特征的重要性，從而盡可能地分析出哪些因素（原因）會(huì)導(dǎo)致智能體表現(xiàn)出這樣的行為。我們也可以通過分析數(shù)據(jù)的質(zhì)量和分布來尋找更好的觀測(cè)數(shù)據(jù)，這對(duì)醫(yī)學(xué)診斷和物理觀測(cè)都有非常重要的意義。

對(duì)于給定的輸入數(shù)據(jù)，智能體會(huì)給出相應(yīng)的輸出結(jié)果（或者下一步動(dòng)作）。通過計(jì)算各個(gè)輸入數(shù)據(jù)特征的Shapley值，我們可以估計(jì)出不同特征對(duì)于該輸出結(jié)果的貢獻(xiàn)值。那些貢獻(xiàn)大的特征有可能是智能體行為的原因[8]。

根據(jù)一般的數(shù)學(xué)原理，復(fù)雜智能體的局部行為應(yīng)該類似于一個(gè)線性系統(tǒng)。因此，根據(jù)功能相似性，我們可以考慮在局部范圍內(nèi)采用線性模型（如線性回歸）來替代原來的智能體[9]。線性模型對(duì)于因果關(guān)系有很好的透明性，通過對(duì)其回歸系數(shù)進(jìn)行適當(dāng)?shù)奶幚砭涂梢缘玫较鄳?yīng)的因果關(guān)系。與此同時(shí)，通過殘差分析，我們還可以確定這種近似處理的精度，以及其他因素對(duì)于主要變量的敏感程度。

另一種簡(jiǎn)單的方法是，利用較為透明的模型T來學(xué)習(xí)模糊的模型V，進(jìn)而通過輸入數(shù)據(jù)x得到被[x, V(x)]，標(biāo)注的數(shù)據(jù)，其中，V(x)表示V關(guān)于x的輸出。然后，我們使用這些數(shù)據(jù)對(duì)T進(jìn)行再學(xué)習(xí)。如果T和V有基本相同的行為，那么根據(jù)功能相似性原則，我們可以認(rèn)為T和V有相同的因果知識(shí)。這一方法在分析智能體內(nèi)部缺陷以及黑盒攻擊時(shí)取得了良好的效果。

人工智能的出現(xiàn)為人類發(fā)現(xiàn)新知識(shí)開拓了更多的途徑。通過解讀智能體的知識(shí)，我們可以豐富自身的知識(shí)體系，從而更好地服務(wù)于人類的發(fā)展。目前有關(guān)智能體的解讀研究還有待進(jìn)一步深入。隨著研究理論和方法的不斷完善，人類與智能體之間的關(guān)系也會(huì)達(dá)到一種高度和諧，他們相互之間將實(shí)現(xiàn)更好的交流與溝通。這在人類進(jìn)化史上將具有里程碑意義。

致謝

本文是根據(jù)2019年7月在蘭州大學(xué)舉行的“機(jī)器知識(shí)和人類認(rèn)知沙龍”上參會(huì)人員的發(fā)言內(nèi)容整理而成。所有參會(huì)人員都對(duì)本文做出了貢獻(xiàn)，我們對(duì)其他參與者表示感謝。他們是物理學(xué)和計(jì)算機(jī)科學(xué)的專家，具體包括黃亮（物理學(xué)，蘭州大學(xué)）、安寧（計(jì)算機(jī)科學(xué)，合肥工業(yè)大學(xué)）、楊磊（物理學(xué)，中國(guó)科學(xué)院近代物理研究所）、吳枝喜（物理學(xué)，蘭州大學(xué)）、劉禮（計(jì)算機(jī)科學(xué)，重慶大學(xué)）、張家琳（計(jì)算機(jī)科學(xué)，中國(guó)科學(xué)院計(jì)算技術(shù)研究所）、俞連春（物理學(xué)，蘭州大學(xué)）。

Compliance with ethics guidelines

Fashen Li, Lian Li, Jianping Yin, Yong Zhang,Qingguo Zhou, and Kun Kuang declare that they have no conflict of interest or financial conflicts to disclose.