融合法律文本結(jié)構(gòu)信息的刑事案件判決預(yù)測(cè)

張 晗，鄭偉昊，竇志成，文繼榮

1.中國(guó)人民大學(xué) 信息學(xué)院，北京 100872

2.大數(shù)據(jù)管理與分析方法研究北京市重點(diǎn)實(shí)驗(yàn)室，北京 100872

3.中國(guó)人民大學(xué) 高瓴人工智能學(xué)院，北京 100872

4.數(shù)據(jù)工程與知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室，北京 100872

近年來(lái)，以機(jī)器學(xué)習(xí)和深度學(xué)習(xí)為代表的人工智能技術(shù)發(fā)展迅速，研究人員以及工業(yè)界將人工智能技術(shù)應(yīng)用到各種不同的領(lǐng)域和實(shí)際場(chǎng)景，例如醫(yī)療領(lǐng)域的腫瘤影像診斷、金融領(lǐng)域的股票預(yù)測(cè)和城市規(guī)劃領(lǐng)域的城市計(jì)算等。人工智能技術(shù)促進(jìn)了各種研究和工業(yè)領(lǐng)域的智能化的發(fā)展。人工智能在各個(gè)領(lǐng)域交叉融合發(fā)展的趨勢(shì)促使利用人工智能等技術(shù)構(gòu)建法律智能以解決法律任務(wù)得到學(xué)界的逐漸認(rèn)同。深度學(xué)習(xí)和自然語(yǔ)言處理等人工智能技術(shù)在信息檢索、文本分類等研究領(lǐng)域取得了顯著成果，一些研究工作進(jìn)而將這些技術(shù)應(yīng)用到法律領(lǐng)域，法律任務(wù)智能化引起了學(xué)界甚至工業(yè)界的廣泛關(guān)注。司法領(lǐng)域全國(guó)法律裁判文書(shū)網(wǎng)提供了大量真實(shí)且格式規(guī)范的司法案例和數(shù)據(jù)，進(jìn)一步促進(jìn)了法律任務(wù)智能化的研究和應(yīng)用。

目前法律任務(wù)智能化已經(jīng)應(yīng)用于各種場(chǎng)景中，例如司法案件檢索、法律法條的檢索、案情法律依據(jù)推薦、司法問(wèn)答、自動(dòng)定罪、自動(dòng)量刑、裁判文書(shū)自動(dòng)生成等[1]。法律領(lǐng)域的諸多任務(wù)主要是基于文本進(jìn)行分析和研究，并且需要進(jìn)行語(yǔ)義層面的分析，主要涉及自然語(yǔ)言處理（NLP）技術(shù)，例如自動(dòng)定罪涉及文本分類、文本語(yǔ)義分析等技術(shù)。當(dāng)前深度學(xué)習(xí)為代表的NLP技術(shù)在諸多需要語(yǔ)義分析的任務(wù)中取得顯著成果，例如閱讀理解、問(wèn)答等，也促進(jìn)了法律任務(wù)智能化的研究。

法律任務(wù)智能化不僅可以提升司法人員辦案的效率，例如卷宗檢索和類案推薦等技術(shù)可以幫助司法人員快速找到相關(guān)案件和法律法條從而提升司法人員工作效率；它也可以一定程度上提升司法公正性，例如基于深度學(xué)習(xí)定罪等技術(shù)通常是基于大量歷史案件的信息學(xué)習(xí)定罪的特征以預(yù)測(cè)罪名，一定程度上可以降低司法人員出現(xiàn)人為錯(cuò)誤的可能性。

法律任務(wù)智能化中一個(gè)重要任務(wù)是法律判決預(yù)測(cè)。在法律領(lǐng)域中，通常包含定罪和量刑兩個(gè)主要的任務(wù)。定罪是司法機(jī)關(guān)為懲罰犯罪、保障人權(quán)，依據(jù)法律規(guī)定，根據(jù)證據(jù)認(rèn)定行為事實(shí)并進(jìn)而認(rèn)定犯罪嫌疑人和被告人的行為罪與非罪、此罪與彼罪、重罪與輕罪及罪數(shù)的活動(dòng)[2-3]，例如盜竊罪與故意殺人罪的確定。量刑是指司法機(jī)關(guān)在定罪的基礎(chǔ)上，考慮刑事責(zé)任的輕重，依據(jù)法律規(guī)定對(duì)犯罪人是否判處刑罰或者適用某種非刑罰處理方式，判處何種刑罰和刑期以及是否執(zhí)行某種刑罰的審判活動(dòng)[2，4]。例如，犯罪嫌疑人的年齡是量刑時(shí)的參考情節(jié)之一，同一種罪行且其他犯罪方式一致時(shí)，未成年人的刑罰會(huì)比成年人輕，低于14歲的未成年人會(huì)更輕。

計(jì)算機(jī)領(lǐng)域中法律判決預(yù)測(cè)任務(wù)通常包括法條推薦、定罪預(yù)測(cè)和刑期預(yù)測(cè)。該任務(wù)是在給定一個(gè)案件的案情描述時(shí)，自動(dòng)預(yù)測(cè)犯罪嫌疑人涉及的相關(guān)法條和罪名以及判處的刑期。相關(guān)法條是與犯罪嫌疑人的案情事實(shí)相關(guān)的刑法等法律條文，罪名是法律條文中明確規(guī)定的罪名，刑期預(yù)測(cè)通常是對(duì)犯罪人的主刑的裁量。主刑也稱為基本刑，是我國(guó)法律對(duì)犯罪人主要的處罰方式，一般包括管制、拘役、有期徒刑、無(wú)期徒刑和死刑。例如，圖1中林某濫用職權(quán)案中，給定經(jīng)司法機(jī)關(guān)偵查確認(rèn)的案情描述，模型應(yīng)自動(dòng)推薦的相關(guān)法條為刑法第三百九十七條，此外模型應(yīng)自動(dòng)預(yù)測(cè)出犯罪嫌疑人林某的罪名為濫用職權(quán)罪，林某的刑期為有期徒刑2年（24個(gè)月）。

圖1 司法領(lǐng)域的判決示例Fig.1 Example of judgement of criminal case in judicial field

早期法律判決預(yù)測(cè)相關(guān)研究工作采用統(tǒng)計(jì)和概率的方法（Keown等人[5]、Nagel等人[6]、Segal等人[7]、Lauderdale等人[8]以及Ulmer等人[9]）會(huì)損失案情描述信息和刑期預(yù)測(cè)情節(jié)等信息。基于人工構(gòu)建特征的機(jī)器學(xué)習(xí)研究工作如林琬真等人[10]和高菲等人[11]提升了自動(dòng)判決相關(guān)任務(wù)的準(zhǔn)確率，但是存在損失案情描述語(yǔ)義信息等問(wèn)題。針對(duì)早期工作的問(wèn)題，一些研究者提出了一些基于深度學(xué)習(xí)的法律判決預(yù)測(cè)方法，如Luo等人[12]、Hu等人[13]、Zhong等人[14]、Xu等人[15]的工作。這些工作多是基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）或者雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）等神經(jīng)網(wǎng)絡(luò)模型對(duì)案情描述進(jìn)行編碼，利用注意力機(jī)制將法條信息融入案情表示，或考慮三個(gè)子任務(wù)之間的關(guān)系或法條之間的差異來(lái)提升法律判決預(yù)測(cè)任務(wù)的性能。雖然這些基于深度學(xué)習(xí)的研究工作在法律判決預(yù)測(cè)任務(wù)上取得了很好的效果，但是這些工作未考慮利用法律文本本身的多層層次化信息。

如圖2所示，刑法法律文本包含多層結(jié)構(gòu)。以刑法第三百九十七條為例，在法條大類的層次上該法條屬于瀆職罪，在罪名的層次上該法條包含兩個(gè)罪名：濫用職權(quán)罪和玩忽職守罪，在刑期的層次上濫用職權(quán)罪和玩忽職守罪的刑罰標(biāo)準(zhǔn)都有三年以下有期徒刑或者拘役和三年以上七年以下有期徒刑等。

圖2 法條的層次化信息示例Fig.2 Hierarchical information of law

針對(duì)該問(wèn)題，本文引入了法律文本的多層層次化信息用于法律判決預(yù)測(cè)任務(wù)。具體來(lái)說(shuō)，本文首先對(duì)法律文本的多層層次化信息進(jìn)行預(yù)處理，生成法條、罪名和刑期三個(gè)層次，并利用協(xié)同注意力機(jī)制將三個(gè)層次的信息融入案情描述中，分別得到每個(gè)子任務(wù)融合不同層次的法律文本信息的案情描述表示，并按照子任務(wù)之間的順序來(lái)預(yù)測(cè)司法判決結(jié)果。

本文主要的貢獻(xiàn)如下：（1）考慮到法律文本具有多層結(jié)構(gòu)信息，針對(duì)不同的子任務(wù)引入不同層次的法律文本信息并提出一種融合案情描述與法律文本多層結(jié)構(gòu)信息的的神經(jīng)網(wǎng)絡(luò)模型；（2）在真實(shí)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)并與現(xiàn)有最好的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較和分析，實(shí)驗(yàn)結(jié)果表明本文提出的模型優(yōu)于當(dāng)前最好的法律判決預(yù)測(cè)模型，這證明了本文提出的模型的有效性。

1 相關(guān)工作

法律任務(wù)智能化目前相關(guān)的研究方向有許多，如智能法律問(wèn)答、摘要生成、法律閱讀理解以及法律判決預(yù)測(cè)等研究方向。傳統(tǒng)人工的法律問(wèn)答一般需要專業(yè)的律師針對(duì)提出的問(wèn)題查詢相關(guān)法律法規(guī)并結(jié)合專業(yè)知識(shí)進(jìn)行分析和解釋，通常費(fèi)用較高且專業(yè)律師資源有限使得民眾的需求無(wú)法滿足，因而Fawei等人[16]提出了一個(gè)智能化的法律問(wèn)答系統(tǒng)，利用問(wèn)題中相關(guān)的案件信息和法律法規(guī)并結(jié)合法律推理進(jìn)行分析和回答。Long等人[17]根據(jù)問(wèn)題中的案件信息、法律法規(guī)及問(wèn)題請(qǐng)求等信息通過(guò)閱讀理解模型來(lái)實(shí)現(xiàn)法律問(wèn)題的判定和回答。Xiao等人[18]提出利用CNN模型對(duì)中文的法律問(wèn)題進(jìn)行分類以幫助普通民眾獲取法律知識(shí)。

司法人員在現(xiàn)實(shí)的業(yè)務(wù)場(chǎng)景中需要對(duì)各類案件信息進(jìn)行快速和認(rèn)真的閱讀并獲取案件信息的關(guān)鍵內(nèi)容形成文本摘要，面對(duì)司法人員的現(xiàn)實(shí)需求，法律領(lǐng)域的自動(dòng)摘要生成也受到研究者的關(guān)注。Merchant等人[19]采用潛在語(yǔ)義分析的方法對(duì)長(zhǎng)篇的法律文書(shū)進(jìn)行關(guān)鍵信息的抽取以生成摘要，Kanapala等人[20]對(duì)摘要生成相關(guān)的研究進(jìn)行總結(jié)和分析。

法律判決是司法中非常重要和嚴(yán)謹(jǐn)?shù)墓ぷ鳎瑢?duì)于刑事案件更是如此。刑事案件的判決結(jié)果通常涉及犯罪嫌疑的重大的人身權(quán)利，現(xiàn)實(shí)的司法工作中通常都是司法機(jī)關(guān)根據(jù)法律依據(jù)經(jīng)過(guò)多人多輪認(rèn)真討論的結(jié)果，判決結(jié)果都具有司法上可解釋性且有理有據(jù)。因而法律任務(wù)智能化的司法可解釋性的研究也得到研究者的關(guān)注，Jiang等人[21]研究自動(dòng)定罪任務(wù)的可解釋性問(wèn)題，基于強(qiáng)化學(xué)習(xí)和文本分類模型抽取判決結(jié)果依據(jù)。Ye等人[22]提出序列生成模型從案情描述中生成法庭的判決依據(jù)。Liu等人[23]引用注意使用序列到序列的（Seq2Seq）模型來(lái)預(yù)測(cè)決策的原因。

法律任務(wù)智能化中一個(gè)研究者重點(diǎn)關(guān)注的任務(wù)是法律判決預(yù)測(cè)。法律判決預(yù)測(cè)通常是根據(jù)法律裁判文書(shū)及相關(guān)法律文本自動(dòng)預(yù)測(cè)犯罪嫌疑人的涉及的法條、罪名、判處的刑期和罰金等判決結(jié)果。我國(guó)的法律案件通?？梢詣澐譃樾淌掳讣?、民事案件和行政案件。刑事案件主要依據(jù)刑法對(duì)犯罪嫌疑人進(jìn)行判決，判決結(jié)果按照法律責(zé)任又可分為主刑和附加刑。當(dāng)前法律判決預(yù)測(cè)任務(wù)研究的案件主要是刑事案件，主要對(duì)刑事案件中的主刑進(jìn)行預(yù)測(cè)。例如Sulea等人[24-25]、林琬真等人[10]、Luo等人[12]、Hu等人[13]、Zhong等人[14]和Xu等人[15]都是基于刑事案件進(jìn)行研究。

一些早期的工作通常是利用一些機(jī)器學(xué)習(xí)的方法對(duì)案件進(jìn)行分類，例如Sulea等人[24-25]、林琬真等人[10]。后續(xù)深度學(xué)習(xí)模型在各個(gè)領(lǐng)域的應(yīng)用，一些研究工作開(kāi)始關(guān)注司法領(lǐng)域的判決任務(wù)。例如，Wang等人[26]提出了一種案情描述和法條的層次化文本匹配模型來(lái)預(yù)測(cè)犯罪嫌疑人的罪名。Chen等人[27]采用門(mén)控機(jī)制來(lái)提高刑期預(yù)測(cè)的性能。Luo等人[12]利用案情事實(shí)與法律條文之間的注意機(jī)制來(lái)幫助預(yù)測(cè)罪名。此外一些工作對(duì)樣本較少的罪名進(jìn)行了研究，如Hu等人[13]通過(guò)引入罪名的人工屬性特征來(lái)提高少樣本類別的定罪預(yù)測(cè)準(zhǔn)確率。

隨著大規(guī)模數(shù)據(jù)集出現(xiàn)以及任務(wù)標(biāo)準(zhǔn)化的定義出現(xiàn)[28]，法律判決預(yù)測(cè)任務(wù)（LJP）被定義為由法條推薦、罪名預(yù)測(cè)和刑期預(yù)測(cè)三個(gè)子任務(wù)來(lái)組成。一些研究者提出了一些解決法律判決預(yù)測(cè)的新方法。Zhong等人[14]提出了一個(gè)拓?fù)鋱D來(lái)利用不同LJP任務(wù)之間的關(guān)系來(lái)提升每個(gè)子任務(wù)的性能。Yang等人[29]在LJP任務(wù)中引入了多視角前向預(yù)測(cè)和后向驗(yàn)證來(lái)提升子任務(wù)的性能。Xu等人[15]通過(guò)將所有相關(guān)法條信息引入LJP任務(wù)中，構(gòu)建法條之間的關(guān)系圖來(lái)區(qū)分易混淆案件以提高LJP任務(wù)的性能。

2 問(wèn)題定義

本章將詳細(xì)介紹本文中所研究問(wèn)題的定義以及相關(guān)符號(hào)和術(shù)語(yǔ)。

首先需要明確本文涉及的法律判決預(yù)測(cè)任務(wù)的范圍。我國(guó)的司法案件主要分為刑事案件、民事案件和行政案件，本文選取刑事案件作為研究重點(diǎn)。刑事案件根據(jù)涉案人數(shù)和罪名數(shù)可分為單人單罪、單人多罪和多人多罪等，本文主要選取單人單罪的刑事案件作為研究重點(diǎn)。本文中法律判決預(yù)測(cè)任務(wù)涉及裁判文書(shū)中的案情描述，刑法中相關(guān)的法律文本，裁判文書(shū)中的判決口結(jié)果中的罪名和刑期。具體的說(shuō)明如下：

法律文本：我國(guó)的司法判決都是根據(jù)現(xiàn)行法律文本的規(guī)定以及案件的事實(shí)描述來(lái)確定犯罪嫌疑人所觸犯的法條、罪名和相應(yīng)的刑期從而確定判決結(jié)果的。本文將數(shù)據(jù)集相關(guān)的刑法法條表示為L(zhǎng)={a1,a2,…,aan}，其中an為法律條文數(shù)。

裁判文書(shū)：本文中使用的數(shù)據(jù)集主要是來(lái)自于裁判文書(shū)。裁判文書(shū)主要由案情描述、法庭判決緣由和判決結(jié)果構(gòu)成，案情描述是描述犯罪嫌疑人個(gè)人基本信息、犯罪行為、時(shí)間、地點(diǎn)和累犯次數(shù)等信息。由于案情描述包含的信息較多，文本的長(zhǎng)度通常較長(zhǎng)，因此本文將案情描述的文本表示為句子的序列Fact={s1,s2,…,sn}，其中si是一個(gè)由單詞組成的句子序列，n是案情所包含的句子總數(shù)。判決結(jié)果包含相關(guān)法條、罪名和刑期等，分別表示ya、yc、yp。

如圖3所示，本文中的法律判決預(yù)測(cè)任務(wù)是基于多任務(wù)的框架，法律文本信息和案情描述經(jīng)過(guò)預(yù)處理及詞向量編碼表示送入模型進(jìn)行交互。最終法律文本和案情描述經(jīng)過(guò)模型編碼得到每個(gè)子任務(wù)的特征表示，從而用于預(yù)測(cè)每個(gè)子任務(wù)的標(biāo)簽。

圖3 法律判決預(yù)測(cè)任務(wù)定義Fig.3 Definition of legal judgment prediction task

推薦相關(guān)法條任務(wù)是根據(jù)案情描述Fact以及刑法的法律條文L來(lái)自動(dòng)預(yù)測(cè)犯罪嫌疑人所觸犯的法律條文ya。本文主要研究單人單罪的案件，即只有一個(gè)犯罪嫌疑人且只觸犯一個(gè)法條的案件。因此推薦法條的子任務(wù)是一個(gè)單標(biāo)簽多分類任務(wù)。該任務(wù)可定義為T(mén)a:fa(Fact,L)～ya。

定罪任務(wù)是根據(jù)案情描述Fact以及刑法的法律條文L來(lái)自動(dòng)預(yù)測(cè)犯罪嫌疑人所觸犯的法律條文中的罪行。與推薦相關(guān)法條的任務(wù)類似，本文主要研究單人單罪的案件，即只有一個(gè)犯罪嫌疑人且只觸犯相應(yīng)法條的一個(gè)罪名的案件。因此定罪的子任務(wù)也是一個(gè)單標(biāo)簽多分類任務(wù)。該任務(wù)可定義為T(mén)c:fc(Fact,L)～yc。

刑期預(yù)測(cè)任務(wù)是Fact以及刑法的法律條文L來(lái)自動(dòng)預(yù)測(cè)犯罪嫌疑人的刑期。刑法中的刑罰包含管制、拘役、有期徒刑、無(wú)期徒刑、死刑。本文中主要涉及有期徒刑、無(wú)期徒刑、死刑。其中有期徒刑在刑法中區(qū)間通常是一年、二年、三年、五年、七年、十年、十五年。本文按照數(shù)據(jù)集中刑罰的統(tǒng)一處理，分為“死刑或無(wú)期”“十年以上”“七到十年”“五到七年”“三到五年”“二到三年”“一到二年”“九到十二個(gè)月”“六到九個(gè)月”“零到六個(gè)月”“無(wú)刑期”。因此刑期預(yù)測(cè)任務(wù)同樣被定義是一個(gè)多分類任務(wù)，該任務(wù)可定義為T(mén)p:fp(Fact,L)～yp。

3 模型

本章將具體介紹本文提出的融合法律文本多層層次化信息的LJP模型。

3.1 模型整體框架

如圖4所示，模型主要由案情描述編碼模塊、法律文本多層層次化（Article、Charge、Prison）編碼模塊、案情描述和法律文本層次化信息的交互模塊、三個(gè)子任務(wù)特征交互模塊，以及模型預(yù)測(cè)模塊組成。下文將具體介紹每個(gè)模塊的功能。

圖4 模型整體框架圖Fig.4 Overall framework of model

案情描述編碼模塊。從圖3可以看出由于案情描述的文本通常較長(zhǎng)且涉及犯罪嫌疑人的個(gè)人信息以及犯罪嫌疑人所犯事實(shí)的起因經(jīng)過(guò)等信息，其中決定犯罪嫌疑人所犯罪行的信息相對(duì)較為分散，因此本文采用句向量表示案情描述的文本。案情描述模塊將輸入案件的案情描述分為n個(gè)句子，每個(gè)句子經(jīng)過(guò)詞向量編碼后表示為si，因此整個(gè)案件的案情描述可以表示為n個(gè)句子的向量序列Fact={s1,s2,…,sn}。之后案情描述的句向量表示Fact送入案情描述和法律文本層次化信息的交互模塊。案情描述再經(jīng)過(guò)注意力機(jī)制（Attn）處理得到輸出向量F作為子任務(wù)的特征。模塊的具體實(shí)現(xiàn)細(xì)節(jié)將在3.2中介紹。

法律文本多層層次化編碼模塊。由于法律條文是具有多層結(jié)構(gòu)信息的，為了將法律條文的多層結(jié)構(gòu)信息用于法律判決預(yù)測(cè)的三個(gè)子任務(wù)，本文將法律文本劃分為三個(gè)層級(jí)：法條、罪名、刑期（情節(jié)輕重程度等量刑情節(jié)）。與案情描述編碼模塊類似，將預(yù)處理的法律文本信息采用句向量的編碼模式處理，然后依次得到法律文本中涉及刑期、罪名和法條向量表示Larticle、Lcharge、Lprison作為模塊的輸出。該模塊的輸出送入到案情描述和法律文本多層層次化信息的交互模塊。具體的實(shí)現(xiàn)細(xì)節(jié)在3.3節(jié)中介紹。

案情描述和法律文本多層層次化信息的交互模塊。該模塊將法律文本多層層次化編碼模塊得到的法條表示Larticle、Lcharge、Lprison和案情的表示Fact通過(guò)協(xié)同注意力機(jī)制得到三個(gè)融合法條信息的表示F1、F2、F3以及法律文本融合案情的表示F1a、F2c、F3p。這些特征作模型預(yù)測(cè)模塊的輸入，具體實(shí)現(xiàn)細(xì)節(jié)在3.4節(jié)中介紹。

三個(gè)子任務(wù)特征交互模塊。推薦法條子任務(wù)將案情描述模塊的輸出F，案情描述和法律文本的交互得到的融合法條信息的案情表示向量F1、法條對(duì)案情信息的注意力權(quán)重向量F1a作為該任務(wù)的輸入。最后將這些特征級(jí)連為Farticle并采用多層感知機(jī)（MLP）來(lái)預(yù)測(cè)相關(guān)法條。

定罪子任務(wù)將案情描述F，融合罪名信息的案情表示向量F2、罪名對(duì)案情的注意力權(quán)重向量F2c以及推薦法條子任務(wù)的特征Farticle作為總的特征，并將這些特征級(jí)連后通過(guò)MLP層來(lái)預(yù)測(cè)罪名。

刑期預(yù)測(cè)子任務(wù)將案情描述F，案情融合罪名信息的表示向量F3、案情對(duì)罪名的注意力權(quán)重向量F2c以及罪名預(yù)測(cè)子任務(wù)的特征Fcharge作為總的特征，并將這些特征級(jí)連后通過(guò)MLP層來(lái)預(yù)測(cè)刑期。具體實(shí)現(xiàn)細(xì)節(jié)在3.5節(jié)中介紹。

3.2 案情描述編碼模塊

在司法領(lǐng)域中案情描述文本通常較長(zhǎng)，本文將案情描述文本劃分為多個(gè)句子，首先通過(guò)CNN模型得到句子的表示從而得到整個(gè)案情描述的表示。具體來(lái)說(shuō)，如圖5所示本文首先將案情描述文本預(yù)處理為n個(gè)句子，每個(gè)句子最多包含sl個(gè)詞，每個(gè)句子中的詞使用詞向量wi進(jìn)行表示。然后本文將每個(gè)句子送入4個(gè)不同的CNN子模塊，這4個(gè)CNN采用不同的卷積窗口用于獲取不同粒度的特征。每個(gè)CNN子模塊經(jīng)過(guò)卷積層和池化層得到的特征向量拼接作為最終一個(gè)句子的向量表示si。案情描述的表示由每個(gè)句子的向量表示構(gòu)成，即Fact={s1,s2,…,sn}。

圖5 案情描述中句子的編碼表示Fig.5 Representation of sentence in case description

3.3 法律文本信息的層次化預(yù)處理

法律文本的多層結(jié)構(gòu)如圖6所示，刑法中同一個(gè)法條大類通常包含多個(gè)不同的法條，一個(gè)法條通常包含一個(gè)或者多個(gè)罪名的相應(yīng)描述，同一個(gè)罪名通常對(duì)不同程度的量刑情節(jié)規(guī)定了相應(yīng)的刑期。本文認(rèn)為這種層次化的信息對(duì)于法律判決預(yù)測(cè)任務(wù)是有用的。如圖6所示，刑法第三百九十七條的法條大類是瀆職罪，該法條對(duì)濫用職權(quán)罪和玩忽職守罪作出了明確的規(guī)定，其中濫用職權(quán)罪又按照情節(jié)的嚴(yán)重程度規(guī)定了不同刑期的刑罰。

由于刑法涉及的法條相對(duì)不多，本文對(duì)每個(gè)法條按照法條-罪名-刑期的三層結(jié)構(gòu)人工劃分為三個(gè)層次。本文將法條大類信息作為法條層的法律要素，法條規(guī)定的罪名描述文本作為罪名層的法律要素，刑期及量刑情節(jié)等文本信息作為刑期層的法律要素。

與案情描述的處理類似，本文采用3.2節(jié)的句向量編碼模塊依次對(duì)法條、罪名和刑期層構(gòu)建法律文本向量表示。具體來(lái)說(shuō)，本文首先將一個(gè)刑期層的所有法律要素（如情節(jié)嚴(yán)重、三年以下等文本信息）經(jīng)句向量編碼表示為hi，然后通過(guò)注意力機(jī)制融合刑期的中不同的法律要素表示構(gòu)成該刑期的總的向量表示。罪名層同刑期層的處理方式類似，此外本文將刑期層的表示作為罪名層的法律要素，法條層的處理同理，如圖6。統(tǒng)一的處理公式如下：

圖6 法律文本層次化的表示Fig.6 Hierarchical representation of legal text

其中Wx、bx、ux為參數(shù)矩陣，hi為輸入的法律要素通過(guò)CNN得到的句向量表示，maski表示相應(yīng)的法律要素是否參與計(jì)算，d為輸入序列的詞向量維度，sf為對(duì)所有法律要素hi的注意力總的向量表示，對(duì)應(yīng)一個(gè)刑期的表示或者一個(gè)罪名的向量表示。

3.4 法律文本層次化信息和案情描述的語(yǔ)義交互

本文通過(guò)協(xié)同注意力機(jī)制將法律文本的層次化信息與案情描述進(jìn)行細(xì)粒度的交互。本節(jié)首先介紹協(xié)同注意力機(jī)制的原理。如圖7所示，輸入向量A=(a1,a2,…,ai,…,am)，B=(b1,b2,…,bj,…,bn)，其 中A∈Rm×d，B∈Rn×d，ai和bj的維度是相同的。為了計(jì)算A中每個(gè)向量ai和B中每個(gè)向量對(duì)bj的匹配得分，將向量B和AT點(diǎn)乘得到一個(gè)二維矩陣M。在此基礎(chǔ)上分別通過(guò)按行和按列做Softmax得到bj對(duì)每個(gè)ai的注意權(quán)重矩陣ri和ai對(duì)每個(gè)bj的注意力權(quán)重矩陣cj。然后對(duì)ri注意力矩陣作row-wise平均得到最終的avg權(quán)重，再將avg權(quán)重與矩陣C相乘得到B矩陣的注意力向量。具體公式如下：

圖7 協(xié)同注意力機(jī)制原理圖Fig.7 Co-attention mechanism

本文通過(guò)構(gòu)建不同層次的法律文本信息與案情描述的交互，得到三個(gè)子任務(wù)相應(yīng)的融合法律文本信息的案情描述表示F1、F2、F3。此外本文也分別得到法條、罪名和刑期對(duì)案情的注意力權(quán)重向量F1a、F2c、F3p作為三個(gè)子任務(wù)特征的一部分。

3.5 法律判決預(yù)測(cè)子任務(wù)

法律判決預(yù)測(cè)的三個(gè)子任務(wù)推薦法條、定罪和刑期預(yù)測(cè)在司法中有依次的順序關(guān)系，即確定相關(guān)法條才能確定相應(yīng)的罪名，確定相應(yīng)的罪名才能按照法律文本規(guī)定確定相應(yīng)的刑期。因此本文將推薦法條作為定罪和刑期預(yù)測(cè)的上游任務(wù)，定罪任務(wù)作為刑期預(yù)測(cè)的上游任務(wù)。本文將上游任務(wù)的特征向量送入下游任務(wù)中從而實(shí)現(xiàn)子任務(wù)的順序關(guān)系，如圖4所示。

首先本文對(duì)案情描述進(jìn)行句向量表示從而得到案情描述的整體表示F，作為所有子任務(wù)案情描述表示的基礎(chǔ)特征。

推薦法條子任務(wù)。本文通過(guò)協(xié)同注意力機(jī)制得到的融合法條信息的案情描述表示F1以及法條對(duì)案情的注意力權(quán)重向量F1a。本文將Fa=concat[F;F1;F1a]作為該任務(wù)的總的特征并采用MLP來(lái)預(yù)測(cè)相關(guān)法條，公式如下：

定罪子任務(wù)。與推薦法條任務(wù)類似，本文通過(guò)協(xié)同注意力機(jī)制得到的融合罪名信息的案情描述表示F2、罪名對(duì)案情描述的注意力權(quán)重向量F2c。本文將Fc=concat[F,F1,F2,F2c,Fam]作為該任務(wù)的總的特征，并采用MLP來(lái)預(yù)測(cè)罪名y?charge。Fam是推薦法條任務(wù)中Fa過(guò)全連接層后的特征。公式如下：

刑期預(yù)測(cè)子任務(wù)。與定罪子任務(wù)類似，本文將上游子任務(wù)得到的融合刑期信息的案情描述表示F3作為該刑期預(yù)測(cè)任務(wù)的刑期相關(guān)的特征，并將Fp=concat[F,F1,F2,F3,Fcm]作為該任務(wù)的總的特征，并采用MLP來(lái)預(yù)測(cè)刑期。Fcm是定罪任務(wù)中Fc通過(guò)全連階層后的特征。公式如下：

3.6 損失函數(shù)

本文中法律判決預(yù)測(cè)的三個(gè)子任務(wù)推薦法條、定罪和刑期預(yù)測(cè)都建模為多分類任務(wù)，因此本文采用交叉熵?fù)p失函數(shù)作為每個(gè)子任務(wù)的損失函數(shù)。具體公式如下：

最終法律判決預(yù)測(cè)任務(wù)總的損失函數(shù)如下：

其中z1、z2、z3分別是三個(gè)子任務(wù)損失函數(shù)的權(quán)重。

4 實(shí)驗(yàn)和分析

將詳細(xì)介紹本文的實(shí)驗(yàn)設(shè)置、基線模型，然后在真實(shí)的數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較分析，從而驗(yàn)證本文提出的融合法律文本多層層次化信息的法律判決預(yù)測(cè)模型的有效性。

4.1 數(shù)據(jù)集和預(yù)處理

本文中實(shí)驗(yàn)使用的數(shù)據(jù)集是中國(guó)人工智能與法律挑戰(zhàn)（CAIL2018[28]）的公開(kāi)數(shù)據(jù)集。該數(shù)據(jù)集分為CAIL-smal（l練習(xí)階段數(shù)據(jù)集）和CAIL-big（第一階段數(shù)據(jù)集），如表1所示。數(shù)據(jù)集中每個(gè)案例包含事實(shí)描述、適用的相關(guān)法條、罪名和刑期等信息。為了與基線模型對(duì)比，本文過(guò)濾了具有多個(gè)相關(guān)法條和多個(gè)罪名的案例，即多人多罪的案件，只保留單一法條和單一罪行的案例。此外，參照Z(yǔ)hong等人[14]，本文只保留了不少于100個(gè)案例樣本的相關(guān)法條和罪名的類別，并過(guò)濾掉相關(guān)法條和罪名不一致的案例，并將刑期限劃分為不重疊的時(shí)間間隔。

表1 數(shù)據(jù)集的統(tǒng)計(jì)信息。Table 1 Statistics of datasets

詞的向量表示在自然語(yǔ)言處理的任務(wù)起著十分重要的作用，常用的詞向量表示有詞袋模型和詞的分布式向量表示模型。詞袋模型是對(duì)每個(gè)詞進(jìn)行獨(dú)熱編碼，向量的維度是整個(gè)詞典的詞個(gè)數(shù)。詞袋模型具有向量維度高和缺乏語(yǔ)義關(guān)系描述的問(wèn)題，因而本文采用詞的分布式向量表示。分布式向量表示的如法律領(lǐng)域中，與盜竊有關(guān)的詞有“偷盜”“盜取”“偷竊”等，在分布式表示中這些詞向量之間的距離更近，有效地表示詞語(yǔ)義之間的相似性。本文基于深度學(xué)習(xí)的模型采用分布式詞向量表示，選取經(jīng)典的Word2vec詞向量模型進(jìn)行訓(xùn)練以得到詞向量表示。Word2vec一般有兩種算法用于訓(xùn)練詞向量，分別為連續(xù)詞袋模型（CBOW）算法和跳字模型（Skip-gram）算法，本文采用Skip-gram算法用于訓(xùn)練詞向量，其中詞向量的維度設(shè)置為200。數(shù)據(jù)預(yù)處理是基于文本的深度學(xué)習(xí)方法中的一個(gè)重要模塊。本文對(duì)數(shù)據(jù)集中案例的案情描述及法條信息的預(yù)處理主要包括分詞和去停詞。本文THULAC[30]工具對(duì)法律文本和案情描述等文本進(jìn)行分詞并去除句子中標(biāo)點(diǎn)符號(hào)、“的”等停詞，使深度學(xué)習(xí)模型關(guān)注語(yǔ)義信息較高的重要詞匯，過(guò)濾次數(shù)較少的詞條，以及案件對(duì)案情描述無(wú)有用信息的“足以認(rèn)定”之后的文本。

4.2 評(píng)價(jià)指標(biāo)

本文中法律判決預(yù)測(cè)的三個(gè)子任務(wù)（推薦法條、定罪和刑期預(yù)測(cè)）都建模為多分類任務(wù)，因此本文采用多分類任務(wù)常用的評(píng)價(jià)指標(biāo)準(zhǔn)確率（accuracy）、宏精確率（macro-precision）、宏召回率（macro-recall）和宏F1值（macro-F1）對(duì)三個(gè)子任務(wù)結(jié)果進(jìn)行評(píng)價(jià)。評(píng)價(jià)指標(biāo)的計(jì)算公式如下：

其中TPi、FPi、FNi、Pi、Ri、F1i分別為第i個(gè)類別所對(duì)應(yīng)的真陽(yáng)性樣本數(shù)、假陽(yáng)性樣本數(shù)、假陰性樣本數(shù)、精確率、召回率和F1值。

4.3 基線模型和實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文提出的融合法律文本多層層次化信息的法律判決預(yù)測(cè)模型的有效性，本文對(duì)比了目前在法律判決預(yù)測(cè)任務(wù)上效果最好的模型?；€模型設(shè)置如下所示。

CNN[31]：基于CNN的模型，具有多個(gè)過(guò)濾窗口寬度用于文本分類，在法律判決預(yù)測(cè)任務(wù)中采用多任務(wù)的訓(xùn)練方式來(lái)訓(xùn)練模型。

HARNN[32]：該模型是一種基于RNN的神經(jīng)網(wǎng)絡(luò)，具有分層注意機(jī)制，用于文檔分類。與CNN模型類似，HARNN也中采用多任務(wù)的訓(xùn)練方式來(lái)訓(xùn)練模型。

FLA[12]：該模型使用注意機(jī)制捕獲案情的事實(shí)描述與數(shù)據(jù)集所涉及的法條之間權(quán)重信息用于定罪預(yù)測(cè)。

Few-Shot[13]：該模型提出一種區(qū)分混淆罪名的深度學(xué)習(xí)方法，首先根據(jù)法律知識(shí)人工構(gòu)建10個(gè)用于區(qū)分罪名的屬性特征，并用注意力機(jī)制通過(guò)案情描述預(yù)測(cè)這10個(gè)屬性特征從而增強(qiáng)模型的表示能力。

TOPJUDGE[14]：該方法利用法律判決預(yù)測(cè)LJP的拓?fù)浣Y(jié)構(gòu)并基于多任務(wù)學(xué)習(xí)框架，將子任務(wù)之間的依賴關(guān)系轉(zhuǎn)化為有向無(wú)環(huán)圖來(lái)提升三個(gè)子任務(wù)的性能。

MPBFN-WCA[29]：該方法也是基于法律判決預(yù)測(cè)的多任務(wù)學(xué)習(xí)框架，采用多角度前向預(yù)測(cè)和后向驗(yàn)證來(lái)提升三個(gè)子任務(wù)的性能。

LADAN[15]：該方法通過(guò)構(gòu)建法條之間的圖蒸餾模型來(lái)獲取區(qū)分相近法條的特征從而提升法律判決預(yù)測(cè)的性能，這是目前最好的模型。

HLJP：本文中提出的融合法條多層層次化信息的法律判決預(yù)測(cè)模型，本文模型的具體參數(shù)設(shè)置如下：本文中預(yù)訓(xùn)練的詞向量維度為200，案情描述的句子最長(zhǎng)含有100個(gè)詞，每個(gè)案情描述最多有16個(gè)句子。模型訓(xùn)練的批處理樣本數(shù)為128，模型中CNN的卷積的窗口長(zhǎng)度為2到5，CNN模型的特征長(zhǎng)度為256。本文訓(xùn)練模型使用AdamW優(yōu)化器，學(xué)習(xí)率設(shè)置為1E-3，權(quán)重衰減設(shè)置為1E-3。

4.4 實(shí)驗(yàn)結(jié)果和實(shí)驗(yàn)分析

為了比較本文提出的融合法律多層層次化信息的模型HJLP和基線模型，本文在CAIL-small和CAIL-big進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2和表3所示。在實(shí)驗(yàn)設(shè)計(jì)時(shí)，由于FLA、CNN、HARNN和Few-Shot等模型原有的論文不是在法律判決預(yù)測(cè)任務(wù)實(shí)現(xiàn)的，因此本文在原有模型基礎(chǔ)上增加了相應(yīng)的子任務(wù)分別表示為：FLA+MTL（MTL表示三個(gè)法律判決子任務(wù)）、CNN+MTL、HARNN+MTL和Few-Shot+MTL。

表2 模型在CAIL-small數(shù)據(jù)集上的法律判決預(yù)測(cè)任務(wù)結(jié)果Table 2 Results of model on CAIL-small dataset 單位：%

表3 模型在CAIL-big數(shù)據(jù)集上的法律判決預(yù)測(cè)任務(wù)結(jié)果Table 3 Results of model on CAIL-big dataset 單位：%

從實(shí)驗(yàn)結(jié)果可以看出：

（1）本文提出的模型HLJP在CAIL-small和CAILbig數(shù)據(jù)集上整體都是優(yōu)于當(dāng)前最好的LJP模型LADAN。其中在CAIL-small數(shù)據(jù)集上的推薦相關(guān)法條任務(wù)上本文的模型HLJP比最好的模型LADAN在評(píng)價(jià)指標(biāo)Acc上提升了5.81%，在評(píng)價(jià)指標(biāo)F1上提升了7.58%，在罪名預(yù)測(cè)任務(wù)上的F1上提升了1.03%，在刑期預(yù)測(cè)任務(wù)上的評(píng)價(jià)指標(biāo)上也有提升。在CAIL-big數(shù)據(jù)集上的推薦相關(guān)法條任務(wù)上本文的模型HLJP比最好的模型LADAN在評(píng)價(jià)指標(biāo)F1上提升了4.24%，定罪任務(wù)在F1上提升了1.46%。表格中加粗的實(shí)驗(yàn)結(jié)果表示與最佳基線模型LADAN相比有顯著性改善(p＜0.05)?？傮w來(lái)說(shuō)實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的模型HLJP的有效性和魯棒性。

（2）從具體子任務(wù)的角度來(lái)說(shuō)，本文提出的模型HLJP在CAIL-small和CAIL-big數(shù)據(jù)集上F1的提升都要高于定罪任務(wù)和刑期預(yù)測(cè)任務(wù)。例如在CAIL-small上評(píng)價(jià)指標(biāo)F1提升了7.58%，在罪名預(yù)測(cè)任務(wù)上評(píng)價(jià)指標(biāo)F1提升了1.03%，刑期預(yù)測(cè)提升了不到0.5%。在CAIL-big數(shù)據(jù)集上罪名預(yù)測(cè)任務(wù)有提升而刑期預(yù)測(cè)甚至出現(xiàn)了性能的下降。相比較而言法律文本多層層次化信息的對(duì)推薦相關(guān)法條任務(wù)效果更明顯，而對(duì)定罪和刑期預(yù)測(cè)任務(wù)而言效果不是很好?？赡艿脑蚴潜疚脑诜l多層層次化信息模塊設(shè)計(jì)時(shí)定罪和刑期預(yù)測(cè)層的特征相對(duì)更少，另外一個(gè)可能原因是刑期預(yù)測(cè)任務(wù)中刑期的法律要素對(duì)每個(gè)罪行的描述比較相似但是不同罪行的刑期卻不同。

（3）從數(shù)據(jù)集的角度來(lái)說(shuō)，本文提出的模型HLJP在CAIL-small數(shù)據(jù)集上評(píng)價(jià)指標(biāo)的提升要比在CAIL-big數(shù)據(jù)集上提升要高。例如，相關(guān)法條推薦任務(wù)HLJP在CAIL-small數(shù)據(jù)集上評(píng)價(jià)指標(biāo)F1提升了7.58%，而在CAIL-big數(shù)據(jù)集上評(píng)價(jià)指標(biāo)F1僅提升了4.24%，在刑期預(yù)測(cè)任務(wù)和定罪任務(wù)也有類似的特點(diǎn)。主要原因可能是CAIL-small數(shù)據(jù)集相對(duì)于CAIL-big數(shù)據(jù)集而言類別的數(shù)目更少并且法條和罪名的通常是一對(duì)一的關(guān)系，本文增加了法條層信息以后更容易區(qū)分不同的類別。CAIL-small中類別分布相對(duì)CAIL-big更均衡，例如推薦法條第二百三十四條的案件在CAIL-small有860與100多個(gè)案件的少樣本類別比例在8∶1，而在CAIL-big中該案例有18萬(wàn)個(gè)左右，少樣本類別的案件數(shù)目依然在100～200個(gè)，這可能也其中一個(gè)原因。

4.5 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文提出的模型HLJP考慮法律文本多層層次化信息的效果，與Xu等人[15]實(shí)驗(yàn)一致，本文在CAIL-small數(shù)據(jù)集上作了消融實(shí)驗(yàn)。如表4所示，“-無(wú)層次化信息”表示本文在HJLP模型的基礎(chǔ)上去除層次化的法律文本信息表示只保留法條的表示；HLJP表示本文提出的模型。從實(shí)驗(yàn)結(jié)果可以看出本文提出的模型在去除法律文本層次化的信息之后，在法條推薦、罪名預(yù)測(cè)和刑期預(yù)測(cè)三個(gè)子任務(wù)上的Acc和F1評(píng)價(jià)指標(biāo)上都有顯著下降，說(shuō)明本文提出的考慮法律文本層次化信息是十分有效的。

表4 消融實(shí)驗(yàn)Table 4 Ablation experiment 單位：%

5 結(jié)束語(yǔ)

本文選取智能司法領(lǐng)域中十分重要的法律判決預(yù)測(cè)任務(wù)作為研究重點(diǎn)。現(xiàn)有基于深度學(xué)習(xí)的法律判決預(yù)測(cè)方法通常未考慮法律文本中的多層層次化信息，針對(duì)該問(wèn)題本文引入法律文本的多層層次化信息用于法律判決預(yù)測(cè)任務(wù)。具體來(lái)說(shuō)，本文首先對(duì)法律文本的多層層次化信息預(yù)處理，利用協(xié)同注意力機(jī)制得到每個(gè)子任務(wù)的融合不同層次的法條信息的案情描述的表示從而提升三個(gè)子任務(wù)的性能。本文在真實(shí)的公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示本文提出的融合法律文本多層結(jié)構(gòu)信息的方法在法律判決預(yù)測(cè)任務(wù)上優(yōu)于當(dāng)前最好的模型。

本文的研究也存在一定不足之處，如本文只選取了單人單罪作為研究重點(diǎn)。我國(guó)法律中有多種類型的案件，本文只針對(duì)刑事案件做研究，未對(duì)民事和行政各類等案件做對(duì)比實(shí)驗(yàn)。此外本文也未將研究重點(diǎn)放在少樣本類別的。未來(lái)，本文考慮從以下幾個(gè)方面繼續(xù)研究人工智能在法律判決預(yù)測(cè)領(lǐng)域的應(yīng)用：（1）司法領(lǐng)域存在類別不均衡的問(wèn)題，現(xiàn)有方法在類別不均衡的數(shù)據(jù)集上性能依然有限；（2）現(xiàn)有的法律判決預(yù)測(cè)任務(wù)多是基于單人單罪進(jìn)行研究，很少有研究多人多罪的；（3）法律判決預(yù)測(cè)具有很強(qiáng)的因果關(guān)系，在司法領(lǐng)域構(gòu)建可解釋性的模型是十分必要的。