雙向注意力文本關(guān)鍵詞匹配法條推薦

丁娜 劉鵬 邵惠鵬 王學(xué)奎

北京大學(xué)學(xué)報(bào)(自然科學(xué)版) 第60卷 第1期 2024年1月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 60, No. 1 (Jan. 2024)

10.13209/j.0479-8023.2023.077

中國(guó)礦業(yè)大學(xué)研究生創(chuàng)新計(jì)劃(2023WLJCRCZL111)資助

2023–05–18;

2023–07–31

雙向注意力文本關(guān)鍵詞匹配法條推薦

丁娜1劉鵬2,?邵惠鵬3王學(xué)奎4

1.中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院, 徐州 221116; 2.礦山互聯(lián)網(wǎng)應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室, 徐州 221008; 3.江蘇省徐州市銅山區(qū)公安局法制大隊(duì), 徐州 221100; 4.阿里巴巴集團(tuán)有限公司, 杭州 311121; ?通信作者, E-mail: liupeng@cumt.edu.cn

提出一種雙向注意力文本關(guān)鍵詞匹配的法條推薦模型(BiAKLaw)。該模型以預(yù)訓(xùn)練語(yǔ)言模型 BERT 作為基礎(chǔ)匹配模型, 利用雙向注意力機(jī)制提取字符級(jí)對(duì)齊特征和關(guān)鍵詞差異特征, 融合對(duì)齊特征、差異特征和關(guān)鍵詞語(yǔ)義表征來(lái)提升匹配效果。在裁判文書交通肇事和故意傷害數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明, 與 BERT 模型相比, BiAKLaw 在評(píng)價(jià)指標(biāo) F1 上分別提升 3.74%和 3.43%。

法條推薦; 案件事實(shí); 文本匹配; 注意力機(jī)制

法律領(lǐng)域的人工智能(legal artificial intelligen-ce, LegalAI)旨在利用人工智能技術(shù)來(lái)處理該領(lǐng)域的各類任務(wù), 已成為研究熱點(diǎn)。法律資料多以語(yǔ)言文本形式呈現(xiàn), 因此 LegalAI 廣泛使用自然語(yǔ)言處理(natural language processing, NLP)技術(shù)來(lái)提高自動(dòng)化程度, 可以在一定程度上減輕法律從業(yè)者的勞動(dòng)強(qiáng)度, 提升法律事務(wù)處理效率, 同時(shí)降低司法應(yīng)用的使用門檻, 給非專業(yè)人員提供一定的法律援助。LegalAI 的典型應(yīng)用包括法律判決預(yù)測(cè)(legal judge-ment prediction, LJP)、相似案例匹配和法律問(wèn)答等。法律判決預(yù)測(cè)任務(wù)主要關(guān)注如何基于事實(shí)描述和法條內(nèi)容, 來(lái)預(yù)測(cè)判決結(jié)果。法條推薦是其中重要的子任務(wù)。

我國(guó)是實(shí)行民法體系的國(guó)家, 法官基于既定的成文法條給出判決結(jié)果, 因此, 根據(jù)案件事實(shí), 準(zhǔn)確、全面地找到相關(guān)法條, 是法官做出公正裁決的重要前提。在早期 LegalAI 研究中, 法律判決預(yù)測(cè)多利用數(shù)學(xué)統(tǒng)計(jì)方法給出參考判決結(jié)果[1–4]。近年來(lái), 隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展, 研究者多利用文本分類來(lái)處理法條推薦任務(wù)[5–8], 還有一些研究者融合法律專業(yè)知識(shí)來(lái)輔助判決[9–11]。已有的法條推薦研究大多將法條視為離散標(biāo)簽[12], 僅提取案件事實(shí)的文本特征作為輸入, 預(yù)測(cè)相應(yīng)的法條標(biāo)簽, 忽略了法條的語(yǔ)義信息。然而, 在實(shí)際審案過(guò)程中, 法官通常以法條內(nèi)容為準(zhǔn)則對(duì)案件事實(shí)進(jìn)行分析, 再確定嫌疑人行為匹配的具體法條。因此, 法條內(nèi)涵的語(yǔ)義信息是定罪和量刑的重要依據(jù), 需要加以充分利用。

在法律判決過(guò)程中, 找到案件相關(guān)的所有法條至關(guān)重要, 遺漏或錯(cuò)誤推薦任一法條都會(huì)影響判決結(jié)果, 妨礙司法公正。一個(gè)案例通常包括多個(gè)犯罪事實(shí), 如果將案例看成一個(gè)整體來(lái)預(yù)測(cè)涉及的所有法條, 得到的結(jié)果還需要花費(fèi)大量人工將事實(shí)對(duì)應(yīng)相應(yīng)的法條, 可解釋性較差。同時(shí), 案例屬于長(zhǎng)文本, 包含各種粒度的特征, 將案例按事實(shí)劃分, 有助于更好地提取文本特征信息。

本文將法條推薦任務(wù)視為案件事實(shí)與法條內(nèi)容的文本匹配任務(wù), 提出一種雙向注意力文本關(guān)鍵詞匹配的法條推薦模型(BiAKLaw)。根據(jù) Ge 等[13]的做法, 本文將案例劃分成若干獨(dú)立事實(shí), 將案例中的每個(gè)事實(shí)與法條庫(kù)的每個(gè)法條進(jìn)行匹配, 將一對(duì)多匹配轉(zhuǎn)變成多對(duì)多匹配問(wèn)題。一對(duì)多和多對(duì)多的法條匹配如圖 1 所示。另外, 由于案件中犯罪事實(shí)和法條之間可能含有重合字符, 只依靠匹配標(biāo)簽, 模型很難學(xué)到犯罪事實(shí)與法條之間的關(guān)鍵差異特征。關(guān)鍵詞序列去除了無(wú)關(guān)字符, 能最大程度地表達(dá)一段話的實(shí)際意義。因此, 本文通過(guò)提取案件和法條兩者的關(guān)鍵詞序列, 融合關(guān)鍵詞序列的匹配特征, 提升模型的匹配結(jié)果。

1 相關(guān)工作

1.1 法律判決預(yù)測(cè)

法律判決預(yù)測(cè)包括法條推薦、罪名預(yù)測(cè)和刑期預(yù)測(cè) 3 個(gè)子任務(wù), 最早的研究開(kāi)始于 20 世紀(jì) 50 年代, 主要圍繞如何使用數(shù)學(xué)和統(tǒng)計(jì)方法分析歷史案件, 找出共性規(guī)律, 并構(gòu)建模型來(lái)模擬判決流程。例如, Kort[1]通過(guò)定量分析大量已經(jīng)裁決的案件來(lái)預(yù)測(cè)美國(guó)最高法院的判決。受限于人力和計(jì)算機(jī)技術(shù), 這類基于數(shù)學(xué)統(tǒng)計(jì)的模型準(zhǔn)確率和泛化能力都不高。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展, 研究者多以分類框架為基礎(chǔ)來(lái)構(gòu)建模型, 將法條推薦和罪名預(yù)測(cè)均視為分類問(wèn)題, 將歷史法律文書作為訓(xùn)練樣本, 法條和罪名作為類別標(biāo)簽。例如, Luo 等[9]基于 SVM, 為每個(gè)法條標(biāo)簽訓(xùn)練二元分類器, 預(yù)測(cè)法條與案件事實(shí)的關(guān)系, 并選擇最相關(guān)的條法條進(jìn)行后續(xù)的罪名分類, Liu 等[14]基于 PAT 樹(shù)和 HowNet 構(gòu)建領(lǐng)域相關(guān)詞表, 并用 K 近鄰算法(K-nearest-neighbour, KNN)處理淺層文本特征來(lái)解決多標(biāo)簽罪名分類問(wèn)題。此類機(jī)器學(xué)習(xí)模型在一定程度上提升了預(yù)測(cè)性能, 但是高度依賴手工提取模板, 且提取的只是淺層文本特征, 對(duì)高層特征的提取能力較弱。

近年來(lái), 研究者大多使用深度學(xué)習(xí)技術(shù)處理法律判決預(yù)測(cè)任務(wù), 大致可以分為兩種類型: 一類是通過(guò)模型創(chuàng)新提升性能[15–16], 另一類是融合外部法律知識(shí)提升性能[9–11]。另外, 法律判決預(yù)測(cè)技術(shù)的發(fā)展離不開(kāi)高質(zhì)量公開(kāi)數(shù)據(jù)集的支撐。Xiao 等[17]構(gòu)建了首個(gè)中文法律判決預(yù)測(cè)數(shù)據(jù)集, 該數(shù)據(jù)集包含中國(guó)最高人民法院公開(kāi)的 260 萬(wàn)刑事案件。Chal-kidis等[18]根據(jù)歐洲人權(quán)法院案件, 構(gòu)建一個(gè)英文法律判決預(yù)測(cè)數(shù)據(jù)集, 該數(shù)據(jù)集的不足之處是規(guī)模較小。

圖1 一對(duì)多和多對(duì)多法條匹配示意圖

1.2 法條文本匹配

法條推薦可作為案件事實(shí)和法條內(nèi)容的文本匹配任務(wù), 提取兩者文本特征并計(jì)算匹配度。判斷兩個(gè)文本是否匹配是許多NLP任務(wù)的基礎(chǔ)工作, 例如機(jī)器翻譯、自動(dòng)問(wèn)答、釋義識(shí)別和文本檢索等。傳統(tǒng)的文本匹配方法依賴于人工提取特征, 這些模型往往針對(duì)特定的領(lǐng)域, 泛化能力不強(qiáng)。例如, 使用 BM25 算法[19]計(jì)算相似度時(shí), 解決的只是句子詞匯的相似度問(wèn)題, 沒(méi)有考慮句子深層語(yǔ)義的匹配, 對(duì)復(fù)雜句子的效果不佳。

近年來(lái), 越來(lái)越多的研究者使用深度學(xué)習(xí)方法來(lái)完成文本匹配任務(wù)。按照模型架構(gòu)不同來(lái)分類, 大致可以分為表示型和交互型兩種。典型的表示型模型有 DSSM[20]和 ARC-I[21]等, 均采用孿生網(wǎng)絡(luò)結(jié)構(gòu), 參數(shù)共享, 具有對(duì)稱性。首先將兩段文本轉(zhuǎn)換為高維向量, 在模型末端對(duì)兩段文本進(jìn)行特征交互, 最后得到匹配結(jié)果。此類模型的優(yōu)點(diǎn)是參數(shù)量較少, 易于訓(xùn)練, 缺點(diǎn)是兩段文本在各自編碼完成之前沒(méi)有交互, 可能會(huì)丟失重要語(yǔ)義信息, 影響匹配結(jié)果。交互型模型是表示型模型的改進(jìn), 在兩段文本編碼過(guò)程中進(jìn)行交互匹配, 然后提取文本特征, 最后進(jìn)行相似度計(jì)算。例如, Hu 等[21]在 ARC-I 的基礎(chǔ)上提出 ARC-II 結(jié)構(gòu); Chen 等[22]結(jié)合注意力機(jī)制提出 ESIM 模型完成自然語(yǔ)言推理任務(wù)。交互式框架能夠?qū)W習(xí)到更多的交互特征, 匹配效果得到提升, 缺點(diǎn)是推理速度顯著變慢, 難以應(yīng)用于大規(guī)模 語(yǔ)料上。

借助外部知識(shí)增強(qiáng)文本語(yǔ)義表征能力, 也是文本匹配領(lǐng)域常用的方法。例如, Lyu 等[23]將 HowNet作為外部知識(shí)庫(kù), 解決了單詞歧義問(wèn)題。Wu 等[24]將分類知識(shí)作為先驗(yàn)知識(shí)來(lái)過(guò)濾文本中的噪聲, 并從多個(gè)角度進(jìn)行匹配。但是, 外部知識(shí)多是結(jié)構(gòu)化知識(shí)庫(kù), 一般需要花費(fèi)大量人工來(lái)構(gòu)建。隨著計(jì)算能力的提升, 出現(xiàn)基于 Transformer[25]架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型(pre-trained language models, PLMs), 包括BERT[26], RoBERTa[27]和 BERT-wwm[28]等。與傳統(tǒng)方法相比, 預(yù)訓(xùn)練語(yǔ)言模型在多個(gè)下游任務(wù)(包括文本匹配)中表現(xiàn)優(yōu)異, 迅速成為文本匹配領(lǐng)域的重要研究方法。

鑒于預(yù)訓(xùn)練語(yǔ)言模型強(qiáng)大的性能, 本文選擇BERT 系列模型作為基礎(chǔ)匹配模型。

2 雙向注意力文本關(guān)鍵詞匹配的法條推薦模型

2.1 問(wèn)題描述

為了充分利用法條語(yǔ)義信息, 本文將法條推薦任務(wù)視為案件事實(shí)與法條之間的文本匹配過(guò)程。具體來(lái)說(shuō), 將某個(gè)案例視為包含若干獨(dú)立犯罪事實(shí)的序列={1,2, …,F}, 有限法條集合為={1,2, …,L}, 其中,是某個(gè)案例包含的案件事實(shí)的數(shù)量,是某類案件涉及的全部法條的數(shù)量。本文的目標(biāo)就是構(gòu)建一個(gè)映射函數(shù), 按照一定的規(guī)則找到與每個(gè)案例的犯罪事實(shí)相匹配的法條, 可表示為

=(F,L), (1)

其中, 模型輸入為案例的某個(gè)事實(shí)F和法條集合的某個(gè)法條L,為匹配神經(jīng)網(wǎng)絡(luò),∈{0, 1}, 輸出結(jié)果為不匹配或者匹配。

2.2 模型架構(gòu)

本文提出的雙向注意力文本關(guān)鍵詞匹配的法條推薦模型(BiAKLaw)包括關(guān)鍵詞抽取層、模型輸入層、語(yǔ)義知識(shí)交互層以及輸出層, 模型架構(gòu)如圖 2 所示。

1)關(guān)鍵詞抽取層主要基于 KeyBERT[29]算法, 抽取案件事實(shí)和法條兩者的關(guān)鍵詞序列。

2)模型輸入層將案件事實(shí)和法條內(nèi)容拼接輸入預(yù)訓(xùn)練模型 BERT 詞嵌入編碼層, 學(xué)習(xí)文本對(duì)的相關(guān)性, 得到具有語(yǔ)義信息的字符向量表示。

3)語(yǔ)義知識(shí)交互層一方面使用雙向注意力機(jī)制, 得到案件事實(shí)和法條文本之間的對(duì)齊特征, 使用最大池化策略來(lái)保留重要特征; 另一方面基于案件事實(shí)關(guān)鍵詞序列和法條關(guān)鍵詞序列, 對(duì)案件事實(shí)和法條序列的非關(guān)鍵詞位置進(jìn)行遮蔽。BERT 模型在進(jìn)行自注意力機(jī)制計(jì)算時(shí), 得到的案件事實(shí)序列向量只與法條中的關(guān)鍵詞有關(guān), 反之, 法條序列向量只與案件事實(shí)關(guān)鍵詞有關(guān)。對(duì)兩者序列向量使用平均池化策略, 再相減得到關(guān)鍵差異特征, 然后將多種特征進(jìn)行拼接融合送入全連接層。

4)輸出層輸出最終的法條匹配結(jié)果。

2.3 關(guān)鍵詞抽取層

在人工判案過(guò)程中, 法官會(huì)梳理案例中每個(gè)犯罪事實(shí)的關(guān)鍵信息, 翻閱法條手冊(cè), 判斷符合哪個(gè)法條的前提條件, 最后結(jié)合觸犯的所有法條做出最終判決?？紤]到案件事實(shí)和法律條文均屬于較長(zhǎng)的專業(yè)性文本, 如果只使用兩者的原序列來(lái)計(jì)算匹配度, 會(huì)引入很多無(wú)關(guān)的噪聲信息, 譬如會(huì)使模型誤將字面重合度高但關(guān)鍵信息并不匹配的文本預(yù)測(cè)為相似, 造成錯(cuò)誤匹配, 因此我們決定引入能表達(dá)關(guān)鍵信息的關(guān)鍵詞序列來(lái)輔助文本匹配。

圖2 雙向注意力文本關(guān)鍵詞匹配的法條推薦模型BiAKLaw

KeyBERT 是近年出現(xiàn)的一種無(wú)監(jiān)督關(guān)鍵詞抽取模型, 通過(guò) BERT 獲取文檔和候選詞的向量表示, 利用余弦相似度來(lái)衡量候選詞與文檔的相似程度, 選取相似度最高的若干詞作為該文檔的關(guān)鍵詞。由于 KeyBERT 易于使用, 效果能滿足本文方案需求, 因此將其作為關(guān)鍵詞抽取模型。關(guān)鍵詞抽取質(zhì)量還受文本嵌入表示影響, 本文使用清華大學(xué)發(fā)布的基于大規(guī)模刑事文書預(yù)訓(xùn)練模型[30]來(lái)獲取詞嵌入表示。案件事實(shí)序列為{1,2, …,f},代表事實(shí)字符數(shù)量。法條序列為{1,2, …,l},代表法條字符數(shù)量。使用 KeyBERT 算法分別抽取案件事實(shí)和法條序列中的關(guān)鍵詞, 得到{Kf1, Kf2…}和{Kl1, Kl2…}。

2.4 模型輸入層

模型的輸入為案件事實(shí)以及法條文本, 通過(guò)BERT 獲得語(yǔ)義編碼向量。BERT 輸入可以是一段文本或兩段文本的拼接, 當(dāng)輸入為兩段文本時(shí), 中間用字符[SEP]連接, [CLS]和[SEP]符號(hào)會(huì)插在拼接文本的開(kāi)頭和結(jié)尾, 然后輸入到詞嵌入編碼層。詞嵌入編碼層由 3 個(gè)部分組成: 字符嵌入層(token em-beddings)是根據(jù)文本序列分詞后的 token, 查找詞表得到的向量表示; 段編碼層(segment embeddings)是為了區(qū)分輸入是第一段文本還是第二段文本; 位置編碼層(positional embeddings)引入每個(gè) token 在對(duì)應(yīng) segment 中的位置編碼信息。最后, 將三部分相加, 輸入 BERT 詞嵌入層。

2.5 語(yǔ)義交互層

將案件事實(shí)和法條文本拼接輸入 BERT 詞嵌入層后, 經(jīng)過(guò)多層 Transformer 得到最終的高維語(yǔ)義向量。由于 BERT 是雙向模型, 序列中的每個(gè)字符相互可見(jiàn), 經(jīng)過(guò)自注意力機(jī)制后, 得到的特征向量是前后文相關(guān)的, 每個(gè)序列中更重要的詞語(yǔ)會(huì)被賦予更大的權(quán)重。

將圖 2 中模型框架 BERT 最后一層的輸出作為案件事實(shí)和法條文本的向量表示:

其中,(CLS)∈R為語(yǔ)義匹配的一個(gè)特征,F∈R為事實(shí)描述的語(yǔ)義表征,L∈R為法條的語(yǔ)義表征,代表 BERT 隱藏層維度,和分別為事實(shí)和法條的字符數(shù)。本文使用雙向注意力機(jī)制, 得到匹配文本表征間的對(duì)齊特征。

注意力權(quán)重矩陣的計(jì)算如下:

其中,是法條方向的注意力權(quán)重,是案件事實(shí)方向的注意力權(quán)重?？紤]到法條專業(yè)性較強(qiáng), 描述用語(yǔ)相對(duì)固定, 而案件描述具有多樣性, 于是我們使用案件描述對(duì)齊法條, 對(duì)在法條方向求和, 壓縮注意力權(quán)重矩陣, 得到案件事實(shí)方向上總的權(quán)重向量∈R:

與法條方向注意力權(quán)重融合, 得到法條方向的綜合權(quán)重向量∈R:

得到字符級(jí)對(duì)齊特征FL后, 使用最大池化策略, 保留重要特征得到∈R:

為了使模型更準(zhǔn)確地捕獲匹配對(duì)象間的關(guān)鍵信息, 進(jìn)行相似性判別, 并行于 BERT 最后一層 Trans-former, 堆疊一個(gè)關(guān)鍵詞自注意力 Transformer 層。該層的輸入為 BERT 倒數(shù)第二層 Transformer 的輸出, 其架構(gòu)與普通 Transformer 一樣, 唯一的不同之處是 attention mask 矩陣。Transformer 內(nèi)部采用自注意力機(jī)制:

其中, mask 是 attention mask 矩陣。進(jìn)行自注意力計(jì)算時(shí), 可以通過(guò)更改 attention mask 矩陣, 使字符間信息相互可見(jiàn)或不可見(jiàn)。基于關(guān)鍵詞抽取層抽取的關(guān)鍵詞序列, 更改 attention mask 矩陣。如圖 3 所示, 假設(shè)案件事實(shí)有 4 個(gè)字符, Kf2 和 Kf3 為關(guān)鍵詞字符, 法條有 3 個(gè)字符, Kl2 和 Kl3 為關(guān)鍵詞字符, attention mask 矩陣中為 1 的位置代表信息可見(jiàn), 為 0 的位置代表信息不可見(jiàn)。計(jì)算案件事實(shí)語(yǔ)義表征時(shí), 只關(guān)注事實(shí)自身信息和法條關(guān)鍵詞信息; 計(jì)算法條語(yǔ)義表征時(shí), 只關(guān)注法條自身信息以及案件事實(shí)關(guān)鍵詞信息。

經(jīng)過(guò)關(guān)鍵詞注意力層后, 得到兩個(gè)關(guān)鍵詞相關(guān)語(yǔ)義表征矩陣, 然后使用平均池化壓縮語(yǔ)義信息, 得到兩個(gè)新的語(yǔ)義表征向量kw∈R和kw∈R。將兩個(gè)向量相減, 得到 diff_kw∈R, 用來(lái)表示關(guān)鍵差異特征:

圖3 關(guān)鍵詞注意力掩碼矩陣

最后將原始 Transformer 層最后一層的輸出(CLS)、對(duì)齊特征、關(guān)鍵語(yǔ)義表征kw,kw以及關(guān)鍵差異特征 diff_kw 拼接, 作為匹配特征∈R5d,輸入全連接層進(jìn)行結(jié)果預(yù)測(cè):

2.6 輸出層

預(yù)測(cè)結(jié)果為 0 代表不匹配, 為 1 代表匹配。

本文使用交叉熵?fù)p失函數(shù)優(yōu)化預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽間的誤差, 交叉熵?fù)p失函數(shù)為

其中,y為真實(shí)標(biāo)簽,p是預(yù)測(cè)概率值。

3 實(shí)驗(yàn)設(shè)置與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文數(shù)據(jù)來(lái)自中國(guó)裁判文書網(wǎng)公開(kāi)的刑事裁判文書。我們選取兩類常見(jiàn)刑事案件(交通肇事和故意傷害案件)作為研究對(duì)象, 每類案件下載近 600 份文書, 每份文書中包含犯罪事實(shí)和涉及法條等內(nèi)容。首先進(jìn)行文本預(yù)處理, 然后提取犯罪事實(shí), 與法條建立對(duì)應(yīng)關(guān)系。交通肇事類案件有 589 份文書, 包含4711 個(gè)獨(dú)立犯罪事實(shí), 平均字符數(shù)為 63, 涉及法條總數(shù)為 56, 平均字符數(shù)為 68。故意傷害類案件有 600 份文書, 共 4067 個(gè)獨(dú)立犯罪事實(shí), 平均字符數(shù)為 57, 涉及 30 個(gè)法條, 平均字符數(shù)為 65。裁判文書語(yǔ)料統(tǒng)計(jì)信息見(jiàn)表 1。將同類案件中每個(gè)犯罪事實(shí)與法條集合里的每個(gè)法條拼接, 構(gòu)成若干二元組{F,L}, 標(biāo)簽∈{0, 1}, 0 代表不匹配, 1 代表匹配。按照 8:1:1 的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。交通肇事數(shù)據(jù)集包含 197177 條訓(xùn)練數(shù)據(jù)、26433 條驗(yàn)證數(shù)據(jù)和 28281 條測(cè)試數(shù)據(jù)。故意傷害數(shù)據(jù)集包含 74761 條訓(xùn)練數(shù)據(jù)、8611 條驗(yàn)證數(shù)據(jù)和 9571 條測(cè)試數(shù)據(jù)。數(shù)據(jù)集統(tǒng)計(jì)信息見(jiàn)表 2。實(shí)驗(yàn)數(shù)據(jù)樣例如圖 4 所示。

3.2 實(shí)驗(yàn)設(shè)置

案件事實(shí)以及法條序列的最大長(zhǎng)度都設(shè)置為60, 詞向量基于所有下載的文書和法條內(nèi)容, 使用CBOW[31]模型進(jìn)行訓(xùn)練, 維度設(shè)置為 128。選擇清華大學(xué)發(fā)布的基于大規(guī)模刑事文書預(yù)訓(xùn)練的 XS-BERT[30]作為編碼器, 匹配閾值設(shè)置為 0.5, 訓(xùn)練輪數(shù)設(shè)置為 10, 學(xué)習(xí)率設(shè)置為 1×10–5, dropout 設(shè)置為0.1。連續(xù)訓(xùn)練 3 輪驗(yàn)證集后, 若損失仍然不下降, 則停止訓(xùn)練, 使用 softmax 函數(shù)作為激活函數(shù), 使用交叉熵?fù)p失函數(shù)和 Adam 優(yōu)化器更新模型參數(shù)?？紤]到所用的法條匹配數(shù)據(jù)集存在數(shù)據(jù)不平衡現(xiàn)象, 負(fù)例樣本多于正例, 將交通肇事數(shù)據(jù)集和故意傷害數(shù)據(jù)集正負(fù)樣本采樣比分別設(shè)置為 1:12 和 1:6, 以便獲得最優(yōu) F1 值, 對(duì)比匹配模型采用同樣的采樣策略。本文實(shí)驗(yàn)中用的 BERT 模型為 BERT-Base-Chinese。

表1 裁判文書語(yǔ)料統(tǒng)計(jì)信息

表2 數(shù)據(jù)集統(tǒng)計(jì)信息

圖4 實(shí)驗(yàn)數(shù)據(jù)樣例

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文模型 BiAKLaw 的有效性, 從文本分類和文本匹配兩個(gè)方面設(shè)置對(duì)比實(shí)驗(yàn)。文本分類模型選擇主流分類模型 TextCNN[32]、LSTM[33]和BERT, 模型的輸入為案件事實(shí), 涉及的法條為標(biāo)簽, 是多標(biāo)簽分類任務(wù)。本研究將法條之間看成是相互獨(dú)立的, 將問(wèn)題轉(zhuǎn)化為多個(gè)單法條推薦的二分類問(wèn)題。選擇 sigmoid 作為激活函數(shù)。文本匹配模型選擇經(jīng)典深度語(yǔ)義匹配模型 ARC-II[21], ESIM[22]和 RE2[34]以及預(yù)訓(xùn)練模型 BERT, XS-BERT 和SBERT[35]。ARC-II 使用 CNN 提取文本特征, 在第一層卷積后交互兩個(gè)文本特征。RE2 模型包含原始詞嵌入特征、先前對(duì)齊特征和上下文特征 3 個(gè)關(guān)鍵特征, 并且簡(jiǎn)化了其他組件。ESIM 使用 LSTM 獲取句子語(yǔ)義表示向量, 再用注意力機(jī)制對(duì)齊特征。BERT 是通用領(lǐng)域的預(yù)訓(xùn)練語(yǔ)言模型。XS-BERT 是基于大規(guī)模刑事文書預(yù)訓(xùn)練的領(lǐng)域?qū)Ｓ妙A(yù)訓(xùn)練模型, SBERT 為擁有孿生結(jié)構(gòu)的預(yù)訓(xùn)練模型。

模型的輸出有兩種情況, 匹配或不匹配, 實(shí)際上是二分類問(wèn)題。因此, 我們采用,和 F1 作為模型評(píng)價(jià)指標(biāo):

其中,是精確度,是召回率, F1 為綜合評(píng)價(jià)指標(biāo)。

將本文模型 BiAKLaw 和對(duì)比模型在交通肇事和故意傷害數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn), 在測(cè)試集上的實(shí)驗(yàn)結(jié)果如表 3 所示?？梢钥闯? BiAKLaw 在各項(xiàng)指標(biāo)上都取得最優(yōu)結(jié)果, 在交通肇事數(shù)據(jù)集上, 與表現(xiàn)次之的 XS-BERT 模型相比, BiAKLaw 的 F1 評(píng)價(jià)指標(biāo)提升 3.74%, 在故意傷害數(shù)據(jù)集上提升3.43%。這是因?yàn)榕c XS-BERT 模型相比, BiAKLaw具有更強(qiáng)的識(shí)別案件事實(shí)和法條關(guān)鍵信息差異的能力, 通過(guò)雙向注意力機(jī)制得到匹配對(duì)之間更深層次的交互特征, 關(guān)鍵詞信息的注入使得模型能夠過(guò)濾干擾信息, 更關(guān)注匹配對(duì)中的關(guān)鍵語(yǔ)義信息。孿生結(jié)構(gòu)預(yù)訓(xùn)練模型 SBERT 在訓(xùn)練時(shí)間上有一定的優(yōu)勢(shì), 但模型性能弱于交互式的通用型 BERT 和法律領(lǐng)域?qū)Ｓ玫?XS-BERT。從表 3 還可以看出, 文本分類模型的性能整體上明顯弱于文本匹配模型, 這是因?yàn)橥愋桶讣聦?shí)描述差異較小, 分類模型難以區(qū)分細(xì)微的語(yǔ)義差別。法條類別眾多, 每個(gè)犯罪事實(shí)涉及法條個(gè)數(shù)不定, 也給分類模型帶來(lái)更多的挑戰(zhàn)。

表3 BiAKLaw與對(duì)比模型實(shí)驗(yàn)結(jié)果

說(shuō)明: 粗體數(shù)字表示性能最優(yōu), 下同。

3.3.2模塊消融實(shí)驗(yàn)

為了探索各個(gè)模塊的加入對(duì)模型性能產(chǎn)生的影響, 我們將 XS-BERT、XS-BERT+雙向注意力機(jī)制、XS-BERT+關(guān)鍵詞注意力機(jī)制以及 XS-BERT+雙向注意力機(jī)制+關(guān)鍵詞注意力機(jī)制 4 個(gè)模型在交通肇事和故意傷害數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn), 結(jié)果如表 4 所示。可以看出, 雙向注意力機(jī)制和關(guān)鍵詞注意力機(jī)制模塊的加入都對(duì)模型產(chǎn)生積極的影響, 其中關(guān)鍵詞注意力機(jī)制的影響最大。在交通肇事數(shù)據(jù)集上, 雙向注意力機(jī)制的加入使得評(píng)價(jià)指標(biāo) F1比 XS-BERT 提升 0.79%, 在故意傷害數(shù)據(jù)集上提升0.77%。在交通肇事數(shù)據(jù)集上, 關(guān)鍵詞注意力機(jī)制模塊的加入使得評(píng)價(jià)指標(biāo) F1 比 XS-BERT 提升1.13%, 在故意傷害數(shù)據(jù)集提升 2.76%。實(shí)驗(yàn)結(jié)果說(shuō)明, 通過(guò)關(guān)鍵詞信息的加入, 模型能夠更多地關(guān)注匹配對(duì)象間的關(guān)鍵差異特征, 減少無(wú)關(guān)信息的 干擾。

3.3.3法條推薦實(shí)例分析

我們選取故意傷害測(cè)試集中的一個(gè)案例來(lái)說(shuō)明本文方法的有效性, 案例分析結(jié)果如表 5 所示。

表4 消融實(shí)驗(yàn)結(jié)果

表5 故意傷害案例分析

說(shuō)明: 粗體文字為案件事實(shí)和法條的關(guān)鍵詞。

該案例包括兩個(gè)犯罪事實(shí): 事實(shí) a 涉及刑法234 條, 事實(shí) b 涉及刑法 72 和 234 條。事實(shí) a 中, 被告人與被害人有“爭(zhēng)執(zhí)”和“擊打”等行為, 符合刑法234 條“故意傷害”。事實(shí) b 中, 被害人傷勢(shì)鑒定為“輕傷”, 符合刑法 234 條“故意傷害”行為和刑法 72條中的“情節(jié)較輕”部分。表 5 還給出案件事實(shí)與法條在 BiAKLaw 和 XS-BERT 中的匹配概率值。可以看出, 兩個(gè)模型預(yù)測(cè)的概率值都大于 0.5, 均能給出正確的預(yù)測(cè)標(biāo)簽。本文模型 BiAkLaw 有關(guān)鍵詞信息的注入, 能更多地關(guān)注關(guān)鍵詞信息, 提升了匹配性能。對(duì)于不匹配的事實(shí) b 與刑法 234 條, 本文模型BiAKLaw 比 XS-BERT 更易辨別出兩者是不相匹配的。

需要指出的是, 法條推薦任務(wù)的目的是根據(jù)案件事實(shí)的細(xì)節(jié)描述, 客觀地推薦與之相關(guān)聯(lián)的一個(gè)或多個(gè)法條。最終如何判決, 需要法官根據(jù)推薦的法條及其他因素綜合決定。從案例分析結(jié)果可以看出, 案件事實(shí)和法條序列各自的關(guān)鍵詞信息不僅可以幫助模型關(guān)注犯罪事實(shí)和法條關(guān)鍵信息的細(xì)節(jié)差異, 還能直觀地體現(xiàn)為什么這個(gè)犯罪事實(shí)會(huì)對(duì)應(yīng)這個(gè)法條, 有效地增強(qiáng)了推薦結(jié)果的可解釋性。

4 結(jié)語(yǔ)

本文將法條推薦任務(wù)轉(zhuǎn)換成犯罪事實(shí)與法條語(yǔ)義匹配度計(jì)算, 提出一種基于雙向注意力文本關(guān)鍵詞匹配的法條推薦模型 BiAKLaw。通過(guò)雙向文本關(guān)鍵詞注意力機(jī)制, 既保留了原本完整的語(yǔ)義信息, 又使模型更多地關(guān)注兩者之間的關(guān)鍵差異特征, 捕獲token 級(jí)對(duì)齊特征和 keyword 差異特征, 輸出端融合多粒度匹配特征, 增強(qiáng)了模型匹配效果。由于雙向融合了法條文本和案件事實(shí)的各自關(guān)鍵詞作為推薦結(jié)果的重要依據(jù), 使得本文法條推薦方法具有良好的可解釋性。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明, 與主流分類模型和深度經(jīng)典語(yǔ)義匹配模型相比, BiAKLaw模型的性能均有不同程度的提升, 因此, 對(duì)智慧司法領(lǐng)域法條推薦任務(wù)的研究有一定的啟示 意義。

在未來(lái)的工作中, 我們將嘗試融合外部知識(shí)(例如案例法律特征、法條結(jié)構(gòu)特征和庭審觀點(diǎn)等), 持續(xù)優(yōu)化法條推薦模型。

[1] Kort F. Predicting supreme court decisions mathema-tically: a quantitative analysis of the “Right to Cou-nsel” cases. American Political Science Review, 1957, 51(1): 1–12

[2] Ulmer S S. Quantitative analysis of judicial processes: some practical and theoretical applications. Law and Contemporary Problems, 1963, 28(1): 164–184

[3] Nagel S S. Applying correlation analysis to case pre-diction. Tex L Rev, 1963, 42: 1006

[4] Keown R. Mathematical models for legal prediction. Computer/Law Journal, 1980, 2(1): 829

[5] Tsoumakas G, Katakis I. Multi-label classification: an overview. International Journal of Data Warehousing and Mining (IJDWM), 2007, 3(3): 1–13

[6] Nam J, Kim J, Loza Mencía E, et al. Large-scale multi-label text classification — revisiting neural networks // Proceedings of Joint European Conference on Ma-chine Learning and Knowledge Discovery in Data-bases. Nancy, 2014: 437–452

[7] Wang T, Liu L, Liu N, et al. A multi-label text classifi-cation method via dynamic semantic representation model and deep neural network. Applied Intelligence, 2020, 50: 2339–2351

[8] Liu H, Chen G, Li P, et al. Multi-label text classifi-cation via joint learning from label embedding and label correlation. Neurocomputing, 2021, 460: 385–398

[9] Luo B, Feng Y, Xu J, et al. Learning to predict charges for criminal cases with legal basis [EB/OL]. (2017–07–28) [2023–03–10]. https://doi.org/10.48550/arXiv.17 07.09168

[10] Zhong H, Guo Z, Tu C, et al. Legal judgment prediction via topological learning // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, 2018: 3540–3549

[11] Hu Z, Li X, Tu C, et al. Few-shot charge prediction with discriminative legal attributes // Proceedings of the 27th International Conference on Computational Linguistics. Santa Fe, 2018: 487–498

[12] Wang S, Jiang J. A compare-aggregate model for mat-ching text sequences [EB/OL]. (2016–11–06) [2023–02–26]. https://arxiv.org/abs/1611.01747

[13] Ge J, Huang Y, Shen X, et al. Learning fine-grained fact-article correspondence in legal cases. IEEE/ACM Transactions on Audio, Speech, and Language Proces-sing. 2021, 29: 3694–3706

[14] Liu C L, Hsieh C D. Exploring phrase-based classify-cation of judicial documents for criminal charges in Chinese // International Symposium on Methodologies for Intelligent Systems. Bari, 2006: 681–691

[15] Chen H, Cai D, Dai W, et al. Charge-based prison term prediction with deep gating network [EB/OL]. (2019–08–30) [2023–03–13]. https://doi.org/10.48550/arXiv. 1908.11521

[16] Pan S, Lu T, Gu N, et al. Charge prediction for multi-defendant cases with multi-scale attention // Computer Supported Cooperative Work and Social Computing: 14th CCF Conference, ChineseCSCW 2019. Kunming, 2019: 766–777

[17] Xiao C, Zhong H, Guo Z, et al. Cail2018: a large-scale legal dataset for judgment prediction [EB/OL]. (2018–07–04) [2023–03–12]. https://doi.org/10.48550/arXiv. 1807.02478

[18] Chalkidis I, Androutsopoulos I, Aletras N. Neural legal judgment prediction in English [EB/OL]. (2019–06–05) [2023–03–21]. https://doi.org/10.48550/arXiv.19 06.02059

[19] Robertson S, Zaragoza H. The probabilistic relevan- ce framework: BM25 and beyond. Foundations and Trends in Information Retrieval, 2009, 3(4): 333–389

[20] Huang P S, He X, Gao J, et al. Learning deep structured semantic models for web search using clickthrough data // Proceedings of the 22nd ACM International Conference on Information & Knowledge Manage-ment. San Francisco, 2013: 2333–2338

[21] Hu B, Lu Z, Li H, et al. Convolutional neural network architectures for matching natural language sentences // Advances in Neural Information Processing Systems. Montreal, 2014: 2042–2050

[22] Chen Q, Zhu X, Ling Z, et al. Enhanced LSTM for natural language inference [EB/OL]. (2016–09–20) [2023–03–24]. https://doi.org/10.48550/arXiv.1609.06 038

[23] Lyu B, Chen L, Zhu S, et al. LET: linguistic knowledge enhanced graph transformer for Chinese short text matching [C/OL]. (2021–02–05) [2023–02–20]. https: //doi.org/10.48550/arXiv.2102.12671

[24] Wu Y, Wu W, Xu C, et al. Knowledge enhanced hybrid neural network for text matching [C/OL]. (2016–11–14) [2023–03–28]. https://doi.org/10.48550/arXiv.16 11.04684

[25] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need // Advances in Neural Information Processing Systems. Long Beach, 2017: 5998–6008

[26] Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language un-derstanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Techno-logies. Minneapolis, 2019: 4171–4186

[27] Liu Y, Ott M, Goyal N, et al. RoBERTa: a robustly optimized bert pretraining approach [EB/OL]. (2019–07–26) [2023–03–01]. https://doi.org/10.48550/arXiv. 1907.11692

[28] Cui Y, Che W, Liu T, et al. Pre-training with whole word masking for chinese BERT. IEEE/ACM Tran-sactions on Audio, Speech, and Language Processing, 2021, 29: 3504–3514

[29] Grootendorst M. KeyBERT: minimal keyword extrac-tion with BERT [EB/OL]. (2020–02–09) [2023–01–09]. https://github.com/MaartenGr/KeyBERT

[30] Zhong H, Zhang Z, Liu Z, et al. Open Chinese language pre-trained model zoo [EB/OL]. (2019–07–01) [2023–02–11]. https://github.com/thunlp/OpenCLaP

[31] Mikolov T, Chen K, Corrado G, et al. Efficient esti-mation of word representations in vector space [EB/ OL]. (2013–01–16) [2023–02–11]. https://doi.org/10. 48550/arXiv.1301.3781

[32] Cho K, Van Merrienboer B, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation [EB/OL]. (2014–09–02) [2023–03–11]. http://arxiv.org/abs/1406.1078

[33] Hochreiter S, Schmidhuber J. Long short-term me-mory. Neural Computation, 1997, 9(8): 1735?1780

[34] Yang R, Zhang J, Gao X, et al. Simple and effective text matching with richer alignment features // Procee-dings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, 2019: 4699–4709

[35] Reimers N, Gurevych I. Sentence-BERT: sentence embeddings using Siamese BERT-Networks [EB/OL]. (2019–08–27) [2023–03–23]. http://arxiv.org/abs/19 08.10084

Bi-Attention Text-Keyword Matching for Law Recommendation

DING Na1, LIU Peng2, ?, SHAO Huipeng3, WANG Xuekui4

1. School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116; 2. National Joint Engineering Laboratory of Internet Applied Technology of Mines, Xuzhou 221008; 3. Legal Team of Tongshan Branch of Xuzhou Public Security Bureau, Xuzhou 221100; 4. Alibaba Group, Hangzhou 311121; ? Corresponding author, E-mail: liupeng@cumt.edu.cn

This paper proposed a bi-directional attention based text-keyword matching model for law recommen-dation (BiAKLaw). In this model, BERT is utilized as a basic matching model, bi-directional attention mechanism is implemented to extract token-level alignment features and keyword-level differential features, and these features are fused with keyword attentive semantic representations for a better matching effect. The experimental results on the traffic accident and intentional injury datasets demonstrate that, compared with BERT, the proposed model increases F1 evaluation metric by 3.74% and 3.43% respectively.

law recommendation; case fact; text matching; attention mechanism