基于BERT的抽取式裁判文書(shū)摘要生成方法研究

魏鑫煬 唐向紅

摘? 要：針對(duì)民事裁判文書(shū)區(qū)別于新聞文本的文本結(jié)構(gòu)和重要信息分布的特點(diǎn)，基于BERT提出了一種結(jié)合粗粒度和細(xì)粒度抽取方法的結(jié)構(gòu)化民事裁判文書(shū)摘要生成方法。首先通過(guò)粗粒度抽取方法對(duì)裁判文書(shū)進(jìn)行重要的模塊信息抽取，以保留文本結(jié)構(gòu);然后采用基于BERT的序列標(biāo)注方法構(gòu)建細(xì)粒度的抽取式摘要模型，從句子級(jí)別對(duì)重要模塊的信息進(jìn)行進(jìn)一步抽取，以構(gòu)建最終摘要。實(shí)驗(yàn)表明，相比于單一的粗粒度抽取或者細(xì)粒度抽取，本文方法均獲得了更好的摘要生成性能。

關(guān)鍵詞：司法領(lǐng)域;裁判文書(shū);抽取式文本摘要;序列標(biāo)注

中圖分類號(hào)：TP399? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on Extractive Judgment Document Abstract?Generation Method based on BERT

WEI Xinyang1， TANG Xianghong1，2

（1.College of Computer Science and Technology， Guizhou University， Guiyang 550025， China;2.Guizhou Provincial Key Laboratory of Public Big Data， Guizhou University， Guiyang 550025， China）

Abstract： Aiming at the text structure and important information distribution features of civil judgment documents that are different from news texts， this paper proposes a structured civil judgment document abstract generation method based on BERT （Bidirectional Encoder Representation from Transformers）， combining coarse-grained and fine-grained extraction methods. Firstly， important module information is extracted from the judgment documents by the coarse-grained extraction method to preserve the text structure. Then the BERT-based sequence labeling method is used to build a fine-grained extractive abstract model. Information of important modules is further extracted based on the sentence level， so to construct the final abstract. Experiments show that the proposed method has better abstract generation performance than single coarse-grained extraction or fine-grained extraction.

Keywords： judicial field; judgment documents; extractive text abstract; sequence annotation

1? ?引言（Introduction）

隨著國(guó)家依法治國(guó)的全面推進(jìn)和互聯(lián)網(wǎng)、大數(shù)據(jù)的快速發(fā)展，我國(guó)各級(jí)政府也在積極推進(jìn)大數(shù)據(jù)、人工智能與法院司法實(shí)踐的融合。裁判文書(shū)是記錄人民法院審理過(guò)程和裁判結(jié)果的法律文書(shū)，是非常重要的司法文本，其中又以民事裁判文書(shū)占比最大，最為繁雜。對(duì)民事裁判文書(shū)進(jìn)行摘要生成，可以幫助法官、律師及當(dāng)事人等迅速、有效地簡(jiǎn)要了解案件審判過(guò)程與結(jié)果，從而快速找到相關(guān)的指導(dǎo)性案例，對(duì)我國(guó)的司法智能化輔助審判建設(shè)也具有重要的現(xiàn)實(shí)意義與應(yīng)用價(jià)值。

文本摘要工作旨在從一篇或多篇相同主題的文本中抽取能夠反映主題的精簡(jiǎn)壓縮版本[1-2]，解決采用人工進(jìn)行裁判文書(shū)摘要總結(jié)導(dǎo)致人力成本高，以及相關(guān)司法領(lǐng)域?qū)＜胰狈Φ葐?wèn)題。隨著計(jì)算機(jī)技術(shù)的發(fā)展和自然語(yǔ)言理解，以及數(shù)字人文研究的不斷深入，司法領(lǐng)域的自動(dòng)化文本摘要任務(wù)研究逐漸成為一個(gè)重要的研究?jī)?nèi)容。自動(dòng)文本摘要技術(shù)典型的應(yīng)用場(chǎng)景包括將新聞、社會(huì)化短文本和專業(yè)領(lǐng)域文獻(xiàn)等文本自動(dòng)生成簡(jiǎn)短摘要[3]。對(duì)于這些應(yīng)用場(chǎng)景，諸多研究人員已經(jīng)提出了許多準(zhǔn)確且高效的摘要算法，這些算法可以分為抽取式（Extractive）和生成式（Abstractive）。由于抽取式文摘是通過(guò)對(duì)原文的抽取來(lái)形成摘要的，可以保證得到的摘要在語(yǔ)法和事實(shí)上的正確性。而法律文本對(duì)內(nèi)容的準(zhǔn)確度要求較高，因此本文在探索民事裁判文書(shū)的摘要方法時(shí)，主要聚焦于抽取式文本摘要方法。

抽取式摘要技術(shù)最早能追溯到1958 年LUHN[4]提出的word_significance算法，它基于詞頻抽取重要的句子組成摘要;2003 年，PADMALAHARI等人[5]提出text_pronouns算法，通過(guò)構(gòu)建句子和詞語(yǔ)級(jí)別的文本特征來(lái)進(jìn)行抽取式自動(dòng)文摘;此外，MIHALCEA等人[6]提出了Textrank算法，利用投票機(jī)制對(duì)構(gòu)建好的圖模型中的重要成分進(jìn)行排序來(lái)抽取重要句子構(gòu)成摘要。隨著機(jī)器學(xué)習(xí)的發(fā)展，許多研究人員也將機(jī)器學(xué)習(xí)算法運(yùn)用到文本摘要任務(wù)中。NALLAPATI等人[7]提出SummaRuNNer方法，LIU[8]提出Bertsum方法，它們均是采用序列標(biāo)注方法，構(gòu)建訓(xùn)練模型來(lái)抽取重要的句子，相對(duì)于傳統(tǒng)的統(tǒng)計(jì)方法，能夠從語(yǔ)義上對(duì)生成文摘的質(zhì)量有較好的把控，并且使新聞數(shù)據(jù)集具有不錯(cuò)的性能。但是，由于民事裁判文書(shū)不同于新聞文本，因此傳統(tǒng)的文本摘要方法直接用于民事裁判文書(shū)的摘要生成并不能取得很好的效果。

民事裁判文書(shū)一般包含首部、事實(shí)與理由、裁判依據(jù)、裁判主文等部分，如圖1所示。民事裁判文書(shū)具有層次結(jié)構(gòu)性，文本較長(zhǎng)，并且重要信息分散在整個(gè)文本中，許多重要信息可能只會(huì)在文本中出現(xiàn)一次;而新聞文本的重要信息則主要集中在首部，重要的信息可能會(huì)在文中反復(fù)出現(xiàn)，并且新聞文本一般不具有特定的結(jié)構(gòu)，因此不能直接使用主流的抽取式文摘方法來(lái)進(jìn)行民事裁判文書(shū)的摘要生成。本文根據(jù)民事裁判文書(shū)的特點(diǎn)，基于BERT提出了一種結(jié)合粗粒度和細(xì)粒度抽取方法的結(jié)構(gòu)化民事裁判文書(shū)摘要生成方法。實(shí)驗(yàn)證明，本文提出的方法能夠獲得較好的性能提升。

2? ?相關(guān)工作研究（Related work research）

2.1? ?BERT預(yù)訓(xùn)練模型

BERT（Bidirectional Encoder Representation from Transformers）是KENTON等人[9]提出的一種預(yù)訓(xùn)練模型，其模型結(jié)構(gòu)如圖2所示。預(yù)訓(xùn)練模型就是通過(guò)大量數(shù)據(jù)訓(xùn)練所得到的一種泛化性很強(qiáng)的模型，在有具體任務(wù)需要時(shí)，預(yù)訓(xùn)練模型可以只使用少量的數(shù)據(jù)進(jìn)行一個(gè)增量訓(xùn)練，而不再需要大量語(yǔ)料進(jìn)行從頭訓(xùn)練，節(jié)約了時(shí)間，提高了效率。BERT使用Transformer[10]的編碼結(jié)構(gòu)，利用注意力機(jī)制對(duì)句子進(jìn)行編碼建模，這使得它可以更好地提取上下文語(yǔ)義特征，可以獲得更好的句子語(yǔ)義表示，這種語(yǔ)義表示主要是基于“掩模語(yǔ)言模型（Masked Language Model， MLM）”和“下一個(gè)句子預(yù)測(cè)（Next Sentence Prediction， NSP）”的多任務(wù)訓(xùn)練來(lái)進(jìn)行預(yù)訓(xùn)練提取得到。這樣的BERT預(yù)訓(xùn)練模型便能用于其他特定任務(wù)，將其結(jié)合到相應(yīng)模型的輸出層前部，通過(guò)微調(diào)構(gòu)建多種相應(yīng)的任務(wù)模型，但是BERT的使用容易受到文本長(zhǎng)度的限制，其對(duì)于長(zhǎng)文本并不能很好地進(jìn)行處理。

將BERT用于民事裁判文書(shū)摘要生成任務(wù)，能夠從細(xì)粒度方面，如句子之間甚至詞之間，更好地獲得文本數(shù)據(jù)中詞與詞，以及句子與句子之間的語(yǔ)義表示，在構(gòu)建模型進(jìn)行訓(xùn)練的過(guò)程中，利用這樣的語(yǔ)義表示可以提高模型對(duì)裁判文書(shū)文本語(yǔ)義的捕捉效果。

2.2? ?序列標(biāo)注模型

序列標(biāo)注是指將輸入的一串觀測(cè)序列轉(zhuǎn)化為一串標(biāo)記序列的過(guò)程。要解決序列標(biāo)記問(wèn)題，實(shí)際上就是要找到一個(gè)觀測(cè)序列到標(biāo)記序列的映射。

在自然語(yǔ)言處理中，序列標(biāo)注模型是最常見(jiàn)的模型，應(yīng)用廣泛，許多自然語(yǔ)言處理的問(wèn)題都可以想方設(shè)法轉(zhuǎn)化為序列標(biāo)注問(wèn)題。與一般分類任務(wù)不同的是，序列標(biāo)注模型輸出的是一個(gè)標(biāo)簽序列。一般情況下，這樣的標(biāo)簽之間是有相互關(guān)系的，這樣的序列構(gòu)成了標(biāo)簽之間的結(jié)構(gòu)信息。

抽取式摘要同樣可以建模為序列標(biāo)注任務(wù)。首先，為原文中的每一個(gè)句子添加一個(gè)二分類標(biāo)簽（0或1），0表示該句不屬于摘要，1表示該句屬于摘要;之后構(gòu)建相應(yīng)的序列標(biāo)注模型進(jìn)行訓(xùn)練;最終得到的摘要由所有標(biāo)簽為1的句子產(chǎn)生。將文本摘要建模為序列標(biāo)注任務(wù)的關(guān)鍵在于獲得句子的表示，即將句子編碼為一個(gè)向量，根據(jù)該向量進(jìn)行二分類任務(wù)。例如SummaRuNNer模型，該模型分別構(gòu)建詞語(yǔ)級(jí)別和句子級(jí)別的語(yǔ)義向量表示，之后使用得到的句子向量表示進(jìn)行分類任務(wù)訓(xùn)練，以此來(lái)構(gòu)建摘要抽取模型。這同樣也是從句子級(jí)別的細(xì)粒度角度來(lái)對(duì)文本進(jìn)行摘要抽取。

2.3? ?基于BERT的結(jié)構(gòu)化民事裁判文書(shū)摘要生成方法

抽取式文本摘要方法主要為建模成序列標(biāo)注方法，從給定的文本中將適合的句子挑選出來(lái)構(gòu)成文本摘要，其中關(guān)鍵的部分便是獲得句子的表示。而B(niǎo)ERT則可以很好地將文本中句子的語(yǔ)義信息表示出來(lái)，通過(guò)“BERT+序列標(biāo)注”的方式，能夠從句子級(jí)別對(duì)裁判文書(shū)進(jìn)行一個(gè)細(xì)粒度的抽取，但是由于民事裁判文書(shū)過(guò)長(zhǎng)，冗余信息過(guò)多，導(dǎo)致BERT不能很好地處理。如果直接簡(jiǎn)單截取原文前半部分、后半部分或者中間部分，再進(jìn)行BERT處理，則會(huì)導(dǎo)致裁判文書(shū)的文本結(jié)構(gòu)以及重要信息丟失，不能取得很好的效果。而如果只采取粗粒度的抽取方式，雖然能夠保留裁判文書(shū)的結(jié)構(gòu)信息，卻無(wú)法做到精細(xì)化抽取，會(huì)包含大量冗余信息，或者丟失重要信息，從而導(dǎo)致生成的摘要性能降低。

因此，我們提出了一種結(jié)合粗粒度和細(xì)粒度抽取方法的結(jié)構(gòu)化民事裁判文書(shū)摘要生成方法，即先對(duì)民事裁判文書(shū)進(jìn)行一個(gè)粗粒度的抽取，通過(guò)規(guī)則將裁判文書(shū)中幾個(gè)主要部分的內(nèi)容抽取出來(lái)，在縮短文本長(zhǎng)度的同時(shí)，保留了裁判文書(shū)中的重要結(jié)構(gòu)信息;之后對(duì)粗粒度抽取后的裁判文書(shū)文本內(nèi)容進(jìn)行一個(gè)細(xì)粒度的建模抽取，從句子級(jí)別進(jìn)行精細(xì)化抽取，以確保最終得到的民事裁判文書(shū)在保證簡(jiǎn)潔明了的基礎(chǔ)上最大限度地保留文本的重要信息和文本結(jié)構(gòu)。本文的模型結(jié)構(gòu)如圖3所示。

由于民事裁判文書(shū)具有明確的結(jié)構(gòu)，并且每個(gè)部分擁有較為明確的標(biāo)志詞，如“經(jīng)查明”“本院認(rèn)為”等較為普遍的段落標(biāo)志詞，因此本文采用正則表達(dá)式構(gòu)建抽取規(guī)則，對(duì)相應(yīng)的裁判文書(shū)內(nèi)容進(jìn)行一個(gè)粗粒度的抽取。表1為原始裁判文書(shū)的文本長(zhǎng)度與進(jìn)行粗粒度抽取后得到的文本長(zhǎng)度的統(tǒng)計(jì)，從中我們可以看出，經(jīng)過(guò)粗粒度抽取后的裁判文書(shū)的文本長(zhǎng)度得到大幅度縮減，能夠基本滿足后續(xù)細(xì)粒度抽取模型的需要。

對(duì)于細(xì)粒度抽取部分，首先是裁判文書(shū)中每個(gè)句子的標(biāo)記任務(wù)，本文主要采用啟發(fā)式規(guī)則進(jìn)行文本中摘要句的標(biāo)記工作，具體的方案為：首先選取原文中ROUGE得分最高的一句話加入候選集合;接著繼續(xù)從原文中進(jìn)行選擇，保證選出的摘要集合ROUGE得分增加，直至無(wú)法滿足該條件。得到的候選摘要集合對(duì)應(yīng)的句子設(shè)為1標(biāo)簽，其余為0標(biāo)簽。在完成數(shù)據(jù)集的標(biāo)注工作之后，就能依托這些標(biāo)記的數(shù)據(jù)構(gòu)建序列標(biāo)注模型來(lái)進(jìn)行摘要抽取任務(wù)了。

本文的抽取模型框架采用的是主流的“BERT+序列標(biāo)注”框架，如圖4所示，將粗粒度抽取得到的裁判文書(shū)進(jìn)行預(yù)處理后，通過(guò)BERT生成相應(yīng)的句向量，之后構(gòu)建序列標(biāo)注模型作為抽取模型。這里的序列標(biāo)注模型主要采用三種不同分類方式的構(gòu)建方法，分別是簡(jiǎn)單分類器（Simple Classifier）、RNN（Recurrent Neural Network）和Transformer。對(duì)于每一個(gè)句子，通過(guò)分類器得到對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽P，而整個(gè)抽取模型的損失（Loss）便是預(yù)測(cè)得到的標(biāo)簽與之前所標(biāo)記的標(biāo)簽之間的二進(jìn)制分類熵（Binary Classification Entropy）。

對(duì)于簡(jiǎn)單分類器，主要是將經(jīng)過(guò)BERT產(chǎn)生的句子向量直接使用線性分類器來(lái)獲得預(yù)測(cè)值P：

P=σ（W₀T_i+b₀） ???（1）

RNN序列標(biāo)注將BERT的輸出經(jīng)過(guò)LSTM（Long Short-Term Memory）層，學(xué)習(xí)特定的摘要特征，以此判定該輸出是否為摘要，并學(xué)習(xí)到了序列特征，其預(yù)測(cè)值P的計(jì)算方式如下：

Transformer則是將多個(gè)Transformer層只應(yīng)用于句子表示，從BERT輸出中抽取文檔級(jí)特征，其預(yù)測(cè)值P的計(jì)算方式如下：

3? ?實(shí)驗(yàn)與分析（Experiment and analysis）

3.1? ?實(shí)驗(yàn)準(zhǔn)備

本文使用CAIL2020提供的數(shù)據(jù)集，共包括4，047 篇已標(biāo)注的民事裁判文書(shū)，進(jìn)行數(shù)據(jù)清洗后的數(shù)據(jù)集按照6∶2∶2劃分，得到訓(xùn)練數(shù)據(jù)集2，340 條，驗(yàn)證數(shù)據(jù)集779 條，測(cè)試數(shù)據(jù)集785 條。

本文采用pytorch框架進(jìn)行模型的搭建，生成的文本摘要最大長(zhǎng)度設(shè)置為200。在訓(xùn)練過(guò)程中，本文設(shè)置的學(xué)習(xí)率為0.001，累加器的初始值設(shè)置為0.1，訓(xùn)練的批次大小為20。評(píng)價(jià)指標(biāo)則采用通用的ROUGE評(píng)價(jià)指標(biāo)進(jìn)行性能評(píng)價(jià)，將自動(dòng)生成的摘要與參考摘要進(jìn)行比較，其中ROUGE-1衡量一元詞匹配情況，ROUGE-2衡量二元詞匹配情況，ROUGE-L記錄最長(zhǎng)的公共子序列，并分別計(jì)算每一種指標(biāo)的召回率（R）、精準(zhǔn)率（P），以及F1值進(jìn)行實(shí)驗(yàn)對(duì)比。

3.2? ?實(shí)驗(yàn)結(jié)果與分析

為了進(jìn)一步驗(yàn)證模型的有效性，本文進(jìn)行了一系列對(duì)比實(shí)驗(yàn)，將我們的方法同經(jīng)典的抽取式摘要模型Lead-3模型和TextRank模型，以及只進(jìn)行粗粒度抽取的模型SUM_extract和只進(jìn)行細(xì)粒度抽取的模型BERT_SUM進(jìn)行對(duì)比。其中，抽取式摘要模型中的Lead-3模型是新聞?lì)I(lǐng)域的經(jīng)典模型之一，它抽取文章的前三句文本作為整篇文章的摘要，由于新聞的重要信息通常都集中在文章的前半部分，因此Lead-3模型取得不錯(cuò)的效果。

由表2可以看出，在F1指標(biāo)上，我們的方法在所有對(duì)比實(shí)驗(yàn)中獲得了最好的性能，Lead-3模型則獲得了最低的性能。對(duì)于抽取式摘要模型，TextRank模型的性能遠(yuǎn)遠(yuǎn)高于Lead-3模型，這也進(jìn)一步說(shuō)明了民事裁判文書(shū)和新聞?lì)I(lǐng)域文本的不同之處：新聞?lì)I(lǐng)域文本中的重要信息主要集中在文本前半部分，而民事裁判文書(shū)的重要信息則是分布在整篇文章之中，因此Lead-3模型用于民事裁判文書(shū)獲得了極差的性能。從性能結(jié)果來(lái)看，SUM_extract由于只進(jìn)行粗粒度的抽取，導(dǎo)致包含過(guò)多的冗余信息，因此相對(duì)于更加精煉的TextRank方法來(lái)說(shuō)，性能會(huì)偏低;但是和只進(jìn)行細(xì)粒度抽取的BERT_SUM相比，由于BERT_SUM在數(shù)據(jù)預(yù)處理時(shí)采取截取前半部分文本的策略，導(dǎo)致文本的眾多重要信息丟失，通過(guò)BERT得到的句子語(yǔ)義也會(huì)不夠充分，從而使得最終的模型性能降低，甚至低于SUM_extract。而我們結(jié)合粗粒度和細(xì)粒度的文本摘要抽取方法在三種分類方法上均優(yōu)于BERT_SUM，在整體實(shí)驗(yàn)性能上也高于其余方法，足以證明我們的方法在民事裁判文書(shū)的摘要生成中兼顧了摘要的簡(jiǎn)短性和信息的全面性，符合實(shí)驗(yàn)預(yù)期。

4? ?結(jié)論（Conclusion）

本文針對(duì)民事裁判文書(shū)區(qū)別于新聞文本的文本結(jié)構(gòu)和重要信息分布的特點(diǎn)，基于BERT提出了一種結(jié)合粗粒度和細(xì)粒度抽取方法的結(jié)構(gòu)化民事裁判文書(shū)摘要生成方法。我們通過(guò)對(duì)裁判文書(shū)原文依次進(jìn)行粗粒度抽取和細(xì)粒度抽取的方法，以確保生成的摘要能夠比較完整地保留裁判文書(shū)的結(jié)構(gòu)信息和主要內(nèi)容。實(shí)驗(yàn)結(jié)果顯示，相比于只進(jìn)行粗粒度抽取的模型SUM_extract和只進(jìn)行細(xì)粒度抽取的模型BERT_SUM，我們的模型均獲得了更好的摘要生成性能，達(dá)到了實(shí)驗(yàn)預(yù)期。不過(guò)，抽取式摘要由于是抽取原文句子組成摘要，導(dǎo)致可讀性比較差，下一步我們將繼續(xù)研究如何能夠結(jié)合生成式文摘方法，在保證摘要生成性能的前提下，提高裁判文書(shū)生成摘要的可讀性。

參考文獻(xiàn)（References）

[1] ERKAN G， RADEV D R. Lexrank： Graph-based lexical centrality as salience in text summarization[J]. Journal of Artificial Intelligence Research， 2004， 22：457-479.

[2] GAMBHIR M， VISHAL V. Recent automatic text summarization techniques： A survey[J]. Artificial Intelligence Review， 2017， 47（1）：1-66.

[3]趙洪.生成式自動(dòng)文摘的深度學(xué)習(xí)方法綜述[J].情報(bào)學(xué)報(bào)，2020，39（03）：330-344.

[4] LUHN H P. The automatic creation of literature abstracts[J]. IBM Journal of Research and Development， 1958， 2（2）：? ? ? 159-165.

[5] PADMALAHARI E， KUMAR D V N S， PRASAD S. Automatic text summarization with statistical and linguistic features using successive thresholds[C]// DHANASEKARAN R， MIJA S J， AMINUL I， et al. 2014 IEEE International Conference on Advanced Communications， Control and Computing Technologies. Ramanathapuram， India： IEEE， 2014：1519-1524.

[6] MIHALCEA R， TARAU P. Textrank： Bringing order into text[C]//? LIN D， WU D. Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Barcelona， Spain： Association for Computational Linguistics，? 2004：404-411.

[7] NALLAPATI R， ZHAI F， ZHOU B. Summarunner： A recurrent neural network based sequence model for extractive summarization of documents[C]//? SINGH S P， MARKOVITCH S. Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco， USA： AAAI Publications， 2017：3075-3081.

[8] LIU Y. Fine-tune BERT for extractive summarization[EB/OL]. （2019-9-5） [2021-11-5]. https：//arxiv.org/abs/1903.10318.

[9] DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding[EB/OL]. （2019-5-24） [2021-11-5]. https：//arxiv.org/abs/1810.04805.

[10] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]// LUXBURG U V， GUYON I. The proceedings of 31st Conference on Neural Information Processing Systems （NIPS 2017）. NY， USA： Curran Associates Inc.， 2017：5998-6008.

作者簡(jiǎn)介：

魏鑫煬（1993-），男，碩士生.研究領(lǐng)域：自然語(yǔ)言處理，數(shù)據(jù)融合分析.

唐向紅（1979-），男，博士，教授.研究領(lǐng)域：大數(shù)據(jù)技術(shù)與智能制造.