一種面向法律文書(shū)的命名實(shí)體識(shí)別方法

王 霄 萬(wàn)玉晴

(太極計(jì)算機(jī)股份有限公司 北京 100102)

0 引 言

近年來(lái),深度神經(jīng)網(wǎng)絡(luò)在人工智能多個(gè)應(yīng)用領(lǐng)域表現(xiàn)出了優(yōu)越的性能,作為自然語(yǔ)言處理重要任務(wù)之一的命名實(shí)體識(shí)別(Named Entity Recognition,NER),也出現(xiàn)很多基于深度學(xué)習(xí)的研究成果,與傳統(tǒng)的基于規(guī)則的方法或者基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法相比,深度神經(jīng)網(wǎng)絡(luò)模型具有更好的泛化性、更少的人工特征依賴(lài)等優(yōu)點(diǎn),在各領(lǐng)域命名實(shí)體識(shí)別中得到了廣泛的應(yīng)用。

目前法院對(duì)所積累的海量電子卷宗具有結(jié)構(gòu)化、知識(shí)化的迫切需求,法律文書(shū)命名實(shí)體主要包含人名、地名和機(jī)構(gòu)名等通用實(shí)體,以及案件名、案由和法律條文等領(lǐng)域?qū)嶓w。法律文書(shū)命名實(shí)體識(shí)別的主要問(wèn)題在于:1) 不同命名實(shí)體之間長(zhǎng)度差別大,使得語(yǔ)言表示的語(yǔ)義粒度對(duì)模型訓(xùn)練效果影響較大,造成不同命名實(shí)體的識(shí)別性能差異大的問(wèn)題。2) 在不同案件類(lèi)型的卷宗文書(shū)中,命名實(shí)體的上下文特征具有顯著差異,造成模型應(yīng)用在不同類(lèi)型案件卷宗上的魯棒性較差。3) 當(dāng)前法律文書(shū)的標(biāo)注語(yǔ)料不充足。

針對(duì)前兩點(diǎn)問(wèn)題,本文從輸入模型的語(yǔ)言表示入手,對(duì)不同尺度的嵌入表示,以及結(jié)合方式的有效性進(jìn)行了研究驗(yàn)證,形成涵蓋字向量、詞向量和主題向量三個(gè)語(yǔ)義粒度的語(yǔ)言表示。對(duì)于標(biāo)注語(yǔ)料匱乏問(wèn)題,文本從模型訓(xùn)練入手,使用一種輔助優(yōu)化的訓(xùn)練方式,減少模型對(duì)人工標(biāo)注語(yǔ)料的依賴(lài)?；谝陨涎芯?jī)?nèi)容,訓(xùn)練了適用于法律文書(shū)的命名實(shí)體識(shí)別模型。

1 相關(guān)工作

命名實(shí)體識(shí)別是實(shí)現(xiàn)信息抽取的主要技術(shù)手段,其研究方法種類(lèi)很多,當(dāng)前獲取很好性能及研究熱情的方法是基于深度學(xué)習(xí)命名實(shí)體識(shí)別方法。例如:Hammerto[1]使用一種序列自組織圖模型SARDNET訓(xùn)練單詞表示向量,輸入LSTM模型進(jìn)行命名實(shí)體識(shí)別。Collobertd等[2]通過(guò)訓(xùn)練詞向量來(lái)完成多個(gè)序列標(biāo)注任務(wù),提出了窗口和句子兩種方法,在后者的模型中加入了一層卷積神經(jīng)網(wǎng)絡(luò)以獲取全局特征。Ma等[3]預(yù)訓(xùn)練了詞向量和單詞的字符級(jí)表示,組合了CNN,BiLSTM和CRF進(jìn)行命名實(shí)體識(shí)別。Kuru等[4]提出的CHarNER模型,是使用字符級(jí)的語(yǔ)義單元輸入雙向LSTM的技術(shù)方案。Huang等[5]系統(tǒng)研究了序列標(biāo)注任務(wù)在多種基于LSTM模型的性能,證明了BiLSTM-CRF模型的健壯性。Chiu等[6]提出了BiLSTM-CNNs的模型架構(gòu)進(jìn)行命名實(shí)體識(shí)別,其中CNNs用來(lái)獲取字符級(jí)的語(yǔ)義特征向量,并與原有的詞向量結(jié)合,BiLSTM用于NER預(yù)測(cè)。Lample等[7]提出兩種模型用于命名實(shí)體識(shí)別,第一種是BiLSTM結(jié)合CRF的模型結(jié)構(gòu),另一種是基于轉(zhuǎn)換的分塊模型。上述模型均在各種領(lǐng)域命名實(shí)體識(shí)別的應(yīng)用中得到過(guò)驗(yàn)證,例如:Liu等[8]使用KNN結(jié)合CRF的模型在推特文本中進(jìn)行命名實(shí)體識(shí)別;李麗雙等[9]通過(guò)結(jié)合深度神經(jīng)網(wǎng)絡(luò)構(gòu)建CNN-BILSTM-CRF模型對(duì)生物醫(yī)學(xué)命名實(shí)體進(jìn)行識(shí)別;梁立榮等[10]構(gòu)建層疊條件隨即場(chǎng)模型CCRF,用于醫(yī)院電子病歷文本信息抽取獲取了較為理想的效果;龔啟文等[11]結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了BiRNN-CRF算法模型來(lái)提取法院命名實(shí)體。

基于深度學(xué)習(xí)的命名實(shí)體識(shí)別模型通常接受的是數(shù)學(xué)化的語(yǔ)言表示,即通過(guò)Word2vec[12]、GloVe[13]和BERT[14]等方法訓(xùn)練得到的字、詞和句等不同語(yǔ)義單元粒度的嵌入向量,向量中包含的語(yǔ)義特征對(duì)模型識(shí)別性能具有非常關(guān)鍵的影響。因此,一些學(xué)者的研究工作是如何獲取具有更好語(yǔ)義特征的向量表示,例如:Alexandrescu等[15]提出了一種新型的神經(jīng)概率語(yǔ)言模型,學(xué)習(xí)從單詞和顯式單詞因子到連續(xù)空間的映射關(guān)系,將其用于單詞預(yù)測(cè)。Luong等[16]提出結(jié)合RNN與NLM的模型,在學(xué)習(xí)形態(tài)感知的單詞表示時(shí),同時(shí)考慮其上下文信息。Huang等[17]提出一種新的神經(jīng)網(wǎng)絡(luò)架構(gòu),通過(guò)結(jié)合局部和全局文檔上下文來(lái)學(xué)習(xí)詞嵌入,并通過(guò)學(xué)習(xí)每個(gè)單詞的多個(gè)嵌入,以得到不同語(yǔ)義下的詞向量表示。Li等[18]提出了兩種組件增強(qiáng)的漢字嵌入模型及其雙字?jǐn)U展,通過(guò)對(duì)詞相似性和文本分類(lèi)的評(píng)估驗(yàn)證了模型的有效性。Chen等[19]提出一種中文字符增強(qiáng)型詞嵌入模型(CWE),通過(guò)結(jié)合詞內(nèi)部信息,解決字符歧義和非組成詞的問(wèn)題?？梢钥闯?大多相關(guān)研究關(guān)注的重點(diǎn)在于,如何結(jié)合外部信息來(lái)豐富詞向量蘊(yùn)含的語(yǔ)義特征,但對(duì)不同粒度語(yǔ)義單元如何有效結(jié)合上關(guān)注較少。

2 數(shù)據(jù)采集與標(biāo)注

目前針對(duì)司法領(lǐng)域命名實(shí)體識(shí)別任務(wù),還沒(méi)有數(shù)量充分的標(biāo)注語(yǔ)料集,本文的語(yǔ)料數(shù)據(jù)主要來(lái)源于中國(guó)裁判文書(shū)網(wǎng),共計(jì)2 200份案件判決書(shū),其中包含民事、刑事和執(zhí)行三種類(lèi)型的案件。在實(shí)體標(biāo)注上,本文面向司法領(lǐng)域需求,設(shè)定5類(lèi)命名實(shí)體:人名(Nr)、地名(Ns)、機(jī)構(gòu)名(Nt)、案件名(Nc)和法律條文(Nl),采用BIOES方式進(jìn)行標(biāo)注,對(duì)語(yǔ)料分別進(jìn)行字標(biāo)注和詞標(biāo)注,如圖1所示。在詞標(biāo)注中使用HanLP開(kāi)發(fā)工具進(jìn)行分詞。

原告/O:/O萬(wàn)?娟/S-Nr,/O女/O,/O1979/O年/O?月/O?日/O出生/O,/O漢族/O,/O戶(hù)籍地/O浙江省/B-Ns麗水市/I-Ns蓮?區(qū)/I-Ns黃?村/I-Ns ??號(hào)/E-Ns,/O 現(xiàn)/O 住/O 陜西省西安市甘亭街道辦事處/B-Ns ??村/I-Ns ?/I-Ns 組/I-Ns ?/I-Ns 街/I-Ns ???號(hào)/E-Ns。/O 委托/O 訴訟/O 代理人/O:/O 陳?/B-Nr 進(jìn)/E-Nr,/O 浙江??律師事務(wù)所律師/S-Nt。/O

在標(biāo)注方式上,本文采用人工標(biāo)注和自動(dòng)標(biāo)注兩種方式,人工標(biāo)注語(yǔ)料集中包含200份裁判文書(shū),經(jīng)過(guò)人工標(biāo)注和檢驗(yàn),獲取高質(zhì)量標(biāo)注語(yǔ)料集。對(duì)于另2 000份文書(shū),根據(jù)法律文書(shū)中一些半結(jié)構(gòu)化特點(diǎn)和關(guān)鍵詞典,使用正則表達(dá)式和詞性標(biāo)注工具定義了相應(yīng)啟發(fā)式規(guī)則,例如:當(dāng)事人姓名和機(jī)構(gòu)名前通常會(huì)有“原告”“被告”這樣的訴訟地位;地名前通常會(huì)有“住址”“籍貫”等詞出現(xiàn);案件名通常由當(dāng)事人名稱(chēng)和案由名稱(chēng)組合而成;法律條文更是具有典型的結(jié)構(gòu)化特征?；谶@些啟發(fā)式規(guī)則開(kāi)發(fā)了相應(yīng)命名實(shí)體的自動(dòng)標(biāo)注工具,可以快速獲取標(biāo)注語(yǔ)料集,但其標(biāo)注質(zhì)量,尤其在召回率上與人工標(biāo)注語(yǔ)料相比有一定差距。

3 基于多粒度語(yǔ)義的法律文書(shū)NER模型及訓(xùn)練方法

目前被廣泛使用NER模型是基于BiLSTM-CRF[5]的網(wǎng)絡(luò)結(jié)構(gòu),并在各領(lǐng)域應(yīng)用中得到驗(yàn)證。本文面向法律文書(shū)命名實(shí)體識(shí)別的3個(gè)主要問(wèn)題,有針對(duì)性地對(duì)BiLSTM-CRF模型進(jìn)行改進(jìn),并以該模型作為實(shí)驗(yàn)對(duì)比的基準(zhǔn)方法。

3.1 多粒度語(yǔ)義單元的結(jié)合方式

本文采集了一個(gè)包含400多萬(wàn)份裁判文書(shū)的中文語(yǔ)料集,采用Word2vec的Skip-gram模型,分別訓(xùn)練得到司法領(lǐng)域詞向量和字向量模型,向量維度均為200維。

根據(jù)基準(zhǔn)方法BiLSTM-CRF模型在標(biāo)注語(yǔ)料上的表現(xiàn)來(lái)看,使用字向量對(duì)較短的命名實(shí)體(例如人名)具有更好的識(shí)別效果,而對(duì)于法律文書(shū)中地名、機(jī)構(gòu)名較長(zhǎng)的特點(diǎn),采用詞向量效果更好一些。分析主要原因在于:詞向量忽略了詞內(nèi)字的語(yǔ)義信息,另外,分詞質(zhì)量對(duì)采用詞向量的識(shí)別結(jié)果有很大影響,但另一方面,以單字作為語(yǔ)義單元的歧義性較大,可見(jiàn)詞向量和字向量各有優(yōu)劣,兩種語(yǔ)義單元相結(jié)合可以包含更全面的信息表示。

另外,不同案件類(lèi)型的裁判文書(shū)中,命名實(shí)體的上下文具有顯著差異,這種差異特征無(wú)法在細(xì)粒度語(yǔ)義單元中得到很好的表示,需要結(jié)合更大粒度的語(yǔ)義信息。目前句向量的構(gòu)造通?；谠~向量,即句子粒度在語(yǔ)義上和詞的作用相近,而且不同類(lèi)型案件的文書(shū)中,大多數(shù)句子間的類(lèi)型差異并不明顯,因此從案件類(lèi)型語(yǔ)義差異上考慮,篇章級(jí)的主題信息比句子粒度的語(yǔ)義信息具有更好的補(bǔ)充作用。本文使用LDA[20](Latent Dirichlet Allocation)模型的統(tǒng)計(jì)推理過(guò)程分別基于中文詞和字構(gòu)建主題模型。

1) 基于LDA模型的主題向量模型,如圖2所示。

LDA模型的訓(xùn)練語(yǔ)料是根據(jù)設(shè)定的主題,從Word2vec訓(xùn)練語(yǔ)料集中篩選出的子集,本文只選取了民事、刑事、執(zhí)行三類(lèi)案件的裁判文書(shū),再根據(jù)案件審理階段分為一審、非一審兩種情況,設(shè)定主題個(gè)數(shù)為6。Word2vec模型是通過(guò)語(yǔ)料中上下文對(duì)詞或字的語(yǔ)義表示,而LDA模型是針對(duì)所選定的主題及對(duì)應(yīng)語(yǔ)料,獲取主題在詞或字上的語(yǔ)義表示。以詞為例,按圖2所示構(gòu)建基于詞的主題模型,首先做出以下設(shè)定:

θ～Dir(α)

(1)

φ～Dir(β)

(2)

Z～P(θ)

(3)

W～P(Z,φ)

(4)

Dir=f(x1,x2,…,xK;α1,α2,…,αK)=

(5)

式中:θ是裁判文書(shū)中主題的概率分布,該分布是服從參數(shù)為α的Dirichlet分布的變量,如式(5)所示,α為K維向量,即對(duì)于任一篇裁判文書(shū)d,其主題分布為:θd=Dirichlet(α);同樣設(shè)定φ是主題中詞的概率分布,該分布是服從參數(shù)為β的Dirichlet分布的變量,β為V維向量,V表示文書(shū)語(yǔ)料集的詞典長(zhǎng)度,即對(duì)于任一主題z,其詞分布為φz=Dirichlet(β);Z是服從θ分布的主題變量,對(duì)文檔d中的第n個(gè)詞,可以從θd中得到主題編號(hào)zdn的分布:zdn=multi(θd),zdn∈{1,2,…,K};W是服從Z和φ分布的詞變量,可以得到詞wdn的概率分布:wdn=multi(φzdn),本文設(shè)定K=6?；谝陨显O(shè)定,可以得到如式(6)所示的聯(lián)合概率關(guān)系。

P(W,Z,θ,φ;α,β)=

(6)

式中:K為主題數(shù);M為裁判文書(shū)數(shù);N為文書(shū)中的詞數(shù),W是唯一可以觀察到的量,Z、θ、φ是中間隱含變量,α、β是需要確定的超參數(shù)。對(duì)式(6)進(jìn)一步處理:

(7)

(8)

本文要計(jì)算的就是超參α、β的極大似然估計(jì)值:

(9)

通過(guò)以上方法分別得到了字、詞和篇章三種粒度上的語(yǔ)義信息表示,對(duì)此,本文提出以下兩種結(jié)合方式分別獲取詞向量和字向量。

(10)

(11)

式中:i是指詞在句子中的位置;j是指字在詞中的位置;n是指詞的字?jǐn)?shù)。

(12)

3.2 BiLSTM-Attention-CRF模型

以上過(guò)程確定了模型的輸入向量,在模型的結(jié)構(gòu)上,本文在基準(zhǔn)模型BiLSTM-CRF中增加了Attention[21-22]機(jī)制。BiLSTM可以預(yù)測(cè)出每個(gè)語(yǔ)義單元屬于不同標(biāo)簽的概率,但無(wú)法感知標(biāo)簽之間的關(guān)聯(lián)性,在BiLSTM上接入CRF,使得模型在計(jì)算最優(yōu)標(biāo)簽序列時(shí),考慮到標(biāo)簽組合的合理性,這種合理性體現(xiàn)在CRF的轉(zhuǎn)移矩陣中。在BiLSTM和CRF之間加入Attention機(jī)制,可以在語(yǔ)義單元特征中加入全局注意力信息,為CRF計(jì)算最優(yōu)路徑時(shí)突出關(guān)鍵詞的影響。

(13)

(14)

(15)

得到雙向LSTM提取的特征狀態(tài)值,進(jìn)入全連接層,該層在基于輔助優(yōu)化的訓(xùn)練中,具有融合輔助特征到統(tǒng)一維度的作用。

(16)

ha=dense(hm)=φ(θahm+ba)

(17)

α=softmax(ha)

(18)

(19)

(20)

(21)

式中:A為CRF的轉(zhuǎn)移矩陣,P為BiLSTM-Attention輸出的標(biāo)注概率矩陣?？梢杂?jì)算把輸入句子x標(biāo)記為序列y的概率為:

(22)

式中:Yx是句子x所有可能的標(biāo)注序列集合。根據(jù)式(22)得到如下對(duì)數(shù)似然函數(shù):

(23)

CRF在預(yù)測(cè)中使用Viterbi算法來(lái)求解最優(yōu)路徑,即得到概率最大的一組標(biāo)注序列:

(24)

3.3 基于輔助優(yōu)化的模型訓(xùn)練方式

針對(duì)司法標(biāo)注語(yǔ)料匱乏問(wèn)題,文本采用輔助優(yōu)化[24-25]的訓(xùn)練方式,借助快速獲取的自動(dòng)標(biāo)注語(yǔ)料集提高模型性能,減少模型對(duì)人工標(biāo)注語(yǔ)料的依賴(lài)。訓(xùn)練過(guò)程如圖3所示。

圖3 基于輔助優(yōu)化的模型訓(xùn)練方式

hi,main=BiLSTMmain(xi)

(25)

hi,aux=BiLSTMaux(xi)

(26)

(27)

當(dāng)輸入的句子是自動(dòng)標(biāo)注語(yǔ)料時(shí),只執(zhí)行輔助任務(wù),當(dāng)輸入來(lái)自人工標(biāo)注語(yǔ)料集時(shí),會(huì)同時(shí)執(zhí)行主任務(wù)和輔助任務(wù),因此訓(xùn)練依據(jù)的損失函數(shù)是兩者損失函數(shù)的加權(quán)組合,λ是一個(gè)可調(diào)控的組合系數(shù)。對(duì)λ在[0,1]區(qū)間取值,通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn),當(dāng)λ取值0.65時(shí),本文模型獲取最高的F1值,因此設(shè)λ=0.65。

lossauxopt=λlossmain+(1-λ)lossaux

(28)

4 實(shí)驗(yàn)與結(jié)果分析

本文從人工標(biāo)注語(yǔ)料集中隨機(jī)選取150份裁判文書(shū)作為NER主任務(wù)的訓(xùn)練語(yǔ)料,剩余50份用于測(cè)試,自動(dòng)標(biāo)注語(yǔ)料集中全部2 000份文書(shū)用于輔助任務(wù)訓(xùn)練。另外,根據(jù)句長(zhǎng)分布情況,無(wú)論以詞還是字作為語(yǔ)義單元,模型接收的句子長(zhǎng)度設(shè)為200。數(shù)據(jù)集情況如表1所示。

表1 數(shù)據(jù)集情況

4.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文方法的識(shí)別效果,實(shí)驗(yàn)?zāi)Ｐ蜁r(shí)采用相同數(shù)據(jù)集,以及相同參數(shù)設(shè)置,如表2所示。評(píng)測(cè)采用在NER任務(wù)上廣泛使用的指標(biāo):Precision、Recall和F1。

表2 模型參數(shù)設(shè)置

4.2 結(jié)果分析

本文以BiLSTM-CRF為基準(zhǔn)方法,對(duì)比測(cè)試BiLSTM-Attention-CRF網(wǎng)絡(luò)結(jié)構(gòu)增加輔助優(yōu)化訓(xùn)練前后的識(shí)別效果,分別采用詞向量、結(jié)合字及主題信息的詞向量、結(jié)合詞及主題信息的字向量,三種語(yǔ)義表示進(jìn)行測(cè)試,結(jié)果如表3所示,其中指標(biāo)是對(duì)所有實(shí)體識(shí)別結(jié)果的統(tǒng)計(jì)。

表3 模型結(jié)果對(duì)比(%)

可以看出,與基準(zhǔn)方法相比,增加了Attention機(jī)制的模型實(shí)驗(yàn)效果更好,根據(jù)模型分析,CRF學(xué)到的是標(biāo)簽之間的轉(zhuǎn)移概率,而Attention機(jī)制在每個(gè)語(yǔ)義單元特征中加入全局注意力信息,為CRF計(jì)算最優(yōu)路徑時(shí)突出句中關(guān)鍵詞的作用,弱化非關(guān)鍵詞的影響。以表4中的標(biāo)注語(yǔ)料為例,基準(zhǔn)模型對(duì)當(dāng)事人現(xiàn)住地址識(shí)別為:“陜西省西安市甘亭街道辦事處/B-Ns **村/E-Ns */O 組/O */O 街/O ***號(hào)/O”,而增加Attention的模型識(shí)別結(jié)果與標(biāo)注語(yǔ)料一致,對(duì)比結(jié)果分析:語(yǔ)料中存在較多以某村為結(jié)尾的地名,使得學(xué)習(xí)到的基準(zhǔn)模型沒(méi)有標(biāo)注完整,但Attention機(jī)制對(duì)后半段地址的強(qiáng)化作用起到了修正的效果。

表4 各實(shí)體結(jié)果對(duì)比(%)

另外,從結(jié)果可以看出,使用本文提出的結(jié)合多粒度語(yǔ)義單元信息的表示方式,實(shí)驗(yàn)結(jié)果明顯由于詞本身的向量表示,證明了多個(gè)粒度上的語(yǔ)義信息對(duì)NER任務(wù)的有效性。對(duì)本文提出的兩種結(jié)合方式比較,結(jié)合詞及主題信息的字向量比結(jié)合字及主題信息的詞向量具有更好的效果,為了更好地分析原因,采用BiLSTM-Attention-CRF+輔助優(yōu)化的方式,對(duì)本文設(shè)定的5種實(shí)體類(lèi)型分別統(tǒng)計(jì)指標(biāo)值進(jìn)行對(duì)比,如表4所示。

從各實(shí)體識(shí)別結(jié)果分析,使用字向量?jī)?yōu)于詞向量的原因主要有三方面:一是法律文書(shū)中人名實(shí)體較多,這種短實(shí)體更適用于字向量,例如基于詞向量會(huì)把表4中的一處人名標(biāo)注為“委托/O 訴訟/O 代理人/O:/O 陳*/S-Nr 進(jìn)O”,而基于字向量得到正確結(jié)果;二是在同樣規(guī)模的語(yǔ)料中,字相比于詞具有更短的詞典,可以得到更充分的訓(xùn)練;三是分詞結(jié)果并非完全準(zhǔn)確。

5 結(jié) 語(yǔ)

本文深入探究了法律文書(shū)命名實(shí)體識(shí)別的主要問(wèn)題,并針對(duì)具體問(wèn)題提出相應(yīng)的解決方法。對(duì)于識(shí)別模型在不同案件類(lèi)型的文書(shū)中魯棒性差的問(wèn)題,采用LDA模型獲取主題向量,提供篇章級(jí)粒度的語(yǔ)義信息。對(duì)于語(yǔ)義表示涵蓋信息片面的問(wèn)題,提出了兩種多粒度語(yǔ)義單元結(jié)合方式:結(jié)合字及主題信息的詞向量、結(jié)合詞及主題信息的字向量,為模型輸入提供了更全面的語(yǔ)義表示。對(duì)于法律文書(shū)命名實(shí)體識(shí)別標(biāo)注語(yǔ)料不充足的問(wèn)題,采用基于輔助優(yōu)化的模型訓(xùn)練方式,減少模型對(duì)人工標(biāo)注語(yǔ)料的依賴(lài)。在模型上采用BiLSTM-Attention-CRF網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)增加Attention機(jī)制,為每個(gè)語(yǔ)義單元特征中加入全局注意力信息,從而強(qiáng)化了句中關(guān)鍵詞對(duì)當(dāng)前標(biāo)簽判斷的作用。最后通過(guò)實(shí)驗(yàn)證明,本文提出的各種優(yōu)化方法都是有效的,在現(xiàn)有分詞工具的性能基礎(chǔ)上,采用結(jié)合詞及主題信息的字向量作為BiLSTM-Attention-CRF模型的輸入語(yǔ)義表示,可以獲取最好的識(shí)別效果。

雖然本文在模型結(jié)構(gòu)、輸入表示、訓(xùn)練方式進(jìn)行了優(yōu)化研究,但在具體參數(shù)上還可以進(jìn)一步通過(guò)細(xì)化實(shí)驗(yàn),對(duì)最優(yōu)方案進(jìn)行深入研究,比如在多粒度語(yǔ)義單元的結(jié)合方式上,本文采用的是淺層結(jié)合的方式,可以嘗試如CNN和RNN這類(lèi)深層結(jié)合方式進(jìn)行對(duì)比測(cè)試。另外,輔助優(yōu)化語(yǔ)料數(shù)量對(duì)主任務(wù)影響的關(guān)系,也需要進(jìn)行更深入的研究。