面向新聞領(lǐng)域的中文實(shí)體關(guān)系抽取*

王 博，王 侃，王成剛，劉 然，劉威鵬，黃慧榮

(1.北京信息技術(shù)研究所，北京 100093；2.中國西南電子技術(shù)研究所，成都 610036；3.西北工業(yè)大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，西安 710129)

0 引 言

由于互聯(lián)網(wǎng)普及度提高和互聯(lián)網(wǎng)媒體平臺的不斷發(fā)展，新聞事件可以快速地通過各種媒體平臺被網(wǎng)絡(luò)用戶獲取。除了用戶量大、傳播速度快的特點(diǎn)外，互聯(lián)網(wǎng)新聞文本在信息抽取和文本數(shù)據(jù)結(jié)構(gòu)化方面還面臨信息內(nèi)容的海量性、內(nèi)容多樣性和新鮮詞匯層出不窮的挑戰(zhàn)。

隨著互聯(lián)網(wǎng)新聞平臺和自媒體的發(fā)展，人們從海量的互聯(lián)網(wǎng)新聞數(shù)據(jù)中獲取有用信息和針對互聯(lián)網(wǎng)輿情管控的難度也越來越大，在此背景下僅僅對關(guān)鍵詞搜索已經(jīng)不能滿足人們的很多需求；為了更方便地從互聯(lián)網(wǎng)信息源中挖掘出人們需要的信息，需要把無結(jié)構(gòu)的文本數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)[1]。在上述實(shí)際要求背景下，人們針對互聯(lián)網(wǎng)新聞數(shù)據(jù)進(jìn)行實(shí)體關(guān)系抽取，計(jì)算機(jī)以關(guān)系三元組(實(shí)體1、關(guān)系、實(shí)體2)的方式對文本形式信息數(shù)據(jù)的存儲、查詢以及管理。實(shí)體關(guān)系抽取目的就是識別文本中的實(shí)體與實(shí)體之間的語義關(guān)系，并將關(guān)系抽取結(jié)果描述為三元組。實(shí)體定義為文本中特定的事實(shí)信息，有三種形式：命名性指稱、名詞性指稱以及代詞性指稱[2-3]。實(shí)體關(guān)系抽取也可以描述為對給定的文本數(shù)據(jù)中存在的信息載體的關(guān)系抽取。

實(shí)體關(guān)系抽取作為信息抽取任務(wù)之一，是信息抽取的研究熱點(diǎn)。實(shí)體關(guān)系抽取的研究范圍從最初的特定領(lǐng)域的語料庫，到目前對海量的互聯(lián)網(wǎng)文本；研究方法也是從基于規(guī)則的方法[4]發(fā)展到現(xiàn)在基于機(jī)器學(xué)習(xí)的方法和開放式實(shí)體關(guān)系抽取方法[5-6]；實(shí)體關(guān)系抽取對象包含句子內(nèi)實(shí)體關(guān)系抽取[7-9]、兩個句子之間的實(shí)體關(guān)系抽取[10]以及文檔級別的實(shí)體關(guān)系抽取[11]，目前研究的熱點(diǎn)是句子內(nèi)的實(shí)體關(guān)系抽取。結(jié)合深度學(xué)習(xí)的發(fā)展，把深度學(xué)習(xí)應(yīng)用到實(shí)體關(guān)系抽取是研究方向之一。

國外關(guān)于實(shí)體關(guān)系抽取的研究工作是在1997年最后一次消息理解會議(Message Understand Conference，MUC-7)上提出的，在該評測會議上實(shí)體關(guān)系分為三類：位置關(guān)系(location_of)、雇傭關(guān)系(employee_of)和生產(chǎn)關(guān)系(product_of)，使用的關(guān)系抽取方法是基于規(guī)則的[2]。在此之后，2000年出現(xiàn)的自動內(nèi)容抽取(Automatic Content Extraction，ACE)評測會議把關(guān)系抽取列為重要任務(wù)之一，ACE-2004會議上將實(shí)體關(guān)系擴(kuò)充到7種；ACE-2005提出多語言版本的語料庫用于實(shí)體識別、關(guān)系抽取和事件抽取任務(wù)，本文在實(shí)驗(yàn)中使用該語料庫；ACE-2008關(guān)系抽取任務(wù)中把實(shí)體關(guān)系的7種類型又細(xì)分為18個子類。ACE會議自2009年被歸入文本分析會議(Text Analysis Conference，TAC)，TAC會議把實(shí)體關(guān)系抽取并入知識庫構(gòu)建領(lǐng)域任務(wù)中。在英文方面實(shí)體關(guān)系抽取的另外一個國際評測會議是SemEval評測會議，其中SemEval-2010任務(wù)8是句子中名詞對關(guān)系識別，關(guān)系種類有9種，包含原因-影響、器械-操作員、產(chǎn)品-廠家、內(nèi)容-容器、實(shí)體-產(chǎn)地、實(shí)體-目的地、組件-整體、成員-集體、消息-話題和一個其他類[12]。

在自然語言問題評測會議中，主要針對各種特定的數(shù)據(jù)集，使用的方法主要是集中基于機(jī)器學(xué)習(xí)的方法?；跈C(jī)器學(xué)習(xí)的方法依據(jù)對語料庫的依賴程度劃分，可以分有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。有監(jiān)督的學(xué)習(xí)算法使用的語料庫是完全標(biāo)注的，該算法使用標(biāo)注語料庫對關(guān)系分類模型進(jìn)行訓(xùn)練，然后在測試數(shù)據(jù)集上識別實(shí)體關(guān)系，包含基于特征向量算法[13]和基于核函數(shù)算法[13-14]。基于半監(jiān)督學(xué)習(xí)算法使用的數(shù)據(jù)集是部分?jǐn)?shù)據(jù)進(jìn)行了標(biāo)注，包含自舉算法[15]和遠(yuǎn)程監(jiān)督學(xué)習(xí)算法[16-17]。該算法具有適應(yīng)性強(qiáng)、人工標(biāo)注數(shù)據(jù)少的特點(diǎn)。無監(jiān)督學(xué)習(xí)算法[18]是完全不依賴于數(shù)據(jù)標(biāo)注信息，但是需要大量的語料數(shù)據(jù)，通常利用聚類的方法，把同一關(guān)系的文本數(shù)據(jù)聚合在一起，不能針對一對實(shí)體進(jìn)行劃分實(shí)體關(guān)系。

關(guān)于中文的實(shí)體關(guān)系識別起步比較晚，目前關(guān)于中文的實(shí)體關(guān)系抽取研究主要工作集中在基于機(jī)器學(xué)習(xí)的算法和開放式關(guān)系抽取算法，但是缺乏大規(guī)模的標(biāo)準(zhǔn)中文實(shí)體關(guān)系抽取數(shù)據(jù)集，因而關(guān)于利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)中文實(shí)體關(guān)系抽取研究比較少。關(guān)于中文的實(shí)體關(guān)系抽取方面的會議也比較少，有自然語言處理與中文計(jì)算(Natural Language Processing and Chinese Computing,NLPCC)會議、中文傾向性分析評測(Chinese Opinion Analysis Evaluation,COAE)會議。除此之外，ACE-2004/2005多語言語料庫中包含中文實(shí)體關(guān)系識別內(nèi)容。

中英文之間的差別使得適用于英文的關(guān)系抽取算法不能直接移植到中文上面。中英文之間的差別主要在于以下四點(diǎn)：一是中文沒有明顯的分隔符；二是中文中的詞比英語存在更多的歧義語義；三是中文的詞語由字組合而成，常用漢字有3 000個，復(fù)雜程度很高；四是中文的詞法語態(tài)信息沒有英語豐富，比如中文沒有時態(tài)、字母大小寫等特征。

1 面向中文實(shí)體識別的雙向樹形LSTM模型

面向中文實(shí)體識別的雙向樹形LSTM(Long Short-Term Memory)是建立在依存關(guān)系樹上的長短時記憶網(wǎng)絡(luò)變體模型。標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)輸入特征向量是按照句子的字序輸入，即從句子中的第一個漢字依次輸入特征向量。雙向LSTM網(wǎng)絡(luò)由正向的LSTM和反向的LSTM組成，其中的反向LSTM是從句尾依次輸入特征向量。雙向樹形LSTM網(wǎng)絡(luò)的輸入特征向量是按照依存句法樹的結(jié)構(gòu)依次輸入特征向量，正向的樹形LSTM從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)，反向的樹形LSTM從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)。該模型建立依賴于句子的依存句法分析結(jié)果。樹形LSTM模型和標(biāo)準(zhǔn)LSTM模型比較，改進(jìn)的模型可以提取詞語與詞語之間依存關(guān)系特征和句法特征，樹形LSTM神經(jīng)元三個控制門的輸入數(shù)據(jù)不僅僅是該漢字相鄰的漢字的LSTM神經(jīng)元狀態(tài)值和輸出值，還包含在依存句法分析中存在依存關(guān)系的詞語的狀態(tài)和輸出值。Aguilar等人[18]在英文依存句法樹上建立的正向樹形LSTM模型，Jie等人[19]使用英文依存句法特征實(shí)現(xiàn)實(shí)體識別，但是基于依存句法樹的中文樹形LSTM模型和英文樹形LSTM模型存在的差別。圖1是以簡單句子“西北工業(yè)大學(xué)位于古都西安”的中文和依存句法分析結(jié)果。

圖1 “西北工業(yè)大學(xué)位于古都西安”依存句法樹

圖1中的中文依存句法樹是用哈工大LTP得到的，英文依存句法樹是用Stanford NLP工具得到的。圖1(b)的依存關(guān)系樹中是以單詞為節(jié)點(diǎn)，英文的實(shí)體識別標(biāo)注對象也是單詞；圖1(a)的依存關(guān)系樹中是以中文詞語為節(jié)點(diǎn)，但是中文實(shí)體識別的標(biāo)注對象是漢字。例如Northwestern標(biāo)注為B-ORG，而在中文依存句法分析中“西北”在句子中作數(shù)據(jù)標(biāo)注的是“西：B-ORG”和“北：I-ORG”；相比較于基于英文的樹形LSTM網(wǎng)絡(luò)結(jié)構(gòu)，中文的樹形LSTM網(wǎng)絡(luò)模型比較復(fù)雜。本文提出的面向中文的正向和反向樹形LSTM模型如圖2所示，在結(jié)構(gòu)示意圖中依然是以簡單的句子“西北工業(yè)大學(xué)位于古都西安”為例。

(a)正向樹形LSTM結(jié)構(gòu)圖

(b)反向樹形LSTM結(jié)構(gòu)圖

圖2中雙向樹形LSTM網(wǎng)絡(luò)神經(jīng)元標(biāo)注為TLSTM Cell，在正向樹形LSTM網(wǎng)絡(luò)中每個TLSTM Cell的輸入特征包含兩部分：第一部分是依存句法樹中當(dāng)前節(jié)點(diǎn)的所有子節(jié)點(diǎn)的神經(jīng)元輸出值和狀態(tài)值，第二部分是當(dāng)前節(jié)點(diǎn)中，上一個漢字的神經(jīng)元輸出值和狀態(tài)值，例如在圖 2(a)中漢字“學(xué)”的輸入向量包含該字的詞向量和漢字“大”“工”“業(yè)”三個字的神經(jīng)元狀態(tài)值和輸出值。中文實(shí)體識別的正向樹形LSTM神經(jīng)元的數(shù)學(xué)表達(dá)式為

(1)

式中：hj表示所有當(dāng)前漢字子節(jié)點(diǎn)神經(jīng)元輸出值hk的求和；chiildnode(j)表示節(jié)點(diǎn)j所有子節(jié)點(diǎn)的集合；cj表示所有子節(jié)點(diǎn)的狀態(tài)值和當(dāng)前節(jié)點(diǎn)中上一個漢字的狀態(tài)值cj,t-1的拼接結(jié)果；hj,t-1表示上一個漢字神經(jīng)元的輸出值；n表示子節(jié)點(diǎn)所有漢字的數(shù)量；fj,t表示遺忘門控制變量；ot表示輸出門控制變量；ij,t表示輸入門控制變量；Wf,Wi,Wo表示神經(jīng)元中當(dāng)前漢字輸入特征在控制門中的權(quán)重矩陣；Uf,1、Ui,1、Uo,1表示子節(jié)點(diǎn)漢字的神經(jīng)元輸出值在控制門中的權(quán)重矩陣，Uf,2、Ui,2、Uo,2表示上一個漢字的神經(jīng)元輸出值在控制門中的權(quán)重矩陣；bf、bi、bo表示表示神經(jīng)元控制門的偏置向量；ct表示當(dāng)前漢字神經(jīng)元的狀態(tài)值；ht表示當(dāng)前漢字神經(jīng)元的輸出值。

正向樹形和標(biāo)準(zhǔn)的LSTM網(wǎng)絡(luò)的神經(jīng)元相比，在控制門中加入了依存句法樹中子節(jié)點(diǎn)特征信息，模型能夠提取長距離的依存關(guān)系特征和句法特征。在三個控制門中，遺忘門的計(jì)算方式和輸出門、輸入門不同。輸入門和輸出門使用輸出值hj和hj,t-1的求和，而遺忘門對每個字符輸出值計(jì)算各自的遺忘門值。這種遺忘門計(jì)算方式對于不同的漢字，控制對當(dāng)前漢字的影響程度，即輸入門控制當(dāng)前輸入特征對神經(jīng)元狀態(tài)值的影響和輸出門控制狀態(tài)值cj和cj,t-1對輸出向量的影響。

反向樹形LSTM神經(jīng)元和正向樹形LSTM相比，將子節(jié)點(diǎn)神經(jīng)元的狀態(tài)值和輸出值改為父節(jié)點(diǎn)神經(jīng)元狀態(tài)值和輸出值，其他部分是一致的，即在公式(1)中第二個式子改為

(2)

式中：cj表示父節(jié)點(diǎn)的狀態(tài)值和當(dāng)前節(jié)點(diǎn)中上一個漢字的狀態(tài)值cj,t-1的拼接結(jié)果,n表示父節(jié)點(diǎn)所有漢字的數(shù)量。

雙向樹形LSTM網(wǎng)絡(luò)建立在依存句法樹上，在控制門中加入了依存句法樹中子節(jié)點(diǎn)特征信息，能夠獲取來自于依存關(guān)系樹中父節(jié)點(diǎn)和子節(jié)點(diǎn)的特征信息。正向樹形LSTM網(wǎng)絡(luò)獲取依存關(guān)系樹中當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)特征信息，反向樹形LSTM網(wǎng)絡(luò)提取父節(jié)點(diǎn)的特征信息。雙向樹形LSTM網(wǎng)絡(luò)的輸入特征中可以包含詞向量、詞性特征等，網(wǎng)絡(luò)的輸出向量是依存關(guān)系特征、句法特征和輸入特征的融合特征。雙向樹形LSTM網(wǎng)絡(luò)的輸出特征由正向樹形LSTM網(wǎng)絡(luò)輸出特征H1和反向樹形LSTM網(wǎng)絡(luò)的輸出特征H2拼接而成。

本文提出的基于雙向樹形LSTM網(wǎng)絡(luò)模型和條件隨機(jī)場模型主要包含三個數(shù)據(jù)處理模塊：雙向樹形LSTM、Bi-LSTM和條件隨機(jī)場(Conditional Random Field,CRF)。雙向樹形LSTM網(wǎng)絡(luò)模型提取融合長距離的依存關(guān)系特征和句法特征，正向樹形LSTM網(wǎng)絡(luò)獲取依存關(guān)系樹中當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)特征信息，反向樹形LSTM網(wǎng)絡(luò)提取父節(jié)點(diǎn)的特征信息；Bi-LSTM可以有效提取當(dāng)前漢字的過去特征和未來特征，正向LSTM網(wǎng)絡(luò)記錄過去時刻的特征信息，反向LSTM提取將來時刻的特征信息；CRF是在神經(jīng)網(wǎng)絡(luò)提取特征的基礎(chǔ)上對中文漢字進(jìn)行標(biāo)注實(shí)現(xiàn)實(shí)體識別。圖3是基于雙向樹形LSTM網(wǎng)絡(luò)模型和條件隨機(jī)場模型的結(jié)構(gòu)示意圖。

圖3 算法流程圖

2 實(shí)驗(yàn)測試

本文在ACE 2005語料庫上訓(xùn)練并測試基于雙向樹形LSTM實(shí)體識別算法模型的有效性。

操作系統(tǒng)為ubantu 18.04，依存句法分析工具為哈工大LTP3.4.0，Python版本3.7.0。

2.1 實(shí)體識別語料庫數(shù)據(jù)預(yù)處理

基于雙向樹形LSTM和條件隨機(jī)場的實(shí)體識別模型在識別實(shí)體的過程中是將實(shí)體識別問題轉(zhuǎn)化為數(shù)據(jù)標(biāo)注的問題，要求對每個漢字標(biāo)注一個標(biāo)簽。但是在使用的新聞?wù)Z料庫中數(shù)據(jù)的標(biāo)簽格式不滿足模型的需求；除此之外，本文是針對句子中的實(shí)體識別，使用的語料庫中文本數(shù)據(jù)是段落的形式，因此還需要對數(shù)據(jù)進(jìn)行段落分割。數(shù)據(jù)預(yù)處理實(shí)現(xiàn)數(shù)據(jù)標(biāo)簽格式的轉(zhuǎn)化和段落分割為句子。

ACE 2005語料庫是國際評測會議ACE在2005年發(fā)布的數(shù)據(jù)集，目前可以在語言聯(lián)盟中獲取。ACE RDC是多語言數(shù)據(jù)集，包含中文、英文和阿拉伯語，該語料庫主要針對自然語言問題的三項(xiàng)基本任務(wù)——實(shí)體識別，值、事件表達(dá)式，關(guān)系和事件。中文語料庫的數(shù)據(jù)采集來自于廣播新聞(298篇)、新聞專線(238篇)和微博(93篇)，文檔總數(shù)量是629篇。

ACE 2005語料庫中包含四類文件，在實(shí)體識別和關(guān)系抽取任務(wù)中，主要是使用源文本文件和注釋文件。圖4和圖5分別是該語料庫中廣播新聞?wù)Z料庫的源文本文件和實(shí)體數(shù)據(jù)的注釋示例。

圖4 ACE 2005語料庫源文本文件示例

圖5 ACE 2005語料庫標(biāo)注文件

圖4所示語料庫中的中文源文本文件數(shù)據(jù)存在大量的空格和換行標(biāo)識符，需要對源文本文件進(jìn)行正則化處理，即在數(shù)據(jù)預(yù)處理階段需要消除源文本文件中的空格和換行標(biāo)識符，否則在實(shí)體標(biāo)注文件中，會導(dǎo)致實(shí)體位置信息出現(xiàn)誤差。而且由于本文主要研究針對句子中的實(shí)體關(guān)系抽取，因此實(shí)體識別也是主要針對以句子為單位，識別單個句子中的實(shí)體關(guān)系。與此同時依據(jù)句子標(biāo)識符(“?！薄埃俊薄?！”)將段落轉(zhuǎn)化為單個句子。

圖5所示語料庫標(biāo)注文件主要是XML文件，在該文件中標(biāo)注了實(shí)體在源文本文件中的位置信息和對這個實(shí)體類別、子類別的注釋，在該語料庫中定義實(shí)體種類有七種。在數(shù)據(jù)預(yù)處理過程，將源文件的段落轉(zhuǎn)化為句子，同時也需要把實(shí)體標(biāo)簽信息轉(zhuǎn)化為相對應(yīng)的句子中。本文使用Python語言和xml.etree工具包實(shí)現(xiàn)數(shù)據(jù)解析。ACE 2005語料庫數(shù)據(jù)預(yù)處理的流程如下：

輸入語料庫源文本文件.sgm為S0，注釋文件.apf.xml，正則化后的源文本為S1

1：讀取注釋文件，使用xml.etree找到實(shí)體的類別、子類、位置和內(nèi)容信息S2

2：讀取源文件，清除源文本中節(jié)點(diǎn)標(biāo)志信息，便于與實(shí)體注釋位置信息對應(yīng)

3：使用python正則化模塊re對源文本數(shù)據(jù)的空格和換行符進(jìn)行替換

4：for entity inS2：

5： 利用實(shí)體在S0的位置更新實(shí)體在S1位置信息

6： ifS1[entity[start]:entity[end]]== entity[content] then

7： 校驗(yàn)在S1中entity位置所在詞語是否與entity中的內(nèi)容一致

8： else:

9： 從新校驗(yàn)該文件實(shí)體位置信息

10：for char inS2：

11： if char in set(‘?！ⅰ?？’、‘！’)

12： 獲取單個句子sentence，依據(jù)該句子在S2位置信息找到該句子中所有實(shí)體

13： for char_ in sentence:

14： 依據(jù)SBIOE標(biāo)簽格式和實(shí)體位置信息對句子sentence中的每個漢字打上標(biāo)簽

15： else:

16： 當(dāng)前句子中添加當(dāng)前漢字

在數(shù)據(jù)預(yù)處之后，數(shù)據(jù)的表示為每個漢字均有唯一對應(yīng)位標(biāo)簽，標(biāo)簽的格式是位置標(biāo)簽和類別標(biāo)簽的復(fù)合標(biāo)簽格式。圖6和表1是針對語料庫中廣播新聞數(shù)據(jù)預(yù)處理后的文本數(shù)據(jù)的實(shí)體統(tǒng)計(jì)。

圖6 ACE 2005 語料庫實(shí)體長度分布

表1 ACE 2005 語料庫實(shí)體數(shù)量統(tǒng)計(jì)

在實(shí)體長度分布統(tǒng)計(jì)中，大部分的是數(shù)據(jù)是小于等于4的；實(shí)體長度大于4的數(shù)據(jù)中，實(shí)體數(shù)目是1 468，大約占總數(shù)量的5.46%。因此在模型的局部注意力機(jī)制模塊中，使用的窗口長度是5，該窗口長度可以使得大部分實(shí)體中間的漢字也可以覆蓋實(shí)體周圍區(qū)域的非實(shí)體漢字。

在上述各種類別的實(shí)體中，實(shí)體分布是不均衡的，例如人名的實(shí)體數(shù)量特別多，達(dá)到了11 656個，但是關(guān)于武器的這種數(shù)量僅僅是380個，數(shù)量差距比較大。這會導(dǎo)致模型對武器類的實(shí)體識別能力較差。

2.2 實(shí)驗(yàn)設(shè)計(jì)

在雙向樹形LSTM網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)標(biāo)注的過程中，雙向樹形LSTM和標(biāo)準(zhǔn)的LSTM網(wǎng)絡(luò)的作用是對使用的詞向量等特征進(jìn)行融合，用條件隨機(jī)場實(shí)現(xiàn)數(shù)據(jù)標(biāo)注。但是在不同的語料庫中，由于實(shí)體的種類不一致，因此在條件隨機(jī)場中概率轉(zhuǎn)移矩陣的尺寸不一樣，而且相比于每個語料庫中標(biāo)簽的種類，條件隨機(jī)場的概率轉(zhuǎn)移矩陣需要加上句子填充標(biāo)簽和概率開始/結(jié)束標(biāo)簽。模型的實(shí)驗(yàn)參數(shù)見表2。

表2 網(wǎng)絡(luò)參數(shù)設(shè)置

2.3 實(shí)驗(yàn)結(jié)果

自然語言問題中模型的評價指標(biāo)一般用準(zhǔn)確率(Precision，P)、召回率(Recall，R)和F1值。準(zhǔn)確率代表著正確識別的實(shí)體在標(biāo)注樣本實(shí)體中的比例；召回率表示正確分類的實(shí)體在所有識別的實(shí)體中的比例；F1值為準(zhǔn)確率和召回率的一個調(diào)和平均值，是一個綜合指標(biāo)。各指標(biāo)具體計(jì)算方法如下：

(3)

(4)

(5)

式(3)～(5)中：TP表示正確實(shí)體標(biāo)注正確，F(xiàn)P表示正確實(shí)體標(biāo)注錯誤，TN表示非實(shí)體標(biāo)注為實(shí)體。

在ACE 2005語料庫中采用條件隨機(jī)場實(shí)現(xiàn)數(shù)據(jù)標(biāo)注，使用LSTM網(wǎng)絡(luò)實(shí)現(xiàn)特征融合，使得輸入條件隨機(jī)場中的特征更加具有上下文特征，且沒有使用注意力機(jī)制條件和無殘差網(wǎng)絡(luò)的條件下實(shí)體識別效果。

實(shí)驗(yàn)1是在無詞性標(biāo)注的條件下使用單層Bi-LSTM網(wǎng)絡(luò)實(shí)現(xiàn)特征融合,實(shí)驗(yàn)2是使用單層Bi-LSTM和詞性標(biāo)注，實(shí)驗(yàn)3使用雙層Bi-LSTM和詞性標(biāo)注特征,實(shí)驗(yàn)4是在詞性標(biāo)注的條件下使用雙向樹形LSTM和Bi-LSTM融合特征。實(shí)驗(yàn)結(jié)果見表3。

表3 ACE 2005多語種語料庫實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)1和實(shí)驗(yàn)2結(jié)果相比，驗(yàn)證了在使用詞性標(biāo)注的條件下對于實(shí)體的識別效果是有很大提高的。實(shí)驗(yàn)3和實(shí)驗(yàn)4是在詞性標(biāo)注條件下使用雙層LSTM網(wǎng)絡(luò),實(shí)驗(yàn)3中使用的是雙層Bi-LSTM，與實(shí)驗(yàn)2和實(shí)驗(yàn)4相比，模型的準(zhǔn)確率、召回率和F1值均是比較差的，LSTM網(wǎng)絡(luò)在處理較長的句子容易出現(xiàn)梯度消失，無法對第一層LSTM網(wǎng)絡(luò)的參數(shù)進(jìn)行指導(dǎo)性調(diào)整。實(shí)驗(yàn)4中雙向樹形LSTM和Bi-LSTM的模型是本文提出的模型，該模型的各項(xiàng)指標(biāo)在實(shí)驗(yàn)中是最好的。圖7是四個實(shí)驗(yàn)在ACE 2005語料庫中各個類別實(shí)體的F1值。

圖7 無注意力機(jī)制的模型對各個實(shí)體類別F1值

在圖7中，本文模型表示的在詞性標(biāo)注信息下的雙向樹形LSTM+Bi-LSTM模型。在本文的改進(jìn)模型中，在地理政治類別的F1值改變不明顯，在其他類別中F1值均有顯著提高。

3 結(jié) 論

基于雙向樹形長短時記憶網(wǎng)絡(luò)和條件隨機(jī)場的中文實(shí)體識別模型，雙向樹形LSTM網(wǎng)絡(luò)可以提取句子中的長距離依存關(guān)系特征和句法特征信息，其中正向樹形LSTM網(wǎng)絡(luò)獲取依存關(guān)系樹中當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)特征信息，反向樹形LSTM網(wǎng)絡(luò)提取父節(jié)點(diǎn)的特征信息。雙向樹形LSTM提取依存句法樹中動詞和介詞的特征，推斷它們的主語或者賓語是否為實(shí)體，判斷實(shí)體的類別和邊界。實(shí)驗(yàn)也表明,基于雙向樹形LSTM網(wǎng)絡(luò)比雙層Bi-LSTM網(wǎng)絡(luò)能夠提取長距離依存關(guān)系特征和句法特征信息,提高條件隨機(jī)場對中文實(shí)體的識別能力。