基于GRU的命名實體識別方法①

王 潔,張瑞東,吳晨生

1(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

2(北京市科學(xué)技術(shù)情報研究所,北京 100048)

1 引言

自然語言處理(Nature Language Processing)是近年來快速發(fā)展的一門涵蓋了數(shù)學(xué)、語言學(xué)和計算機科學(xué)的交叉學(xué)科.其旨在讓計算機能夠正確的理解人類的語言,并且實現(xiàn)人與機器之間通過自然語言進(jìn)行交互,其中包括信息抽取、機器翻譯、信息檢索、問答系統(tǒng)等方面[1].

命名實體識別是自然語言處理的一項關(guān)鍵任務(wù),在1995年的MUC會議上被第一次引入,目的是識別文本中的特定類型的事物名稱和有意義的數(shù)量短語,包括命名性實體、時間、數(shù)字等三大類,又可細(xì)分為七個小類:人名、地名、機構(gòu)名、時間、日期、貨幣以及百分比等[2].作為自然語言處理中的一項基礎(chǔ)任務(wù),命名實體識別對于機器翻譯、信息的檢索與抽取等工作有重要意義.隨著時代的發(fā)展,命名實體識別的目標(biāo)早已超出了上述幾類的范圍,特定領(lǐng)域的命名實體識別需求非常廣泛,如電子病歷、生物醫(yī)學(xué)等領(lǐng)域,本文的子實驗既是在會議名稱識別這一特定領(lǐng)域的命名實體上展開的.除了需要識別的實體在不斷增加外,命名實體識別方法也在不斷進(jìn)步和完善[3–5].

傳統(tǒng)的命名實體識別多采用基于規(guī)則和統(tǒng)計機器學(xué)習(xí)的方法.最初,命名實體識別采用基于手工制定詞典和規(guī)則的方法.這些方法大多以語言學(xué)專家建立的規(guī)則知識庫和詞典為基礎(chǔ),采用模式匹配或者字符串匹配的方法識別命名實體[6,7].對于規(guī)律性強的文本,基于規(guī)則的方法準(zhǔn)確而且高效.但對于規(guī)律性不強的文本,規(guī)則的編寫變得困難,識別效果也相當(dāng)不理想,所以人們開始將目光投向機器學(xué)習(xí)的方法.

在命名實體識別領(lǐng)域常用的機器學(xué)習(xí)方法有隱馬爾可夫模型(Hidden Markov Model,HMM)、條件隨機場模型(Conditional Random Fields,CRF)、最大熵模型(Maximum Entropy)、支持向量機模型(Support Vector Machine,SVM)等[8–10].其中最典型的也是應(yīng)用比較成功的是隱馬爾可夫模型和條件隨機場模型.基于機器學(xué)習(xí)的方法在遷移性、識別效果等方面的表現(xiàn)優(yōu)于基于規(guī)則的方法,但使用統(tǒng)計機器學(xué)習(xí)方法的命名實體識別模型也存在一些局限性.一方面,為了使推理易于處理,它需要明確的依賴性假設(shè);另一方面,以統(tǒng)計模型為基礎(chǔ)的機器學(xué)習(xí)方法對特征選取的要求比較高,需要選擇對命名實體識別任務(wù)有影響的各種特征,即特征工程(feature engineering),它對識別結(jié)果有重要影響,但是該過程費時費力[11–14];最后,它們通常需要大量的與任務(wù)相關(guān)的特定知識,如設(shè)計HMM的狀態(tài)模型,或選擇CRF的輸入特征.

隨著深度學(xué)習(xí)研究的不斷深入,人們開始引入深度神經(jīng)網(wǎng)絡(luò)來處理自然語言.2011年Collobert提出一種基于窗口的深層神經(jīng)網(wǎng)絡(luò)模型,該模型可以自動學(xué)習(xí)輸入句子中的抽象特征,在訓(xùn)練中使用反向傳播算法來訓(xùn)練參數(shù).其效果和性能超過了之前的傳統(tǒng)算法.該模型的主要局限性是使用固定長度的上下文,不能充分的利用語境信息[15–18].Mikolov于2010年提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNNs)的語言模型,它不使用固定大小的上下文信息,通過重復(fù)鏈接,信息可以在這些網(wǎng)絡(luò)內(nèi)循環(huán),這種信息循環(huán)的方式非常適用于處理序列數(shù)據(jù)[19–24].

本文利用循環(huán)神經(jīng)網(wǎng)絡(luò)在處理序列數(shù)據(jù)方面的優(yōu)勢,建立了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的命名實體識別模型.循環(huán)神經(jīng)網(wǎng)絡(luò)包含多種不同的變體,經(jīng)過分析對比,本文最終選用了由RNN改進(jìn)而來、結(jié)構(gòu)相對簡單的GRU.本文結(jié)構(gòu)安排如下:第2節(jié)介紹語料庫的構(gòu)建;第3節(jié)闡述基于GRU的命名實體識別模型;第4節(jié)是實驗和分析;最后做全文總結(jié).

2 基于 GRU 的命名實體識別模型

以字作為輸入單位容易產(chǎn)生歧義,需要根據(jù)具體的語境信息判斷每個字的標(biāo)簽,循環(huán)神經(jīng)網(wǎng)絡(luò)能很好的計算和保持語境信息.RNN是比較簡單的循環(huán)神經(jīng)網(wǎng)絡(luò),不含“門”結(jié)構(gòu),訓(xùn)練時會出現(xiàn)梯度消失或梯度爆炸的問題.LSTM與GRU是在RNN的基礎(chǔ)上改進(jìn)而來的循環(huán)神經(jīng)網(wǎng)絡(luò),本文分析了RNN、LSTM和GRU三種循環(huán)神經(jīng)網(wǎng)絡(luò)之間的關(guān)系,在此基礎(chǔ)上,提出了一個基于GRU的命名實體識別模型.該模型以字向量作為輸入,經(jīng)過雙向GRU層計算,提取句子特征,經(jīng)softmax層計算得到一個相應(yīng)的輸出序列.

2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中常用的一類神經(jīng)網(wǎng)絡(luò),包括RNN和RNN的變體LSTM、GRU等,它利用序列信息并通過中間層保持這些信息,這使它在處理序列數(shù)據(jù)時有獨特優(yōu)勢.

RNN將一個向量序列(s1,s2,···,sn)作為輸入,得到另一個序列h1,h2,···,hn,其中st表示時刻t的輸入向量,ht是隱藏層狀態(tài),表示關(guān)于每個輸入時刻t的序列信息,它的結(jié)構(gòu)示意圖如圖1.其中,

U、V、W是權(quán)值矩陣,f是激活函數(shù),一般是Sigmoid或者tanh函數(shù),ot是輸出向量.

圖1 RNN 網(wǎng)絡(luò)

理論上RNN可以學(xué)習(xí)長期依賴,但實際上它不能實現(xiàn)這個目標(biāo),因為根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t,公式(1)使得損失函數(shù)的梯度成為連續(xù)乘積的形式,這樣做會導(dǎo)致梯度消失或者梯度爆炸的問題.

為了解決梯度消失(或者梯度爆炸)的問題,Hochreiter和Schmidhuber[25]提出了一種RNN的改進(jìn)型網(wǎng)絡(luò):LSTM.在自然語言處理中常用的LSTM可以用如下公式來描述:

本文使用的GRU是RNN的另一種改進(jìn)模型,它與LSTM非常類似,也是通過門來保持序列信息,同時克服RNN中的梯度消失問題.它的公式如下:

其中,zt是一個更新門,決定t–1時刻的信息有多少進(jìn)入t時刻.rt是一個重置門,決定丟棄多少信息,二者共同決定ht的值.GRU只有兩個門,舍棄了LSTM中增加一個細(xì)胞狀態(tài)C的做法,把線性自更新的過程放到了隱藏層狀態(tài)的計算中,把h作為序列信息的載體,這樣做不但使得GRU的結(jié)構(gòu)比LSTM更簡單,參數(shù)更少,而且加快了神經(jīng)網(wǎng)絡(luò)的計算速度,節(jié)省了時間.

2.2 命名實體識別模型

近年來,很多學(xué)者使用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行命名實體識別,得到了不錯的效果,這種方法一般使用輸入窗口,即利用固定長度的輸入來學(xué)習(xí)待識別詞的上下文信息,它的結(jié)構(gòu)可以用圖2描述.

圖2 基于窗口的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

因為窗口大小有限(如上圖的窗口大小是3),所以該方法學(xué)習(xí)上下文信息的能力不足.另一方面,該神經(jīng)網(wǎng)絡(luò)的隱藏層狀態(tài)之間沒有聯(lián)系,不能夠?qū)W習(xí)到長期依賴,對于序列標(biāo)注任務(wù)來說,這意味著丟失了序列信息.

循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入則不受窗口大小的限制,并且網(wǎng)絡(luò)的隱藏層之間是有聯(lián)系的,即攜帶了序列信息,如圖3所示.

圖3 基于 RNN 的序列處理結(jié)構(gòu)

圖2和圖3中,xt表示t時刻對應(yīng)的字或者詞.以字作為輸入單位,命名實體的長度一般會超過三個字,使用基于窗口的方法無法將整個名稱作為一個整體考慮,容易丟失信息,致使邊界判定準(zhǔn)確率低,而且基于字的判別對上下文環(huán)境的依賴程度更高.循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)上下文信息與窗口大小無關(guān),實現(xiàn)了學(xué)習(xí)長期依賴的目的,適用于命名實體較長的情況.本文分別使用循環(huán)神經(jīng)網(wǎng)絡(luò)的變體LSTM和GRU作為模型的基本算法,并且對比說明了GRU的優(yōu)勢.

為了充分利用每個字的上下文信息,這里使用了一個雙向GRU結(jié)構(gòu),即考慮了句子的正向和反向兩個方向上的序列信息.另外,用于會議等新實體識別的用料庫一般較小,所以模型的結(jié)構(gòu)不宜過復(fù)雜,否則容易出現(xiàn)過擬合的現(xiàn)象.本文設(shè)計的命名實體識別模型如圖4所示.

圖4中,模型的第一層和第二層分別對應(yīng)輸入層和Embedding層.由于神經(jīng)網(wǎng)絡(luò)不能直接處理自然語言符號,所以,應(yīng)該將輸入的字或者詞轉(zhuǎn)換成對應(yīng)的向量,即Embedding層的工作,其中,向量Et與xt之間的關(guān)系滿足,即通過向量表LT查找xt對應(yīng)的向量.輸入Et經(jīng)過前向GRU層和后向GRU層計算得到了句子的正向信息和反向信息,兩者共同組成了隱藏層狀態(tài),這里用ht表示,,經(jīng)過狀態(tài)輸出層計算得到ot=f(ht),再由Softmax層進(jìn)行概率歸一化計算,得到最終的預(yù)測值.

圖4 基于 GRU 的命名實體識別網(wǎng)絡(luò)

這里可以把命名實體識別當(dāng)作一個序列標(biāo)注過程,對于一個輸入序列:

經(jīng)過模型計算,給每個輸入xt一個對應(yīng)的標(biāo)簽,得到一個相應(yīng)的輸出序列:

對于輸入xt,預(yù)測結(jié)果為yt滿足:

yt是一個長度為n的向量,n是標(biāo)簽種類的個數(shù),即本文用向量表示預(yù)測結(jié)果,yt的每個位置上的值表示是該標(biāo)簽的概率:

訓(xùn)練時,使用交叉熵作為代價函數(shù):其中,yi表示真實值,表示預(yù)測值,n是標(biāo)簽的種類.

得到代價函數(shù)后,通過訓(xùn)練集訓(xùn)練模型,對于訓(xùn)練集的使用,一般有批量梯度下降、隨機梯度下降和mini-batch gradient(小批量梯度下降)三種方法,本文使用第三種方法,因為批量梯度下降方法每次計算損失函數(shù)都要遍歷整個訓(xùn)練集,并通過計算函數(shù)對所有參數(shù)的梯度來更新參數(shù),這種方法每更新一次參數(shù)就要遍歷一次訓(xùn)練集,導(dǎo)致計算開銷很大,計算速度較慢;隨機梯度下降法每次計算損失函數(shù)僅使用一條數(shù)據(jù),并通過梯度下降來更新參數(shù).與第一種方法相比,雖然該方法的計算速度比較快,但是收斂性能較差;而第三種方法則結(jié)合了二者的優(yōu)點,它把訓(xùn)練數(shù)據(jù)分成多個批次,計算損失函數(shù)時只使用其中的一批.這樣,梯度的方向由這一小批次中的數(shù)據(jù)共同決定,降低了方向選擇的隨機性,提高了收斂性能;同時,與整個訓(xùn)練集相比,每個批次數(shù)據(jù)量要小很多,這降低了計算量,節(jié)省了計算開銷.

過擬合是使用人工神經(jīng)網(wǎng)絡(luò)時經(jīng)常遇到的問題,尤其是語料規(guī)模較小時,更容易產(chǎn)生過擬合現(xiàn)象,為了解決這個問題,本文采用了 DropOut方法.DropOut是Srivastava[26]提出的用來解決前饋神經(jīng)網(wǎng)絡(luò)過擬合問題的方法,它通過在訓(xùn)練過程中隨機的讓一些神經(jīng)元暫時停止工作來增加網(wǎng)絡(luò)的稀疏性.與權(quán)重衰減、過濾器范數(shù)約束等其它防止過擬合的方法相比,DropOut方法更有效,而且計算方便,只需要在訓(xùn)練過程中產(chǎn)生相應(yīng)的隨機數(shù)來控制神經(jīng)元的開閉即可.在循環(huán)神經(jīng)網(wǎng)絡(luò)中,將DropOut應(yīng)用到非循環(huán)層,這樣做即能有效的避免過擬合的出現(xiàn),又能保證神經(jīng)元之間不失去“聯(lián)系”,保存了序列信息.

本文提出的模型需要在監(jiān)督訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練.對于特定領(lǐng)域的命名實體識別來說,往往沒有可用的標(biāo)注語料,自己構(gòu)建的語料庫規(guī)模又比較小,為了提高模型的效果,一方面,應(yīng)當(dāng)盡可能降低模型的復(fù)雜程度,所以,本文設(shè)計的模型只使用了一層雙向GRU結(jié)構(gòu);另一方面,將已有的相關(guān)標(biāo)注語料融合到自建語料庫中,可以豐富預(yù)料的語境語義特征,提高識別效果,第3節(jié)通過實驗說明了該方法的可行性.

3 實驗與分析

本文分別在人名這一傳統(tǒng)命名實體和會議名稱這個特定領(lǐng)域?qū)嶓w上進(jìn)行了實驗.人名識別實驗使用的是人民日報語料庫.會議名稱識別使用的是自建語料庫.由于本文的成果最終要運用到情報所的工作實踐中,所以兩類實驗使用的都是字向量,第3.2節(jié)會進(jìn)一步分析使用字向量的優(yōu)勢.

3.1 語料庫構(gòu)建

語料庫是進(jìn)行自然語言處理必須的數(shù)據(jù)集,它承載著重要的語言知識.基于神經(jīng)網(wǎng)絡(luò)的命名實體識別需要帶標(biāo)注的預(yù)料庫作為訓(xùn)練數(shù)據(jù).本文除了在傳統(tǒng)命名實體領(lǐng)域測試模型外,還使用會議名稱這一特定領(lǐng)域?qū)嶓w對模型進(jìn)行了測試.由于目前沒有會議名稱識別的語料庫,本文通過搜集文本、篩選、分詞和標(biāo)注等步驟構(gòu)建了一個針對會議名稱識別的語料庫.

文本搜集是構(gòu)建語料庫的第一步.本文搜集的文本來自中國學(xué)術(shù)會議在線網(wǎng).這里搜集了會議預(yù)告、會議新聞、會議評述、會議回顧的相關(guān)材料,一共得到了31.2 M的初始文本.

第二步需要人工篩選搜集的文本,刪除大量與會議名稱無關(guān)的段落,并使用結(jié)巴分詞對文本句子進(jìn)行切分,形成了初步標(biāo)識的語料庫.

第三步,標(biāo)注已經(jīng)處理過的文本,即人工標(biāo)注會議名稱.會議名稱有兩種,一種是簡單會議名稱,如“中國醫(yī)學(xué)會年會”、“香山論壇”、“十八屆四中全會”等,這類名稱不存在嵌套,屬于簡單的會議名稱;第二種是結(jié)構(gòu)復(fù)雜的會議名稱,包括嵌套格式、并列結(jié)構(gòu)等,如“香山科學(xué)會議第473次學(xué)術(shù)討論會”、“第四屆中國古籍?dāng)?shù)字化國際學(xué)術(shù)研討會暨第六屆文學(xué)與資訊技術(shù)國際研討會”.本文采取的策略是最大化邊界,即將最完整的會議名稱作為一個標(biāo)注單位,給予會議標(biāo)簽,完成標(biāo)注.這樣做的優(yōu)勢是可以根據(jù)后續(xù)實驗的具體策略靈活的改變會議名稱的標(biāo)注方式,既可以采用并列結(jié)構(gòu)分別標(biāo)注的方法,也可以采用整體標(biāo)注的方法.

完成上述步驟后,得到了一個針對會議名稱識別的專用語料庫,為實驗提供了可用的數(shù)據(jù)集.

3.2 字向量

語料庫中的數(shù)據(jù)并不能直接輸入到本文的模型中,因為神經(jīng)網(wǎng)絡(luò)只能計算數(shù)字,所以應(yīng)先將詞或者字轉(zhuǎn)換成數(shù)字形式,即轉(zhuǎn)換成向量.傳統(tǒng)的方法是先將文本分詞,以詞向量作為輸入單位.以詞作為輸入單位需要首先進(jìn)行分詞,本文沒有采用先分詞再識別的方法,而是直接使用字向量作為模型的輸入,采用字向量有如下兩點優(yōu)勢:

1)以字作為輸入單位可以避免不同分詞系統(tǒng)及分詞錯誤對識別效果的影響,節(jié)省了分詞時間,提高了模型的識別速度;

2)新領(lǐng)域的自建語料庫相對較小,如果以詞作為輸入單位,那么測試時會遇到很多未登錄詞,降低識別效果.而常用漢字不超過 3000 個,相對于詞,數(shù)據(jù)集覆蓋的字的種類更加全面,采用字向量可以避免因為未登錄詞過多而影響識別效果的情況.

會議名稱識別中,為了進(jìn)一步提高模型的泛化能力,訓(xùn)練字向量時采用了兩種數(shù)據(jù)集,一種是基于自建語料庫的數(shù)據(jù)集,記為DataSet1;另一種則通過加入人民日報語料庫擴(kuò)展了原有數(shù)據(jù)集,這種擴(kuò)展并沒有增加帶標(biāo)注的會議語料的規(guī)模,只是增加了與會議無關(guān)的文本,達(dá)到豐富數(shù)據(jù)集特征的目的,該數(shù)據(jù)集記為DataSet2.本文使用的字向量隨循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程產(chǎn)生.

3.3 標(biāo)注策略與評價指標(biāo)

命名實體識別中常用的標(biāo)注策略有BIO、BIEO、BIESO,O 表示不是實體,S 表示單個實體,B 表示實體其實邊界,I表示實體的中間部分,E表示實體的結(jié)束邊界.由于本文采用的是輸入形式是字向量,所以必須同時找出起始和結(jié)束邊界,所以采用BIEO形式的標(biāo)注策略.命名實體識別的結(jié)果是否正確有兩個標(biāo)準(zhǔn):①實體的邊界正確,類型正確;② 類型正確,邊界只覆蓋了實體的一部分.只要滿足上述兩個條件中的一個,就認(rèn)為識別結(jié)果是正確的.

本文使用精確率、召回率和F值來評價模型的識別效果.命名實體識別可以看做分類問題,以人名識別為例,正類(Positive)表示該詞的預(yù)測結(jié)果是人名,負(fù)類(Negative)表示該詞的預(yù)測結(jié)果不是人名.人名被正確識別的個數(shù)為TP,即正類中真正的人名個數(shù)是TP;正類中非人名的個數(shù)為FP;負(fù)類中非人名的個數(shù)為TN;負(fù)類中被錯誤識別的個數(shù)為FN,即被預(yù)測為負(fù)類的人名的個數(shù)是FN.則精確率P、召回率R、F值的計算公式如下:

3.4 實驗結(jié)果與分析

通過上述評價指標(biāo),文章對比了LSTM、GRU和RNN的識別效果.表1是人名的識別結(jié)果,可以看出,三種網(wǎng)絡(luò)在召回率方面相差較少,但是GRU的識別結(jié)果的準(zhǔn)確率更高,得到了最高的F值.

表1 人名識別實驗結(jié)果

表2和表3分別是在DataSet1和DataSet2上對會議名稱進(jìn)行識別的結(jié)果,觀察兩個表可知,在兩個數(shù)據(jù)集上,GRU的都得到了最高的F值.由表2實驗結(jié)果可知,在DataSet2數(shù)據(jù)集上訓(xùn)練的模型,效果要好于DataSet1上訓(xùn)練的模型.雖然DataSet2數(shù)據(jù)集只是增加了與會議無關(guān)的文本,但它豐富了文本特征,提高了模型的泛化能力.

表2 DataSet1 會議名稱識別結(jié)果

表3 DataSet2 會議名稱識別結(jié)果

表4是GRU和LSTM的訓(xùn)練時間,根據(jù)實驗結(jié)果可知,GRU與LSTM的效果相差并不顯著,但是由于GRU結(jié)構(gòu)相對簡單,參數(shù)較少,所以它的訓(xùn)練時間比LSTM減少約15%,這是GRU的優(yōu)勢所在.

表4 GRU 與 LSTM 訓(xùn)練時間對比

4 結(jié)束語

本文提出了一個基于GRU的會議名稱識別模型,并且在傳統(tǒng)命名實體和特定領(lǐng)域?qū)嶓w兩類實體上進(jìn)行了實驗,并且根據(jù)識別會議名稱的需要搜集了會議文本,通過機器分詞和人工標(biāo)注構(gòu)建了語料庫.本文使用的方法的最大的優(yōu)勢是不依賴外部知識,省去了人工設(shè)計特征的繁瑣工作,是一種端到端的會議名稱識別方法.識別特定領(lǐng)域命名實體是命名實體識別的一個發(fā)展方向,但經(jīng)常面臨沒有監(jiān)督訓(xùn)練數(shù)據(jù)的困境,自建的數(shù)據(jù)庫又比較小,這就在一定程度上限制了神經(jīng)網(wǎng)絡(luò)模型的泛化能力,如何利用自建的小語料集訓(xùn)練一個具有足夠泛化能力的神經(jīng)網(wǎng)絡(luò)模型是一個值得探索的方向.