基于BiLSTM-CNN-CRF模型的維吾爾文命名實體識別

買買提阿依甫,·,·,

(新疆大學(xué) 信息科學(xué)與工程學(xué)院,烏魯木齊 830046)

0 概述

命名實體識別[1](Named Entity Recognition,NER)是自然語言處理(Natural Language Processing,NLP)工作中具有挑戰(zhàn)性的任務(wù)之一,通過它可以準確地從文本中識別出人名、機構(gòu)名、地名、時間、日期、貨幣、百分號等信息,為話題識別、話題跟蹤、信息檢索、機器翻譯、輿情分析等高級NLP任務(wù)提供重要的特征信息。過去NER任務(wù)多采用基于規(guī)則的識別方法、基于統(tǒng)計機器學(xué)習(xí)的識別方法(包括隱馬爾可夫模型、條件隨機場模型、支持向量機等)和基于規(guī)則和統(tǒng)計相結(jié)合的混合識別方法[2]。近年來,深度神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域受到了廣泛的關(guān)注,相比于上述方法,基于深度神經(jīng)網(wǎng)絡(luò)的方法具有泛化性更強、更少依賴人工特征的優(yōu)點。因此,面向漢語和英語等大語言,研究人員已提出了許多基于深度神經(jīng)網(wǎng)絡(luò)的NER模型,但針對以維吾爾語為代表的低資源少數(shù)民族語言的研究較少。維吾爾命名實體識別研究大多只針對維吾爾人名的識別,關(guān)于人名、地名、機構(gòu)名的通用研究較少,目前多數(shù)研究都是基于規(guī)則或統(tǒng)計模型的方法。

針對維吾爾文命名實體識別問題,本文構(gòu)建基于BiLSTM-CNN-CRF的混合深度學(xué)習(xí)模型。首先利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型捕獲單詞的字符級特征向量;然后將字符級特征向量、詞性向量和詞向量拼接的混合向量作為BiLSTM模型的輸入進行訓(xùn)練,獲取語句單詞之間隱含的語義特征;最后通過CRF模型得到最優(yōu)標注序列。

1 神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)

本節(jié)將詳細描述BiLSTM-CNN-CRF[1]神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的各組成部分,從下至上逐一介紹神經(jīng)網(wǎng)絡(luò)中的各神經(jīng)層。

1.1 字詞向量特征

1.1.1 字符特征

維吾爾語是典型的黏著語[3],具有復(fù)雜的形態(tài)變化。從文字信息處理的角度出發(fā),維吾爾文字屬于復(fù)雜文本信息處理的范疇。現(xiàn)行維吾爾文使用的文字為基于阿拉伯字符的文字,該類文字的形狀特征為不等寬的字符,每個字符根據(jù)在詞中出現(xiàn)的位置又有不同的形狀,書寫特征是自右向左書寫(數(shù)字和其他非阿拉伯字符保持自己的書寫順序),與英語和漢語順序相反。

現(xiàn)行維吾爾文有32個字母。每個字母按出現(xiàn)在詞首、詞中、詞末的位置有不同的形式。字母表中的單式除代表該字母的獨立形式外,一般出現(xiàn)在詞末不可連字母之后,前式出現(xiàn)在可連字母之前,中式出現(xiàn)在詞中2個可連字母中間,末式出現(xiàn)在詞末可連字母之后,有些字母只有單式和末式,這樣維吾爾文32個字母實際共有126種寫法。為了降低字符向量維度,本文通過設(shè)計現(xiàn)行維吾爾文到拉丁維吾爾文的轉(zhuǎn)換算法,從而將維吾爾文字符轉(zhuǎn)換為一個拉丁字符,這樣只用32個拉丁字母就可以表示維吾爾文。

1.1.2 詞向量

詞向量[4]的主要設(shè)計思想是通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)詞語的聯(lián)合概率分布,將語料中的單詞映射到指定的d維稠密實數(shù)向量。word2vec用到了2個重要的模型:CBOW模型和Skip-Gram模型[5]。

維吾爾句子中單詞之間用空格或標點符號來分割。維吾爾文單詞在結(jié)構(gòu)上可以分為詞根和詞干:詞根是不可分割的最小語義單元;詞干是由幾個詞根或詞根和詞綴連接構(gòu)成,單詞一般由詞干和詞綴(附加成分)連接構(gòu)成,每個詞的變化形式最多可達到數(shù)百種。例如:詞根為ish(事宜,事情),通過對其連接構(gòu)詞詞綴qi,可以得到詞干ish+qi=ishqi(工人),可以將單詞結(jié)構(gòu)表示為:單詞=詞綴+詞干+后綴1+后綴2+后綴3+…。例如:ish+qi+lar+ning=ishqilarning(工人們的)。為了獲取維吾爾單詞隱含的豐富信息,本文未對維吾爾詞語進行詞干提取,保留了詞干與詞綴,對語料庫中的每個單詞進行訓(xùn)練預(yù)先生成了對應(yīng)的詞向量。

本文利用word2vec工具的Skip-Gram模型對從網(wǎng)絡(luò)上下載的無標注維吾爾語料庫進行訓(xùn)練生成了詞向量,假設(shè)語料庫由w1,w2,…,wm個單詞組成,Skip-Gram模型的目標是使以下函數(shù)最大化:

其中,n是訓(xùn)練窗口大小,訓(xùn)練時根據(jù)窗口大小獲取當前詞語的上下文相關(guān)詞語。

經(jīng)過word2vec生成的詞向量為:vi=[a0,a1,…,ad],其中d=300表示詞向量的維度。通過word2vec訓(xùn)練生成的詞向量每一維都包含豐富的上下文信息。例1給出了維吾爾語料庫中一個單詞用word2vec生成的詞向量。

圖1 通過維吾爾文詞向量獲取的相似單詞

1.1.3 詞性特征

本文采用詞向量很方便地添加了其他新的特征。例如,對于詞語可以添加詞性特征、字符特征等信息,通過這些信息可以對詞語進行抽象化,能夠進一步發(fā)現(xiàn)語句中詞語的結(jié)構(gòu)聯(lián)系。因此,本文加入了字符特征和詞性特征,進一步提高了命名實體識別的性能。維吾爾文詞性有2種標注方法:一級詞性和二級詞性,如表1所示。

表1 維吾爾文詞性標注設(shè)置

由于本文語料庫沒有二級詞性標注數(shù)據(jù),因此實驗只使用一級詞性特征。使用維度為4的實數(shù)向量表示詞性向量,最后與詞向量和字符向量拼接構(gòu)成混合向量作為BiLSTM模型輸入,提高了模型的命名實體識別性能。

1.2 卷積神經(jīng)模型

卷積神經(jīng)網(wǎng)絡(luò)[6]中卷積層能夠提取文本數(shù)據(jù)的局部特征信息,通過使用卷積和最大池化層可以提取局部特征信息中最具有代表性的部分作為特征向量?，F(xiàn)有研究表明,CNN是一種從詞的字符中提取形態(tài)信息(如詞的前綴或后綴)并將其編碼為神經(jīng)表示的最有效方法,文獻[1,7]采用CNN提取字符級特征在命名實體識別領(lǐng)域達到了很好的效果,因此,本文利用CNN提取維吾爾文單詞的字符特征,通過使用字符級特征、單詞詞性和詞向量相結(jié)合的方法提高模型的命名實體識別性能,但維吾爾文中不存在大小寫的問題,在本文中并沒有用到字符類型等特征,采用CNN提取的維吾爾文形態(tài)特征信息作為詞向量的補充,從而模型的識別率得到了很好的提高。

CNN模型結(jié)構(gòu)如圖2所示,其由字符向量表、卷積層和池化層組成。

圖2 字符級CNN模型結(jié)構(gòu)

對CNN網(wǎng)絡(luò)中包括32個維吾爾文字母和37個標點符號,再加上一個表示不在字符集中的不確定字符的共70個字符分別生成對應(yīng)的字符向量,由這些向量構(gòu)成字符向量表。字符向量表的作用是將單詞中的每個字符轉(zhuǎn)換成為對應(yīng)的字符向量,然后生成單詞對應(yīng)的字符向量矩陣。由于單詞長度不一樣,因此生成的字符向量矩陣的大小也不一樣。為解決該問題,本文以最長的單詞長度為標準,利用Padding占位符補全單詞兩端[8],使字符向量矩陣的長度一致。此方法同樣可以用于句子長度不一致的問題,最后字符向量表在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中通過反向傳播機制自動更新字符向量矩陣。通過實驗發(fā)現(xiàn)CNN網(wǎng)絡(luò)可以有效獲取維吾爾文單詞中的前綴或后綴等形態(tài)特征信息。

1.3 BiLSTM模塊

1.3.1 LSTM模塊

遞歸神經(jīng)網(wǎng)絡(luò)[9]具有一定的記憶功能,可以被用來解決很多NLP問題,但是它并不能很好地處理長時依賴問題,存在梯度消失和梯度爆炸的問題。

為了解決傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)的梯度消失等問題,研究者提出了RNN的特殊形式:長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)[9-10],傳統(tǒng)RNN每一步的隱藏單元只是執(zhí)行一個簡單的tanh或ReLU操作[11]。LSTM是遞歸神經(jīng)網(wǎng)絡(luò)的一種特殊形式,同樣考慮時序關(guān)系,只是LSTM每個隱層節(jié)點還加一些特殊的結(jié)構(gòu),如圖3所示。可以看出,LSTM增加了記憶單元,主要由3個控制門,即遺忘門、輸入門、輸出門與一個記憶單元(cell)組成。LSTM利用記憶單元對歷史信息進行記錄,并且這個記錄是由3個控制門來控制LSTM單元應(yīng)寫入、讀取、輸出的內(nèi)容。因此,通過這些控制門,LSTM能夠緩解原始RNN所面臨的“梯度消失”或“梯度爆炸”問題。

圖3 LSTM單元結(jié)構(gòu)

LSTM單元在t時刻更新的公式如下:

it=σ(Wiht-1+Uixt+bi)

(1)

ft=σ(Wfht-1+Ufxt+bf)

(2)

ot=σ(Woht-1+Uoxt+bo)

(5)

ht=ot⊙tanh(ct)

(6)

在維吾爾文中,人名、機構(gòu)名和地名中由3個以上的單詞構(gòu)成的情況較多,通過LSTM網(wǎng)絡(luò)能夠記憶單詞間的長距離依賴關(guān)系的特點,有效識別出維吾爾文中的較長的人名、地名和機構(gòu)名。例如:“samat bilan kvrash xinjiang aptonum rayonluk helik dohturhanisida ishlaydu.”(賽買提和庫萊西在新疆自治區(qū)人民醫(yī)院工作。),針對這句話中的機構(gòu)名“xinjiang aptonum rayonluk helik dohturhanisida”(新疆自治區(qū)人民醫(yī)院),用傳統(tǒng)的統(tǒng)計模型CRF進行識別時出現(xiàn)了無法完全識別的問題,而LSTM模型巧妙地識別出了類似長機構(gòu)名。在這句話中kvrash是個兼類詞(人名和動詞),通過LSTM模型根據(jù)上下文歷史信息正確識別CRF統(tǒng)計模型無法識別的兼類詞。

1.3.2 BiLSTM模塊

在句子中命名實體的正確識別取決于詞的上下文[12]。前后2個詞對預(yù)測標簽都很重要,如果能夠獲取過去和將來的上下文信息,對命名實體識別任務(wù)很有幫助。然而,LSTM的隱藏狀態(tài)ht僅從過去獲取信息,對未來一無所知。雙向LSTM[7,13](簡稱為BiLSTM)是一種較好的解決方案,其有效性已在前人的工作中得以證明,基本思想是將每個順序序列和逆序序列呈現(xiàn)到2個單獨的隱藏狀態(tài),以分別捕獲過去和將來的信息,然后將連接2個隱藏狀態(tài)作為最終輸出。BiLSTM已經(jīng)被證明在許多機器翻譯、問題回答、序列標注等NLP任務(wù)中很有用。

姥爺最拿手的是高湯汆大白菜：切掉菜根，將摘洗干凈的菜身攔腰切開一分為二，上邊是新嫩青綠的菜葉，下邊則是晶瑩粗厚的菜幫子，用香濃月白的高湯汆燙，然后加粉絲和紅肉丸子，出鍋的時候來一點香油和蝦米，美味至極，是我童年味蕾上最美好的記憶。

1.4 CRF模塊

條件隨機場(Condition Random Field,CRF)[7,12]模型是一種用于標注和切分有序數(shù)據(jù)的條件概率模型。該模型結(jié)合了隱馬爾可夫模型和最大熵模型的優(yōu)點[13],避免了這些模型本身存在的一些缺點,能夠有效地解決序列標注問題。 可以把命名實體識別任務(wù)轉(zhuǎn)化成一個序列標注任務(wù),本文采用SBIEO標記策略(如表2所示)對語料進行標注,表3是使用SBIEO標記策略對給定現(xiàn)行維吾爾文句子進行轉(zhuǎn)換為拉丁維吾爾句子后的標注示例。

表2 CRF模塊SBIEO標簽集

表3 維吾爾文命名實體標注方法示例

對于命名實體識別任務(wù),本文使用CRF模型聯(lián)合建模標注決策,而不是獨立建模決策。將CRF層作為神經(jīng)網(wǎng)絡(luò)架構(gòu)的最后一層,對BiLSTM模塊的輸出結(jié)果進行處理,獲得最優(yōu)的全局標注序列。

對于一個給定維吾爾文句子,本文用X={x1,x2,…,xn}表示對應(yīng)的輸入單詞序列,假設(shè)P是大小為n×k的BiLSTM網(wǎng)絡(luò)輸出的分數(shù)矩陣,其中k是不同標簽的數(shù)量,Pi,j對應(yīng)第i個單詞的第j個標簽的分數(shù)。對于一個標簽預(yù)測y={y1,y2,…,yn},定義其分數(shù)為:

其中,A是轉(zhuǎn)移分數(shù)矩陣,Ai,j表示從標簽i轉(zhuǎn)移到標簽j的分數(shù),y0和yn是在句子開始和結(jié)束為位置添加的標簽,因此,A是一個大小為k+2的方陣。

對于序列y,本文采用softmax來生成所有:

在訓(xùn)練過程中最大化正確標簽序列的對數(shù)概率:

其中,YX是對于輸入句子X的所有可能標簽序列。從上式可以明顯看出,本文的神經(jīng)網(wǎng)絡(luò)產(chǎn)生有效的輸出標簽序列。最終解碼時,通過以下公式預(yù)測得分最大的輸出序列:

通過將BiLSTM的輸出向量輸入到CRF層來構(gòu)造神經(jīng)網(wǎng)絡(luò)模型[11]。本文神經(jīng)網(wǎng)絡(luò)架構(gòu)由BiLSTM模塊、CNN模塊和CRF模塊組成。第1層是輸入層,主要負責(zé)將輸入的句子進行字詞向量的映射,為了便于后期處理首先通過轉(zhuǎn)換算法將現(xiàn)行維吾爾文句子轉(zhuǎn)換成拉丁維吾爾文,然后通過查詢詞向量表將文本轉(zhuǎn)換為詞向量序列,再對于文本中的每個單詞,通過查詢字符向量表獲得每個字符的字符向量,由字符向量組成單詞的字符向量矩陣。CNN模塊對字符向量矩陣進行卷積和最大池化,獲得每個單詞的字符級特征,每個單詞的字符向量和詞性向量與詞向量拼接組合后的混合向量作為第2層神經(jīng)網(wǎng)絡(luò)模塊BiLSTM的輸入,最后用第3層CRF模塊將第2層的輸出解碼出一個最優(yōu)的標記序列。本文神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)如圖4所示。

圖4 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

2.1 參數(shù)初始化

2.1.1 詞向量

文獻[10,14]已指出,詞向量在提高序列標記任務(wù)性能中起到了至關(guān)重要的作用。目前缺乏公開的已訓(xùn)練好的維吾爾文詞向量數(shù)據(jù)集。為了構(gòu)建維吾爾文詞向量,本文首先從知名度較高的幾個新聞網(wǎng)站上下載了新聞數(shù)據(jù)(如表4所示),然后對收集到的9.5萬條新聞數(shù)據(jù)(包含多余3 500萬條詞條,40多萬單詞)用gensim的skip-gram模型進行訓(xùn)練[15],生成了維度為300的詞向量,本實驗設(shè)置窗口的大小為5,單詞頻率最小值設(shè)為4。

表4 下載數(shù)據(jù)統(tǒng)計

2.1.2 字符向量

實驗對70個維吾爾文字符和標點符號使用隨機均勻分布來初始化字符向量查詢表,字符向量的維度設(shè)為10,并且其取值范圍為[-0.5,0.5]。

2.2 優(yōu)化算法

目前神經(jīng)網(wǎng)絡(luò)中流行的優(yōu)化算法有隨機梯度下降(Stochastic Gradient Descent,SGD)、Momentum、Adagrad、Adadelta、RMSprop、Adam、Adamax等[13,16-17],每個優(yōu)化算法都有自己的特點,本文實驗中使用了SGD算法進行優(yōu)化,實驗結(jié)果表明SGD優(yōu)化算法提高了模型性能,學(xué)習(xí)率η0初始值設(shè)為0.001,momentum設(shè)為0.9,每個訓(xùn)練周期學(xué)習(xí)率η0通過公式:ηt=η0/1+ρt來自動更新,其中延遲率為ρ=0.5,t是已經(jīng)完成的訓(xùn)練循環(huán)數(shù)。

2.3 Dropout參數(shù)

在正則化方法中,Dropout[16]是非常有用和成功的一種技術(shù)。一般來說,它會隨機刪除一些神經(jīng)元,以在不同批量上訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。在實驗中Dropout的值和在模型中的位置很關(guān)鍵,直接影響到模型的性能。在多數(shù)神經(jīng)網(wǎng)絡(luò)研究中,Dropout值設(shè)為0.5時的性能較好,能夠有效防止過擬合問題,但在本文實驗中,用不同的Dropout的值對模型進行了交叉驗證。實驗結(jié)果表明,Dropout值為0.63時達到了最好的識別效果,在BiLSTM模型輸入輸出端兩端都用了Dropout機制[17]。本文神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)定如表5所示。

表5 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)集

由于目前維吾爾命名實體識別缺乏公開的標注數(shù)據(jù)集,因此本文人工建立了一個維吾爾文命名實體識別數(shù)據(jù)集。所使用的語料是從政府新聞網(wǎng)站天山網(wǎng)下載的維吾爾語新聞數(shù)據(jù),從中挑選22 150個維吾爾語句子,然后對其進行人工標注詞性和命名實體標記,作為本文實驗的維吾爾文命名實體識別語料庫,如表6所示。

表6 維吾爾文命名實體識別標注語料庫

3.2 實驗結(jié)果

本文進行了5組實驗對維吾爾文人名、地名、機構(gòu)名進行命名實體識別,5組實驗都在實驗室的UNERDATA數(shù)據(jù)集上進行命名實體識別。實驗的評測方法是F1值、準確率、召回率[18]。

實驗1實驗?zāi)康?1)將CRF模型作為基準模型,測試統(tǒng)計模型CRF在實驗室提供的UNERDATA數(shù)據(jù)集上的性能;2)匯總使用CRF模型進行命名實體識別時發(fā)現(xiàn)的一系列問題。實驗中使用了目前較流行的統(tǒng)計模型CRF++[18],由于標記數(shù)據(jù)集是基于句子的,因此對于CRF++工具,只考慮了詞級特征。使用CRF工具進行UNER任務(wù)后發(fā)現(xiàn)了以下問題:

1)CRF統(tǒng)計模型對語料中沒有出現(xiàn)的人名、地名無法正確識別。由于目前維吾爾文中尚缺少大型人名、地名和機構(gòu)名稱的標注語料庫,導(dǎo)致統(tǒng)計模型無法正確識別命名實體。

2)維吾爾文中機構(gòu)名稱存在大量的縮寫情況,CRF模型對這種由單獨字符組成的機構(gòu)名縮寫無法進行識別。例如:“ürümchi she?irlik j x idarsi”(烏魯木齊市公安局)里面的“j x”是公安局的縮寫,CRF模型對這種縮寫無法準確識別。

3)維吾爾文中的人名存在缺乏統(tǒng)一的寫作風(fēng)格,有些人名有幾種寫法。例如:人名“memetqasim”(買買提喀斯木)的另一個寫法是“matqasim”(買提喀斯木)。

4)維吾爾文中存在大量兼類詞,有些人名兼有其他含義。例如:人名“yalqun”(亞力坤)的另一個意思是火焰,CRF模型無法利用上下文對這種兼類詞進行正確識別,有時將類似人名識別標記為O(其他)。

5)維吾爾人姓名基本上由2個詞組成,但也存在一個人名由3,4個人名組成的情況,例如:“nurmemetоbulqasim”(努爾麥麥提吾布力卡斯木),CRF模型無法對這些長人名正確識別。

6)維吾爾地名中大量存在長地名和長機構(gòu)名,例如:“shinjang uyghur aptonom rayoni”(新疆維吾爾自治區(qū)),CRF模型無法對類似長地名準確識別。

7)維吾爾文論壇、微博、新聞等網(wǎng)絡(luò)文本中存在大量的拼寫錯誤問題,CRF模型無法對拼寫錯誤的單詞準確識別,其準確率為78.35%,召回率為75.78%,F1值為77.04%,

實驗2實驗?zāi)康?1)研究深度神經(jīng)網(wǎng)絡(luò)模型相對于統(tǒng)計模型在維吾爾命名實體識別上是否有優(yōu)勢;2)研究深度神經(jīng)網(wǎng)絡(luò)能否解決CRF統(tǒng)計模型中發(fā)現(xiàn)的問題。實驗中分別用簡單RNN模型、LSTM模型和BiLSTM模型進行UNER任務(wù)。從表7中可以看出,簡單RNN模型的性能和CRF模型基本一樣,LSTM模型和BiLSTM模型的性能都比CRF模型好,其中BiLSTM模型的F1值比CRF模型提高了5.03%。

表7 神經(jīng)網(wǎng)絡(luò)模型的實驗結(jié)果 %

實驗3實驗?zāi)康?驗證CNN模型的有效性。實驗在LSTM模型和BiLSTM模型的基礎(chǔ)上加入了CNN模型,使用CNN模型獲取字符特征,然后將字符向量和詞向量拼接后作為LSTM或BiLSTM模型的輸入進行訓(xùn)練。從表8的實驗結(jié)果可以看出,LSTM、BiLSTM模型加入CNN網(wǎng)絡(luò)后系統(tǒng)的識別能力都得到了提高,LSTM-CNN模型的F1值比LSTM模型提高了1.3%,BiLSTM-CNN模型比BiLSTM模型F1值提高了2.69%。

表8 加入CNN模型后的實驗結(jié)果 %

實驗4實驗?zāi)康?驗證CRF模型加入到BiLSTM-CNN-CRF框架后系統(tǒng)的性能,并進一步提升系統(tǒng)UNER任務(wù)中的識別性能。在實驗3的基礎(chǔ)上,對BiLSTM模型的輸出進行CRF層,輸出概率最大的最優(yōu)標記序列。從表9的實驗結(jié)果可以看出,加入CRF層后LSTM-CNN-CRF模型和BiLSTM-CNN-CRF模型準確率都得到了提高,其中BiLSTM-CNN-CRF模型的F1值比BiLSTM-CNN模型提高了4.3%。

表9 加入CRF模型后各模型的實驗結(jié)果 %

實驗5實驗?zāi)康?進一步提高系統(tǒng)的命名實體識別性能。在實驗4的基礎(chǔ)上,對系統(tǒng)的輸入向量增加了詞性向量,本文實驗中由于UNERDATA數(shù)據(jù)集中未提供維吾爾二級詞性的標記,只使用了一級詞性作為特征進行了模型訓(xùn)練,將CNN模型提取出來的字符特征向量和詞性向量與詞向量拼接生成最終特征向量作為RNN-CNN-CRF模型的輸入進行訓(xùn)練。從表10的實驗結(jié)果中可以看出,詞性向量加入到詞向量后BiLSTM-CNN-CRF模型準確率有了提升,其中BiLSTM-CNN-CRF模型的準確率達到了91.46%,F1值達到了91.89%,相對于基線CRF方法,其準確率提高了13.11%,F1值提高了14.85%。

表10 加入詞性向量后各模型的實驗結(jié)果 %

以上5組實驗結(jié)果表明,本文建立的BiLSTM-CNN-CRF模型通過使用字符向量、詞性向量和詞向量組合的混合向量,在維吾爾文命名實體識別任務(wù)中達到了最好的性能。

4 結(jié)束語

針對維吾爾文命名實體識別任務(wù),本文以傳統(tǒng)的CRF統(tǒng)計模型作為基準進行實驗,總結(jié)維吾爾文命名實體識別中出現(xiàn)的問題,進而構(gòu)建基于BiLSTM-CNN-CRF框架的神經(jīng)網(wǎng)絡(luò)模型。該模型在CNN層捕獲字符級特征向量,在BiLSTM層獲取當前詞語的過去和將來的上下文信息,在CRF層對BiLSTM層的輸出進行解碼,最終輸出最優(yōu)的標記序列。基于UNERDATA語料的實驗結(jié)果進一步驗證了BiLSTM-CNN-CRF框架對維吾爾文命名實體識別的有效性。

本文構(gòu)建的BiLSTM-CNN-CRF深度學(xué)習(xí)模型能夠在維吾爾文命名實體識別語料庫上得到較好的實驗結(jié)果,并已應(yīng)用于維吾爾文網(wǎng)絡(luò)輿情分析系統(tǒng),有效識別出了文本中的人名、地名和機構(gòu)名,提高了輿情系統(tǒng)分析能力。后續(xù)將進一步完善語料庫,加入二級詞性標注特征信息,并在新語料庫的基礎(chǔ)上測試本文模型的性能。