結合注意力機制的Bi-LSTM維吾爾語事件 時序關系識別

田生偉 胡 偉 禹 龍 吐爾根·依布拉音 趙建國 李 圃

(1新疆大學軟件學院, 烏魯木齊 830008)(2新疆大學信息科學與工程學院, 烏魯木齊 830046)(3新疆大學中國語言學院, 烏魯木齊 830046)

事件(event)作為知識表示的一種重要形式，在自然語言處理領域受到廣泛關注.事件時序關系是指事件發(fā)生時其在時間上的先后順序關系，是事件間的一種語義關系.孫輝[1]結合統(tǒng)計機器學習方法和計算語言學知識，構造出基于OTC語料庫(Timebank語料庫和Opinion語料庫的合集)的英文事件時序關系識別模型.Tourille 等[2]通過對THYME[3]語料庫分析，利用Bi-LSTM模型抽取醫(yī)學事件時序關系，實驗結果表明該模型能夠有效學習過去和將來的語義信息.鄭新等[4]通過構造全局優(yōu)化模型，提出了一種基于全局優(yōu)化的中文事件時序關系的推理方法，該模型將事件時序關系看成整數(shù)線性規(guī)劃問題.

LSTM作為一種序列化模型，將維吾爾語文本視為有序詞序列，可充分考慮文本有序性和詞匯關聯(lián)性，更加符合自然語言表現(xiàn)形式.Tang 等[5]通過構建基于LSTM模型來解決語義關系分類問題，實驗結果表明，與LSTM相比，Bi-LSTM能挖掘更豐富的語義信息，并具有充分利用上下文信息的能力.Zhou 等[6]提出基于注意力機制的Bi-LSTM模型，將其應用于雙語情感分析，從而驗證了注意力機制在LSTM模型中應用的有效性.

目前，事件時序關系研究主要針對中文和英文等大語種，而關于維吾爾語等小語種的研究則相對較少.TimeML標注體系中提出了13種時序關系的分類方案，本文將事件時序關系劃分為間斷前后關系、不間斷前后關系以及重疊關系3類.在維吾爾語事件時序關系識別任務中采用結合注意力機制的Bi-LSTM模型，將維吾爾語事件時序關系的識別問題轉化為對事件時序關系的三分類問題.

1 事件相關定義

定義1事件是指在特定時間和環(huán)境下發(fā)生、由若干角色參與、表現(xiàn)出動作特征的一件事情[7].圖1中描述了4個事件，分別為報道事件、火災事件、死亡事件和受傷事件.

譯文：

據(jù)土耳其媒體29日報道，土耳其東南部馬爾丁省的一個敘利亞難民營當天發(fā)生火災，造成3人死亡、6人受傷。

圖1事件觸發(fā)詞舉例

據(jù)新疆地震局預測……圖2泛指事件舉例

定義4候選事件對(candidate event pair)是指對維吾爾語文本中所有事件按照組對規(guī)則進行組對后的事件對.

假設給定維吾爾語文本中的事件集合為E={e1,e2,…,en}.按照一定的規(guī)則對事件集合中的事件進行組對，從而構成候選事件對〈ei,ej;y〉.其中，y∈{0,1,2}為候選事件對的標簽，0表示事件ei和事件ej為間斷前后關系，1表示事件ei和事件ej為不間斷前后關系，2表示事件ei和事件ej為重疊關系.圖3中共描述了火災事件、死亡事件、受傷事件、事故事件(火災)4個事件，分別用e1，e2，e3，e4表示，分析可知構成的候選事件對為〈e1,e2;1〉，〈e1,e3;1〉，〈e2,e3;2〉等.

譯文：

今天上午，安徽合肥某小區(qū)居民樓發(fā)生一起大火，共造成1人死亡，6人受傷，目前事故原因正在進一步調查中。

圖3候選事件對舉例

2 維吾爾語事件時序關系識別模型

本文采用結合注意力機制的Bi-LSTM模型來完成維吾爾語事件時序關系的識別.識別過程如圖4所示.

圖4 維吾爾語事件時序關系識別過程框架圖

2.1 候選事件對抽取

將已標注事件的實驗語料進行事件提取，并按照一定的規(guī)則對其進行兩兩組對，判斷組對的時序關系.然后，按照定義4，貼上對應的標簽.具體的抽取步驟如下：

① 將實驗語料中每篇語料所提取出來的事件放入對應的事件列表Li(i=1,2,…,N)中，其中N為實驗語料的總數(shù).

② 循環(huán)遍歷事件列表Li并移除泛指事件.

③ 將步驟②中剩余事件進行兩兩組對，構成事件對〈ej,ek〉(j=1,2,…,n-1;k=j+1,…,n)，其中n為移除泛指事件后事件列表中的剩余事件總數(shù).然后，判斷事件ej和事件ek所具有的時序關系，貼上對應的標簽，構成候選事件對〈ej,ek;y〉,并將其放入候選事件對集合E中.

④ 循環(huán)步驟②和步驟③，直至得到所有語料的候選事件對，并將其放入候選事件對集合E中.

2.2 事件間規(guī)則特征抽取

根據(jù)實驗組維吾爾語語言學家總結的維吾爾語語言特點及事件時序關系特性，抽取了13項事件間規(guī)則特征.

1) 事件類別(EType):事件類別反映了事件所屬類型.參照國際事件標注體系ACE(包含阿拉伯語、漢語、英語3種語言)以及實驗組維吾爾語語言專家給出的事件結構特點，劃分了8個大類、35個小類.若事件類別相同則特征值取1，否則取0.

2) 事件子類別(ESubType):事件子類別進一步定義了事件所屬的類別.與事件類別相似，若事件子類別相同則特征值取1，否則取0.

3) 事件極性(EPolarity):事件極性有Positive和Negative兩種.若根據(jù)上下文信息分析該事件已經(jīng)發(fā)生或正在發(fā)生，則對應的事件極性為Positive；否則，事件極性為Negative.若事件極性相同則特征值取1，否則取0.

4) 事件時態(tài)(ETense):事件時態(tài)描述了事件為過去發(fā)生的事件還是現(xiàn)在發(fā)生的事件或者將來發(fā)生的事件.若事件時態(tài)相同則特征值取1，否則取0.

5) 事件間前后關系(EBeAfter):事件間前后關系指事件對應的觸發(fā)詞在文本中出現(xiàn)的先后順序.假設有候選事件對〈ei,ej;1〉，若事件ei對應的觸發(fā)詞出現(xiàn)在前則特征值取1，否則特征值取0.

6) 事件間依存關系(EDependce): 事件間依存關系是根據(jù)句法分析得到的依存關系表.若2個事件出現(xiàn)在同一個句子中，則具有依存關系，特征值取1；否則不具有依存關系，特征值取0.

7) 事件觸發(fā)詞類型(EIndType):事件觸發(fā)詞類型包括泛指事件、本句事件和非本句事件.事件觸發(fā)詞類型不同時2個事件的時序關系為重疊關系的可能性較大，而事件觸發(fā)詞類型相同時2個事件的時序關系為前后關系的可能性較大，故事件觸發(fā)詞類型對判別2個事件的時序關系有重要意義.若事件觸發(fā)詞類型相同則特征值取1，否則取0.

8) 觸發(fā)詞詞性(ECharacter):觸發(fā)詞詞性能反映了事件的信息.若事件觸發(fā)詞詞性相同，則特征值取1，否則特征值取0.根據(jù)語料統(tǒng)計知，事件觸發(fā)詞中接近90%的觸發(fā)詞詞性為名詞和動詞.

9) 觸發(fā)詞語義角色(ESemRole):語義角色是指名詞和動詞組成語義結構后，名詞在該語義結構中所擔任的角色.觸發(fā)詞語義角色能較好地反映事件語義信息.若候選事件對觸發(fā)詞語義角色相同則特征值取1，否則特征值取0.

10) 觸發(fā)詞句法結構(ESynStruct):句法結構是維語語法重要的組成部分，反映了詞在維語文本中所擔任的成分.若候選事件對觸發(fā)詞句法結構相同，則特征值取1，否則特征值取0.

11) 事件間間隔事件數(shù)目(ENumber):經(jīng)實驗統(tǒng)計可知，實驗語料中超過60%的候選事件對間隔的事件數(shù)為[0,2].因此，若候選事件對間隔的事件數(shù)目在此區(qū)間內則特征值取1，否則特征值取0.

12) 觸發(fā)詞格語法(ECaGrammar):格語法體現(xiàn)出名詞性短語在篇章語句中的句法功能，在語法形式上具有獨立性，是維吾爾語語言的重要特征之一.若候選事件對對應觸發(fā)詞的格語法相同，則特征值取1，否則特征值取0.

13) 事件間相對距離(ERelDistance):事件間相對距離是指候選事件對對應觸發(fā)詞在文本中間隔詞或其他符號的個數(shù).通過語料統(tǒng)計可知，實驗語料中超過60%的候選事件對間的相對距離為[0,50].若候選事件對間相對距離在此區(qū)間內則特征值取1，否則特征值取0.

2.3 維吾爾語事件時序關系識別

圖5 結合注意力機制的Bi-LSTM維吾爾語事件時序關系識別模型

2.3.1 Bi-LSTM模型

LSTM模型[9]通過特殊設計的門控機制來避免長期依賴問題.本文利用Gers等[10]提出的LSTM變體形式，通過門控單元從記憶模塊內收集激活值，更新記憶細胞的狀態(tài).

LSTM模型在處理事件句詞序列時往往忽略下文信息.Bi-LSTM模型包含一個前向LSTM模型和一個后向LSTM模型，前向LSTM模型捕獲某一時刻的前文特征信息，后向LSTM模型捕獲某一時刻的后文特征信息[11].將這2個上下文信息相加，則t(t=1,2,3,…,N)時刻的輸出為

ht=hb,t+hf,t

(1)

式中，ht，hb,t，hf,t分別為Bi-LSTM模型、前向LSTM模型和后向LSTM模型在t時刻的輸出.

2.3.2 注意力機制

本文根據(jù)對應事件觸發(fā)詞設計注意力機制，以此來增強模型獲得對應事件句的事件語義信息的能力，則事件ek所在事件句的事件語義特征表達為

(2)

βk=softmax(WMMk)

(3)

rk=βkHk

(4)

(5)

式中，Mk∈R2d×m為事件句詞序序列經(jīng)過模型后的語義表示；Wh,w∈R2d×2d為Hk和Wk結合后的權重矩陣；WM∈R2d為Mk對應的權重矩陣；Wp和Wx分別表示模型訓練時rk和hm的權重矩陣.Rockt?schel等[12]證明將Wxhm放入最終的事件句表達時，能夠挖掘事件句隱含的事件語義信息.

2.3.3softmax層

softmax層分類公式為

(6)

3 實驗結果與分析

3.1 語料準備

實驗中選取天山網(wǎng)、人民網(wǎng)等維語網(wǎng)頁作為語料來源.利用網(wǎng)絡爬蟲下載網(wǎng)頁，經(jīng)過去重、去噪等操作篩選出包含事件描述的新聞報道文本，作為實驗語料.本實驗共標注了300篇語料，統(tǒng)計發(fā)現(xiàn)其中包含1 361條為間斷前后關系，993條為不間斷前后關系，829條為重疊關系.按照2.1節(jié)中的樣本構建方法，生成3 183條樣本數(shù)據(jù).

3.2 實驗評價標準

本文對模型性能的評價標準為準確率、召回率及衡量模型整體性能的F值.假設間斷前后關系、不間斷前后關系以及重疊關系的準確率分別為Pi，Pn和Po，召回率分別為Ri，Rn和Ro，在測試樣本中的分布比例分別為A,B,C.則事件時序關系模型性能的準確率Pm、召回率Rm、F值分別為

Pm=PiA+PnB+PoC

(7)

Rm=RiA+RnB+RoC

(8)

(9)

3.3 實驗設計

為保證實驗結果的穩(wěn)定性，所有實驗均將樣本數(shù)據(jù)隨機打亂，然后采用十折交叉驗證，取10次結果的平均值作為最終結果，參數(shù)設置如下：學習率為0.01；每一次迭代訓練時批處理樣本數(shù)為15；模型訓練達到最優(yōu)的迭代次數(shù)為55；詞向量維度為150；Bi-LSTM隱藏層節(jié)點數(shù)為150.

3.3.1 語義特征對實驗性能的影響

2.2節(jié)抽取的特征主要是事件類型、事件極性以及事件句法結構等基于事件間內部結構的特征，缺少對整個事件句的語義考慮.本節(jié)探討了基于詞向量和結合注意力機制的Bi-LSTM模型生成的事件語義特征對事件時序關系識別的影響.分別將表1中的2類特征作為softmax層的輸入，驗證語義特征對事件時序關系識別的影響，實驗結果見表1.

由表1可知，在去掉事件語義特征、僅包含事件間規(guī)則特征條件下的準確率、召回率、F值較包含全部特征的準確率、召回率、F值分別為下降了23.39%，21.80%，22.57%.由此證明了引入事件語義特征的有效性.這是因為時序關系是事件間的一種語義關系，事件間規(guī)則特征僅考慮了事件間內部結構特點，缺乏對整個事件句的語義信息考慮；而結合注意力機制的Bi-LSTM模型能夠充分考慮事件句的全局語義信息，挖掘事件句隱含的事件語義特征.

表1 事件語義特征對事件時序關系識別的影響 %

3.3.2 詞向量維度對實驗性能的影響

不同維度的詞向量蘊含的語義信息不同.理論上，維度越大的詞向量所蘊含的語義信息越豐富.故本文選擇的詞向量維度u=10，50，100，150，200.實驗結果見表2.

表2 詞向量維度對實驗結果的影響 %

由表2可知，詞向量維度越大，反映模型性能的準確率、召回率、F值越高.u=150時模型性能達到最優(yōu)，準確率為89.42%，召回率為86.70%，F(xiàn)值為88.03%.與u=150時相比，u=200時準確率、召回率及F值分別下降了10.19%， 6.90%和8.52%.究其原因在于，維度過高的詞向量雖然包含更加豐富的語義信息，但是也包含了干擾信息和噪音，易產生過擬合現(xiàn)象，導致模型對數(shù)據(jù)的泛化能力降低[13]，影響模型的學習能力.

3.3.3 特征有效性驗證

結合維吾爾語語言特點及事件時序關系特性，抽取出13項事件間規(guī)則特征，并對其進行有效性驗證，結果見表3.

由表3可知，在去掉某一項規(guī)則特征之后，剩余12項規(guī)則特征和語義特征融合之后模型的準確率、召回率、F值與包含全部特征時的準確率、召回率、F值相比均下降.由此證明了13項事件間規(guī)則特征在維吾爾語事件時序關系識別性能上的有效性.

3.3.4 與其他循環(huán)神經(jīng)網(wǎng)絡模型的性能對比

在維吾爾語事件時序關系識別上，為驗證本文模型的有效性，將本文提出的模型與傳統(tǒng)LSTM模型[9]、LSTM模型[10]以及Bi-LSTM模型進行對比實驗，結果見表4.

表3 特征有效性驗證 %

表4 4種循環(huán)神經(jīng)網(wǎng)絡性能對比 %

由表4可知，LSTM模型在維吾爾語事件時序關系識別性能上優(yōu)于傳統(tǒng)LSTM模型，這是因為LSTM模型充分利用前一時刻細胞狀態(tài)的信息，能夠更加有效地挖掘事件句所隱含的深層語義信息.Bi-LSTM模型關于維吾爾語事件時序關系識別的實驗性能優(yōu)于LSTM模型，這是因為LSTM模型的序列信息從前向后依次傳播，并不包含從后向前的傳播過程，這種單向機制僅包含事件句詞匯序列當前時刻的前文信息，而對后文信息并未涉及；而Bi-LSTM模型在LSTM模型基礎上增加了一個反向LSTM模型，正向LSTM模型用于捕獲上文的特征信息，反向LSTM模型用于捕獲下文的特征信息，從而可捕獲文本全局上下文信息.本文提出的結合注意力機制的Bi-LSTM維吾爾語事件時序關系識別的實驗性能優(yōu)于上述循環(huán)神經(jīng)網(wǎng)絡模型，這是因為前者利用Bi-LSTM模型提取出給定事件句所隱含的深層語義信息，同時根據(jù)事件觸發(fā)詞設計注意力機制，得到該事件句所隱含的事件語義特征表達.

3.3.5 與其他模型的性能對比

在自然語言處理領域，SVM和CNN是2種常見模型.為充分驗證本文方法的有效性，將本文方法與SVM和CNN進行性能對比，結果見表5.

由表5可知，3種模型中，SVM模型的準確率、召回率、F值最低.這是因為SVM為淺層機器學習算法，其挖掘數(shù)據(jù)特征的能力與本文模型和CNN相比相對較弱，后面2種模型能夠捕捉數(shù)據(jù)中更加復雜的數(shù)據(jù)分布，有效學習文本中更高層的特征表示.本文模型的準確率、召回率及F值最高.這是因為淺層CNN模型利用局部卷積思想，只能捕獲文本序列的局部特征，缺乏對全局上下文信息的考慮[14]；而本文模型不僅能捕獲事件句全局上下文語義信息，還能捕獲事件句隱含的事件語義信息.

表5 幾種模型性能對比 %

4 結論

1) 基于維吾爾語語言特點及事件時序關系特性，利用結合注意力機制的Bi-LST模型挖掘維吾爾語事件句隱含的事件語義特征.

2) 根據(jù)事件間內部結構特點，抽取13項事件間規(guī)則特征，通過特征融合，完成維吾爾語事件時序關系識別任務.

3) 通過與傳統(tǒng)LSTM模型、LSTM模型、Bi-LSTM模型進行對比實驗，驗證了本文模型在挖掘事件語義信息方面的有效性.

4) 通過與SVM模型和CNN模型的相比，驗證了本文模型在挖掘深層語義信息和復雜數(shù)據(jù)內部結構的優(yōu)勢.

參考文獻(References)

[1] 孫輝. 事件時序關系識別的研究與實現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學計算機科學與技術學院，2010.

[2] Tourille J, Ferret O, Neveol A, et al. Neural architecture for temporal relation extraction: A Bi-LSTM approach for detecting narrative containers [C] //Procofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(ShortPapers). Vancouver, Canada, 2017: 224-230. DOI:10.18653/v1/p17-2035.

[3] Styler W, Bethard S, Finan S, et al. Temporal annotation in the clinical domain [C] //The52ndAnnualMeetingoftheAssociationforComputationalLinguistics. Baltimore, Maryland, USA, 2014: 143-154.

[4] 鄭新, 李培峰, 朱巧明. 基于全局優(yōu)化的中文事件時序關系推理方法[J]. 中文信息學報, 2016,30(5): 129-135.

Zheng Xin,Li Peifeng,Zhu Qiaoming.Global inference for temporal relations between Chinese events[J].JournalofChineseInformationProcessing,2016,30(5):129-135.(in Chinese)

[5] Tang D, Qin B,Feng X, et al. Effective LSTMs for target-dependent sentiment classification [C] //ProcofCOLING2016. Osaka, Japan, 2016: 3298-3307.

[6] Zhou X, Wan X, Xiao J. Attention-based LSTM network for cross-lingual sentiment classification [C] //Proceedingsofthe2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing. Austin, Texas, USA, 2016: 247-256. DOI:10.18653/v1/d16-1024.

[7] 付劍鋒. 面向事件的知識處理研究[D].上海：上海大學計算機學院,2010.

[8] 鐘軍, 禹龍, 田生偉,等. 基于雙層模型的維吾爾語突發(fā)事件因果關系抽取[J]. 自動化學報, 2014,40(4):771-779. DOI: 10.3724/SP.J.1004.2013.00771.

Zhong Jun,Yu Long,Tian Shengwei,et al.Causal relation extraction of Uyghur emergency events based on cascaded model[J].ActaAutomaticaSinica,2014,40(4):771-779. DOI: 10.3724/SP.J.1004.2013.00771. (in Chinese)

[9] Hochreiter S, Schmidhuber J. Long short-term memory[J].NeuralComputation, 1997,9(8): 1735-1780.

[10] Gers F A, Schmidhuber J. Recurrent nets that time and count [C] //ProcofIEEE-INNS-ENNSIntJointConfonNeuralNetworks. Como, Italy, 2000: 189-194.

[11] Melamud O, Goldberger J, Dagan I. Context2vec: Learning generic context embedding with bidirectional LSTM[C]//Proceedingsofthe20thSIGNLLConferenceonComputationalNaturalLanguageLearning. Berlin, Germany, 2016:51-61. DOI:10.18653/v1/k16-1006.

[12] Rockt?schel T, Grefenstette E, Hermann K M, et al. Reasoning about entailment with neural attention [C] //ProcofIntConfonLearningRepresentations. San Juan, Puerto Rico, 2016:1-9.

[13] 李敏, 禹龍, 田生偉,等. 基于深度學習的維吾爾語名詞短語指代消解[J]. 自動化學報, 2017(11):1984-1992. DOI: 10.16383/j.aas.2017.c160330.

Li Min,Yu Long,Tian Shengwei,et al. Coreference resolution of Uyghur noun phrases based on deep learning[J].ActaAutomaticaSinica,2017(11):1984-1992. DOI: 10.16383/j.aas.2017.c160330.(in Chinese)

[14] 田生偉, 周興發(fā), 禹龍,等. 基于雙向LSTM的維吾爾語事件因果關系抽取[J]. 電子與信息學報, 2018,40(1)：200-208. DOI: 10.11999/JEIT170402.

Tian Shengwei,Zhou Xingfa,Yu Long,et al.Causal relation extraction of Uyghur events based on bidirectional long short-term memory model[J].JournalofElectronicsandInformationTechnology,2018,40(1)：200-208. DOI: 10.11999/JEIT170402. (in Chinese)