基于注意力機制的特征融合序列標注模型

王旭強，岳順民，張亞行，劉 杰，王 揚，楊 青

（1.國網天津市電力公司 信息通信公司，天津300310；2.南開大學 計算機學院，天津300071；3.南開大學 人工智能學院，天津300071）

序列標注是自然語言處理任務中的一個重要研究課題，其目標是基于給定的文本序列預測對應的標簽序列［1］，包括命名實體識別（named entity recognition，NER）、組塊分析（text chunking）和意見抽取（opinion extraction）等在實際問題中具有重要應用價值的子任務。

隨著神經網絡的發(fā)展，深度學習方法逐漸被應用在序列標注任務中。但這些方法普遍存在兩方面的問題。首先基于深度學習方法的序列標注模型通常具有局部依賴性［2］，對于遠距離的語義信息存在語義損失。例如，給定一個句子“Apple is a U.S.high-tech company”，其中“company”是影響“Apple”被標注為“Organization”的關鍵信息。理想情況下，“company”的語義應該被無損失地傳遞給“Apple”，但是信息傳遞過程實際上會損失“company”的語義，并引入無關詞的語義；且兩個詞間距離越長，這個問題越明顯。其次，基于深度學習方法的序列標注模型還受限于序列化的特征學習，無法靈活地建模任意兩個詞之間的語義關系。

針對上述兩個問題，提出了基于注意力機制的特征融合序列標注模型。模型首先利用一個雙向長短時記憶（bi-directional long short-term memory，BLSTM）單元學習詞的上下文語義特征［3］。隨后，基于BLSTM 學習到的隱藏表示，采用多頭注意力機制，建模句子中任意兩個詞之間的語義關系［4］，得到每個詞應關注的全局語義。為了充分考慮局部上下文語義和全局語義的互補性，設計了三種特征融合方式將兩部分語義進行融合，并基于融合后的特征，使用條件隨機場（conditional random fields，CRF）模型進行標簽序列的預測［5］。實驗結果表明，本研究提出的模型取得了較優(yōu)的性能。

1 相關工作

命名實體識別是指識別文本中具有特定意義的實體，包括人名、地名、機構名等；組塊分析用以識別不同功能語法的詞語塊，比如名詞性短語、動詞性短語、介詞性短語等［6］；意見抽取包括對評價對象和評價詞的識別和抽取。本研究還關注在實體識別、組塊分析、意見抽取三種序列標注任務上進行實驗分析。

早期的序列標注方法大多基于規(guī)則，需要建立規(guī)則模板和專家知識，耗費大量的人力物力，同時還不易擴展、移植到其它領域。如王寧等［7］采用基于規(guī)則的方式，人工地建立了金融方面公司名稱識別的知識庫。

由于基于規(guī)則方法的缺點，基于統(tǒng)計學習方法的機器學習模型逐漸被應用在序列標注，比如支持向量機（support vector machines，SVM）、隱馬爾可夫模型（hidden Markov model，HMM）、條件隨機場、最大熵模型（maximum entropy model，MEM）等。Mayfield等［8］利用SVM 從訓練數(shù)據(jù)中抓取成百上千個特征進行訓練，在英語NER上得到84.67%的F1值。Zhou等［9］提出基于HMM 的命名實體識別系統(tǒng)，可以應用和融合字的簡單特征（比如大小寫、數(shù)字等），在數(shù)據(jù)集MUC-6和數(shù)據(jù)集MUC-7的英語NER 上分別得到96.6%和94.1%的F1值。Mccallum 等［10］將CRFs應用在命名實體識別中，在CoNLL2003的英語NER和德語NER中取得了良好表現(xiàn)。劉艷超等［11］將MEM 應用到命名實體識別上，同時結合了句子內部的局部特征和全局特征相融合的方法。雖然基于統(tǒng)計學習模型的方法取得了較好的效果，但是仍然嚴重依賴人工特征，并且存在只能抓取局部特征的缺陷。

近些年非線性的深度神經網絡因為其較強的學習和自動提取特征能力在自然語言處理中大獲成功，如循環(huán)神經網絡（recurrent neural networks，RNN）、長短時記憶網絡（long short-term memory，LSTM）和卷積神經網絡（convolutional neural networks，CNN）等，RNN 可以較強地建模序列信息，LSTM 能夠解決長期依賴和梯度爆炸的問題，CNN 是一種層次網絡結構，擅長抓取局部或位置不變特征。張苗苗等［12］將BLSTM-CRF框架模型應用到序列標注，因為BLSTM 能夠有效利用上下文特征，CRF能夠建模句子級別的標簽信息，所以取得了有競爭力的表現(xiàn)。Chiu等［3］提出了一個新穎的BLSTM-CNN 模型，通過CNN 獲取字符特征，與詞嵌入相拼接送入BLSTM 中，雖然效果很好，但是用到了詞典或詞匯特征。最近，注意力機制大受歡迎，相比于LSTM 或CNN 在建模時的語義依賴，注意力機制不必在意距離的長短。比如，Luo等［13］證明了將注意力機制引入到BLSTM-CRF中，能夠提升化學藥物實體識別效果，在文檔級別上可以提升標注一致性，在句子級別上可以豐富上下文信息。

綜合上述研究工作發(fā)現(xiàn)，現(xiàn)有的方法大多基于BLSTM-CRF框架實現(xiàn)與注意力機制的簡單結合，仍然存在局部依賴性、位置信息獲取不準確等缺陷，因此本研究提出一種基于注意力機制的特征融合序列標注模型，更好地捕獲語義依賴信息，彌補LSTM 建模的局部依賴性，以在序列標注上獲得更好效果。

2 基于注意力機制的特征融合序列標注模型

輸入一個句子W=（w1，w2，…，wn），其中wi表示句子中的第i個詞，序列標注任務的目標是對輸入序列進行語義分析并預測對應的標簽序列Y=（y1，y2，…，yn）。

為了解決LSTM-CRF模型的局部依賴性以及受限于序列化特征學習的問題，提出一種基于注意力機制的特征融合序列標注模型。模型的整體框架如圖1所示。首先使用BLSTM 學習詞的上下文表示，隨后采用多頭注意力機制靈活地建模句子中任意兩個詞之間的語義關系，最后利用三種不同的特征融合方式將兩部分語義深度融合，并基于融合后的語義利用CRF進行標簽序列的預測。具體的模型細節(jié)將在2.1節(jié)到2.5節(jié)介紹。

圖1 基于注意力機制的特征融合序列標注模型Fig.1 Attention based sequence labeling model with feature fusion

2.1 詞向量表示

對于中文數(shù)據(jù)集，直接將單詞進行隨機初始化作為詞向量表示。對于英文數(shù)據(jù)集，考慮到單詞通常包含豐富的形態(tài)特征，比如前綴、后綴信息，經過BLSTM 和拼接的方式，得到每個詞的初始向量表示。如圖2所示，給定句子的第i個單詞wi=（c1，c2，…，cn），然后使用BLSTM 進行建模。由于LSTM 最后的隱藏變量包含了整個序列的信息，可以更好地捕獲單詞前綴和后綴的特征，本節(jié)將前向LSTM 最后的隱藏變量與后向LSTM 最后的隱藏變量進行拼接，得到字符級詞向量，最后與預訓練的詞向量再進行拼接，得到最終的詞向量表示X=（x1，x2，…，xn）。

2.2 基于LSTM 的序列上下文建模

為了獲取句子的上下文語義信息，本研究采用BLSTM 對句子進行建模。LSTM 是對RNN 的改進，構建了一個記憶單元用以考慮長距離依賴性和避免梯度消失的問題。具體地，借鑒了Lample等［14］的LSTM實現(xiàn)方法：

其中，it、ft、ot分別是輸入門（用來決定在細胞狀態(tài)Ct中存儲什么新的信息）、遺忘門（決定將哪些信息從Ct中丟棄）、輸出門（決定哪些信息作為輸出）；σ 是sigmoid激活函數(shù)，·表示元素級別的乘法；at表示新記憶單元，ct表示最終的記憶單元，xt是當前的輸入，ht是得到的當前的隱藏變量；Ui、Wi、Vi是輸入門中的模型參數(shù)，Uf、Wf、Vf是遺忘門中的模型參數(shù)，Uc、Wc是記憶單元中的模型參數(shù)，Uo、Wo、Vo是輸出門中的模型參數(shù)，bi、bc、bo、bf是偏移量。

為了更好地獲得前向和后向的上下文信息，本研究采用BLSTM 來建模序列。經過前向LSTM 得到隱藏變量經過后向LSTM 得到隱藏變量將兩者進行拼接得到代表序列信息的隱藏變量

圖2 字符級向量表示的模型圖Fig.2 Model graph of character level vector representation

2.3 基于多頭注意力機制的語義加強

經過BLSTM 層編碼，每個單詞xi被表示為隱藏狀態(tài)hi，其中hi包含了詞的上下文語義信息。然而，由于LSTM 具有鏈式結構，長距離語義將會隨著序列編碼而逐漸衰減。例如，通過LSTM 中的門控機制，如果長距離語義信息被當前單詞遺忘，那么即使被遺忘掉的語義對后續(xù)單詞具有重要作用，后續(xù)單詞也將無法接收到該信息。因此，LSTM 仍存在局部依賴性問題。

為了解決上述問題，在BLSTM 的基礎上引入了自注意力機制來增強詞之間的語義交互。給定當前單詞，注意力機制可以從全局范圍內捕獲相關信息，而不受順序方式的限制。進一步地，為了學習多樣化的語義關系，使用多頭自注意力機制來建模句子中任意兩個詞之間的語義關系。

首先將矩陣Q、K 和V 線性映射到k 維子空間，每個子空間的計算公式為：

隨后將所有的注意力頭拼接起來，得到：

2.4 特征融合方式

考慮到注意力機制雖然在建模語義或句法依賴時不受距離限制，能夠彌補LSTM 遠距離語義建模的缺陷，但注意力機制是一種無序的計算機制，在建模過程中可能會損失序列上的前后關系，所以本研究將BLSTM 學習到的順序和局部特征與注意力機制學習到的全局語義信息相融合，達到優(yōu)勢互補的效果。實驗中采取三種特征融合的方式，下面介紹具體的計算公式（S對應Sigmoid，V 對應Vector，T 對應Twoparam）。

S 表示從ht和zt自身學習一個參數(shù)進行特征融合。首先將ht和zt進行拼接，接著用一個權重參數(shù)將之映射到一維空間，并利用sigmoid做激活函數(shù)，公式如下：

其中，βs 為標量。若設LSTM 的隱藏單元大小為dh，那么ht和zt的維度都為2dh，因為是拼接之后做線性映射，所以Ws是1×4dh的向量，這樣才能保證映射后是一個一維的數(shù)值，最后經過sigmoid激活，得到［0，1］間的一個參數(shù)。最后再將ht和zt按學習到的參數(shù)融合，計算公式：

其中，mt的維度為2dh。

V 與S 不同，Wv是一個通過學習得到的2dh×4dh的權重矩陣，β是2dh的列向量，計算公式如下：

其中e表示全1的列向量?！け硎驹丶墑e的相乘，mt的維度為2dh。觀察可知，都借鑒了LSTM 單元里的遺忘門和記憶門操作，記住一部分信息，遺忘一部分信息，避免造成信息冗余。

T：將ht和zt加權求和，得到新的語義和句法上下文特征表示mt，α、β 為變量，兩個權重作為自由參數(shù)將由模型去學習，以求達到最好的加權融合方式，公式如下，

其中，mt和ht、zt的維度相同，都為2倍的LSTM 隱藏單元大小。

2.5 標簽預測

序列標注可以看作是一類特殊的分類問題，直觀上可以簡單地使用分類器來進行標簽的預測。然而，考慮到序列標注任務中標簽之間通常存在依賴關系，而這種依賴關系無法使用分類器進行建模，因此本研究利用CRF來進行標簽預測。CRF能夠對標簽之間的關系進行建模，而不是單獨預測每個標簽進而得到全局最優(yōu)的標注序列。

具體地，CRF定義了一個轉移矩陣A 來建模相鄰標簽之間的交互關系，并定義了一個狀態(tài)矩陣P 建模詞和標簽之間的交互關系。假設Y=（y1，y2，…，yn）為標簽序列，P 為n×k 的矩陣，n 是序列長度，k 是不同標簽數(shù)，其第t行的轉置就是上面特征融合后的向量mt，mt包含了更為全面和精準的系列上下文語義和句法信息，Pi，j表示第i個詞為第j個標簽的可能性。定義標簽序列的預測值為：

其中，A 為轉移矩陣，Ai，j表示從標簽i轉移到標簽j的分數(shù)。y0和yn+1是一個句子的開始和結束標簽，將之加入到可能的標簽集合中，所以A 是一個大小為k+2的方陣。在所有可能標簽序列上進行一個softmax 計算，得到當前標簽序列Y 的一個條件概率：

通過log函數(shù)最大化正確標簽序列的對數(shù)概率：

其中，YX是指數(shù)空間中句子X 所有可能的標簽序列。通過最大化上式，模型將會學習正確的標簽順序。由于在指數(shù)空間內對上式進行優(yōu)化是NP難問題，借鑒Mccallum 等［10］在線性條件隨機場中用前向后向算法有效地解決這個問題。在測試的過程中，模型使用最大后驗概率來預測輸出：

本研究只建模二元交互，所以用維特比算法來計算公式（17）和公式（18）的最大后驗概率Y*。

3 實驗

3.1 數(shù)據(jù)集

為了綜合評價模型的效果，本節(jié)分別在中文和英文數(shù)據(jù)集上對序列標注的三類任務（意見抽取、命名實體識別和組塊分析）進行測試。

中文數(shù)據(jù)集采用2008年中文傾向性分析評測（Chinese opinion analysis evaluation，COAE）。其中原數(shù)據(jù)評價對象已經被標注，從手機、筆記本電腦和照相機三個領域進行評價抽取，并在手機領域由人工標注評價詞，有沖突的標注采用人工投票方式解決。表1為中文評價數(shù)據(jù)的統(tǒng)計情況。

本文將中文評價數(shù)據(jù)集按照文檔數(shù)以4∶1∶1的比例隨機劃分為訓練集、驗證集和測試集。

英文數(shù)據(jù)集包括餐飲評價數(shù)據(jù)集、命名實體識別和組塊分析數(shù)據(jù)集三部分。其中餐飲評價數(shù)據(jù)集來自2015年語義評估（semantic evaluation，SemEval）比賽的子任務Restaurant（原數(shù)據(jù)只標注了評價對象，評價詞由Wang等［15］人工標注），命名實體識別數(shù)據(jù)集來自2003年計算自然語言學習會議（conference on computational natural language learning，CoNLL）技術評測的英文NER數(shù)據(jù)（包含四類實體），組塊分析數(shù)據(jù)集來自CoNLL-2000分享的短語分塊任務（包含11種短語塊）。表2是三個英文數(shù)據(jù)集的統(tǒng)計情況。

表1 中文評價數(shù)據(jù)的統(tǒng)計信息Tab.1 Statistics of Chinese evaluation data

表2 英文數(shù)據(jù)集的統(tǒng)計情況Tab.2 Statistics of English dataset

3.2 實驗設置

中文評價數(shù)據(jù)集的詞向量設定維度為100，由隨機初始化得到。英文評價數(shù)據(jù)中Restaurant評價數(shù)據(jù)詞向量維度為200，由Wang等［15］預訓練得到。NER和Chunking數(shù)據(jù)詞向量維度為100，由Lample等［14］通過skip-n-gram 模型訓練得到。

為了防止訓練過程出現(xiàn)過擬合，當最終的詞向量進入BiLSTM 之前會經過一個dropout率為0.5的dropout層；另外將數(shù)據(jù)中的數(shù)字全部用0表示，英文數(shù)據(jù)集在訓練字符級別特征時區(qū)分大小寫。在中文和英文數(shù)據(jù)集上的學習率分別為0.005和0.01，迭代次數(shù)為100。在多頭注意力機制的試驗中，設定h=5，即進行5次低維注意力計算。

3.3 評價指標

實驗中的評價指標采用精度P1和召回率R 和綜合衡量指標F 1值，計算公式如下：

其中：P1用來衡量預測結果的準確度，即預測結果中正確的目標個數(shù)與預測的目標總數(shù)之間的比例；R 用來衡量預測結果中有多少個正確的目標數(shù)，即預測的正確目標數(shù)占總的目標數(shù)的比例；＃PredCorr 表示識別的正確目標數(shù)；＃Pred All表示識別的目標總數(shù)；＃TrueAll表示真實的目標總數(shù)。

3.4 實驗結果

3.4.1 指標分析

根據(jù)上述實驗設置，對上述數(shù)據(jù)集進行實驗，各方法得到的F 1值如表3、表4所示。

表3 各類對比算法在英文數(shù)據(jù)集上的F 1值Tab.3 F 1 values of various comparison algorithms on english datasets

表4 各類對比算法在中文數(shù)據(jù)集上的F 1值Tab.4 F 1 values of various comparison algorithms on chinese datasets

表3、表4中ABLSTM 為BLSTM+注意力機制（Attention），BLSTM（MHA）為BLSTM+多頭注意力機制（Multi-headed attention），ABLSTM_S、ABLSTM_V 和ABLSTM_T分別為在ABLSTM 的基礎上經過三種特征融合。BLSTM_S（MHA）、BLSTM_V（MHA）、BLSTM_T（MHA）分別為在BLSTM（MHA）的基礎上經過三種特征融合。

表3、表4列出了基于多頭注意力機制的深度學習模型在三種特征融合方式下的F 1值結果，以及對比算法的F 1值，可以得出以下結論：

從總體來看，與BLSTM-CRF相比，通過消融實驗證明其他加了注意力機制的模型效果均得到了進一步地提升，表明了注意力機制的作用，能夠捕獲遠距離的依賴信息，并抓取最相關的信息；相比不進行特征融合的ABLSTM-CRF和BLSTM（MHA）-CRF，經過特征融合后模型的效果普遍得到了提升，說明注意力機制建模在BLSTM 上確實存在信息的損失，但是BLSTM 代表的序列和局部信息和注意力機制代表的全局語義和句法信息融合后，能夠達到優(yōu)勢互補的效果，表明了特征融合的有效性。

另外相對于單一注意力機制，多頭注意力機制在中英文數(shù)據(jù)集上普遍都獲得了效果提升，表明多頭注意力機制可以獲得更為豐富的語義和句法上的關聯(lián)表示，有效地驗證了本模型的可行性。

通過對比實驗，可以發(fā)現(xiàn)BLSTM 在建模序列獲取字符級別表示和詞級別表示的效果要優(yōu)于CNN，在三種特征融合方式的模型中，BLSTM _T（MHA）-CRF在3個數(shù)據(jù)集上達到了最高的F 1值，表現(xiàn)效果最優(yōu)，在照相機和Restaurant數(shù)據(jù)上的效果也優(yōu)于單一注意力機制模型，表明注意力機制學習參數(shù)權重可以達到較好的特征融合效果。BLSTM _V（MHA）-CRF特征融合的方式在照相機和Restaurant數(shù)據(jù)上達到了最高的F 1值，并且提升效果最明顯。

3.4.2 注意力機制分析

圖3展示了英文評價數(shù)據(jù)句子中某一個詞“incredible”對其他詞關注度的分布情況：

圖3中第一行“Attention”表示不進行特征融合的ABLSTM-CRF模型中的注意力分布，后面的3行表示三種基于特征融合的注意力分布，顏色越深關注度越大。標簽中的“P”代表評價詞，“T”代表評價對象，可以看出單一的注意力機制會出現(xiàn)有些詞只關注自身的情況，而進行特征融合后，情況大為改觀，促使評價詞“incredible”關注到了其他評價對象和評價詞。

本研究設定多頭注意力的h=5，即將輸入映射到5個不同的子空間或低維空間后，同時進行注意力分布的計算。圖4是NER測試數(shù)據(jù)中某一個句子的5個詞對其它詞的平均注意力分布圖，圖的左邊和下邊的英文文字表示詞和標簽信息，“ORG”表示該詞為機構名，“B-ORG”表示起始詞，“E-ORG”表示結束詞?？梢杂^察到本研究的多頭注意力機制能夠關注到相似語義的詞，比如“Islander”關注到了具有相同“ORG”標簽的“NBA”、“NHL”、“LA”和“Clippers”等詞，尤其對標簽完全相同的“Clippers”關注度最大，因為都是機構名的結束詞，即標簽都為“E-ORG”。

圖3 英文評論數(shù)據(jù)中某個詞對句子中其它詞的關注度分布：特征融合前后的對比Fig.3 Distribution of the attention of one word in English comment data to other words in sentences：Comparison before and after feature fusion

圖4 5個head平均的注意力熱力分布圖Fig.4 Heat distribution of attention in five heads

多頭注意力機制能夠在不同的表示子空間學習到不同的信息，本研究抽取了詞“Clippers”在兩個子空間上的注意力分布，如圖5所示。head_0表示第0個空間的注意力分布熱力圖，head_1表示第1個空間的注意力分布熱力圖。其中，“Clippers”在head_0上關注到了所有的機構詞，還錯誤地關注到了標簽為“O”的“Corrects”，而在head_1上除了關注到自身，還給予了同樣作為機構名結束詞的“Islanders”較多權重。所以head_0用來捕獲相似語義信息并確定標簽類別，head_1用來判斷在所屬標簽中的位置屬于開始、中間還是末尾。

圖5 詞“Clippers”在兩個不同表示子空間的注意力分布圖Fig.5 Attention distribution of the word“Clippers”in two different subspaces

3.4.3 Dropout實驗分析

多頭注意力機制在多個子空間內進行注意力分布的計算，將結果進行拼接和線性映射，可能存在信息冗余的問題，所以考慮在每個詞的5個注意力分布向量上進行Dropout實驗，設定Dropout為0.2，即隨機地丟棄關注到的一些重復或者錯誤的信息，結果如表5所示，除了Chunking數(shù)據(jù)外，模型在其他數(shù)據(jù)集上的效果都得到了進一步提升，表明Dropout具有正面的作用。

表5 基于TwoParam特征融合的MHA模型在數(shù)據(jù)集上的Dropout實驗結果Tab.5 Dropout experimental results of MHA model based on TwoParam feature fusion on dataset

4 結論

本研究關注序列標注任務，提出基于注意力機制的特征融合序列標注模型?？紤]到現(xiàn)有的LSTM-CRF模型通常存在局部依賴性以及受限于序列化的特征學習，本模型在LSTM 的基礎上引入多頭注意力機制建模任意兩個詞之間的語義關系，進而得到每個詞應關注的全局語義表示。進一步地，為了更好地融合LSTM 學習的局部上下文語義以及多頭注意力機制學習的全局語義，設計了三種特征融合方法進行兩部分語義的深度融合。為了證明模型的有效性，在四個數(shù)據(jù)集上構建了一系列實驗，實驗結果表明本模型達到了較優(yōu)的性能。