基于Transformer 編碼器的中文命名實(shí)體識(shí)別模型

司逸晨，管有慶

（南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，南京 210003）

0 概述

自然語(yǔ)言處理（Natural Language Processing，NLP）是計(jì)算機(jī)科學(xué)、人工智能領(lǐng)域的重要研究方向，旨在使計(jì)算機(jī)理解人類(lèi)的語(yǔ)言并進(jìn)行有效交互。命名實(shí)體識(shí)別（Named Entity Recognition，NER）是自然語(yǔ)言處理中的關(guān)鍵技術(shù)，主要用于識(shí)別語(yǔ)句中人名、地名、機(jī)構(gòu)名、專(zhuān)有名詞等包含特定意義的實(shí)體，廣泛應(yīng)用于文獻(xiàn)關(guān)鍵詞提取、電子病歷疾病特征抽取等任務(wù)，可細(xì)分為通用領(lǐng)域的命名實(shí)體識(shí)別以及金融、醫(yī)療、軍事等特定領(lǐng)域［1］的命名實(shí)體識(shí)別。早期研究多數(shù)基于詞典和規(guī)則進(jìn)行命名實(shí)體識(shí)別，之后機(jī)器學(xué)習(xí)技術(shù)被廣泛應(yīng)用于命名實(shí)體識(shí)別任務(wù)中。近幾年，隨著計(jì)算機(jī)性能的不斷提升，深度學(xué)習(xí)技術(shù)大幅提升了命名實(shí)體識(shí)別的準(zhǔn)確率。

基于深度神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別模型一般將命名實(shí)體識(shí)別任務(wù)視作序列標(biāo)注任務(wù)，對(duì)文本中的每一個(gè)字打上對(duì)應(yīng)的標(biāo)簽，根據(jù)標(biāo)簽序列識(shí)別命名實(shí)體。目前，主流的基于深度學(xué)習(xí)的序列標(biāo)注模型通常采用字嵌入層、編碼層和解碼層三層結(jié)構(gòu)，文本中的字首先通過(guò)字嵌入層生成對(duì)應(yīng)的字向量，然后在編碼層進(jìn)行上下文編碼以學(xué)習(xí)語(yǔ)義，最后在解碼層中生成對(duì)應(yīng)的標(biāo)簽，不同的命名實(shí)體識(shí)別模型均是針對(duì)這三層進(jìn)行改進(jìn)［2-3］。在自然語(yǔ)言處理任務(wù)中，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）被廣泛應(yīng)用于各種任務(wù)的編碼層，其中雙向長(zhǎng)短期記憶（Bidirectional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)是命名實(shí)體識(shí)別任務(wù)中常見(jiàn)的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［3］提出基于BiLSTM 和條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）的命名實(shí)體識(shí)別模型，利用BiLSTM 的雙向編碼能力進(jìn)行前后文編碼，通過(guò)CRF 學(xué)習(xí)標(biāo)簽間的序列順序，是目前主流的命名實(shí)體識(shí)別模型。文獻(xiàn)［4］提出的Lattice-LSTM 模型在BiLSTM 模型的基礎(chǔ)上進(jìn)行改進(jìn)，通過(guò)對(duì)編碼層進(jìn)行修改可在字向量中編碼詞語(yǔ)信息。文獻(xiàn)［5-7］研究表明BiLSTM 采用的門(mén)結(jié)構(gòu)雖然能幫助解決梯度消失問(wèn)題，但是三個(gè)門(mén)單元也導(dǎo)致了計(jì)算量的增加，延長(zhǎng)了模型訓(xùn)練時(shí)間，而Lattice-LSTM 對(duì)編碼層的改進(jìn)進(jìn)一步增加了模型訓(xùn)練負(fù)擔(dān)［8］。近幾年，文獻(xiàn)［9］提出的Transformer 機(jī)器翻譯模型被廣泛應(yīng)用于各自然語(yǔ)言處理任務(wù)，其基于注意力機(jī)制獲取文本中字符間的長(zhǎng)距離依賴(lài)，采用的并行結(jié)構(gòu)也可以提升模型訓(xùn)練效率。但在命名實(shí)體識(shí)別任務(wù)中，使用Transformer 作為編碼器的性能表現(xiàn)并不理想。文獻(xiàn)［10-12］指出Transformer 機(jī)器翻譯模型采用的絕對(duì)位置編碼在經(jīng)過(guò)模型自身注意力運(yùn)算后會(huì)丟失字符中的相對(duì)位置信息，影響最終識(shí)別效果。

雖然BiLSTM 模型在命名實(shí)體識(shí)別任務(wù)中表現(xiàn)較好，但是BiLSTM 訓(xùn)練速度較慢。Lattice-LSTM模型通過(guò)對(duì)編碼層的改進(jìn)在字向量中添加了詞信息，但進(jìn)一步增加了模型的計(jì)算負(fù)擔(dān)。Transformer編碼器因?yàn)閬G失了字符相對(duì)位置信息，無(wú)法充分發(fā)揮其性能優(yōu)勢(shì)。針對(duì)上述問(wèn)題，本文提出一種基于Transformer 編碼器的中文命名實(shí)體識(shí)別模型。在字嵌入層中，使用結(jié)合詞典的字向量編碼方法將詞語(yǔ)信息嵌入字向量。在Transformer 編碼器層中，改進(jìn)自注意力計(jì)算方式，同時(shí)引入相對(duì)位置編碼方法，從而在模型中加入相對(duì)位置信息。

1 中文命名實(shí)體識(shí)別模型

基于Transformer 編碼器的命名實(shí)體識(shí)別模型的整體可以分為字嵌入層、Transformer 編碼器層和條件隨機(jī)場(chǎng)層三層。在字嵌入層中，使用結(jié)合詞典的字向量編碼方法生成包含詞語(yǔ)信息的字向量。在Transformer 編碼器層中，對(duì)字向量進(jìn)一步編碼以學(xué)習(xí)前后文特征，同時(shí)通過(guò)修改注意力運(yùn)算方式和引入相對(duì)位置編碼，取得字符的相對(duì)位置信息。最終通過(guò)條件隨機(jī)場(chǎng)層獲取最優(yōu)標(biāo)簽序列，根據(jù)標(biāo)簽序列識(shí)別命名實(shí)體?；赥ransformer 編碼器的命名實(shí)體識(shí)別模型如圖1 所示，其中，輸出的“B”標(biāo)簽代表命名實(shí)體的開(kāi)頭，“I”標(biāo)簽代表命名實(shí)體的結(jié)尾，“O”標(biāo)簽代表這個(gè)詞不是命名實(shí)體，在Transformer 編碼層中包含多個(gè)Transformer 編碼器。

圖1 基于Transformer 編碼器的中文命名實(shí)體識(shí)別模型Fig.1 Chinese NER model based on Transformer encoder

1.1 結(jié)合詞語(yǔ)信息的字嵌入層

在命名實(shí)體識(shí)別模型的字嵌入層中，需要將輸入語(yǔ)句的每一個(gè)字映射為固定維度的字向量，以便后續(xù)的編碼。在中文命名實(shí)體識(shí)別任務(wù)中，基于字符的編碼方法難以利用詞語(yǔ)的信息，因此本文提出一種結(jié)合詞典的字向量編碼方法，使生成的字向量可以包含詞語(yǔ)的信息。

對(duì)于字向量的生成，首先需要進(jìn)行字嵌入模型的選擇。Word2Vec 是一款經(jīng)典的語(yǔ)言嵌入模型［13-15］，具體實(shí)現(xiàn)了Skip-Gram（跳字）和連續(xù)詞袋（Continue Bag-of-Words，CBOW）兩種模型，其中跳字模型的核心思想是使用中心字預(yù)測(cè)背景字，連續(xù)詞袋模型的核心思想是使用背景字預(yù)測(cè)中心字。這兩種模型都可以在不進(jìn)行人工標(biāo)注的前提下利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練生成字向量，并且字向量中包含了上下文本的信息［16］，然而在實(shí)際實(shí)驗(yàn)中，一般使用跳字模型生成字向量。

在選擇好字嵌入模型后，將介紹融入詞語(yǔ)信息的字向量編碼方法。Lattice-LSTM 模型［4］對(duì)LSTM的結(jié)構(gòu)作了大幅修改，在字嵌入的同時(shí)引入詞信息，并最終證明了在字向量中加入詞語(yǔ)信息可以增強(qiáng)中文命名實(shí)體識(shí)別準(zhǔn)確率［17］。但是，Lattice-LSTM 模型［4］對(duì)LSTM 的修改增加了訓(xùn)練時(shí)需要更新的參數(shù)量，增加了模型計(jì)算開(kāi)銷(xiāo)，同時(shí)這種修改難以應(yīng)用于使用其他神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼的命名實(shí)體識(shí)別模型。針對(duì)上述問(wèn)題，本文提出一種相對(duì)簡(jiǎn)單的在字嵌入層引入詞語(yǔ)信息的字向量編碼方法。該方法只對(duì)命名實(shí)體識(shí)別模型的字嵌入層進(jìn)行修改，從而保證了模型整體計(jì)算效率不受太大影響，同時(shí)該方法也具有較強(qiáng)的可移植性。

字向量編碼方法的具體步驟如下：1）對(duì)于輸入文本進(jìn)行分句處理；2）使用Lattice-LSTM 模型中開(kāi)源的中文分詞詞典作為句中每個(gè)字對(duì)應(yīng)的詞典，其中約包括29 萬(wàn)雙字符詞匯和28 萬(wàn)三字符詞匯；3）對(duì)于文本中的每一個(gè)字符c，根據(jù)詞典匹配句子中所有包含該字符的詞，使用B（c）、M（c）、E（c）3 個(gè)集合編碼這個(gè)字包含的詞信息，其中，B（c）表示所有以字符c開(kāi)頭且長(zhǎng)度大于1 的詞，M（c）表示包含字符c且字符c不在開(kāi)頭和末尾的詞，E（c）表示以字符c結(jié)尾且長(zhǎng)度大于1 的詞，如果集合為空，則添加一個(gè)特殊的空詞None 到集合中。如圖2 所示，字符c“5胃”出現(xiàn)在詞“腸胃炎”的中間、詞“胃炎”的首部、詞“腸胃”的底部，因此對(duì)應(yīng)的詞向量集合B（c5）為｛“胃炎”｝、E（c5）為｛“腸胃”｝、M（c5）為｛“腸胃炎”｝，這樣可將句中字符“胃”對(duì)應(yīng)的3 個(gè)詞的信息“腸胃”、“胃炎”、“腸胃炎”通過(guò)字符的3 個(gè)集合進(jìn)行完整收錄。

圖2 融合詞語(yǔ)信息的編碼示意圖Fig.2 Schematic diagram of encoding fusing word information

在獲得每個(gè)字符的B、M、E3 個(gè)詞語(yǔ)集合后，根據(jù)創(chuàng)建的3 個(gè)集合，將詞語(yǔ)信息融入到字向量中，構(gòu)造新的字向量，如式（1）所示：

其中：xnew表示最終生成的包含詞語(yǔ)信息的字向量；xc表示根據(jù)跳字模型直接使用Word2Vec 模型訓(xùn)練生成的字向量表示根據(jù)B、M、E3 個(gè)詞語(yǔ)集合生成的特征向量表示字向量和特征向量的拼接。的具體生成方法如下：

其中：[v(B),v(M),v(E)]表示根據(jù)B、M、E3 個(gè)詞語(yǔ)集合生成的特征向量的拼接。每個(gè)特征向量v(s)的計(jì)算公式如下：

其中：s表示B、M、E中任意一個(gè)詞語(yǔ)集合；|s|表示集合中詞的總數(shù)；v(s)表示集合對(duì)應(yīng)的特征向量；w表示詞語(yǔ)集合中的詞；ew表示詞w對(duì)應(yīng)的詞向量。通過(guò)式（3）實(shí)現(xiàn)了在字向量中加入詞語(yǔ)信息，從而豐富了字向量的特征。

1.2 加入相對(duì)位置信息的Transformer 編碼器層

Transformer 編碼器的具體結(jié)構(gòu)如圖3 所示，編碼器的輸入為之前生成的字向量，由于Transformer沒(méi)有使用遞歸和卷積的方式編碼字的位置信息，因此添加了一種額外的位置編碼來(lái)表示序列中每個(gè)字的絕對(duì)位置信息。

圖3 Transformer 編碼器結(jié)構(gòu)Fig.3 Structure of Transformer encoder

位置編碼的計(jì)算如式（4）和式（5）所示：

其中：PPE為二維矩陣，矩陣的列數(shù)和之前生成的字向量維數(shù)相同，PPE中的行表示文本中每一個(gè)字對(duì)應(yīng)的位置向量，列表示位置向量的維度，位置向量的總維數(shù)等于字向量的總維數(shù)；l表示字在輸入文本中的索引；d表示位置向量的總維數(shù)；i表示位置向量具體的維度，取值范圍為表示索引為l的字的位置向量在偶數(shù)維度的值，使用正弦函數(shù)計(jì)算；表示索引為l的字的位置向量在奇數(shù)維度的值，使用余弦函數(shù)計(jì)算；Transformer 編碼器中將作為三角函數(shù)的輸入，使相對(duì)距離越大的輸入產(chǎn)生的相關(guān)性越弱，并將位置編碼和字向量相加得到最終的字向量。

為便于計(jì)算，Transformer 編碼器使用絕對(duì)位置編碼方法，但是這種編碼方法在經(jīng)過(guò)Transformer 編碼器內(nèi)部的注意力運(yùn)算后會(huì)丟失相對(duì)位置信息。假設(shè)輸入序列為X，根據(jù)Transformer 編碼器的注意力計(jì)算方法，序列中第i個(gè)字和第j個(gè)字的注意力計(jì)算分?jǐn)?shù)如式（6）所示：

其中：Wq和Wk是注意力計(jì)算中使用的生成查詢(xún)向量的權(quán)重矩陣和生成鍵向量的權(quán)重矩陣；Vi和Vj是第i個(gè)字和第j個(gè)字的字向量；Pi和Pj是第i個(gè)字和第j個(gè)字的位置向量。對(duì)式（6）進(jìn)行因式分解得到式（7）：

其中：ViTWqTWkVj不包含位置 編碼；ViTWqTWkPj只包含序列中第j個(gè)字的位置向量Pj；PiTWqTWkVj只包含第i個(gè)字的位置向量Pi；PiTWqTWkPj中同時(shí)包含序列中第i個(gè)字和第j個(gè)字的位置向量Pi和Pj。事實(shí)上，根據(jù)Transformer 編碼器的編碼方式，PiTPj包含相對(duì)位置信息。對(duì)于文本中任意一個(gè)字符i，將位置向量展開(kāi)如式（8）所示：

其中：k表示字符i和字符j的距離，k=j-i。由三角函數(shù)的性質(zhì)可知，cos(a-b)=sin(a)sin(b)+cos(a)cos(b)，因此將式（9）化簡(jiǎn)可得：

圖4 Transformer 位置向量乘積結(jié)果可視化Fig.4 Visualization of product result of position vector

為加強(qiáng)Transformer編碼器對(duì)相對(duì)位置的感知能力，在文獻(xiàn)［17］研究的基礎(chǔ)上，對(duì)式（7）中Transformer編碼器的注意力計(jì)算公式進(jìn)行修改。相比于文獻(xiàn)［17］，沒(méi)有選擇銳化Transformer 的注意力矩陣，而是通過(guò)基于正弦函數(shù)的相對(duì)位置編碼減少模型的注意力參數(shù)，同時(shí)保留字符間的距離信息和相對(duì)位置信息，提升模型在中文命名實(shí)體識(shí)別任務(wù)中的性能表現(xiàn)，計(jì)算公式如式（11）所示：

其中：u和v表示可學(xué)習(xí)的參數(shù)向量；Ri,j是根據(jù)式（10）修改的相對(duì)位置編碼。因?yàn)樵谝胂鄬?duì)位置編碼后無(wú)需再使用注意力機(jī)制中的查詢(xún)向量查詢(xún)字符i的絕對(duì)位置Pi，所以使用參數(shù)向量u和v替換式（7）中的其中Wq、u和v均是可學(xué)習(xí)的參數(shù)。Ri,j表示字符i和字符j的相對(duì)位置編碼，替換了式（7）中代表相對(duì)位置信息的相對(duì)位置編碼的具體編碼方式如式（12）所示：

相對(duì)位置編碼方法實(shí)質(zhì)上是將式（10）中的cos 函數(shù)替換成sin 函數(shù)。在式（10）中因?yàn)槿呛瘮?shù)cos(-x)=cos(x)導(dǎo)致Transformer 編碼器使用的原始位置編碼對(duì)相對(duì)距離的感知缺乏方向性，而sin(-x)=-sin(x)，所以相對(duì)位置編碼Ri,j對(duì)方向敏感。通過(guò)上述修改，Transformer 編碼器在進(jìn)行注意力運(yùn)算后不會(huì)再丟失相對(duì)位置信息，在感知字符距離變化的同時(shí)也具備了方向感知能力。

1.3 條件隨機(jī)場(chǎng)層

在本文命名實(shí)體識(shí)別模型中，Transformer 編碼器層只能獲取包含進(jìn)一步上下文信息的字向量，即使加入了詞語(yǔ)信息和相對(duì)位置編碼，也無(wú)法考慮最終預(yù)測(cè)標(biāo)簽之間的依賴(lài)關(guān)系，比如標(biāo)簽I 必須在標(biāo)簽B 后。因此，模型中采用條件隨機(jī)場(chǎng)層考慮標(biāo)簽之間的相鄰關(guān)系來(lái)獲取全局最優(yōu)的標(biāo)簽序列。條件隨機(jī)場(chǎng)模型是一種經(jīng)典的判別式概率無(wú)向圖模型，該模型經(jīng)常被應(yīng)用于序列標(biāo)注任務(wù)［18］，對(duì)于輸入句子x=(x1,x2,…,xn)，句子標(biāo)簽序列y=(y1,y2,…,yn)的打分如式（13）所示：

其中：A為轉(zhuǎn)移得分矩陣表示由標(biāo)簽yi轉(zhuǎn)移到標(biāo)簽yi+1的轉(zhuǎn)移得分；y0和yn+1表示句中起始和終止標(biāo)簽，這兩個(gè)標(biāo)簽只在計(jì)算時(shí)臨時(shí)添加表示第i個(gè)字被標(biāo)記為yi的概率。用softmax 函數(shù)歸一化得到y(tǒng)標(biāo)簽序列的最大概率，如式（14）所示：

其中：LLoss表示損失函數(shù)。使用經(jīng)過(guò)標(biāo)注的文本迭代訓(xùn)練命名實(shí)體識(shí)別模型直至損失函數(shù)Loss 小于閾值ε，ε為事先設(shè)定好的常量。利用維特比算法求得全局最優(yōu)序列，最優(yōu)序列為最終命名實(shí)體識(shí)別模型的標(biāo)注結(jié)果，如式（16）所示：

其中：y*為集合中使得分函數(shù)取得最大值的標(biāo)簽序列。

2 實(shí)驗(yàn)結(jié)果與分析

將基于Transformer 編碼器的命名實(shí)體識(shí)別模型與其他基于深度學(xué)習(xí)的命名實(shí)體識(shí)別模型進(jìn)行性能對(duì)比，使用Weibo 和Resume 中文命名實(shí)體識(shí)別數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，利用精確率、召回率以及F1 值作為實(shí)驗(yàn)主要的評(píng)估指標(biāo)，通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證基于Transformer 編碼器的命名實(shí)體識(shí)別模型性能。

2.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

Weibo 數(shù)據(jù)集來(lái)源于新浪微博上選取的標(biāo)注信息，具體包括2013 年11 月至2014 年12 月約1 900 條信息［8］。Resume 數(shù)據(jù)集來(lái)源于新浪金融上的中文簡(jiǎn)歷信息，包含人名、種族、職稱(chēng)等8 類(lèi)實(shí)體，共涉及4 731 條經(jīng)過(guò)標(biāo)注的中文簡(jiǎn)歷信息［7］。2 個(gè)數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息如表1 所示。

表1 數(shù)據(jù)集統(tǒng)計(jì)信息Table 1 Dataset statistics 103

2.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)?zāi)Ｐ筒捎脧?fù)旦大學(xué)提供的開(kāi)源自然語(yǔ)言處理框架FastNLP 搭建［19］，使用Dropout算法防止模型過(guò)擬合。實(shí)驗(yàn)環(huán)境設(shè)置如表2 所示。實(shí)驗(yàn)中的超參數(shù)設(shè)置如表3 所示。模型性能對(duì)于超參數(shù)學(xué)習(xí)率和Batch Size較為敏感。在實(shí)際操作中，Batch Size 選擇16，通過(guò)使用小批量的樣本集增加模型迭代次數(shù)，更快達(dá)到擬合點(diǎn)，對(duì)應(yīng)選擇0.001 的學(xué)習(xí)率以保持訓(xùn)練穩(wěn)定性，同時(shí)將Dropout 設(shè)為0.3 以防止模型過(guò)擬合。

表2 實(shí)驗(yàn)環(huán)境設(shè)置Table 2 Setting of experimental environment

表3 實(shí)驗(yàn)超參數(shù)設(shè)置Table 3 Setting of experimental hyperparameters

2.3 與其他模型的對(duì)比結(jié)果與分析

引入基于ID-CNN+CRF的命名實(shí)體識(shí)別模型（簡(jiǎn)稱(chēng)為ID-CNN+CRF）［20］和經(jīng)典的基于BiLSTM+CRF的命名實(shí)體識(shí)別模型（簡(jiǎn)稱(chēng)為BiLSTM+CRF）作為對(duì)比模型，在Weibo和Resume數(shù)據(jù)集上分別進(jìn)行對(duì)比實(shí)驗(yàn)。由于基于Transformer編碼器的命名實(shí)體識(shí)別模型中加入了相對(duì)位置信息，簡(jiǎn)稱(chēng)為T(mén)ransformer+Relative Position+CRF。在Resume數(shù)據(jù)集上3種模型的實(shí)驗(yàn)結(jié)果如表4所示，F(xiàn)1值變化曲線(xiàn)如圖5所示。從表4 和圖5 可以看出，基于Transformer 編碼器的命名實(shí)體識(shí)別模型在Resume 數(shù)據(jù)集上取得了最優(yōu)結(jié)果，F(xiàn)1 值達(dá)到了94.7%，略高于基于BiLSTM+CRF 的命名實(shí)體識(shí)別模型和基于ID-CNN+CRF 的命名實(shí)體識(shí)別模型。同時(shí)，基于Transformer 編碼器的命名實(shí)體識(shí)別模型在第20 個(gè)Epoch 時(shí)F1 值開(kāi)始增長(zhǎng)緩慢，模型趨近于收斂，說(shuō)明基于Transformer 編碼器的命名實(shí)體識(shí)別模型相比基于BiLSTM 的命名實(shí)體識(shí)別模型和基于ID-CNN 的命名實(shí)體識(shí)別模型具有更快的收斂速度。

表4 Resume 數(shù)據(jù)集上3 種模型的實(shí)驗(yàn)結(jié)果Table 4 Experimental results of three models on Resume dataset %

圖5 3 種模型在Resume 數(shù)據(jù)集上的F1 值變化曲線(xiàn)Fig.5 F1 value change curves of three models on Resume dataset

在Weibo 數(shù)據(jù)集上3 種模型的實(shí)驗(yàn)結(jié)果如表5所示，F(xiàn)1 值變化曲線(xiàn)如圖6 所示。從表5 和圖6 可以看出，在Weibo 數(shù)據(jù)集上3 種模型的效果均不理想，基于Transformer 編碼器的命名實(shí)體識(shí)別模型的F1 值僅達(dá)到58.2%，相比其他兩個(gè)模型提升有限。根據(jù)對(duì)Weibo 數(shù)據(jù)集的觀察發(fā)現(xiàn)，3 種模型識(shí)別效果均不佳的原因主要為：1）Weibo 數(shù)據(jù)集的數(shù)據(jù)樣本量較小，模型訓(xùn)練效果不佳；2）Weibo 數(shù)據(jù)集中包含大量的人名類(lèi)實(shí)體和地名類(lèi)實(shí)體，基于深度學(xué)習(xí)的命名實(shí)體識(shí)別模型很難通過(guò)神經(jīng)網(wǎng)絡(luò)提取實(shí)體特征，從而影響了最終識(shí)別效果。

表5 Weibo 數(shù)據(jù)集上3 種模型的實(shí)驗(yàn)結(jié)果Table 5 Experimental results of three models on Weibo dataset %

圖6 3 種模型在Weibo 數(shù)據(jù)集上的F1 值變化曲線(xiàn)Fig.6 F1 value change curves of three models on Weibo dataset

在基于Transformer 編碼器的命名實(shí)體識(shí)別模型中，分別對(duì)字嵌入層和Transformer 編碼器層做了改進(jìn)，其中字嵌入層使用融合詞語(yǔ)信息的字向量編碼方法，Transformer 編碼器層加入相對(duì)位置信息。為驗(yàn)證這些改動(dòng)的有效性，引入原始基于Transformer+CRF 的命名實(shí)體識(shí)別模型在Resume 數(shù)據(jù)集上做進(jìn)一步的對(duì)比實(shí)驗(yàn)，如圖7 所示。從圖7 可以看出，基于Transformer 編碼器的命名實(shí)體識(shí)別模型相比原始基于Transformer+CRF 的命名實(shí)體識(shí)別模型，F(xiàn)1 值約提升了2 個(gè)百分點(diǎn)，證明了在字嵌入層中的詞語(yǔ)信息及Transformer 編碼器層中的相對(duì)位置信息可有效提升命名實(shí)體識(shí)別模型的最終識(shí)別效果。

圖7 2 種模型在Resume 數(shù)據(jù)集上的F1 值變化曲線(xiàn)Fig.7 F1 value change curves of two models on Resume dataset

3 結(jié)束語(yǔ)

本文針對(duì)中文命名實(shí)體識(shí)別過(guò)程中的詞語(yǔ)信息丟失問(wèn)題，提出一種基于Transformer 編碼器的中文命名實(shí)體識(shí)別模型。該模型使用結(jié)合詞典的字向量編碼方法使字向量中包含詞語(yǔ)信息，通過(guò)改進(jìn)Transformer 編碼器的注意力運(yùn)算以及引入相對(duì)位置編碼方法增加字符的相對(duì)位置信息。在Weibo 和Resume 中文命名實(shí)體識(shí)別數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型相比于其他主流命名實(shí)體識(shí)別模型具有更好的識(shí)別效果。后續(xù)可在MSRA 等數(shù)據(jù)集上，將該模型與其他基于深度學(xué)習(xí)的中文命名實(shí)體識(shí)別模型進(jìn)行性能對(duì)比，進(jìn)一步增強(qiáng)模型泛化能力。