基于transformer的python命名實體識別模型

徐關(guān)友，馮偉森

（四川大學(xué)計算機學(xué)院，成都 610065）

0 引言

在中國互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和世界范圍內(nèi)線上教育快速普及的大背景下，互聯(lián)網(wǎng)技術(shù)被廣泛地應(yīng)用于教育領(lǐng)域，網(wǎng)絡(luò)上有許多在線題庫能幫助學(xué)生學(xué)習(xí)各種專業(yè)的知識，但是這些在線題庫很難針對每個學(xué)生不同的學(xué)習(xí)進展而進行個性化的試題定制。題庫中的練習(xí)題一般是以章節(jié)或者是知識點來進行劃分，章節(jié)或者是知識點之間會有一部分重疊、遞進的情況出現(xiàn)，這些情況會影響學(xué)生練習(xí)試題的效果。因此學(xué)生在學(xué)習(xí)python 知識時，對python 知識進行更加精確的命名實體識別（Named Entity Recognition，NER）是十分重要的前期工作。

python 命名實體相較于微博等廣泛使用口語的命名實體在句子方面會更加正式。和醫(yī)學(xué)、社交等熱門的領(lǐng)域相比，python 領(lǐng)域的NER 研究和嘗試都相對較少，現(xiàn)有的技術(shù)可以解決部分問題，但仍會面臨數(shù)據(jù)少、可借鑒和參考少的問題，因此取得的效果一般。

NER 是自然語言處理（Natural Language Processing，NLP）眾多子任務(wù)中一項非常上游的基本任務(wù)，NER 同時也是諸如問答系統(tǒng)［1］、信息檢索［2］、關(guān)系提取［3］等非常多下游任務(wù)的前提和重要基礎(chǔ)，在近幾年受到了非常多研究人員的重點關(guān)注。NER 的主要目標是從給定文本中找到諸如人物名和地名等命名實體（Named Entity，NE）。在深度學(xué)習(xí)（Deep Learning，DL）技術(shù)未廣泛使用以前，Saito 等［4］提出使用隱馬爾可夫模型（Hidden Markov Model，HMM）來識別NE，而Feng 等［5］則是利用條件隨機場（Conditional Random Fields，CRF）解決該問題，Ekbal 等［6］在2010 年提出使用支持向量機（Support Vector Machines，SVM）識別文本中的NE。近幾年深度學(xué)習(xí)技術(shù)和注意力機制得到發(fā)展后則使用神經(jīng)網(wǎng)絡(luò)技術(shù)［7］來解決NER 問題，使得NER 有很大的進步。

相較于英文NER，中文NER 難度更大，因為中文并不能像英文那樣自然切分，詞邊界非常模糊，所以現(xiàn)有的一些研究是先使用已有的中文分詞系統(tǒng)進行分詞，然后將詞級序列標注的模型應(yīng)用于分詞的句子［8］。然而，中文分詞（Chinese Word Segmentation，CWS）不可避免地會產(chǎn)生錯誤分割的情況，會使詞邊界和實體類別的預(yù)測出現(xiàn)錯誤。所以有些方法直接使用字符進行NER，文獻［9-10］中的研究表明字符級的NER 模型也能夠有效地識別NE。

雖然基于字符的中文NER 模型能避免分詞錯誤，但是基于字符的模型有一個缺點就是沒有充分利用數(shù)據(jù)中的單詞信息，而這些單詞信息對于識別NE 非常關(guān)鍵。出于將詞信息加入到模型中的目的，Lattice-LSTM 模型［11］使用類似格子的結(jié)構(gòu)來編碼輸入到模型中的字符以及與詞典所匹配的詞信息。該模型是一個使用長短期記憶（Long Short-Term Memory，LSTM）和條件隨機場（Conditional Random Field，CRF）的字符級模型的拓展模型，它在兩個字符之間設(shè)置一個用于存儲開始和結(jié)束字符之間對應(yīng)單詞的“快捷路徑”，通過“快捷路徑”連接開始字符、存儲單元和結(jié)束字符，并且使用門控循環(huán)單元（Gated Recurrent Unit，GRU）來控制快捷路徑和相鄰字符直接路徑的貢獻。門控循環(huán)單元在如圖1 所示的情況時，模型沒有辦法選擇正確的路徑，此時該模型會退化為基于詞的模型，受到分詞錯誤帶來的負面影響。圖1（a）表示Lattice-LSTM 原模型，而圖1（b）則表示因為錯誤預(yù)測“河水（River Water）”為實體從而造成快捷路徑錯誤的情況，圖中標有雙下劃線的標簽表示正確預(yù)測的標簽，而沒有下劃線的標簽表示模型預(yù)測的錯誤標簽，字符間的虛線路徑則表示未正確預(yù)測的路徑。由于句子中的每一個單詞的長度是不同的，整個路徑的長度不是固定的；每個字符都對應(yīng)有一個可變大小的候選詞集，這意味著模型的輸入和輸出路徑的數(shù)量也不是固定的，上述兩個問題會使得Lattice-LSTM模型失去批量訓(xùn)練的能力，從而導(dǎo)致模型訓(xùn)練的速度降低。

圖1 一個Lattice-LSTM退化的例子Fig.1 An example of Lattice-LSTM degradation

新提出的字符-詞 transformer（Character-Word TransFormer，CW-TF）模型可以很好地解決Lattice-LSTM 模型的上述問題。為了防止模型退化為基于詞的模型而受到分詞錯誤帶來的影響，本文模型將詞信息分配給單個的字符，摒除了錯誤路徑的影響。在transformer 編碼前創(chuàng)建字符和詞信息，在編碼時將詞信息分別分配給其對應(yīng)的開始和結(jié)束字符，通過transformer 處理后使用CRF 解碼預(yù)測標簽序列。本文模型還引入了3 種策略來處理字符對應(yīng)的詞信息長度不固定的問題，讓模型能夠保留詞信息的同時提高模型批量訓(xùn)練的速度。

針對python 的NER，CW-TF 模型在python 數(shù)據(jù)集上展示了其有效性，而且驗證了模型并不會因為python 數(shù)據(jù)集而產(chǎn)生高性能的特殊情況，同時還在另一個數(shù)據(jù)集上訓(xùn)練，確保模型的普適性。實驗的結(jié)果表明本文所提模型確實能較好地識別python 中的NE。

本文的主要工作有：1）提出了CW-TF 模型將詞信息融合到基于字符的模型中；2）探索了3 種不同的策略將詞信息編碼為固定大小的向量以解決無法批量化訓(xùn)練的問題；3）針對python 已有數(shù)據(jù)集缺乏的問題整理了一個python 的NER數(shù)據(jù)集；4）驗證了所提模型能很好地識別python 中的NE。

1 相關(guān)工作

近年來LSTM 等神經(jīng)網(wǎng)絡(luò)技術(shù)的進步促進了NER 的快速發(fā)展，本章將說明神經(jīng)網(wǎng)絡(luò)技術(shù)在NER 中的應(yīng)用以及提出模型使用到的transformer 的結(jié)構(gòu)。

1.1 NER的神經(jīng)結(jié)構(gòu)

近些年來神經(jīng)網(wǎng)絡(luò)技術(shù)在NER 中已經(jīng)取得了較好的成績［12-14］。從輸入序列到預(yù)測標簽序列，基于DL（Deep Learning）或者是注意力機制的NER 模型一般是由輸入、上下文編碼器和標簽解碼器3 個部分構(gòu)建而成［15］。

Xu 等［16］利用詞根、字符、詞等不同粒度級別的信息作為輸入解決了中文微博數(shù)據(jù)集中的NER 明顯的性能下降問題；Sun 等［17］提出了ERNIE2.0 模型，首先從訓(xùn)練的語料庫中提取詞匯信息、句法信息和語義信息，然后逐步構(gòu)建預(yù)訓(xùn)練任務(wù)，最后通過在這些構(gòu)建的任務(wù)上持續(xù)多任務(wù)學(xué)習(xí)的方式利用了訓(xùn)練語料庫中其他有價值的信息。

Liu 等［18］在將信息輸入模型時將詞信息與字符信息相融合，避免了分詞錯誤帶來的影響，但是其批量化的訓(xùn)練速度仍然受限于上下文編碼的方式；所以現(xiàn)有的某些研究［19-20］使用圖像處理的方法來處理NER，將中文字符轉(zhuǎn)化為圖片的格式進行訓(xùn)練，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）編碼圖片吸收漢字作為象形文字的象形信息；Yan 等［21］使用了transformer 結(jié)構(gòu)作為上下文編碼器編碼輸入信息，對字符級和詞級特征進行建模，通過整合方向感知、距離感知等信息證明了transformer 類的編碼器對于NER和其他NLP 任務(wù)一樣有效；Zhu 等［22］針對詞級嵌入和詞匯特征的模型經(jīng)常出現(xiàn)的分詞錯誤以及預(yù)訓(xùn)練在字典外（Out-Of-Vocabulary，OOV）的問題，提出使用一個基于字符并且?guī)в芯植孔⒁饬拥腃NN 和從相鄰的字符以及句子語境中獲取信息的全局自注意層的GRU 組成的卷積注意網(wǎng)絡(luò)（Convolutional Attention Network，CAN）作為上下文編碼器解決這個問題；Ding 等［23］利用自適應(yīng)的門控圖序列神經(jīng)網(wǎng)絡(luò)（Gated Graph Sequence Neural Network，GGNN）和一個標準的雙向長短期記憶（Bi-directional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)作為上下文編碼器，學(xué)習(xí)來自不同詞典的加權(quán)信息組合，并且模型基于上下文信息解決了字符和詞匯匹配的沖突；Sui 等［24］和Wu 等［25］也使用Bi-LSTM 作為上下文編碼器解決了中文詞邊界模糊的問題；Xue 等［26］提出一個transformer 的拓展模型多孔格子transformer 編碼器（Porous Lattice Transformer Encoder，PLTE），它通過批處理并行建模所有的字符和匹配的詞匯，并用位置關(guān)系表示來增加自注意以包含格結(jié)構(gòu)，它還引入了一種多孔機制來增強本地建模，并保持捕獲豐富的長距離依賴關(guān)系的強度。Zhao 等［27］提出了多任務(wù)數(shù)據(jù)選擇和使用知識庫的約束解碼兩種方式改進Bi-LSTM-CRF 模型架構(gòu)。

1.2 Transformer

Vaswani等［28］改進了seq2seq任務(wù)模型，提出了transformer的概念。transformer 的結(jié)構(gòu)如圖2所示，包含編碼和解碼兩個部分，為了專注于NER 任務(wù)，本部分只關(guān)注于transformer的編碼部分。transformer 的編碼部分是由多頭注意力（Multi-head Attention）和前饋網(wǎng)絡(luò)（FeedForward Network，F(xiàn)FN）這兩個非常重要的部分組成，F(xiàn)FN 是一種具有非線性轉(zhuǎn)換位置方式的多層感知器。在這之后是殘差連接和層標準化這兩個操作。

圖2 transformer結(jié)構(gòu)Fig.2 Structure of transformer

1.2.1 位置嵌入

自注意力不知道不同標記的位置，所以無法捕獲語言的順序特征，而Vaswani 等［28］則采用由頻率變化的正弦波產(chǎn)生的位置嵌入。第t個詞元的位置嵌入可以用下面的公式計算：

其中：i∈[0，]，d表示輸入的維度。這種基于正弦曲線的位置嵌入使transformer 能夠?qū)υ~元的位置和每兩個詞元的距離進行建模。對于任何固定的偏移量k，PEt+k以通過PEt的一個線性transformer 表示。

1.2.2 縮放點擊注意力

transformer 編碼器接收到一個已經(jīng)轉(zhuǎn)化為嵌入向量的矩陣H∈Rl×d，其中的l和d分別表示序列的長度和輸入的維度。使用三個可學(xué)習(xí)的矩陣Wq，Wk，Wv∈可以將矩陣H投影到不同的空間中，dk為一個超參數(shù)。縮放點積注意力可以通過以下公式計算：

其中：At，j、Q、K、V、A皆為矩陣；Qt表示第t個詞元的查詢向量；j表示第j詞元；Kj表示第j個詞元的值向量表達；歸一化指數(shù)函數(shù)softmax 將應(yīng)用于最后一個維度。

1.2.3 多頭自注意力

可以使用多組Wq、Wk、Wv提升自注意力的能力，在使用多組Wq、Wk、Wv時被稱為多頭自注意力，其計算方式為：

式（6）和（7）中的h表示頭的索引，式（8）中的n表示頭的數(shù)量，[head(1)，head(2)，…，head(n)]則表示在最后一個維度的連接操作。在一般的情況下有d=n×dk，這可以說明多頭注意力MultiHead(H) ∈Rl×d。在式（8）中的WO∈Rd×d是一個可學(xué)習(xí)參數(shù)。

1.2.4 前饋網(wǎng)絡(luò)

多頭注意力的輸出會經(jīng)過FFN 進一步處理，處理過程可以表示為：

其中：W1，W2∈為可學(xué)習(xí)參數(shù)矩陣，dff是一個超參數(shù)；b1∈為可學(xué)習(xí)向量，b2∈Rd同樣為可學(xué)習(xí)向量。

2 所提模型

所提模型結(jié)構(gòu)如圖3 所示，和有的模型一樣使用transformer 作為上下文編碼器編碼輸入的數(shù)據(jù)，但是本文模型和標準的transformer 模型在嵌入層有所不同。如圖3 所示，實線部分可以看作是一個使用transformer 作為上下文編碼器的基于字符的模型，虛線部分則表示將單詞信息編碼成固定大小的表示，單詞信息被整合到單詞的結(jié)尾字符中，“PAD”表示填充值，“Stgy”表示3 種編碼策略的一種，“⊕”表示連接操作。在嵌入層中，中文句子是將詞信息綁定到每個字符上形成字符-詞對；其次，為了使模型能夠批量訓(xùn)練并滿足不同的應(yīng)用需求，引入了3 種編碼策略來從詞集中提取固定大小但不同的信息；最后，CW-TF 模型能提取字符和單詞的特征，以更好地預(yù)測NE。

圖3 所提模型結(jié)構(gòu)Fig.3 Structure of the proposed model

使用S={c1，c2，…，cn}來表示輸入的一句中文句子，ci表示句子中的第i個字符；使用cb，e表示句子S中的一個以第b個字符開始到第e個字符結(jié)束的字符子序列，如圖3 中所示的字符子序列“清澈”，可以將其表示為字符子序列c1，2。使用ciw表示第i個字符對應(yīng)的單詞集，它由一組來自詞典D的字符子序列cb，i所構(gòu)成，而下標b＜i，詞典D的構(gòu)建和Lattice-LSTM 模型中自動分割原始文本構(gòu)建的詞典相同，每個字符對應(yīng)的單詞集可以表示為ciw={wi1，wi2，…，}，wi1表示字符ci對應(yīng)的字符子序列構(gòu)成詞集的第一個詞，表示詞集中詞的數(shù)量。字符對應(yīng)的詞集在經(jīng)過詞編碼策略選擇以后，把字符和對應(yīng)詞信息連接在一起，最終輸入的句子按字符-詞對這種形 式可以表示為CW={(c1，c1w)，(c2，c2w)，…，(cn，cnw)}。

2.1 詞編碼策略

詞集ciw中詞的原始數(shù)量為，盡管模型在同一個批次中為每個字符ci分配的單詞集ciw中詞的數(shù)量通過填充都為，但是每個批次為字符ci選擇的詞的長度會因為批次不同而可能不同，因此模型的輸入大小并不是相同的，這種情況將會不利于批量訓(xùn)練。為了獲取固定大小的輸入，本節(jié)將會介紹3 種不同的編碼策略，并且在后面的部分統(tǒng)一使用wi，fin作為字符ci對應(yīng)詞信息的最終表示，然后其他對應(yīng)詞的長度則通過填充或者是截取的方式變成相同的長度。在通過詞編碼后字符ci對應(yīng)的詞集中只有一個詞，其詞集可以表示為ciw=wi，fin。

2.1.1 最短策略

對于字符ci對應(yīng)的詞集ciw={wi1，wi2，…}，最短策略為選擇詞集中長度最短的詞，假如是第一個詞的長度為最短，則有：

2.1.2 最長策略

對于字符ci對應(yīng)的詞集ciw={wi1，wi2，…，}，最長策略就是選擇詞集中長度最長的詞，如果最后一個詞的長度最長，則有：

2.1.3 平均策略

如果選擇長度最短的詞語，一般情況下就是字符本身，必定只能利用部分的信息，而選擇長度最長的詞會對增加計算的時間，所以引入一種平均策略。將平均策略用于選詞的時候，對于字符ci對應(yīng)的詞集ciw={wi1，wi2，…，}，選擇對應(yīng)的詞有：

2.2 詞-字符嵌入層

在CW中的i個元素都包含兩個部分：對應(yīng)句子中的第i個字符和分配給這個字符的詞ciw。在字符ci的詞集沒有經(jīng)過編碼策略選擇以前，每個詞集ciw中的詞的數(shù)量為，通過填充確保每個詞集ciw有相同數(shù)量的候選詞數(shù)量，經(jīng)過詞編碼策略以后字符ci對應(yīng)的詞為wi，fin。通過預(yù)訓(xùn)練的字符嵌入查找表ec將每個字符ci嵌入到分布空間中獲得向量有：

同樣字符ci對應(yīng)的詞ciw=wi，fin，通過預(yù)訓(xùn)練的詞嵌入查找表ew將每個詞wi，fin表示為向量：

2.3 詞-字符transformer

選擇對應(yīng)的詞編碼策略將詞集編碼并且使字符和對應(yīng)的詞轉(zhuǎn)化為嵌入向量，然后將字符嵌入與對應(yīng)的詞嵌入連接。將字符嵌入與對應(yīng)的詞嵌入連接計算獲取向量Xi如下：

式（15）中的“⊕”符號表示連接操作，在經(jīng)過連接以后CW={X1，X2，…，Xn}。通過將字符與對應(yīng)詞信息連接，本模型沒有Lattice 模型中的快捷路徑，信息只能在相鄰的字符間流動，確保模型不會退化。將連接的信息輸入到上下文編碼器中，在CW-TF 中的隱藏狀態(tài)向量hi計算有：

則CW-TF 的輸出可 以表示為H={h1，h2，…，hn}的向量集合。

2.4 解碼和訓(xùn)練

模型使用標準的CRF 作為模型的最后一層，將上下文編碼器的結(jié)果H輸入到CRF 中。對于一個由向量li組成可能的標記序列y={l1，l2，…，ln}，它的概率計算如下：

在得到所有可能的標簽序列后，對其使用一階維特比算法找到可能性最大的標簽序列。

3 實驗結(jié)果和分析

3.1 數(shù)據(jù)和評估指標

使用3 個數(shù)據(jù)集評估提出的CW-TF 模型，并且使用精確率（Precision，P）、召回率（Recall，R）和F1 值（F1）作為評價的指標。

3.1.1 數(shù)據(jù)集

使用多個數(shù)據(jù)集（python 數(shù)據(jù)集、resume 數(shù)據(jù)集和weibo數(shù)據(jù)集）評估提出的CW-TF 模型。resume 數(shù)據(jù)集、weibo 數(shù)據(jù)集是Lattice-LSTM 模型中使用的數(shù)據(jù)集，python 命名實體數(shù)據(jù)集是針對python 知識領(lǐng)域的數(shù)據(jù)集。

針對學(xué)生在學(xué)習(xí)python 知識時的個性化定制問題，python 命名實體識別的工作必不可少。中文命名實體識別的工作主要集中在新聞領(lǐng)域以及社交領(lǐng)域，針對教學(xué)領(lǐng)域的數(shù)據(jù)集很少，所以制作了一個有關(guān)python 命名實體的數(shù)據(jù)集。制作python 數(shù)據(jù)集時需要知道：在教育領(lǐng)域中，可以將NE 看作是教學(xué)過程中傳遞信息的載體。具體來說，在教學(xué)材料中NE 的表現(xiàn)形式可以是一個符號、一個事實、一個概念、一個原理或一個技能。通過這些事實、概念實現(xiàn)信息從一端到另外一端的傳遞。

教育領(lǐng)域中的NE 可以分為概念性、事實型、原理型、技能型以及符號型幾類。在教育材料中：符號型NE 通常以單詞形式出現(xiàn)。概念型NE、原理型NE、事實型NE、技能型NE通常以一句或多個句子的形式出現(xiàn)。其例子如圖4 所示。

圖4 數(shù)據(jù)集標注例子圖Fig.4 Dataset labeling examples

標注的python 數(shù)據(jù)集是使用文獻［29］作為標注數(shù)據(jù)集的原始文本材料，對書中的第一章至最后一章的所有內(nèi)容進行標注。在進行數(shù)據(jù)標注以前使用正則表達式將語料中的數(shù)字統(tǒng)一替換為0，然后對清理過后的數(shù)據(jù)使用開源的標注工具YEDDA［30］進行NE 標注，并使用BIO 標記主題。對于數(shù)據(jù)集中的每個字符，可能的標注結(jié)果包括“B-NAME”“INAME”和“O”三種情況。python 數(shù)據(jù)集、resume 數(shù)據(jù)集和weibo 數(shù)據(jù)集的句子數(shù)量和字符數(shù)量如表1 所示，而表中的“K”表示1 000。

表1 數(shù)據(jù)集的統(tǒng)計信息Tab.1 Statistics of datasets

3.1.2 評估指標

使用精確率（P）、召回率（R）和F1 值（F1）來評價模型在3 個數(shù)據(jù)集上的NE 識別效果。P指的是所有正確預(yù)測結(jié)果占所有實際被預(yù)測到的結(jié)果的比例；R指的是正確被預(yù)測的結(jié)果占所有應(yīng)該被預(yù)測到的結(jié)果的比例；P傾向于查準，而R更傾向于查全，在預(yù)測的時候希望兩者都高，但事實上這兩個指標在有些情況下是矛盾的，所以引入了精確率和召回率的調(diào)和平均F1。P、R、F1 三者的計算方法如下：

其中：Tp表示模型能夠正確識別到的實體數(shù)目，F(xiàn)p表示模型識別到與所需NE 不相關(guān)的實體個數(shù)，F(xiàn)N表示模型無法識別的相關(guān)實體個數(shù)。

3.2 實驗設(shè)置

本節(jié)將會通過兩個部分詳細地介紹實驗所依托的軟硬件環(huán)境以及在實驗過程中所設(shè)置的各種參數(shù)。

3.2.1 模型參數(shù)設(shè)置

模型的超參數(shù)和訓(xùn)練參數(shù)搜索范圍如表2 所示，模型的特征維度在前兩個數(shù)據(jù)集上都在160 時取得最好的效果，而在weibo 這個數(shù)據(jù)集上取得最好效果是在320；同樣前兩個數(shù)據(jù)集在模型層數(shù)設(shè)置為2 時取得較好的效果，而weibo 則是在4 時效果較好；將python 數(shù)據(jù)集和resume 數(shù)據(jù)集的多頭注意力頭數(shù)和維度分別設(shè)置為10 和64，而將weibo 數(shù)據(jù)集的多頭注意力頭數(shù)和維度分別設(shè)置為16 和128。輸入句子的最大長度在resume 數(shù)據(jù)集上設(shè)置為178，而在python 數(shù)據(jù)集上設(shè)置為199，在weibo 數(shù)據(jù)集上設(shè)置為175。字符嵌入和詞嵌入設(shè)置為0.15，而將模型中transformer 的dropout 率為0.4。并且模型將隨機梯度下降（Stochastic Gradient Descent，SGD）這種優(yōu)化算法應(yīng)用于優(yōu)化器，同時在python 數(shù)據(jù)集和resume 數(shù)據(jù)集上都將學(xué)習(xí)率設(shè)置為0.000 7。將梯度裁剪值設(shè)置為5，模型訓(xùn)練10 個輪次，100 個批次。

表2 模型參數(shù)Tab.2 Model parameters

3.2.2 實驗環(huán)境

實驗的硬件和軟件環(huán)境如表3 所示。

表3 實驗環(huán)境Tab.3 Experimental environment

3.3 實驗結(jié)果和分析

與本文所提模型比較的基準模型同樣是使用了詞信息的模型，即在2018 年提出的Lattice-LSTM 模型、在2019 年提出的WC-LSTM 模型、在2019 年提出的LR-CNN 模型以及在2020 年提出的BERT+CRF 和BERT+LSTM+CRF 方法作為比較的基準。表4 為各模型在python 數(shù)據(jù)集、resume 數(shù)據(jù)集和weibo 數(shù)據(jù)集上的實驗結(jié)果。

表4 在python，resume，weibo數(shù)據(jù)集上的實驗結(jié)果 單位：%Tab.4 Experimental results on python，resume，weibo datasets unit：%

從表4 中可以看出將字符與對應(yīng)詞連接時，NER 性能將得到提升。在python 數(shù)據(jù)集，針對Lattice-LSTM 模型，將字符直接與其對應(yīng)的詞信息連接消除了原有模型中的快捷路徑，進一步消除了模型退化為基于詞模型的可能性，所以在P、R以及F1 上分別提升1.5、3.81、2.64 個百分點。與WC-LSTM模型相比，在R 值和F1 值上分別提升1.73 和0.58 個百分點，由于訓(xùn)練模型時的參數(shù)問題，導(dǎo)致得到的模型相較于理想情況，更傾向于查全而不是查準，所以所得結(jié)果的P 值會低于該模型。相較于LR-CNN 模型，在P 值上提升0.61 個百分點，而在R 值和F1 值上的性能提升并不明顯。本模型和使用了BERT+CRF 的模型相比在F1 值上提升3.65 個百分點，在P 值和F1 值上相較于BERT+LSTM+CRF 模型分別低2.15 和0.59 個百分點，說明使用BERT 初始化詞嵌入優(yōu)于隨機初始化詞嵌入，并且在使用BERT 的情況下再加入LSTM是有必要的。本模型通過使用BERT 語言預(yù)訓(xùn)練模型可以有進一步的提升，說明預(yù)訓(xùn)練的語言模型在python 領(lǐng)域是有效果的。從表4 還可以看出三種詞編碼策略中平均策略在各項均優(yōu)于最短策略。

為驗證本文模型的性能提升并非特定于python 數(shù)據(jù)集，使用resume 數(shù)據(jù)集和weibo 數(shù)據(jù)集驗證模型的拓展性。從表4 中在resume 數(shù)據(jù)集上的實驗結(jié)果可以看出與Lattice-LSTM模型相比，在F1 值提升0.83 個百分點；而和使用BERT 的模型相比，由于resume 數(shù)據(jù)集中的數(shù)據(jù)對于方向性有一定的依賴，所以使用BERT 的模型會優(yōu)于使用單向transformer 的CW-TF 模型。雖然模型在resume 數(shù)據(jù)集上的提升不大，但是訓(xùn)練速度明顯提高。

表4 最后的部分為CW-TF 模型使用預(yù)訓(xùn)練后在weibo 數(shù)據(jù)集上的實驗結(jié)果?？梢钥闯鲈贔1 值上本模型略高于Lattice-LSTM 模型，而對于weibo 這種口語化強、語句短的領(lǐng)域表現(xiàn)出的效果低于其他基準模型，但仍然可以說明CW-TF模型具有一定的泛化性。

通過3 種詞編碼策略提高了模型的批量訓(xùn)練能力，表5第2 列顯示了部分模型在python 數(shù)據(jù)集總訓(xùn)練時間上的對比，而第3 列表示在resume 數(shù)據(jù)模型上的比較，使用“×”表示倍數(shù)關(guān)系。使用Lattice-LSTM 模型的總訓(xùn)練時間作為比較的基準，Lattice-LSTM 模型相較于所提出的模型而言，在python 數(shù)據(jù)集上的總訓(xùn)練時間為CW-TF 模型的4.14 倍，在resume 數(shù)據(jù)集上的總訓(xùn)練時間為CW-TF 模型的3.25 倍。而所提模型與其他模型相比在總的訓(xùn)練時間上都有顯著減少。

表5 訓(xùn)練速度Tab.5 Training speed

3.4 多頭注意力的特征維度對比實驗

本文還研究了多頭注意力的特征維度對CW-TF 模型的影響。實驗在保持transformer 上下文編碼器總規(guī)模不變的情況下，通過python 數(shù)據(jù)集研究了多頭注意力的特征維度對CW-TF 模型的影響，特征維度的取值范圍為［32，64，96，256］。將其他參數(shù)設(shè)置為固定值，所得實驗結(jié)果如表6 所示。從表6 可以看出：前期當多頭注意力的特征維度數(shù)增加時，實驗的效果逐漸變好；在多頭注意力的特征維度取64時，模型取得最佳的效果；而當多頭注意力的特征維度增加到一定程度后，實驗效果達到最優(yōu)值并逐漸變差。

表6 在python數(shù)據(jù)集上不同transformer多頭注意力的特征維度結(jié)果對比 單位：%Tab.6 Result comparison of different transformer multi-head attention feature dimension on python dataset unit：%

3.5 三種詞編碼策略對比實驗

選擇不同的詞編碼策略會對實驗的效果有影響，圖5 為3 種詞編碼策略的實驗效果對比。從圖5 中可以看出在python 數(shù)據(jù)集上選擇最長的詞可以讓F1 值達到最高。由于最長的詞編碼策略可以利用更多的詞信息，所以最長的詞編碼策略在效果上均優(yōu)于最短的詞編碼策略。

圖5 在python數(shù)據(jù)集詞編碼策略性能比較Fig.5 Word coding strategy performance comparison on python dataset

4 結(jié)語

本文對python 領(lǐng)域的NER 進行了研究，提出了一種基于transformer 的python 領(lǐng)域NER 模型。該模型將字符和字符對應(yīng)的詞信息進行連接，獲取連接后的向量化表示，然后輸入到transformer 中編碼，最后通過CRF 獲取預(yù)測的標簽序列。實驗的結(jié)果表明，所提模型相較于其他幾個模型在識別效果和速度上都有提升。所提模型為python 領(lǐng)域NER 的下游任務(wù)打下堅實的基礎(chǔ)，為個性化學(xué)習(xí)python 知識進一步提供了技術(shù)上的可行性。與基于機器學(xué)習(xí)方法相比，本文模型可以很容易地遷移到其他領(lǐng)域。為了解決教育領(lǐng)域命名實體識別標記數(shù)據(jù)集少的問題，整理了一個python 的數(shù)據(jù)集。后續(xù)將進一步驗證模型的可遷移性，將該模型應(yīng)用于其他領(lǐng)域，還會擴大數(shù)據(jù)集的規(guī)模，以達到更好的識別效果。