基于預(yù)訓(xùn)練語(yǔ)言模型的中文地址命名實(shí)體識(shí)別

李廷元，楊 勇

（中國(guó)民用航空飛行學(xué)院計(jì)算機(jī)學(xué)院，廣漢 618307）

0 引言

命名實(shí)體識(shí)別（named entity recognition,NER）是自然語(yǔ)言處理和構(gòu)建知識(shí)圖譜的基礎(chǔ)任務(wù)，其目的是從海量的原始數(shù)據(jù)中準(zhǔn)確識(shí)別出時(shí)間、地點(diǎn)、人物、組織等實(shí)體信息。命名實(shí)體識(shí)別的效果直接影響到其下游任務(wù)效果，因此顯得格外重要。通過從快遞單中識(shí)別姓名、電話、省、市、區(qū)等關(guān)鍵實(shí)體內(nèi)容，形成組織結(jié)構(gòu)清晰的結(jié)構(gòu)化數(shù)據(jù)，可以幫助物流行業(yè)從業(yè)者快速地進(jìn)行有效信息提取，從而減少客戶填單的時(shí)間成本，最終達(dá)到提高物流行業(yè)從業(yè)者工作效率的目的。

目前，常見的命名實(shí)體識(shí)別方法包括基于規(guī)則和詞典的方法、基于機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法這三大類。早期的命名實(shí)體識(shí)別任務(wù)中采用的方法是基于規(guī)則和詞典的方法，需要專家手動(dòng)構(gòu)建規(guī)則，將給定的文本數(shù)據(jù)與規(guī)則進(jìn)行匹配從而得到相應(yīng)的命名實(shí)體信息。該方法在處理小規(guī)模的數(shù)據(jù)時(shí)精確度會(huì)很高，但是隨著數(shù)據(jù)集的增大，規(guī)則的構(gòu)建會(huì)更加復(fù)雜且困難，耗時(shí)耗力且可移植性差。

基于機(jī)器學(xué)習(xí)的方法主要包括隱馬爾可夫模型（hidden Markov model,HMM）、最大熵模型（maximum entropy,ME）、支 持 向 量 機(jī)（SVM）和條件隨機(jī)場(chǎng)（conditional random field,CRF）等模型。雖然相較于基于規(guī)則和字典的方法，實(shí)體識(shí)別的效果得到了進(jìn)一步的提高，但是統(tǒng)計(jì)模型的狀態(tài)搜索空間龐大、訓(xùn)練時(shí)間長(zhǎng)、過于依賴特征選取及數(shù)據(jù)集，耗時(shí)耗力且實(shí)驗(yàn)效果不顯著。

伴隨著深度學(xué)習(xí)的發(fā)展，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于處理命名實(shí)體識(shí)別任務(wù)，成為目前較為流行的一種方式。Huang等提出使用長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory,LSTM）、雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（bi-directional long short-term memory,BiLSTM）等模型來對(duì)文本中的上下文特征進(jìn)行提取，最后通過條件隨機(jī)場(chǎng)（conditional random fields,CRF）來獲取最優(yōu)的序列，得出實(shí)驗(yàn)最優(yōu)結(jié)果。李綱等在已建立BiLSTM-CRF算法模型的基礎(chǔ)之上，為了達(dá)到更好的命名實(shí)體識(shí)別效果，其通過結(jié)合垂直領(lǐng)域的先驗(yàn)經(jīng)驗(yàn)，使得實(shí)體識(shí)別的效果更佳。相較于之前傳統(tǒng)的機(jī)器學(xué)習(xí)方法，在命名實(shí)體識(shí)別任務(wù)上基于深度學(xué)習(xí)方法表現(xiàn)更加出色，但是依然存在著一些局限性，如對(duì)語(yǔ)義特征的獲取不夠豐富，無法充分理解語(yǔ)義特征，訓(xùn)練后的詞向量是屬于靜態(tài)編碼的一種，是固定的，無法解決一詞多義的問題，從而導(dǎo)致算法模型對(duì)文本數(shù)據(jù)的理解與表達(dá)的意思依舊存在一些偏差。對(duì)此，為了提高深度學(xué)習(xí)在特征提取這一方面的能力，增加其對(duì)語(yǔ)義特征豐富度獲取的能力，Vaswani等提出了Transformer機(jī)制。該機(jī)制通過Attention機(jī)制直接對(duì)輸入序列進(jìn)行建模，極大地提高了模型的并行計(jì)算能力。之后，2018年Devlin等在Transformer機(jī)制的基礎(chǔ)上，提出了BERT（bidirectional encoder representation from transformer）模型，可以獲取更加豐富的語(yǔ)義特征，同時(shí)也極大地縮減了訓(xùn)練時(shí)間。

本 文 旨 在 探 究 預(yù) 訓(xùn) 練 模 型BERT、ERNIE、NEZHA結(jié)合BiGRU-CRF模型在中文地址命名實(shí)體識(shí)別上的性能。首先對(duì)以上三種預(yù)訓(xùn)練模型從原理及結(jié)構(gòu)兩個(gè)角度進(jìn)行簡(jiǎn)單介紹，之后在此基礎(chǔ)之上搭建算法模型，令其與BiGRU及CRF結(jié)合。將構(gòu)建好的算法模型應(yīng)用于指定的數(shù)據(jù)集中進(jìn)行命名實(shí)體識(shí)別任務(wù)。最后分析實(shí)驗(yàn)過程及其原因得出最終結(jié)果。

1 預(yù)訓(xùn)練模型結(jié)構(gòu)及原理介紹

1.1 BERT

BERT模型是由Google公司于2018年提出的基于Transformer機(jī)制的預(yù)訓(xùn)練模型。BERT采用雙向Transformer網(wǎng)絡(luò)結(jié)構(gòu)，

采用大規(guī)模的文本語(yǔ)料進(jìn)行預(yù)訓(xùn)練操作，并且其在處理單個(gè)單詞的時(shí)候，還能夠考慮到該詞之前與之后的單詞，從而得到更加豐富的上下文語(yǔ)義特征，最終得到一個(gè)無監(jiān)督的、泛化的預(yù)訓(xùn)練模型。BERT采用新的MLM（masked language model）的方式進(jìn)行預(yù)訓(xùn)練，不同于傳統(tǒng)那樣采用單個(gè)單方向的語(yǔ)言模型進(jìn)行預(yù)訓(xùn)練或者是將兩個(gè)單方向預(yù)訓(xùn)練的語(yǔ)言模型進(jìn)行簡(jiǎn)單拼接的方式進(jìn)行預(yù)訓(xùn)練過程，通過新的方式進(jìn)行預(yù)訓(xùn)練可以獲取到更為深層次的語(yǔ)言特征信息，使得預(yù)訓(xùn)練的效果更優(yōu)。BERT設(shè)計(jì)了兩個(gè)任務(wù)來預(yù)訓(xùn)練該模型，第一個(gè)任務(wù)是采用MLM的方式來訓(xùn)練語(yǔ)言模型，MLM簡(jiǎn)單來說就是以15%的概率用mask token（［MASK］）對(duì)任意一個(gè)訓(xùn)練序列中的token進(jìn)行隨機(jī)替換，之后對(duì)原［MASK］位置的字符進(jìn)行預(yù)測(cè)。它通過預(yù)測(cè)被替換的字符來學(xué)習(xí)句子內(nèi)部字符之間的關(guān)系，從而達(dá)到雙向預(yù)測(cè)的目的。第二個(gè)任務(wù)是采用下一句預(yù)測(cè)的方式，對(duì)句子級(jí)別的上下文關(guān)系進(jìn)行獲取，從而達(dá)到預(yù)訓(xùn)練效果的提升。引入這個(gè)任務(wù)可以讓模型更好地學(xué)到連續(xù)的文本片段之間的關(guān)系，從而獲取更為豐富的語(yǔ)義信息，使得實(shí)驗(yàn)效果更佳。

從結(jié)構(gòu)層面分析，BERT是由多個(gè)Transformer編碼器以某種方式疊加在一起，來對(duì)文本中的語(yǔ)義特征進(jìn)行捕獲。而其中每一個(gè)Transformer編碼器又是由自注意力機(jī)制（selfattention）層和前饋神經(jīng)網(wǎng)絡(luò)層兩部分組成。其中，自注意力機(jī)制是Transformer的核心機(jī)制，使用自注意力機(jī)制的優(yōu)勢(shì)在于，它不僅考慮了單個(gè)單詞對(duì)于整個(gè)文本的重要性，同時(shí)還解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中存在的長(zhǎng)期依賴的問題，在此基礎(chǔ)上模型的并行計(jì)算能力也得到了很大的提升。

1.2 ERNIE

ERNIE（enhanced representation through knowledge integration）是 百 度 公 司 于2019年4月 對(duì)BERT模型做了進(jìn)一步的優(yōu)化后所提出的預(yù)訓(xùn)練模型。ERNIE被提出之后，先是針對(duì)BERT中使用的遮掩策略進(jìn)行了進(jìn)一步的優(yōu)化與改正。它在預(yù)訓(xùn)練時(shí)采用的遮掩策略是對(duì)文本數(shù)據(jù)中整個(gè)詞進(jìn)行屏蔽，在此基礎(chǔ)上來學(xué)習(xí)詞與實(shí)體的表達(dá)，相對(duì)于BERT模型中僅僅只針對(duì)單個(gè)字符進(jìn)行遮掩，這種方式訓(xùn)練效果更好，采用這種方式不僅增強(qiáng)了語(yǔ)義表示能力，還使得在語(yǔ)言推斷任務(wù)上的效果更為顯著。由此可以看出，ERNIE1.0僅僅只是優(yōu)化了BERT遮掩詞策略就取得了不錯(cuò)的效果，那如果使用更多較好的學(xué)習(xí)任務(wù)來訓(xùn)練模型，是否會(huì)取得更好的效果？在這一想法的驅(qū)使下，ERNIE2.0應(yīng)運(yùn)而生。它采用多任務(wù)學(xué)習(xí)增量式方式來組建預(yù)訓(xùn)練任務(wù)，同時(shí)通過持續(xù)學(xué)習(xí)的語(yǔ)義理解來構(gòu)建預(yù)訓(xùn)練框架，從而從多個(gè)維度來獲取文本數(shù)據(jù)的語(yǔ)法、句法、語(yǔ)義等信息，極大地提升了語(yǔ)義特征的豐富度。使得在多種自然語(yǔ)言處理任務(wù)中呈現(xiàn)的效果都優(yōu)于BERT。

1.3 NEZHA

NEZHA（Neural ContextualiZed Representation for CHinese LAnguage Understanding）是由華為諾亞方舟實(shí)驗(yàn)室研發(fā)推出的中文預(yù)訓(xùn)練模型。NEZHA是分別從模型、預(yù)訓(xùn)練任務(wù)和訓(xùn)練算法三個(gè)方面對(duì)BERT模型進(jìn)行改進(jìn)的預(yù)訓(xùn)練模型，一經(jīng)推出就備受關(guān)注。

模型方面的改進(jìn)是采用相對(duì)位置編碼方式取代了BERT中的絕對(duì)位置編碼，經(jīng)過大規(guī)模的文本訓(xùn)練，實(shí)驗(yàn)結(jié)果表明，采用相對(duì)位置編碼方式使得模型在各個(gè)下游任務(wù)中的效果得到明顯提高，更優(yōu)于采用BERT中的絕對(duì)位置編碼。

預(yù)訓(xùn)練任務(wù)方面的改進(jìn)是引入Span預(yù)測(cè)任務(wù)，其采用全詞Mask技術(shù)取代了原始BERT模型中Mask單個(gè)中文字或單個(gè)英文字符技術(shù)，從而獲取更為豐富的語(yǔ)義特征，模型訓(xùn)練效果表現(xiàn)更佳。

訓(xùn)練算法方面的改進(jìn)是采用混合精度訓(xùn)練（mixed precision tranining）方式結(jié)合LAMB優(yōu)化器，使得模型訓(xùn)練時(shí)即使采用較大的批量大小，也可以明顯提升模型的訓(xùn)練速度，從而得到較為可觀的訓(xùn)練效果。

2 基于預(yù)訓(xùn)練模型的中文地址命名實(shí)體識(shí)別模型搭建

首先采用預(yù)訓(xùn)練模型對(duì)給定的數(shù)據(jù)集進(jìn)行語(yǔ)義特征提取，根據(jù)文本的上下文信息生成動(dòng)態(tài)詞向量，再將預(yù)訓(xùn)練的結(jié)果輸入到BiGRU模型中進(jìn)行進(jìn)一步的訓(xùn)練，最后通過CRF對(duì)Bi-GRU訓(xùn)練出的結(jié)果進(jìn)行修正，得到輸出的最優(yōu)標(biāo)注序列。本文之所以選擇BiGRU而不使用BiLSTM，是因?yàn)橄鄬?duì)于BiLSTM來說，BiGRU的結(jié)構(gòu)更為簡(jiǎn)單，也可以和BiLSTM達(dá)到同樣的訓(xùn)練效果?；陬A(yù)訓(xùn)練模型的中文地址命名實(shí)體識(shí)別模型如圖1所示。

圖1 預(yù)訓(xùn)練模型-BiGRU-CRF算法模型

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文采用阿里中文地址要素解析比賽數(shù)據(jù)集來訓(xùn)練模型。數(shù)據(jù)集采用BIOES標(biāo)注方式進(jìn)行標(biāo)注，B代表begin，用來標(biāo)注實(shí)體的開始部分；I代表inside，用來標(biāo)注實(shí)體的中間部分；O代表other，用來標(biāo)注與實(shí)體無關(guān)的信息；E代表end，用來標(biāo)注實(shí)體的結(jié)尾部分；S代表single，用來標(biāo)注單一的實(shí)體；數(shù)據(jù)集中包括訓(xùn)練集、驗(yàn)證集和測(cè)試集。

3.2 評(píng)估標(biāo)準(zhǔn)

本文對(duì)其評(píng)價(jià)指標(biāo)包括：準(zhǔn)確率（Precision）、召回率（Recall）和1值，計(jì)算公式如下：

其中，T為正確識(shí)別的實(shí)體個(gè)數(shù)，F代表識(shí)別錯(cuò)誤的實(shí)體個(gè)數(shù)，F代表未識(shí)別的實(shí)體個(gè)數(shù)。

3.3 參數(shù)設(shè)置

BERT中文預(yù)訓(xùn)練模型（bert-base-chinese）具有12個(gè)表示層，768維隱藏層，12頭注意力機(jī)制，參數(shù)大小為108M；ERNIE預(yù)訓(xùn)練模型（ernie-1.0）具有12個(gè)表示層，768維隱藏層，12頭注意力機(jī)制，參數(shù)大小為108M；NEZHA預(yù)訓(xùn)練模型（nezha-base-chinese）具有12個(gè)表示層，768維隱藏層，12頭注意力機(jī)制，參數(shù)大小為108 M。本次實(shí)驗(yàn)采用的優(yōu)化器為AdamW，它在Adam的基礎(chǔ)上加了權(quán)重衰減的優(yōu)化器，可以解決L2正則表達(dá)化失效問題。學(xué)習(xí)率設(shè)置為2×10，batch_size設(shè)置 為300，訓(xùn) 練epoch設(shè)置為10，dropout設(shè)置為0.3來避免過擬合。

3.4 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)搭建了不同的預(yù)訓(xùn)練模型與BiGRU及CRF進(jìn)行組合，本次實(shí)驗(yàn)環(huán)境基于相同的軟硬件環(huán)境進(jìn)行執(zhí)行，設(shè)計(jì)了多組對(duì)比實(shí)驗(yàn)，從而驗(yàn)證基于不同的預(yù)訓(xùn)練模型的命名實(shí)體識(shí)別模型在中文地址識(shí)別過程中所展示的實(shí)驗(yàn)效果。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同模型實(shí)驗(yàn)結(jié)果對(duì)比

通過比較不同的預(yù)訓(xùn)練模型與BiGRU及CRF相結(jié)合組成的算法模型在數(shù)據(jù)集上得出的訓(xùn)練結(jié)果可知，預(yù)訓(xùn)練模型可以獲取更加豐富的語(yǔ)義信息，在訓(xùn)練過程中，預(yù)訓(xùn)練模型可以更好地結(jié)合文本數(shù)據(jù)的上下文語(yǔ)義信息，能夠很好地對(duì)詞向量進(jìn)行表示，使得預(yù)訓(xùn)練模型對(duì)于實(shí)體識(shí)別的效果更好。根據(jù)實(shí)驗(yàn)結(jié)果呈現(xiàn)的數(shù)據(jù)來看，相較于ERNIE和BERT，NEZHA的實(shí)驗(yàn)結(jié)果表現(xiàn)更佳，性能也更優(yōu)。

由此我們可以得出實(shí)驗(yàn)結(jié)論：預(yù)訓(xùn)練模型具有泛化性，可以在訓(xùn)練過程中獲取更為豐富的語(yǔ)義信息，解決了一詞多義的問題，在命名實(shí)體識(shí)別任務(wù)中表現(xiàn)好、精度高，但是也依舊存在著一些問題，比如對(duì)詞邊界問題考慮不周，易對(duì)詞匯邊界識(shí)別出錯(cuò)、重疊等缺陷。

4 結(jié)語(yǔ)

目前，國(guó)內(nèi)外學(xué)者已經(jīng)在中文命名實(shí)體識(shí)別方面做了很多研究工作?；谏疃壬窠?jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型在自然語(yǔ)言處理方面有著很好的表現(xiàn)。在未來工作中，也會(huì)傾向于預(yù)訓(xùn)練模型方面的研究。下一步將會(huì)著手于在進(jìn)行預(yù)訓(xùn)練模型之前對(duì)數(shù)據(jù)預(yù)處理方面的研究，嘗試對(duì)文本數(shù)據(jù)進(jìn)行分詞，分清詞邊界，解決詞匯重疊等一些問題，在提高模型實(shí)體識(shí)別精確度的基礎(chǔ)上，對(duì)模型的性能方面做出改善，使得中文地址實(shí)驗(yàn)效果表現(xiàn)更好。