基于預訓練模型的中文電子病歷實體識別

李曉林，胡澤榮

(武漢工程大學 計算機科學與工程學院，湖北 武漢 430205)

0 引 言

早期，基于規(guī)則和詞典的命名實體識別方法工作量巨大，基于統(tǒng)計的實體識別方法依賴于大量的人工標注語料[1]。Lample等[2]針對傳統(tǒng)命名實體識別方法嚴重依賴手工標注的問題提出了兩種基于神經(jīng)網(wǎng)絡(luò)的命名實體識別方法，一種是將BiLSTM與CRF相結(jié)合，另一種是基于過渡的依賴解析方法，取得了較好的性能。目前，命名實體識別的方法主要是基于神經(jīng)網(wǎng)絡(luò)。在中文電子病歷命名實體識別方面，張華麗等[3]提出一種基于注意力機制的BiLSTM-CRF實體識別方法，證明注意力機制顯著優(yōu)化了電子病歷的實體識別效果。但是，基于神經(jīng)網(wǎng)絡(luò)的電子病歷實體識別方法大部分都使用Word2Vec訓練詞向量，缺點是詞和向量是一一對應(yīng)的關(guān)系，無法解決一詞多義，最終導致實體識別準確率不高[4]。針對這個問題，Peters等[5]提出了基于雙層雙向LSTM結(jié)構(gòu)的ELMo學習并且訓練詞向量與上下文的關(guān)系。Radford等[6]提出OpenAI GPT模型，使用Transformer代替 LSTM獲取長距離信息。Devlin等[7]提出基于雙向Transformer編碼的BERT模型可以提取文本更深層的語義信息，但無法充分利用顯性的詞和詞序信息。Cui等[8]提出了BERT-wwm模型，引入全詞Mask預訓練任務(wù)，但存在以下問題：①BERT-wwm模型中LTP分詞方法對本文病歷文本分詞性能不高，導致掩碼效果不佳；②由于醫(yī)療實體結(jié)構(gòu)的復雜性和特殊性，BERT-wwm的掩碼策略和機制不適用于本文；③基于BERT-wwm的識別模型沒有關(guān)注到不同的語義特征重要性不同。

針對上述問題，本文提出了一種基于BERT-iwwm預訓練模型的實體識別方法，顯著提高了醫(yī)療命名實體識別的準確率。本文的主要工作如下：①在醫(yī)療實體標注方面，本文提出了動態(tài)詞長的逆向最大匹配算法減少標注歧義；②為增強語義向量表示，在輸入向量層中加入字向量和注意力機制，關(guān)注不同字向量的全局語義特征；③在預訓練模型方面，采用PKU分詞并構(gòu)建用戶自定義詞典以提高分詞性能；改進掩碼策略和Mask機制增強模型提取語義特征的能力；根據(jù)本文電子病歷數(shù)據(jù)單句訓練的特點，去掉了預訓練模型的下一句預測任務(wù)。

1 標注歧義

本文電子病歷數(shù)據(jù)存在據(jù)前后標注不一致的問題，主要有兩種情況：①同一個醫(yī)療實體分別被標注為實體和非實體；②同一個醫(yī)療實體被標注為兩種或多種實體類別，如圖1所示。

圖1 標注歧義

由圖1可看出，同一個醫(yī)療實體“糖尿病”分別被標記為非醫(yī)療實體O和“疾病”類醫(yī)療實體，“兩肺支氣管肺炎”分別被標記為“疾病”類和“身體”類。

針對上述問題，本文提出了動態(tài)詞長的逆向最大匹配(DRMM)算法對數(shù)據(jù)集進行標注糾錯，減少標注歧義。定義詞表A為所有醫(yī)療實體集合， A={實體，label}， 其中l(wèi)abel為該實體的標簽類別。詞表B為待處理醫(yī)療文本的實體集合， B={實體，start，end，label}， 其中start和end分別是該實體在文本中的起止位置，且B屬于A。動態(tài)詞長逆向最大匹配算法流程如圖2所示。

圖2 DRMM算法流程

其中，C為待處理文本S的最后一個字符。如果在詞表A中找到候選字符串C，則從S中去掉C并且將實體C和其在S中起始位置以及其在A中的標簽加入詞表B，否則繼續(xù)向左匹配。相比于固定最大詞長的逆向最大匹配算法，DRMM算法可以動態(tài)的根據(jù)候選醫(yī)療實體的詞長進行匹配，一定程度上提高了算法的效率。

2 基于預訓練模型的醫(yī)療實體識別模型

本文實體識別模型主要針對傳統(tǒng)預訓練語言模型提取語義特征能力不足以及忽略不同語義特征對模型的影響程度不同的問題。模型的整體結(jié)構(gòu)如圖3所示，包括字注意力機制層、輸入向量層、預訓練層、BiGRU層和CRF層。

圖3 電子病歷命名實體識別模型結(jié)構(gòu)

2.1 輸入向量層

分詞的質(zhì)量會直接影響Mask模型預訓練的效果，進而影響模型提取文本語義特征的能力。針對BERT-wwm模型的分詞方法在中文電子病歷文本分詞效果較差，本文采用PKU分詞方法對預訓練數(shù)據(jù)進行分詞。因為PKU分詞模型包含多種不同領(lǐng)域：新聞領(lǐng)域、網(wǎng)絡(luò)領(lǐng)域、醫(yī)藥領(lǐng)域和混合領(lǐng)域等，其中醫(yī)藥領(lǐng)域與本文電子病歷文本契合度更高。并結(jié)合經(jīng)過標注糾錯后的5類醫(yī)療實體構(gòu)建的用戶自定義詞典進一步提高分詞性能。

考慮到分詞效果的提升有一定的局限性，并且在預訓練過程中字向量可以輔助詞向量提取上下文信息，所以本文在輸入向量層加入了字向量，并加入位置向量區(qū)分每個字在序列中的位置，如圖4所示。

圖4 電子病歷命名實體識別詞向量模型結(jié)構(gòu)

其中，詞向量是經(jīng)過PKU分詞后每個詞在詞表中對應(yīng)的詞向量表示，字向量是預訓練數(shù)據(jù)經(jīng)過word2vec生成的相應(yīng)的字向量表示，位置向量主要表示每個詞在預訓練序列中的位置。最終輸入預訓練模型中向量是由詞向量、字向量和位置向量進行拼接后的向量。

2.2 注意力機制層

為了充分考慮序列中每個字之間的語義聯(lián)系，本文在字向量后加入注意力機制，計算每個字與其上下文之間的語義相似性，得到每個字的增強語義向量表示。

對于文本中的每一個序列si={x1,x2,…,xN}， 其中xi表示單詞。單詞xi經(jīng)wordvec處理后得到的特征向量為hi， 將其輸入注意力機制層。然后計算當前詞xi與序列中其它詞xj(j=1,2,…,i-1,i+1,…N) 的相關(guān)性，即權(quán)重。各個單詞之間的權(quán)重bij的計算如式(1)所示

(1)

其中，f(xi,xj) 的計算如式(2)所示，表示是位置j輸入和位置i輸出之間的關(guān)系

f(xi,xj)=tanh(waw′t-1+uahj)

(2)

式中：wa表示狀態(tài)w′t-1的權(quán)重，ua表示特征向量hj的權(quán)重。對特征向量hj進行加權(quán)求和，得到單詞xi關(guān)于序列的全局特征如式(3)所示

(3)

由注意力機制層得到的字向量是基于全局信息的字向量，融合了該字上下文語義信息，可以更好輔助詞向量提取語義特征。

2.3 預訓練層

改進的預訓練層BERT-iwwm模型結(jié)構(gòu)由多層雙向的Transformer編碼器組成[9]，主要是對輸入序列隨機掩蓋15%的詞，然后模型通過學習這些詞的上下文信息去預測這些詞。本文中文電子病歷文本經(jīng)過標注歧義處理后各類醫(yī)療實體的平均長度見表1。

表1 各醫(yī)療實體平均長度

由表1可以看出，各類醫(yī)療實體的平均長度相差較大。本文輸入最大序列長度為256，包含115個詞，掩蓋15%的詞即17個詞，其中14個詞(80%)被[Mask]掩碼替換，3個詞被隨機替換和保留原詞?？梢钥闯?，保留原詞的個數(shù)非常少。對于“治療方式”這類平均長度較長的實體來說，預訓練過程中若[Mask]過多，會使模型對其關(guān)注過多，無法確保模型的預測趨于正確。本文旨在增加隨機替換和保留的詞個數(shù)，使模型對每個詞具有更多的可見性。以最大序列長度所覆蓋的詞為基準，每次增加一個被替換和被保留的詞，但是不能超過總詞長的一半，即被掩碼詞的個數(shù)分別為：12、10、8。

為了在預訓練時充分利用上述Mask后的樣本以及在迭代時提取更多樣性的語義特征，本文預訓練時將原始數(shù)據(jù)輸入模型時候再隨機。同時，在預訓練迭代次數(shù)較多的情況下可以節(jié)約大量時間。BERT-wwm模型先對原始數(shù)據(jù)隨機Mask然后再進行預訓練，當?shù)啻蔚臅r候每一種Mask方式會被使用多次，無法保證一種Mask方式只使用一次。隨著迭代次數(shù)的增加，相同的Mask方式被使用的次數(shù)越來越多。本文數(shù)據(jù)7835條、迭代100 000次，上述Mask機制會造成重復的Mask方式過多，樣本利用率低并且訓練時間較長。針對本文電子病歷文本都是單句的特點，本文去掉了下一句預測預訓練任務(wù)。因為下一句預測主要是判斷句子B是否是句子A的下一句，用于理解句子之間的關(guān)系。但是本文電子病歷各個句子之間都是相互獨立的，即不需要預測句子之間的相關(guān)性。

2.4 BiGRU-CRF層

為了進一步學習序列隱含特征，本文在預訓練模型后接BiGRU模型，最后通過CRF模型解碼得到最終序列標注。單詞xi的隱含特征向量hi計算過程如式(4)～式(6)所示

(4)

(5)

(6)

(7)

y*=argmaxS(X,y)

(8)

其中，Ayi,yi+1就代表標簽yi到標簽yj的轉(zhuǎn)移得分，oi,yi表示第i個詞在第yi個標簽下的輸出得分。預測時采用維特比算法求解最優(yōu)的輸出序列。

3 實驗與分析

3.1 實驗數(shù)據(jù)

本文使用CCKS2018的醫(yī)院電子病歷數(shù)據(jù)集。其中訓練集和測試集包含病人的癥狀、身體部位、治療方式、醫(yī)學檢查和疾病等實體。各類實體統(tǒng)計見表2。

表2 CCKS2018實體個數(shù)統(tǒng)計

3.2 標注策略

本實驗使用BIO標注模式，待預測的標簽一共有11種，見表3。

表3 BIO命名實體標簽

本文使用精確率P、召回率R和F1值作為命名實體識別的衡量指標，其定義如式(9)～式(11)。其中Tp是預測結(jié)果中正確識別的實體數(shù)量，F(xiàn)p是預測結(jié)果中識別出的錯誤實體數(shù)量，F(xiàn)n為標準測試集中正確的實體但是預測結(jié)果沒有識別出來的數(shù)量

(9)

(10)

(11)

3.3 實驗設(shè)置及參數(shù)

為了驗證模型的有效性，本文設(shè)置了3組對比實驗：①BERT-BiLSTM-CRF：基于BERT模型，該模型屬于基線模型；②BERT-wwm-BiLSTM-CRF：與①作對比實驗，驗證BERT-wwm預訓練對模型識別性能的影響；③BERT-wwm-BiGRU-CRF：與②作對比實驗，驗證BiGRU網(wǎng)絡(luò)對模型性能的影響；④BERT-iwwm-BiGRU-CRF：與③進行對比，驗證BERT-iwwm模型的改進效果。

各對比模型的公共參數(shù)設(shè)置如下：注意力頭數(shù)12，隱藏層數(shù)768，模型學習率2e-5，drop率0.5，最大序列取256，train_batch_size采用16。本文實驗的環(huán)境配置如下：①操作系統(tǒng)為Ubuntu 18.04；②CPU型號為Intel Xeon E5-2665；③GPU型號為GTX 1080Ti；④內(nèi)存為64 G；⑤顯存為11 GB；⑥Python版本為3.6.8；⑦Tensorflow的版本為1.13.1。

3.4 實驗結(jié)果及分析

對文本“高血壓病史11年糖尿病11年”進行標注歧義處理后的結(jié)果如圖5所示。

圖5 標注歧義處理結(jié)果

由圖5可以看出，經(jīng)過標注歧義處理后將“糖尿病7 9疾病”加入詞表，并將其標注類別由“O”糾正為“DISEASE”，說明DRMM算法可以有效減少已標注文本中的標注歧義，提高文本的標注準確率。

為了驗證本文輸入向量層加入字向量以及經(jīng)過注意力機制處理后的字向量對預訓練模型性能的影響，在中文電子病歷驗證集上進行實驗，結(jié)果見表4。

表4 不同輸入向量的實驗結(jié)果

由表可知，加入經(jīng)過注意力機制處理后的增強語義字向量預訓練模型在驗證集的F1值達到了88.2%，高于原始字向量輸入。實驗說明，注意力機制有效的使字向量表示融合了全局語義特征，從而提高了預訓練模型的性能。

為了驗證醫(yī)療實體字典對分詞結(jié)果的影響，本文以默認詞典和用戶自定義詞典進行對比，驗證不同的分詞方法以及詞典對預訓練任務(wù)的影響。實驗結(jié)果見表5，評估標準是正確Mask的準確率和正確預測下一句的準確率。

表5 不同分詞方法的Mask結(jié)果

從實驗結(jié)果可以看出，基于默認詞典的PKU分詞的mask_acc比LTP高0.9%，并且均比THU和CRF分詞方法高。同時，基于用戶自定義實體詞典的masked_acc比基于默認詞典的高。其中，next sentence_acc始終為1是因為在下一句預測預訓練任務(wù)中沒有涉及到對句子關(guān)系的預測。實驗驗證，本文構(gòu)建的自定義醫(yī)療實體詞典通過提高分詞質(zhì)量可以進一步提升模型預訓練任務(wù)的效果。

以PKU方法結(jié)合自定義醫(yī)療實體字典進行分詞的前提下，采用不同掩碼詞長的Mask策略進行預訓練，以驗證集的P、R和F為評價標準，實驗結(jié)果見表6。

表6 不同Mask比例對比結(jié)果/%

Mask策略為50%、60%、70%分別對應(yīng)本文最長序列掩碼8、10、12個詞。由上表可知，Mask比例為70%取得了最高F1值為84.1%。當Mask比例超過80%，F(xiàn)1值會逐漸降低，而低于60%識別率會大幅降低，說明本文醫(yī)療文本適合按70%的掩碼策略進行預訓練。

現(xiàn)以70%的Mask比例為基礎(chǔ)調(diào)整Mask機制和去掉下一句預測進行預訓練，結(jié)果見表7。

表7 改進預訓練任務(wù)實驗結(jié)果

對比1、3和2、4可以看出，改進的Mask機制提升了模型性能。對比1、2和3、4可以看出，去掉下一句預測任務(wù)后模型的性能進一步提升。實驗驗證，本文的改進一定程度上可以增強模型提取語義特征的能力。

本文模型與各個對比模型的實驗結(jié)果見表8。

表8 不同模型識別結(jié)果

歧義處理前，本文模型的F1值達到90.03%，遠高于其它4種模型，說明改進的預訓練模型和Attention機制整體增強了語義特征提取能力從而提高了模型實體識別性能。歧義處理后，本文模型較歧義處理前F1值提高了0.54%，說明減少預訓練數(shù)據(jù)的標注歧義可以進一步提高模型的識別準確率。同時，本文模型的訓練時間較其它模型大幅縮短，可見BiGRU模型在訓練成本上要優(yōu)于BiLSTM。

為驗證本文模型的有效性，將其與目前主流命名實體識別模型進行對比，實驗結(jié)果見表9。

從表9可以看出，本文基于BERT-iwwm的電子病歷命名實體識別模型的F1值均高于其它主流模型，說明BERT-iwwm提取語義特征的能力更強。相較于其它幾種主流模型，本文模型加入注意力機制學習每個字的全局語義特征，提高了重要語義特征的權(quán)重，進一步增強了預訓練模型提取語義特征的能力，提高了醫(yī)療實體識別效果。

表9 本文模型與主流模型的結(jié)果對比

4 結(jié)束語

本文提出了一種基于改進預訓練模型和注意力機制的醫(yī)療實體識別方法。該方法結(jié)合PKU與用戶自定義實體字典提高了分詞準確率；為了提高模型學習語義特征的能力，模型在輸入向量層加入注意力機制融合序列上下文語義特征，改進了預訓練模型掩碼策略和Mask機制，并去掉了下一句任務(wù)避免冗余訓練；針對標注歧義問題，提出動態(tài)詞長逆向最大匹配算法。實驗結(jié)果表明，本文模型較主流模型的醫(yī)療實體識別性能有較大提升。如何進一步提高電子病歷醫(yī)療實體的識別率將是下一步的重點研究工作。