中文電子病歷信息提取方法研究綜述

吉旭瑞,魏德健,張俊忠,張 帥,曹 慧

(山東中醫(yī)藥大學(xué)智能與信息工程學(xué)院,山東 濟(jì)南 250355)

1 引言

近年來,人工智能和大數(shù)據(jù)的普及帶動了各個行業(yè)的發(fā)展。在與人們健康息息相關(guān)的醫(yī)療行業(yè)中,每天都會產(chǎn)生大量的醫(yī)療數(shù)據(jù)。在這些數(shù)據(jù)中,電子病歷EMR(Electronic Medical Record)的重要性不言而喻。同時,作為智慧醫(yī)療建設(shè)的重要一環(huán),電子病歷已逐漸被各大醫(yī)院所使用。電子病歷以病人為主體,記錄著患者的個人基本信息、就診時間、發(fā)病時間、癥狀、診斷結(jié)果以及患者的治療情況。相比于傳統(tǒng)的紙質(zhì)病歷,電子病歷依托計算機(jī)相關(guān)技術(shù)處理患者的這些信息,從而形成結(jié)構(gòu)化的病例報告,便于醫(yī)生對患者進(jìn)行更準(zhǔn)確的診斷治療。因此,如何從電子病歷中提取出跟患者病情相關(guān)的信息,也就成為了現(xiàn)如今電子病歷數(shù)據(jù)挖掘的重要研究方向[1]。

在提取電子病歷信息的任務(wù)中,最為關(guān)鍵的2個內(nèi)容就是中文電子病歷命名實體識別和實體關(guān)系抽取。其中,中文電子病歷命名實體識別是提取電子病歷中醫(yī)療信息的第一步,實體關(guān)系抽取則是構(gòu)建醫(yī)療知識數(shù)據(jù)庫的基礎(chǔ)[2]。隨著深度學(xué)習(xí)在其他領(lǐng)域的廣泛應(yīng)用,很多研究人員嘗試使用深度學(xué)習(xí)技術(shù)提取電子病歷中的信息,也都取得了不錯的效果[3,4]。

本文從國內(nèi)外中文電子病歷的研究現(xiàn)狀入手,針對電子病歷中的信息提取部分,分析現(xiàn)階段中文電子病歷在命名實體識別和實體關(guān)系抽取2方面的研究進(jìn)展,討論更加合適的應(yīng)用技術(shù),為更進(jìn)一步的探索提供參考。

2 中文電子病歷信息提取研究現(xiàn)狀

電子病歷是我國醫(yī)療信息化中不可缺少的部分,因此國內(nèi)對于電子病歷的相關(guān)研究在近年來得到了廣泛關(guān)注。國外的許多發(fā)達(dá)國家在信息化建設(shè)的道路上開始較早,他們建立電子病歷檔案至今已經(jīng)有五十多年的歷史了。在政府的大力支持下,國外電子病歷的規(guī)模逐漸壯大,形成了一套較為完整的醫(yī)療信息體系。國外研究人員在處理電子病歷數(shù)據(jù)時,主要是在命名實體識別和實體關(guān)系抽取2個方面進(jìn)行,這一點(diǎn)跟國內(nèi)對電子病歷的研究類似。不過,中文跟英文不同,它有著許多英文所不具備的特點(diǎn)[5]。例如,英文會用空格將2個單詞隔開,這在處理時能夠很好地找到實體的邊界,但中文則只能以單個漢字為最小的單位來進(jìn)行命名實體識別和實體關(guān)系抽取。這無疑給中文電子病歷數(shù)據(jù)的信息提取帶來了不小的挑戰(zhàn)。現(xiàn)如今在處理中文電子病歷數(shù)據(jù)時,還存在以下問題：(1)不論進(jìn)行命名實體識別任務(wù)還是進(jìn)行實體關(guān)系抽取任務(wù),所使用的數(shù)據(jù)集都需要專業(yè)人員手工標(biāo)注,標(biāo)注的工程龐大且繁瑣,這也給電子病歷的信息抽取設(shè)置了無形的障礙。(2)各大醫(yī)院電子病歷的標(biāo)準(zhǔn)化程度不同,這樣很難將訓(xùn)練好的模型適用于不同醫(yī)院的電子病歷信息提取任務(wù)中。因此,需要一些政策的指引來不斷完善電子病歷的標(biāo)準(zhǔn)化程度。

中文電子病歷的信息提取可以將病歷文本中的核心信息快速地提取出來,并且將這些知識以形式化和結(jié)構(gòu)化的方式表示出來[6],從而讓醫(yī)生能夠更加清晰地了解患者的病情,利用已經(jīng)抽取好的醫(yī)療數(shù)據(jù)對病人的病情進(jìn)行分析。對于中文電子病歷的信息抽取流程如圖1所示。

Figure 1 Process of Chinese electronic medical record information extraction圖1 中文電子病歷信息提取流程

其中,中文電子病歷信息抽取過程中的核心任務(wù)為命名實體識別、實體修飾識別和實體關(guān)系抽取[7]。本文接下來將會探討研究人員在處理命名實體識別和實體關(guān)系抽取2大任務(wù)時所構(gòu)建的模型,詳細(xì)闡述常用的各種研究方法;然后系統(tǒng)分析中文電子病歷所面臨的一些障礙并提出相應(yīng)的解決方案;最后再對本文研究內(nèi)容進(jìn)行總結(jié),展望中文電子病歷信息抽取今后的發(fā)展趨勢。

3 中文電子病歷命名實體識別

命名實體識別NER(Named Entity Recognition)是對中文電子病歷中的醫(yī)療信息進(jìn)行抽取的第一步,它是實體關(guān)系抽取任務(wù)的基礎(chǔ),影響著接下來任務(wù)的進(jìn)行。NER的主要目的是識別出與醫(yī)療信息相關(guān)的專業(yè)名詞,例如識別出電子病歷中存在的疾病名稱、藥品名稱、癥狀、醫(yī)療器械名稱和患者的身體部位等[8]。它可以將具有相同屬性的名詞歸為一類,使得醫(yī)生在處理病人病歷時能夠更高效。

對于中文電子病歷的NER任務(wù),國內(nèi)外所采用的方法一共可分為3類[9]：基于規(guī)則與詞典的方法、基于機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。這3種方法也代表了NER技術(shù)發(fā)展的路線,但現(xiàn)如今研究人員大多選擇將不同的方法融合在一起來處理NER任務(wù)[10-13],并取得了非常不錯的效果,這也給未來NER任務(wù)研究提供了參考。

3.1 電子病歷命名實體識別評價指標(biāo)

中文電子病歷命名實體識別常用的評價指標(biāo)包括精確率P(Precision)、召回率R(Recall)和F-Measure。這3種指標(biāo)都是通過真陽性TP(True Positive)、假陽性FP(False Positive)以及假陰性FN(False Negative)3個參數(shù)計算得出的。具體的計算如式(1)～式(3)所示：

(1)

(2)

(3)

其中,TP表示模型識別出正確實體的樣本數(shù);FP表示模型能夠識別出實體,但識別結(jié)果不正確的樣本數(shù);FN表示沒有被成功識別的樣本數(shù);α是用于平衡精確率和召回率的參數(shù)。特別地,當(dāng)α=1時,評價指標(biāo)可表示為F1-Measure。F1-Measure的值越高表示模型的效果越好。

3.2 電子病歷命名實體識別常用方法

3.2.1 基于規(guī)則與詞典的方法

基于規(guī)則與詞典的方法是研究人員早期所采用的方法。該方法實際上是一種模式匹配范式。基于規(guī)則的專業(yè)詞典是模式匹配的基礎(chǔ),詞典和規(guī)則都需要人工編寫。在構(gòu)建詞典的過程中,需要專業(yè)人員將醫(yī)療領(lǐng)域中的專業(yè)名詞和術(shù)語等收集在一起,再進(jìn)行相應(yīng)的整理,最后構(gòu)建出專業(yè)詞典作為模式匹配的模板。在構(gòu)建好詞典后,再結(jié)合實體構(gòu)造規(guī)則,提取出相應(yīng)的實體。另外,相應(yīng)的實體規(guī)則還能夠彌補(bǔ)文本中缺少專有名詞的缺陷?；谝?guī)則與詞典的方法通過建立詞典、制定規(guī)則,能有效地識別出相應(yīng)的命名實體,同時詞典的完備性和規(guī)則的可行性也直接決定著命名實體識別最終的效果。顯然,這種方法實行起來難度不大,只要有專業(yè)的詞典以及相應(yīng)的規(guī)則作為基礎(chǔ),就能完成命名實體識別的任務(wù)。但是,由于國內(nèi)外開展自然語言處理NLP(Natural Language Processing)的時間不同,詞典的建立也存在著很大的差距。

在國外,UMLS(Unified Medical Language System)[14]和ICD-10(International Classification of Diseases 10)[15]等都是具有權(quán)威性的醫(yī)療詞典,國外許多研究人員以這些權(quán)威性詞典為基礎(chǔ),早期開發(fā)出了一些實體識別工具。Savova等[16]開發(fā)了臨床文本分析和知識提取系統(tǒng)CTAKES(Clinical Text Analysis and Knowledge Extraction System)。該系統(tǒng)基于UMLS實現(xiàn)NER并對其結(jié)果進(jìn)行評估,最終得到的最佳成績中精確匹配的F-Measure為71.5%,重疊匹配的F-Measure為82.4%。Scott等[17]從轉(zhuǎn)錄的醫(yī)生筆記中使用正則表達(dá)式提取出藥物、劑量等命名實體。Yang等[18]使用縮寫定義識別算法擴(kuò)展了生物實體名稱字典,提高了詞典識別實體的性能,最終F-Measure達(dá)到了68.80%。在國內(nèi),楊錦鋒等[19]制定了命名實體和實體關(guān)系的標(biāo)注規(guī)范并構(gòu)建了命名實體和實體關(guān)系標(biāo)注語料庫,這也為中文電子病歷研究提供了一個良好的開端;蘇嘉等[20]針對心血管疾病領(lǐng)域制定了專門的標(biāo)注語料庫。但是,由于對NLP的研究起步較晚,國內(nèi)并沒有建立像國外如此完善的醫(yī)療詞典庫及相關(guān)規(guī)則。建立詞典需要很多專家且要花費(fèi)大量的時間,成本較高,需要定期維護(hù)。因此,基于規(guī)則與詞典的方法在處理中文電子病歷的NER任務(wù)時使用起來較為困難。不過,一旦建造出專業(yè)性強(qiáng)、完備性好的詞典,基于規(guī)則與詞典的方法也將會為NER任務(wù)提供很大的便利。

3.2.2 基于機(jī)器學(xué)習(xí)的方法

基于規(guī)則與詞典方法的缺點(diǎn)注定使其不能夠長期被人們所用,機(jī)器學(xué)習(xí)的快速發(fā)展讓研究人員更多地使用機(jī)器學(xué)習(xí)方法來處理NER任務(wù)。NER任務(wù)也轉(zhuǎn)化為給每個實體賦予相應(yīng)的標(biāo)記?；跈C(jī)器學(xué)習(xí)的NER方法主要是基于分類的方法和基于序列標(biāo)注的方法[7]。相比于基于規(guī)則和詞典的方法,基于機(jī)器學(xué)習(xí)的方法需要的人力更少,成本較低[21]。因此,近年來有很多研究人員使用不同的機(jī)器學(xué)習(xí)模型來進(jìn)行中文電子病歷的命名實體識別。

隱馬爾可夫模型HMM(Hidden Markov Model)是NER任務(wù)研究初期使用較為廣泛的機(jī)器學(xué)習(xí)模型,是一種序列標(biāo)注方法。通過給定的輸入序列,計算出概率最大的標(biāo)記序列,再通過Viterbi算法得出命名實體識別序列標(biāo)注的最優(yōu)解。Zhang等[22]使用基于HMM的級聯(lián)識別方法訓(xùn)練出了基于HMM的命名實體識別模型,并在GENIA V3.02 和 V1.1語料庫上進(jìn)行了測試,分別得到了66.5%和62.5% 的F-Measure值。但是,HMM只考慮了當(dāng)前所觀察的對象,這就要求文本語句上下文具有很高的獨(dú)立性。電子病歷的上下文聯(lián)系緊密,難以實現(xiàn)這種獨(dú)立性,因此HMM僅適用于篇幅較短的NER任務(wù)。

支持向量機(jī)SVM(Support Vector Machine)也是一種使用較為廣泛的機(jī)器學(xué)習(xí)方法,是一種分類算法,早期更多地被應(yīng)用于模式識別上[23,24]。由于NER可以被視為是一種分類任務(wù),因此SVM也被應(yīng)用到了此任務(wù)中。研究人員通常將其與條件隨機(jī)場CRF(Conditional Random Field)模型進(jìn)行比較。Lei等[25]使用自己手動創(chuàng)建的中文醫(yī)療文本數(shù)據(jù)集,來對CRF和SVM等機(jī)器學(xué)習(xí)模型進(jìn)行評估,其中CRF模型在實驗中得到了93.52%的F-Measure值,而SVM得到了90.54%的F-Measure值。通過實驗也證明了基于CRF的方法在NER任務(wù)中要優(yōu)于基于SVM的方法。與HMM相比,由于CRF沒有特別嚴(yán)格的約束條件,對上下文文本可以進(jìn)行靈活的歸納,從而克服了HMM無法獲取長距離文本特征、缺乏多特征融合能力等缺點(diǎn)。因此,基于CRF的方法逐漸成為了NER任務(wù)中最受歡迎的機(jī)器學(xué)習(xí)方法。

近幾年,作為對SVM的改進(jìn),結(jié)構(gòu)化支持向量機(jī)SSVM(Structured SVM)在NER任務(wù)中呈現(xiàn)出不錯的識別效果[26,27]。SSVM擴(kuò)展了SVM的功能,結(jié)合了SVM和CRF的優(yōu)點(diǎn),能夠處理有關(guān)結(jié)構(gòu)化的問題。Lei等[25]在其實驗中比較了SSVM和CRF在NER任務(wù)中的表現(xiàn),最終SSVM得到了93.53%的F-Measure值,SSVM在命名實體識別任務(wù)中略優(yōu)于CRF,證明了SSVM是機(jī)器學(xué)習(xí)方法中處理中文NER任務(wù)效果最好的。Zhang等[28]還將SSVM用于化學(xué)領(lǐng)域的命名實體識別并取得了不錯的效果。Tang等[29]開發(fā)了基于SSVM的NER系統(tǒng),比較SSVM和CRF在NER任務(wù)上的評估結(jié)果,SSVM得到了85.82%的F-Measure值,CRF得到了85.68%的F-Measure值,并且在不同實體類型識別中SSVM比CRF更好。表1對上述方法進(jìn)行了總結(jié)。此外,對于連續(xù)標(biāo)簽問題,SSVM也有著很好的處理能力,這也說明SSVM在中文電子病歷NER任務(wù)研究中有著較好的發(fā)展?jié)摿?。并且SSVM和CRF組合起來也會是NER任務(wù)中一個較好的研究方向。

Table 1 Applications of rule-based methods and machine learning based methods in named entity recognition

3.2.3 基于深度學(xué)習(xí)的方法

近年來,深度學(xué)習(xí)逐漸成為人工智能領(lǐng)域主要的研究內(nèi)容,并且在很多應(yīng)用中都取得了不錯的成果,也在一定程度上推動了人工智能領(lǐng)域的發(fā)展。在自然語言處理中,能夠運(yùn)用在中文NER任務(wù)上的深度學(xué)習(xí)模型包括長短時記憶LSTM(Long-Short Term Memory)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)、雙向長短時記憶Bi-LSTM(Bi-directional LSTM)網(wǎng)絡(luò)、Transformer模型以及BERT(Bidirectional Encoder Representation from Transformers)模型。以下分別對這4種模型進(jìn)行介紹：

(1)長短時記憶網(wǎng)絡(luò)。

長短時記憶網(wǎng)絡(luò)是最先被廣泛應(yīng)用于NER任務(wù)[30,31]的深度學(xué)習(xí)模型。這種模型是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊類型,擁有2個傳輸狀態(tài)cell state和hidden state,能夠有效控制特征的流通和損失。同時,長短時記憶網(wǎng)絡(luò)也是解決長距離依賴問題行之有效的模型,因此也被廣泛地用于處理文本數(shù)據(jù)。LSTM+CRF模型是當(dāng)時比較流行的組合模型。Dong等[32]針對中文命名實體識別任務(wù),采用LSTM+CRF網(wǎng)絡(luò)加強(qiáng)了每個字的部首偏旁,從而加強(qiáng)字的表示來捕捉其象形詞根特征,在中文NER任務(wù)中獲得了很好的性能,這也是針對中文NER任務(wù)第一個使用基于字符的LSTM+CRF模型,在SIGHAN Bakeoff-3中文語料庫上最終得到了90.95%的F1-Measure值。在這個基礎(chǔ)上,Zhao等[33]進(jìn)行了創(chuàng)新,提出了一種基于對抗訓(xùn)練的網(wǎng)格LSTM-CRF模型AT-Lattice LSTM-CRF(Adversarial Training-Lattice LSTM CRF),得到了89.64%的F1-Measure值。在實驗中,對抗訓(xùn)練AT不僅提高了模型的性能,還保證了神經(jīng)網(wǎng)絡(luò)方法的穩(wěn)健性。

在中文電子病歷的NER任務(wù)中,一個詞要想被命名為一個實體,與文本的上下文通常有一定的聯(lián)系。LSTM模型盡管能夠處理長距離的文本信息,但是它不能夠?qū)Ψ聪虻奈谋緮?shù)據(jù)進(jìn)行操作。于是,Schuster等[34]于1997年提出了雙向長短時記憶(Bi-LSTM)網(wǎng)絡(luò)。這種模型能夠捕捉每個狀態(tài)的上下文,使用從左到右和從右到左的2個獨(dú)立隱藏狀態(tài),同時捕獲過去和未來的信息,以更好地捕捉上下文的語句依賴信息。在Bi-LSTM模型被用來處理中文電子病歷NER任務(wù)后,它逐漸替代了具有一定局限性的LSTM模型。

雙向長短時記憶網(wǎng)絡(luò)克服了LSTM的劣勢,成為了近年來處理各個領(lǐng)域NER任務(wù)時使用較為廣泛的模型[35,36]。與LSTM類似,研究人員發(fā)現(xiàn)在Bi-LSTM后面接CRF層作為輸出也是一個不錯的處理方法,其模型結(jié)構(gòu)如圖2所示。由于CRF層能夠考慮標(biāo)簽之間的順序問題,因此在接收到Bi-LSTM處理完的輸入后,能夠計算出更加精確的標(biāo)簽,使得提取的精度進(jìn)一步提高。

Figure 2 Basic structure of Bi-LSTM+CRF model圖2 Bi-LSTM+CRF模型基本結(jié)構(gòu)

Xu等[37]使用Bi-LSTM+CRF模型在公開的NCBI(National Center for Biotechnology Information)語料庫上進(jìn)行評估,最終得到了80.22%的F1-Measure值,其結(jié)果相對于其他廣泛使用的方法要更好。還有一些使用Bi-LSTM+CRF模型的研究[38,39]在命名實體識別任務(wù)中也獲得了不錯的效果。Yin等[40]提出了基于字符偏旁等級和自注意力(Self-attention)機(jī)制的Bi-LSTM+CRF模型,在實驗中使用CNN來提取字符偏旁的特征,得到字詞之間內(nèi)部的相關(guān)性,使用自注意力機(jī)制是為了捕捉上下文文本之間的依賴性。將訓(xùn)練得到的模型在CCKS-2017(China Conference on Knowledge graph and Semantic computing 2017)數(shù)據(jù)集上進(jìn)行評估,得到了93.00%的F1-Measure值。在TP-CNER(TP-Clinical Named Entity Recognition)數(shù)據(jù)集上得到了86.34%的F1-Measure值,其結(jié)果要好于原始Bi-LSTM+CRF模型的,也證明了基于字符偏旁等級的自注意力機(jī)制在處理中文醫(yī)療NER任務(wù)中的有效性。

(2)卷積神經(jīng)網(wǎng)絡(luò)模型。

卷積神經(jīng)網(wǎng)絡(luò)近年來在計算機(jī)視覺領(lǐng)域取得了顯著的成果,被大量應(yīng)用到圖像處理中[41-44],并且取得了很多突破性的進(jìn)展。在NLP領(lǐng)域中,CNN能夠在訓(xùn)練過程中充分利用GPU(Graphics Processing Unit)實現(xiàn)數(shù)據(jù)處理的并行化,這使CNN在并行計算過程中擁有很高的自由度。

CNN在處理長距離文本信息時表現(xiàn)一般,只能通過不斷增加卷積層的個數(shù)來處理更多的輸入信息,但這會導(dǎo)致卷積層越來越深,參數(shù)越來越多,整個模型將會變得非常龐大不易訓(xùn)練?；诖?Yu等[45]提出了擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)(Dilate CNN),為過濾器增加了一個dilation width,但過濾器本身的大小保持不變,這樣可以讓過濾器獲得更多輸入數(shù)據(jù),隨著卷積層數(shù)的不斷增加,參數(shù)的數(shù)量只以線性增加,而感受域呈指數(shù)增加,使得感受域更快地覆蓋到全部的輸入數(shù)據(jù),從而解決了CNN在NER任務(wù)中的缺陷。Strubell等[46]又在上述工作的基礎(chǔ)上提出了迭代擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)ID-CNN(Iterated Dilated CNN),并且在實驗中將ID-CNN同CRF融合起來,把CRF接在ID-CNN后面,在CoNLL-2003數(shù)據(jù)集上ID-CNN-CRF模型得到了90.54%的F1-Measure值,略優(yōu)于NER任務(wù)中主流的深度學(xué)習(xí)模型Bi-LSTM+CRF的,并且ID-CNN-CRF在模型訓(xùn)練的速度上也要快于Bi-LSTM+CRF。但是不論LSTM還是CNN,它們在處理中文電子病歷NER任務(wù)時都存在局限性,LSTM在處理數(shù)據(jù)時不能實現(xiàn)并行化操作,CNN是不能處理序列化的文本信息。而將這2個模型一起配合訓(xùn)練可以發(fā)揮出它們的優(yōu)勢,同時彌補(bǔ)彼此的不足,這種融合方式在未來也不失是一種較好的處理NER任務(wù)的方法。

(3)Transformer模型。

只使用注意力機(jī)制的模型是2017年由Vaswani等[47]提出來的,也是近兩年來NLP領(lǐng)域主流的模型,并且還拓展到了其他的領(lǐng)域。這種模型緩解了循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練慢的問題,使用完全基于注意力機(jī)制的方式,將自注意力機(jī)制作為編碼器和解碼器的核心,獲得了很好的學(xué)習(xí)效果。后來的BERT模型在NLP任務(wù)中能取得良好成績一個關(guān)鍵因素就是Transformer模型。

李博等[48]針對中文電子病歷的NER任務(wù),提出了一種Transformer-CRF的模型,使用Transformer來提取上下文的文本特征,并增加CRF層作為分類器進(jìn)行聯(lián)合解碼。在實驗中,通過中文電子病歷數(shù)據(jù)自建數(shù)據(jù)集對比了包括Transformer-CRF在內(nèi)的8種模型,在身體部位的實體識別中Transformer-CRF得到了最高的F1-Measure值 95.05%。但是,Transformer模型也存在著一定的問題,其局部特征捕捉能力相比于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)略顯不足。在文獻(xiàn)[48]中,對于醫(yī)療檢查和檢查類的實體,由于其包含大量的英文縮寫,在識別過程中文本特征較為復(fù)雜不易提取,導(dǎo)致模型的識別效果不佳,不過在其他醫(yī)療實體的識別中這種模型的識別效果都要好于其他模型的。盡管Transformer模型存在著一定的缺點(diǎn),但它這種完全基于注意力機(jī)制的方式很大程度上促進(jìn)了NLP領(lǐng)域的發(fā)展,也為后來BERT模型的出現(xiàn)打下了基礎(chǔ)。

(4)BERT模型。

BERT模型是Google在2018年開發(fā)出來的一種用于語言表示的模型,它的內(nèi)部采用全新的MLM(Masked Language Model)模型,對雙向的Transformers進(jìn)行預(yù)訓(xùn)練,這樣能快速生成深度的雙向語言表征。此外,微調(diào)(Fine-tune)BERT模型也能在很多下游NLP任務(wù)中獲得非常好的表現(xiàn)。

近年來,BERT模型也逐漸被用于科學(xué)領(lǐng)域和生物醫(yī)學(xué)領(lǐng)域,以提高這些領(lǐng)域中NLP任務(wù)的性能。不過,在中文電子病歷NER任務(wù)中,僅使用BERT模型并不能夠獲得很好的效果。但是,通過對BERT模型進(jìn)行預(yù)訓(xùn)練或與其他模型相結(jié)合,都能獲得很多模型達(dá)不到的效果。Li等[49]使用網(wǎng)上爬取的中文醫(yī)療文本數(shù)據(jù)對BERT模型進(jìn)行預(yù)訓(xùn)練,并在BERT模型上添加不同的層(包括CRF、Bi-LSTM層等)來比較各種模型的性能,還在模型中添加了字典功能以及偏旁功能,最終的模型結(jié)構(gòu)為BERT+Bi-LSTM+CRF,在CCKS-CNER 2017與CCKS-CNER 2018數(shù)據(jù)集上分別進(jìn)行了模型評估。在實驗中,Li等[49]將BERT模型又進(jìn)行了微調(diào),微調(diào)的BERT模型要明顯優(yōu)于原始的BERT模型,在CCKS 2018數(shù)據(jù)集上基于FT-BERT+BiLSTM+CRF的模型得到了89.32%的F1-Measure值,該結(jié)果要優(yōu)于其他先進(jìn)方法的,并且集成模型獲得了更高的F1-Measure值89.56%。在CCKS2017數(shù)據(jù)集上,基于FT-BERT+BiLSTM+CRF的模型得到了91.60%的F1-Measure值。在整個實驗中,微調(diào)的BERT很明顯提高了模型的性能,并且字符偏旁部首的嵌入以及基于字典的后處理方式也在中文NER任務(wù)中十分有效。在Li等[49]的實驗中,他最開始對BERT模型進(jìn)行預(yù)訓(xùn)練。參照這個方法,胡婕等[50]從百科知識庫CN-DBPedia(ChiNa-DisamBiguation Pedia)中抽取實體來構(gòu)建詞典,隨后利用構(gòu)建的詞典來對BERT進(jìn)行預(yù)訓(xùn)練。這種方法可以免去網(wǎng)絡(luò)爬蟲所帶來的數(shù)據(jù)不規(guī)范等問題,為后續(xù)中文電子病歷NER的研究也提供了一種思路。

ALBERT(A Lite BERT)模型是Google在2019年開發(fā)的一種更加精簡的模型[51],是BERT模型的改進(jìn)版。ALBERT的參數(shù)量要遠(yuǎn)遠(yuǎn)小于之前的BERT模型的,解決了BERT模型過大、訓(xùn)練困難的問題。李軍懷等[52]利用ALBERT模型進(jìn)行預(yù)訓(xùn)練,提出了基于ALBERT+BGRU+CRF的模型用于中文NER任務(wù)。在這個模型中,使用ALBERT模型處理相應(yīng)的文本,得到動態(tài)詞的向量表示作為下一層的輸入,雙向門控循環(huán)單元BGRU(Bidirectional Gated Recurrent Unit)用來捕捉上下文的語義信息,并通過在CRF層中加入約束來控制錯誤標(biāo)簽的輸出。此外,在MSRA(MicroSoft Research Asia)數(shù)據(jù)集上此模型得到了94.81%的F1-Measure值,要好于BERT- IDCNN-CRF模型的94.41%。ALBERT模型還能與IDCNN+CRF相結(jié)合,也能在NER任務(wù)中取得不錯的效果。表2對上述命名實體識別方法進(jìn)行了總結(jié)。

Table 2 Summary of methods based on deep learning

深度學(xué)習(xí)模型的廣泛應(yīng)用帶動了中文電子病歷NER任務(wù)的研究。圖3展示了近兩年中文電子病歷NER技術(shù)的發(fā)展路線。目前,研究人員主要采用基于多種模型相結(jié)合的方式來進(jìn)行命名實體識別。例如,Dong等[32]在模型中加入了字符;Li等[49]對BERT模型進(jìn)行了微調(diào)并將其加入到了原有的模型中,還嵌入了偏旁部首。這些研究人員都利用多種模型在NER任務(wù)中取得了非常不錯的效果,因此在未來的研究中,多模型組合將是中文電子病歷NER任務(wù)的一個重要研究方向。表3比較了中文電子病歷命名實體識別任務(wù)中所采用的各類方法及其基本思想、優(yōu)點(diǎn)和缺點(diǎn)。

Table 3 Comparison of typical methods for named entity recognition

Figure 3 Development route of Chinese EMR NER technology圖3 中文電子病歷NER技術(shù)發(fā)展路線

4 中文電子病歷實體關(guān)系抽取

實體關(guān)系抽取(Entity Relation Extraction)是NLP任務(wù)中重要的一步,是在命名實體識別任務(wù)的基礎(chǔ)上,進(jìn)一步提取出2類實體之間存在的關(guān)系。這項任務(wù)也是醫(yī)療健康知識庫建立維護(hù)的基礎(chǔ)。在電子病歷中,大部分的實體之間存在著一定的關(guān)系。關(guān)系抽取任務(wù)不僅要抽取出它們之間的關(guān)系,更重要的是要識別出這些關(guān)系是屬于哪種類型[53],很大程度上會影響后續(xù)電子病歷處理任務(wù)。

對于醫(yī)療關(guān)系,Uzuner等[54]率先展開了研究,將醫(yī)療實體關(guān)系分為6大類：當(dāng)前的疾病-治療、可能的疾病-治療、當(dāng)前的癥狀-治療、可能的癥狀-治療、疾病-檢查和疾病-癥狀。根據(jù)中文電子病歷的特點(diǎn),可以將醫(yī)療關(guān)系解釋為更加通俗易懂的說法。例如,將疾病-癥狀關(guān)系類型解釋為疾病導(dǎo)致了這種癥狀,疾病-檢查關(guān)系類型解釋為通過檢查找出了這種疾病,疾病-治療關(guān)系解釋為這種疾病通過這種方式進(jìn)行治療。抽取出這些關(guān)系類型能輔助醫(yī)生更加全面地了解患者的病情,對患者的下一步治療有更加明確的方向。

目前,中文電子病歷的實體關(guān)系抽取研究尚在起步階段。綜合近年來研究人員所采用的各類方法[55,56],可以大致分為3種：有監(jiān)督學(xué)習(xí)的方法、半監(jiān)督學(xué)習(xí)的方法和無監(jiān)督學(xué)習(xí)的方法。這3種方法各有優(yōu)劣,在不同的時期都發(fā)揮出了不同的作用。如今,半監(jiān)督學(xué)習(xí)的方法也逐漸被廣泛應(yīng)用于實體關(guān)系抽取的任務(wù)中,成為了一大熱門的研究方向。無監(jiān)督學(xué)習(xí)的方法目前還處于探索階段,還未出現(xiàn)有效的實體關(guān)系抽取方法,本文不作詳細(xì)介紹。接下來本文將會對有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)近年來的研究進(jìn)展進(jìn)行詳細(xì)介紹。

4.1 有監(jiān)督學(xué)習(xí)的方法

有監(jiān)督學(xué)習(xí)的方法是電子病歷實體關(guān)系抽取任務(wù)早期廣泛使用的方法,大多是采用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法來完成實體關(guān)系的抽取。在傳統(tǒng)的機(jī)器學(xué)習(xí)方法中,使用到的方法主要是基于規(guī)則的方法和SVM等。在深度學(xué)習(xí)的方法中,主要使用深度神經(jīng)網(wǎng)絡(luò)來處理實體關(guān)系抽取的任務(wù)。這些方法在大量已標(biāo)注數(shù)據(jù)集為前提的情況下能夠獲得較好的分類效果。

Xu等[57]提出了一種由數(shù)據(jù)驅(qū)動的模型,同時基于規(guī)則和SVM,并且在實驗中創(chuàng)新性地使用SVM估計醫(yī)療事件之間的相關(guān)性,以更好地對各類醫(yī)療實體進(jìn)行抽取,最終在中文電子病歷數(shù)據(jù)集上得到了84.6%的F1-Measure值。Tao等[58]提出了一種KeMRE(Knowledge-enhanced Medical Relation Extraction)的醫(yī)學(xué)關(guān)系抽取深度模型,所建造的模型共被分為4大塊。首先是基于BERT-CNN-LSTM的文本建模;之后是基于 CNN-LSTM 的實體建模,用來捕捉各個實體之間的相關(guān)性;第3是建立了知識嵌入,以代表實體之間潛在的關(guān)系;最后使用MLP(Multi-Layer Perceptron)網(wǎng)絡(luò)從實體的表示和知識嵌入中預(yù)測實體之間的關(guān)系。上述模型在自主構(gòu)建的數(shù)據(jù)集上的F1-Measure要明顯好于LSTM模型、CNN模型等的。隨著深度學(xué)習(xí)的快速發(fā)展,有監(jiān)督學(xué)習(xí)的方式也能在實體抽取中取得十分不錯的效果。但是,繁重的標(biāo)注工作是這類方法的一大缺陷,一旦缺少已標(biāo)注的數(shù)據(jù),模型性能會快速下降。因此,在之后的中文電子病歷研究中,如何使用較少的標(biāo)注數(shù)據(jù)來進(jìn)行關(guān)系抽取成為了研究人員著重關(guān)注的地方。

4.2 半監(jiān)督學(xué)習(xí)的方法

半監(jiān)督學(xué)習(xí)的方法能夠解決有標(biāo)注數(shù)據(jù)集稀缺的問題。有標(biāo)注的數(shù)據(jù)集難以獲取,而無標(biāo)注的數(shù)據(jù)集又不能夠很好地訓(xùn)練模型,因此半監(jiān)督學(xué)習(xí)的方法成為了近年來較為熱門的研究方向。這種學(xué)習(xí)方法只需要少量有標(biāo)注的數(shù)據(jù)集和大量無標(biāo)注的數(shù)據(jù)集,就可以獲得很好的效果。半監(jiān)督學(xué)習(xí)關(guān)系抽取基本框架如圖4所示。

Figure 4 Basic framework of semi-supervised learning relation extraction圖4 半監(jiān)督學(xué)習(xí)關(guān)系抽取基本框架

在中文電子病歷的研究中,標(biāo)注數(shù)據(jù)集的問題尤為突出,因此半監(jiān)督學(xué)習(xí)方法也逐漸被應(yīng)用起來。陳立瑋等[59]在解決雙語關(guān)系抽取問題時提出了n-gram的模型特征來增強(qiáng)模型的魯棒性,還提出了基于Bootstrapping思想的協(xié)同訓(xùn)練在中文知識庫上進(jìn)行半監(jiān)督學(xué)習(xí)來強(qiáng)化模型,以解決數(shù)據(jù)標(biāo)注的相關(guān)問題,最終在中文和英文的關(guān)系提取中這個模型能適應(yīng)不同語言的需求。肖丹[60]采用了半監(jiān)督學(xué)習(xí)的方法來對中文電子病歷進(jìn)行實體關(guān)系抽取,提出了一種基于殘差網(wǎng)絡(luò)的半監(jiān)督方法。該方法結(jié)合殘差網(wǎng)絡(luò)和BiGRU(Bi-Gated Recurrent Unit)2種神經(jīng)網(wǎng)絡(luò)的優(yōu)勢,還融入了注意力機(jī)制,構(gòu)建了ResGRU-Att(Residual Gated Recurrent Unit Attention)混合神經(jīng)網(wǎng)絡(luò)模型,并在訓(xùn)練過程中使用Bootstrapping半監(jiān)督學(xué)習(xí)算法對沒有被標(biāo)記的數(shù)據(jù)集不斷迭代,擴(kuò)展數(shù)據(jù)集。此外,該方法還針對關(guān)系抽取任務(wù)改進(jìn)了Bootstrapping算法。結(jié)果表明,多層卷積的ResNet(deep Residual Network)模型效果要明顯好于單一的CNN模型的,當(dāng)ResNet模型增加注意力機(jī)制以及GRU模型后獲得了更好的效果,F1-Measure值達(dá)89.78%。

作為半監(jiān)督學(xué)習(xí)的一種方法,遠(yuǎn)程監(jiān)督也能夠解決標(biāo)注語料少的問題。隨著人工智能的發(fā)展,遠(yuǎn)程監(jiān)督通過機(jī)器學(xué)習(xí)得到了進(jìn)一步的發(fā)展。在關(guān)系抽取任務(wù)中,為了避免使用到龐大的標(biāo)注數(shù)據(jù)集,無監(jiān)督學(xué)習(xí)的方法被應(yīng)用到了關(guān)系抽取的任務(wù)中。無監(jiān)督學(xué)習(xí)的方法不需要使用帶標(biāo)簽的數(shù)據(jù),通過聚類算法來自動歸納關(guān)系的類型,從而達(dá)到關(guān)系抽取的目的。不過,這種方法所抽取出來的關(guān)系在一定程度上規(guī)范化程度很差,而且會影響其他的關(guān)系屬性。因此,Mintz等[61]在2009年第1次提出了遠(yuǎn)程監(jiān)督的概念來解決上述問題,并將文本與大規(guī)模知識圖譜進(jìn)行對齊。遠(yuǎn)程監(jiān)督既能夠解決有監(jiān)督學(xué)習(xí)中缺少有標(biāo)簽數(shù)據(jù)集的問題,又能夠彌補(bǔ)無監(jiān)督學(xué)習(xí)中關(guān)系的規(guī)范化問題。車金立等[62]基于遠(yuǎn)程監(jiān)督方法提出了一種基于雙重注意力機(jī)制的關(guān)系抽取模型,使用網(wǎng)絡(luò)爬蟲來篩選實驗數(shù)據(jù),再通過遠(yuǎn)程監(jiān)督得到有標(biāo)注的關(guān)系數(shù)據(jù)。但是,遠(yuǎn)程監(jiān)督有可能會帶來一部分的噪聲數(shù)據(jù)。為了解決這個問題,該模型通過BI-GRU網(wǎng)絡(luò)獲取上下文語義信息,并使用字符級注意力機(jī)制來關(guān)注語義特征,利用實例級注意力機(jī)制來計算實例和對應(yīng)關(guān)系之間的相關(guān)性。上述模型結(jié)合了雙重注意力機(jī)制的優(yōu)勢,有效地處理了噪聲數(shù)據(jù),在關(guān)系抽取的任務(wù)中得到了更高的準(zhǔn)確率。王斌等[63]提出了基于遠(yuǎn)程監(jiān)督的領(lǐng)域?qū)嶓w屬性關(guān)系抽取的混合方法,使用隱含狄利克雷分布LDA(Latent Dirichlet Allocation)主題模型來進(jìn)行數(shù)據(jù)去噪,并且將各項特征融合用于關(guān)系抽取,實驗結(jié)果表明,去噪后的訓(xùn)練數(shù)據(jù)更加具有代表性,上述模型訓(xùn)練后取得了91%的F1-Measure值。表4對上述方法進(jìn)行了總結(jié)。遠(yuǎn)程監(jiān)督在關(guān)系抽取任務(wù)中主要是為深度學(xué)習(xí)模型處理無標(biāo)簽數(shù)據(jù),它較依賴各個領(lǐng)域的專業(yè)知識庫。近年來,國內(nèi)各科研機(jī)構(gòu)已初步建立了幾個中文開放百科類知識圖譜的鏈接,包括Zhishi.me(狗尾草科技、東南大學(xué))、CN-DBPedia(復(fù)旦大學(xué))、XLore(清華大學(xué))、Belief-Engine(中科院自動化所)和PKUPie(北京大學(xué))等。這些知識圖譜都已經(jīng)通過OpenKG提供了開放的Dump或開放訪問API。這些中文知識圖譜的建立為遠(yuǎn)程監(jiān)督方法在中文電子病歷關(guān)系抽取上的應(yīng)用提供了良好的基礎(chǔ)。

Table 4 Typical methods for entity relationship extraction 表4 實體關(guān)系抽取常用方法

5 問題分析

5.1 數(shù)據(jù)集

目前,不論是在國內(nèi)還是在國外,對于電子病歷的研究都需要非常龐大的醫(yī)療數(shù)據(jù)集作為基礎(chǔ)。國外對電子病歷的研究起步較早,到目前為止,已經(jīng)形成了以I2B2為代表的醫(yī)療評測任務(wù)及相應(yīng)醫(yī)療語料庫,這在很大程度上促進(jìn)了國外對于電子病歷的命名實體識別和關(guān)系抽取方面的研究。并且這些數(shù)據(jù)集以及語料庫還在不斷地改良和完善。

在國內(nèi),由于對電子病歷信息抽取方面的研究起步較晚,因此并沒有形成完善的醫(yī)療語料庫。為了推動中文電子病歷命名實體識別研究的發(fā)展,中國知識圖譜與語義計算大會CCKS(China Conference on Knowledge graph and Semantic computing)從2017年起,連續(xù)幾年推出了中文電子病歷命名實體識別評測任務(wù)[64,65],所用的數(shù)據(jù)集都經(jīng)過了專業(yè)人員的標(biāo)注,這也使得近年來國內(nèi)中文電子病歷的NER任務(wù)得到了突飛猛進(jìn)的發(fā)展,取得了很多顯著的進(jìn)展。

在實體關(guān)系抽取任務(wù)上,國內(nèi)的大多數(shù)研究都是使用人工標(biāo)注的電子病歷數(shù)據(jù)集,但標(biāo)注過程中的工作量巨大且特別耗時。為了促進(jìn)中文醫(yī)學(xué)NLP的發(fā)展,阿里云天池實驗室在近年來發(fā)布了中文醫(yī)學(xué)文本實體關(guān)系抽取CMeIE(Chinese Medical Information Extraction)評測任務(wù),并提供了評測任務(wù)所需要的數(shù)據(jù)集[66]。國外的I2B2評測任務(wù)為國內(nèi)研究電子病歷的NER以及關(guān)系抽取任務(wù)指明方向,發(fā)起和組織與電子病歷相關(guān)的評測任務(wù)是解決現(xiàn)如今中文電子病歷語料庫缺乏的有效途徑[67]。

在中文電子病歷語料庫的構(gòu)建上,楊錦鋒等[19]利用賓州中文樹庫 PCTB(Penn Chinese TreeBank) 標(biāo)注規(guī)范[68,69]作為語料庫構(gòu)建的基礎(chǔ)規(guī)范,制定了適用于中文電子病歷的標(biāo)注規(guī)范,并且構(gòu)建了分詞和詞性標(biāo)注的語料庫,為構(gòu)建中文電子病歷語料庫做出了杰出的貢獻(xiàn)。隨著研究的不斷深入,相信在未來也會形成如同國外一樣龐大的中文電子病歷語料庫。

5.2 模型性能

盡管深度學(xué)習(xí)近年來在中文電子病歷信息提取任務(wù)中取得了較大的進(jìn)步,但組合經(jīng)典的模型處理相關(guān)任務(wù)也使性能達(dá)到了瓶頸。轉(zhuǎn)換思路設(shè)計更合適的模型可以顯著提高模型的性能。Li等[70]創(chuàng)新性地將NER視為機(jī)器閱讀理解MRC(Machine Reading Comprehension)任務(wù),而不是經(jīng)典的序列標(biāo)記問題,提出了一種MRC框架,獲得了顯著的效果。因此,如何將此模型推廣到中文電子病歷信息提取的任務(wù)中,也成了今后研究的方向之一。

此外,深度學(xué)習(xí)模型對于實體的邊界不太敏感,尤其是醫(yī)療領(lǐng)域,實體的邊界具有很高的專業(yè)性。將基于規(guī)則的詞典信息引入深度學(xué)習(xí)模型是一種不錯的方法,但龐大的詞典使模型運(yùn)行速度過慢,因此如何在保證識別準(zhǔn)確率的基礎(chǔ)上提高運(yùn)行效率也是今后的研究方向之一。

5.3 嵌套實體的識別與提取

嵌套實體是指一個實體嵌套在另外一個實體中,例如在中文電子病歷中經(jīng)常會出現(xiàn)“肺結(jié)節(jié)”“胃潰瘍”“腎結(jié)石”等嵌套實體,實體“肺、胃、腎”都被嵌套在了相應(yīng)的疾病實體中。這些問題也是今后的模型需要解決的。

6 結(jié)束語

本文闡述了近年來中文電子病歷命名實體識別和關(guān)系抽取方面的研究進(jìn)展,選取了國內(nèi)外在這些方面的典型論文,重點(diǎn)介紹了中文電子病歷信息提取所采用的方法、建立的模型、使用的相關(guān)數(shù)據(jù)集、數(shù)據(jù)標(biāo)注情況以及這些模型最終所取得的效果。

近年來,深度學(xué)習(xí)在各個領(lǐng)域都取得了十分顯著的進(jìn)展,也被應(yīng)用于中文電子病歷的命名實體識別和關(guān)系抽取的任務(wù)中,是諸多方法中效果最好的方法,也促進(jìn)了中文電子病歷信息提取領(lǐng)域的發(fā)展。在有關(guān)電子病歷的任務(wù)中,比較常見的深度學(xué)習(xí)模型包括LSTM模型和CNN模型。近幾年,多種模型融合的方式也逐漸成為了研究人員主要的研究方向。Transformer模型和BERT模型的快速應(yīng)用也在NLP領(lǐng)域展現(xiàn)出了很高的性能,也推動了中文電子病歷NER任務(wù)的發(fā)展。另外,圖神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)增強(qiáng)在NLP領(lǐng)域中的應(yīng)用等都處于前期的發(fā)展階段,如何將它們與現(xiàn)有的模型進(jìn)行融合也將會成為今后的研究方向。