一種融合實(shí)體類別特征的醫(yī)療領(lǐng)域關(guān)系抽取方法

游新冬，趙明智，王星予，徐戈，呂學(xué)強(qiáng)

(1.北京信息科技大學(xué) 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室，北京 100101；2.閩江學(xué)院 計(jì)算機(jī)與控制工程學(xué)院，閩江 350108；3.福建省信息處理與智能控制重點(diǎn)實(shí)驗(yàn)室，閩江 350108)

0 引言

關(guān)系抽取是要在包含兩個(gè)或多個(gè)實(shí)體的句子中，抽取出其中每?jī)蓚€(gè)實(shí)體之間的關(guān)系及其類別。在當(dāng)前大數(shù)據(jù)背景下，關(guān)系抽取可以幫助人們快速地從網(wǎng)絡(luò)上繁多的醫(yī)療信息中獲取所需信息，在構(gòu)建知識(shí)圖譜中也發(fā)揮了舉足輕重的作用，逐漸成為了學(xué)者們研究的熱點(diǎn)。

關(guān)系抽取任務(wù)的首次提出是在1998年的MUC-7會(huì)議[1]上，自此關(guān)系抽取得到了學(xué)術(shù)界的廣泛關(guān)注。Wei等[2]提出一種抽取化學(xué)藥品和疾病之間關(guān)系的方法，但效果不是很理想。張玉坤等[3]提出將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)與支持向量機(jī)、條件隨機(jī)場(chǎng)相結(jié)合的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，分別通過(guò)任務(wù)聯(lián)合、模型聯(lián)合和特征聯(lián)合對(duì)關(guān)系抽取任務(wù)進(jìn)行聯(lián)合學(xué)習(xí)，在藥品說(shuō)明書(shū)語(yǔ)料庫(kù)中效果顯著。羅計(jì)根等[4]提出了一種融合雙向長(zhǎng)短時(shí)記憶(bidirectional long short-term memory，BiLSTM)人工神經(jīng)網(wǎng)絡(luò)和梯度下降決策樹(shù)(gradient boosting decision tree，GBDT)的關(guān)系識(shí)別算法(BiLSTM-GBDT)，在中醫(yī)等多個(gè)語(yǔ)料庫(kù)取得了比較精確的結(jié)果。寧尚明等[5]提出recurrent+transformer的方法，針對(duì)電子病歷文本的特點(diǎn)，設(shè)計(jì)多通道注意力三層核心網(wǎng)絡(luò)結(jié)構(gòu)，并且提出類別權(quán)重的計(jì)算方法，相比傳統(tǒng)的注意力機(jī)制，強(qiáng)化了對(duì)句級(jí)別語(yǔ)義特征的提取，整體復(fù)雜度顯著降低，缺點(diǎn)是計(jì)算效率低。武小平等[6]提出改進(jìn)的雙向變形編碼器卷積神經(jīng)網(wǎng)絡(luò)，對(duì)心血管疾病的中文語(yǔ)料進(jìn)行關(guān)系抽取，使用基于Transformer的雙向編碼器表示(bidirectional encoder representation from Transformers，BERT)模型解決了長(zhǎng)期依賴問(wèn)題，但對(duì)輸入數(shù)據(jù)的順序與位置問(wèn)題考慮不全面。高峰等[7]提出了一種基于規(guī)則和詞頻分析的關(guān)系抽取方法，第一輪使用規(guī)則聚類的方法抽取關(guān)系發(fā)現(xiàn)詞，第二輪采用補(bǔ)充算法抽取關(guān)系發(fā)現(xiàn)詞，將發(fā)現(xiàn)詞作為額外特征送入模型進(jìn)行醫(yī)療關(guān)系抽取，由于人工和語(yǔ)料規(guī)模的限制，有的句子無(wú)法抽取出關(guān)系發(fā)現(xiàn)詞。

以上的關(guān)系抽取方法中，都存在著大量的關(guān)系重疊[8]問(wèn)題，即同一實(shí)體處于多種關(guān)系中。例如：在“心肌酶增高提示為心肌炎表現(xiàn)為心慌”文本中，“心肌炎”實(shí)體同時(shí)出現(xiàn)在(心肌酶，升高，心肌炎)和(心肌炎，表現(xiàn)，心慌)兩組關(guān)系中。針對(duì)此問(wèn)題，本文提出一種融合實(shí)體類別的醫(yī)療領(lǐng)域關(guān)系抽取方法——CBBS(category BERT BiLSTM Sigmoid)，在關(guān)系抽取任務(wù)中融入實(shí)體類別特征，并通過(guò)序列標(biāo)注的方法，有效解決了關(guān)系重疊問(wèn)題，提升了關(guān)系抽取的效果。

1 醫(yī)療領(lǐng)域關(guān)系抽取方法設(shè)計(jì)

本研究構(gòu)建了一個(gè)醫(yī)療領(lǐng)域關(guān)系抽取人工標(biāo)注語(yǔ)料庫(kù)：將醫(yī)療領(lǐng)域文本分別進(jìn)行實(shí)體類別標(biāo)注和關(guān)系標(biāo)注；然后使用CBBS方法對(duì)語(yǔ)料庫(kù)進(jìn)行關(guān)系抽取。

CBBS方法模型結(jié)構(gòu)如圖1所示。首先第一層是輸入層，如圖1中輸入樣例“[CLS]白細(xì)胞增多為腎炎[SEP]”；將輸入樣本采用BERT模型進(jìn)行向量化操作；然后將向量輸入BiLSTM層進(jìn)行特征提取[9]，對(duì)應(yīng)識(shí)別出實(shí)體標(biāo)簽序列，ki(i=1～10)為長(zhǎng)短時(shí)記憶(long short-term memory,LSTM)單元，經(jīng)過(guò)雙層LSTM單元，得到對(duì)應(yīng)的向量特征Pi(i=1～10)；標(biāo)簽嵌入(Label Embeddings)層將標(biāo)簽計(jì)算為對(duì)應(yīng)的向量，與Pi進(jìn)行拼接，最終在分類層使用Sigmoid函數(shù)得到關(guān)系抽取結(jié)果。

CBBS方法模型結(jié)構(gòu)設(shè)計(jì)分為4個(gè)部分：實(shí)體關(guān)系類別；序列標(biāo)注；BERT模型進(jìn)行向量化操作和 BiLSTM模型提取特征部分。在實(shí)體關(guān)系類別部分對(duì)醫(yī)療領(lǐng)域中的檢驗(yàn)指標(biāo)、疾病、癥狀這3類實(shí)體間的關(guān)系進(jìn)行定義，但發(fā)現(xiàn)在醫(yī)療領(lǐng)域文本中常常會(huì)出現(xiàn)關(guān)系重疊問(wèn)題，對(duì)此采用序列標(biāo)注的方法，此外還標(biāo)注了實(shí)體類別特征，提升關(guān)系抽取效果。為了獲取到更加豐富的語(yǔ)境信息，本文采用 BERT模型進(jìn)行向量化操作，提高生成的字向量的準(zhǔn)確性，將生成的字向量輸入BiLSTM模型提取特征，最終實(shí)現(xiàn)分類，抽取出醫(yī)療領(lǐng)域?qū)嶓w間的關(guān)系。每一部分具體設(shè)計(jì)介紹如下。

1.1 實(shí)體關(guān)系類別

醫(yī)療領(lǐng)域中的關(guān)系抽取主要是抽取檢驗(yàn)指標(biāo)、疾病、癥狀這3類實(shí)體間的關(guān)系。在進(jìn)行關(guān)系抽取之前，首先需要對(duì)所需抽取的實(shí)體間的關(guān)系類別進(jìn)行定義。本文構(gòu)建出所研究的醫(yī)療領(lǐng)域?qū)嶓w間關(guān)系類別表，如表1所示，即檢驗(yàn)指標(biāo)、癥狀、疾病實(shí)體間的“包含、升高、降低、陽(yáng)性、表現(xiàn)、檢查、并發(fā)、進(jìn)展、可能”關(guān)系。

圖1 CBBS方法模型結(jié)構(gòu)

表1 關(guān)系類別表

1.2 序列標(biāo)注

在進(jìn)行醫(yī)療領(lǐng)域關(guān)系抽取研究中，首先要對(duì)醫(yī)療文本進(jìn)行預(yù)處理操作：對(duì)獲取到的文本進(jìn)行序列標(biāo)注。而采用不同的序列標(biāo)注方法，將會(huì)直接影響到抽取出的關(guān)系及關(guān)系抽取結(jié)果的準(zhǔn)確性。

在醫(yī)療領(lǐng)域文本中，常常會(huì)出現(xiàn)關(guān)系重疊問(wèn)題，即在單條語(yǔ)料中同一醫(yī)療實(shí)體往往存在于兩種及兩種以上的多種關(guān)系中。針對(duì)這一問(wèn)題，本文通過(guò)序列標(biāo)注，對(duì)文本中的每個(gè)字定義標(biāo)簽類別，有效解決了醫(yī)療領(lǐng)域文本中存在的關(guān)系重疊問(wèn)題，標(biāo)注樣例如表2所示。

表2 標(biāo)注樣例表

在進(jìn)行序列標(biāo)注的過(guò)程中，添加標(biāo)注了實(shí)體類別特征，如表2中第3列所示：“O”為非實(shí)體、“B”為醫(yī)療實(shí)體的開(kāi)始字符、“I”為非頭實(shí)體，“-”后代表了實(shí)體所屬的類別，其中“zb”代表實(shí)體類別為檢驗(yàn)指標(biāo)、“jb”代表實(shí)體類別為疾病、“zz”代表實(shí)體類別為癥狀。根據(jù)醫(yī)療實(shí)體所屬類別來(lái)輔助判斷醫(yī)療實(shí)體間的關(guān)系，提高醫(yī)療實(shí)體間關(guān)系的抽取效果。

表2中第4列標(biāo)注了醫(yī)療實(shí)體間存在的關(guān)系，所屬關(guān)系標(biāo)注在頭實(shí)體的最后一個(gè)字符的位置，如果存在某種關(guān)系，則標(biāo)注出尾實(shí)體的位置，如表2中第5列。采用這樣的標(biāo)注方法可以有效解決醫(yī)療領(lǐng)域文本中存在的關(guān)系重疊問(wèn)題，如示例文本中存在(心肌酶，升高，心肌炎)和(心肌炎，表現(xiàn)，心慌)兩個(gè)三元組，采用本文方法中的標(biāo)注方式，可以準(zhǔn)確地提取出這兩個(gè)三元組。

1.3 BERT模型

本方法采用BERT模型[10]進(jìn)行向量化操作。BERT模型采用了雙向Transformer[11]的編碼結(jié)構(gòu)，在進(jìn)行編碼時(shí)，可以根據(jù)前向和后向兩個(gè)方向的文本內(nèi)容，獲取到豐富的語(yǔ)義信息，能夠提高生成的字向量的準(zhǔn)確性，進(jìn)而提升醫(yī)療關(guān)系抽取的效果。

對(duì)本研究而言，BERT模型可以獲得較長(zhǎng)距離醫(yī)療文本間的依賴關(guān)系，得到更高質(zhì)量的向量化結(jié)果，為醫(yī)療關(guān)系抽取任務(wù)提供支撐。BERT模型字向量生成圖如圖2所示，將已標(biāo)注的醫(yī)療文本Xi(i=1～6)輸入BERT模型，經(jīng)過(guò)字嵌入、句子嵌入以及位置嵌入這3個(gè)嵌入(Embedding)操作，再將這3個(gè)Embedding對(duì)應(yīng)位置生成的結(jié)果組合起來(lái)，最終得到醫(yī)療文本的向量Ei(i=0～8)。

圖2 BERT模型字向量生成

1.4 BiLSTM-Sigmoid模型

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)內(nèi)部結(jié)構(gòu)如圖3所示。RNN使用當(dāng)前節(jié)點(diǎn)的輸入和前一節(jié)點(diǎn)的輸出進(jìn)行計(jì)算，得到隱藏層輸出，這一輸出將提供給下一個(gè)節(jié)點(diǎn)使用。RNN能夠?qū)χ皶r(shí)刻的語(yǔ)義信息進(jìn)行記憶，同時(shí)這部分記憶也會(huì)影響當(dāng)前時(shí)刻的輸出，因而循環(huán)神經(jīng)網(wǎng)絡(luò)在處理語(yǔ)義關(guān)系復(fù)雜的文本序列時(shí)，能夠達(dá)到較好的處理效果，得到富有語(yǔ)義信息的輸出結(jié)果；但從其輸入過(guò)程可以看出，RNN只能從前向后處理單項(xiàng)文本信息，無(wú)法融入下文信息。

圖3 RNN內(nèi)部結(jié)構(gòu)

BiLSTM[12]中輸入層的數(shù)據(jù)會(huì)經(jīng)過(guò)向前和向后兩個(gè)方向推算，最后輸出的隱含狀態(tài)再進(jìn)行拼接，再作為下一層的輸入。針對(duì)醫(yī)療文本表達(dá)內(nèi)容豐富多樣的特性，本文采用BiLSTM模型對(duì)醫(yī)療實(shí)體間的關(guān)系進(jìn)行抽取。

Sigmoid函數(shù)又被稱為L(zhǎng)ogistic函數(shù)，函數(shù)表達(dá)式如式(1)所示，其中x為BiLSTM與Label Embeddings拼接得到的向量值。Sigmoid通過(guò)把得分結(jié)果轉(zhuǎn)換為(0,1)范圍內(nèi)的概率值，進(jìn)一步實(shí)現(xiàn)分類。Sigmoid在處理分類問(wèn)題中有著計(jì)算量小、收斂速度快等優(yōu)點(diǎn)，因此本文采用Sigmoid作為分類層實(shí)現(xiàn)醫(yī)療領(lǐng)域?qū)嶓w間關(guān)系抽取。

(1)

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集的構(gòu)建

由于中文醫(yī)療領(lǐng)域關(guān)系抽取任務(wù)的數(shù)據(jù)集較少，且未有符合本方法的數(shù)據(jù)集，因此需要構(gòu)建一個(gè)適合本研究的醫(yī)療領(lǐng)域關(guān)系抽取數(shù)據(jù)集。

數(shù)據(jù)集的構(gòu)建方法如下：首先需要獲取醫(yī)療領(lǐng)域非結(jié)構(gòu)化數(shù)據(jù)，針對(duì)醫(yī)療領(lǐng)域?qū)?shù)據(jù)的準(zhǔn)確性要求較高的特點(diǎn)，本實(shí)驗(yàn)中的數(shù)據(jù)來(lái)源于可靠的醫(yī)療教材與較為權(quán)威的專業(yè)性醫(yī)療網(wǎng)站，如快速問(wèn)醫(yī)生和39健康網(wǎng)上醫(yī)生的解答等。獲取到的實(shí)驗(yàn)數(shù)據(jù)共有3 295條，每條數(shù)據(jù)長(zhǎng)度為20～60個(gè)字符。然后將實(shí)驗(yàn)數(shù)據(jù)按照本文1.2節(jié)中介紹的序列標(biāo)注方式進(jìn)行標(biāo)注。實(shí)驗(yàn)數(shù)據(jù)樣例如圖4所示。數(shù)據(jù)集關(guān)系類型數(shù)量表如表3所示。

圖4 實(shí)驗(yàn)數(shù)據(jù)樣例

表3 醫(yī)療關(guān)系抽取數(shù)據(jù)集關(guān)系類型數(shù)量表

2.2 評(píng)價(jià)指標(biāo)

本文采用精確率(P)、召回率(R)和F1值來(lái)評(píng)價(jià)本方法的有效性，驗(yàn)證CBBS方法在醫(yī)療領(lǐng)域數(shù)據(jù)集上的關(guān)系抽取效果。其中精確率、召回率和F1值的計(jì)算如式(2)、(3)、(4)所示。

(2)

(3)

(4)

式中：nTP為識(shí)別正確的關(guān)系總數(shù)；nFP為錯(cuò)誤關(guān)系識(shí)別為正確的關(guān)系總數(shù)；nFN為識(shí)別錯(cuò)誤的關(guān)系總數(shù)。

2.3 對(duì)比實(shí)驗(yàn)

醫(yī)療關(guān)系抽取實(shí)驗(yàn)使用本文構(gòu)建的醫(yī)療領(lǐng)域關(guān)系抽取數(shù)據(jù)集，實(shí)驗(yàn)在Ubuntu16.04操作系統(tǒng)上運(yùn)行，使用32 G Tesla V100顯卡，Python版本為3.6，深度學(xué)習(xí)PyTorch框架版本為1.10。

為了驗(yàn)證本文方法的有效性，將其與現(xiàn)有的醫(yī)療文本關(guān)系抽取方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表4所示。

表4 對(duì)比實(shí)驗(yàn)結(jié)果 %

實(shí)驗(yàn)1采用文獻(xiàn)[4]中的BiLSTM-GBDT方法，該方法由GBDT和BiLSTM組成。BiLSTM模型一直沿用至今，證明了其性能是比較好的。最終的實(shí)驗(yàn)結(jié)果F1值達(dá)到了74.27%。

實(shí)驗(yàn)2使用文獻(xiàn)[5]中的recurrent+transformer方法，transformer中使用的注意力機(jī)制區(qū)別于傳統(tǒng)深度學(xué)習(xí)方法，引入了Q、K和V向量矩陣，能夠挖掘深層次的語(yǔ)義信息；相較于實(shí)驗(yàn)1，精確率提升了1.18個(gè)百分點(diǎn)；但召回率略低于實(shí)驗(yàn)1，最終的F1值提升僅為0.33個(gè)百分點(diǎn)。

實(shí)驗(yàn)3為對(duì)比文獻(xiàn)[6]中的BERT(wwm)-CNN方法，該方法使用了自然語(yǔ)言處理領(lǐng)域“里程碑”式的BERT模型；在實(shí)驗(yàn)結(jié)果中精確率、召回率以及F1值都有提升，且提升效果明顯；相較于實(shí)驗(yàn)2，F(xiàn)1值提升了1.49個(gè)百分點(diǎn)。

實(shí)驗(yàn)4設(shè)計(jì)為文獻(xiàn)[7]中的方法，該方法融合關(guān)系發(fā)現(xiàn)詞和BiGRU-2ATT模型來(lái)進(jìn)行關(guān)系抽取，證明了關(guān)系發(fā)現(xiàn)詞在關(guān)系抽取中是有一定效果的，但是效果提升并不明顯；與實(shí)驗(yàn)3對(duì)比而言，召回率反而有一定的下降，最終的F1值僅提升了0.54個(gè)百分點(diǎn)。

實(shí)驗(yàn)5為本文提出的CBBS方法，本文方法首先融入了實(shí)體類別特征，然后采用BERT-BiLSTM-Sigmoid模型進(jìn)行醫(yī)療領(lǐng)域關(guān)系抽取。

從實(shí)驗(yàn)結(jié)果來(lái)看，無(wú)論是精確率、召回率還是F1值，本文方法在所有實(shí)驗(yàn)方法中均取得了最好的成績(jī)。

2.4 消融實(shí)驗(yàn)

在模型的結(jié)構(gòu)上，本文還設(shè)計(jì)了消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。

表5 消融實(shí)驗(yàn)結(jié)果 %

實(shí)驗(yàn)1采用較為基礎(chǔ)的BiLSTM模型進(jìn)行醫(yī)療關(guān)系抽取，BiLSTM模型常用于解決關(guān)系抽取問(wèn)題。

實(shí)驗(yàn)2在實(shí)驗(yàn)1的基礎(chǔ)上采用Word2Vec進(jìn)行向量化操作，再由BiLSTM模型抽取醫(yī)療實(shí)體間的關(guān)系。在BERT模型出現(xiàn)前Word2Vec是十分常用的向量化操作模型。通過(guò)對(duì)比實(shí)驗(yàn)1發(fā)現(xiàn)，實(shí)驗(yàn)結(jié)果略有提升，其中精確率和F1值提高較少，分別提高了0.65和0.33個(gè)百分點(diǎn)；召回率提升最多，較實(shí)驗(yàn)1提升了1.37個(gè)百分點(diǎn)。

實(shí)驗(yàn)3采用BERT-BiLSTM模型實(shí)現(xiàn)醫(yī)療領(lǐng)域的關(guān)系抽取，與實(shí)驗(yàn)2相比使用了不同的向量化模型。目前BERT模型被廣泛應(yīng)用于信息抽取等自然語(yǔ)言處理任務(wù)中，并取得了不錯(cuò)的效果，因此采用BERT模型進(jìn)行向量化操作。實(shí)驗(yàn)結(jié)果提升明顯，針對(duì)于實(shí)驗(yàn)2在各個(gè)評(píng)價(jià)指標(biāo)上提升均超過(guò)了3個(gè)百分點(diǎn)，證明了采用BERT模型進(jìn)行向量化操作，能夠更好地獲取文本中的語(yǔ)義信息，提高生成字向量的質(zhì)量，從而得到更好的效果。

實(shí)驗(yàn)4為本文方法。本文方法是在實(shí)驗(yàn)3模型的基礎(chǔ)上融合了醫(yī)療實(shí)體類別特征。實(shí)驗(yàn)結(jié)果對(duì)照實(shí)驗(yàn)3有所提升，其中召回率提升了2.75個(gè)百分點(diǎn)，F(xiàn)1值提升了2.11個(gè)百分點(diǎn)。驗(yàn)證了醫(yī)療實(shí)體類別特征對(duì)關(guān)系抽取任務(wù)有著積極的作用，證明了本文研究方法設(shè)計(jì)的合理性。

通過(guò)以上消融實(shí)驗(yàn)可以發(fā)現(xiàn)，本文方法在各項(xiàng)評(píng)價(jià)指標(biāo)上都得到了最好的成績(jī)，可見(jiàn)本文方法能夠有效解決醫(yī)療領(lǐng)域關(guān)系抽取問(wèn)題，提升醫(yī)療領(lǐng)域關(guān)系抽取的效果。

本文提出的CBBS方法，融合了實(shí)體類別特征，采用BERT-BiLSTM混合模型對(duì)醫(yī)療領(lǐng)域?qū)嶓w間的“包含、升高、降低、陽(yáng)性、表現(xiàn)、檢查、并發(fā)、進(jìn)展、可能”關(guān)系進(jìn)行抽取，CBBS方法抽取出的醫(yī)療領(lǐng)域?qū)嶓w間關(guān)系樣例展示如表6所示。通過(guò)融合實(shí)體類別特征來(lái)輔助關(guān)系抽取任務(wù)，提高了醫(yī)療領(lǐng)域關(guān)系抽取的效果，因此本研究提出的CBBS方法是可行的。

表6 本文方法關(guān)系抽取結(jié)果樣例展示

3 結(jié)束語(yǔ)

本文方法融合醫(yī)療領(lǐng)域?qū)嶓w類別特征，采用BERT-BiLSTM-Sigmoid模型實(shí)現(xiàn)了醫(yī)療領(lǐng)域在檢驗(yàn)指標(biāo)、癥狀和疾病實(shí)體間的關(guān)系抽取。通過(guò)對(duì)比實(shí)驗(yàn)，表明本文方法能夠有效解決醫(yī)療領(lǐng)域關(guān)系抽取問(wèn)題；同時(shí)也通過(guò)消融實(shí)驗(yàn)證明了本文研究方法設(shè)計(jì)的合理性。在后續(xù)的研究過(guò)程中，需要進(jìn)一步研究醫(yī)療領(lǐng)域關(guān)系抽取中的實(shí)體重疊問(wèn)題。