基于最短依存路徑和集成學(xué)習(xí)的化學(xué)物蛋白質(zhì)關(guān)系抽取

程 威,邵一帆,錢龍華,周國(guó)棟

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 自然語(yǔ)言處理實(shí)驗(yàn)室，江蘇 蘇州 215006)

0 引言

化學(xué)物蛋白質(zhì)關(guān)系抽取(chemical protein relation extraction,CPRE)是指從生物醫(yī)學(xué)文獻(xiàn)中自動(dòng)抽取出化學(xué)物和蛋白質(zhì)之間的相互作用關(guān)系，如上調(diào)、下調(diào)、激動(dòng)、拮抗和催化作用等。例如，在句子“Troglitazone,a second ACS4 inhibitor,inhibited ACS activity <10% in microsomes and mitochondria and 45% in MAM.”中的化學(xué)物“Troglitazone(曲格列酮)”抑制了蛋白質(zhì)“ACS4”和“ACS”的活性。了解化學(xué)物(藥物)和蛋白質(zhì)的相互作用關(guān)系對(duì)新藥研制、精準(zhǔn)醫(yī)學(xué)和基礎(chǔ)生物醫(yī)學(xué)研究具有重要意義。生物醫(yī)學(xué)研究人員研究了大量化學(xué)物和蛋白質(zhì)之間的關(guān)聯(lián)作用，并將研究成果發(fā)表在生物醫(yī)學(xué)文獻(xiàn)中，最后由編目員將它們補(bǔ)充到化學(xué)物蛋白質(zhì)相互作用數(shù)據(jù)庫(kù)中，如Proteindata數(shù)據(jù)庫(kù)和PDSP Ki數(shù)據(jù)庫(kù)等。從文獻(xiàn)中人工提取化學(xué)物蛋白質(zhì)關(guān)系需要編目員具備深厚的生物醫(yī)學(xué)領(lǐng)域背景知識(shí)，然而，隨著生物醫(yī)學(xué)文獻(xiàn)數(shù)量的急劇增長(zhǎng)，人工挖掘化學(xué)物蛋白質(zhì)關(guān)系不僅費(fèi)用高昂，而且非常耗時(shí)。因此，利用自然語(yǔ)言處理(natural language processing,NLP)中的關(guān)系抽取技術(shù)從生物醫(yī)學(xué)文獻(xiàn)中自動(dòng)抽取化學(xué)物蛋白質(zhì)關(guān)系的研究工作便吸引了越來(lái)越多研究者的關(guān)注。

為了促進(jìn)化學(xué)物蛋白質(zhì)關(guān)系自動(dòng)抽取技術(shù)的研究，BioCreative VI[1]任務(wù)提供了化學(xué)物和蛋白質(zhì)關(guān)系的標(biāo)注語(yǔ)料庫(kù)。該語(yǔ)料庫(kù)來(lái)源于PubMed摘要集合，標(biāo)注了五種化學(xué)物蛋白質(zhì)關(guān)系，包括激活(activator)、抑制(downregulator)、激動(dòng)劑(agonist)、拮抗劑(antagonist)和反應(yīng)底物/反應(yīng)產(chǎn)物關(guān)系(substrate)。

具體而言，激活關(guān)系是指化學(xué)物通過(guò)與蛋白質(zhì)的結(jié)合間接上調(diào)或激活蛋白質(zhì)的活性。抑制關(guān)系是指化學(xué)物通過(guò)與蛋白質(zhì)的結(jié)合來(lái)抑制蛋白質(zhì)活性。拮抗關(guān)系是指化學(xué)物可以降低另一種化學(xué)物對(duì)蛋白質(zhì)的激活作用。激動(dòng)作用是指化學(xué)物可以與蛋白質(zhì)受體相結(jié)合從而改變蛋白質(zhì)受體的狀態(tài)。反應(yīng)底物或反應(yīng)產(chǎn)物關(guān)系是指化學(xué)物作為酶促反應(yīng)的反應(yīng)底物或者反應(yīng)產(chǎn)物。

傳統(tǒng)的生物醫(yī)學(xué)實(shí)體關(guān)系抽取(如蛋白質(zhì)相互作用關(guān)系)往往采用基于特征的方法或基于核函數(shù)的方法[2]?；谔卣鞯姆椒▽Ｗ⒂跒殛P(guān)系實(shí)例設(shè)計(jì)有效的特征，包括詞匯、句法和語(yǔ)義信息等[3-4]?；诤撕瘮?shù)的方法通過(guò)核函數(shù)來(lái)計(jì)算關(guān)系實(shí)例的結(jié)構(gòu)相似性，因而可以更有效地捕獲它們的結(jié)構(gòu)信息[5]。

隨著神經(jīng)網(wǎng)絡(luò)(DNN)模型(如卷積神經(jīng)網(wǎng)絡(luò)[6]和遞歸神經(jīng)網(wǎng)絡(luò))和注意力機(jī)制在自然語(yǔ)言處理中的廣泛應(yīng)用，如機(jī)器翻譯[7]、問(wèn)答[8]和文檔分類[9]等，基于注意力的神經(jīng)網(wǎng)絡(luò)模型已被用于多個(gè)關(guān)系提取任務(wù)[10]。在CPRE任務(wù)上，相繼提出了基于CNN[11-13]、GRU[13]、LSTM[14-15]、Bi-LSTM[11，16]、Transformer[15]、TreeLSTM[17]等模型的關(guān)系抽取方法,這些研究的共性是，關(guān)系實(shí)例的表示方式或是基于完整句子，或是將依存信息集成到其他信息中，沒(méi)有單獨(dú)考慮最短依存路徑的作用。

本文考察了最短依存路徑在化學(xué)物蛋白質(zhì)相互作用關(guān)系抽取中的作用。在BioCreative VI CHEMPROT任務(wù)的CPRE實(shí)驗(yàn)表明，與完整句子序列相比，在LSTM模型上的F1指數(shù)可以提升5.2個(gè)百分點(diǎn)。特別是采用集成方法之后，最終F1指數(shù)提高到68.1，達(dá)到了該任務(wù)上的較好水平。

1 相關(guān)工作

在CPRE任務(wù)上，有些研究工作采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，Mehryary 等[14]采用基于詞、詞法和依存類型等特征的SVM方法進(jìn)行關(guān)系抽??；Warikoo等[5]采用基于卷積依存樹(shù)核的SVM方法來(lái)進(jìn)行關(guān)系抽??；Lung等[3]結(jié)合關(guān)鍵詞和依存關(guān)系類型特征，使用隨機(jī)森林、Logistic回歸、樸素貝葉斯等方法進(jìn)行關(guān)系抽?。籘ripodi等[4]在實(shí)體類型和依存類型等特征的基礎(chǔ)上，結(jié)合知識(shí)庫(kù)中的實(shí)體類別信息，使用樸素貝葉斯和隨機(jī)森林的方法進(jìn)行關(guān)系抽取。

在基于深度學(xué)習(xí)的關(guān)系抽取方面，Sergio[16]采用CNN模型；Liu等[13]對(duì)比了CNN和ATT-GRU模型；Sergio[16]采用了LSTM模型；Peng等[11]采用了基于句子和依存路徑的CNN和LSTM模型；Lim等[17]采用TreeLSTM 模型；Corbett等[15]使用基于遷移學(xué)習(xí)的LSTM模型，將詞向量的預(yù)訓(xùn)練任務(wù)遷移到CPRE任務(wù)上進(jìn)行關(guān)系抽取。

在深度學(xué)習(xí)模型的特征方面，Lim等[17]在詞的基礎(chǔ)上加入了位置特征，Liu等[13]加入了詞性特征。依存信息也作為特征廣泛應(yīng)用。Peng等[11]將依存關(guān)系類型作為句子序列的特征加入到CNN模型中；Sergio[16]將依存關(guān)系類型作為特征加入到CNN和LSTM模型中；Lung等[3]將最短依存路徑(SDP)上單詞和依存關(guān)系類型的特征作為SVM、隨機(jī)森林、Logistic回歸、樸素貝葉斯、LSTM等分類器的輸入。

與上述采用整個(gè)句子作為關(guān)系實(shí)例的表示方法不同，本文采用最短依存路徑(SDP)作為實(shí)例表示方法，結(jié)合詞語(yǔ)、詞性、位置和依存關(guān)系等特征，考察最短依存路徑對(duì)化學(xué)物蛋白質(zhì)關(guān)系抽取的作用。

2 最短依存路徑

依存句法[18]最早由法國(guó)語(yǔ)言學(xué)家Lucien Tensniere于1959年提出，旨在描述句子結(jié)構(gòu)，明確句子中單詞之間的相互依存關(guān)系。在句子的依存結(jié)構(gòu)(圖1)中，兩個(gè)單詞之間存在多條依存路徑。最短依存路徑SDP是指兩個(gè)單詞在依存句法結(jié)構(gòu)上的最短路徑。由于最短依存路徑簡(jiǎn)潔地表達(dá)了兩個(gè)實(shí)體之間的句法關(guān)系，保留了表達(dá)實(shí)體關(guān)系的主干模式，因此被廣泛地應(yīng)用于關(guān)系抽取中[2-3，10，13，15]。為了得到最短依存路徑，首先要從句子的依存結(jié)構(gòu)得到依存樹(shù)，然后，給定句子s中的單詞序列s={w1,w2,w3,….,wn-1,wn} 和兩個(gè)標(biāo)記出的化學(xué)物和蛋白質(zhì)實(shí)體e1和e2(e1和e2也在單詞序列中)，兩個(gè)實(shí)體間的最短依存路徑是指實(shí)體e1和e2所在單詞在依存樹(shù)上的路徑。

如圖1所示，表示了句子(PMID:12244038)的依存結(jié)構(gòu)中化學(xué)物實(shí)體(Gemfibrozil)和蛋白質(zhì)實(shí)體(nitric-oxide_synthase)之間存在著下調(diào)關(guān)系(downregulate)。兩個(gè)實(shí)體之間的最短依存路徑就是從“gemfibrozil”出發(fā)到達(dá)“nitric-oxide_synthase”的加粗帶箭頭方向線構(gòu)成，可表達(dá)為：

圖1 句子的依存結(jié)構(gòu)

“CHEM→nsubj→inhibits←dobj←induction←prep←of ←pobj←GENE”。

3 基于注意力機(jī)制的雙向LSTM模型

由于基于注意力機(jī)制的雙向LSTM模型(Att-BiLSTM)被廣泛地用于關(guān)系抽取，本文也把它作為CPRE的基本模型。其結(jié)構(gòu)如圖2所示，包括嵌入層、BiLSTM層、注意力機(jī)制層和輸出層。

圖2 基于注意力機(jī)制的雙向LSTM模型

模型的輸入SDP層是經(jīng)過(guò)依存關(guān)系解析得到的兩個(gè)實(shí)體e1和e2之間的最短依存路徑上的單詞序列。在嵌入層中，輸入路徑上單詞的各個(gè)特征分別轉(zhuǎn)換為各個(gè)向量，這些向量再拼接在一起構(gòu)成了BiLSTM層的輸入向量。然后，BiLSTM層對(duì)輸入序列進(jìn)行循環(huán)處理和轉(zhuǎn)換得到該層的輸出序列。之后，應(yīng)用注意力機(jī)制將它們與相關(guān)權(quán)重相乘后再合并為句子級(jí)向量。最后，在輸出層中使用Softmax函數(shù)將句子表示轉(zhuǎn)換為關(guān)系類型的預(yù)測(cè)概率。

3.1 嵌入層

嵌入層的輸入是兩個(gè)實(shí)體在句子中的最短依存路徑，特征包括依存路徑上單詞的詞性、依存關(guān)系以及該詞到兩個(gè)實(shí)體的相對(duì)位置等特征，這些特征通過(guò)字典查找獲得相應(yīng)的向量表示：詞向量、位置向量、詞性向量和依存向量。

3.2 BiLSTM層

BiLSTM層接受輸入序列S，并將其隱藏單元序列輸出到注意力層。LSTM模型由一組循環(huán)連接的單元組成，稱為存儲(chǔ)單元。每個(gè)單元根據(jù)前一個(gè)隱藏向量ht-1和當(dāng)前輸入向量xt計(jì)算得到當(dāng)前隱藏向量ht，其操作可以定義如式(1)～式(6)所示。

3.3 Attention層

在依存路徑中，不同的單詞對(duì)關(guān)系預(yù)測(cè)有不同貢獻(xiàn)。如圖1中，對(duì)于“DOW”的關(guān)系類型，單詞“inhibitor”的重要性就高于其他詞。因此，本文同樣引入了注意力機(jī)制[19]來(lái)衡量不同的單詞對(duì)關(guān)系分類的重要程度。序列中第i個(gè)單詞的重要性得分εi由式(7)給出：

其中，hi是BiLSTM層的第i個(gè)輸出向量，而ωi是在訓(xùn)練過(guò)程中要學(xué)習(xí)的權(quán)重向量，hi和ωi的維數(shù)均是dw。然后，可以通過(guò)Softmax函數(shù)獲得每個(gè)單詞的歸一化重要性權(quán)重αi，如式(8)所示。

最后依存路徑的表示r由所有輸出向量的加權(quán)和形成，即：

3.4 輸出層

在輸出層中，注意力層的表示r首先通過(guò)非線性操作轉(zhuǎn)換為向量h*，如式(10)所示。

然后使用Softmax分類器來(lái)預(yù)測(cè)句子S中實(shí)體對(duì)(e1,e2)在關(guān)系類型y上的概率分布，如式(11)所示。

其中，W2∈l×k為參數(shù)矩陣，b(s)∈r為偏置量。根據(jù)上述概率分布，得到實(shí)體對(duì)(e1,e2)的預(yù)測(cè)關(guān)系類型，如式(12)所示。

3.5 模型訓(xùn)練

模型的損失函數(shù)定義為交叉熵?fù)p失函數(shù)，即：

(13)

其中，p(yi|si,θ)代表預(yù)測(cè)關(guān)系類型的置信度，θ表示模型的所有參數(shù)，λ是正則化系數(shù)。

3.6 集成學(xué)習(xí)

在機(jī)器學(xué)習(xí)中，與單一模型相比，集成學(xué)習(xí)方法往往可以顯著提高學(xué)習(xí)性能。為了提高關(guān)系抽取模型的性能，本文嘗試了不同的模型集成方法，包括投票法和平均法。投票法是指在多個(gè)模型對(duì)樣本的預(yù)測(cè)結(jié)果中，選擇數(shù)量最多的關(guān)系類型作為最終結(jié)果。如果有多個(gè)并列關(guān)系類型，則隨機(jī)選擇一個(gè)作為最終結(jié)果。平均法是指對(duì)多個(gè)模型輸出的關(guān)系類型置信度計(jì)算平均值，取置信度平均值最高的關(guān)系類型作為最終結(jié)果。

4 實(shí)驗(yàn)

4.1 語(yǔ)料庫(kù)

本文實(shí)驗(yàn)語(yǔ)料采用BC-VI Task5上的CHEMPROT[1]語(yǔ)料，它包含訓(xùn)練集、開(kāi)發(fā)集和測(cè)試集等，分別由1020 612和800篇摘要構(gòu)成，其中的化學(xué)物和蛋白質(zhì)實(shí)體及其關(guān)系均由人工標(biāo)注。表1統(tǒng)計(jì)了該語(yǔ)料中訓(xùn)練集、驗(yàn)證集和測(cè)試集的化學(xué)物蛋白質(zhì)關(guān)系數(shù)量。從表中可以看出，超過(guò)一半的關(guān)系類型都是DOW，而AGO和ANT類型的數(shù)量最少。

表1 語(yǔ)料庫(kù)關(guān)系數(shù)量統(tǒng)計(jì)

4.2 預(yù)處理

文獻(xiàn)摘要首先經(jīng)過(guò)分句變成句子，接著句子中的實(shí)體被替換成符號(hào)，即所有的蛋白質(zhì)使用“GENE_i”表示，化學(xué)物用“CHEM_i”表示,其中i表示它在句子中的實(shí)體序號(hào)，這樣做的目的是為了防止一個(gè)實(shí)體中的多個(gè)單詞出現(xiàn)在句法樹(shù)中的不同成分中。然后，使用Bllip Parser[2]獲得句子的成分句法樹(shù)，再使用Stanford轉(zhuǎn)換器[18]將句法樹(shù)轉(zhuǎn)換為依存樹(shù)。最后，將所有出現(xiàn)在同一句子的任意兩個(gè)實(shí)體構(gòu)成一個(gè)潛在的關(guān)系實(shí)例，如果標(biāo)注了這兩個(gè)實(shí)體之間的關(guān)系類型，則該關(guān)系實(shí)例作為一個(gè)正例，如果沒(méi)有標(biāo)注實(shí)體間的關(guān)系類型，則該關(guān)系實(shí)例作為一個(gè)負(fù)例。

4.3 評(píng)估

實(shí)驗(yàn)中將CHEMPROT任務(wù)的訓(xùn)練集、開(kāi)發(fā)集合并為新的訓(xùn)練集，測(cè)試集保持不變。在訓(xùn)練過(guò)程中，訓(xùn)練集中的20%作為驗(yàn)證集，每次實(shí)驗(yàn)取5次運(yùn)行的平均值作為最終性能。

評(píng)估標(biāo)準(zhǔn)采用標(biāo)準(zhǔn)的P/R/F1指數(shù)(precision/recall/F1-score)，其定義如式(14)～式(16)所示。

其中，TP(true positive)表示預(yù)測(cè)正例中正確的數(shù)量，F(xiàn)P(false positive)表示預(yù)測(cè)正例中錯(cuò)誤的數(shù)量，而FN(false negative)表示預(yù)測(cè)負(fù)例中錯(cuò)誤的數(shù)量。

4.4 參數(shù)設(shè)置

神經(jīng)網(wǎng)絡(luò)模型的主要參數(shù)取驗(yàn)證集上效果較好的值，如表2所示。

表2 神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)置

4.5 實(shí)驗(yàn)結(jié)果及分析

4.5.1 不同特征對(duì)抽取性能的影響

表3比較了在基于最短依存路徑的Att-BiLSTM模型上不同特征對(duì)抽取性能的影響。特征如3.1節(jié)所示，其中，Word表示包含基本詞特征時(shí)的性能,各個(gè)特征按照累加的方式逐一添加到特征集中，每一列性能中的最高值用粗體表示。

表3 不同特征對(duì)抽取性能的影響

從表3中可以看出：

(1)Word詞特征已經(jīng)可以取得比較好的結(jié)果,說(shuō)明在最短依存路徑上的詞序列中，詞向量是關(guān)系抽取的重要特征。例如,句子“[CHEM],alipid-loweringdrug,inhibitstheinductionof[GENE]inhumanastrocytes.”的最短依存路徑上的詞序列為“[CHEM]inhibitsinductionof[GENE]”，簡(jiǎn)化了句子表達(dá)，且保留了“inhibits”這個(gè)關(guān)鍵詞，從而幫助系統(tǒng)識(shí)別出關(guān)系類型。

(2)Part-of-speech特征通過(guò)提升準(zhǔn)確率(～4.7%)來(lái)提升F1指數(shù),說(shuō)明詞性特征能夠排除部分假正例。而Position特征略微提升了F1指數(shù)(～0.3%),說(shuō)明Position特征的作用不大。

(3)Dependency特征對(duì)精確率和召回率都有相當(dāng)程度的提高，這說(shuō)明依存關(guān)系類型特征能夠幫助識(shí)別詞序列無(wú)法識(shí)別出來(lái)的句子。例如，在句子“antifolatesCHEM_2(CHEM_3,CHEM_4)andCHEM_5([CHEM])aremorespecificandpotent[GENE]inhibitors”(PMID:15353299)中，最短依存路徑的詞序列“[CHEM]CHEM_5CHEM_2antifolatesinhibitors[GENE]”不足以說(shuō)明化學(xué)物和蛋白質(zhì)之間的抑制關(guān)系，但根據(jù)依存關(guān)系，[CHEM]是CHEM_5的同位語(yǔ)，后者和CHEM_2是并列關(guān)系，CHEM_2又是antifolates的同位語(yǔ)，而antifolates能抑制[GENE]，進(jìn)而可以說(shuō)明[CHEM]是[GENE]的抑制劑。

4.5.2 不同實(shí)例表示方法對(duì)抽取性能的影響

表4比較了在Att-BiLSTM模型上不同實(shí)例表達(dá)形式(SENT/SDP)對(duì)抽取性能的影響，其中SENT表示采用整個(gè)句子序列作為關(guān)系實(shí)例的表示方法，而SDP表示基于最短依存路徑的關(guān)系實(shí)例表示方法。兩種實(shí)例表示方法都使用了句子或路徑上的Word、POS、Position、Dependency等特征(表4)。

表4 不同實(shí)例表達(dá)形式對(duì)抽取性能的影響

(1)使用基于最短依存路徑的關(guān)系實(shí)例表示方法比使用句子序列取得了超過(guò)5個(gè)點(diǎn)的性能提升，這說(shuō)明最短依存路徑是表達(dá)關(guān)系實(shí)例的有效方式；

(2)最短依存路徑對(duì)性能的提升不僅體現(xiàn)在準(zhǔn)確率上，也體現(xiàn)在召回率上。這說(shuō)明最短依存路徑序列在保留關(guān)系表達(dá)中的關(guān)鍵部分時(shí)，也消除了句子中對(duì)關(guān)系無(wú)關(guān)部分的影響。

4.5.3 不同關(guān)系類型的性能比較

表5列出了在所有特征的情況下各關(guān)系類型上的抽取性能，每一列性能中的最高值用粗體表示。

表5 不同關(guān)系類型抽取性能的比較

從表5中可以看出：

(1) ANT拮抗關(guān)系取得了最高的精確率，這是由于表達(dá)拮抗關(guān)系的模式比較獨(dú)特，岐義性小。如大量出現(xiàn)的模式“[CHEM] antagonists [GENE]”總是表達(dá)化學(xué)物和蛋白質(zhì)之間的拮抗關(guān)系。

(2) DOW抑制關(guān)系取得了最高的召回率和F1值。這是由于抑制關(guān)系的訓(xùn)練實(shí)例數(shù)量最多，一些具有岐義性的模式也都被預(yù)測(cè)為抑制關(guān)系。

4.5.4 不同模型集成方法和模型數(shù)量對(duì)性能的比較

圖3比較了不同集成方法(投票法和置信度平均法)和基模型數(shù)量對(duì)抽取性能的影響，其中橫坐標(biāo)表示集成的基模型數(shù)量，縱坐標(biāo)表示P/R/F1值。

圖3 不同集成方法和模型數(shù)量的抽取性能比較

從圖中可以看出：

(1) 置信度平均法的性能比投票法普遍要高，且主要是體現(xiàn)在準(zhǔn)確率的提高上。

(2) 無(wú)論哪一種集成方法，隨著基模型數(shù)量的增加，性能一開(kāi)始呈上升趨勢(shì)，但波動(dòng)較大，特別是對(duì)于投票法。但是當(dāng)模型數(shù)到達(dá)到10之后，性能趨于平坦，波動(dòng)也較小。

考慮上述因素，本文集成方法的最終性能取基模型數(shù)量為10時(shí)的平均法性能值,即P/R/F1值分別為71.8/65.2/68.1。

4.5.5 與其他系統(tǒng)的性能比較

表6列出了本文實(shí)驗(yàn)系統(tǒng)與當(dāng)前同類型系統(tǒng)的性能比較(表6)。

表6 與其他系統(tǒng)的性能比較

(1) 在LSTM模型上，本文取得了最好的性能，高于基于句子的LSTM模型[16]和Bi-LSTM模型[11]，這說(shuō)明最短依存路徑和注意力機(jī)制能夠有效提升CPRE抽取性能。

(2) 和其他單分類器相比，本文取得了僅次于Bj?rne[20]分類器的性能。本文采用實(shí)體間最短依存路徑上的詞、距離、詞性、依存關(guān)系類型等特征，而Bj?rne[20]在句子的詞、距離、詞性特征的基礎(chǔ)上加入實(shí)體間最短依存路徑、單詞到實(shí)體依存路徑和事件信息等特征。

(3) 在集成模型方面，Peng等[11]使用隨機(jī)森林的方法集成SVM，LSTM和CNN模型，Bj?rne等[20]集成了5個(gè)F1值最高的CNN模型，使用置信度平均值法，取模型的平均預(yù)測(cè)結(jié)果。本文分別采用投票法、置信度平均值法進(jìn)行實(shí)驗(yàn)，可以看出，集成模型的性能要優(yōu)于單分類器的性能，而且本文獲得了最高的召回率和僅次于Bj?rne的F1值。

5 結(jié)束語(yǔ)

本文提出了一種基于最短依存路徑和注意力機(jī)制的雙向LSTM模型來(lái)進(jìn)行化學(xué)物蛋白質(zhì)相互作用關(guān)系抽取，其特征包括詞性、位置和依存類型等。在此基礎(chǔ)上再采用集成方法來(lái)提高關(guān)系抽取的性能。在BioCreative VI CHEMPROT任務(wù)上的實(shí)驗(yàn)表明，在基于依存信息的單一模型上取得了僅次于最好的性能，說(shuō)明基于注意力的雙向LSTM模型能有效捕獲化學(xué)物和蛋白質(zhì)實(shí)體間最短依存路徑上的信息。另外，基于平均置信度的集成方法能進(jìn)一步提高關(guān)系抽取的性能，最終性能與目前該任務(wù)上的最佳系統(tǒng)的性能相當(dāng)。