基于異構(gòu)圖注意力網(wǎng)絡(luò)的藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取研究

關(guān)鍵詞： 異構(gòu)圖注意力網(wǎng)絡(luò)； 實(shí)體關(guān)系聯(lián)合抽??； 藥物不良反應(yīng)； 關(guān)系重疊； 知識發(fā)現(xiàn)

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０９．００６

〔中圖分類號〕Ｇ２０３ 〔文獻(xiàn)標(biāo)識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） ０９－００７１－１１

藥物不良反應(yīng)是指藥物在正常用法和用量下出現(xiàn)的與用藥目的無關(guān)的有害反應(yīng)， 是一項(xiàng)重要公共衛(wèi)生問題［１］ 。隨著醫(yī)藥行業(yè)的快速發(fā)展， 各類治療藥物不斷推陳出新， 大量藥物受限于上市前臨床實(shí)驗(yàn)的研究范圍［２－３］ ， 其藥物不良反應(yīng)往往在上市后的大范圍應(yīng)用過程中才被發(fā)現(xiàn)， 對患者及社會帶來了極大危害。隨著藥物上市， 自發(fā)呈報(bào)系統(tǒng)用于在臨床實(shí)驗(yàn)后檢測未報(bào)告的藥物不良反應(yīng)， 盡管近年來報(bào)告數(shù)量和質(zhì)量穩(wěn)步提升， 但仍然存在覆蓋面小、報(bào)告缺失、數(shù)據(jù)不完善以及時(shí)間滯后等問題， 大量的潛在藥物不良反應(yīng)信息被忽略和遺漏［４］ 。因此，針對生物醫(yī)學(xué)文獻(xiàn)［５］ 、在線健康社區(qū)［６－８］ 和電子病歷［９］ 等文本數(shù)據(jù)的深入分析是完善藥物信息和監(jiān)測上市藥物安全性的重要補(bǔ)充， 對于系統(tǒng)分析藥物警戒和潛在藥物重定位具有重要意義［１０］ 。

藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取是藥物信息提取和安全監(jiān)測的關(guān)鍵環(huán)節(jié)， 旨在發(fā)現(xiàn)非結(jié)構(gòu)化醫(yī)學(xué)文本中藥物不良反應(yīng)相關(guān)實(shí)體之間的潛在關(guān)系， 以生成＜實(shí)體，關(guān)系， 實(shí)體＞三元組的形式［１１－１２］ 。三元組是廣泛應(yīng)用于醫(yī)藥知識圖譜構(gòu)建［１３］ 、知識發(fā)現(xiàn)［１４］以及醫(yī)學(xué)問答［１５］ 等多個(gè)領(lǐng)域的知識表示方式， 早期的藥物不良反應(yīng)實(shí)體關(guān)系三元抽取研究主要基于流水線方法［１６］ 。流水線方法將藥物不良反應(yīng)實(shí)體關(guān)系三元組抽取任務(wù)分解為實(shí)體識別和關(guān)系抽取兩個(gè)獨(dú)立的子任務(wù)， 并將識別出的實(shí)體輸入到關(guān)系抽取任務(wù)中進(jìn)行分類。該方法簡單靈活， 但很容易產(chǎn)生誤差傳遞、實(shí)體冗余和交互缺失等問題［１７］ 。因此，一些學(xué)者提出了實(shí)體與關(guān)系聯(lián)合訓(xùn)練的方法［１８］ ， 并取得了顯著進(jìn)展。然而現(xiàn)有研究大多不能有效解決同一句子包含多個(gè)重疊關(guān)系三元組的情況， 且針對中文藥物不良反應(yīng)實(shí)體關(guān)系抽取任務(wù)缺乏醫(yī)療健康領(lǐng)域知識。

基于此， 本文提出了基于異構(gòu)圖注意力網(wǎng)絡(luò)的藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取模型（ＭＦ－ＢＥＲＴＨｅｔｅｒｏｇｅｎｅｏｕｓＧｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ， ＭＦ－ＨＧＡＴ），該模型利用微調(diào)ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅ?ｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）和嵌入矩陣令字符與關(guān)系建模為異構(gòu)圖節(jié)點(diǎn)， 并通過迭代融合異構(gòu)圖注意力網(wǎng)絡(luò)消息傳遞機(jī)制增強(qiáng)語義節(jié)點(diǎn)表示， 進(jìn)而在節(jié)點(diǎn)表示更新后進(jìn)行關(guān)系提取， 該方法不僅可以進(jìn)一步提升藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取效果， 挖掘潛在藥物不良反應(yīng)知識， 同時(shí)對完善現(xiàn)有藥物不良反應(yīng)監(jiān)測體系、推動醫(yī)藥健康領(lǐng)域知識組織和知識服務(wù)的發(fā)展具有重要意義。

１相關(guān)研究

１.１ 藥物不良反應(yīng)實(shí)體關(guān)系抽取

從醫(yī)學(xué)文本中提取藥物不良反應(yīng)實(shí)體關(guān)系是藥物警戒和藥物重定位的關(guān)鍵任務(wù)， 近年來受到了不同研究領(lǐng)域?qū)W者的極大關(guān)注。目前， 學(xué)界開展了一系列基于藥物不良反應(yīng)實(shí)體關(guān)系抽取的公開挑戰(zhàn)賽，包括２０１８ 年自然語言處理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓ?ｉｎｇ， ＮＬＰ）臨床挑戰(zhàn)賽（ｎ２ｃ２）［１９］ ， 藥物、適應(yīng)癥和藥物不良事件挑戰(zhàn)賽（ＭＡＤＥ １ ０）［２０］ 以及２０１７年文本分析會議（ＴＡＣ）［２１］ 。早期的藥物不良反應(yīng)實(shí)體關(guān)系三元組抽取大多采用流水線方法［１６］ ， 這類方法首先通過實(shí)體識別提取出臨床文本中藥物不良反應(yīng)相關(guān)實(shí)體， 然后利用分類方法對候選實(shí)體對進(jìn)行關(guān)系分類， 以挖掘潛在藥物不良反應(yīng)關(guān)系。Ｍａｒｔｉｎｅｚ Ｊ Ｌ 等［２２］ 構(gòu)建藥物不良反應(yīng)字典實(shí)現(xiàn)實(shí)體識別， 通過結(jié)合詞匯和語義特征的支持向量機(jī)（ＳｕｐｐｏｒｔＶｅｃｔｏｒ Ｍａｃｈｉｎｅ， ＳＶＭ）實(shí)現(xiàn)關(guān)系抽取。Ｇｕ Ｘ 等［２３］ 將雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ， ＢｉＬＳＴＭ）與基于字符嵌入和詞嵌入的條件隨機(jī)場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ， ＣＲＦ）結(jié)合識別藥物不良反應(yīng)實(shí)體， 利用基于對抗訓(xùn)練的分段卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＣＮＮ）進(jìn)行關(guān)系提取。Ｄａｎｄａｌａ Ｂ 等［２４］ 和Ｃｈｒｉｓｔｏｐｏｕｌｏｕ Ｆ等［２５］ 通過ＢｉＬＳＴＭ－ＣＲＦ 從臨床電子健康記錄中抽取藥物不良反應(yīng)相關(guān)實(shí)體， 并構(gòu)建基于注意力機(jī)制的ＢｉＬＳＴＭ 以提取藥物不良反應(yīng)和適應(yīng)癥關(guān)系。流水線方法簡單靈活， 分別優(yōu)化和改進(jìn)了實(shí)體識別和關(guān)系抽取兩個(gè)獨(dú)立的子任務(wù)。盡管如此， 該方法也存在明顯的局限性： 首先， 流水線方法會產(chǎn)生誤差傳遞問題， 實(shí)體識別任務(wù)的預(yù)測誤差會直接傳播到關(guān)系抽取任務(wù)中， 進(jìn)而影響部分關(guān)系抽取預(yù)測效果；其次， 產(chǎn)生實(shí)體冗余問題， 實(shí)體識別任務(wù)未經(jīng)關(guān)系信息約束便抽取出大量實(shí)體， 導(dǎo)致無關(guān)聯(lián)的實(shí)體對冗余， 增加了關(guān)系分類的錯(cuò)誤率； 最后， 流水線方法還存在交互缺失問題， 忽略了兩個(gè)子任務(wù)間的內(nèi)在聯(lián)系與相互依賴， 各子任務(wù)的有用信息難以被充分利用［１７］ 。為了實(shí)現(xiàn)全局信息理解， 緩解錯(cuò)誤信息的積累與傳播， 一些學(xué)者提出了聯(lián)合抽取的方法。Ｗｅｉ Ｑ 等［２６］ 將藥物不良反應(yīng)實(shí)體關(guān)系三元組抽取任務(wù)轉(zhuǎn)化為序列標(biāo)記任務(wù)， 構(gòu)建ＢｉＬＳＴＭ－ＣＲＦ 聯(lián)合抽取模型端到端地識別藥物不良反應(yīng)實(shí)體和關(guān)系。Ｃｈｅｎ Ｌ 等［２７］ 結(jié)合知識庫和混合深度學(xué)習(xí)， 從臨床文本中聯(lián)合提取藥物不良反應(yīng)實(shí)體關(guān)系。Ｅｌ－ＡｌｌａｌｙＥ Ｄ 等［２８］ 提出一種基于Ｔｒａｎｓｆｏｒｍｅｒ 的加權(quán)圖卷積神經(jīng)網(wǎng)絡(luò)（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ， ＧＣＮ）， 通過Ｎ 級序列標(biāo)記對不同層次的實(shí)體關(guān)系進(jìn)行建模，以抽取藥物不良反應(yīng)實(shí)體關(guān)系。

盡管已有研究較好地提升了藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取效果， 但大多研究在抽取實(shí)體前忽略了實(shí)體間可能存在的關(guān)系信息， 導(dǎo)致大多數(shù)提取的實(shí)體不能構(gòu)成有效的藥物不良反應(yīng)三元組。此外，目前深度學(xué)習(xí)方法通常將句子映射為單一表示， 無法解決藥物不良反應(yīng)三元組重疊問題。如何有效挖掘醫(yī)學(xué)文本實(shí)體關(guān)系深層語義信息， 是藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取任務(wù)亟待解決的問題。

１.２異構(gòu)圖神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的深度學(xué)習(xí)方法在提取歐氏空間數(shù)據(jù)特征方面取得巨大進(jìn)展， 但在處理非歐空間數(shù)據(jù)的表現(xiàn)尚不理想。為了分析復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù)， Ｇｏｒｉ Ｍ等［２９］ 提出了圖神經(jīng)網(wǎng)絡(luò)模型（Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＧＮＮ）， 該模型可從非歐空間的圖結(jié)構(gòu)數(shù)據(jù)中根據(jù)目標(biāo)節(jié)點(diǎn)的鄰域信息進(jìn)行特征提取與學(xué)習(xí)， 進(jìn)而充分表征目標(biāo)節(jié)點(diǎn)， 有助于刻畫實(shí)體間關(guān)系等抽象概念。在此基礎(chǔ)上， Ｋｉｐｆ Ｔ Ｎ 等［３０］ 將卷積運(yùn)算推廣到圖結(jié)構(gòu)數(shù)據(jù)中， 提出了圖卷積神經(jīng)網(wǎng)絡(luò)模型（ＧｒａｐｈＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ， ＧＣＮ）。隨著注意力機(jī)制受到廣泛關(guān)注， Ｖｅｌｉｃˇ ｋｏｖｉｃ＇ Ｐ 等［３１］ 將注意力機(jī)制應(yīng)用于包含一種節(jié)點(diǎn)和邊的同構(gòu)圖中， 構(gòu)建了圖注意力網(wǎng)絡(luò)模型（Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ， ＧＡＴ）， 該模型通過為不同的鄰居節(jié)點(diǎn)分配不同的權(quán)重， 強(qiáng)化了圖神經(jīng)網(wǎng)絡(luò)的表示能力， 具備更好的預(yù)測性能和泛化性， 但尚未應(yīng)用于包含多種類型節(jié)點(diǎn)或邊的異構(gòu)圖中。近年來受異構(gòu)信息啟發(fā)， Ｗａｎｇ Ｘ 等［３２］ 在異構(gòu)圖中引入注意力機(jī)制， 提出了異構(gòu)圖注意力網(wǎng)絡(luò)模型（Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ， ＨＧＡＴ）。該模型可以有效捕獲和建模異構(gòu)圖中各種類型節(jié)點(diǎn)和邊的深層語義信息， 在自然語言處理任務(wù)中應(yīng)用廣泛， 如文本分類［３３－３４］ 、實(shí)體識別［３５］ 和情感分析［３６］ 等。Ｌｉｎｍｅｉ Ｈ 等［３３］ 和Ｙａｎｇ Ｔ 等［３４］ 將ＨＧＡＴ應(yīng)用于短文本分類， 通過異構(gòu)信息網(wǎng)絡(luò)對短文本進(jìn)行建模， 并利用多粒度的雙級注意機(jī)制捕獲關(guān)鍵信息， 解決了短文本的語義稀疏性問題。Ｚｈｏｕ Ｌ 等［３５］引入單詞詞性（Ｐａｒｔ－ｏｆ－Ｓｐｅｅｃｈ， ＰＯＳ） 信息構(gòu)造ＨＧＡＴ， 通過注意力機(jī)制聚合來自不同類型鄰居節(jié)點(diǎn)的信息， 解決了嵌套命名實(shí)體識別問題。Ｌｕ Ｇ等［３６］ 利用ＨＧＡＴ 進(jìn)行方面級情感分析， 通過交互式注意力網(wǎng)絡(luò)對句子序列表示進(jìn)行編碼， 更好地捕獲異構(gòu)上下文情感信息。鑒于ＨＧＡＴ 在通用領(lǐng)域的優(yōu)異表現(xiàn)， 一些學(xué)者將ＨＧＡＴ 引入生物醫(yī)藥領(lǐng)域處理藥物關(guān)系等復(fù)雜異構(gòu)數(shù)據(jù)。Ｊｉｎｇ Ｘ 等［３７］ 引入疾病信息構(gòu)建藥物—疾病異構(gòu)圖， 利用ＨＧＡＴ預(yù)測藥物與疾病節(jié)點(diǎn)的關(guān)系。Ｌｏｎｇ Ｙ 等［３８］ 在充分整合藥物數(shù)據(jù)源的基礎(chǔ)上構(gòu)建藥物—病毒異構(gòu)圖，通過注意力增強(qiáng)的ＨＧＡＴ 預(yù)測潛在的藥物病毒。Ｔａｎｖｉｒ Ｆ 等［３９］ 構(gòu)建了包含藥物、化合物和不良反應(yīng)等生物醫(yī)學(xué)實(shí)體的異構(gòu)信息網(wǎng)絡(luò)， 使用端到端的ＨＧＡＴ 在藥物相互作用預(yù)測上取得優(yōu)異結(jié)果。然而目前研究大多僅關(guān)注粗粒度的實(shí)體識別和關(guān)系抽取獨(dú)立任務(wù)， 尚且缺乏利用異構(gòu)圖注意力網(wǎng)絡(luò)來進(jìn)行藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取任務(wù)的研究。

通過現(xiàn)有研究分析可知， 實(shí)體關(guān)系重疊是影響三元組抽取效果的重要因素， 引入異構(gòu)圖注意力網(wǎng)絡(luò)模型可有效增強(qiáng)實(shí)體及關(guān)系語義表示， 解決藥物不良反應(yīng)實(shí)體關(guān)系重疊問題。在已有研究基礎(chǔ)上，本文基于異構(gòu)圖注意力網(wǎng)絡(luò)構(gòu)建了ＭＦ－ＨＧＡＴ 模型，該模型將關(guān)系信息作為先驗(yàn)知識引入為異構(gòu)圖節(jié)點(diǎn)，通過迭代融合異構(gòu)圖注意力網(wǎng)絡(luò)消息傳遞機(jī)制獲得更適合關(guān)系提取任務(wù)的節(jié)點(diǎn)表示， 從而有效提升藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取效果。

２基于異構(gòu)圖注意力網(wǎng)絡(luò)的實(shí)體關(guān)系聯(lián)合抽取模型

２.１模型構(gòu)建

為了解決藥物不良反應(yīng)實(shí)體關(guān)系重疊問題， 基于關(guān)系先驗(yàn)知識和圖注意力網(wǎng)絡(luò)語義表征優(yōu)勢， 本文構(gòu)建了基于異構(gòu)圖注意力網(wǎng)絡(luò)的實(shí)體關(guān)系聯(lián)合抽取模型。該模型結(jié)構(gòu)如圖１ 所示， 主要分為嵌入層、異構(gòu)圖層和關(guān)系提取層。首先在電子病歷、在線健康社區(qū)和醫(yī)學(xué)文獻(xiàn)語料上對ＢＥＲＴ 進(jìn)行預(yù)訓(xùn)練， 遷移學(xué)習(xí)醫(yī)療健康領(lǐng)域知識； 其次在嵌入層通過微調(diào)ＢＥＲＴ 令不良反應(yīng)報(bào)告文本中的字符編碼為向量， 利用關(guān)系嵌入矩陣將關(guān)系嵌入為向量以構(gòu)建圖模型的輸入； 然后在異構(gòu)圖層通過迭代融合異構(gòu)圖注意力網(wǎng)絡(luò)消息傳遞機(jī)制將字符和關(guān)系節(jié)點(diǎn)進(jìn)行語義融合， 通過字符節(jié)點(diǎn)聚合所有關(guān)系節(jié)點(diǎn)信息，并利用更新后的字符節(jié)點(diǎn)表示更新關(guān)系節(jié)點(diǎn)； 最后將更新后的字符和關(guān)系節(jié)點(diǎn)表示輸入關(guān)系提取層，進(jìn)行藥物不良反應(yīng)關(guān)系提取。

２.２嵌入層

２.２.１ ＢＥＲＴ 字符節(jié)點(diǎn)向量表示

ＢＥＲＴ 是由谷歌發(fā)布的一種基于Ｔｒａｎｓｆｏｒｍｅｒ 架構(gòu)的雙向動態(tài)預(yù)訓(xùn)練語言模型［４０］ 。相較于Ｇｌｏｖｅ、Ｗｏｒｄ２ｖｅｃ 等靜態(tài)嵌入方法， ＢＥＲＴ 通過預(yù)訓(xùn)練獲得的向量表示可充分挖掘不同語境下的動態(tài)語義信息，利用微調(diào)可有效增強(qiáng)模型的領(lǐng)域適應(yīng)性和靈活性，降低藥物不良反應(yīng)相關(guān)實(shí)體一詞多義帶來的歧義影響。鑒于ＢＥＲＴ 強(qiáng)大的知識遷移和語義表征優(yōu)勢，本文使用中文ＢＥＲＴ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 在嵌入層令藥物不良反應(yīng)文本字符編碼為向量， 并在大規(guī)模醫(yī)學(xué)外部語料上進(jìn)行預(yù)訓(xùn)練和微調(diào)， 獲得適合藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取的ＭＦＢＥＲＴ 預(yù)訓(xùn)練模型。對于給定訓(xùn)練集中的句子， 本實(shí)驗(yàn)通過ＭＦＢＥＲＴ 對上下文信息進(jìn)行編碼， 將ＭＦＢＥＲＴ 的最后一個(gè)隱藏層中的所有ｔｏｋｅｎ 嵌入設(shè)為字符節(jié)點(diǎn)， 如式（１） 所示：

３實(shí)驗(yàn)流程與結(jié)果分析

３.１實(shí)驗(yàn)流程

藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取實(shí)驗(yàn)的具體流程如圖２所示。

首先從海量的藥物不良反應(yīng)報(bào)告中篩選不良反應(yīng)描述信息； 其次在數(shù)據(jù)預(yù)處理基礎(chǔ)上進(jìn)行實(shí)體標(biāo)注和關(guān)系標(biāo)注以生成藥物不良反應(yīng)實(shí)體關(guān)系抽取數(shù)據(jù)集； 然后將數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗(yàn)證集， 并采用多種深度學(xué)習(xí)模型和基于不同醫(yī)學(xué)知識遷移ＢＥＲＴ 的異構(gòu)圖注意力網(wǎng)絡(luò)模型開展系列實(shí)驗(yàn)； 最后利用精確率（Ｐｒｅｃｉｓｉｏｎ）、召回率（Ｒｅｃａｌｌ）和Ｆ１ 值（Ｆ１－Ｍｅａｓｕｒｅ）作為評估指標(biāo)， 對各組實(shí)驗(yàn)實(shí)體關(guān)系聯(lián)合抽取效果進(jìn)行對比和評價(jià)， 驗(yàn)證異構(gòu)圖注意力模型的有效性。

３.２實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)數(shù)據(jù)來源于江蘇省藥品不良反應(yīng)監(jiān)測中心２０１０—２０１７ 年不良反應(yīng)報(bào)告， 經(jīng)人工篩選標(biāo)注１０ ０００條不良反應(yīng)文本。參照藥物不良反應(yīng)事件ｎ２ｃ２ ２０１８ 數(shù)據(jù)集［１９］ 構(gòu)建標(biāo)準(zhǔn)， 共標(biāo)注藥品、適應(yīng)癥、不良反應(yīng)、時(shí)間和劑量５ 類實(shí)體， 藥品—適應(yīng)癥， 藥品—不良反應(yīng)， 藥品—時(shí)間和藥品—劑量４類關(guān)系。為了確保數(shù)據(jù)集的標(biāo)注質(zhì)量， 使用Ｄｏｃｃａ?ｎｏ 工具進(jìn)行三輪人工標(biāo)注， 具體示例如圖３ 所示。

標(biāo)注得到的Ｋａｐｐａ［４１］ 值為０.８１， 標(biāo)注一致性良好。本實(shí)驗(yàn)藥物不良反應(yīng)數(shù)據(jù)集實(shí)體關(guān)系類型分布如表１ 所示。

３.３實(shí)驗(yàn)環(huán)境配置

本文實(shí)驗(yàn)環(huán)境是ＣＰＵ 型號為Ｉｎｔｅｌ ｉ５， ＧＰＵ 型號為Ｎｖｉｄｉａ ＧＴＸ ２０８０ Ｔｉ， 內(nèi)存３２ＧＢ， 顯存１１ＧＢ，操作系統(tǒng)為Ｗｉｎｄｏｗｓ １０ 的服務(wù)器。實(shí)驗(yàn)?zāi)Ｐ筒捎茫校簦瑁铮睿?６.５ 和Ｐｙｔｏｒｃｈ 深度學(xué)習(xí)框架的１.１４ 版本，表２ 給出了實(shí)驗(yàn)?zāi)Ｐ偷母鞒瑓?shù)值， 該模型在訓(xùn)練集和測試集上均取得了良好的實(shí)驗(yàn)效果。

３.４實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證異構(gòu)圖注意力網(wǎng)絡(luò)和外部醫(yī)療健康領(lǐng)域知識遷移在藥物不良反應(yīng)數(shù)據(jù)集上的三元組聯(lián)合抽取效果， 共設(shè)計(jì)３ 組實(shí)驗(yàn)， 每組實(shí)驗(yàn)均采用十折交叉驗(yàn)證來評估模型效果， 按８∶１ ∶１將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集。具體實(shí)驗(yàn)設(shè)計(jì)如下：

實(shí)驗(yàn)一： 探究基準(zhǔn)模型在藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取任務(wù)上的效果， 驗(yàn)證異構(gòu)圖注意力網(wǎng)絡(luò)模型有效性。將微調(diào)的ＦＴＢＥＲＴ－ＨＧＡＴ 模型與主流聯(lián)合抽取模型ＯｎｅＲｅｌ［４２］ 、ＣａｓＲｅｌ［４３］ 、ＴＰｌｉｎｋｅｒ［４４］ 和ＧＰＬｉｎｋｅｒ［４５］ 進(jìn)行對比， 驗(yàn)證異構(gòu)圖注意力網(wǎng)絡(luò)模型效果。

實(shí)驗(yàn)二： 探究外部醫(yī)療健康領(lǐng)域知識遷移對藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取的影響。在實(shí)驗(yàn)一微調(diào)ＦＴＢＥＲＴ－ＨＧＡＴ 模型基礎(chǔ)上， 通過ＢＥＲＴ 在不同醫(yī)學(xué)外部語料上預(yù)訓(xùn)練以遷移不同醫(yī)療健康領(lǐng)域知識， 分析不同外部醫(yī)療健康知識對實(shí)驗(yàn)的影響。

實(shí)驗(yàn)三： 驗(yàn)證ＭＦ－ＨＧＡＴ 模型在ＣＨＩＰ－２０２０ 中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取數(shù)據(jù)集上的最優(yōu)（Ｓｔａｔｅｏｆ－ｔｈｅ－Ａｒｔ， ＳＯＴＡ）效果。比較ＭＦ－ＨＧＡＴ 和主流實(shí)體關(guān)系聯(lián)合抽取模型在ＣＨＩＰ－２０２０ 數(shù)據(jù)集上醫(yī)學(xué)三元組抽取效果， 驗(yàn)證ＭＦ－ＨＧＡＴ 模型有效性。

３.６實(shí)驗(yàn)結(jié)果及分析

３.６.１實(shí)驗(yàn)一： 異構(gòu)圖注意力網(wǎng)絡(luò)模型有效性分析

為探究基準(zhǔn)模型在藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取任務(wù)上的效果， 驗(yàn)證異構(gòu)圖注意力網(wǎng)絡(luò)模型有效性。分別對ＯｎｅＲｅｌ［４２］ 、ＣａｓＲｅｌ［４３］ 、ＴＰｌｉｎｋｅｒ［４４］ 、ＧＰＬｉｎｋｅｒ［４５］ ４ 種基準(zhǔn)模型進(jìn)行對比實(shí)驗(yàn)， 并比較ＢＥＲＴ 和微調(diào)ＢＥＲＴ（ＦＴＢＥＲＴ）對藥物不良反應(yīng)實(shí)體關(guān)系三元組抽取效果的影響， 結(jié)果如表３所示。

從表３ 可以發(fā)現(xiàn)， 在準(zhǔn)確率、召回率和Ｆ１ 值方面， 基于ＢＥＲＴ 的異構(gòu)圖注意力網(wǎng)絡(luò)模型ＢＥＲＴＨＧＡＴ的準(zhǔn)確率、召回率和Ｆ１ 值分別為９１.７６％、８７.６２％和８９.６４％， 較其他基線模型ＯｎｅＲｅｌ［４２］ 、ＣａｓＲｅｌ［４３］ 、ＴＰｌｉｎｋｅｒ［４４］ 、ＧＰＬｉｎｋｅｒ［４５］ 均有明顯提升，表明基于異構(gòu)圖注意力網(wǎng)絡(luò)的ＢＥＲＴ－ＨＧＡＴ 更適用于藥物不良反應(yīng)實(shí)體關(guān)系三元組抽取任務(wù)。進(jìn)一步分析發(fā)現(xiàn)， 主要原因在于已有基線模型較少關(guān)注實(shí)體和關(guān)系之間固有的語義聯(lián)系與融合， 而ＢＥＲＴＨＧＡＴ模型引入關(guān)系信息作為先驗(yàn)知識， 通過迭代融合異構(gòu)圖注意力網(wǎng)絡(luò)的消息傳遞機(jī)制令字符節(jié)點(diǎn)聚合所有關(guān)系信息， 并利用更新后的字符節(jié)點(diǎn)表示進(jìn)一步更新關(guān)系節(jié)點(diǎn)， 使得節(jié)點(diǎn)的表示通過迭代增強(qiáng)更適用于藥物不良反應(yīng)實(shí)體關(guān)系抽取任務(wù)。此外，鑒于此時(shí)ＢＥＲＴ 尚未針對本文任務(wù)進(jìn)行微調(diào)， 字符向量尚未充分適應(yīng)藥物不良反應(yīng)實(shí)體關(guān)系抽取任務(wù)的特定要求， 本文利用部分?jǐn)?shù)據(jù)集對預(yù)訓(xùn)練的字符向量進(jìn)行微調(diào)以進(jìn)一步提升實(shí)驗(yàn)效果。微調(diào)得到的ＦＴＢＥＲＴ－ＨＧＡＴ 模型Ｆ１ 值達(dá)到９０.３２％， 較初始ＢＥＲＴ 提升了０.６４％， 表明針對藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取任務(wù)微調(diào)后的ＢＥＲＴ 較好地發(fā)揮語義表征優(yōu)勢， 進(jìn)一步提升藥物不良反應(yīng)三元組抽取效果。

３.６.２ 實(shí)驗(yàn)二： 不同外部醫(yī)療健康領(lǐng)域知識遷移對比實(shí)驗(yàn)及分析

為探究不同外部醫(yī)學(xué)知識遷移對藥物不良反應(yīng)實(shí)體關(guān)系三元組抽取的影響， 根據(jù)表３ 可知， 微調(diào)的ＦＴＢＥＲＴ-ＨＧＡＴ效果最優(yōu)， 然而該模型中的字符節(jié)點(diǎn)表示模型ＦＴＢＥＲＴ 僅在通用領(lǐng)域維基百科語料上訓(xùn)練， 缺乏醫(yī)療健康領(lǐng)域知識， 在中文醫(yī)藥健康領(lǐng)域?qū)嶓w關(guān)系抽取任務(wù)中表現(xiàn)欠佳?；诖?， 本文選取同等規(guī)模的電子病歷、在線健康社區(qū)和醫(yī)學(xué)文獻(xiàn)語料對ＢＥＲＴ進(jìn)行預(yù)訓(xùn)練并微調(diào)， 以實(shí)現(xiàn)外部醫(yī)療健康領(lǐng)域知識遷移。其中， ＥＭＲ 語料來自江蘇省某醫(yī)院的電子病歷（Ｅｌｅｃｔｒｏｎｉｃ Ｍｅｄｉｃａｌ Ｒｅｃｏｒｄｓ）數(shù)據(jù)， 其內(nèi)容結(jié)構(gòu)化且質(zhì)量較高； ＯＨＣ 語料來自在線健康社區(qū)（Ｏｎｌｉｎｅ Ｈｅａｌｔｈ Ｃｏｍｍｕｎｉｔｙ），“好問康”網(wǎng)站醫(yī)患問答記錄與“三九健康藥物網(wǎng)” 藥物評論， 其口語化表述與噪聲較多， 但醫(yī)生答復(fù)包含豐富的專業(yè)知識且語義關(guān)聯(lián)性較強(qiáng)； ＭＬ語料來自藥物疾病醫(yī)學(xué)文獻(xiàn)（Ｍｅｄｉｃａｌ Ｌｉｔｅｒａｔｕｒｅ）［４６］，其包含大量專業(yè)術(shù)語且表述方式較為嚴(yán)謹(jǐn)； ３份語料經(jīng)過刪除用戶隱私信息和數(shù)據(jù)清洗后， 最終保留１０萬條語句； ＭＦ 語料來自以上３種源領(lǐng)域并微調(diào)。實(shí)驗(yàn)結(jié)果如表４ 所示。

由表４ 可知， 在電子病歷、在線健康社區(qū)和醫(yī)學(xué)文獻(xiàn)語料上預(yù)訓(xùn)練并微調(diào)后的ＥＭＲ－ＦＴＢＥＲＴ、ＯＨＣ－ＦＴＢＥＲＴ 和ＭＬ－ＦＴＢＥＲＴ 對實(shí)驗(yàn)效果均有提升， Ｆ１ 值分別達(dá)到９０.８２％、９０.９４％和９１.４６％， 較表３ 中ＦＴＢＥＲＴ－ＨＧＡＴ 分別提升了０.５％、０.６２％和１.１４％， 表明通過ＢＥＲＴ 進(jìn)行外部醫(yī)學(xué)領(lǐng)域知識遷移可有效提升藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取的效果。進(jìn)一步分析發(fā)現(xiàn)， 在醫(yī)學(xué)文獻(xiàn)語料上， 預(yù)訓(xùn)練的ＭＬ－ＦＴＢＥＲＴ對實(shí)驗(yàn)效果提升明顯， 而電子病歷和在線健康社區(qū)語料預(yù)訓(xùn)練的提升幅度較小， 主要原因在于醫(yī)學(xué)文獻(xiàn)相較于其他領(lǐng)域語料包含更豐富的醫(yī)療健康領(lǐng)域知識。此外，在３ 種醫(yī)學(xué)語料基礎(chǔ)上， 預(yù)訓(xùn)練和微調(diào)的ＭＦ－ＨＧＡＴ模型實(shí)驗(yàn)效果最優(yōu)，Ｆ１值較表３中最優(yōu)模型ＦＴＢＥＲＴ－ＨＧＡＴ提升了２.４３％， 達(dá)到９２.７５％， 表明融合多領(lǐng)域醫(yī)療健康知識可進(jìn)一步提升實(shí)驗(yàn)效果。

３.６.３ 實(shí)驗(yàn)三： ＳＯＴＡ效果驗(yàn)證

實(shí)驗(yàn)一與實(shí)驗(yàn)二給出了本文構(gòu)建的ＭＦ－ＨＧＡＴ在自構(gòu)建藥物不良反應(yīng)數(shù)據(jù)集上的實(shí)驗(yàn)效果， 為了驗(yàn)證ＭＦ－ＨＧＡＴ模型泛化能力與ＳＯＴＡ 效果， 本文將ＭＦ－ＨＧＡＴ 模型與ＣＨＩＰ－２０２０中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取數(shù)據(jù)集［４７］ 的現(xiàn)有方法進(jìn)行比較分析，結(jié)果如表５所示。

從表５可以看出， 本文提出的ＭＦ－ＨＧＡＴ 在ＣＨＩＰ－２０２０中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取數(shù)據(jù)集上的聯(lián)合抽取效果最優(yōu)， 在Ｐ、Ｒ 和Ｆ１ 值上均優(yōu)于主流聯(lián)合抽取模型。進(jìn)一步分析發(fā)現(xiàn)， 主要原因在于ＭＦ－ＨＧＡＴ 模型融合多領(lǐng)域外部醫(yī)學(xué)語義特征，引入關(guān)系先驗(yàn)知識， 并通過迭代融合異構(gòu)圖注意力網(wǎng)絡(luò)消息傳遞機(jī)制增強(qiáng)節(jié)點(diǎn)表示， 實(shí)現(xiàn)了藥物不良反應(yīng)關(guān)系信息和醫(yī)療健康領(lǐng)域知識的多語義特征融合， 在ＣＨＩＰ－２０２０醫(yī)學(xué)文本實(shí)體關(guān)系抽取數(shù)據(jù)集上達(dá)到ＳＯＴＡ效果。

３.７實(shí)例分析

為了更清晰地呈現(xiàn)ＭＦ－ＨＧＡＴ模型在藥物不良反應(yīng)重疊三元組抽取上的效果， 本文選?。停疲龋牵粒院停茫幔螅遥澹炷Ｐ蜏y試集上的部分預(yù)測結(jié)果， 具體實(shí)例如表６所示。其中， 第一例是包含一個(gè)三元組的簡單例子， ＭＦ－ＨＧＡＴ 和ＣａｓＲｅｌ模型均可進(jìn)行準(zhǔn)確抽??； 第二例和第三例是包含多個(gè)重疊三元組的復(fù)雜實(shí)例， ＣａｓＲｅｌ模型未能提取出以藥物不良反應(yīng)和時(shí)間為尾實(shí)體的三元組， 而ＭＦ－ＨＧＡＴ模型能夠提取出所有的三元組， 表明融合外部醫(yī)療健康知識和關(guān)系語義信息可有效解決藥物不良反應(yīng)重疊三元組抽取問題， 從而進(jìn)一步提升藥物不良反應(yīng)實(shí)體關(guān)系抽取準(zhǔn)確性， 驗(yàn)證了異構(gòu)圖注意力網(wǎng)絡(luò)在藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取任務(wù)中的有效性。

４結(jié)語

藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取是藥物不良反應(yīng)監(jiān)測和醫(yī)療領(lǐng)域知識組織的關(guān)鍵環(huán)節(jié)。為解決傳統(tǒng)流水線抽取中誤差傳遞、實(shí)體冗余和交互缺失問題， 提升重疊三元組抽取效果， 提出了一種基于異構(gòu)圖注意力網(wǎng)絡(luò)的藥物不良反應(yīng)實(shí)體關(guān)系聯(lián)合抽取模型ＭＦ－ＨＧＡＴ。該模型利用ＢＥＲＴ 預(yù)訓(xùn)練進(jìn)行外部醫(yī)學(xué)語料資源知識遷移， 并通過迭代融合異構(gòu)圖注意力網(wǎng)絡(luò)消息傳遞機(jī)制令字符及關(guān)系節(jié)點(diǎn)進(jìn)行語義融合， 生成更適合關(guān)系提取任務(wù)的節(jié)點(diǎn)表示。在自構(gòu)建藥物不良反應(yīng)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明， 與基準(zhǔn)方法相比， ＭＦ－ＨＧＡＴ模型可以解決藥物不良反應(yīng)三元組抽取中關(guān)系重疊問題， 挖掘潛在藥物不良反應(yīng)知識， 進(jìn)一步推動醫(yī)藥健康領(lǐng)域知識組織和知識服務(wù)研究進(jìn)展。

然而， 本研究也存在一定的局限性。首先， 實(shí)驗(yàn)僅探究了部分藥物不良反應(yīng)實(shí)體關(guān)系抽取， 未拓展研究細(xì)粒度藥物不良反應(yīng)事件抽?。?其次， 本研究模型僅引入關(guān)系信息作為先驗(yàn)知識， 尚未考慮融入其他先驗(yàn)知識進(jìn)一步提升實(shí)體關(guān)系抽取的效果。因此， 后續(xù)研究將著眼于構(gòu)建細(xì)粒度高質(zhì)量藥物不良反應(yīng)實(shí)體關(guān)系數(shù)據(jù)集， 并繼續(xù)探索更優(yōu)的圖神經(jīng)網(wǎng)絡(luò)模型，嘗試引入實(shí)體主體信息等其他先驗(yàn)知識，進(jìn)一步增強(qiáng)藥物不良反應(yīng)知識的表示能力， 進(jìn)而提升實(shí)驗(yàn)效果。