• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于詞義增強的生物醫(yī)學(xué)命名實體識別方法

    2023-10-17 05:50:22陳夢萱陳艷平扈應(yīng)黃瑞章秦永彬
    計算機工程 2023年10期
    關(guān)鍵詞:單詞信息模型

    陳夢萱,陳艷平,扈應(yīng),黃瑞章,秦永彬

    (1.貴州大學(xué) 公共大數(shù)據(jù)國家重點實驗室,貴陽 550025;2.貴州大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,貴陽 550025)

    0 概述

    隨著生物醫(yī)學(xué)文檔數(shù)量的迅速增長,生物醫(yī)學(xué)信息抽取變得越來越重要。實體作為句子的主體,包含了豐富的語義信息,因此,命名實體識別在生物醫(yī)學(xué)文本的理解和處理過程中具有非常重要的意義。生物醫(yī)學(xué)命名實體識別(Biomedical Named Entity Recognition,BioNER)指識別文本中的基因、蛋白質(zhì)、化學(xué)藥品、疾病等生物醫(yī)學(xué)實體。

    深度學(xué)習(xí)技術(shù)在自然語言處理(Natural Language Processing,NLP)中的應(yīng)用促進了生物醫(yī)學(xué)信息抽取的發(fā)展。然而,將最先進的NLP 方法直接應(yīng)用于生物醫(yī)學(xué)信息抽取時效果并不理想,一個重要原因是通用的預(yù)訓(xùn)練語言模型主要在包含一般領(lǐng)域文本的語料庫上訓(xùn)練和測試,而生物醫(yī)學(xué)語料庫和一般領(lǐng)域語料庫的詞分布有很大差異。因此,越來越多的研究人員通過在生物醫(yī)學(xué)語料庫上訓(xùn)練通用預(yù)訓(xùn)練語言模型得到生物醫(yī)學(xué)領(lǐng)域特定的預(yù)訓(xùn)練語言模型,如BioELMo[1]、KeBioLM[2]、ClinicalBERT[3]、BlueBERT[4]、SciBERT[5]、BioBERT[6]等。這些模型大多采用WordPiece 標記化方法處理未登錄詞,即將未登錄詞以頻繁出現(xiàn)的語素來表示(如peri-kappa->per、##i、-、ka、##ppa),在很大程度上緩解了未登錄詞表示信息不足的問題。

    BioBERT 是目前在生物醫(yī)學(xué)信息抽取任務(wù)中使用最廣泛、最有效的預(yù)訓(xùn)練語言模型之一,它在生物醫(yī)學(xué)信息抽取的各種任務(wù)上表現(xiàn)都超過了BERT 和之前的先進模型?,F(xiàn)有的BioNER 模型將從BioBERT 預(yù)訓(xùn)練模型獲得的語素嵌入表示后,或直接輸入神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,或增加額外的特征信息后輸入神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,而忽略了在訓(xùn)練和標簽預(yù)測過程中可能會出現(xiàn)的如下問題:

    1)標簽不一致問題。一些語素作為獨立單詞在文本中出現(xiàn),可能出現(xiàn)詞內(nèi)部標簽不一致問題,比如“peri-kappa”,其真實標簽為“B-DNA”,在語素級別進行標簽預(yù)測時,可能會錯誤地將其部分語素識別為“kappaB”蛋白質(zhì)實體的語素“ka”、“ppa”,則“perikappa”語素的標簽類型既有DNA 類型又有蛋白質(zhì)類型,最終導(dǎo)致實體識別失敗。

    2)跨單詞標簽問題。英文單詞被拆分為語素后,詞之間的邊界變得模糊,從而產(chǎn)生錯誤依賴關(guān)系,將不同單詞的語素識別為同一單詞的語素,則會導(dǎo)致實體識別錯誤。如“CD28 signaling cascade…phospholipase A2 and 5-lipoxygenase”在進行表示學(xué)習(xí)時,蛋白質(zhì)實體“phospholipase A2”的語素為“p hos ph oli pas e a2”,在標簽預(yù)測時模型容易將“e a2”識別為疾病實體“EA2”的語素。

    3)語義梯度消失問題。將未登錄詞拆分為語素后,句長變?yōu)樵瓉淼膸妆?,在使用神?jīng)網(wǎng)絡(luò)進行句子語義學(xué)習(xí)時容易出現(xiàn)梯度消失問題。生物醫(yī)學(xué)數(shù)據(jù)集中存在大量的未登錄復(fù)合詞,會使得這一問題更加突出,通過統(tǒng)計發(fā)現(xiàn),單詞被拆分為語素后長句子明顯增多,一些句子長度甚至超過了500。

    針對以上問題,本文提出一種基于BiLSTMBiaffine 詞義增強的方法。首先經(jīng)過BioBERT 預(yù)訓(xùn)練后將單詞拆分為語素,得到語素的嵌入表示后同一單詞的語素間使用BiLSTM 獲取語素的前向和后向序列信息;然后使用Biaffine 注意力機制增強其關(guān)聯(lián)信息并融合為單詞表示,將單詞表示作為句子級BiLSTM 的輸入,使得文本長度得到控制,有效緩解梯度消失問題;最后以單詞作為最小單位,使用CRF序列化標注模型獲得最終預(yù)測標簽,規(guī)避由語素導(dǎo)致的詞內(nèi)部標簽不一致和跨單詞標簽問題。本文的主要工作有:

    1)針對預(yù)訓(xùn)練模型對語素進行表示學(xué)習(xí)導(dǎo)致的標簽不一致、跨單詞標簽和語義梯度消失的問題,本文提出BiLSTM-Biaffine 詞義增強方法,該方法對語素表示進行融合學(xué)習(xí),能更好地學(xué)習(xí)句子中的詞級語義特征。

    2)設(shè)計實現(xiàn)基于BiLSTM-Biaffine 詞義增強的生物醫(yī)學(xué)命名實體識別模型,通過在BC2GM(BioCreative II Gene Mention)、NCBI-Disease、BC5CDRchem 和JNLPBA 數(shù)據(jù)集上進行實驗,驗證BiLSTMBiaffine 詞義增強方法的有效性。

    1 相關(guān)工作

    為提升BioNER 的性能,現(xiàn)有相關(guān)研究大致分為3 類:1)通過多種神經(jīng)網(wǎng)絡(luò)的組合得到新的模型;2)融合多種特征信息;3)通過在生物醫(yī)學(xué)語料庫上訓(xùn)練現(xiàn)有預(yù)訓(xùn)練語言模型,得到生物醫(yī)學(xué)領(lǐng)域特定的預(yù)訓(xùn)練語言模型。

    BioNER 任務(wù)通常被建模為一個序列標記問題,且已成功地將CRF[7]、CNN[8]、LSTM[9]等模型應(yīng)用其中。文獻[10]在BioNER 中將CRF 作為基礎(chǔ)的分類方法;文獻[11]提出一種基于深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的BioNER方法;文 獻[12]將RNN 模型應(yīng)用于BioNER,通過使用大型無標記語料庫來解決或緩解復(fù)雜的手工設(shè)計特征問題;文獻[13]提出一種使用BiLSTM 學(xué)習(xí)正字法特征的BioNER 模型;文獻[14]開發(fā)多任務(wù)CNN 模型,并將其應(yīng)用于現(xiàn)有的各種生物醫(yī)學(xué)命名實體數(shù)據(jù)集中;文獻[15]將BiLSTM-CRF模型用于不相交標簽集的BioNER 任務(wù)中;文獻[16]將n-GRAM 與BiLSTM-CRF 模型相結(jié)合,應(yīng)用于BioNER;文獻[17]使用一組BiLSTM-CRF 模型構(gòu)建聯(lián)合模型,以便目標模型從其他協(xié)作者模型中獲取信息,從而減少誤報;文獻[18]提出一種多任務(wù)學(xué)習(xí)框架,通過重用相應(yīng)BiLSTM 單元中的參數(shù),來自不同數(shù)據(jù)集的輸入可以有效地共享字符和字級表示;文獻[19]提出基于BiLSTM-CNN-CRF 交叉共享結(jié)構(gòu)的BioNER 模型;文獻[20]提出DTranNER 模型,將基于CRF 和深度學(xué)習(xí)的標簽轉(zhuǎn)換模型結(jié)合到BioNER中。

    為了彌補單純詞嵌入包含信息不足的問題,研究人員進行如下探索:文獻[21]證實了字符級嵌入的信息對詞嵌入信息有很好的補充作用;文獻[22]將深度神經(jīng)網(wǎng)絡(luò)、CRF、單詞嵌入和字符級表征相結(jié)合,進行生物醫(yī)學(xué)命名實體識別;文獻[23]提出一種基于詞嵌入和字符嵌入的LSTM-RNN-CRF 神經(jīng)網(wǎng)絡(luò)架構(gòu),使用注意力模型將特定領(lǐng)域的預(yù)訓(xùn)練單詞嵌入和通過字符嵌入查找表函數(shù)獲得的每個字符嵌入相結(jié)合;文獻[24]利用CNN 訓(xùn)練單詞以獲取具有形態(tài)特征的字符級向量,將其與從背景語料訓(xùn)練中得到的具有語義特征信息的詞向量進行合并。此外,也有研究者通過加入其他詞匯信息來提升實體識別的性能,如:文獻[25]提出一種改進的基于語言信息嵌入的BiLSTM 網(wǎng)絡(luò)架構(gòu),除了預(yù)先訓(xùn)練的單詞嵌入和字符嵌入之外,還包含了縮寫嵌入和詞性嵌入;文獻[26]提出基于CNN 和LSTM 組合特征嵌入的BioNER 方法,通過整合從CNN 和BiLSTM 中提取的2 種不同的字符級表示來增強模型性能;文獻[27]使用KVMN 將語法信息合并到主干序列標記器中以改進BioNER;文獻[28]通過BERT 進行語義提取以獲得動態(tài)詞向量,并加入詞性分析、組塊分析特征提升模型精度;文獻[29]利用CNN 和BiLSTM 提取文本的字符向量,在訓(xùn)練過程中動態(tài)計算文本單詞的2 種字符向量權(quán)重并進行拼接,同時加入詞性信息和組塊分析作為額外特征。

    由于序列模型獲取的信息在很大程度上依賴于詞嵌入中包含的信息,因此近年來越來越多的研究者將序列模型的關(guān)注點轉(zhuǎn)移到預(yù)訓(xùn)練語言模型上。常用的通用領(lǐng)域的預(yù)訓(xùn)練語言模型Word2Vec[30]、GloVe[31]、ELMo[32]和BERT[33]應(yīng)用于生物醫(yī)學(xué)文 本時,會產(chǎn)生大量的未登錄詞,而且生物醫(yī)學(xué)領(lǐng)域的新生詞匯也在不斷增長,因此,這些模型并不適用于生物醫(yī)學(xué)領(lǐng)域。有研究者在此基礎(chǔ)上提出了專門應(yīng)用于生物醫(yī)學(xué)領(lǐng)域的特定的預(yù)訓(xùn)練語言模型,如:文 獻[1]利 用PubMed 摘要訓(xùn)練ELMo得到BioELMo;文 獻[2]通過在PubMed 摘要上訓(xùn)練BERT 得到KeBioLM;文獻[3-4]通過在臨床筆記MIMIC 上訓(xùn)練BERT 分別得到了ClinicalBERT 和BlueBERT;文獻[5]通過生物醫(yī)學(xué)和計算機科學(xué)領(lǐng)域的論文訓(xùn)練BERT 得到了SciBERT;文獻[6]通過PubMed 摘要和PMC 文章訓(xùn)練得到了BioBERT。

    WordPiece 技術(shù)被廣泛應(yīng)用在上述預(yù)訓(xùn)練語言模型中,有效緩解了缺少未登錄詞表示信息的問題,而現(xiàn)有的BioNER 模型將從預(yù)訓(xùn)練模型獲得的語素嵌入表示后直接輸入神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,或增加額外的特征信息后輸入神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,在英文命名實體識別上依舊存在訓(xùn)練時無法充分利用子令牌標簽信息和WordPiece 破壞單詞語義信息的問題,在未登錄詞占比較高的生物醫(yī)學(xué)領(lǐng)域,這一問題更加突出。為此,本文提出基于BiLSTM-Biaffine 詞義增強的生物醫(yī)學(xué)命名實體識別方法。

    2 BiLSTM-Biaffine 詞義增強模型

    圖1 所示為基于BiLSTM-Biaffine 詞義增強的生物醫(yī)學(xué)命名實體識別模型整體結(jié)構(gòu)。該模型由編碼模塊、特征提取模塊和解碼模塊3 個部分組成,其中,b、i、j、o和x為張量對應(yīng)維度的數(shù)值。

    圖1 BiLSTM-Biaffine 詞義增強模型結(jié)構(gòu)Fig.1 BiLSTM-Biaffine word meaning enhancement model structure

    2.1 編碼模塊

    語素是構(gòu)成語言的基本單位,也是最小的語法和語義單位。漢語的語素是漢字,而英語的語素是詞根詞綴。在英語中,不同的單詞可能有相同的詞根或詞綴,更能代表單詞的詞義,例如IL-2 和IL-2R都是DNA 類型實體,都包含相同的語素“IL”,這有助于識別實體的類別,同時可以使用已知語素表示未知的新生詞匯,有利于獲取未登錄詞的信息。在本文中,使用預(yù)訓(xùn)練版本的BioBERT 模型來獲取文本的語素嵌入表示。

    BioBERT 是基于BERT 模型而提出的,是一種用于生物醫(yī)學(xué)文本挖掘的特定領(lǐng)域BERT,在許多生物醫(yī)學(xué)文本挖掘任務(wù)中性能表現(xiàn)優(yōu)于BERT 和以前的模型,其獲取詞嵌入的過程如圖2 所示。

    在圖2 中:Wi表示句子中的第i個單詞;Wij表示第i個單詞的第j個語素。文本以單詞序列的形式輸入BioBERT,然后根據(jù)BioBERT 詞表將單詞拆分為語素,最后以語素為基本單位進行編碼獲得語素嵌入表示。

    2.2 特征提取模塊

    特征提取模塊由單詞級的BiLSTM(Word-BiLSTM)和句子級的BiLSTM(Sentence-BiLSTM)構(gòu)成。單詞級的BiLSTM 用于獲取單詞內(nèi)部語素的序列信息,句子級的BiLSTM 用于獲取句子的上下文信息。LSTM 的計算公式如式(1)~式(6)所示:

    其中:σ和tanh()為激活函數(shù);it、ft、ot和ct分別對應(yīng)t時刻的輸入門、遺忘門、輸出門和記憶單元;?是點積運算;w和b分別代表權(quán)重矩陣和偏置向量,它們的下標表示對應(yīng)的輸入門(i)、遺忘門(f)、輸出門(o)和記憶單元(c);xt指t時刻輸入語素的特征表示;ht表示t時刻的隱藏狀態(tài)。

    2.2.1 BiLSTM-Biaffine

    單詞被拆分為語素后,容易產(chǎn)生本文概述中描述的問題并且詞的內(nèi)部信息被割裂,可能會丟失部分詞義信息,而BiLSTM 能夠捕獲序列信息以及關(guān)聯(lián)信息,因此,本文模型在同一單詞的語素間應(yīng)用BiLSTM,以獲取語素的前向、后向信息,使用Biaffine注意力機制加強語素間的信息交互,最終將語素表示融合為單詞表示,計算公式如式(7)~式(9)所示:

    其中:fm表示由LSTM 獲取的第m個單詞語素的前向信息;bm表示由LSTM 獲取的第m個單詞語素的后向信息;Um和Wm是與輸入有關(guān)的矩陣;b′m是可選偏置。

    2.2.2 Sentence-BiLSTM

    為了獲取句子級的上下文信息,本文模型還在句子級使用BiLSTM,即Sentence-BiLSTM,將由BiLSTM-Biaffine 得到的單詞表示作為Sentence-BiLSTM 的基本單位,能夠有效控制句子長度,緩解梯度消失問題。Sentence-BiLSTM 為雙向LSTM,前向LSTM 提取每個單詞表示的上文信息,后向LSTM獲取單詞表示的下文信息。Sentence-BiLSTM在t時刻的隱藏狀態(tài)由前向和后向隱藏狀態(tài)拼接而成,如式(10)所示:

    2.3 解碼模塊

    NER 任務(wù)的最后一步是標簽解碼,它接受上下文相關(guān)的表示作為輸入并生成與輸入序列對應(yīng)的標簽序列?;贑RF 的解碼層能夠?qū)ψ罱K預(yù)測的標簽進行約束,彌補BiLSTM 無法處理相鄰標簽之間依賴關(guān)系的缺點,以確保得到最合理的標簽序列。

    將BiLSTM 的輸出作為CRF 的輸入,以單詞為最小單位進行標簽預(yù)測,規(guī)避了在語素級別進行標簽預(yù)測而產(chǎn)生的詞內(nèi)部標簽不一致的問題。給定輸入X,輸出預(yù)測標簽的得分,計算公式如式(11)所示:

    其中:Ayi,yi+1是矩陣中的元素,表示標簽yi轉(zhuǎn)移到標簽yi+1的概率;yi表示y中的元素。在輸入X確定的情況下,y預(yù)測結(jié)果的概率計算公式如式(12)所示:

    其中:y|X是所有可能的標簽組合;y為真實標簽。模型最終選擇p(y|X)最大的標簽序列,這個選擇的過程通過對數(shù)似然函數(shù)實現(xiàn)。訓(xùn)練過程中的似然函數(shù)如式(13)所示:

    最終從所有概率得分中通過式(14)選出概率最高的標簽序列:

    其中:Yx表示所有可能的標簽序列組合;y*為最終的標簽序列。

    3 實驗驗證

    3.1 數(shù)據(jù)集

    在BC2GM、NCBI-Disease、BC5CDR-chem和JNLPBA等4 個BioNER 任務(wù)中常用的基準數(shù)據(jù)集上進行實驗,驗證本文方法在生物醫(yī)學(xué)數(shù)據(jù)集上的有效性。BC2GM 數(shù)據(jù)集由生物醫(yī)學(xué)出版物摘要中的20 128 條句子組成,并對蛋白質(zhì)、基因和相關(guān)實體的名稱進行了注釋。NCBI-Disease 數(shù)據(jù)集由793 篇PubMed 摘要組成,對疾病提及進行了注釋。BC5CDR-chem 是用于BioCreative V 化學(xué)疾病關(guān)系任務(wù)的數(shù)據(jù)集,對化學(xué)實體和提及進行了手動注釋。JNLPBA 數(shù)據(jù)集包含了擴展版本的生物實體識別數(shù)據(jù)集GENIA 版本3 命名實體語料庫中的MEDLINE 摘要,包含了“DNA”“RNA”“Protein”“cell_type”和“cell_line”這5 類實體。各數(shù)據(jù)集的實體類型及數(shù)量統(tǒng)計結(jié)果如表1 所示。

    表1 數(shù)據(jù)集統(tǒng)計信息Table 1 Statistics of datasets

    數(shù)據(jù)集采用“B-實體類型”“I-實體類型”和“O”標簽進行標記,使用“B-實體類型”標簽標注實體的開始,“I-實體類型”標簽標注組成實體的中間部分,“O”標簽標注與實體無關(guān)的信息。

    3.2 評估標準

    實驗采用精確率(P)、召回率(R)和F1 值(F1)3 種測評指標,具體計算公式如式(15)~式(17)所示:

    其中:Tp、Fp、Fn分別表示正確識別的實體個數(shù)、錯誤識別的實體個數(shù)和識別出的實體總數(shù)量。

    3.3 實驗設(shè)置

    本文使用預(yù)訓(xùn)練版本的BioBERT 模型,所有的神經(jīng)網(wǎng)絡(luò)模型都是基于PyTorch 實現(xiàn)的,優(yōu)化器采用Adam 算法。實驗參數(shù)設(shè)置如表2 所示。

    表2 實驗參數(shù)設(shè)置Table 2 Experimental parameters setting

    3.4 結(jié)果分析

    為了驗證本文模型的有效性,分別在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 數(shù)據(jù)集上進行實驗,將本文模型與近年來BioNER 領(lǐng)域具有代表性的序列標注模型進行對比,實驗結(jié)果如表3 所示,最優(yōu)結(jié)果加粗標注。

    表3 不同模型的對比實驗結(jié)果Table 3 Comparative experimental results of different models %

    在表3 中:MTM-CW 模型是文獻[18]提出的融合單詞和字符信息的多任務(wù)學(xué)習(xí)模型;文獻[34]提出的MT-BioNER 模型結(jié)合了BioBERT 和多任務(wù)學(xué)習(xí);MTL 是文獻[35]提出的機器閱讀理解模型。以上模型的實驗結(jié)果均采用了原文獻中的最優(yōu)結(jié)果。

    從表3 可以看出,BiLSTM-Biaffine 相較于對比模型取得了更優(yōu)的性能,在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 數(shù)據(jù)集上的F1平均分別提升了2.99、1.84、3.09 和1.03 個百分點,并且在數(shù)據(jù)集BC2GM、NCBI-Disease 和BC5CDR-chem 上的精確率和召回率也都高于對比模型。這主要是因為以下原因:

    1)BiLSTM-Biaffine 能夠獲取BioBERT語素的序列信息以及關(guān)聯(lián)信息。對比模型雖然均使用BioBERT 預(yù)訓(xùn)練模型,但是丟失了語素的序列信息和關(guān)聯(lián)信息,BiLSTM 能夠獲取語素的序列信息,Biaffine 注意力機制加強了其關(guān)聯(lián)并融合為單詞表示。

    2)BiLSTM-Biaffine 結(jié)構(gòu)能夠有效利用豐富的語素信息增強詞義表示。字符信息相較于語素包含的信息較少,多任務(wù)學(xué)習(xí)和機器閱讀理解無法針對性地增強詞義信息,而詞義信息對于表示信息相對匱乏的生物醫(yī)學(xué)領(lǐng)域是至關(guān)重要的。

    3)獲取語素的表示信息后將其重新融合為單詞表示,不僅解決了未登錄詞表示信息不足的問題,而且句子長度得到控制,緩解了梯度消失問題。在單詞級別進行標簽預(yù)測,規(guī)避了在語素標簽預(yù)測過程中出現(xiàn)的標簽不一致和跨單詞標簽問題。

    為了驗證Biaffine 注意力機制的有效性,將其分別與自注意力機制(Self-Attention)、多頭注意力機制(Multi-Attention)進行對比,實驗結(jié)果如表4所示。

    表4 不同注意力機制的對比實驗結(jié)果Table 4 Comparative experimental results of different attention mechanisms %

    從表4 可以看出,相較于Biaffine 注意力機制,Self-Attention 和Multi-Attention 并不能有效提升模型的性能。原因如下:雙仿射注意力機制可以進行語素間的信息交互,能夠增強同一單詞語素間的內(nèi)部關(guān)聯(lián)信息;自注意力機制和多頭注意力機制主要關(guān)注怎樣從所給輸入中捕獲重要語義特征,在信息量較少的情況下無法發(fā)揮作用。

    以上實驗結(jié)果說明,相較于融合字符信息、多任務(wù)學(xué)習(xí)、機器閱讀理解等常用的BioNER 方法,BiLSTM-Biaffine 詞義增強方法能夠捕獲更多的詞義信息,使得BioNER 具有更高的準確性。同時,與自注意力和多頭注意力機制的對比實驗結(jié)果也驗證了Biaffine 注意力機制的有效性。

    3.5 消融實驗

    為了進一步驗證BiLSTM-Biaffine 方法的有效性,本文設(shè)計消融實驗。在相同的實驗環(huán)境下,對比BioBERT(模型1)、BioBERT-BiLSTM-CRF(模型2)和BioBERT-BiLSTM-Biaffine-BiLSTM-CRF(模 型3)在數(shù)據(jù)集BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 上的性能,實驗結(jié)果如表5 所示。

    表5 消融實驗結(jié)果Table 5 Results of ablation experiment %

    從表5 可以看出,在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 數(shù)據(jù)集上,模型3的F1相較于模型1 平均分別提高 了1.99、3.31、1.92 和1.36 個百分點,相較于模型2 平均分別提高了0.98、0.99、0.55 和1.36 個百分點。

    對模型2 與模型3 達到最優(yōu)性能所需要的訓(xùn)練批次進行實驗,結(jié)果如圖3 所示。從圖3 可以看出,模型3 在4 個數(shù)據(jù)集上的訓(xùn)練批次均小于模型2,即模型3 具有更快的收斂速度,同時也驗證了BiLSTM-Biaffine 結(jié)構(gòu)能夠有效緩解梯度消失問題。

    相較于BioBERT 命名實體識別模型和BioBERT預(yù)訓(xùn)練與BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的命名實體識別模型,本文BioBERT-BiLSTM-Biaffine-BiLSTM-CRF 模型在不使用其他特征信息的情況下取得了更優(yōu)的性能,并且收斂速度更快,驗證了基于BiLSTM-Biaffine 詞義增強方法的有效性。

    4 結(jié)束語

    生物醫(yī)學(xué)命名實體識別作為生物醫(yī)學(xué)文本信息的基礎(chǔ)任務(wù)之一,對于醫(yī)療事業(yè)的發(fā)展有著至關(guān)重要的作用。本文從生物醫(yī)學(xué)數(shù)據(jù)的特殊性出發(fā),提出一種BiLSTM-Biaffine 詞義增強方法,以有效利用語素來解決未登錄詞的表示問題,同時避免由于語素過多導(dǎo)致的文本過長、標簽不一致和跨單詞標簽問題。通過BioBERT 預(yù)訓(xùn)練模型獲得語素嵌入表示,使用BiLSTM-Biaffine 方法獲取語素的序列信息以及完整的單詞信息,利用BiLSTM-CRF 模型獲取最終的預(yù)測標簽序列。在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 等4 個BioNER 任務(wù)常用基準數(shù)據(jù)集上進行實驗,結(jié)果表明,BiLSTM-Biaffine詞義增強方法能夠有效提升BioNER 的性能。下一步考慮將BiLSTM-Biaffine 方法應(yīng)用到其他NER 模型中,并探究一種性能更優(yōu)的語素融合方法。

    猜你喜歡
    單詞信息模型
    一半模型
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
    單詞連一連
    看圖填單詞
    訂閱信息
    中華手工(2017年2期)2017-06-06 23:00:31
    看完這些單詞的翻譯,整個人都不好了
    3D打印中的模型分割與打包
    展會信息
    中外會展(2014年4期)2014-11-27 07:46:46
    單詞拾趣
    海外英語(2006年8期)2006-09-28 08:49:00
    伊人亚洲综合成人网| 桃红色精品国产亚洲av| 精品久久久久久电影网| 国产人伦9x9x在线观看| 精品少妇一区二区三区视频日本电影| 久久亚洲精品不卡| 狠狠婷婷综合久久久久久88av| 成年人黄色毛片网站| 丰满人妻熟妇乱又伦精品不卡| 久久99热这里只频精品6学生| 又紧又爽又黄一区二区| 久久毛片免费看一区二区三区| 丝袜美腿诱惑在线| av片东京热男人的天堂| 9色porny在线观看| 黄色 视频免费看| kizo精华| 成年人黄色毛片网站| 成人影院久久| 丰满饥渴人妻一区二区三| 国产av一区二区精品久久| 男女免费视频国产| 久久久久国产一级毛片高清牌| netflix在线观看网站| 国产无遮挡羞羞视频在线观看| 欧美变态另类bdsm刘玥| 18在线观看网站| 日本猛色少妇xxxxx猛交久久| 夜夜骑夜夜射夜夜干| 亚洲国产成人一精品久久久| 免费黄频网站在线观看国产| 97在线人人人人妻| 999精品在线视频| 女人高潮潮喷娇喘18禁视频| 国产在线观看jvid| 99国产极品粉嫩在线观看| 国产日韩欧美视频二区| 国产一级毛片在线| 国产日韩欧美在线精品| 精品一区二区三卡| 亚洲国产精品999| 亚洲成av片中文字幕在线观看| 亚洲成人国产一区在线观看| 19禁男女啪啪无遮挡网站| 成人手机av| 久久国产精品人妻蜜桃| 婷婷成人精品国产| 19禁男女啪啪无遮挡网站| 亚洲一卡2卡3卡4卡5卡精品中文| 91精品国产国语对白视频| 少妇粗大呻吟视频| 免费不卡黄色视频| 精品少妇久久久久久888优播| 亚洲欧美激情在线| 99re6热这里在线精品视频| 国产黄色免费在线视频| 天堂8中文在线网| 天堂俺去俺来也www色官网| 国产不卡av网站在线观看| 久久免费观看电影| 久久人人爽av亚洲精品天堂| 女人被躁到高潮嗷嗷叫费观| 18禁国产床啪视频网站| 成人黄色视频免费在线看| 91大片在线观看| 国产日韩欧美视频二区| 亚洲中文av在线| 亚洲色图 男人天堂 中文字幕| 淫妇啪啪啪对白视频 | 天天影视国产精品| 最近最新中文字幕大全免费视频| 亚洲精品国产色婷婷电影| 97精品久久久久久久久久精品| 两个人免费观看高清视频| 男女边摸边吃奶| 中国国产av一级| 啦啦啦啦在线视频资源| 日韩三级视频一区二区三区| 国产成人av教育| 日日摸夜夜添夜夜添小说| 国产高清视频在线播放一区 | 欧美人与性动交α欧美软件| 男人添女人高潮全过程视频| 亚洲人成电影观看| 日日爽夜夜爽网站| 极品少妇高潮喷水抽搐| 男女下面插进去视频免费观看| av网站在线播放免费| 美女国产高潮福利片在线看| 亚洲第一青青草原| 免费观看a级毛片全部| 国产1区2区3区精品| 99久久人妻综合| 精品久久久久久久毛片微露脸 | 动漫黄色视频在线观看| 欧美黑人欧美精品刺激| 人人妻人人澡人人看| 黑人操中国人逼视频| 午夜福利视频在线观看免费| 1024视频免费在线观看| 黄色a级毛片大全视频| 999精品在线视频| 国产亚洲欧美在线一区二区| 女人精品久久久久毛片| 九色亚洲精品在线播放| 精品人妻熟女毛片av久久网站| 一区在线观看完整版| 啦啦啦视频在线资源免费观看| 欧美 日韩 精品 国产| 国产在线视频一区二区| 99香蕉大伊视频| 国产成人免费无遮挡视频| 精品亚洲乱码少妇综合久久| 国产福利在线免费观看视频| 中国国产av一级| 中文字幕制服av| 黄色视频,在线免费观看| 免费在线观看黄色视频的| 免费一级毛片在线播放高清视频 | 欧美日本中文国产一区发布| 最黄视频免费看| 中文字幕高清在线视频| 男人添女人高潮全过程视频| av福利片在线| 一边摸一边抽搐一进一出视频| 午夜福利一区二区在线看| a在线观看视频网站| 精品国产乱子伦一区二区三区 | 一级片'在线观看视频| 九色亚洲精品在线播放| 成人亚洲精品一区在线观看| 首页视频小说图片口味搜索| 麻豆乱淫一区二区| 午夜福利免费观看在线| 各种免费的搞黄视频| 777久久人妻少妇嫩草av网站| 国产不卡av网站在线观看| 欧美人与性动交α欧美精品济南到| 黄色毛片三级朝国网站| 极品少妇高潮喷水抽搐| 伊人亚洲综合成人网| 国产精品一区二区免费欧美 | 大片电影免费在线观看免费| 老汉色∧v一级毛片| 午夜福利在线免费观看网站| www.熟女人妻精品国产| 黑人巨大精品欧美一区二区蜜桃| 亚洲国产欧美一区二区综合| 国产成人a∨麻豆精品| 在线观看人妻少妇| 桃红色精品国产亚洲av| 两性午夜刺激爽爽歪歪视频在线观看 | 国产伦理片在线播放av一区| 女人精品久久久久毛片| 国产无遮挡羞羞视频在线观看| 久久女婷五月综合色啪小说| av一本久久久久| 纯流量卡能插随身wifi吗| 男女之事视频高清在线观看| 国产成人av激情在线播放| 好男人电影高清在线观看| 少妇裸体淫交视频免费看高清 | 亚洲精品久久成人aⅴ小说| 成年人黄色毛片网站| 黑人操中国人逼视频| 男女无遮挡免费网站观看| 十八禁人妻一区二区| 在线观看免费高清a一片| 欧美97在线视频| 亚洲一区二区三区欧美精品| 午夜成年电影在线免费观看| 精品少妇一区二区三区视频日本电影| 亚洲精品一区蜜桃| 欧美人与性动交α欧美精品济南到| 欧美久久黑人一区二区| 久久久久久久大尺度免费视频| 久久精品人人爽人人爽视色| 久久精品国产亚洲av高清一级| 国产区一区二久久| 国产精品久久久久成人av| 国产淫语在线视频| 又大又爽又粗| 高清在线国产一区| 激情视频va一区二区三区| 亚洲精品美女久久av网站| 国产福利在线免费观看视频| 国产精品免费大片| 成年人午夜在线观看视频| 日韩精品免费视频一区二区三区| 最近最新中文字幕大全免费视频| 久久久久国产一级毛片高清牌| 亚洲av片天天在线观看| 久久人人97超碰香蕉20202| 美女高潮喷水抽搐中文字幕| 国产欧美日韩综合在线一区二区| 亚洲av成人一区二区三| av线在线观看网站| 亚洲九九香蕉| 婷婷丁香在线五月| 我要看黄色一级片免费的| av在线老鸭窝| 免费女性裸体啪啪无遮挡网站| 各种免费的搞黄视频| 岛国在线观看网站| tube8黄色片| 最近最新中文字幕大全免费视频| 国产精品欧美亚洲77777| 欧美乱码精品一区二区三区| 亚洲精品一区蜜桃| 一个人免费在线观看的高清视频 | 免费久久久久久久精品成人欧美视频| 在线十欧美十亚洲十日本专区| 午夜影院在线不卡| 中文字幕另类日韩欧美亚洲嫩草| 亚洲av男天堂| 搡老熟女国产l中国老女人| 极品少妇高潮喷水抽搐| 国产精品av久久久久免费| av片东京热男人的天堂| 无限看片的www在线观看| 新久久久久国产一级毛片| 亚洲精品久久久久久婷婷小说| 丝袜美足系列| 亚洲久久久国产精品| 国产成人欧美在线观看 | 亚洲精品成人av观看孕妇| 久久精品人人爽人人爽视色| 精品一区二区三区av网在线观看 | 久久av网站| 国产97色在线日韩免费| 亚洲专区中文字幕在线| 丝袜人妻中文字幕| 老司机影院成人| 亚洲国产日韩一区二区| 伦理电影免费视频| 精品一区二区三卡| 日本vs欧美在线观看视频| 麻豆乱淫一区二区| 国产精品 国内视频| 中文字幕高清在线视频| 国产免费av片在线观看野外av| 老司机午夜十八禁免费视频| 飞空精品影院首页| 啪啪无遮挡十八禁网站| 国产在视频线精品| 成人亚洲精品一区在线观看| 91大片在线观看| 国产在线观看jvid| 久久久久久亚洲精品国产蜜桃av| 午夜精品国产一区二区电影| 欧美精品一区二区免费开放| av免费在线观看网站| 黄色视频,在线免费观看| 国产成人av激情在线播放| 国产精品香港三级国产av潘金莲| 成人国语在线视频| 亚洲精品国产av蜜桃| 亚洲激情五月婷婷啪啪| 不卡av一区二区三区| 国产欧美日韩精品亚洲av| 久久久国产一区二区| 日韩欧美国产一区二区入口| 麻豆国产av国片精品| 丝袜脚勾引网站| 俄罗斯特黄特色一大片| 啦啦啦视频在线资源免费观看| 国产精品久久久人人做人人爽| 国产区一区二久久| av天堂在线播放| 啪啪无遮挡十八禁网站| 天堂8中文在线网| 不卡av一区二区三区| 国产成人精品久久二区二区免费| 老司机靠b影院| 久久久水蜜桃国产精品网| 国产97色在线日韩免费| 国产成人av激情在线播放| 蜜桃国产av成人99| 欧美激情极品国产一区二区三区| 最新在线观看一区二区三区| 一边摸一边做爽爽视频免费| 亚洲av电影在线进入| e午夜精品久久久久久久| 老司机亚洲免费影院| 精品少妇黑人巨大在线播放| 成人国产av品久久久| 18禁裸乳无遮挡动漫免费视频| 国产精品一二三区在线看| 精品国产乱码久久久久久男人| 欧美另类亚洲清纯唯美| 亚洲精品成人av观看孕妇| 精品少妇黑人巨大在线播放| 91国产中文字幕| 精品一区二区三区四区五区乱码| 欧美激情久久久久久爽电影 | 欧美人与性动交α欧美软件| 免费少妇av软件| 欧美在线一区亚洲| 黄色a级毛片大全视频| 久久人人97超碰香蕉20202| 日韩欧美免费精品| 欧美国产精品一级二级三级| 亚洲精品国产区一区二| 99精国产麻豆久久婷婷| 亚洲欧洲日产国产| 欧美日韩黄片免| 久久久久精品人妻al黑| 欧美黄色淫秽网站| 777久久人妻少妇嫩草av网站| 亚洲成av片中文字幕在线观看| 精品国产一区二区久久| 免费日韩欧美在线观看| 亚洲国产精品999| 视频区图区小说| 天堂8中文在线网| 99国产极品粉嫩在线观看| 国产一区二区三区综合在线观看| 一级片免费观看大全| 亚洲国产欧美网| 黄色视频不卡| 亚洲 欧美一区二区三区| 美女高潮喷水抽搐中文字幕| 淫妇啪啪啪对白视频 | 中文字幕色久视频| 丁香六月天网| 国产成人免费观看mmmm| 亚洲成人免费av在线播放| 久久久精品国产亚洲av高清涩受| 99久久人妻综合| 久久久国产成人免费| 国产精品一二三区在线看| 麻豆av在线久日| 欧美激情久久久久久爽电影 | 女人精品久久久久毛片| 亚洲成人免费av在线播放| 国产一区二区在线观看av| 12—13女人毛片做爰片一| 国产黄频视频在线观看| 超碰97精品在线观看| 久久久久国内视频| 亚洲精品成人av观看孕妇| a级毛片在线看网站| 五月天丁香电影| 香蕉丝袜av| 精品高清国产在线一区| 国产精品自产拍在线观看55亚洲 | 青春草亚洲视频在线观看| 欧美变态另类bdsm刘玥| 亚洲精品国产色婷婷电影| 考比视频在线观看| 国产片内射在线| 少妇被粗大的猛进出69影院| 中文字幕最新亚洲高清| 久久毛片免费看一区二区三区| 欧美国产精品一级二级三级| 1024香蕉在线观看| 亚洲av电影在线观看一区二区三区| 热99久久久久精品小说推荐| 国产一区二区 视频在线| 久久中文看片网| 中文字幕最新亚洲高清| 美女高潮喷水抽搐中文字幕| 精品国内亚洲2022精品成人 | 亚洲 国产 在线| 麻豆国产av国片精品| 美女视频免费永久观看网站| 久久香蕉激情| 老熟女久久久| 桃花免费在线播放| 国产一区有黄有色的免费视频| 十分钟在线观看高清视频www| 国产在线一区二区三区精| 日本一区二区免费在线视频| 乱人伦中国视频| 日韩有码中文字幕| 少妇粗大呻吟视频| 精品一区二区三区四区五区乱码| 丝袜喷水一区| 免费久久久久久久精品成人欧美视频| 国产精品久久久人人做人人爽| 男女国产视频网站| 欧美老熟妇乱子伦牲交| 两个人看的免费小视频| 在线天堂中文资源库| 亚洲精品久久午夜乱码| 视频区欧美日本亚洲| 亚洲av片天天在线观看| 性色av乱码一区二区三区2| 无限看片的www在线观看| 性色av乱码一区二区三区2| 国产精品熟女久久久久浪| 男女下面插进去视频免费观看| 下体分泌物呈黄色| 亚洲一区二区三区欧美精品| 热re99久久精品国产66热6| 青草久久国产| 久久久久久久国产电影| 桃花免费在线播放| 久久精品熟女亚洲av麻豆精品| 国产男女内射视频| 欧美午夜高清在线| 黄色a级毛片大全视频| 日韩三级视频一区二区三区| 在线观看舔阴道视频| 美女脱内裤让男人舔精品视频| 91九色精品人成在线观看| 日韩视频一区二区在线观看| 我要看黄色一级片免费的| 亚洲一码二码三码区别大吗| 狂野欧美激情性bbbbbb| 如日韩欧美国产精品一区二区三区| 成人av一区二区三区在线看 | 欧美97在线视频| 午夜成年电影在线免费观看| 美女高潮喷水抽搐中文字幕| 91精品伊人久久大香线蕉| 99精国产麻豆久久婷婷| 曰老女人黄片| 免费高清在线观看视频在线观看| 久久久久久久大尺度免费视频| 视频区图区小说| 男女午夜视频在线观看| 日韩视频一区二区在线观看| 精品少妇久久久久久888优播| 美女高潮到喷水免费观看| 美女福利国产在线| 国内毛片毛片毛片毛片毛片| 亚洲国产精品成人久久小说| 又大又爽又粗| 三上悠亚av全集在线观看| 久久这里只有精品19| tube8黄色片| 国产成人啪精品午夜网站| 另类亚洲欧美激情| 黄色a级毛片大全视频| 女性生殖器流出的白浆| 亚洲欧美清纯卡通| 天天操日日干夜夜撸| 亚洲欧美激情在线| 人人妻人人澡人人看| 女人高潮潮喷娇喘18禁视频| 国产男人的电影天堂91| 黄片小视频在线播放| 啦啦啦视频在线资源免费观看| 最近中文字幕2019免费版| 欧美激情久久久久久爽电影 | 黄色a级毛片大全视频| 女人久久www免费人成看片| 日韩免费高清中文字幕av| 日本a在线网址| 老司机在亚洲福利影院| 久久性视频一级片| 日韩制服丝袜自拍偷拍| 国产亚洲欧美精品永久| 深夜精品福利| 日日夜夜操网爽| 精品国产一区二区三区久久久樱花| 99国产精品一区二区三区| 免费看十八禁软件| 少妇粗大呻吟视频| 爱豆传媒免费全集在线观看| av视频免费观看在线观看| 日本av手机在线免费观看| 国产精品自产拍在线观看55亚洲 | 国产成+人综合+亚洲专区| 啪啪无遮挡十八禁网站| 黄色 视频免费看| 国产一区二区在线观看av| 亚洲国产看品久久| 两个人看的免费小视频| 成在线人永久免费视频| 国产精品99久久99久久久不卡| 如日韩欧美国产精品一区二区三区| 国产在线一区二区三区精| av网站在线播放免费| 亚洲男人天堂网一区| 中文字幕高清在线视频| 久久狼人影院| 国产精品一区二区免费欧美 | 高清在线国产一区| 国产精品久久久人人做人人爽| 亚洲精品国产色婷婷电影| 热99久久久久精品小说推荐| 欧美大码av| 国产伦理片在线播放av一区| 黄片播放在线免费| 在线永久观看黄色视频| 中文精品一卡2卡3卡4更新| 在线观看人妻少妇| 国产97色在线日韩免费| 人人妻,人人澡人人爽秒播| 三级毛片av免费| 午夜精品国产一区二区电影| 免费观看a级毛片全部| 欧美亚洲日本最大视频资源| 91国产中文字幕| 久久久久久免费高清国产稀缺| 亚洲av国产av综合av卡| 亚洲精品第二区| 18在线观看网站| 激情视频va一区二区三区| 国产精品偷伦视频观看了| 欧美成人午夜精品| 久久精品成人免费网站| 777久久人妻少妇嫩草av网站| 欧美精品人与动牲交sv欧美| 老司机影院成人| 交换朋友夫妻互换小说| 精品国产超薄肉色丝袜足j| av片东京热男人的天堂| 1024香蕉在线观看| 天天躁日日躁夜夜躁夜夜| 这个男人来自地球电影免费观看| 国产精品影院久久| 精品一区在线观看国产| 久久国产精品大桥未久av| 久久久久国产精品人妻一区二区| 热99re8久久精品国产| 久久亚洲精品不卡| 男男h啪啪无遮挡| 老鸭窝网址在线观看| 久久久久久久国产电影| 法律面前人人平等表现在哪些方面 | 久久久国产成人免费| 99热网站在线观看| 丝瓜视频免费看黄片| 日韩中文字幕视频在线看片| 久久狼人影院| 欧美大码av| 99国产精品免费福利视频| 黄色a级毛片大全视频| 视频区欧美日本亚洲| 搡老熟女国产l中国老女人| 69av精品久久久久久 | 在线十欧美十亚洲十日本专区| 在线天堂中文资源库| 欧美中文综合在线视频| 国产欧美日韩一区二区三 | 两性午夜刺激爽爽歪歪视频在线观看 | 国产一区二区三区综合在线观看| 一级毛片精品| 99re6热这里在线精品视频| svipshipincom国产片| 亚洲视频免费观看视频| 欧美久久黑人一区二区| 老汉色av国产亚洲站长工具| 一区二区三区四区激情视频| 视频区欧美日本亚洲| 一区二区三区乱码不卡18| 国产免费福利视频在线观看| 下体分泌物呈黄色| 亚洲人成电影观看| 飞空精品影院首页| 亚洲国产av新网站| 国产亚洲精品第一综合不卡| 精品久久蜜臀av无| 精品一品国产午夜福利视频| 欧美少妇被猛烈插入视频| 欧美午夜高清在线| 一级毛片女人18水好多| 亚洲精品国产精品久久久不卡| 亚洲欧美一区二区三区久久| 国产免费福利视频在线观看| 九色亚洲精品在线播放| 91国产中文字幕| 黄网站色视频无遮挡免费观看| 国产精品秋霞免费鲁丝片| 他把我摸到了高潮在线观看 | 亚洲欧美色中文字幕在线| 久久青草综合色| 电影成人av| 极品少妇高潮喷水抽搐| 91老司机精品| 男女免费视频国产| 久久人人97超碰香蕉20202| 久久ye,这里只有精品| 国产亚洲精品久久久久5区| 精品国产超薄肉色丝袜足j| 婷婷丁香在线五月| 日韩熟女老妇一区二区性免费视频| 久久国产精品影院| 两人在一起打扑克的视频| 中文字幕人妻丝袜一区二区| 女性被躁到高潮视频| 欧美日韩福利视频一区二区| 国产精品国产av在线观看| 无限看片的www在线观看| 别揉我奶头~嗯~啊~动态视频 | xxxhd国产人妻xxx| 男女下面插进去视频免费观看| 国产深夜福利视频在线观看| 欧美大码av| 国产亚洲欧美在线一区二区| www日本在线高清视频| 又大又爽又粗| 老熟妇仑乱视频hdxx| 亚洲免费av在线视频| 青春草视频在线免费观看| 男女高潮啪啪啪动态图| 久久中文看片网| 女人爽到高潮嗷嗷叫在线视频| 麻豆av在线久日| 99久久人妻综合| 国产精品欧美亚洲77777| 啦啦啦 在线观看视频| 欧美国产精品va在线观看不卡| 中文欧美无线码| 亚洲精品一区蜜桃| 国产亚洲午夜精品一区二区久久| 捣出白浆h1v1| 欧美国产精品va在线观看不卡| 中文欧美无线码| 亚洲成人免费av在线播放| 久久人人爽av亚洲精品天堂| 国内毛片毛片毛片毛片毛片|