• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于詞義增強(qiáng)的生物醫(yī)學(xué)命名實(shí)體識(shí)別方法

    2023-10-17 05:50:22陳夢(mèng)萱陳艷平扈應(yīng)黃瑞章秦永彬
    計(jì)算機(jī)工程 2023年10期
    關(guān)鍵詞:單詞信息模型

    陳夢(mèng)萱,陳艷平,扈應(yīng),黃瑞章,秦永彬

    (1.貴州大學(xué) 公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,貴陽(yáng) 550025;2.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,貴陽(yáng) 550025)

    0 概述

    隨著生物醫(yī)學(xué)文檔數(shù)量的迅速增長(zhǎng),生物醫(yī)學(xué)信息抽取變得越來(lái)越重要。實(shí)體作為句子的主體,包含了豐富的語(yǔ)義信息,因此,命名實(shí)體識(shí)別在生物醫(yī)學(xué)文本的理解和處理過(guò)程中具有非常重要的意義。生物醫(yī)學(xué)命名實(shí)體識(shí)別(Biomedical Named Entity Recognition,BioNER)指識(shí)別文本中的基因、蛋白質(zhì)、化學(xué)藥品、疾病等生物醫(yī)學(xué)實(shí)體。

    深度學(xué)習(xí)技術(shù)在自然語(yǔ)言處理(Natural Language Processing,NLP)中的應(yīng)用促進(jìn)了生物醫(yī)學(xué)信息抽取的發(fā)展。然而,將最先進(jìn)的NLP 方法直接應(yīng)用于生物醫(yī)學(xué)信息抽取時(shí)效果并不理想,一個(gè)重要原因是通用的預(yù)訓(xùn)練語(yǔ)言模型主要在包含一般領(lǐng)域文本的語(yǔ)料庫(kù)上訓(xùn)練和測(cè)試,而生物醫(yī)學(xué)語(yǔ)料庫(kù)和一般領(lǐng)域語(yǔ)料庫(kù)的詞分布有很大差異。因此,越來(lái)越多的研究人員通過(guò)在生物醫(yī)學(xué)語(yǔ)料庫(kù)上訓(xùn)練通用預(yù)訓(xùn)練語(yǔ)言模型得到生物醫(yī)學(xué)領(lǐng)域特定的預(yù)訓(xùn)練語(yǔ)言模型,如BioELMo[1]、KeBioLM[2]、ClinicalBERT[3]、BlueBERT[4]、SciBERT[5]、BioBERT[6]等。這些模型大多采用WordPiece 標(biāo)記化方法處理未登錄詞,即將未登錄詞以頻繁出現(xiàn)的語(yǔ)素來(lái)表示(如peri-kappa->per、##i、-、ka、##ppa),在很大程度上緩解了未登錄詞表示信息不足的問(wèn)題。

    BioBERT 是目前在生物醫(yī)學(xué)信息抽取任務(wù)中使用最廣泛、最有效的預(yù)訓(xùn)練語(yǔ)言模型之一,它在生物醫(yī)學(xué)信息抽取的各種任務(wù)上表現(xiàn)都超過(guò)了BERT 和之前的先進(jìn)模型?,F(xiàn)有的BioNER 模型將從BioBERT 預(yù)訓(xùn)練模型獲得的語(yǔ)素嵌入表示后,或直接輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,或增加額外的特征信息后輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,而忽略了在訓(xùn)練和標(biāo)簽預(yù)測(cè)過(guò)程中可能會(huì)出現(xiàn)的如下問(wèn)題:

    1)標(biāo)簽不一致問(wèn)題。一些語(yǔ)素作為獨(dú)立單詞在文本中出現(xiàn),可能出現(xiàn)詞內(nèi)部標(biāo)簽不一致問(wèn)題,比如“peri-kappa”,其真實(shí)標(biāo)簽為“B-DNA”,在語(yǔ)素級(jí)別進(jìn)行標(biāo)簽預(yù)測(cè)時(shí),可能會(huì)錯(cuò)誤地將其部分語(yǔ)素識(shí)別為“kappaB”蛋白質(zhì)實(shí)體的語(yǔ)素“ka”、“ppa”,則“perikappa”語(yǔ)素的標(biāo)簽類(lèi)型既有DNA 類(lèi)型又有蛋白質(zhì)類(lèi)型,最終導(dǎo)致實(shí)體識(shí)別失敗。

    2)跨單詞標(biāo)簽問(wèn)題。英文單詞被拆分為語(yǔ)素后,詞之間的邊界變得模糊,從而產(chǎn)生錯(cuò)誤依賴(lài)關(guān)系,將不同單詞的語(yǔ)素識(shí)別為同一單詞的語(yǔ)素,則會(huì)導(dǎo)致實(shí)體識(shí)別錯(cuò)誤。如“CD28 signaling cascade…phospholipase A2 and 5-lipoxygenase”在進(jìn)行表示學(xué)習(xí)時(shí),蛋白質(zhì)實(shí)體“phospholipase A2”的語(yǔ)素為“p hos ph oli pas e a2”,在標(biāo)簽預(yù)測(cè)時(shí)模型容易將“e a2”識(shí)別為疾病實(shí)體“EA2”的語(yǔ)素。

    3)語(yǔ)義梯度消失問(wèn)題。將未登錄詞拆分為語(yǔ)素后,句長(zhǎng)變?yōu)樵瓉?lái)的幾倍,在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行句子語(yǔ)義學(xué)習(xí)時(shí)容易出現(xiàn)梯度消失問(wèn)題。生物醫(yī)學(xué)數(shù)據(jù)集中存在大量的未登錄復(fù)合詞,會(huì)使得這一問(wèn)題更加突出,通過(guò)統(tǒng)計(jì)發(fā)現(xiàn),單詞被拆分為語(yǔ)素后長(zhǎng)句子明顯增多,一些句子長(zhǎng)度甚至超過(guò)了500。

    針對(duì)以上問(wèn)題,本文提出一種基于BiLSTMBiaffine 詞義增強(qiáng)的方法。首先經(jīng)過(guò)BioBERT 預(yù)訓(xùn)練后將單詞拆分為語(yǔ)素,得到語(yǔ)素的嵌入表示后同一單詞的語(yǔ)素間使用BiLSTM 獲取語(yǔ)素的前向和后向序列信息;然后使用Biaffine 注意力機(jī)制增強(qiáng)其關(guān)聯(lián)信息并融合為單詞表示,將單詞表示作為句子級(jí)BiLSTM 的輸入,使得文本長(zhǎng)度得到控制,有效緩解梯度消失問(wèn)題;最后以單詞作為最小單位,使用CRF序列化標(biāo)注模型獲得最終預(yù)測(cè)標(biāo)簽,規(guī)避由語(yǔ)素導(dǎo)致的詞內(nèi)部標(biāo)簽不一致和跨單詞標(biāo)簽問(wèn)題。本文的主要工作有:

    1)針對(duì)預(yù)訓(xùn)練模型對(duì)語(yǔ)素進(jìn)行表示學(xué)習(xí)導(dǎo)致的標(biāo)簽不一致、跨單詞標(biāo)簽和語(yǔ)義梯度消失的問(wèn)題,本文提出BiLSTM-Biaffine 詞義增強(qiáng)方法,該方法對(duì)語(yǔ)素表示進(jìn)行融合學(xué)習(xí),能更好地學(xué)習(xí)句子中的詞級(jí)語(yǔ)義特征。

    2)設(shè)計(jì)實(shí)現(xiàn)基于BiLSTM-Biaffine 詞義增強(qiáng)的生物醫(yī)學(xué)命名實(shí)體識(shí)別模型,通過(guò)在BC2GM(BioCreative II Gene Mention)、NCBI-Disease、BC5CDRchem 和JNLPBA 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),驗(yàn)證BiLSTMBiaffine 詞義增強(qiáng)方法的有效性。

    1 相關(guān)工作

    為提升BioNER 的性能,現(xiàn)有相關(guān)研究大致分為3 類(lèi):1)通過(guò)多種神經(jīng)網(wǎng)絡(luò)的組合得到新的模型;2)融合多種特征信息;3)通過(guò)在生物醫(yī)學(xué)語(yǔ)料庫(kù)上訓(xùn)練現(xiàn)有預(yù)訓(xùn)練語(yǔ)言模型,得到生物醫(yī)學(xué)領(lǐng)域特定的預(yù)訓(xùn)練語(yǔ)言模型。

    BioNER 任務(wù)通常被建模為一個(gè)序列標(biāo)記問(wèn)題,且已成功地將CRF[7]、CNN[8]、LSTM[9]等模型應(yīng)用其中。文獻(xiàn)[10]在BioNER 中將CRF 作為基礎(chǔ)的分類(lèi)方法;文獻(xiàn)[11]提出一種基于深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的BioNER方法;文 獻(xiàn)[12]將RNN 模型應(yīng)用于BioNER,通過(guò)使用大型無(wú)標(biāo)記語(yǔ)料庫(kù)來(lái)解決或緩解復(fù)雜的手工設(shè)計(jì)特征問(wèn)題;文獻(xiàn)[13]提出一種使用BiLSTM 學(xué)習(xí)正字法特征的BioNER 模型;文獻(xiàn)[14]開(kāi)發(fā)多任務(wù)CNN 模型,并將其應(yīng)用于現(xiàn)有的各種生物醫(yī)學(xué)命名實(shí)體數(shù)據(jù)集中;文獻(xiàn)[15]將BiLSTM-CRF模型用于不相交標(biāo)簽集的BioNER 任務(wù)中;文獻(xiàn)[16]將n-GRAM 與BiLSTM-CRF 模型相結(jié)合,應(yīng)用于BioNER;文獻(xiàn)[17]使用一組BiLSTM-CRF 模型構(gòu)建聯(lián)合模型,以便目標(biāo)模型從其他協(xié)作者模型中獲取信息,從而減少誤報(bào);文獻(xiàn)[18]提出一種多任務(wù)學(xué)習(xí)框架,通過(guò)重用相應(yīng)BiLSTM 單元中的參數(shù),來(lái)自不同數(shù)據(jù)集的輸入可以有效地共享字符和字級(jí)表示;文獻(xiàn)[19]提出基于BiLSTM-CNN-CRF 交叉共享結(jié)構(gòu)的BioNER 模型;文獻(xiàn)[20]提出DTranNER 模型,將基于CRF 和深度學(xué)習(xí)的標(biāo)簽轉(zhuǎn)換模型結(jié)合到BioNER中。

    為了彌補(bǔ)單純?cè)~嵌入包含信息不足的問(wèn)題,研究人員進(jìn)行如下探索:文獻(xiàn)[21]證實(shí)了字符級(jí)嵌入的信息對(duì)詞嵌入信息有很好的補(bǔ)充作用;文獻(xiàn)[22]將深度神經(jīng)網(wǎng)絡(luò)、CRF、單詞嵌入和字符級(jí)表征相結(jié)合,進(jìn)行生物醫(yī)學(xué)命名實(shí)體識(shí)別;文獻(xiàn)[23]提出一種基于詞嵌入和字符嵌入的LSTM-RNN-CRF 神經(jīng)網(wǎng)絡(luò)架構(gòu),使用注意力模型將特定領(lǐng)域的預(yù)訓(xùn)練單詞嵌入和通過(guò)字符嵌入查找表函數(shù)獲得的每個(gè)字符嵌入相結(jié)合;文獻(xiàn)[24]利用CNN 訓(xùn)練單詞以獲取具有形態(tài)特征的字符級(jí)向量,將其與從背景語(yǔ)料訓(xùn)練中得到的具有語(yǔ)義特征信息的詞向量進(jìn)行合并。此外,也有研究者通過(guò)加入其他詞匯信息來(lái)提升實(shí)體識(shí)別的性能,如:文獻(xiàn)[25]提出一種改進(jìn)的基于語(yǔ)言信息嵌入的BiLSTM 網(wǎng)絡(luò)架構(gòu),除了預(yù)先訓(xùn)練的單詞嵌入和字符嵌入之外,還包含了縮寫(xiě)嵌入和詞性嵌入;文獻(xiàn)[26]提出基于CNN 和LSTM 組合特征嵌入的BioNER 方法,通過(guò)整合從CNN 和BiLSTM 中提取的2 種不同的字符級(jí)表示來(lái)增強(qiáng)模型性能;文獻(xiàn)[27]使用KVMN 將語(yǔ)法信息合并到主干序列標(biāo)記器中以改進(jìn)BioNER;文獻(xiàn)[28]通過(guò)BERT 進(jìn)行語(yǔ)義提取以獲得動(dòng)態(tài)詞向量,并加入詞性分析、組塊分析特征提升模型精度;文獻(xiàn)[29]利用CNN 和BiLSTM 提取文本的字符向量,在訓(xùn)練過(guò)程中動(dòng)態(tài)計(jì)算文本單詞的2 種字符向量權(quán)重并進(jìn)行拼接,同時(shí)加入詞性信息和組塊分析作為額外特征。

    由于序列模型獲取的信息在很大程度上依賴(lài)于詞嵌入中包含的信息,因此近年來(lái)越來(lái)越多的研究者將序列模型的關(guān)注點(diǎn)轉(zhuǎn)移到預(yù)訓(xùn)練語(yǔ)言模型上。常用的通用領(lǐng)域的預(yù)訓(xùn)練語(yǔ)言模型Word2Vec[30]、GloVe[31]、ELMo[32]和BERT[33]應(yīng)用于生物醫(yī)學(xué)文 本時(shí),會(huì)產(chǎn)生大量的未登錄詞,而且生物醫(yī)學(xué)領(lǐng)域的新生詞匯也在不斷增長(zhǎng),因此,這些模型并不適用于生物醫(yī)學(xué)領(lǐng)域。有研究者在此基礎(chǔ)上提出了專(zhuān)門(mén)應(yīng)用于生物醫(yī)學(xué)領(lǐng)域的特定的預(yù)訓(xùn)練語(yǔ)言模型,如:文 獻(xiàn)[1]利 用PubMed 摘要訓(xùn)練ELMo得到BioELMo;文 獻(xiàn)[2]通過(guò)在PubMed 摘要上訓(xùn)練BERT 得到KeBioLM;文獻(xiàn)[3-4]通過(guò)在臨床筆記MIMIC 上訓(xùn)練BERT 分別得到了ClinicalBERT 和BlueBERT;文獻(xiàn)[5]通過(guò)生物醫(yī)學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域的論文訓(xùn)練BERT 得到了SciBERT;文獻(xiàn)[6]通過(guò)PubMed 摘要和PMC 文章訓(xùn)練得到了BioBERT。

    WordPiece 技術(shù)被廣泛應(yīng)用在上述預(yù)訓(xùn)練語(yǔ)言模型中,有效緩解了缺少未登錄詞表示信息的問(wèn)題,而現(xiàn)有的BioNER 模型將從預(yù)訓(xùn)練模型獲得的語(yǔ)素嵌入表示后直接輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,或增加額外的特征信息后輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,在英文命名實(shí)體識(shí)別上依舊存在訓(xùn)練時(shí)無(wú)法充分利用子令牌標(biāo)簽信息和WordPiece 破壞單詞語(yǔ)義信息的問(wèn)題,在未登錄詞占比較高的生物醫(yī)學(xué)領(lǐng)域,這一問(wèn)題更加突出。為此,本文提出基于BiLSTM-Biaffine 詞義增強(qiáng)的生物醫(yī)學(xué)命名實(shí)體識(shí)別方法。

    2 BiLSTM-Biaffine 詞義增強(qiáng)模型

    圖1 所示為基于BiLSTM-Biaffine 詞義增強(qiáng)的生物醫(yī)學(xué)命名實(shí)體識(shí)別模型整體結(jié)構(gòu)。該模型由編碼模塊、特征提取模塊和解碼模塊3 個(gè)部分組成,其中,b、i、j、o和x為張量對(duì)應(yīng)維度的數(shù)值。

    圖1 BiLSTM-Biaffine 詞義增強(qiáng)模型結(jié)構(gòu)Fig.1 BiLSTM-Biaffine word meaning enhancement model structure

    2.1 編碼模塊

    語(yǔ)素是構(gòu)成語(yǔ)言的基本單位,也是最小的語(yǔ)法和語(yǔ)義單位。漢語(yǔ)的語(yǔ)素是漢字,而英語(yǔ)的語(yǔ)素是詞根詞綴。在英語(yǔ)中,不同的單詞可能有相同的詞根或詞綴,更能代表單詞的詞義,例如IL-2 和IL-2R都是DNA 類(lèi)型實(shí)體,都包含相同的語(yǔ)素“IL”,這有助于識(shí)別實(shí)體的類(lèi)別,同時(shí)可以使用已知語(yǔ)素表示未知的新生詞匯,有利于獲取未登錄詞的信息。在本文中,使用預(yù)訓(xùn)練版本的BioBERT 模型來(lái)獲取文本的語(yǔ)素嵌入表示。

    BioBERT 是基于BERT 模型而提出的,是一種用于生物醫(yī)學(xué)文本挖掘的特定領(lǐng)域BERT,在許多生物醫(yī)學(xué)文本挖掘任務(wù)中性能表現(xiàn)優(yōu)于BERT 和以前的模型,其獲取詞嵌入的過(guò)程如圖2 所示。

    在圖2 中:Wi表示句子中的第i個(gè)單詞;Wij表示第i個(gè)單詞的第j個(gè)語(yǔ)素。文本以單詞序列的形式輸入BioBERT,然后根據(jù)BioBERT 詞表將單詞拆分為語(yǔ)素,最后以語(yǔ)素為基本單位進(jìn)行編碼獲得語(yǔ)素嵌入表示。

    2.2 特征提取模塊

    特征提取模塊由單詞級(jí)的BiLSTM(Word-BiLSTM)和句子級(jí)的BiLSTM(Sentence-BiLSTM)構(gòu)成。單詞級(jí)的BiLSTM 用于獲取單詞內(nèi)部語(yǔ)素的序列信息,句子級(jí)的BiLSTM 用于獲取句子的上下文信息。LSTM 的計(jì)算公式如式(1)~式(6)所示:

    其中:σ和tanh()為激活函數(shù);it、ft、ot和ct分別對(duì)應(yīng)t時(shí)刻的輸入門(mén)、遺忘門(mén)、輸出門(mén)和記憶單元;?是點(diǎn)積運(yùn)算;w和b分別代表權(quán)重矩陣和偏置向量,它們的下標(biāo)表示對(duì)應(yīng)的輸入門(mén)(i)、遺忘門(mén)(f)、輸出門(mén)(o)和記憶單元(c);xt指t時(shí)刻輸入語(yǔ)素的特征表示;ht表示t時(shí)刻的隱藏狀態(tài)。

    2.2.1 BiLSTM-Biaffine

    單詞被拆分為語(yǔ)素后,容易產(chǎn)生本文概述中描述的問(wèn)題并且詞的內(nèi)部信息被割裂,可能會(huì)丟失部分詞義信息,而B(niǎo)iLSTM 能夠捕獲序列信息以及關(guān)聯(lián)信息,因此,本文模型在同一單詞的語(yǔ)素間應(yīng)用BiLSTM,以獲取語(yǔ)素的前向、后向信息,使用Biaffine注意力機(jī)制加強(qiáng)語(yǔ)素間的信息交互,最終將語(yǔ)素表示融合為單詞表示,計(jì)算公式如式(7)~式(9)所示:

    其中:fm表示由LSTM 獲取的第m個(gè)單詞語(yǔ)素的前向信息;bm表示由LSTM 獲取的第m個(gè)單詞語(yǔ)素的后向信息;Um和Wm是與輸入有關(guān)的矩陣;b′m是可選偏置。

    2.2.2 Sentence-BiLSTM

    為了獲取句子級(jí)的上下文信息,本文模型還在句子級(jí)使用BiLSTM,即Sentence-BiLSTM,將由BiLSTM-Biaffine 得到的單詞表示作為Sentence-BiLSTM 的基本單位,能夠有效控制句子長(zhǎng)度,緩解梯度消失問(wèn)題。Sentence-BiLSTM 為雙向LSTM,前向LSTM 提取每個(gè)單詞表示的上文信息,后向LSTM獲取單詞表示的下文信息。Sentence-BiLSTM在t時(shí)刻的隱藏狀態(tài)由前向和后向隱藏狀態(tài)拼接而成,如式(10)所示:

    2.3 解碼模塊

    NER 任務(wù)的最后一步是標(biāo)簽解碼,它接受上下文相關(guān)的表示作為輸入并生成與輸入序列對(duì)應(yīng)的標(biāo)簽序列?;贑RF 的解碼層能夠?qū)ψ罱K預(yù)測(cè)的標(biāo)簽進(jìn)行約束,彌補(bǔ)BiLSTM 無(wú)法處理相鄰標(biāo)簽之間依賴(lài)關(guān)系的缺點(diǎn),以確保得到最合理的標(biāo)簽序列。

    將BiLSTM 的輸出作為CRF 的輸入,以單詞為最小單位進(jìn)行標(biāo)簽預(yù)測(cè),規(guī)避了在語(yǔ)素級(jí)別進(jìn)行標(biāo)簽預(yù)測(cè)而產(chǎn)生的詞內(nèi)部標(biāo)簽不一致的問(wèn)題。給定輸入X,輸出預(yù)測(cè)標(biāo)簽的得分,計(jì)算公式如式(11)所示:

    其中:Ayi,yi+1是矩陣中的元素,表示標(biāo)簽yi轉(zhuǎn)移到標(biāo)簽yi+1的概率;yi表示y中的元素。在輸入X確定的情況下,y預(yù)測(cè)結(jié)果的概率計(jì)算公式如式(12)所示:

    其中:y|X是所有可能的標(biāo)簽組合;y為真實(shí)標(biāo)簽。模型最終選擇p(y|X)最大的標(biāo)簽序列,這個(gè)選擇的過(guò)程通過(guò)對(duì)數(shù)似然函數(shù)實(shí)現(xiàn)。訓(xùn)練過(guò)程中的似然函數(shù)如式(13)所示:

    最終從所有概率得分中通過(guò)式(14)選出概率最高的標(biāo)簽序列:

    其中:Yx表示所有可能的標(biāo)簽序列組合;y*為最終的標(biāo)簽序列。

    3 實(shí)驗(yàn)驗(yàn)證

    3.1 數(shù)據(jù)集

    在BC2GM、NCBI-Disease、BC5CDR-chem和JNLPBA等4 個(gè)BioNER 任務(wù)中常用的基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),驗(yàn)證本文方法在生物醫(yī)學(xué)數(shù)據(jù)集上的有效性。BC2GM 數(shù)據(jù)集由生物醫(yī)學(xué)出版物摘要中的20 128 條句子組成,并對(duì)蛋白質(zhì)、基因和相關(guān)實(shí)體的名稱(chēng)進(jìn)行了注釋。NCBI-Disease 數(shù)據(jù)集由793 篇PubMed 摘要組成,對(duì)疾病提及進(jìn)行了注釋。BC5CDR-chem 是用于BioCreative V 化學(xué)疾病關(guān)系任務(wù)的數(shù)據(jù)集,對(duì)化學(xué)實(shí)體和提及進(jìn)行了手動(dòng)注釋。JNLPBA 數(shù)據(jù)集包含了擴(kuò)展版本的生物實(shí)體識(shí)別數(shù)據(jù)集GENIA 版本3 命名實(shí)體語(yǔ)料庫(kù)中的MEDLINE 摘要,包含了“DNA”“RNA”“Protein”“cell_type”和“cell_line”這5 類(lèi)實(shí)體。各數(shù)據(jù)集的實(shí)體類(lèi)型及數(shù)量統(tǒng)計(jì)結(jié)果如表1 所示。

    表1 數(shù)據(jù)集統(tǒng)計(jì)信息Table 1 Statistics of datasets

    數(shù)據(jù)集采用“B-實(shí)體類(lèi)型”“I-實(shí)體類(lèi)型”和“O”標(biāo)簽進(jìn)行標(biāo)記,使用“B-實(shí)體類(lèi)型”標(biāo)簽標(biāo)注實(shí)體的開(kāi)始,“I-實(shí)體類(lèi)型”標(biāo)簽標(biāo)注組成實(shí)體的中間部分,“O”標(biāo)簽標(biāo)注與實(shí)體無(wú)關(guān)的信息。

    3.2 評(píng)估標(biāo)準(zhǔn)

    實(shí)驗(yàn)采用精確率(P)、召回率(R)和F1 值(F1)3 種測(cè)評(píng)指標(biāo),具體計(jì)算公式如式(15)~式(17)所示:

    其中:Tp、Fp、Fn分別表示正確識(shí)別的實(shí)體個(gè)數(shù)、錯(cuò)誤識(shí)別的實(shí)體個(gè)數(shù)和識(shí)別出的實(shí)體總數(shù)量。

    3.3 實(shí)驗(yàn)設(shè)置

    本文使用預(yù)訓(xùn)練版本的BioBERT 模型,所有的神經(jīng)網(wǎng)絡(luò)模型都是基于PyTorch 實(shí)現(xiàn)的,優(yōu)化器采用Adam 算法。實(shí)驗(yàn)參數(shù)設(shè)置如表2 所示。

    表2 實(shí)驗(yàn)參數(shù)設(shè)置Table 2 Experimental parameters setting

    3.4 結(jié)果分析

    為了驗(yàn)證本文模型的有效性,分別在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),將本文模型與近年來(lái)BioNER 領(lǐng)域具有代表性的序列標(biāo)注模型進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表3 所示,最優(yōu)結(jié)果加粗標(biāo)注。

    表3 不同模型的對(duì)比實(shí)驗(yàn)結(jié)果Table 3 Comparative experimental results of different models %

    在表3 中:MTM-CW 模型是文獻(xiàn)[18]提出的融合單詞和字符信息的多任務(wù)學(xué)習(xí)模型;文獻(xiàn)[34]提出的MT-BioNER 模型結(jié)合了BioBERT 和多任務(wù)學(xué)習(xí);MTL 是文獻(xiàn)[35]提出的機(jī)器閱讀理解模型。以上模型的實(shí)驗(yàn)結(jié)果均采用了原文獻(xiàn)中的最優(yōu)結(jié)果。

    從表3 可以看出,BiLSTM-Biaffine 相較于對(duì)比模型取得了更優(yōu)的性能,在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 數(shù)據(jù)集上的F1平均分別提升了2.99、1.84、3.09 和1.03 個(gè)百分點(diǎn),并且在數(shù)據(jù)集BC2GM、NCBI-Disease 和BC5CDR-chem 上的精確率和召回率也都高于對(duì)比模型。這主要是因?yàn)橐韵略颍?/p>

    1)BiLSTM-Biaffine 能夠獲取BioBERT語(yǔ)素的序列信息以及關(guān)聯(lián)信息。對(duì)比模型雖然均使用BioBERT 預(yù)訓(xùn)練模型,但是丟失了語(yǔ)素的序列信息和關(guān)聯(lián)信息,BiLSTM 能夠獲取語(yǔ)素的序列信息,Biaffine 注意力機(jī)制加強(qiáng)了其關(guān)聯(lián)并融合為單詞表示。

    2)BiLSTM-Biaffine 結(jié)構(gòu)能夠有效利用豐富的語(yǔ)素信息增強(qiáng)詞義表示。字符信息相較于語(yǔ)素包含的信息較少,多任務(wù)學(xué)習(xí)和機(jī)器閱讀理解無(wú)法針對(duì)性地增強(qiáng)詞義信息,而詞義信息對(duì)于表示信息相對(duì)匱乏的生物醫(yī)學(xué)領(lǐng)域是至關(guān)重要的。

    3)獲取語(yǔ)素的表示信息后將其重新融合為單詞表示,不僅解決了未登錄詞表示信息不足的問(wèn)題,而且句子長(zhǎng)度得到控制,緩解了梯度消失問(wèn)題。在單詞級(jí)別進(jìn)行標(biāo)簽預(yù)測(cè),規(guī)避了在語(yǔ)素標(biāo)簽預(yù)測(cè)過(guò)程中出現(xiàn)的標(biāo)簽不一致和跨單詞標(biāo)簽問(wèn)題。

    為了驗(yàn)證Biaffine 注意力機(jī)制的有效性,將其分別與自注意力機(jī)制(Self-Attention)、多頭注意力機(jī)制(Multi-Attention)進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表4所示。

    表4 不同注意力機(jī)制的對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Comparative experimental results of different attention mechanisms %

    從表4 可以看出,相較于Biaffine 注意力機(jī)制,Self-Attention 和Multi-Attention 并不能有效提升模型的性能。原因如下:雙仿射注意力機(jī)制可以進(jìn)行語(yǔ)素間的信息交互,能夠增強(qiáng)同一單詞語(yǔ)素間的內(nèi)部關(guān)聯(lián)信息;自注意力機(jī)制和多頭注意力機(jī)制主要關(guān)注怎樣從所給輸入中捕獲重要語(yǔ)義特征,在信息量較少的情況下無(wú)法發(fā)揮作用。

    以上實(shí)驗(yàn)結(jié)果說(shuō)明,相較于融合字符信息、多任務(wù)學(xué)習(xí)、機(jī)器閱讀理解等常用的BioNER 方法,BiLSTM-Biaffine 詞義增強(qiáng)方法能夠捕獲更多的詞義信息,使得BioNER 具有更高的準(zhǔn)確性。同時(shí),與自注意力和多頭注意力機(jī)制的對(duì)比實(shí)驗(yàn)結(jié)果也驗(yàn)證了Biaffine 注意力機(jī)制的有效性。

    3.5 消融實(shí)驗(yàn)

    為了進(jìn)一步驗(yàn)證BiLSTM-Biaffine 方法的有效性,本文設(shè)計(jì)消融實(shí)驗(yàn)。在相同的實(shí)驗(yàn)環(huán)境下,對(duì)比BioBERT(模型1)、BioBERT-BiLSTM-CRF(模型2)和BioBERT-BiLSTM-Biaffine-BiLSTM-CRF(模 型3)在數(shù)據(jù)集BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 上的性能,實(shí)驗(yàn)結(jié)果如表5 所示。

    表5 消融實(shí)驗(yàn)結(jié)果Table 5 Results of ablation experiment %

    從表5 可以看出,在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 數(shù)據(jù)集上,模型3的F1相較于模型1 平均分別提高 了1.99、3.31、1.92 和1.36 個(gè)百分點(diǎn),相較于模型2 平均分別提高了0.98、0.99、0.55 和1.36 個(gè)百分點(diǎn)。

    對(duì)模型2 與模型3 達(dá)到最優(yōu)性能所需要的訓(xùn)練批次進(jìn)行實(shí)驗(yàn),結(jié)果如圖3 所示。從圖3 可以看出,模型3 在4 個(gè)數(shù)據(jù)集上的訓(xùn)練批次均小于模型2,即模型3 具有更快的收斂速度,同時(shí)也驗(yàn)證了BiLSTM-Biaffine 結(jié)構(gòu)能夠有效緩解梯度消失問(wèn)題。

    相較于BioBERT 命名實(shí)體識(shí)別模型和BioBERT預(yù)訓(xùn)練與BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的命名實(shí)體識(shí)別模型,本文BioBERT-BiLSTM-Biaffine-BiLSTM-CRF 模型在不使用其他特征信息的情況下取得了更優(yōu)的性能,并且收斂速度更快,驗(yàn)證了基于BiLSTM-Biaffine 詞義增強(qiáng)方法的有效性。

    4 結(jié)束語(yǔ)

    生物醫(yī)學(xué)命名實(shí)體識(shí)別作為生物醫(yī)學(xué)文本信息的基礎(chǔ)任務(wù)之一,對(duì)于醫(yī)療事業(yè)的發(fā)展有著至關(guān)重要的作用。本文從生物醫(yī)學(xué)數(shù)據(jù)的特殊性出發(fā),提出一種BiLSTM-Biaffine 詞義增強(qiáng)方法,以有效利用語(yǔ)素來(lái)解決未登錄詞的表示問(wèn)題,同時(shí)避免由于語(yǔ)素過(guò)多導(dǎo)致的文本過(guò)長(zhǎng)、標(biāo)簽不一致和跨單詞標(biāo)簽問(wèn)題。通過(guò)BioBERT 預(yù)訓(xùn)練模型獲得語(yǔ)素嵌入表示,使用BiLSTM-Biaffine 方法獲取語(yǔ)素的序列信息以及完整的單詞信息,利用BiLSTM-CRF 模型獲取最終的預(yù)測(cè)標(biāo)簽序列。在BC2GM、NCBI-Disease、BC5CDR-chem 和JNLPBA 等4 個(gè)BioNER 任務(wù)常用基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果表明,BiLSTM-Biaffine詞義增強(qiáng)方法能夠有效提升BioNER 的性能。下一步考慮將BiLSTM-Biaffine 方法應(yīng)用到其他NER 模型中,并探究一種性能更優(yōu)的語(yǔ)素融合方法。

    猜你喜歡
    單詞信息模型
    一半模型
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    單詞連一連
    看圖填單詞
    訂閱信息
    中華手工(2017年2期)2017-06-06 23:00:31
    看完這些單詞的翻譯,整個(gè)人都不好了
    3D打印中的模型分割與打包
    展會(huì)信息
    單詞拾趣
    性色av一级| 最新的欧美精品一区二区| 国产成人91sexporn| 视频中文字幕在线观看| 亚洲精品成人av观看孕妇| 国产精品麻豆人妻色哟哟久久| 高清视频免费观看一区二区| freevideosex欧美| 国产精品一区www在线观看| 精品亚洲成国产av| 国产白丝娇喘喷水9色精品| 日韩一本色道免费dvd| 黑人高潮一二区| av国产精品久久久久影院| 国产亚洲一区二区精品| 午夜免费男女啪啪视频观看| 国产精品国产三级专区第一集| 日韩av免费高清视频| 亚洲欧美清纯卡通| 亚洲少妇的诱惑av| 国产高清不卡午夜福利| 亚洲天堂av无毛| 国产日韩一区二区三区精品不卡 | 免费人成在线观看视频色| 一级毛片黄色毛片免费观看视频| 少妇人妻久久综合中文| 在线观看免费高清a一片| 99热这里只有是精品在线观看| 在线观看免费视频网站a站| 国产成人精品久久久久久| 色婷婷av一区二区三区视频| 一二三四中文在线观看免费高清| 免费看av在线观看网站| 国产成人一区二区在线| 国产午夜精品久久久久久一区二区三区| 黑人猛操日本美女一级片| 日韩亚洲欧美综合| 久久国产精品男人的天堂亚洲 | 一级毛片 在线播放| 美女福利国产在线| 精品99又大又爽又粗少妇毛片| 亚洲久久久国产精品| 欧美日韩成人在线一区二区| 一区二区三区四区激情视频| 亚洲av在线观看美女高潮| 亚洲中文av在线| 3wmmmm亚洲av在线观看| av在线播放精品| 特大巨黑吊av在线直播| 亚洲国产日韩一区二区| 欧美日韩精品成人综合77777| 天堂8中文在线网| 青春草国产在线视频| 18+在线观看网站| 亚洲精品视频女| 国产精品欧美亚洲77777| 久久久久精品性色| 久久这里有精品视频免费| 亚洲精品aⅴ在线观看| 精品午夜福利在线看| 夜夜骑夜夜射夜夜干| 极品少妇高潮喷水抽搐| 国产免费福利视频在线观看| 亚洲av.av天堂| 国产男女内射视频| 美女xxoo啪啪120秒动态图| videossex国产| 少妇 在线观看| 亚洲精品一区蜜桃| av专区在线播放| 日日摸夜夜添夜夜添av毛片| 亚洲成人av在线免费| 午夜福利网站1000一区二区三区| 日本av免费视频播放| 一本色道久久久久久精品综合| 免费大片18禁| 高清欧美精品videossex| 青春草国产在线视频| 国产一区有黄有色的免费视频| 十八禁网站网址无遮挡| 国产成人精品久久久久久| 美女主播在线视频| 色哟哟·www| 午夜老司机福利剧场| 女的被弄到高潮叫床怎么办| 国产高清不卡午夜福利| 亚洲av福利一区| 免费日韩欧美在线观看| 99久久精品一区二区三区| 午夜日本视频在线| 国产精品女同一区二区软件| 免费看av在线观看网站| 色94色欧美一区二区| 国产成人91sexporn| 美女cb高潮喷水在线观看| 欧美精品高潮呻吟av久久| 日本黄大片高清| 18禁裸乳无遮挡动漫免费视频| 久久国内精品自在自线图片| 97超碰精品成人国产| 亚洲精品,欧美精品| 国产综合精华液| 亚洲国产欧美日韩在线播放| 黄色一级大片看看| 日本vs欧美在线观看视频| 中文字幕精品免费在线观看视频 | 日韩熟女老妇一区二区性免费视频| 欧美日韩视频精品一区| 免费av中文字幕在线| 美女福利国产在线| 久热久热在线精品观看| 久久精品熟女亚洲av麻豆精品| 岛国毛片在线播放| 亚洲精品日韩在线中文字幕| 亚洲av.av天堂| 最近中文字幕高清免费大全6| 九色亚洲精品在线播放| 精品亚洲乱码少妇综合久久| 欧美老熟妇乱子伦牲交| 国产精品人妻久久久久久| 精品少妇黑人巨大在线播放| 看免费成人av毛片| 九九在线视频观看精品| 最黄视频免费看| av天堂久久9| 日韩一区二区三区影片| 久久久国产精品麻豆| 女人精品久久久久毛片| 曰老女人黄片| 黄色配什么色好看| 国产成人免费观看mmmm| 久久久久精品性色| 久久毛片免费看一区二区三区| 日本-黄色视频高清免费观看| 在线观看三级黄色| 国产乱来视频区| 国产欧美亚洲国产| 十分钟在线观看高清视频www| 欧美日韩av久久| 欧美老熟妇乱子伦牲交| 搡女人真爽免费视频火全软件| 午夜福利影视在线免费观看| 中国美白少妇内射xxxbb| 日本av免费视频播放| 亚洲婷婷狠狠爱综合网| 亚洲精品久久成人aⅴ小说 | a级毛片黄视频| 久久毛片免费看一区二区三区| 一区在线观看完整版| 丝袜美足系列| 赤兔流量卡办理| av免费观看日本| 一区二区三区免费毛片| 日韩电影二区| 26uuu在线亚洲综合色| 亚洲综合精品二区| kizo精华| 亚州av有码| 秋霞在线观看毛片| 久久久久久久久久久免费av| 男女国产视频网站| 国产深夜福利视频在线观看| 久久久午夜欧美精品| 国产av国产精品国产| 老女人水多毛片| 日韩人妻高清精品专区| 亚洲欧美日韩卡通动漫| 一级毛片aaaaaa免费看小| av播播在线观看一区| 国模一区二区三区四区视频| 18+在线观看网站| 99热国产这里只有精品6| 我要看黄色一级片免费的| av视频免费观看在线观看| 日本色播在线视频| 久久国内精品自在自线图片| 十八禁网站网址无遮挡| 亚洲av福利一区| 免费看av在线观看网站| 午夜福利在线观看免费完整高清在| a级毛片免费高清观看在线播放| 久热久热在线精品观看| 国产女主播在线喷水免费视频网站| 在线观看国产h片| 亚洲精品乱码久久久v下载方式| 欧美精品一区二区大全| 亚洲色图综合在线观看| 青春草视频在线免费观看| 男人操女人黄网站| 日本欧美国产在线视频| 日本黄色日本黄色录像| 777米奇影视久久| 99热这里只有是精品在线观看| 波野结衣二区三区在线| 精品一区在线观看国产| 十八禁高潮呻吟视频| 久久久亚洲精品成人影院| 欧美日韩视频高清一区二区三区二| 国产日韩欧美亚洲二区| 久久99蜜桃精品久久| videossex国产| 免费看不卡的av| 亚洲欧洲国产日韩| 欧美xxxx性猛交bbbb| 黄色一级大片看看| av一本久久久久| 乱人伦中国视频| 18在线观看网站| 亚洲成人手机| 国产精品99久久久久久久久| 免费久久久久久久精品成人欧美视频 | 亚洲精品久久午夜乱码| 丝袜喷水一区| 黄片无遮挡物在线观看| av不卡在线播放| 人人妻人人爽人人添夜夜欢视频| 女人精品久久久久毛片| 蜜桃国产av成人99| 日韩人妻高清精品专区| 18禁在线无遮挡免费观看视频| 一区二区日韩欧美中文字幕 | 一本—道久久a久久精品蜜桃钙片| 久久人人爽人人片av| 免费高清在线观看日韩| 欧美性感艳星| 国产淫语在线视频| 少妇人妻久久综合中文| 在线观看www视频免费| 一级毛片黄色毛片免费观看视频| 青青草视频在线视频观看| 午夜影院在线不卡| 最新中文字幕久久久久| 青春草国产在线视频| 精品熟女少妇av免费看| 国产av国产精品国产| 久久这里有精品视频免费| 亚洲国产av影院在线观看| 国产乱来视频区| 午夜福利在线观看免费完整高清在| 最近中文字幕高清免费大全6| 久久精品熟女亚洲av麻豆精品| 视频区图区小说| 欧美xxxx性猛交bbbb| 人体艺术视频欧美日本| 亚洲精品av麻豆狂野| 久久狼人影院| 日韩大片免费观看网站| 熟妇人妻不卡中文字幕| 日本av免费视频播放| 曰老女人黄片| 一级毛片黄色毛片免费观看视频| 久久韩国三级中文字幕| 亚洲,欧美,日韩| 精品午夜福利在线看| 三上悠亚av全集在线观看| 久久久久久久久久久久大奶| 99久久精品国产国产毛片| 岛国毛片在线播放| 青青草视频在线视频观看| 日韩电影二区| 中文精品一卡2卡3卡4更新| 中文字幕亚洲精品专区| 街头女战士在线观看网站| 在现免费观看毛片| 国产男女超爽视频在线观看| 亚洲精品av麻豆狂野| 午夜免费男女啪啪视频观看| √禁漫天堂资源中文www| 精品亚洲成国产av| 搡女人真爽免费视频火全软件| 国产日韩欧美视频二区| 插逼视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 国产精品熟女久久久久浪| 久久国产精品男人的天堂亚洲 | 欧美亚洲 丝袜 人妻 在线| 久久99热这里只频精品6学生| 熟妇人妻不卡中文字幕| 三级国产精品欧美在线观看| 亚洲精品国产色婷婷电影| 国产一级毛片在线| 特大巨黑吊av在线直播| 久久久久久久国产电影| 五月开心婷婷网| 亚洲美女视频黄频| 色婷婷久久久亚洲欧美| 在线观看免费视频网站a站| 国产亚洲午夜精品一区二区久久| 欧美精品亚洲一区二区| 欧美人与善性xxx| 日本wwww免费看| 我要看黄色一级片免费的| 日韩一区二区视频免费看| 视频在线观看一区二区三区| 一区二区三区四区激情视频| 十八禁高潮呻吟视频| 伊人亚洲综合成人网| 久久久久久久精品精品| 亚洲精品一区蜜桃| 母亲3免费完整高清在线观看 | 一级爰片在线观看| 亚洲av中文av极速乱| 一级二级三级毛片免费看| 九九爱精品视频在线观看| 日本黄大片高清| 午夜老司机福利剧场| 伦理电影大哥的女人| 黄色怎么调成土黄色| 80岁老熟妇乱子伦牲交| 免费久久久久久久精品成人欧美视频 | 九色亚洲精品在线播放| 秋霞伦理黄片| 一级,二级,三级黄色视频| 国国产精品蜜臀av免费| 18禁动态无遮挡网站| 我的老师免费观看完整版| 成人漫画全彩无遮挡| 久久久a久久爽久久v久久| 亚洲天堂av无毛| 亚洲国产色片| 国产白丝娇喘喷水9色精品| 伦理电影免费视频| 国产高清三级在线| 人人妻人人澡人人看| 最近的中文字幕免费完整| 人体艺术视频欧美日本| 在线观看国产h片| 一个人免费看片子| 欧美日韩视频精品一区| av女优亚洲男人天堂| 久久久国产精品麻豆| 伦理电影免费视频| av在线老鸭窝| 日韩精品有码人妻一区| 99热全是精品| 国产免费一级a男人的天堂| 亚洲,一卡二卡三卡| 少妇精品久久久久久久| 久久免费观看电影| 一区二区三区免费毛片| 人妻一区二区av| 高清av免费在线| 久久久久久久国产电影| 欧美三级亚洲精品| 成人18禁高潮啪啪吃奶动态图 | 久久精品国产a三级三级三级| 免费观看av网站的网址| 欧美性感艳星| 久久婷婷青草| 日日撸夜夜添| 韩国高清视频一区二区三区| 男男h啪啪无遮挡| 又黄又爽又刺激的免费视频.| 如日韩欧美国产精品一区二区三区 | 久久久欧美国产精品| 超色免费av| 99久久综合免费| 又黄又爽又刺激的免费视频.| 久久国产精品大桥未久av| 国产亚洲最大av| av线在线观看网站| 男女边摸边吃奶| 午夜91福利影院| 精品少妇黑人巨大在线播放| 日韩三级伦理在线观看| 如何舔出高潮| 寂寞人妻少妇视频99o| 免费大片18禁| 男人添女人高潮全过程视频| 亚洲色图 男人天堂 中文字幕 | 国产日韩一区二区三区精品不卡 | 成人毛片a级毛片在线播放| 91久久精品国产一区二区成人| 日韩欧美一区视频在线观看| 搡女人真爽免费视频火全软件| 免费日韩欧美在线观看| 亚洲经典国产精华液单| videosex国产| 91aial.com中文字幕在线观看| 91久久精品国产一区二区三区| 在线观看人妻少妇| 亚洲欧洲国产日韩| 熟女人妻精品中文字幕| 国产在线视频一区二区| 亚洲综合色网址| 久久精品国产a三级三级三级| 国产极品天堂在线| 插阴视频在线观看视频| 亚洲,欧美,日韩| 国产亚洲欧美精品永久| 特大巨黑吊av在线直播| 亚洲精品日韩在线中文字幕| 一区二区三区乱码不卡18| 人人妻人人爽人人添夜夜欢视频| 中文精品一卡2卡3卡4更新| 狠狠精品人妻久久久久久综合| 日韩人妻高清精品专区| 午夜影院在线不卡| 精品国产乱码久久久久久小说| 女性被躁到高潮视频| 性高湖久久久久久久久免费观看| 一区二区三区免费毛片| 三级国产精品欧美在线观看| 一级黄片播放器| 日产精品乱码卡一卡2卡三| 久久久精品区二区三区| 国产国语露脸激情在线看| 妹子高潮喷水视频| 91久久精品电影网| videosex国产| 自拍欧美九色日韩亚洲蝌蚪91| 如何舔出高潮| 国产免费一级a男人的天堂| 日本av手机在线免费观看| 精品一品国产午夜福利视频| 我的女老师完整版在线观看| 成年av动漫网址| 亚洲精品日韩在线中文字幕| 亚洲精品av麻豆狂野| 人妻 亚洲 视频| 国产一区二区在线观看av| 丰满饥渴人妻一区二区三| 欧美三级亚洲精品| 在线观看免费高清a一片| 国产伦理片在线播放av一区| 免费久久久久久久精品成人欧美视频 | 亚洲天堂av无毛| 少妇人妻精品综合一区二区| 亚洲欧美精品自产自拍| 精品少妇内射三级| 99re6热这里在线精品视频| 男女高潮啪啪啪动态图| 黄色欧美视频在线观看| 一级毛片 在线播放| 狠狠精品人妻久久久久久综合| 成人手机av| 一边摸一边做爽爽视频免费| 两个人的视频大全免费| 日韩免费高清中文字幕av| 国产探花极品一区二区| 精品国产国语对白av| 大话2 男鬼变身卡| 国产视频内射| 26uuu在线亚洲综合色| 丁香六月天网| 男女国产视频网站| 黄色一级大片看看| 国内精品宾馆在线| 免费人妻精品一区二区三区视频| 欧美成人午夜免费资源| 国产欧美另类精品又又久久亚洲欧美| 久久毛片免费看一区二区三区| 日本av手机在线免费观看| .国产精品久久| 亚洲精品日本国产第一区| 18在线观看网站| 久久久久久久大尺度免费视频| 国产伦精品一区二区三区视频9| 老女人水多毛片| 国产精品三级大全| 欧美激情国产日韩精品一区| 久久午夜福利片| 亚洲欧美精品自产自拍| 日本黄色片子视频| 久久久久久伊人网av| 亚洲丝袜综合中文字幕| 人人澡人人妻人| 女性生殖器流出的白浆| av又黄又爽大尺度在线免费看| 亚洲美女视频黄频| 精品一区二区三区视频在线| 99国产精品免费福利视频| 爱豆传媒免费全集在线观看| 国产精品久久久久久精品古装| 亚洲激情五月婷婷啪啪| 性色avwww在线观看| 欧美精品一区二区大全| 天堂8中文在线网| 少妇被粗大的猛进出69影院 | 亚洲激情五月婷婷啪啪| 韩国av在线不卡| 国产精品无大码| 国产69精品久久久久777片| 欧美亚洲 丝袜 人妻 在线| 精品99又大又爽又粗少妇毛片| av又黄又爽大尺度在线免费看| 在线播放无遮挡| 毛片一级片免费看久久久久| av网站免费在线观看视频| 嘟嘟电影网在线观看| 美女国产视频在线观看| 久热这里只有精品99| 国产成人av激情在线播放 | 日本av手机在线免费观看| 99视频精品全部免费 在线| 国产黄色视频一区二区在线观看| 一区在线观看完整版| 日日啪夜夜爽| av天堂久久9| 久久女婷五月综合色啪小说| 国产精品久久久久久精品电影小说| 国产 一区精品| 99热这里只有精品一区| 精品久久国产蜜桃| 国产精品.久久久| av女优亚洲男人天堂| 国产熟女午夜一区二区三区 | 9色porny在线观看| 熟女电影av网| 韩国高清视频一区二区三区| 色吧在线观看| 日韩在线高清观看一区二区三区| 99九九在线精品视频| 22中文网久久字幕| 免费黄网站久久成人精品| xxx大片免费视频| 国产伦理片在线播放av一区| 亚洲综合精品二区| 国产精品成人在线| av在线app专区| 久久午夜综合久久蜜桃| 精品国产露脸久久av麻豆| 人妻系列 视频| 亚洲国产av影院在线观看| 国产av一区二区精品久久| 久久韩国三级中文字幕| 一级,二级,三级黄色视频| 精品99又大又爽又粗少妇毛片| 国产男女内射视频| 看十八女毛片水多多多| 欧美日韩av久久| 久久久久精品久久久久真实原创| 日韩一区二区视频免费看| 91精品国产国语对白视频| 22中文网久久字幕| 乱人伦中国视频| 亚洲精品国产色婷婷电影| 免费高清在线观看日韩| 国产精品国产三级国产专区5o| 久久久久久久久大av| 日韩成人伦理影院| 人妻人人澡人人爽人人| 亚洲美女黄色视频免费看| 久久久久久久亚洲中文字幕| 亚洲精品久久午夜乱码| 国产成人精品无人区| 午夜精品国产一区二区电影| 97在线视频观看| 国产男女超爽视频在线观看| 99热这里只有是精品在线观看| 最近最新中文字幕免费大全7| 亚洲欧美成人精品一区二区| 美女cb高潮喷水在线观看| 国产精品一国产av| 日韩电影二区| 丝袜美足系列| 一区二区三区精品91| 丁香六月天网| 精品少妇久久久久久888优播| 国产免费一级a男人的天堂| 精品99又大又爽又粗少妇毛片| 欧美国产精品一级二级三级| 精品国产一区二区三区久久久樱花| 国产亚洲一区二区精品| 18禁裸乳无遮挡动漫免费视频| 久久精品国产亚洲av涩爱| 亚洲国产色片| 26uuu在线亚洲综合色| 赤兔流量卡办理| 一级毛片我不卡| 国产精品一国产av| 亚洲精品久久成人aⅴ小说 | 日韩,欧美,国产一区二区三区| 下体分泌物呈黄色| www.色视频.com| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 一区二区av电影网| 久久久欧美国产精品| 最近手机中文字幕大全| 91aial.com中文字幕在线观看| 大又大粗又爽又黄少妇毛片口| av卡一久久| 国产精品偷伦视频观看了| 欧美一级a爱片免费观看看| av在线播放精品| 亚洲精品亚洲一区二区| 免费黄频网站在线观看国产| 午夜免费鲁丝| a级毛片在线看网站| 91成人精品电影| 亚洲色图综合在线观看| 亚洲精品视频女| 久久久久久久亚洲中文字幕| 日日爽夜夜爽网站| 亚洲精品久久久久久婷婷小说| 亚洲欧美色中文字幕在线| 国产免费视频播放在线视频| 又大又黄又爽视频免费| 亚洲精华国产精华液的使用体验| 日本欧美国产在线视频| 少妇人妻 视频| 亚洲精品一二三| 在线 av 中文字幕| av福利片在线| 国产午夜精品一二区理论片| 国产精品久久久久成人av| 国产精品一国产av| 考比视频在线观看| 国产亚洲精品久久久com| 国产国语露脸激情在线看| 亚洲无线观看免费| 人妻少妇偷人精品九色| 一级毛片 在线播放| 国产在线免费精品| 国产亚洲一区二区精品|