• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合部首特征和BERT-Transformer-CRF的中文電子病歷實(shí)體識別方法研究

    2022-12-07 13:31:32蔣明峰
    軟件工程 2022年12期
    關(guān)鍵詞:部首命名病歷

    姚 蕾,蔣明峰,方 賢,魏 波,李 楊

    (浙江理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,浙江 杭州 310018)

    1 引言(Introduction)

    近年來,隨著網(wǎng)絡(luò)技術(shù)和信息系統(tǒng)的不斷發(fā)展和完善,醫(yī)療系統(tǒng)產(chǎn)生的醫(yī)療數(shù)據(jù)將急劇增加。電子病歷是指醫(yī)務(wù)人員在開展醫(yī)療活動(dòng)的過程中,使用信息系統(tǒng)生成的數(shù)字化資料,一般包括文字、圖表、數(shù)據(jù)、符號、圖形和影像[1]。電子病歷中涉及大量的文字信息,中文電子病歷命名實(shí)體識別作為重要的中文電子醫(yī)療數(shù)據(jù)信息抽取任務(wù),普遍受到研究人員的重視。

    命名實(shí)體識別是指從非結(jié)構(gòu)化或半結(jié)構(gòu)化的文本數(shù)據(jù)中提取實(shí)體,并將檢測到的實(shí)體歸類至預(yù)先定義好的一類中。其中,電子病歷命名實(shí)體識別的主要目的是識別與分類醫(yī)療記錄中的臨床術(shù)語,包括實(shí)驗(yàn)室檢驗(yàn)、手術(shù)和藥物等。例如,某份電子病歷中的“患者緣于2 小時(shí)前無明顯誘因出現(xiàn)左腹部疼痛……”,其中“左腹部”屬于身體部位實(shí)體,“疼痛”屬于癥狀和體征實(shí)體,“門診經(jīng)泌尿系超聲”中的“泌尿系超聲”為檢查實(shí)體。命名實(shí)體識別研究成果能夠?yàn)闃?gòu)建醫(yī)學(xué)知識庫、繪制信息抽取和知識圖譜等后續(xù)的臨床研究提供支撐。然而,手動(dòng)抽取實(shí)體信息會(huì)消耗較大的時(shí)間和人力成本,因此很多研究者采用自然語言處理技術(shù)解決以上問題。

    目前,國外關(guān)于命名實(shí)體識別的絕大部分研究均基于英文[2],而國內(nèi)對于中文電子病歷命名識別的研究尚處于初期階段,沒有建設(shè)全面的體系結(jié)構(gòu)。主要原因是中文電子病歷命名實(shí)體識別的規(guī)范和標(biāo)準(zhǔn)無法達(dá)成統(tǒng)一,中文電子病歷文本中實(shí)體沒有自然的分隔符,而且醫(yī)療實(shí)體的組成較為復(fù)雜。因此,本文將利用部首信息和術(shù)語字典開展命名實(shí)體識別研究任務(wù)。

    針對中文電子病歷命名實(shí)體識別任務(wù),本文使用BERT獲得輸入的信息向量表示,結(jié)合部首級特征表示,以此作為Transformer模塊的輸入。Transformer模塊對上下文長距離的位置依賴特征進(jìn)行提取,并在CRF模塊中對上下文標(biāo)注進(jìn)行約束,最終輸出序列標(biāo)注結(jié)果。本文提出的方法在CCKS2017和CCKS2021數(shù)據(jù)集上廣泛評估了其可用性和實(shí)用性。

    本文提出一種基于BERT-Transformer-CRF(BTC)的中文電子病歷命名實(shí)體識別方法;其主要工作原理歸納如下:(1)鑒于句子中的實(shí)體間存在依賴關(guān)系,本文使用Transformer獲得更好的上下文特征表示,從而捕捉字符之間的長距離依賴關(guān)系。其中,多頭注意力機(jī)制可以直接捕捉角色之間的依賴關(guān)系,解決了一般深度模型隨著實(shí)體間距離增加長期依賴能力下降的問題。(2)本文通過添加部首特征,并將部首信息和深度學(xué)習(xí)模型相結(jié)合,解決了移植一般深度學(xué)習(xí)模型導(dǎo)致的醫(yī)療實(shí)體識別性能差的問題。(3)本文在真實(shí)的電子病歷語料上驗(yàn)證模型的效果,實(shí)驗(yàn)結(jié)果表明,BTC模型在CCKS2017和CCKS2021數(shù)據(jù)集上具有良好的性能優(yōu)勢。

    2 命名實(shí)體識別相關(guān)工作(Related work of named entity recognition)

    命名實(shí)體識別是從大規(guī)模非結(jié)構(gòu)化文本數(shù)據(jù)中提取具有實(shí)際意義的實(shí)體[3],主要分為基于詞典和規(guī)則、基于統(tǒng)計(jì)和基于神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識別方法。

    基于規(guī)則的方法依賴于一個(gè)龐大且全面的領(lǐng)域字典,需要領(lǐng)域?qū)<沂謩?dòng)構(gòu)建規(guī)則和模板[4],無法在不同領(lǐng)域間復(fù)用。在統(tǒng)計(jì)的經(jīng)典機(jī)器學(xué)習(xí)方法中,隱馬爾科夫模型(Hidden Marko Model,HMM)[5]、支持向量機(jī)(Support Vector Machine,SVM)[6]、條件隨機(jī)場(Conditional Random Field,CRF)[7]得到廣泛應(yīng)用。例如,扈應(yīng)等[8]提出一種結(jié)合CRF的邊界組合命名實(shí)體識別方法,有效地利用了生物醫(yī)學(xué)實(shí)體特征。統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法需要設(shè)計(jì)特征模板提取特征,實(shí)體識別效果易受到構(gòu)建的特征集合的影響。

    近年來,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法廣泛運(yùn)用于自然語言處理領(lǐng)域。WU等[9]在雙向長短期記憶(Bidirectional Long Short-Term Memory,BiLSTM)網(wǎng)絡(luò)后引入自注意力機(jī)制,并提出一種新的細(xì)粒度字符級表示方法用于獲取更多的漢字語義信息。LI等[10]提出BERT-BiLSTM-CRF模型,在未標(biāo)記的中文臨床記錄上預(yù)訓(xùn)練BERT模型增強(qiáng)語義信息,利用BiLSTM和CRF等不同層次提取文本特征和解碼預(yù)測標(biāo)簽。YIN等[11]使用自注意力捕捉字符間的相關(guān)性,在CCKS2017和TP_CNER數(shù)據(jù)集中的F1評分分別達(dá)到93.00%和86.34%。KONG等[12]通過構(gòu)建多層次卷積神經(jīng)網(wǎng)絡(luò)(CNN)融合長短期信息,設(shè)計(jì)一種注意力機(jī)制獲取全局上下文信息。YA等[13]提出XLNET-BiLSTM-CRF模型,利用預(yù)訓(xùn)練的XLNET提取句子特征。QIU等[14]提出帶有條件隨機(jī)場的RD-CNN-CRF模型解決通過時(shí)間傳播的隱形激活矢量導(dǎo)致訓(xùn)練時(shí)間過長的問題,殘差卷積神經(jīng)網(wǎng)絡(luò)用來捕捉相鄰標(biāo)簽間的依賴關(guān)系。然而,長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)和CNN捕捉字符長期依賴關(guān)系的能力將隨著實(shí)體間距離的增加而下降。這些模型沒有充分考慮醫(yī)學(xué)領(lǐng)域數(shù)據(jù)信息的特點(diǎn),在醫(yī)學(xué)實(shí)體識別方面的效果不佳。

    相較于傳統(tǒng)的Word2vec、Glove、ELMO詞向量方法[15],BERT能獲得更好的字符嵌入表示。除了單詞嵌入,其他一些特征對于提升命名實(shí)體識別效果也有幫助。電子病歷文本中有海量的醫(yī)學(xué)專業(yè)術(shù)語,高質(zhì)量的醫(yī)學(xué)術(shù)語詞典對于提取醫(yī)療領(lǐng)域知識的特征非常有用。因此,本文將部首特征和術(shù)語字典特征與深度學(xué)習(xí)模型相融合。

    3 BERT-Transformer-CRF模型(The model of BERT-Transformer-CRF)

    本文提出的BERT-Transformer-CRF模型架構(gòu)主要由BERT、Transformer、CRF三個(gè)模塊組成,模型架構(gòu)如圖1所示,其基本思想是通過微調(diào)的BERT模型進(jìn)行預(yù)訓(xùn)練提取輸入的信息特征,將字向量表示序列和部首特征嵌入連接起來,加入字典特征,通過Transformer層獲得長距離的文本依賴,在CRF模塊中對上下文標(biāo)注約束進(jìn)行解碼,最終輸出序列結(jié)果。

    圖1 BERT-Transformer-CRF+radical 模型架構(gòu)圖Fig.1 Model architecture diagram of BERTTransformer-CRF+radical

    3.1 中文預(yù)訓(xùn)練模型BERT

    BERT模型的主要?jiǎng)?chuàng)新點(diǎn)在于使用掩碼語言模型(Mask Language Model,MLM)獲取字符級特征表示和下一句預(yù)測進(jìn)行預(yù)訓(xùn)練[16],學(xué)習(xí)到的先驗(yàn)語義知識通過微調(diào)被應(yīng)用到下游任務(wù)中。這樣得到的向量不僅包含隱含的上下文信息,還能夠更徹底地捕捉句子中的雙向關(guān)系。谷歌官方發(fā)布的BERTbase及其中文版本并沒有在中文臨床領(lǐng)域進(jìn)行預(yù)訓(xùn)練。北京大學(xué)國際數(shù)學(xué)研究中心發(fā)布了基于中文臨床語料庫的預(yù)訓(xùn)練模型[10],本研究使用臨床文本生成的PyTorch版本的預(yù)訓(xùn)練BERT模型,該模型從網(wǎng)絡(luò)上爬取1.05 G臨床文本,從現(xiàn)有的BERT檢查點(diǎn)開始,在BERT的原始詞匯表增加46 個(gè)字符并在特定域上進(jìn)行預(yù)訓(xùn)練。本文模型從預(yù)訓(xùn)練好的BERT模型獲得字符級的增強(qiáng)語義信息,結(jié)合部首信息輸入Transformer層中。

    3.2 部首特征

    近些年,部首特征被廣泛運(yùn)用于命名實(shí)體識別任務(wù)中[17]。漢字是象形文字和方塊字,它們有更深次的語義隱含在漢字內(nèi)部。偏旁部首“月”通常與身體部位有關(guān)[18],比如“肺”“肝”“腦”是用來代表人體器官的。“疒”通常與疾病和診斷有關(guān),“口”通常出現(xiàn)在癥狀實(shí)體中。然而,目前主流的命名實(shí)體識別方法不能將預(yù)先訓(xùn)練好的模型與中文部首信息相結(jié)合。本研究從在線新華字典獲取漢字的偏旁部首組成,它以“字符-偏旁部首”的形式生成一個(gè)鍵值對字典。部首信息編碼與BERT獲得字向量編碼疊加融合到深度學(xué)習(xí)網(wǎng)絡(luò)中。

    本文引入字典信息提升命名實(shí)體識別的效果。針對藥物、手術(shù)等術(shù)語字典,利用雙向最大匹配算法[19]在文本中找到對應(yīng)實(shí)體。具體來說,利用雙向最大匹配算法分割文本和標(biāo)注出現(xiàn)在字典中的實(shí)體,如果文本可以通過該算法被標(biāo)注為第j個(gè)標(biāo)簽,則通過向該元素添加常數(shù)修改線性層的輸出,以此提高識別效果。

    3.3 Transformer層

    Transformer是一種全聯(lián)接的多頭自注意力神經(jīng)網(wǎng)絡(luò)模型。面向機(jī)器翻譯等任務(wù)的Transformer[20]由編碼組件、解碼組件及它們中間的連接組成。本文提出的模型僅使用其中的編碼器進(jìn)行醫(yī)療文本序列的長距離位置依賴關(guān)系特征建模。

    Transformer的編碼器由多頭注意力和前饋神經(jīng)網(wǎng)絡(luò)組成。如圖2所示,BERT獲得的字符嵌入與部首嵌入進(jìn)行結(jié)合,輸出信息進(jìn)入Transformer層,與位置嵌入進(jìn)行拼接得到Xembedding,作為多頭注意力機(jī)制的輸入。多頭注意力由多個(gè)自注意力拼接組成。多頭注意力結(jié)構(gòu)由中心塊的若干線性變換和點(diǎn)積注意力組成。Attention的工作原理如下:給定輸入的Xembedding向量,然后讀入輸入向量通過矩陣進(jìn)行線性變換得到Query向量Key向量,以及Value向量

    圖2 多頭注意力結(jié)構(gòu)Fig.2 Multi-head attention structure

    接著利用得到的Q和K,使用點(diǎn)積法計(jì)算輸入序列的相關(guān)性得分。對相關(guān)性得分進(jìn)行歸一化,使得訓(xùn)練時(shí)梯度穩(wěn)定。經(jīng)過Softmax函數(shù)將得分向量轉(zhuǎn)化為[0,1]之間的概率分布并與V進(jìn)行點(diǎn)積。如式(4)所示,令輸出矩陣,則:

    F(X)與L再次進(jìn)行殘差連接和歸一化,構(gòu)造出一個(gè)編碼器,疊加多個(gè)編碼器,最終得到Transformer層的輸出。

    3.4 CRF層

    CRF是自然語言處理的基礎(chǔ)模型,廣泛運(yùn)用于序列標(biāo)注模型,對上下文標(biāo)注進(jìn)行約束使得正確的輸出標(biāo)簽最大化。在中文電子病例命名實(shí)體識別任務(wù)中,輸出標(biāo)注之間存在強(qiáng)相關(guān)性,相鄰的標(biāo)簽之間有依賴關(guān)系,例如標(biāo)簽“B-疾病和診斷”不能跟在“I-疾病和診斷”之后。Transformer輸出的向量只考慮了上下文之間的長距離依賴關(guān)系,沒有考慮標(biāo)簽之間的順序,而CRF層自動(dòng)學(xué)習(xí)句子的約束條件,所以引入條件隨機(jī)場解決這一問題。對于給定的輸入CRF通過Softmax函數(shù)運(yùn)用隨機(jī)條件概率預(yù)測輸出向量標(biāo)簽序列Y的得分:

    維特比算法可以通過動(dòng)態(tài)規(guī)劃算法獲得最優(yōu)路徑。

    4 實(shí)驗(yàn)和結(jié)果(Experiment and result)

    實(shí)驗(yàn)采用Python 3.8語言開發(fā),軟件模型基于PyTorch深度學(xué)習(xí)框架,采用Adam作為優(yōu)化器,學(xué)習(xí)率為2e-5,批處理大小為8,epochs迭代次數(shù)為15 次,max_seq_length=480,hidden_size為768,dropout為0.1,部首特征向量維度為20。硬件采用2 塊NVIDIA GeForce RTX 3090顯卡訓(xùn)練。

    4.1 數(shù)據(jù)集

    本研究的數(shù)據(jù)集源自2017 年全國知識圖譜與語義計(jì)算大會(huì)(CCKS2017)和2021年全國知識圖譜與語義計(jì)算大會(huì)(CCKS2021)。數(shù)據(jù)集包含實(shí)際的電子病歷數(shù)據(jù),由專業(yè)醫(yī)學(xué)領(lǐng)域團(tuán)隊(duì)手工進(jìn)行注釋。首先對數(shù)據(jù)進(jìn)行預(yù)處理,采用NER領(lǐng)域的標(biāo)準(zhǔn)標(biāo)注策略BIO,“B”表示醫(yī)療實(shí)體的起始位置,“I”表示醫(yī)療實(shí)體的中間部分,“O”表示與醫(yī)療實(shí)體無關(guān)的部分。

    在CCKS2017數(shù)據(jù)集中,有四種類型的電子病歷,包括一般項(xiàng)目、病史特點(diǎn)、診療經(jīng)過及出院記錄,共有五類命名實(shí)體:DISEASE(疾病和診斷)、SIGNS(癥狀和體征)、CHECK(檢查和檢驗(yàn))、BODY(身體部位)及TREATMENT(治療)。由于本文的研究人員沒有參加比賽,所以獲得的數(shù)據(jù)集不完整。訓(xùn)練集有960 條臨床記錄,測試集包含120 條臨床記錄。表1列出了不同類別實(shí)體的統(tǒng)計(jì)數(shù)據(jù);各實(shí)體分布比例如圖3所示。

    圖3 CCKS2017各類別實(shí)體分布Fig.3 Distribution of various entities on CCKS2017 dataset

    表1 CCKS2017不同類別醫(yī)療實(shí)體統(tǒng)計(jì)Tab.1 Statistics of different types of medical entities on CCKS2017 dataset

    在CCKS2021數(shù)據(jù)集中,有1,150 條臨床記錄,按8∶2的比例劃分訓(xùn)練集和測試集,共有實(shí)驗(yàn)室檢驗(yàn)、藥物、影像檢查、解剖部位、疾病和診斷及手術(shù)6 類命名實(shí)體。表2列出了不同類別實(shí)體的統(tǒng)計(jì)數(shù)據(jù);圖4顯示各實(shí)體分布比例。

    表2 CCKS2021不同類別醫(yī)療實(shí)體統(tǒng)計(jì)Tab.2 Statistics of different types of medical entities on CCKS2021 dataset

    圖4 CCKS2021各類別實(shí)體分布Fig.4 Distribution of various entities on CCKS2021 dataset

    4.2 評價(jià)指標(biāo)

    本實(shí)驗(yàn)采用命名實(shí)體識別通用的評價(jià)指標(biāo)正確率P(Precision)、召回率R(Recall)、F1值(F-measure)對電子病例命名實(shí)體識別結(jié)果進(jìn)行性能衡量,其計(jì)算公式分別如下:

    式(9)—式(11)中,TP為識別正確的實(shí)體詞數(shù),F(xiàn)P為實(shí)體識別正確但類別或者邊界判定出現(xiàn)錯(cuò)誤,F(xiàn)N為應(yīng)該被識別但實(shí)際沒有被識別的醫(yī)療實(shí)體的數(shù)量。

    4.3 結(jié)果和討論

    4.3.1 實(shí)驗(yàn)結(jié)果比較與分析

    為了驗(yàn)證BTC模型在CCKS2017數(shù)據(jù)集的有效性,與其他的命名實(shí)體識別方法進(jìn)行比較與分析,實(shí)驗(yàn)結(jié)果如表3所示。BiLSTM+CRF通過Word2vec訓(xùn)練單詞嵌入。CRF保證了標(biāo)簽序列之間的順序,BERT+CRF與BiLSTM+CRF兩個(gè)基線模型進(jìn)行對比,實(shí)驗(yàn)表明BERT能獲得更好的特征表示。為了驗(yàn)證預(yù)訓(xùn)練BERT的有效性,進(jìn)行BERT+BiLSTM+CRF和BiLSTM+CRF的對比實(shí)驗(yàn),結(jié)果表明,在CCKS2017數(shù)據(jù)集中引入在臨床預(yù)訓(xùn)練好的BERT模型后,P、R、F1值分別提高了4.98%、1.8%、3.41%。為了證明Transformer的有效性,進(jìn)行BTC和BERT+BiLSTM+CRF的對比實(shí)驗(yàn)。在CCKS2017數(shù)據(jù)集上,P、R、F1值分別提高了4.4%、4.99%、4.69%,這優(yōu)于其他現(xiàn)有技術(shù)方法。充分表明Transformer中多頭注意力機(jī)制使其具有較強(qiáng)的長距離依賴關(guān)系表征能力,能獲得更好的上下文表示。除此以外,本文將術(shù)語字典和部首特征等應(yīng)用于微調(diào)的BERT模型,Transformer能獲得豐富的語義信息,F(xiàn)1提高了0.22%。

    表3 CCKS2017模型對比實(shí)驗(yàn)Tab.3 Model comparison experiment on CCKS2017 dataset

    除了觀察整個(gè)測試數(shù)據(jù)集的評估指標(biāo),本研究仔細(xì)觀察了預(yù)測的結(jié)果。在BTC模型的基礎(chǔ)上,添加部首特征信息并應(yīng)用字典信息后處理,模型在不同類型和臨床實(shí)體上的性能如表4所示。在CCKS2017數(shù)據(jù)集中,在檢查和檢驗(yàn)、疾病和診斷、癥狀和體征及治療方面取得了較好的效果,但未能有效識別身體部位特征。檢查結(jié)果發(fā)現(xiàn):預(yù)測實(shí)體遺漏了一些部位,例如正確實(shí)體為“頭皮”“咽部”“右側(cè)頂骨”“頭顱”“右側(cè)上下肢”,模型則預(yù)測為“頭”“咽”“右側(cè)頂”“頭”“右側(cè)上下”,部分部位遺漏;其次,類別標(biāo)注錯(cuò)誤,如檢查類實(shí)體“查體雙肺呼吸音粗”,模型提取“雙肺部位”,識別類別錯(cuò)誤。

    表4 CCKS2017各類型實(shí)體的識別比較Tab.4 Recognition and comparison of different types of entities on CCKS2017

    本文還在CCKS2021數(shù)據(jù)集上做了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表5所示。同樣,選取BiLSTM+CRF與BERT+CRF對比,F(xiàn)1提高了3.52%,表明引入臨床語料上預(yù)訓(xùn)練的BERT模型優(yōu)于BiLSTM模型。BTC相較于BERT+BiLSTM+CRF在P、R、F1上分別提升1.01%、0.59%、0.81%;結(jié)果表明,Transformer能夠獲得長距離依賴關(guān)系的能力優(yōu)于BiLSTM。相較于基線BiLSTM-CRF,本文的F1提高了4.39%。本文引入藥物和手術(shù)等詞典,利用字典信息后處理的方法修改線性層的輸出。引入外部部首特征和術(shù)語詞典,總體P、R、F1值提升了0.03%、0.6%、0.3%,方法受限于領(lǐng)域詞典的質(zhì)量,結(jié)果不顯著。各實(shí)體的P、R、F1值如表6所示。在CCKS2021數(shù)據(jù)集中,疾病和診斷及實(shí)驗(yàn)室檢驗(yàn)識別效果較差:第一,預(yù)測實(shí)體的位置是缺失或者冗余的。比如,預(yù)測的實(shí)體是“口腔”“子宮”,而正確的實(shí)體識別是“口腔潰瘍”“子宮內(nèi)膜分段診刮”。第二,標(biāo)注的命名實(shí)體識描述過長,預(yù)測的命名實(shí)體通常較短,比如“宮內(nèi)孕不全流產(chǎn)”,模型預(yù)測的實(shí)體為“宮內(nèi)孕不全”。第三,預(yù)測的實(shí)體存在錯(cuò)誤的標(biāo)注,比如“結(jié)腸癌病變”正確類別為疾病和診斷,而模型預(yù)測的結(jié)果提取“結(jié)腸”,該實(shí)體識別的類別為解剖部位,識別結(jié)果錯(cuò)誤。

    表5 CCKS2021模型對比實(shí)驗(yàn)Tab.5 Model comparison experiment on CCKS2021 dataset

    表6 CCKS2021各類型實(shí)體的識別比較Tab.6 Recognition and comparison of different types of entities on CCKS2021

    4.3.2 與現(xiàn)有方法比較

    CCKS2017數(shù)據(jù)集其他的測試結(jié)果可以在表7中看到,體現(xiàn)了本文最佳模型和最先進(jìn)的深度模型之間的比較結(jié)果。QIN等[21]在中文電子病歷領(lǐng)域提出了一個(gè)基于RoBERTa-BiGRUCRF的命名實(shí)體識別方法,將其應(yīng)用于腦血管疾病領(lǐng)域,通過將電子病歷轉(zhuǎn)化為低維向量輸入BiGRU層捕獲上下文特征,總體F1值達(dá)到90.38%。羅熹等[22]提出一種融合領(lǐng)域詞典的字符級表示方法,結(jié)合多頭注意力機(jī)制和BiLSTM-CRF捕捉字符間的潛在依賴權(quán)重、語義和結(jié)構(gòu)特征等多方面特征。WU等[23]利用RoBERTa中的全詞掩碼獲取詞向量表示,同時(shí)通過BiLSTM捕捉提取部首信息后捕捉特征的內(nèi)在關(guān)聯(lián)性,并拼接RoBERTa生成的特征向量。李丹等[24]設(shè)計(jì)BiLSTM與CRF的聯(lián)合模型并引入BERT模型,預(yù)測的時(shí)候考慮了上下文特征,同時(shí)將部首信息與字向量編碼相結(jié)合,利用部首信息在標(biāo)簽矩陣中加入部首以修改CRF層得分函數(shù),F(xiàn)1分?jǐn)?shù)可以增加到93.81%。張?jiān)魄锏萚25]將RoBERTa-wwm中的各編碼層生成的語義表示進(jìn)行動(dòng)態(tài)融合,BiLSTM層用來捕獲序列信息,再輸入條件隨機(jī)場保證各標(biāo)簽之間的順序關(guān)系。實(shí)驗(yàn)表明,本文模型在CCKS2017數(shù)據(jù)集上取得了96.22%的精度,相較于其他模型,總體識別精度提高了2.14%—5.84%,優(yōu)于其他模型。

    表7 與CCKS2017現(xiàn)有的深度模型比較Tab.7 Comparison with the existing deep model on CCKS2017 dataset

    從表8可以看出,BTC+radical+dictionary模型取得了總體F1值為84.65%的成績;而BiLSTM+CRF、BERT+CRF、BERT+BiLSTM+CRF的總體F1值分別為80.26%、83.78%、83.54%。相較于以上模型,本文的F1值分別提高了4.39%、0.87%、1.11%,充分證明了本文模型的有效性。BERT+CRF與BiLSTM+CRF相比,預(yù)訓(xùn)練BERT獲取字向量特征時(shí)具有非常好的并行性質(zhì),總體識別的精度為83.78%。將BERT+BiLSTM+CRF與BiLSTM+CRF進(jìn)行對比發(fā)現(xiàn),F(xiàn)1提高了3.28%,充分說明在臨床語料庫預(yù)訓(xùn)練的BERT模型能獲得更加豐富的語義特征,證明預(yù)訓(xùn)練BERT模型的有效性。BTC相比BERT+BiLSTM+CRF,各實(shí)體識別精度均有提升,總體識別精度提升了0.81%,表明Transformer獲得實(shí)體間長距離依賴能力優(yōu)于BiLSTM。引入部首特征和手術(shù)、藥物術(shù)語詞典,模型的性能進(jìn)一步提升,但受限于詞典的質(zhì)量,結(jié)果提升不顯著,在解剖部位、藥物、疾病和診斷、實(shí)驗(yàn)室檢驗(yàn)實(shí)體類別中識別的精確度分別提升了0.52%、0.14%、0.24%、1.23%。本文模型在解剖部位、手術(shù)、影像檢查三種實(shí)體的識別效果均為最好。同時(shí),從表8中可以發(fā)現(xiàn),BiLSTM+CRF模型在疾病和診斷、實(shí)驗(yàn)室檢查中取得了最好的成績,即88.48%、87.91%,這證明了有些模型即使總體F1值并非最高,在特定實(shí)體上也能獲得出色的性能。

    表8 不同模型在CCKS2021數(shù)據(jù)集上對每個(gè)實(shí)體和整體的F1值的預(yù)測結(jié)果Tab.8 Prediction results of different models on CCKS2021 dataset for F1 value of each entity and the whole

    圖5表明本文模型對身體部位類別的識別效果較差。根據(jù)圖6的混淆矩陣顯示,本文的模型對影像檢查、手術(shù)、解剖部位實(shí)體識別效果較好。本文的最佳模型對實(shí)體的中間部位識別率較高,起始部位識別有偏差。其中,手術(shù)的起始位置可能被劃分為手術(shù)的中間位置,比如“小腸切除術(shù)”被錯(cuò)誤劃

    圖5 CCKS2017實(shí)體類別混淆矩陣Fig.5 Entity category confusion matrix on

    圖6 CCKS2021實(shí)體類別混淆矩陣Fig.6 Entity category confusion matrix on CCKS2021 dataset

    5 結(jié)論(Conclusion)

    本文提出一種基于微調(diào)的BERT-Transformer-CRF實(shí)體識別模型。該模型通過在中文臨床語料庫預(yù)訓(xùn)練的BERT獲得字符級的增強(qiáng)語義信息,與部首語義信息融合輸入Transformer。Transformer中的多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)能夠更好地捕捉字符間的長距離依賴關(guān)系,CRF能保證臨近標(biāo)簽間的順序關(guān)系,有效提升了醫(yī)療領(lǐng)域命名實(shí)體的識別能力。同時(shí),添加手術(shù)、藥物等術(shù)語字典特征進(jìn)一步提升性能。實(shí)驗(yàn)結(jié)果表明,該模型能有效識別手術(shù)、影像檢查、解剖部位等領(lǐng)域?qū)嶓w,在CCKS2017和CCKS2021數(shù)據(jù)集中獲得96.22%和84.65%的F1值,優(yōu)于現(xiàn)有模型的結(jié)果。在未來工作中,考慮擴(kuò)充學(xué)習(xí)高質(zhì)量的領(lǐng)域詞典和構(gòu)建更大規(guī)模的語料庫,可以將其應(yīng)用到醫(yī)學(xué)命名實(shí)體的信息抽取和醫(yī)療知識圖譜的構(gòu)建等后續(xù)工作中。

    猜你喜歡
    部首命名病歷
    部首歌
    強(qiáng)迫癥病歷簿
    趣味(語文)(2021年9期)2022-01-18 05:52:42
    弄清偏旁與部首
    命名——助力有機(jī)化學(xué)的學(xué)習(xí)
    “大數(shù)的認(rèn)識”的診斷病歷
    補(bǔ)
    有一種男人以“暖”命名
    東方女性(2018年3期)2018-04-16 15:30:02
    為一條河命名——在白河源
    散文詩(2017年17期)2018-01-31 02:34:08
    為何要公開全部病歷?
    村醫(yī)未寫病歷,誰之過?
    视频区欧美日本亚洲| 久久久久网色| 黄频高清免费视频| 久久天躁狠狠躁夜夜2o2o | 亚洲国产av新网站| 女警被强在线播放| 美女扒开内裤让男人捅视频| √禁漫天堂资源中文www| 日韩中文字幕视频在线看片| 日韩人妻精品一区2区三区| 国产有黄有色有爽视频| 欧美成狂野欧美在线观看| 久久这里只有精品19| 18禁裸乳无遮挡动漫免费视频| 国产精品 欧美亚洲| 脱女人内裤的视频| 777久久人妻少妇嫩草av网站| 黄网站色视频无遮挡免费观看| 午夜视频精品福利| 日韩 欧美 亚洲 中文字幕| 国产av一区二区精品久久| 捣出白浆h1v1| 亚洲欧美一区二区三区黑人| 99香蕉大伊视频| 久久久久久亚洲精品国产蜜桃av| 中国国产av一级| 国产成人a∨麻豆精品| www日本在线高清视频| 亚洲一区中文字幕在线| 国产在线一区二区三区精| 男人添女人高潮全过程视频| 亚洲,欧美,日韩| 国产男女超爽视频在线观看| 久久99一区二区三区| 久久免费观看电影| 1024视频免费在线观看| 国产97色在线日韩免费| 亚洲欧美日韩高清在线视频 | 一区二区av电影网| 多毛熟女@视频| 亚洲色图综合在线观看| 亚洲欧美精品综合一区二区三区| 男女午夜视频在线观看| 黄片小视频在线播放| 成在线人永久免费视频| 制服诱惑二区| 男女高潮啪啪啪动态图| av电影中文网址| 国产精品一二三区在线看| 乱人伦中国视频| kizo精华| 国产有黄有色有爽视频| 欧美人与性动交α欧美精品济南到| 18禁裸乳无遮挡动漫免费视频| 熟女av电影| 午夜影院在线不卡| 亚洲精品日本国产第一区| av国产久精品久网站免费入址| 免费在线观看日本一区| 成人影院久久| 中文字幕人妻熟女乱码| 久久99精品国语久久久| 亚洲欧美日韩高清在线视频 | 大香蕉久久成人网| 男的添女的下面高潮视频| 成人亚洲欧美一区二区av| 亚洲av电影在线进入| 叶爱在线成人免费视频播放| 亚洲国产日韩一区二区| 久久精品aⅴ一区二区三区四区| 日韩制服丝袜自拍偷拍| 中文乱码字字幕精品一区二区三区| 成人国产av品久久久| 男女下面插进去视频免费观看| 五月开心婷婷网| 99re6热这里在线精品视频| 国产av一区二区精品久久| 国产又爽黄色视频| 每晚都被弄得嗷嗷叫到高潮| 久久国产精品人妻蜜桃| 欧美精品一区二区免费开放| 成人午夜精彩视频在线观看| 久久国产亚洲av麻豆专区| 亚洲熟女精品中文字幕| 日韩,欧美,国产一区二区三区| 丝袜脚勾引网站| 搡老乐熟女国产| 高清视频免费观看一区二区| 亚洲av在线观看美女高潮| 久久久久精品国产欧美久久久 | 黑人巨大精品欧美一区二区蜜桃| 侵犯人妻中文字幕一二三四区| 亚洲一区中文字幕在线| 亚洲国产中文字幕在线视频| 亚洲国产欧美一区二区综合| 视频区欧美日本亚洲| 91精品三级在线观看| 蜜桃在线观看..| 日韩欧美一区视频在线观看| 亚洲精品久久成人aⅴ小说| 国产xxxxx性猛交| 天天躁狠狠躁夜夜躁狠狠躁| 国产日韩欧美亚洲二区| 极品少妇高潮喷水抽搐| 欧美人与善性xxx| 色精品久久人妻99蜜桃| 欧美另类一区| 亚洲精品在线美女| 国产av一区二区精品久久| 精品免费久久久久久久清纯 | 久久性视频一级片| 中文字幕最新亚洲高清| 亚洲午夜精品一区,二区,三区| 两个人免费观看高清视频| 国产成人精品久久二区二区91| 菩萨蛮人人尽说江南好唐韦庄| 国产高清videossex| 免费在线观看日本一区| 日本91视频免费播放| 在线天堂中文资源库| 1024视频免费在线观看| 久久ye,这里只有精品| 国产精品久久久久久精品古装| 国产精品香港三级国产av潘金莲 | 免费av中文字幕在线| 一级黄色大片毛片| kizo精华| 成人手机av| 50天的宝宝边吃奶边哭怎么回事| 97人妻天天添夜夜摸| 男人舔女人的私密视频| 老汉色av国产亚洲站长工具| 波多野结衣一区麻豆| 亚洲 欧美一区二区三区| 建设人人有责人人尽责人人享有的| 午夜免费观看性视频| 视频区欧美日本亚洲| 国产成人欧美在线观看 | 亚洲av成人不卡在线观看播放网 | 亚洲成av片中文字幕在线观看| 精品熟女少妇八av免费久了| 久久青草综合色| 久久综合国产亚洲精品| 国产精品欧美亚洲77777| 激情五月婷婷亚洲| 欧美大码av| 9色porny在线观看| 国产成人免费无遮挡视频| 精品卡一卡二卡四卡免费| 午夜日韩欧美国产| 夜夜骑夜夜射夜夜干| 五月天丁香电影| 欧美精品亚洲一区二区| 青青草视频在线视频观看| 精品人妻1区二区| 韩国高清视频一区二区三区| 麻豆乱淫一区二区| 欧美日韩国产mv在线观看视频| 青春草亚洲视频在线观看| 亚洲av成人精品一二三区| 亚洲av欧美aⅴ国产| 最新的欧美精品一区二区| 婷婷色麻豆天堂久久| 中文欧美无线码| 如日韩欧美国产精品一区二区三区| 亚洲七黄色美女视频| 婷婷色麻豆天堂久久| 免费观看a级毛片全部| 亚洲av国产av综合av卡| 在线观看免费高清a一片| 狠狠精品人妻久久久久久综合| 中文字幕人妻丝袜一区二区| 中文字幕人妻熟女乱码| 日日爽夜夜爽网站| 男人添女人高潮全过程视频| 亚洲国产欧美一区二区综合| 亚洲精品国产色婷婷电影| 少妇粗大呻吟视频| 美女高潮到喷水免费观看| 精品国产乱码久久久久久小说| 国产高清国产精品国产三级| 女人被躁到高潮嗷嗷叫费观| 亚洲av电影在线进入| 少妇猛男粗大的猛烈进出视频| av天堂久久9| 一级毛片我不卡| 亚洲国产最新在线播放| 成年人午夜在线观看视频| 两个人看的免费小视频| 国产日韩一区二区三区精品不卡| 亚洲av片天天在线观看| 亚洲,一卡二卡三卡| 久久久久国产一级毛片高清牌| 国产欧美日韩精品亚洲av| 亚洲国产日韩一区二区| 国产熟女欧美一区二区| 男的添女的下面高潮视频| 欧美亚洲 丝袜 人妻 在线| av一本久久久久| 久热爱精品视频在线9| 精品人妻在线不人妻| 日本午夜av视频| 国精品久久久久久国模美| 制服人妻中文乱码| 亚洲精品成人av观看孕妇| 亚洲精品在线美女| 精品国产一区二区三区久久久樱花| 免费不卡黄色视频| 手机成人av网站| 巨乳人妻的诱惑在线观看| 亚洲熟女精品中文字幕| 午夜91福利影院| av在线app专区| 国产在线免费精品| 久久影院123| 三上悠亚av全集在线观看| 性高湖久久久久久久久免费观看| 成人国语在线视频| av国产久精品久网站免费入址| 午夜免费男女啪啪视频观看| 丝袜人妻中文字幕| 中文字幕av电影在线播放| 少妇 在线观看| 国产伦理片在线播放av一区| 精品一区二区三区四区五区乱码 | 最近中文字幕2019免费版| 婷婷色麻豆天堂久久| 亚洲av男天堂| 国产片内射在线| 国产片内射在线| 色视频在线一区二区三区| 老司机深夜福利视频在线观看 | 国产在视频线精品| 国产日韩一区二区三区精品不卡| 少妇猛男粗大的猛烈进出视频| 欧美日韩黄片免| 久久精品aⅴ一区二区三区四区| 天天添夜夜摸| 大香蕉久久成人网| 亚洲欧洲日产国产| 丰满少妇做爰视频| 亚洲精品国产av蜜桃| 国产精品久久久av美女十八| 国产精品久久久av美女十八| 人人妻人人爽人人添夜夜欢视频| 天天躁夜夜躁狠狠久久av| 国产女主播在线喷水免费视频网站| 欧美精品人与动牲交sv欧美| 亚洲国产av影院在线观看| 岛国毛片在线播放| 亚洲色图综合在线观看| 国产成人免费无遮挡视频| 丰满饥渴人妻一区二区三| 狠狠精品人妻久久久久久综合| www.自偷自拍.com| 免费在线观看完整版高清| 看免费成人av毛片| 夫妻性生交免费视频一级片| 国产精品久久久久久人妻精品电影 | 精品高清国产在线一区| 99热全是精品| 91字幕亚洲| 精品国产乱码久久久久久男人| 亚洲综合色网址| 亚洲成人免费电影在线观看 | 男女国产视频网站| 丝袜在线中文字幕| 欧美精品人与动牲交sv欧美| 99国产精品99久久久久| 精品视频人人做人人爽| 亚洲天堂av无毛| netflix在线观看网站| 纯流量卡能插随身wifi吗| 日韩人妻精品一区2区三区| 夫妻午夜视频| 亚洲精品一区蜜桃| 夫妻性生交免费视频一级片| 久久国产亚洲av麻豆专区| 国产免费又黄又爽又色| 69精品国产乱码久久久| 秋霞在线观看毛片| 黑丝袜美女国产一区| 国产男女内射视频| 日韩 亚洲 欧美在线| 国产免费又黄又爽又色| 欧美日韩视频精品一区| 又黄又粗又硬又大视频| 久久久欧美国产精品| 婷婷色综合大香蕉| 亚洲国产精品成人久久小说| av有码第一页| 久久人人爽av亚洲精品天堂| 日本欧美视频一区| 一区在线观看完整版| av电影中文网址| 黄片小视频在线播放| 男女下面插进去视频免费观看| 青青草视频在线视频观看| 午夜免费成人在线视频| 天天躁夜夜躁狠狠久久av| 中文字幕av电影在线播放| 国产精品麻豆人妻色哟哟久久| 久久天躁狠狠躁夜夜2o2o | 精品少妇一区二区三区视频日本电影| 少妇粗大呻吟视频| 国产一区二区 视频在线| 好男人视频免费观看在线| 久久久精品区二区三区| 丝袜喷水一区| 成在线人永久免费视频| 久9热在线精品视频| 首页视频小说图片口味搜索 | 免费女性裸体啪啪无遮挡网站| 宅男免费午夜| 国产在线免费精品| 青草久久国产| 免费av中文字幕在线| 午夜91福利影院| 亚洲专区中文字幕在线| 在线精品无人区一区二区三| 精品久久久久久电影网| 黄色视频在线播放观看不卡| 91精品三级在线观看| 一级毛片 在线播放| 欧美成人午夜精品| 精品国产乱码久久久久久男人| 一级毛片电影观看| 久久人人97超碰香蕉20202| 亚洲av欧美aⅴ国产| 看免费av毛片| 国产真人三级小视频在线观看| 后天国语完整版免费观看| 欧美人与性动交α欧美软件| 人妻一区二区av| 久久久久视频综合| 国产爽快片一区二区三区| 男女下面插进去视频免费观看| 啦啦啦中文免费视频观看日本| 精品亚洲乱码少妇综合久久| 男的添女的下面高潮视频| 亚洲,一卡二卡三卡| 国产av一区二区精品久久| 欧美成狂野欧美在线观看| 男男h啪啪无遮挡| 国产精品麻豆人妻色哟哟久久| 免费人妻精品一区二区三区视频| 女人爽到高潮嗷嗷叫在线视频| 亚洲视频免费观看视频| 亚洲成国产人片在线观看| 一区二区三区激情视频| 亚洲九九香蕉| 中文字幕av电影在线播放| 国产又爽黄色视频| 免费在线观看黄色视频的| 精品卡一卡二卡四卡免费| 1024香蕉在线观看| av网站在线播放免费| 男人舔女人的私密视频| 国产精品成人在线| 好男人视频免费观看在线| 天天影视国产精品| 日本色播在线视频| 老司机影院成人| 久久鲁丝午夜福利片| 国产男人的电影天堂91| 欧美 日韩 精品 国产| 高清黄色对白视频在线免费看| 免费在线观看日本一区| 亚洲欧美精品综合一区二区三区| 大陆偷拍与自拍| 欧美日韩视频高清一区二区三区二| 国产亚洲精品第一综合不卡| 欧美日韩成人在线一区二区| 一本综合久久免费| 日韩,欧美,国产一区二区三区| 国产亚洲午夜精品一区二区久久| 伊人久久大香线蕉亚洲五| 纵有疾风起免费观看全集完整版| 热re99久久国产66热| 搡老岳熟女国产| 18禁黄网站禁片午夜丰满| 欧美精品亚洲一区二区| 香蕉丝袜av| 9色porny在线观看| 国产日韩欧美在线精品| 午夜影院在线不卡| 日本一区二区免费在线视频| 亚洲三区欧美一区| 久久免费观看电影| 婷婷色综合www| 欧美精品高潮呻吟av久久| 这个男人来自地球电影免费观看| 人妻人人澡人人爽人人| 精品少妇黑人巨大在线播放| 国产成人啪精品午夜网站| 男人舔女人的私密视频| 成人黄色视频免费在线看| 国产精品熟女久久久久浪| 捣出白浆h1v1| 一级毛片电影观看| 免费黄频网站在线观看国产| 久久中文字幕一级| 国产97色在线日韩免费| 秋霞在线观看毛片| 一区福利在线观看| 国产国语露脸激情在线看| 9热在线视频观看99| 亚洲人成77777在线视频| 色婷婷av一区二区三区视频| 亚洲国产精品成人久久小说| 亚洲久久久国产精品| 午夜激情久久久久久久| 天天影视国产精品| 精品久久久久久电影网| 九色亚洲精品在线播放| 色94色欧美一区二区| 久久久久国产一级毛片高清牌| 国产一级毛片在线| 久久国产精品大桥未久av| 国产成人欧美在线观看 | 亚洲精品乱久久久久久| 欧美精品亚洲一区二区| 欧美人与善性xxx| 亚洲一卡2卡3卡4卡5卡精品中文| 一级毛片女人18水好多 | 色网站视频免费| 午夜日韩欧美国产| 黄色一级大片看看| 伦理电影免费视频| 久久狼人影院| 亚洲精品国产色婷婷电影| 黄片小视频在线播放| 亚洲欧美日韩高清在线视频 | 亚洲av美国av| 久久99热这里只频精品6学生| 亚洲精品美女久久久久99蜜臀 | 欧美在线一区亚洲| 亚洲欧美中文字幕日韩二区| 久久性视频一级片| 97人妻天天添夜夜摸| 婷婷色麻豆天堂久久| a 毛片基地| 天堂中文最新版在线下载| 亚洲精品日本国产第一区| 叶爱在线成人免费视频播放| 好男人视频免费观看在线| 久久av网站| 少妇猛男粗大的猛烈进出视频| 高清视频免费观看一区二区| svipshipincom国产片| 免费在线观看完整版高清| 国产97色在线日韩免费| 人人妻,人人澡人人爽秒播 | 日本猛色少妇xxxxx猛交久久| 精品少妇一区二区三区视频日本电影| 永久免费av网站大全| 99九九在线精品视频| 亚洲精品国产av蜜桃| 少妇裸体淫交视频免费看高清 | 亚洲专区国产一区二区| 香蕉丝袜av| 午夜日韩欧美国产| 女性生殖器流出的白浆| 国产av国产精品国产| 亚洲男人天堂网一区| 免费久久久久久久精品成人欧美视频| tube8黄色片| 国产成人av教育| 欧美亚洲日本最大视频资源| 亚洲精品久久久久久婷婷小说| 中文乱码字字幕精品一区二区三区| 大陆偷拍与自拍| 啦啦啦视频在线资源免费观看| 日韩伦理黄色片| 国产精品99久久99久久久不卡| 永久免费av网站大全| 精品少妇一区二区三区视频日本电影| 又大又爽又粗| 亚洲欧美日韩另类电影网站| 一区在线观看完整版| 婷婷成人精品国产| 欧美精品一区二区免费开放| 久久精品亚洲熟妇少妇任你| 丝袜人妻中文字幕| 亚洲欧美中文字幕日韩二区| 亚洲黑人精品在线| 欧美日韩亚洲高清精品| 亚洲欧美日韩高清在线视频 | 大话2 男鬼变身卡| 国产日韩一区二区三区精品不卡| av线在线观看网站| 久久免费观看电影| 久久99热这里只频精品6学生| 午夜影院在线不卡| 日韩伦理黄色片| 一边摸一边抽搐一进一出视频| 深夜精品福利| 精品国产一区二区久久| 一边摸一边抽搐一进一出视频| www.av在线官网国产| 成人国产av品久久久| 免费在线观看视频国产中文字幕亚洲 | 男人舔女人的私密视频| 永久免费av网站大全| av在线播放精品| 日本欧美视频一区| 色精品久久人妻99蜜桃| 日日爽夜夜爽网站| 亚洲国产看品久久| 又大又爽又粗| 亚洲av电影在线观看一区二区三区| 亚洲专区中文字幕在线| 交换朋友夫妻互换小说| netflix在线观看网站| 另类亚洲欧美激情| 操出白浆在线播放| www日本在线高清视频| 91麻豆精品激情在线观看国产 | 亚洲一区二区三区欧美精品| av在线播放精品| 日韩精品免费视频一区二区三区| 两性夫妻黄色片| 国产成人精品久久二区二区免费| 一区二区日韩欧美中文字幕| 中文字幕人妻熟女乱码| 欧美精品亚洲一区二区| 免费在线观看完整版高清| 后天国语完整版免费观看| 王馨瑶露胸无遮挡在线观看| 国产淫语在线视频| 大香蕉久久成人网| 美国免费a级毛片| 18禁国产床啪视频网站| 国产一区二区在线观看av| 手机成人av网站| 女性生殖器流出的白浆| 亚洲国产中文字幕在线视频| 欧美 日韩 精品 国产| 亚洲欧美一区二区三区黑人| 国产精品亚洲av一区麻豆| 亚洲精品在线美女| 国产三级黄色录像| 高清欧美精品videossex| 在线看a的网站| 日韩 亚洲 欧美在线| 日本午夜av视频| 好男人电影高清在线观看| 久久这里只有精品19| 亚洲精品久久成人aⅴ小说| 国产亚洲午夜精品一区二区久久| 欧美变态另类bdsm刘玥| 熟女少妇亚洲综合色aaa.| 亚洲,欧美,日韩| 啦啦啦在线免费观看视频4| 黄色视频不卡| 超碰成人久久| 大型av网站在线播放| 黄色视频在线播放观看不卡| 天天操日日干夜夜撸| 飞空精品影院首页| 操美女的视频在线观看| 国产精品久久久av美女十八| 亚洲国产av新网站| 日韩视频在线欧美| 亚洲欧洲精品一区二区精品久久久| 国产在线免费精品| av国产久精品久网站免费入址| 免费观看av网站的网址| 亚洲精品日本国产第一区| 1024视频免费在线观看| 欧美 亚洲 国产 日韩一| 男的添女的下面高潮视频| 亚洲三区欧美一区| 狂野欧美激情性xxxx| h视频一区二区三区| www.熟女人妻精品国产| 亚洲av美国av| 最近手机中文字幕大全| 男女下面插进去视频免费观看| 国产黄色视频一区二区在线观看| 在线观看免费日韩欧美大片| 国产亚洲精品第一综合不卡| 一级片'在线观看视频| 精品人妻在线不人妻| 99九九在线精品视频| 国产成人精品无人区| 亚洲欧美一区二区三区国产| 亚洲国产av影院在线观看| 亚洲av美国av| 下体分泌物呈黄色| 日韩一卡2卡3卡4卡2021年| 亚洲国产精品999| av不卡在线播放| 在线观看免费午夜福利视频| 80岁老熟妇乱子伦牲交| 最近手机中文字幕大全| 婷婷色综合大香蕉| 午夜免费男女啪啪视频观看| 婷婷色综合www| 免费在线观看黄色视频的| 宅男免费午夜| 一本色道久久久久久精品综合| 爱豆传媒免费全集在线观看| 人妻一区二区av| 欧美人与性动交α欧美软件| 日本午夜av视频| 欧美黑人精品巨大| 黄色毛片三级朝国网站| 欧美亚洲 丝袜 人妻 在线| 成年av动漫网址| 美女扒开内裤让男人捅视频| 国产免费现黄频在线看| 精品福利观看| 午夜老司机福利片| 久久亚洲国产成人精品v|