• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合RoBERTa與多策略召回的醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化①

    2022-11-07 09:08:00韓振橋付立軍劉俊明郭宇捷唐珂軻
    計算機系統(tǒng)應(yīng)用 2022年10期
    關(guān)鍵詞:排序語義標(biāo)準(zhǔn)化

    韓振橋,付立軍,劉俊明,郭宇捷,唐珂軻,,梁 銳

    1(中國科學(xué)院 沈陽計算技術(shù)研究所,沈陽 110168)

    2(中國科學(xué)院大學(xué),北京 100049)

    3(山東大學(xué) 大數(shù)據(jù)技術(shù)與認(rèn)知智能實驗室,濟南 250100)

    4(中康健康科技有限公司,廣州 510620)

    1 引言

    近年來,隨著國家對醫(yī)療健康的重視,人們對自身健康的關(guān)注度也越來越高,很多企業(yè)和研究單位都開始深入智能醫(yī)療與健康領(lǐng)域,其中包括騰訊、阿里、京東、百度以及各AI 醫(yī)療企業(yè)等,共同推動了智能診療、醫(yī)療問答、臨床輔助決策等技術(shù)的發(fā)展.在醫(yī)學(xué)場景中,已經(jīng)可以直觀地感受到醫(yī)學(xué)文本數(shù)量明顯的增加,其中醫(yī)學(xué)文本包括醫(yī)學(xué)文獻(xiàn)、臨床檢測報告、電子病歷記錄、醫(yī)療保險記錄等,這些醫(yī)學(xué)文本中包含了大量的可以挖掘利用的信息,而這些數(shù)據(jù)中大多是非結(jié)構(gòu)化或者半結(jié)構(gòu)化,如何更好地對這些數(shù)據(jù)進(jìn)行有效的分析和利用,是當(dāng)前的研究熱點和難點.

    術(shù)語標(biāo)準(zhǔn)化能夠幫助數(shù)據(jù)更合理的分析和利用并且提升下游任務(wù)的應(yīng)用效果.本文主要研究中文醫(yī)療文本的術(shù)語標(biāo)準(zhǔn)化.醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化是將非正式的醫(yī)學(xué)術(shù)語如“經(jīng)皮髂骨成形術(shù)”,映射到正式的醫(yī)學(xué)概念,如概念“骨盆成形術(shù)”,然后再對應(yīng)到相應(yīng)的醫(yī)學(xué)編碼上.這項任務(wù)在醫(yī)學(xué)領(lǐng)域非常重要,在臨床上,關(guān)于一種疾病、藥品、癥狀等都有各種不同的寫法(包含非正式、非標(biāo)準(zhǔn)的形式還有誤寫等),如果都能夠歸一到對應(yīng)的術(shù)語上來,它能夠推動AI 技術(shù)在醫(yī)學(xué)應(yīng)用系統(tǒng)上的落地,如“CDSS (臨床決策診療系統(tǒng))”“DRGs (診斷相關(guān)分組管理系統(tǒng))”等[1].并且這項技術(shù)在輔助診療、公共衛(wèi)生檢測、醫(yī)療檢索等方面有巨大的作用.

    在廣大研究者的積極推動下,關(guān)于術(shù)語標(biāo)準(zhǔn)化的研究經(jīng)過了如下的幾個階段: 基于規(guī)則和字符詞典匹配的方法[2,3]、基于機器學(xué)習(xí)的方法[4]、基于深度學(xué)習(xí)的方法[5,6].早期的基于規(guī)則的方法,由于人工消耗較大且只能在特定的語料上達(dá)到滿意的效果,所以在處理比較復(fù)雜的數(shù)據(jù)時往往達(dá)不到預(yù)期.后來隨著機器學(xué)習(xí)、深度學(xué)習(xí)的發(fā)展,人力構(gòu)建規(guī)則的成本消耗得到很大的緩解,相應(yīng)術(shù)語標(biāo)準(zhǔn)化的準(zhǔn)確率也獲得了極大的提升.由于深度學(xué)習(xí)方法的非線性建模能力更強、能夠利用語義信息等優(yōu)點,所以在術(shù)語標(biāo)準(zhǔn)化的任務(wù)上的效果也能達(dá)到更好.隨著預(yù)訓(xùn)練模型BERT[7]的誕生,因為它是通過未標(biāo)注維基百科數(shù)據(jù)訓(xùn)練得到,包含了豐富的先驗知識和語義信息,所以在術(shù)語標(biāo)準(zhǔn)化任務(wù)上利用預(yù)訓(xùn)練模型會比傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)如LSTM[8]有更優(yōu)越的性能.

    目前來說,在使用BERT 進(jìn)行術(shù)語標(biāo)準(zhǔn)化任務(wù)時一般會采用的方法為直接排序和先召回再排序兩種方式.后一種方式能夠相對減少排序時間的開銷,本次研究也是基于先召回再排序的思想.

    本文在此基礎(chǔ)上使用多策略召回排序的思路,如圖1.在第1 階段盡可能把正確的概念召回,第2 階段使用蘊含語義評分模型將術(shù)語原詞與候選概念進(jìn)行語義相似度排序,篩選出得分最高的概念.同時,之前的中文醫(yī)療領(lǐng)域術(shù)語標(biāo)準(zhǔn)化研究都是以ICD9 或者ICD10(international classification of diseases,ICD)為標(biāo)準(zhǔn),本文首次在SNOMED CT (the systematized nomenclature of human and veterinary medicine clinical terms)標(biāo)準(zhǔn)的數(shù)據(jù)上進(jìn)行研究探索,驗證了本方法的有效性及使用SNOMED CT 探索術(shù)語標(biāo)準(zhǔn)化的可能.該實驗結(jié)果證明,本文提出的方法具有很強的實用性.

    圖1 整體算法流程圖

    2 相關(guān)工作

    本文主要的研究是在以中文為核心的醫(yī)療領(lǐng)域的術(shù)語標(biāo)準(zhǔn)化,對于醫(yī)學(xué)文本中的不規(guī)范的表達(dá)也就是術(shù)語原詞,經(jīng)過標(biāo)準(zhǔn)化之后映射到正確的概念編碼上來.每一個標(biāo)準(zhǔn)的概念都有一個概念編碼.有表1 不規(guī)范的表達(dá),最后經(jīng)過術(shù)語標(biāo)準(zhǔn)化算法,最終對應(yīng)到正確的SNOMED CT 編碼.

    表1 術(shù)語原詞-標(biāo)準(zhǔn)概念對應(yīng)表

    醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化任務(wù)的目標(biāo)是將醫(yī)學(xué)文本中抽取的非標(biāo)準(zhǔn)的醫(yī)學(xué)表達(dá)映射到正確的醫(yī)學(xué)概念編碼上,以便于直接或給下游醫(yī)學(xué)任務(wù)利用.迄今為止,已經(jīng)積累了很多關(guān)于醫(yī)療領(lǐng)域的術(shù)語標(biāo)準(zhǔn)化研究工作.

    早期的醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化工作主要是采用規(guī)則和機器學(xué)習(xí)的方法.文獻(xiàn)[9] 引入了一種新的基于編輯距離的方法來進(jìn)行疾病名稱標(biāo)準(zhǔn)化,在SemEval 2014 疾病名稱標(biāo)準(zhǔn)化比賽[10]中排名第二.文獻(xiàn)[11] 使用了5 種規(guī)則的NLP 技術(shù)提升生物醫(yī)學(xué)文本中的疾病名稱標(biāo)準(zhǔn)化水平,分別提升了MetaMap[12]和Peregrine 系統(tǒng)[13]的效果.文獻(xiàn)[14] 提出一種多層篩選系統(tǒng),通過定義10 種不同優(yōu)先級的規(guī)則來度量術(shù)語原詞和實體庫中概念的相似性.文獻(xiàn)[15]利用線性模型對候選術(shù)語與概念名稱之間的相似性進(jìn)行評分,并且運用了從訓(xùn)練集學(xué)習(xí)候選實體和概念名稱的相似性的策略.文獻(xiàn)[16]在文獻(xiàn)[15]的基礎(chǔ)上采用了基于低秩矩陣近似的降維技術(shù),減少了參數(shù)量,同時提升了疾病名稱標(biāo)準(zhǔn)化在NCBI 疾病語料上的效果.

    近些年來,隨著深度學(xué)習(xí)的蓬勃發(fā)展,來源于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)在術(shù)語標(biāo)準(zhǔn)化任務(wù)上的表現(xiàn)不斷突破,這種不依賴于規(guī)則和人工特征的方案逐漸成為主流.基于深度學(xué)習(xí)的術(shù)語標(biāo)準(zhǔn)化任務(wù)相關(guān)研究工作有: 文獻(xiàn)[17]使用了不同語料訓(xùn)練的Word2Vec[18]語義向量表示,并且利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)提取特征,大大超越了以TF-IDF、BM25、向量相似度為基線的術(shù)語標(biāo)準(zhǔn)化水平.文獻(xiàn)[19]在文獻(xiàn)[18]的基礎(chǔ)上增加了醫(yī)療健康相關(guān)的文本訓(xùn)練獲得醫(yī)療專業(yè)的詞嵌入(word embedding),從而更好地表示醫(yī)學(xué)概念的語義特征,在數(shù)據(jù)集上獲得新的SOAT (state of the art).文獻(xiàn)[20]提出了一種疾病名稱和術(shù)式名稱結(jié)合的多任務(wù)醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化框架,利用多視角CNN提取特征,并且對兩個任務(wù)引入權(quán)重共享層,利用疾病名稱和術(shù)式名稱之間的相關(guān)性更好地進(jìn)行術(shù)語標(biāo)準(zhǔn)化.文獻(xiàn)[21]針對術(shù)語標(biāo)準(zhǔn)化任務(wù)構(gòu)建了端到端的模型結(jié)構(gòu),運用結(jié)合attention[22]的雙向LSTM 和GRU 結(jié)構(gòu)[23]提取候選實體特征,與UMLS 系統(tǒng)中的標(biāo)準(zhǔn)詞概念特征拼接,運用Softmax 函數(shù)進(jìn)行評分,證明了比單純使用CNN 結(jié)構(gòu)進(jìn)行術(shù)語標(biāo)準(zhǔn)化有更好的效果.文獻(xiàn)[24]考慮到標(biāo)注醫(yī)療數(shù)據(jù)需要豐富的專業(yè)知識和時間開銷,提出了一種利用共病網(wǎng)絡(luò)embedding 的疾病名稱標(biāo)準(zhǔn)化的無監(jiān)督方法,接近了經(jīng)典有監(jiān)督學(xué)習(xí)的準(zhǔn)確性.

    但是以上方法都存在一個問題: 初始的詞嵌入并不能表示一詞多義,詞向量的特征包含不夠豐富,隨著預(yù)訓(xùn)練模型的提出,在術(shù)語標(biāo)準(zhǔn)化任務(wù)上有了如下的研究.

    文獻(xiàn)[25]采用基于字符級ELMo 向量[26]與傳統(tǒng)的Word2Vec 詞向量拼接共同表示最終的詞向量的,以獲得包含更豐富信息的詞向量.并利用BiLSTM 提取候選實體的特征,最終結(jié)果超越了以BIGRU-attention進(jìn)行術(shù)語標(biāo)準(zhǔn)化的SOAT.文獻(xiàn)[27]將標(biāo)準(zhǔn)化任務(wù)視為一個分類問題,在3 個不同的數(shù)據(jù)集上進(jìn)行實驗,對醫(yī)學(xué)概念標(biāo)準(zhǔn)化任務(wù)的模型進(jìn)行細(xì)粒度的評估.通過BERT、ELMO、RNNs 模型進(jìn)行語義表示,分別對比在術(shù)語標(biāo)準(zhǔn)化上的效果,得出BERT 在醫(yī)學(xué)概念標(biāo)準(zhǔn)化上有更好的效果、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)會影響術(shù)醫(yī)學(xué)概念標(biāo)準(zhǔn)化的準(zhǔn)確性等結(jié)論.文獻(xiàn)[28]比較BERT/Bio-BERT/ClinicalBERT 在生物醫(yī)學(xué)實體標(biāo)準(zhǔn)化任務(wù)上的準(zhǔn)確性,結(jié)論得出對預(yù)訓(xùn)練模型進(jìn)行微調(diào)可以顯著提升生物醫(yī)學(xué)實體標(biāo)準(zhǔn)化水平.文獻(xiàn)[29]提出了一種生成和排序的框架解決醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化問題.第一階段使用Lucene 工具生成候選對象,之后使用BERT 進(jìn)行候選實體打分.

    基于規(guī)則的方法需要根據(jù)不同的場景設(shè)定不同的規(guī)則,費時費力同時可移植性不強.基于機器學(xué)習(xí)的方法雖然在一定程度上緩解了人工消耗,但由于缺乏語義信息的局限性且不能考慮上下文信息,它不能在更為復(fù)雜的醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化任務(wù)上表現(xiàn)得很好.深度學(xué)習(xí)在文本建模上具有強大的表征能力,不僅可以更好地表示詞語和文本,還可以學(xué)習(xí)到詞語的上下文關(guān)系和重要詞語的信息[30].隨著預(yù)訓(xùn)練語言模型的誕生,因為其在上下文中可以獲得更為豐富的語義特征,且使用基于預(yù)訓(xùn)練語言模型的方法在很多自然語言處理任務(wù)上都達(dá)到了最好的水平,所以現(xiàn)在利用預(yù)訓(xùn)練模型模塊實現(xiàn)醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化任務(wù)也成為了主流.

    本文的研究也是基于預(yù)訓(xùn)練模型提高醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化任務(wù)準(zhǔn)確率.由于在醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化第一階段的召回過程中單一的方法往往不能夠覆蓋大部分正確概念,為此本文提出了多策略召回的方案,極大提升了第1 階段正確概念的召回率.結(jié)合第2 階段使用RoBERTa-WWM-ext[31]進(jìn)行蘊含語義排序,術(shù)語標(biāo)準(zhǔn)化最終的準(zhǔn)確性得到有效提高.

    3 模型介紹

    3.1 問題定義

    在基于SNOMED CT 標(biāo)注的術(shù)語標(biāo)準(zhǔn)化數(shù)據(jù)集中,設(shè)標(biāo)準(zhǔn)概念數(shù)量為m,其中概念集為C={c1,c2,···,cm}.

    術(shù)語原詞為t,經(jīng)過第1 階段混合召回,將概念集縮小到G={g1,g2,···,gk},其中k<m,在第2 階段經(jīng)過精細(xì)化排序,在候選概念G中選擇一個得分最佳的概念,作為最終術(shù)語標(biāo)準(zhǔn)化的結(jié)果.兩階段實現(xiàn)術(shù)語標(biāo)準(zhǔn)化,其核心在于要在召回階段能夠盡量地把正確概念召回,召回的概念作為候選實體,這決定了后續(xù)排序階段效果的上限.在排序階段,要能夠精細(xì)化排序得出最佳的概念.

    3.2 構(gòu)建兩階段術(shù)語標(biāo)準(zhǔn)化模型

    本文提出的模型,總體分為兩部分,下面會對這兩部分分別介紹.

    第1 部分是多策略召回階段,多策略召回分為3 個小模塊.通過計算術(shù)語原詞與術(shù)語庫中所有概念的Jaccard 相關(guān)系數(shù),取Jaccard 相關(guān)系數(shù)最高的作為候選實體的一部分.同時也在所有的概念經(jīng)過分詞之后訓(xùn)練一個TF-IDF 模型,這樣就能獲得所有的分詞權(quán)重,之后把術(shù)語原詞作為一個query,計算query 與所有概念的相關(guān)性,取相關(guān)性最高的概念作為候選實體.同時結(jié)合歷史召回方法對候選實體進(jìn)行召回.

    第2 部分是蘊含語義排序模塊,使用了RoBERTawwm-ext 模型,計算術(shù)語原詞與候選實體的語義相似性蘊含分?jǐn)?shù),再進(jìn)行蘊含分?jǐn)?shù)排序,選取得分最高概念,圖2 展示了整體的模型架構(gòu)圖.

    圖2 整體模型框架圖

    3.2.1 候選概念多策略召回模塊

    這個召回模塊主要由3 個小部分組成: 歷史召回、TF-IDF 相關(guān)性召回、Jaccard 相關(guān)系數(shù)召回模塊,下面會介紹各小部分的召回原理,圖3 展示了多策略召回的具體流程.

    圖3 候選概念多策略召回

    TF-IDF 召回原理: TF-IDF 是一種高效的計算特征權(quán)重的算法,其可以用來解決短文本的相似度的問題.本文將它用來作為術(shù)語原詞和概念庫中的概念相關(guān)性比較的算法,通過此算法將術(shù)語原詞匹配到部分最相關(guān)的概念.

    首先要計算概念庫中特征詞的權(quán)重,將概念庫中的每個概念進(jìn)行分詞,對于概念庫中概念中的特征詞其特征權(quán)重的計算公式如式(1):

    其中,N(wj)是wj在Ci中出現(xiàn)的次數(shù);m是概念庫中的概念總數(shù);M(wj)是概念庫集和中含有wi的概念數(shù).

    接下來計算術(shù)語原詞與概念庫中每個概念的相關(guān)性得分,對術(shù)語原詞s進(jìn)行分詞產(chǎn)生詞語列表[v],Ci產(chǎn)生的分詞列表[w],計算s和Ci的相關(guān)性得分如式(2):

    Jaccard 相關(guān)系數(shù)召回原理: Jaccard 相關(guān)系數(shù)主要計算符號度量的個體之間的相似程度.對于術(shù)語原詞s1和概念s2,要計算他們的Jaccard 相關(guān)系數(shù),可以先將s1、s2分別分為字符集合A和字符集合B.他們的Jaccard相關(guān)系數(shù)計算如式(3):

    歷史召回原理: 歷史召回的算法也是采用的TF-IDF,它是對訓(xùn)練數(shù)據(jù)中的術(shù)語原詞進(jìn)行召回而不是直接對概念庫中的標(biāo)準(zhǔn)詞進(jìn)行召回,其優(yōu)勢在于能更加充分的利用訓(xùn)練集中的信息.它直接對訓(xùn)練集中所有的術(shù)語原詞進(jìn)行計算獲得特征分詞的權(quán)重,之后計算待標(biāo)準(zhǔn)化術(shù)語與訓(xùn)練集中術(shù)語原詞的相關(guān)性,最后取相關(guān)性最高的top-k個術(shù)語原詞對應(yīng)的標(biāo)準(zhǔn)概念作為候選概念集.圖4 展示了歷史召回的算法原理.

    圖4 歷史召回算法流程圖

    訓(xùn)練集中數(shù)據(jù)是以“術(shù)語原詞-概念”的形式出現(xiàn),所以找到最匹配的術(shù)語原詞,也就間接地找到了需要的概念,這種方法能夠在召回階段更充分利用數(shù)據(jù).

    3.2.2 蘊含語義排序模塊

    候選實體排序階段,要對第1 階段召回的所有概念進(jìn)行打分排序,這樣才能選擇與術(shù)語原詞最對應(yīng)的概念作為答案.候選實體排序模塊由RoBERTa-wwmext 蘊含語義相似性評分模塊構(gòu)成.

    RoBERTa-wwm-ext 作為蘊含分?jǐn)?shù)計算模型,主要是通過訓(xùn)練一個二分類模型,之后預(yù)測原詞和術(shù)語庫中的概念之間的蘊含分?jǐn)?shù)(其中把預(yù)測為1 的概率作為蘊含分?jǐn)?shù)),對術(shù)語庫中的每個概念進(jìn)行評分.RoBERTawwm-ext 是在BERT 的基礎(chǔ)上進(jìn)行的改進(jìn),以下主要介紹二者的區(qū)別.

    BERT 采用預(yù)訓(xùn)練-微調(diào)的模式,問世以來在解決實體識別、文本分類、自然語言推斷等多個自然語言處理獲得了SOTA,給學(xué)術(shù)界提供了很多的參考.

    BERT 的全稱是(bidirectional encoder representation from Transformers),本文中作為語義排序的基礎(chǔ)模型.在BERT 之前預(yù)訓(xùn)練語言模型有ELMo (embedding from language model)和GPT (generative pre-training),但是這兩種方法都只采用了一個預(yù)訓(xùn)練目標(biāo),而且沒有充分的利用上下文信息.BERT 采用Transformer 的encoder 作為基本組成,能夠充分結(jié)合上下文本信息進(jìn)行有效的訓(xùn)練.與早期提出的訓(xùn)練語言模型的目標(biāo)“預(yù)測下一個詞”不同的地方在于BERT在單詞級別和句子級別設(shè)置了兩個目標(biāo): 掩碼語言模型(masked language model,MLM)與預(yù)測下一句(next sentence predict,NSP)模型.其中MLM 可以理解為完型填空做法的思路,模型隨機會mask 每個句子中15%的詞,利用上下文信息來預(yù)測這些詞.MLM 具體做法是80%的詞用[mask] 替換原來的詞,10% 的詞隨機取一個詞替代mask 的詞,10%詞保持不變.預(yù)測下一句訓(xùn)練過程的具體做法是選取一些句對與,其中50%的數(shù)據(jù)是的下一句,剩余50%是從語料庫中隨機選擇,通過對句對進(jìn)行二分類訓(xùn)練來學(xué)習(xí)句子間的關(guān)系.通過這兩個目標(biāo)訓(xùn)練出的BERT 模型,具有很強的字詞級別的表征能力.

    RoBERTa-wwm-ext 與BERT 模型的基本結(jié)構(gòu)基本相同,改進(jìn)更多的是從訓(xùn)練集和訓(xùn)練策略角度來提升,主要有以下幾點: 首先相對于BERT 的靜態(tài)掩碼機制采取了動態(tài)掩碼機制,在BERT 中訓(xùn)練數(shù)據(jù)時,一條樣本只進(jìn)行一次隨機 mask,在訓(xùn)練時 mask 的位置都保持不變,動態(tài)mask 在每次訓(xùn)練前會動態(tài)生成一次mask,這種方法提高了模型輸入的隨機性,使模型可以學(xué)習(xí)更多的句式.另外它使用了更大的batch size 進(jìn)行訓(xùn)練,被實驗驗證有更好的效果.同時采用字節(jié)對編碼(BPE)進(jìn)行文本數(shù)據(jù)處理,使用了更多的數(shù)據(jù)同時進(jìn)行訓(xùn)練,且取消了NSP 任務(wù),提升了效率.且采用了WWM(全詞掩碼)策略,相較于BERT 的單字掩碼,先進(jìn)行分詞,如果有詞中的部分字符被mask,那么整個詞都將會被mask,這樣做RoBERTa-wwm-ext 能夠更好地學(xué)習(xí)詞級別的信息[31-33].

    本文使用RoBERTa-wwm-ext 模型將語義間相關(guān)性判別轉(zhuǎn)化為一個二分類模型,圖5 展示了RoBERTawwm-ext 模型結(jié)構(gòu)作為語義蘊含評分模塊.

    圖5 RoBERTa-wwm-ext 語義蘊含評分模型結(jié)構(gòu)

    分別按照相應(yīng)的策略構(gòu)造<術(shù)語原詞,概念,1>和<術(shù)語原詞,非正確概念,0>的正負(fù)樣本,用此數(shù)據(jù)來訓(xùn)練蘊含語義評分模型.將樣本輸入到模型中具體格式為“[CLS] 手足抽搦[SEP] 手足抽搐癥[SEP]”,經(jīng)過RoBERTa-wwm-ext 編碼獲得[CLS]的隱藏層狀態(tài)表示,接著輸入到全連接層,經(jīng)過Softmax 函數(shù)打分,其中[CLS]和[SEP]分別表示用于分類的令牌、分隔術(shù)語原詞和候選概念的令牌.

    蘊含語義評分模型使用Softmax 作為分類回歸函數(shù),模型采用交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化,使用類別為1 的概率作為語義蘊含分?jǐn)?shù).其中蘊含分?jǐn)?shù)及最后預(yù)測對應(yīng)概念的計算過程如式(4)-式(5):

    其中,FFNN表示前饋神經(jīng)網(wǎng)絡(luò)層,l為類別標(biāo)簽,y表示最終對應(yīng)的概念.

    本文需要比較的是術(shù)語原詞和概念庫當(dāng)中概念的語義相似性,雖然使用的是二分類的方法,但是需要二分類模型評出概念相似程度的高低,涉及到排序,所以其精度要求更高,難度上比傳統(tǒng)二分類任務(wù)的0.5 作為閾值更難.所以對構(gòu)造二分類模型的訓(xùn)練樣本一定要經(jīng)過特殊處理,這樣模型才能夠更好地學(xué)習(xí)到語義的相關(guān)性.

    方法1.構(gòu)造語義模型數(shù)據(jù)集方法1)構(gòu)建空的數(shù)據(jù)列表datas=[],將其作為語義模型訓(xùn)練需要的數(shù)據(jù);2)設(shè)置困難負(fù)樣本數(shù)量k,隨機負(fù)樣本數(shù)量m,正樣本數(shù)量n;

    3)訓(xùn)練集術(shù)語原詞使用Jaccard 相關(guān)系數(shù)召回概念庫中得分最高的前k 個負(fù)樣本,將k 個樣本處理為<o(jì)rg,neg,0>并入datas;4)訓(xùn)練集術(shù)語原詞從概念庫<o(jì)rg,neg,0>并入datas中隨機抽取m 個負(fù)樣本,將m 個樣本處理為;5)訓(xùn)練集術(shù)語原詞重復(fù)n 條作為正樣本,將n 個樣本處理為<o(jì)rg,neg,1>并入datas;6)對datas 進(jìn)行隨機打亂;

    4 實驗過程與結(jié)果評估

    4.1 實驗數(shù)據(jù)

    SNOMED CT 是目前國際上認(rèn)可的且比較全面的醫(yī)學(xué)術(shù)語集,其內(nèi)容包括了臨床所需的基本信息.SNOMED CT 的概念表收錄了大量具有唯一含義并經(jīng)過邏輯定義的概念,分類編入18 個頂級概念軸(hierarchy)中,分別包括臨床發(fā)現(xiàn)、操作/介入、身體結(jié)構(gòu)等[34].

    本次實驗的數(shù)據(jù)是以SNOMED CT 為標(biāo)準(zhǔn),醫(yī)療相關(guān)人員進(jìn)行標(biāo)注,獲得“術(shù)語原詞-概念”標(biāo)注數(shù)據(jù)9 000 余條,此次標(biāo)注中選取SNOMED 術(shù)語庫中在醫(yī)學(xué)文本中常見的概念15 001 個SNOMED CT 概念作為概念標(biāo)準(zhǔn),這些數(shù)據(jù)均來自現(xiàn)實的醫(yī)學(xué)場景.按照比例6:2:2 劃分為訓(xùn)練集、開發(fā)集、測試集,數(shù)據(jù)集中的真實數(shù)據(jù)如表2.

    表2 數(shù)據(jù)集中的數(shù)據(jù)形式

    數(shù)據(jù)集中最長的術(shù)語原詞為“庫興氏綜合征(由于各種原因引起的腎上腺糖皮質(zhì)激素慢性分泌過多,表現(xiàn)為肥胖伴有高血壓等一系列癥狀)”,最短的術(shù)語原詞為“腿”.

    4.2 評價指標(biāo)

    4.2.1 總項評價指標(biāo)

    對于分類任務(wù),總體的評價指標(biāo)有如下幾個標(biāo)準(zhǔn):準(zhǔn)確率、精確率、召回率、F1 值,其計算方式如式(6)-式(9):

    式(6)中,TS代表被預(yù)測正確概念的樣本數(shù),N代表樣本總量,本文最終目標(biāo)使用accuracy作為評價指標(biāo).

    4.2.2 分項評價指標(biāo)

    本文是術(shù)語標(biāo)準(zhǔn)化任務(wù)作為候選概念召回和候選概念排序兩階段任務(wù)來實現(xiàn)的,所以在這兩個分項中也有不同的指標(biāo)來衡量他們的效果.候選概念召回階段使用召回率(recall)作為評價指標(biāo).其中recall的計算公式如式(10):

    其中,Gi代表第數(shù)據(jù)集中第i個術(shù)語原詞召回來的候選概念集,Ti表示第i個術(shù)語原詞的正確答案,N為術(shù)語原詞總數(shù).

    4.3 實驗過程及分析

    4.3.1 參數(shù)設(shè)置

    本文中使用了RoBERTa-wwm-ext 作為蘊含語義評分模型,使用了Adam 作為優(yōu)化器,實驗采用內(nèi)存大小為11 GB,一張2080ti GPU 顯卡.Dropout rate 設(shè)置為0.1,學(xué)習(xí)率為2E-5,batch_size 為64,隱藏層維度為768,最大的句子長度為64.

    4.3.2 結(jié)果分析

    在第一階段召回主要做實驗對比單召回方式,以及本文中多策略召回的效果,表3 展示了不同方法的候選概念召回率.

    表3 候選概念召回率

    表3 的結(jié)果來看,本文提出的召回策略具有明顯優(yōu)勢.單一方法的召回都不能夠完全覆蓋正確的概念.結(jié)合多策略召回,其中每個召回方式都取前10 最高得分能夠達(dá)到0.983 的召回率,基本能夠覆蓋正確答案,所以將它作為蘊含語義排序模型的輸入部分.在候選概念蘊含語義排序階段,為了獲得更強的語義排序模型,本文采用了不同的策略構(gòu)建負(fù)樣本.在訓(xùn)練語料中引入了困難負(fù)樣本,再結(jié)合不同的訓(xùn)練樣本比例,得到當(dāng)前效果最佳的蘊含語義模型訓(xùn)練方案.不同構(gòu)造樣本的策略效果如表4.

    表4 樣本構(gòu)建對結(jié)果影響

    表4 中,P代表訓(xùn)練集中的正樣本重復(fù)次數(shù),Nrandom數(shù)代表隨機負(fù)樣本數(shù)量,Nhard表代表困難負(fù)樣本數(shù)量.為了維持訓(xùn)練集正負(fù)樣本的比例,所以始終將訓(xùn)練正負(fù)樣本維持在1:1 與1:2.從蘊含語義排序的結(jié)果來看,在一定范圍內(nèi)引入困難負(fù)樣本會顯著的提升蘊含語義排序模型的效果并且增加正、負(fù)樣本的數(shù)量也可以提升模型的效果.為了比較不同的語義模型蘊含排序效果的差別,本文分別在同結(jié)構(gòu)的網(wǎng)絡(luò)模型進(jìn)行了對比實驗.在召回策略相同、正負(fù)樣本構(gòu)造分別是(P,Nrandom,Nhard)=(20,20,20)的條件下,各語義蘊含模型的效果如表5.

    表5 部分同類型模型蘊含語義排序效果對比

    從結(jié)果來看,在使用相同的召回策略且蘊含語義模型的正負(fù)樣本構(gòu)建策略均相同的情況下,使用RoBERTa-wwm-ext 作為蘊含語義排序模型展現(xiàn)了它有更強的蘊含語義表征能力,并且效果比同類其他模型的效果更好.這是由于其模型的訓(xùn)練方式和豐富的訓(xùn)練語料帶來的優(yōu)勢,實驗結(jié)果也展現(xiàn)了本方法在以SNOMED CT 為標(biāo)準(zhǔn)的醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化上的可行性及優(yōu)越性.

    5 結(jié)論與展望

    本文在解決醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化的問題上,提出了一種結(jié)合RoBERTa 與多策略召回的方法,該模型使用RoBERTa-wwm-ext 作為蘊含語義排序模型.首次在醫(yī)療標(biāo)準(zhǔn)SNOMED CT 標(biāo)注的數(shù)據(jù)上進(jìn)行實驗驗證,證明了本方法的有效性,為其他從事SNOMED CT 標(biāo)準(zhǔn)進(jìn)行的術(shù)語標(biāo)準(zhǔn)化工作者提供了參考.本文將醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化分為兩個階段來執(zhí)行,第1 階段是多策略召回,第2 階段是蘊含語義排序.在多策略召回階段,由于醫(yī)學(xué)術(shù)語的表達(dá)多樣化與口語化的特點,往往通過一種召回方法召回候選概念效果欠佳,而本文提出的多策略的召回方法可以召回98.3%的正確候選概念.在蘊含語義排序階段,為了構(gòu)建強大語義模型,本文引入了困難負(fù)樣本進(jìn)行訓(xùn)練,并且構(gòu)造不同數(shù)量的正負(fù)樣本比例確定蘊含語義模型的訓(xùn)練方式,最終蘊含語義排序模型的效果得到極大提升.通過對比本文模型和其他同類型模型的基于SNOMED CT 醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化效果,本文提出的模型有更高的準(zhǔn)確性,準(zhǔn)確率達(dá)87.8%.

    由于醫(yī)療領(lǐng)域的術(shù)語一字之差可能完全表達(dá)的是兩個不同的概念、術(shù)語原詞與概念之間沒有交集等情況.在以后的工作中希望能夠引入外部信息,或者根據(jù)醫(yī)療數(shù)據(jù)特點引入特征詞典來提高醫(yī)學(xué)術(shù)語標(biāo)準(zhǔn)化的水平,同時也希望對一個術(shù)語對應(yīng)多個概念或者多個術(shù)語對應(yīng)多個概念的方向去展開研究.

    猜你喜歡
    排序語義標(biāo)準(zhǔn)化
    排序不等式
    標(biāo)準(zhǔn)化簡述
    恐怖排序
    語言與語義
    節(jié)日排序
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    標(biāo)準(zhǔn)化是綜合交通運輸?shù)谋U稀庾x《交通運輸標(biāo)準(zhǔn)化體系》
    中國公路(2017年9期)2017-07-25 13:26:38
    “上”與“下”語義的不對稱性及其認(rèn)知闡釋
    論汽車維修診斷標(biāo)準(zhǔn)化(上)
    認(rèn)知范疇模糊與語義模糊
    日韩一区二区视频免费看| 中文字幕免费在线视频6| 又粗又硬又长又爽又黄的视频| 国产极品精品免费视频能看的| 国产成人精品一,二区| 亚洲欧美成人综合另类久久久 | 日韩欧美 国产精品| 国产熟女欧美一区二区| 国产精品,欧美在线| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 高清毛片免费看| 一区二区三区免费毛片| 黑人高潮一二区| 少妇猛男粗大的猛烈进出视频 | 一边摸一边抽搐一进一小说| 亚洲av.av天堂| 欧美日本亚洲视频在线播放| 日韩制服骚丝袜av| 26uuu在线亚洲综合色| 91久久精品电影网| 国产精品久久电影中文字幕| 久久久久久国产a免费观看| 亚洲乱码一区二区免费版| 熟女电影av网| 亚洲丝袜综合中文字幕| 一个人观看的视频www高清免费观看| av福利片在线观看| 亚洲av中文字字幕乱码综合| 18+在线观看网站| 国产综合懂色| 少妇熟女欧美另类| 99九九线精品视频在线观看视频| 3wmmmm亚洲av在线观看| 日本免费在线观看一区| 特级一级黄色大片| 中文字幕久久专区| 一本久久精品| 日韩大片免费观看网站 | 国产私拍福利视频在线观看| 国产三级在线视频| 亚洲成av人片在线播放无| 国产久久久一区二区三区| 极品教师在线视频| 乱系列少妇在线播放| 亚洲欧美清纯卡通| 99国产精品一区二区蜜桃av| av免费观看日本| 波野结衣二区三区在线| 欧美日韩国产亚洲二区| 91精品一卡2卡3卡4卡| 看片在线看免费视频| 久久久久久久国产电影| 岛国在线免费视频观看| 天堂√8在线中文| 久久精品夜夜夜夜夜久久蜜豆| 麻豆久久精品国产亚洲av| av.在线天堂| av.在线天堂| 两性午夜刺激爽爽歪歪视频在线观看| 成人亚洲精品av一区二区| 能在线免费观看的黄片| 老司机影院成人| 成年免费大片在线观看| 国产成人a区在线观看| 亚洲人成网站在线观看播放| 亚洲精品456在线播放app| 97热精品久久久久久| 99九九线精品视频在线观看视频| 亚洲内射少妇av| 免费av毛片视频| 久久精品久久久久久噜噜老黄 | 久久精品综合一区二区三区| 亚洲精品成人久久久久久| 日日啪夜夜撸| 日本五十路高清| 看非洲黑人一级黄片| 精品人妻视频免费看| 中文亚洲av片在线观看爽| 亚洲成av人片在线播放无| 日韩国内少妇激情av| 在线播放无遮挡| 国产精品人妻久久久久久| 赤兔流量卡办理| 三级国产精品片| 国产精品熟女久久久久浪| 亚洲综合精品二区| 在线免费观看不下载黄p国产| 亚洲精品456在线播放app| 蜜桃久久精品国产亚洲av| 国内精品宾馆在线| 欧美性猛交╳xxx乱大交人| 久久综合国产亚洲精品| 男女国产视频网站| 久久综合国产亚洲精品| 欧美zozozo另类| 亚洲精品日韩av片在线观看| 三级国产精品欧美在线观看| 欧美又色又爽又黄视频| av在线蜜桃| 99久久精品一区二区三区| 直男gayav资源| 性色avwww在线观看| 亚洲成人久久爱视频| 亚洲久久久久久中文字幕| 成人亚洲欧美一区二区av| 久久99热这里只有精品18| 美女xxoo啪啪120秒动态图| 国国产精品蜜臀av免费| 国产亚洲91精品色在线| 亚洲精品乱久久久久久| 国产精品三级大全| 亚洲av成人av| 久久精品影院6| 亚洲av一区综合| 日韩亚洲欧美综合| 小蜜桃在线观看免费完整版高清| 日本黄大片高清| 黄片wwwwww| 丰满人妻一区二区三区视频av| 精品久久久久久电影网 | av卡一久久| 免费搜索国产男女视频| 18禁裸乳无遮挡免费网站照片| 一本一本综合久久| 尾随美女入室| 国产精品av视频在线免费观看| 最近视频中文字幕2019在线8| 亚洲高清免费不卡视频| 69人妻影院| 免费观看性生交大片5| 插阴视频在线观看视频| 日本一二三区视频观看| 亚洲精品影视一区二区三区av| av视频在线观看入口| 欧美成人午夜免费资源| www.av在线官网国产| 人人妻人人澡人人爽人人夜夜 | av又黄又爽大尺度在线免费看 | 男女边吃奶边做爰视频| 国产成年人精品一区二区| 我要看日韩黄色一级片| 精品久久国产蜜桃| 亚洲国产欧美在线一区| 久久久久久久午夜电影| 高清毛片免费看| 午夜福利在线观看免费完整高清在| 日本wwww免费看| 日韩三级伦理在线观看| 丰满人妻一区二区三区视频av| 色综合亚洲欧美另类图片| АⅤ资源中文在线天堂| 免费不卡的大黄色大毛片视频在线观看 | 九草在线视频观看| 国产精品人妻久久久影院| 精品欧美国产一区二区三| 99热这里只有精品一区| 级片在线观看| 久久精品夜色国产| 非洲黑人性xxxx精品又粗又长| 如何舔出高潮| 欧美日本视频| 91久久精品电影网| 九九久久精品国产亚洲av麻豆| 国产欧美另类精品又又久久亚洲欧美| 中文字幕熟女人妻在线| 久久精品综合一区二区三区| 亚洲内射少妇av| 综合色丁香网| 一级黄片播放器| 伦理电影大哥的女人| 亚洲自偷自拍三级| 晚上一个人看的免费电影| 伦精品一区二区三区| 夜夜看夜夜爽夜夜摸| 国内精品美女久久久久久| 亚洲精品日韩在线中文字幕| 欧美精品国产亚洲| 我要看日韩黄色一级片| 久久久精品欧美日韩精品| 69人妻影院| 久久人妻av系列| 亚洲精品自拍成人| 一区二区三区四区激情视频| 男人狂女人下面高潮的视频| 亚洲不卡免费看| 欧美另类亚洲清纯唯美| 级片在线观看| 亚洲国产精品久久男人天堂| 国产探花在线观看一区二区| 欧美变态另类bdsm刘玥| 精品不卡国产一区二区三区| 欧美+日韩+精品| 色网站视频免费| 久久精品91蜜桃| 日韩三级伦理在线观看| 国产v大片淫在线免费观看| 伦理电影大哥的女人| av播播在线观看一区| 亚洲精品乱久久久久久| 国产精品日韩av在线免费观看| 国产亚洲91精品色在线| 丰满乱子伦码专区| 欧美xxxx黑人xx丫x性爽| 久久国内精品自在自线图片| 国产91av在线免费观看| 观看免费一级毛片| 日本三级黄在线观看| 国产亚洲av片在线观看秒播厂 | 十八禁国产超污无遮挡网站| 老师上课跳d突然被开到最大视频| 晚上一个人看的免费电影| 国产亚洲av片在线观看秒播厂 | 精品久久久久久久末码| 国产精品熟女久久久久浪| 成人一区二区视频在线观看| 在线天堂最新版资源| 中文字幕av在线有码专区| 精品久久久久久久人妻蜜臀av| 成人高潮视频无遮挡免费网站| 免费电影在线观看免费观看| 午夜福利视频1000在线观看| 成人美女网站在线观看视频| 99久久精品一区二区三区| 久久精品熟女亚洲av麻豆精品 | 一二三四中文在线观看免费高清| 老司机影院成人| av在线老鸭窝| 少妇高潮的动态图| h日本视频在线播放| 大话2 男鬼变身卡| 久久精品久久久久久噜噜老黄 | av播播在线观看一区| 欧美zozozo另类| 亚洲图色成人| 99久久精品一区二区三区| 欧美高清成人免费视频www| av福利片在线观看| 又粗又爽又猛毛片免费看| 久久久久久久久久黄片| 一级毛片电影观看 | 能在线免费观看的黄片| 最近的中文字幕免费完整| 久久精品国产亚洲av天美| 色5月婷婷丁香| 97人妻精品一区二区三区麻豆| 一个人免费在线观看电影| 热99re8久久精品国产| 国产精品久久久久久久久免| 中文字幕av在线有码专区| 国产av码专区亚洲av| 午夜福利高清视频| av免费观看日本| 99在线人妻在线中文字幕| 国产精品一二三区在线看| 亚洲国产高清在线一区二区三| 国产一区亚洲一区在线观看| 99国产精品一区二区蜜桃av| 午夜爱爱视频在线播放| 免费看av在线观看网站| 亚洲人成网站在线观看播放| 人妻制服诱惑在线中文字幕| 国产乱人视频| 精品国产三级普通话版| 中文字幕精品亚洲无线码一区| 99视频精品全部免费 在线| 久久精品综合一区二区三区| 日韩 亚洲 欧美在线| av专区在线播放| 边亲边吃奶的免费视频| 亚洲精品色激情综合| av国产久精品久网站免费入址| 桃色一区二区三区在线观看| 国产成人午夜福利电影在线观看| 日本黄大片高清| 欧美bdsm另类| 亚洲国产欧美人成| 成人二区视频| 波多野结衣巨乳人妻| 亚洲国产高清在线一区二区三| 成人国产麻豆网| 一个人免费在线观看电影| 秋霞伦理黄片| 国产精品一区二区三区四区久久| 国产在视频线在精品| 亚洲精品日韩在线中文字幕| 免费大片18禁| 久久精品久久久久久久性| 国产乱人偷精品视频| 中文字幕久久专区| 亚洲欧美精品自产自拍| 日本wwww免费看| 毛片一级片免费看久久久久| 狂野欧美白嫩少妇大欣赏| 免费观看精品视频网站| 亚洲自偷自拍三级| 久久人妻av系列| 精品国产三级普通话版| 在线免费观看不下载黄p国产| 天堂av国产一区二区熟女人妻| 天天一区二区日本电影三级| 亚洲国产高清在线一区二区三| 男人舔女人下体高潮全视频| 亚洲av熟女| 国产单亲对白刺激| 国产在线男女| 成人毛片a级毛片在线播放| av视频在线观看入口| 中文资源天堂在线| 欧美性感艳星| 国产探花在线观看一区二区| 日韩人妻高清精品专区| 久久久久久大精品| 午夜福利在线观看吧| 老司机福利观看| 99久久九九国产精品国产免费| 高清日韩中文字幕在线| 性色avwww在线观看| 国产综合懂色| 男女啪啪激烈高潮av片| 乱人视频在线观看| 国产乱人偷精品视频| 亚洲激情五月婷婷啪啪| 午夜a级毛片| 日韩成人av中文字幕在线观看| videos熟女内射| 人人妻人人澡欧美一区二区| 国产在视频线精品| 久久久精品大字幕| 国产午夜精品久久久久久一区二区三区| 亚洲av免费高清在线观看| 搞女人的毛片| 97超视频在线观看视频| 男人狂女人下面高潮的视频| 赤兔流量卡办理| 亚洲怡红院男人天堂| 99在线视频只有这里精品首页| 九草在线视频观看| 久久久久久久午夜电影| 亚洲精品一区蜜桃| 日日啪夜夜撸| 国产黄片视频在线免费观看| 午夜精品一区二区三区免费看| 亚洲欧美日韩无卡精品| 免费看美女性在线毛片视频| 久久草成人影院| 亚洲精品乱码久久久久久按摩| 一二三四中文在线观看免费高清| 久久亚洲国产成人精品v| 天堂√8在线中文| 成年av动漫网址| 亚洲成人av在线免费| 99热网站在线观看| 免费在线观看成人毛片| 美女脱内裤让男人舔精品视频| 激情 狠狠 欧美| 国产亚洲一区二区精品| 久久亚洲国产成人精品v| 亚洲精品久久久久久婷婷小说 | 舔av片在线| 熟女人妻精品中文字幕| 亚洲丝袜综合中文字幕| 日韩欧美 国产精品| 麻豆国产97在线/欧美| 亚洲国产色片| 国产精品电影一区二区三区| 亚洲精品aⅴ在线观看| 国产精品精品国产色婷婷| 日本黄色片子视频| 伦精品一区二区三区| 亚洲欧美日韩无卡精品| 搡老妇女老女人老熟妇| 国产一级毛片在线| 少妇熟女aⅴ在线视频| 五月伊人婷婷丁香| 69av精品久久久久久| 亚洲人成网站在线播| 亚洲经典国产精华液单| 国产精品av视频在线免费观看| 男女视频在线观看网站免费| 精品人妻一区二区三区麻豆| 久久热精品热| 亚洲五月天丁香| 国产一区有黄有色的免费视频 | 国产老妇女一区| 综合色av麻豆| videos熟女内射| www日本黄色视频网| 麻豆成人午夜福利视频| 日韩,欧美,国产一区二区三区 | 99久久精品一区二区三区| 搡女人真爽免费视频火全软件| 人妻少妇偷人精品九色| 看十八女毛片水多多多| 狂野欧美激情性xxxx在线观看| 久久久a久久爽久久v久久| 日本色播在线视频| 日韩 亚洲 欧美在线| 精品不卡国产一区二区三区| 我要看日韩黄色一级片| 国产成人a区在线观看| 少妇丰满av| 人妻系列 视频| 国产一级毛片七仙女欲春2| 最近视频中文字幕2019在线8| 国产v大片淫在线免费观看| 欧美日韩综合久久久久久| 亚洲av男天堂| 国产免费视频播放在线视频 | 国产精品蜜桃在线观看| 少妇高潮的动态图| 久久婷婷人人爽人人干人人爱| 麻豆成人午夜福利视频| 国产高清不卡午夜福利| 国产精品av视频在线免费观看| 如何舔出高潮| 亚洲av.av天堂| 亚洲在线观看片| 久久精品影院6| 赤兔流量卡办理| 欧美一区二区亚洲| 国语自产精品视频在线第100页| av卡一久久| 国产精品久久久久久久电影| 午夜爱爱视频在线播放| 午夜福利高清视频| 国产精华一区二区三区| 国内精品一区二区在线观看| 丰满人妻一区二区三区视频av| 国产在视频线精品| 一级毛片aaaaaa免费看小| 国产爱豆传媒在线观看| 少妇猛男粗大的猛烈进出视频 | 亚洲欧美精品专区久久| 久久99热这里只频精品6学生 | 麻豆国产97在线/欧美| 久久久久久久久中文| 少妇裸体淫交视频免费看高清| 日本熟妇午夜| 最近手机中文字幕大全| 久久精品人妻少妇| 亚洲欧美精品综合久久99| 日韩制服骚丝袜av| 99热精品在线国产| 在线观看美女被高潮喷水网站| 高清视频免费观看一区二区 | 久久久久久国产a免费观看| 99久国产av精品| 我的老师免费观看完整版| 97在线视频观看| 干丝袜人妻中文字幕| 成人毛片60女人毛片免费| 青青草视频在线视频观看| 精品99又大又爽又粗少妇毛片| 中文亚洲av片在线观看爽| av国产久精品久网站免费入址| 夜夜看夜夜爽夜夜摸| 久久久国产成人免费| 午夜日本视频在线| 晚上一个人看的免费电影| 男人舔奶头视频| 丰满少妇做爰视频| 久久精品国产鲁丝片午夜精品| 中文天堂在线官网| 一个人免费在线观看电影| 国产欧美日韩精品一区二区| 亚洲国产精品专区欧美| 最近的中文字幕免费完整| 精品酒店卫生间| 国产精品爽爽va在线观看网站| 欧美成人午夜免费资源| 亚洲成人av在线免费| 我要搜黄色片| 日韩成人伦理影院| 成人国产麻豆网| 在现免费观看毛片| 精品少妇黑人巨大在线播放 | 欧美丝袜亚洲另类| 深夜a级毛片| 直男gayav资源| 亚洲国产欧美在线一区| 久久亚洲国产成人精品v| 欧美激情在线99| 全区人妻精品视频| 亚洲成人久久爱视频| 中文欧美无线码| 国产精品国产三级国产专区5o | 亚洲国产精品成人久久小说| 国产成人一区二区在线| 久久精品久久久久久噜噜老黄 | 夜夜看夜夜爽夜夜摸| 深爱激情五月婷婷| 亚洲在线自拍视频| av免费观看日本| 乱系列少妇在线播放| 欧美日韩一区二区视频在线观看视频在线 | 国产极品天堂在线| 日日干狠狠操夜夜爽| 人人妻人人看人人澡| 听说在线观看完整版免费高清| 九草在线视频观看| 亚洲四区av| 在线a可以看的网站| 嫩草影院入口| 人妻制服诱惑在线中文字幕| 国产国拍精品亚洲av在线观看| 亚洲精品456在线播放app| 国产精品一区二区在线观看99 | 最近中文字幕2019免费版| 我要看日韩黄色一级片| 青春草视频在线免费观看| 亚洲美女视频黄频| 蜜桃亚洲精品一区二区三区| 亚洲精品乱码久久久久久按摩| 91精品伊人久久大香线蕉| 成人综合一区亚洲| 亚洲伊人久久精品综合 | www.av在线官网国产| 观看美女的网站| 欧美日韩国产亚洲二区| 国产精品精品国产色婷婷| 中文字幕人妻熟人妻熟丝袜美| 亚洲自拍偷在线| 亚洲国产色片| 国语自产精品视频在线第100页| 男女国产视频网站| 啦啦啦观看免费观看视频高清| 我的女老师完整版在线观看| 在线免费观看不下载黄p国产| 国产免费一级a男人的天堂| 国产精品久久视频播放| 少妇高潮的动态图| 亚洲欧洲日产国产| 欧美成人免费av一区二区三区| 久久精品人妻少妇| 午夜精品在线福利| 你懂的网址亚洲精品在线观看 | 国产av在哪里看| 色尼玛亚洲综合影院| 精品久久国产蜜桃| 成人欧美大片| 国产精品日韩av在线免费观看| 十八禁国产超污无遮挡网站| 国产午夜精品久久久久久一区二区三区| 亚洲最大成人手机在线| 国内精品一区二区在线观看| 欧美一区二区国产精品久久精品| 别揉我奶头 嗯啊视频| 91aial.com中文字幕在线观看| 干丝袜人妻中文字幕| 日本免费一区二区三区高清不卡| 一本一本综合久久| 自拍偷自拍亚洲精品老妇| 亚洲不卡免费看| 久久久久久国产a免费观看| 日韩成人伦理影院| 视频中文字幕在线观看| 中国美白少妇内射xxxbb| 嫩草影院精品99| 亚洲av中文字字幕乱码综合| 亚洲熟妇中文字幕五十中出| 久久精品国产亚洲av涩爱| 2021少妇久久久久久久久久久| 亚洲成人精品中文字幕电影| 国产精品麻豆人妻色哟哟久久 | 嫩草影院精品99| av在线老鸭窝| 国产成人91sexporn| 日本黄色片子视频| 男人舔奶头视频| 狂野欧美白嫩少妇大欣赏| 1000部很黄的大片| 欧美色视频一区免费| 波野结衣二区三区在线| 亚洲av熟女| 一个人看视频在线观看www免费| 两个人视频免费观看高清| 亚洲欧美日韩东京热| 好男人在线观看高清免费视频| 亚洲精品成人久久久久久| 国产探花在线观看一区二区| 欧美激情在线99| 22中文网久久字幕| 免费黄网站久久成人精品| 国国产精品蜜臀av免费| 欧美最新免费一区二区三区| 热99re8久久精品国产| 中文欧美无线码| 中文字幕制服av| 国产精品一及| 国产免费又黄又爽又色| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久a久久爽久久v久久| 久久精品夜夜夜夜夜久久蜜豆| 嘟嘟电影网在线观看| 欧美日韩在线观看h| 超碰97精品在线观看| 亚洲成人精品中文字幕电影| 大又大粗又爽又黄少妇毛片口| 日日摸夜夜添夜夜爱| 中文天堂在线官网| 99久久人妻综合| 国产精品精品国产色婷婷| 九草在线视频观看| 最后的刺客免费高清国语| 亚洲欧美精品自产自拍| 禁无遮挡网站| 亚洲av日韩在线播放| 国内精品宾馆在线| 国产免费福利视频在线观看| 国产美女午夜福利| 自拍偷自拍亚洲精品老妇| 女人被狂操c到高潮| 久久精品国产自在天天线| 国产亚洲av片在线观看秒播厂 | 岛国毛片在线播放|