• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    CHIP 2020評(píng)測(cè)任務(wù)2概述:中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取

    2022-08-02 05:15:46甘子發(fā)昝紅英關(guān)同峰李雯昕朱田恬穗志方陳清財(cái)
    中文信息學(xué)報(bào) 2022年6期
    關(guān)鍵詞:三元組評(píng)測(cè)類別

    甘子發(fā),昝紅英,4,關(guān)同峰,4,李雯昕,4,張 歡,朱田恬,穗志方,陳清財(cái),4

    (1. 鄭州大學(xué) 信息工程學(xué)院,河南 鄭州 450001;2. 北京大學(xué) 計(jì)算語言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100871;3. 哈爾濱工業(yè)大學(xué)(深圳),廣東 深圳 518000;4. 鵬城實(shí)驗(yàn)室,廣東 深圳 518052)

    0 引言

    隨著生物醫(yī)學(xué)領(lǐng)域研究的不斷發(fā)展,產(chǎn)生了越來越多的生物醫(yī)學(xué)文獻(xiàn)。研究人員的醫(yī)學(xué)知識(shí)儲(chǔ)量與其閱讀的文獻(xiàn)數(shù)量密切相關(guān),但普通的研究人員難以盡數(shù)閱讀現(xiàn)有的大量文獻(xiàn),因此對(duì)生物醫(yī)學(xué)文獻(xiàn)中有價(jià)值的信息進(jìn)行提取和挖掘就受到越來越多研究者的關(guān)注。

    信息抽取是自然語言處理的一項(xiàng)重要課題,其基本任務(wù)就是從原始的非結(jié)構(gòu)化文本中抽取指定類型的實(shí)體、關(guān)系和事件等事實(shí)信息,并輸出有意義的結(jié)構(gòu)化信息,以用于智能問答、信息檢索等。信息抽取包括命名實(shí)體識(shí)別、實(shí)體關(guān)系抽取和事件抽取等子任務(wù),本文關(guān)注于實(shí)體關(guān)系抽取。近年來許多學(xué)者在實(shí)體關(guān)系抽取領(lǐng)域開展了深入研究,以從非結(jié)構(gòu)化的文本中抽取有效信息并服務(wù)于下游子任務(wù)。由中文自然語言句子或句子集合組成的醫(yī)學(xué)教材、臨床實(shí)踐以及電子病歷數(shù)據(jù)等均為非結(jié)構(gòu)化的醫(yī)學(xué)文本,醫(yī)學(xué)領(lǐng)域的實(shí)體關(guān)系抽取便是從非結(jié)構(gòu)化醫(yī)學(xué)文本中識(shí)別出醫(yī)學(xué)實(shí)體,并確定實(shí)體對(duì)之間關(guān)系事實(shí)的過程。

    CHIP 2020主題為“數(shù)據(jù)和知識(shí)驅(qū)動(dòng)的醫(yī)療AI”。會(huì)議共享評(píng)測(cè)的任務(wù)2聚焦于“中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取”,希望能通過深度學(xué)習(xí)及其他算法促進(jìn)中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取的相關(guān)研究。評(píng)測(cè)任務(wù)的數(shù)據(jù)總共包括28 008條經(jīng)過人工標(biāo)注實(shí)體關(guān)系的中文醫(yī)學(xué)文本,以及預(yù)先定義好的53種實(shí)體關(guān)系類別標(biāo)簽(schema),其由11種醫(yī)學(xué)實(shí)體類別和44種關(guān)系類別組合而成。任務(wù)要求: 給定一條真實(shí)的中文醫(yī)學(xué)文本,模型需要返回其可能包含的實(shí)體關(guān)系三元組(triple),每個(gè)三元組由主實(shí)體(subject)、關(guān)系(predicate)及客實(shí)體(object)組成。評(píng)測(cè)任務(wù)最終排名指標(biāo)為微平均F1值,示例數(shù)據(jù)如表1所示。

    表1 評(píng)測(cè)任務(wù)數(shù)據(jù)示例

    1 相關(guān)工作

    1.1 實(shí)體關(guān)系抽取研究進(jìn)展

    實(shí)體關(guān)系抽取是自然語言處理的一項(xiàng)重要子任務(wù),有著重要的研究?jī)r(jià)值和廣泛的應(yīng)用前景。隨著醫(yī)學(xué)領(lǐng)域信息化的發(fā)展,醫(yī)學(xué)文本的實(shí)體關(guān)系抽取在提取結(jié)構(gòu)化信息、輔助診斷等方面發(fā)揮著重要作用。中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取任務(wù)的數(shù)據(jù)來源廣泛,包括醫(yī)學(xué)教材、臨床實(shí)踐、電子病歷等,通常由非結(jié)構(gòu)化或半結(jié)構(gòu)化的文本組成。實(shí)體關(guān)系抽取有多種實(shí)現(xiàn)方法,而根據(jù)設(shè)計(jì)思想的差異,實(shí)體關(guān)系抽取方法可以分為流水線方法和聯(lián)合抽取方法[1]。

    1.1.1 流水線方法

    流水線方法是指將實(shí)體關(guān)系抽取分為兩步來實(shí)現(xiàn),分別為命名實(shí)體識(shí)別(named entity recognition,NER)和關(guān)系抽取(relation extraction,RE),但第2步的關(guān)系抽取依賴于第1步的命名實(shí)體識(shí)別,若第1步出現(xiàn)錯(cuò)誤,第2步則必定受到影響,因此流水線方法存在誤差傳遞問題。Soares等[2]將關(guān)系語句到表示關(guān)系的定長(zhǎng)向量的映射定義為函數(shù),并測(cè)試了關(guān)系編碼器的不同架構(gòu)對(duì)關(guān)系抽取效果的影響,最后其提出的關(guān)系抽取預(yù)訓(xùn)練任務(wù)空白匹配(matching the blanks,MTB)讓模型在少樣本關(guān)系抽取任務(wù)上的效果有明顯的提升。Zhong等[3]則通過對(duì)實(shí)體和關(guān)系分別進(jìn)行編碼,使得其結(jié)果超越了之前的所有聯(lián)合抽取模型,并提出了一種新穎且有效的近似方法,只需精度略微下降便可實(shí)現(xiàn)8~16倍的推斷提速。

    1.1.2 聯(lián)合抽取方法

    聯(lián)合抽取方法則采用參數(shù)共享[4-5]或統(tǒng)一標(biāo)注方案[6]實(shí)現(xiàn)聯(lián)合編碼來解決流水線方式的誤差傳遞問題,Zeng等[4]將醫(yī)學(xué)文本中的實(shí)體關(guān)系三元組分為正常、實(shí)體對(duì)重疊、單實(shí)體重疊三個(gè)類別,為了解決絕大多數(shù)方法只能關(guān)注于正常三元組而少有能考慮到其他類別三元組的問題,提出了使用復(fù)制機(jī)制(copy mechanism)的基于序列到序列(seq2seq)的端到端(end2end)模型,該模型可以聯(lián)合抽取文本中任意類別的關(guān)系事實(shí)。Fu等[5]提出在實(shí)體關(guān)系抽取方法中,有三個(gè)方面的問題: 實(shí)體識(shí)別和關(guān)系抽取的端到端聯(lián)合模型、對(duì)重疊關(guān)系的預(yù)測(cè)、關(guān)系尤其是重疊關(guān)系之間的相互作用,這三個(gè)方面仍有待在一個(gè)統(tǒng)一的框架內(nèi)得到充分處理,為此Fu等提出了關(guān)系圖模型(GraphRel),該模型是第一個(gè)處理關(guān)系抽取中上述全部三個(gè)關(guān)鍵方面的神經(jīng)端到端聯(lián)合模型。Wei等[6]為了解決實(shí)體重疊的問題,提出了一個(gè)新的級(jí)聯(lián)二元標(biāo)注框架(cascade binary tagging framework,CASREL),不同于之前的方法,其將關(guān)系當(dāng)作離散標(biāo)簽,該框架將關(guān)系建模成從句子中的主實(shí)體映射到客實(shí)體的函數(shù),由此來解決重疊問題。

    1.2 中文醫(yī)學(xué)文本的實(shí)體關(guān)系類別研究

    知識(shí)圖譜的構(gòu)建與融合一直受到研究者的關(guān)注,奧德瑪?shù)萚7]、昝紅英等[8]利用自然語言處理技術(shù)與文本挖掘技術(shù),構(gòu)建了中文醫(yī)學(xué)知識(shí)圖譜(Chinese medical knowledge graph,CMeKG),CMeKG包括疾病、藥物、醫(yī)療程序及身體等實(shí)體,并描述了100余萬個(gè)概念關(guān)系實(shí)例及屬性三元組,并針對(duì)疾病、藥物、醫(yī)療程序及身體等各類醫(yī)學(xué)概念進(jìn)行細(xì)化描述,定義了各類概念的關(guān)系描述框架,其將實(shí)體分為12大類,并定義了實(shí)體間的12個(gè)關(guān)系類型,為此后的醫(yī)學(xué)知識(shí)圖譜研究奠定了基礎(chǔ),同時(shí)也為中文醫(yī)學(xué)文本的實(shí)體關(guān)系類別研究提供了參考。昝紅英等[9]在醫(yī)學(xué)領(lǐng)域?qū)<业闹笇?dǎo)下制定了適合兒科學(xué)的命名實(shí)體和實(shí)體關(guān)系的標(biāo)注體系及詳細(xì)標(biāo)注規(guī)范;融合國(guó)內(nèi)外相關(guān)醫(yī)學(xué)標(biāo)準(zhǔn)資源,利用標(biāo)注工具對(duì)298余萬字兒科醫(yī)學(xué)文本中實(shí)體及實(shí)體關(guān)系進(jìn)行機(jī)器預(yù)標(biāo)注、人工標(biāo)注及人工校對(duì),構(gòu)建了面向兒科疾病的醫(yī)學(xué)實(shí)體及關(guān)系語料庫。在前者的基礎(chǔ)上,Guan等[10]參考國(guó)內(nèi)外權(quán)威的醫(yī)學(xué)標(biāo)準(zhǔn)術(shù)語集,搜集多種來源的醫(yī)學(xué)文本資料,包括常見疾病的臨床實(shí)踐、醫(yī)學(xué)教材《兒科學(xué)》、《臨床兒科學(xué)》等來源的醫(yī)學(xué)文本,通過對(duì)部分語料進(jìn)行預(yù)標(biāo)注并對(duì)標(biāo)注結(jié)果進(jìn)行分析,與醫(yī)學(xué)專家共同研究評(píng)估,總結(jié)出了11種實(shí)體類別和44種關(guān)系類別,并由此制定出中文醫(yī)學(xué)信息抽取數(shù)據(jù)集(Chinese medical information extraction,CMeIE)的語料標(biāo)注規(guī)范,以及實(shí)體和關(guān)系描述體系規(guī)范。

    中文醫(yī)學(xué)文本的實(shí)體關(guān)系類別研究可以優(yōu)化實(shí)體關(guān)系設(shè)計(jì),并有效促進(jìn)醫(yī)學(xué)知識(shí)圖譜的構(gòu)建與融合。2018年瑞金醫(yī)院人工智能輔助構(gòu)建知識(shí)圖譜大賽公布了600份與糖尿病相關(guān)的學(xué)術(shù)論文和糖尿病臨床指南,以及定義好的11種關(guān)系類別,旨在通過糖尿病相關(guān)的教科書、研究論文來做糖尿病文獻(xiàn)挖掘并構(gòu)建糖尿病知識(shí)圖譜。其中排名第1的模型結(jié)合Zeng等[11]與Zhou等[12]的優(yōu)點(diǎn)并做出改進(jìn),其F1值達(dá)到了0.787。隨著實(shí)體關(guān)系抽取技術(shù)的不斷發(fā)展,中文醫(yī)學(xué)文本的實(shí)體關(guān)系類別研究與醫(yī)學(xué)知識(shí)圖譜研究也在不斷相互促進(jìn),共同發(fā)展。此次CHIP 2020評(píng)測(cè)任務(wù)2聚焦于中文醫(yī)學(xué)文本的實(shí)體關(guān)系抽取任務(wù),希望能驗(yàn)證基于深度學(xué)習(xí)算法的實(shí)體關(guān)系抽取技術(shù),促進(jìn)中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取的研究。

    2 評(píng)測(cè)數(shù)據(jù)

    CHIP 2020評(píng)測(cè)任務(wù)2的數(shù)據(jù)集為CMeIE數(shù)據(jù)集,該數(shù)據(jù)集為公開數(shù)據(jù)集,可用于科學(xué)研究。CMeIE數(shù)據(jù)集的數(shù)據(jù)來源廣泛,包括常見疾病的臨床實(shí)踐、醫(yī)學(xué)教材《兒科學(xué)》、《臨床兒科學(xué)》等來源的醫(yī)學(xué)文本。醫(yī)學(xué)教材均在國(guó)家衛(wèi)生部指導(dǎo)下由專業(yè)醫(yī)生編寫,是極其權(quán)威和可靠的。臨床實(shí)踐則是根據(jù)具體的臨床情況,系統(tǒng)化制定的以幫助醫(yī)生和患者選擇恰當(dāng)治療手段的醫(yī)學(xué)指南,具有結(jié)構(gòu)規(guī)范、內(nèi)容豐富和更新及時(shí)的特點(diǎn)。該數(shù)據(jù)集共有11種實(shí)體類別和44種關(guān)系類別,并且對(duì)每種類別都定義了描述信息和標(biāo)注規(guī)范。標(biāo)注團(tuán)隊(duì)在對(duì)醫(yī)學(xué)文本進(jìn)行標(biāo)注之前,將其以篇章為單位分為若干份,每一份都由兩名標(biāo)注者獨(dú)立進(jìn)行標(biāo)注,對(duì)于標(biāo)注結(jié)果不一致和不確定的情況,由專家討論后確定最終結(jié)果。標(biāo)注完成后對(duì)醫(yī)學(xué)文本進(jìn)行分句,每一條醫(yī)學(xué)文本以及其中包含的實(shí)體關(guān)系三元組為一條數(shù)據(jù)。本文使用F1值衡量數(shù)據(jù)集的標(biāo)注一致性[13],實(shí)體和關(guān)系的F1值分別達(dá)到了0.85和0.82。

    CMeIE數(shù)據(jù)集包含11種實(shí)體類別、44種關(guān)系類別、28 008條醫(yī)學(xué)文本和85 282個(gè)三元組。數(shù)據(jù)集分為4部分,其中,訓(xùn)練集包含14 399條數(shù)據(jù),驗(yàn)證集包含3 585條數(shù)據(jù),測(cè)試集1包含4 482條數(shù)據(jù),測(cè)試集2包含5 602條數(shù)據(jù)。該數(shù)據(jù)集有著各關(guān)系類別數(shù)據(jù)量分布不均衡的特點(diǎn),整體上呈現(xiàn)長(zhǎng)尾分布。44種關(guān)系類別中,臨床表現(xiàn)關(guān)系的三元組有22 932個(gè),而病理生理關(guān)系的三元組只有60個(gè),詳細(xì)信息如表2所示。

    表2 訓(xùn)練集、驗(yàn)證集、測(cè)試集1、測(cè)試集2中三元組在各關(guān)系類型上的數(shù)量分布情況

    3 評(píng)測(cè)結(jié)果

    評(píng)測(cè)任務(wù)2的訓(xùn)練集、驗(yàn)證集以及測(cè)試集1于2020年7月20日發(fā)布后,參賽隊(duì)伍搭建并訓(xùn)練各自的模型,每支參賽隊(duì)伍每天可提交一次在測(cè)試集1上的結(jié)果,系統(tǒng)會(huì)及時(shí)根據(jù)參賽隊(duì)伍提交的結(jié)果更新排名。測(cè)試集2于2020年9月28日發(fā)布,每支參賽隊(duì)伍在測(cè)試集2公布期間每天可提交一次結(jié)果。最終結(jié)果根據(jù)各參賽隊(duì)伍在測(cè)試集2上的微平均F1值進(jìn)行排名。評(píng)測(cè)任務(wù)2于2020年10月15日截止,至截止日期總共174支隊(duì)伍參加評(píng)測(cè)任務(wù),共計(jì)515人,其中,105支隊(duì)伍來自科研院校等機(jī)構(gòu),64支隊(duì)伍來自企業(yè),5支隊(duì)伍為個(gè)人報(bào)名。最終51支隊(duì)伍提交了測(cè)試集1的結(jié)果,17支隊(duì)伍提交了測(cè)試集2的結(jié)果。根據(jù)參賽規(guī)則,參賽隊(duì)伍的評(píng)測(cè)方法和結(jié)果,由評(píng)測(cè)組織者進(jìn)行學(xué)術(shù)評(píng)測(cè)研究分析。

    3.1 評(píng)估指標(biāo)

    評(píng)測(cè)使用的評(píng)價(jià)指標(biāo)包括精確率(Precision,P)、召回率(Recall,R)和F1值。最終排名以F1值為基準(zhǔn)。本次評(píng)測(cè)任務(wù)使用微平均的方式計(jì)算精確率、召回率和F1值,即不分類別地統(tǒng)計(jì)全部的三元組進(jìn)行計(jì)算。計(jì)算如式(1)~式(3)所示。

    其中,n為測(cè)試集2中的句子個(gè)數(shù),最終根據(jù)F1值進(jìn)行排名。

    3.2 方法分析

    采用預(yù)訓(xùn)練語言模型,結(jié)合實(shí)體關(guān)系抽取框架,然后針對(duì)抽取任務(wù)進(jìn)行微調(diào),最后對(duì)多個(gè)模型進(jìn)行融合是解決中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取任務(wù)的主流策略。預(yù)訓(xùn)練語言模型一般在大規(guī)模文本語料庫上進(jìn)行預(yù)訓(xùn)練,以獲得豐富的語義表示信息,并可以在給定任務(wù)文本上進(jìn)行微調(diào)。本文對(duì)前三名隊(duì)伍的方法進(jìn)行分析。

    參賽隊(duì)伍使用了多種預(yù)訓(xùn)練語言模型。前三名的隊(duì)伍均使用了強(qiáng)力優(yōu)化變換器雙向編碼表征模型(robustly optimized BERT pretraining approach,RoBERTa)[14]以及面向漢語理解的神經(jīng)語境表征模型(neural contextualized representation for Chinese language understanding,NEZHA)[15]。排名第1的隊(duì)伍另外使用了變換器雙向編碼表征模型(bidirectional encoder representations from transformers,BERT)[16],排名第3的隊(duì)伍另外使用了高效替代令牌檢測(cè)分類編碼器(efficiently learning an encoder that classifies token replacements accurately,ELECTRA)[17]。

    參賽隊(duì)伍使用了多種機(jī)器學(xué)習(xí)算法與預(yù)訓(xùn)練語言模型融合進(jìn)行實(shí)體關(guān)系的抽取。排名第1的隊(duì)伍采用了3種訓(xùn)練策略: ①使用層疊式指針網(wǎng)絡(luò)先識(shí)別主實(shí)體,再基于主實(shí)體感知抽取不同關(guān)系類型下的客實(shí)體,并對(duì)其做出了改進(jìn),如訓(xùn)練時(shí)針對(duì)不同主實(shí)體構(gòu)建其對(duì)應(yīng)的訓(xùn)練集、引入conditional LarerNorm對(duì)主實(shí)體的表征進(jìn)行感知、改進(jìn)BERT的分詞器以更好地提取英文專有名詞等;②將實(shí)體關(guān)系抽取任務(wù)看作多頭選擇(multi-head selection)[18]問題,將編碼層由長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型(long short-term memory,LSTM)[19]改為BERT等預(yù)訓(xùn)練模型,并使用條件隨機(jī)場(chǎng)(conditional random field,CRF)[20]或指針網(wǎng)絡(luò)作為關(guān)系分類器;③基于注意力機(jī)制(attention mechanism)[21]對(duì)第2種策略進(jìn)行改進(jìn),將BERT最后兩層編碼進(jìn)行雙仿射變換(biaffine)計(jì)算[22]得到多頭矩陣,同時(shí)引入[CLS]進(jìn)行全局編碼。上述三種策略中,第3種策略取得了最好的效果。基于上述的三種算法策略,排名第1的隊(duì)伍使用K折交叉驗(yàn)證(K-fold cross validation)構(gòu)建了模型融合策略;將原始數(shù)據(jù)集(訓(xùn)練集+驗(yàn)證集)劃分為5折進(jìn)行交叉驗(yàn)證,并采用了4種不同的預(yù)訓(xùn)練語言模型。

    排名第2的隊(duì)伍主要采用指針網(wǎng)絡(luò)結(jié)合預(yù)訓(xùn)練模型預(yù)測(cè)主實(shí)體、客實(shí)體及關(guān)系,并用conditional LayerNorm或注意力機(jī)制融合主實(shí)體向量與字符向量。對(duì)于單個(gè)模型,其優(yōu)化方案有采樣更多主實(shí)體、融合BERT模型多層表征、通過融合專業(yè)名詞的邊界信息以及拼接詞嵌入向量進(jìn)行詞匯增強(qiáng)、分別對(duì)主實(shí)體預(yù)測(cè)和客實(shí)體預(yù)測(cè)的分?jǐn)?shù)加乘方以加快收斂、指數(shù)移動(dòng)平均(exponential moving average,EMA)、動(dòng)態(tài)調(diào)整學(xué)習(xí)率等。對(duì)于多個(gè)模型,其使用了K折交叉驗(yàn)證進(jìn)行模型融合。

    排名第3的隊(duì)伍使用了兩種不同的策略: ①使用層疊式指針網(wǎng)絡(luò),并輔以不同訓(xùn)練方案,如每個(gè)數(shù)據(jù)實(shí)例隨機(jī)采樣一個(gè)主實(shí)體、每個(gè)實(shí)例采樣所有主實(shí)體或采用不同句長(zhǎng)以得到更豐富的三元組抽取結(jié)果;②在第1種策略的基礎(chǔ)上引入NER進(jìn)行多任務(wù)訓(xùn)練: 在BERT的編碼層之后連接CRF,采用序列標(biāo)注方法進(jìn)行實(shí)體識(shí)別。對(duì)于多個(gè)模型,其同樣使用了K折交叉驗(yàn)證進(jìn)行模型融合。

    數(shù)據(jù)預(yù)處理可以讓模型更好地提取和學(xué)習(xí)到文本中的表示特征,提高模型的泛化能力和預(yù)測(cè)能力。在此次任務(wù)中,數(shù)據(jù)集已經(jīng)去除過重復(fù)數(shù)據(jù)。為了提升模型訓(xùn)練效果,參賽隊(duì)伍均對(duì)過長(zhǎng)的文本進(jìn)行了截?cái)嗵幚?。排名?和第3的隊(duì)伍均使用了不同句長(zhǎng)的數(shù)據(jù)進(jìn)行訓(xùn)練以得到更豐富的預(yù)測(cè)結(jié)果。排名第3的隊(duì)伍還使用訓(xùn)練好的模型預(yù)測(cè)醫(yī)學(xué)文本中的實(shí)體得到偽標(biāo)簽(pseudo-label)以達(dá)到數(shù)據(jù)增強(qiáng)的目的。

    3.3 結(jié)果分析

    對(duì)17支隊(duì)伍提交的測(cè)試集2的評(píng)測(cè)結(jié)果進(jìn)行分析,F(xiàn)1值的平均數(shù)為0.551 5,最大值為0.648 6,最小值為0.276 0,中位數(shù)為0.566 2。排名前三的隊(duì)伍提交的各自最優(yōu)的結(jié)果信息如表3所示,包括參賽單位、方法描述和F1值。

    表3 排名前三參賽隊(duì)伍的系統(tǒng)結(jié)果

    圖1為排名前三的隊(duì)伍提交結(jié)果在測(cè)試集2中各關(guān)系類別上的表現(xiàn),縱坐標(biāo)表示各類別上的F1值,橫坐標(biāo)表示44種中文醫(yī)學(xué)文本關(guān)系類別,并按照F1值從高到低對(duì)類別進(jìn)行排序。各隊(duì)伍對(duì)“多發(fā)季節(jié)”和“同義詞”這兩種關(guān)系類別的三元組抽取效果最好,所有隊(duì)伍結(jié)果的F1值都超過了0.8,主要原因是“多發(fā)季節(jié)”的客實(shí)體特征明顯,大多包含“秋冬季”“春秋”等詞匯,而“同義詞”的主實(shí)體和客實(shí)體相似性和關(guān)聯(lián)性較強(qiáng)?!扒旨爸車M織轉(zhuǎn)移的癥狀”抽取效果最差,三支隊(duì)伍的成績(jī)均為0.0,這主要是因?yàn)椤扒旨爸車M織轉(zhuǎn)移的癥狀”這一關(guān)系類別包含的三元組數(shù)量極少,而且其與包含三元組數(shù)量最多的“臨床表現(xiàn)”存在實(shí)體對(duì)重疊的問題,這導(dǎo)致系統(tǒng)難以識(shí)別這一關(guān)系類別。

    圖1 排名前三的隊(duì)伍分別在 44 種關(guān)系類別上的F1值

    結(jié)合各關(guān)系類別的數(shù)據(jù)量和相關(guān)實(shí)體特征信息分析,可以發(fā)現(xiàn)實(shí)體具有特征明顯的獨(dú)特性詞匯、主客實(shí)體相似性和關(guān)聯(lián)性較強(qiáng)以及數(shù)據(jù)量大的實(shí)體關(guān)系類型抽取效果較好,而數(shù)據(jù)稀疏、沒有明顯特征信息的實(shí)體關(guān)系類型則抽取效果較差。模型表現(xiàn)好的實(shí)體關(guān)系類別,如“多發(fā)季節(jié)”“同義詞”“鑒別診斷”及“多發(fā)地區(qū)”,一般其三元組的實(shí)體特征信息明顯、辨識(shí)性強(qiáng),這可以幫助模型表現(xiàn)出好的抽取效果。抽取效果差的實(shí)體關(guān)系類型,如“侵及周圍組織轉(zhuǎn)移的癥狀”“預(yù)后狀況”“相關(guān)(轉(zhuǎn)化)”及“發(fā)病機(jī)制”,由于實(shí)體沒有明顯的特征信息、主客實(shí)體的相似性和關(guān)聯(lián)性不強(qiáng)以及數(shù)據(jù)量少,因此抽取效果較差。

    在各實(shí)體關(guān)系類別中,存在關(guān)系重疊的問題,在這種情況下,數(shù)據(jù)量和實(shí)體特征的獨(dú)特性對(duì)實(shí)體關(guān)系抽取效果的影響被擴(kuò)大,數(shù)據(jù)量少且實(shí)體特征不明顯的實(shí)體關(guān)系抽取效果大大降低,如“侵及周圍組織轉(zhuǎn)移的癥狀”。

    結(jié)合不同隊(duì)伍的系統(tǒng)方案分析,發(fā)現(xiàn)在抽取效果好的實(shí)體關(guān)系類別中,各系統(tǒng)方案的性能差別不大,在抽取效果差的實(shí)體關(guān)系類別中,各系統(tǒng)方案的性能開始有了差異。因此提升在這些實(shí)體特征不明顯、實(shí)體間相似性和關(guān)聯(lián)性不強(qiáng)以及數(shù)據(jù)量少的實(shí)體關(guān)系類別上的抽取效果,對(duì)模型總體抽取效果的提升具有明顯的幫助。本次評(píng)測(cè)任務(wù)2中排名前三的隊(duì)伍均使用了多模型融合并結(jié)合各類機(jī)器學(xué)習(xí)算法的方案。排名第1的隊(duì)伍使用基于注意力機(jī)制改進(jìn)的多頭選擇策略,在抽取效果好的類別上的F1值略優(yōu)于其他兩支隊(duì)伍,但在抽取效果較差的類別上的F1值卻遜于其他兩支隊(duì)伍更多,不過因?yàn)槌槿⌒Ч玫念悇e一般數(shù)據(jù)量較大,所以總體上其預(yù)測(cè)正確的三元組數(shù)量更多,其微平均F1值更好。

    4 結(jié)語

    中國(guó)健康信息處理會(huì)議(CHIP 2020)共享評(píng)測(cè)任務(wù)2為中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取,總共開放了28 008條醫(yī)學(xué)文本、預(yù)先定義好的11種實(shí)體類型和44種關(guān)系類型。共有174支隊(duì)伍參加了評(píng)測(cè)任務(wù),其中17支隊(duì)伍提交了最終結(jié)果。排名第1的模型微平均F1值達(dá)到了0.648 6,其使用了將BERT等預(yù)訓(xùn)練模型和多頭選擇機(jī)制融合的抽取策略。參賽隊(duì)伍均使用了預(yù)訓(xùn)練模型,結(jié)合神經(jīng)網(wǎng)絡(luò)模型和各種抽取框架,然后針對(duì)實(shí)體關(guān)系抽取任務(wù)進(jìn)行微調(diào),最后對(duì)各個(gè)模型的結(jié)果進(jìn)行集成以提升整個(gè)模型的效果。結(jié)果分析顯示,排名前三的模型表現(xiàn)很接近,微平均F1值在0.63~0.65之間。排名第1的隊(duì)伍F1值較后兩支隊(duì)伍高出了0.01左右,但不同類別的實(shí)體關(guān)系抽取結(jié)果差異較大,數(shù)據(jù)量大、實(shí)體特征明顯以及實(shí)體關(guān)聯(lián)性強(qiáng)的實(shí)體關(guān)系類別抽取效果明顯較好。本次CHIP 2020共享評(píng)測(cè)任務(wù)2同時(shí)也為中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取任務(wù)提供了可供參考的數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果。在未來的工作中,如何提升模型在數(shù)據(jù)量較少的小類別以及關(guān)系重疊三元組上的表現(xiàn),仍是提高中文醫(yī)學(xué)文本實(shí)體關(guān)系抽取模型性能的關(guān)鍵。

    猜你喜歡
    三元組評(píng)測(cè)類別
    基于帶噪聲數(shù)據(jù)集的強(qiáng)魯棒性隱含三元組質(zhì)檢算法*
    特征標(biāo)三元組的本原誘導(dǎo)子
    次時(shí)代主機(jī)微軟XSX全方位評(píng)測(cè)(下)
    次時(shí)代主機(jī)微軟XSX全方位評(píng)測(cè)(上)
    關(guān)于余撓三元組的periodic-模
    攻坡新利器,TOKEN VENTOUS評(píng)測(cè)
    Canyon Ultimate CF SLX 8.0 DI2評(píng)測(cè)
    服務(wù)類別
    論類別股東會(huì)
    商事法論集(2014年1期)2014-06-27 01:20:42
    中醫(yī)類別全科醫(yī)師培養(yǎng)模式的探討
    日韩欧美一区二区三区在线观看| 97碰自拍视频| 欧美日韩黄片免| 三级男女做爰猛烈吃奶摸视频| 无限看片的www在线观看| 精品高清国产在线一区| 亚洲国产欧美网| 欧美一级a爱片免费观看看 | 一区福利在线观看| 老汉色av国产亚洲站长工具| 久久精品国产亚洲av香蕉五月| 国产在线观看jvid| 日本五十路高清| 成人国产综合亚洲| 中文字幕久久专区| 亚洲在线自拍视频| 欧美最黄视频在线播放免费| 看黄色毛片网站| 不卡av一区二区三区| 老司机在亚洲福利影院| 好男人电影高清在线观看| 中文字幕人成人乱码亚洲影| 1024香蕉在线观看| 久久久久久久午夜电影| 一个人观看的视频www高清免费观看 | 国产在线精品亚洲第一网站| 国产亚洲精品综合一区在线观看 | 欧美在线一区亚洲| 99久久国产精品久久久| 12—13女人毛片做爰片一| 黑人巨大精品欧美一区二区mp4| 身体一侧抽搐| 国产精品久久久av美女十八| 亚洲精品色激情综合| 俄罗斯特黄特色一大片| 久久久久九九精品影院| 国产区一区二久久| 丰满人妻熟妇乱又伦精品不卡| 人人妻人人看人人澡| 亚洲专区国产一区二区| 男人舔女人的私密视频| 一边摸一边做爽爽视频免费| 黄色成人免费大全| av福利片在线观看| 久久久久久免费高清国产稀缺| 精品电影一区二区在线| 亚洲美女视频黄频| 午夜a级毛片| 一级a爱片免费观看的视频| 黄色视频不卡| 国产成人精品久久二区二区91| 国产精品久久久久久人妻精品电影| 俺也久久电影网| 少妇的丰满在线观看| 波多野结衣巨乳人妻| www日本在线高清视频| 国产一区二区三区视频了| 美女大奶头视频| 变态另类丝袜制服| 日韩av在线大香蕉| 亚洲性夜色夜夜综合| 91av网站免费观看| 禁无遮挡网站| 99久久精品国产亚洲精品| 成人av在线播放网站| 国产成人影院久久av| 一级片免费观看大全| 日韩av在线大香蕉| 免费搜索国产男女视频| 免费看十八禁软件| 精品国产乱码久久久久久男人| 母亲3免费完整高清在线观看| av超薄肉色丝袜交足视频| 丝袜人妻中文字幕| 久久久久国内视频| 九九热线精品视视频播放| or卡值多少钱| 免费在线观看完整版高清| 男女做爰动态图高潮gif福利片| 欧美在线黄色| 成人国产一区最新在线观看| 亚洲午夜理论影院| 麻豆国产av国片精品| 国产av一区二区精品久久| 国产精品乱码一区二三区的特点| 久99久视频精品免费| 亚洲精品色激情综合| 亚洲电影在线观看av| 色综合欧美亚洲国产小说| 亚洲精品国产精品久久久不卡| 国产精品一区二区三区四区免费观看 | 亚洲熟女毛片儿| 色综合欧美亚洲国产小说| 一个人免费在线观看电影 | 欧美日韩一级在线毛片| 黄色女人牲交| 嫩草影视91久久| 国产99白浆流出| 日本成人三级电影网站| 日韩精品中文字幕看吧| 一本综合久久免费| 两个人看的免费小视频| 欧美一级毛片孕妇| 久久草成人影院| 黄片大片在线免费观看| 男女视频在线观看网站免费 | 在线播放国产精品三级| 免费看日本二区| 亚洲精品国产一区二区精华液| 精品午夜福利视频在线观看一区| 狂野欧美白嫩少妇大欣赏| 免费在线观看黄色视频的| 桃红色精品国产亚洲av| 日韩av在线大香蕉| 国产成人精品久久二区二区91| 51午夜福利影视在线观看| 欧美日韩乱码在线| 狠狠狠狠99中文字幕| 久久久精品欧美日韩精品| 好男人电影高清在线观看| 人人妻人人看人人澡| 一级毛片女人18水好多| 欧美最黄视频在线播放免费| 一级毛片女人18水好多| 日韩大尺度精品在线看网址| 亚洲人成网站高清观看| 丰满人妻熟妇乱又伦精品不卡| 蜜桃久久精品国产亚洲av| 亚洲欧美精品综合久久99| 美女扒开内裤让男人捅视频| 欧美乱妇无乱码| 国产成年人精品一区二区| 欧美三级亚洲精品| 黄色a级毛片大全视频| 69av精品久久久久久| 久久国产乱子伦精品免费另类| 国产av麻豆久久久久久久| 老司机福利观看| 一个人免费在线观看电影 | 日本三级黄在线观看| 亚洲av电影在线进入| 亚洲精品中文字幕在线视频| 久久久久精品国产欧美久久久| 欧美日韩福利视频一区二区| 国产精品久久视频播放| 桃红色精品国产亚洲av| 麻豆国产av国片精品| 热99re8久久精品国产| 无人区码免费观看不卡| 国产成人欧美在线观看| 亚洲天堂国产精品一区在线| 亚洲国产精品久久男人天堂| 99国产精品一区二区蜜桃av| 叶爱在线成人免费视频播放| 久久中文字幕一级| 亚洲aⅴ乱码一区二区在线播放 | 一级毛片精品| 成人高潮视频无遮挡免费网站| 亚洲自偷自拍图片 自拍| 免费无遮挡裸体视频| 久久婷婷成人综合色麻豆| 免费看a级黄色片| 一进一出好大好爽视频| 久久精品影院6| 亚洲一码二码三码区别大吗| 久久中文字幕一级| 露出奶头的视频| 日本免费a在线| 免费观看人在逋| 亚洲av熟女| 国产熟女午夜一区二区三区| 特大巨黑吊av在线直播| 亚洲在线自拍视频| 国产午夜精品论理片| 色老头精品视频在线观看| 亚洲熟女毛片儿| 老熟妇仑乱视频hdxx| 亚洲成人精品中文字幕电影| 亚洲国产看品久久| 国产欧美日韩一区二区三| 亚洲精品粉嫩美女一区| 亚洲无线在线观看| 少妇裸体淫交视频免费看高清 | bbb黄色大片| 精品午夜福利视频在线观看一区| www.熟女人妻精品国产| 亚洲国产欧美网| 国语自产精品视频在线第100页| 成人av一区二区三区在线看| 欧美成人午夜精品| 国产精品综合久久久久久久免费| 久久久久亚洲av毛片大全| 999久久久国产精品视频| 色在线成人网| 香蕉av资源在线| videosex国产| 欧美zozozo另类| 久久久久九九精品影院| 99久久国产精品久久久| 亚洲av电影不卡..在线观看| 精品久久久久久久久久免费视频| 国产精品亚洲美女久久久| 国产精品1区2区在线观看.| 老熟妇仑乱视频hdxx| 久久久国产欧美日韩av| 久久久久久久久久黄片| 欧美性猛交黑人性爽| 中国美女看黄片| 无人区码免费观看不卡| www.熟女人妻精品国产| 亚洲一区二区三区不卡视频| 小说图片视频综合网站| 女人高潮潮喷娇喘18禁视频| av欧美777| 久久精品综合一区二区三区| 成人午夜高清在线视频| 国产麻豆成人av免费视频| 天堂影院成人在线观看| 国产私拍福利视频在线观看| 亚洲国产欧洲综合997久久,| 欧美在线一区亚洲| 中文字幕精品亚洲无线码一区| 正在播放国产对白刺激| 国产免费男女视频| 人妻夜夜爽99麻豆av| 99久久精品热视频| a级毛片a级免费在线| 99riav亚洲国产免费| 国内精品久久久久久久电影| 亚洲avbb在线观看| 亚洲中文日韩欧美视频| 变态另类成人亚洲欧美熟女| 伊人久久大香线蕉亚洲五| 亚洲激情在线av| 最近视频中文字幕2019在线8| 老鸭窝网址在线观看| x7x7x7水蜜桃| 免费在线观看日本一区| 欧美不卡视频在线免费观看 | 一本久久中文字幕| 免费看日本二区| 久久久久久久久免费视频了| 一本综合久久免费| 日本黄大片高清| 一级a爱片免费观看的视频| 久久精品综合一区二区三区| 午夜福利视频1000在线观看| 成人亚洲精品av一区二区| 欧美国产日韩亚洲一区| 国产伦在线观看视频一区| 老汉色∧v一级毛片| 亚洲精品在线观看二区| 亚洲男人天堂网一区| 免费人成视频x8x8入口观看| 久久久精品国产亚洲av高清涩受| √禁漫天堂资源中文www| 看免费av毛片| 午夜激情av网站| 最好的美女福利视频网| 亚洲av美国av| 久久精品国产亚洲av高清一级| 欧美中文日本在线观看视频| 国产精品乱码一区二三区的特点| 亚洲一区二区三区色噜噜| 美女大奶头视频| 女生性感内裤真人,穿戴方法视频| 男女视频在线观看网站免费 | 日本黄色视频三级网站网址| 18禁黄网站禁片免费观看直播| av有码第一页| 后天国语完整版免费观看| √禁漫天堂资源中文www| 在线国产一区二区在线| 亚洲中文字幕日韩| 97人妻精品一区二区三区麻豆| 亚洲精品美女久久av网站| 欧美zozozo另类| 亚洲欧美激情综合另类| 九色国产91popny在线| 欧美精品亚洲一区二区| www.999成人在线观看| 免费在线观看亚洲国产| 国产精品乱码一区二三区的特点| 久久99热这里只有精品18| 久久性视频一级片| 久久久久久久久免费视频了| 老司机深夜福利视频在线观看| 身体一侧抽搐| 十八禁网站免费在线| 禁无遮挡网站| 观看免费一级毛片| 在线观看66精品国产| 女人高潮潮喷娇喘18禁视频| 国产午夜精品久久久久久| 欧美成人一区二区免费高清观看 | 嫩草影院精品99| 国产av又大| 国产久久久一区二区三区| 99国产精品一区二区三区| 国产精品久久久久久亚洲av鲁大| 国产三级黄色录像| 丝袜人妻中文字幕| 国产av一区在线观看免费| av免费在线观看网站| 宅男免费午夜| 国产av又大| 在线国产一区二区在线| 欧美av亚洲av综合av国产av| 国产亚洲精品久久久久5区| 精品一区二区三区四区五区乱码| 伦理电影免费视频| 国产伦在线观看视频一区| 亚洲全国av大片| 国产高清视频在线观看网站| 欧美人与性动交α欧美精品济南到| 欧美一级a爱片免费观看看 | 搡老妇女老女人老熟妇| 免费在线观看亚洲国产| 国产av麻豆久久久久久久| 老熟妇仑乱视频hdxx| 亚洲熟妇熟女久久| 国产亚洲av嫩草精品影院| 欧美大码av| 老司机在亚洲福利影院| 精华霜和精华液先用哪个| 国内毛片毛片毛片毛片毛片| 很黄的视频免费| 黑人操中国人逼视频| 男人舔奶头视频| 午夜福利免费观看在线| 久久久久性生活片| 亚洲av成人一区二区三| 欧美又色又爽又黄视频| or卡值多少钱| 亚洲免费av在线视频| 日韩国内少妇激情av| 一级a爱片免费观看的视频| 啪啪无遮挡十八禁网站| 在线观看免费视频日本深夜| 国产野战对白在线观看| 成人午夜高清在线视频| 在线观看日韩欧美| 免费在线观看日本一区| 日韩精品青青久久久久久| 听说在线观看完整版免费高清| 亚洲人成伊人成综合网2020| 好看av亚洲va欧美ⅴa在| 天天躁狠狠躁夜夜躁狠狠躁| 午夜亚洲福利在线播放| 亚洲第一欧美日韩一区二区三区| 午夜激情av网站| 欧美黄色片欧美黄色片| 给我免费播放毛片高清在线观看| 亚洲人成网站高清观看| 女人爽到高潮嗷嗷叫在线视频| 欧美成人午夜精品| 长腿黑丝高跟| 可以在线观看的亚洲视频| 久久伊人香网站| 成人精品一区二区免费| www日本在线高清视频| 变态另类成人亚洲欧美熟女| 久久天堂一区二区三区四区| 给我免费播放毛片高清在线观看| 国产aⅴ精品一区二区三区波| 妹子高潮喷水视频| 日本精品一区二区三区蜜桃| 久9热在线精品视频| 高潮久久久久久久久久久不卡| 老熟妇乱子伦视频在线观看| 色噜噜av男人的天堂激情| 亚洲国产精品成人综合色| 色尼玛亚洲综合影院| 麻豆成人av在线观看| 美女黄网站色视频| 亚洲色图 男人天堂 中文字幕| 国产99久久九九免费精品| 最好的美女福利视频网| 国产亚洲精品久久久久5区| 欧美极品一区二区三区四区| 在线a可以看的网站| 一二三四社区在线视频社区8| 别揉我奶头~嗯~啊~动态视频| 丁香六月欧美| 午夜视频精品福利| 我要搜黄色片| 久久久久国产一级毛片高清牌| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av成人av| x7x7x7水蜜桃| 又黄又爽又免费观看的视频| 久久精品国产亚洲av香蕉五月| 午夜福利视频1000在线观看| 国产激情偷乱视频一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 中亚洲国语对白在线视频| 亚洲人成网站高清观看| 日本免费一区二区三区高清不卡| 少妇裸体淫交视频免费看高清 | 亚洲 欧美一区二区三区| 2021天堂中文幕一二区在线观| 99国产精品一区二区蜜桃av| 久久国产精品人妻蜜桃| ponron亚洲| 丝袜美腿诱惑在线| 欧美日韩亚洲国产一区二区在线观看| av福利片在线观看| 天堂√8在线中文| 久久久久久亚洲精品国产蜜桃av| 久久国产精品影院| 久久久久久国产a免费观看| 成年免费大片在线观看| 精品国产亚洲在线| 亚洲人成77777在线视频| 亚洲欧美精品综合久久99| 国产亚洲精品久久久久久毛片| 一个人免费在线观看的高清视频| 久久草成人影院| 夜夜看夜夜爽夜夜摸| 女生性感内裤真人,穿戴方法视频| 中文字幕最新亚洲高清| 午夜免费成人在线视频| 欧美人与性动交α欧美精品济南到| 欧美精品亚洲一区二区| 一个人免费在线观看的高清视频| 成人亚洲精品av一区二区| 麻豆久久精品国产亚洲av| 国产一区二区三区在线臀色熟女| 老司机午夜福利在线观看视频| 亚洲中文字幕日韩| 俄罗斯特黄特色一大片| 国产v大片淫在线免费观看| 天天一区二区日本电影三级| 1024香蕉在线观看| 亚洲免费av在线视频| 亚洲人成网站在线播放欧美日韩| 九九热线精品视视频播放| 正在播放国产对白刺激| 神马国产精品三级电影在线观看 | netflix在线观看网站| 午夜免费观看网址| 国产视频内射| 身体一侧抽搐| 国产黄色小视频在线观看| 国产99久久九九免费精品| 一级a爱片免费观看的视频| 一本一本综合久久| 成人国产综合亚洲| videosex国产| www.熟女人妻精品国产| 日韩免费av在线播放| 久久亚洲真实| 国产探花在线观看一区二区| 少妇人妻一区二区三区视频| 国产欧美日韩一区二区精品| 午夜免费成人在线视频| 午夜a级毛片| 国产真实乱freesex| 国产精品亚洲美女久久久| 亚洲激情在线av| aaaaa片日本免费| 国产视频一区二区在线看| 中文字幕熟女人妻在线| 免费在线观看黄色视频的| 一级毛片精品| 亚洲全国av大片| 亚洲人成77777在线视频| 天堂影院成人在线观看| 神马国产精品三级电影在线观看 | 久久 成人 亚洲| 他把我摸到了高潮在线观看| 很黄的视频免费| 动漫黄色视频在线观看| 国产亚洲精品久久久久5区| 高潮久久久久久久久久久不卡| 精华霜和精华液先用哪个| 别揉我奶头~嗯~啊~动态视频| 久久久久国产精品人妻aⅴ院| 亚洲av电影在线进入| 午夜久久久久精精品| 在线视频色国产色| 18禁黄网站禁片午夜丰满| 动漫黄色视频在线观看| 一个人观看的视频www高清免费观看 | 人人妻人人澡欧美一区二区| 午夜精品在线福利| 欧美日韩瑟瑟在线播放| 嫩草影院精品99| 免费观看精品视频网站| 久久精品aⅴ一区二区三区四区| 欧美色欧美亚洲另类二区| 免费在线观看影片大全网站| 国模一区二区三区四区视频 | 禁无遮挡网站| 国产精品精品国产色婷婷| 日本一本二区三区精品| 一a级毛片在线观看| 99热6这里只有精品| 亚洲一区二区三区色噜噜| 一个人观看的视频www高清免费观看 | 美女高潮喷水抽搐中文字幕| 欧美中文综合在线视频| 午夜福利18| 亚洲人与动物交配视频| 在线观看免费视频日本深夜| 69av精品久久久久久| 99久久99久久久精品蜜桃| 亚洲18禁久久av| 久久久久精品国产欧美久久久| 巨乳人妻的诱惑在线观看| 99久久国产精品久久久| 欧美日韩黄片免| 在线观看午夜福利视频| www日本在线高清视频| 舔av片在线| 国产激情偷乱视频一区二区| 美女黄网站色视频| 美女扒开内裤让男人捅视频| 久久人人精品亚洲av| 一级作爱视频免费观看| 一边摸一边做爽爽视频免费| 99久久无色码亚洲精品果冻| 亚洲va日本ⅴa欧美va伊人久久| 亚洲av成人av| 两个人看的免费小视频| 国产欧美日韩一区二区三| 午夜福利成人在线免费观看| av天堂在线播放| 99精品久久久久人妻精品| 精品国产超薄肉色丝袜足j| 在线观看午夜福利视频| 亚洲av五月六月丁香网| 亚洲七黄色美女视频| 搡老熟女国产l中国老女人| 欧美一区二区国产精品久久精品 | 亚洲色图av天堂| 51午夜福利影视在线观看| 女人爽到高潮嗷嗷叫在线视频| 国产一区二区三区在线臀色熟女| 日日夜夜操网爽| 一二三四社区在线视频社区8| 精品第一国产精品| 国产欧美日韩一区二区三| 欧洲精品卡2卡3卡4卡5卡区| 美女午夜性视频免费| 国产单亲对白刺激| 免费看a级黄色片| 非洲黑人性xxxx精品又粗又长| 日韩免费av在线播放| 青草久久国产| 久久婷婷成人综合色麻豆| 两性夫妻黄色片| 国产午夜福利久久久久久| 嫁个100分男人电影在线观看| 亚洲人成网站在线播放欧美日韩| 一边摸一边抽搐一进一小说| 国产精品1区2区在线观看.| 岛国在线免费视频观看| 欧美乱色亚洲激情| 少妇裸体淫交视频免费看高清 | 老汉色∧v一级毛片| 国产欧美日韩一区二区精品| 麻豆久久精品国产亚洲av| 精品欧美国产一区二区三| 999久久久精品免费观看国产| 亚洲五月婷婷丁香| 夜夜看夜夜爽夜夜摸| 亚洲成av人片免费观看| xxxwww97欧美| 夜夜看夜夜爽夜夜摸| 桃红色精品国产亚洲av| 精品一区二区三区视频在线观看免费| 久久久久九九精品影院| 动漫黄色视频在线观看| 好男人在线观看高清免费视频| 国产一级毛片七仙女欲春2| 午夜福利视频1000在线观看| 欧美三级亚洲精品| 毛片女人毛片| 99久久久亚洲精品蜜臀av| 国产真实乱freesex| 亚洲av成人不卡在线观看播放网| 日韩有码中文字幕| www.自偷自拍.com| 夜夜夜夜夜久久久久| 国产精品久久久久久亚洲av鲁大| e午夜精品久久久久久久| 美女大奶头视频| 婷婷丁香在线五月| 亚洲精品久久成人aⅴ小说| www.熟女人妻精品国产| 久久99热这里只有精品18| 亚洲在线自拍视频| 变态另类丝袜制服| 天堂av国产一区二区熟女人妻 | 男插女下体视频免费在线播放| 久久久久久免费高清国产稀缺| 午夜精品在线福利| 大型黄色视频在线免费观看| 亚洲欧美激情综合另类| 亚洲欧美日韩无卡精品| 午夜福利成人在线免费观看| 男女做爰动态图高潮gif福利片| 国产aⅴ精品一区二区三区波| 1024香蕉在线观看| 日韩大尺度精品在线看网址| 久久久久久国产a免费观看| 亚洲av片天天在线观看| 日韩欧美免费精品| 色老头精品视频在线观看| 精品久久久久久久末码| 亚洲成人免费电影在线观看| 午夜免费激情av| 12—13女人毛片做爰片一| xxxwww97欧美|