• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多任務(wù)環(huán)境下融合遷移學(xué)習(xí)的新冠疫情新聞要素識別研究

    2021-04-06 03:24:44趙梓博王昊劉友華張衛(wèi)孟鎮(zhèn)
    知識管理論壇 2021年1期

    趙梓博 王昊 劉友華 張衛(wèi) 孟鎮(zhèn)

    摘要:[目的/意義]在新冠疫情背景下,提出多任務(wù)環(huán)境下融合遷移學(xué)習(xí)的疫情新聞要素識別方法,向公眾提供面向應(yīng)急事件的知識服務(wù)。[方法/過程]首先,通過多任務(wù)識別新聞要素:基于規(guī)則識別時間要素;并融合模型遷移與深度學(xué)習(xí)方法,構(gòu)建跨領(lǐng)域的要素識別模型。在此基礎(chǔ)上,構(gòu)建疫情新聞要素的關(guān)聯(lián)數(shù)據(jù),以知識圖譜的方式展示各要素之間的關(guān)聯(lián)關(guān)系。[結(jié)果/結(jié)論]實驗結(jié)果表明,除藥物外的新聞要素的識別F1值均在80%以上,說明融合遷移學(xué)習(xí)的模型能夠取得較優(yōu)的識別效果;并且,關(guān)聯(lián)數(shù)據(jù)知識圖譜能夠直觀顯示新聞的重點要素及新聞的主要內(nèi)容。綜上所述,提出的方法能夠有效識別新冠疫情新聞要素,從而幫助新聞讀者準(zhǔn)確、高效地獲取新聞中的重要信息。

    關(guān)鍵詞:多任務(wù)? ?遷移學(xué)習(xí)? ?新冠? ?新聞要素識別? ?命名實體識別? ?冷啟動

    分類號:TP391.1; TP181; G202

    DOI:10.13266/j.issn.2095-5472.2021.001

    引用格式:趙梓博, 王昊, 劉友華, 等. 多任務(wù)環(huán)境下融合遷移學(xué)習(xí)的新冠疫情新聞要素識別研究[J/OL]. 知識管理論壇, 2021, 6(1): 2-13[引用日期]. http://www.kmf.ac.cn/p/235/.

    1? 引言

    自2020年初,官方正式通報新型冠狀肺炎(以下簡稱“新冠”)存在“人傳人”現(xiàn)象以來,社會公眾愈發(fā)關(guān)注新冠疫情的相關(guān)新聞動態(tài)。新冠疫情新聞對于幫助公眾了解疫情動態(tài)、防疫方法等知識具有重要意義。然而,數(shù)量呈爆炸式增長的新聞報道給公眾帶來了一定程度的心理壓力和閱讀負(fù)擔(dān)。因此,有必要快速、準(zhǔn)確地提取新聞報道中的關(guān)鍵要素,幫助公眾獲取并理解新聞的主要內(nèi)容,并為進(jìn)一步構(gòu)建疫情新聞知識圖譜[1]提供數(shù)據(jù)支撐,為自動生成疫情新聞關(guān)鍵詞[2]、自發(fā)推送疫情新聞[3]等工作奠定基礎(chǔ)。

    新聞要素通常包括時間、人物、地點、機(jī)構(gòu)4類基本要素,而新冠疫情新聞在此基礎(chǔ)上還涉及疾病名稱、發(fā)病癥狀、藥物名稱、診斷或治療方法等醫(yī)學(xué)要素,因此新冠疫情新聞要素識別需要對跨領(lǐng)域的多個類別的要素進(jìn)行識別,這就涉及到多任務(wù)、多過程的要素識別。時間要素的表述形式具有較強的規(guī)律性,基于規(guī)則模板能夠較準(zhǔn)確地對其進(jìn)行識別[4-5],因此筆者采取基于規(guī)則的要素識別方法識別時間要素;而對于人名、地名、機(jī)構(gòu)名3類基本要素以及疾病、癥狀、藥物、方法4類醫(yī)學(xué)要素,利用基于現(xiàn)有深度學(xué)習(xí)模型的命名實體識別(Named Entity Recognition, NER)方法進(jìn)行識別,但是,疫情新聞作為一類新型應(yīng)急信息資源,目前該領(lǐng)域尚存在缺乏供NER模型訓(xùn)練的標(biāo)注數(shù)據(jù)這一數(shù)據(jù)冷啟動問題,為此,筆者引入遷移學(xué)習(xí)思想,設(shè)計了跨領(lǐng)域遷移的實體識別模型。

    筆者基于NER領(lǐng)域較為成熟的BERT-BiLSTM-CRF三層結(jié)構(gòu)模型,分別利用MSRA數(shù)據(jù)集和醫(yī)學(xué)領(lǐng)域數(shù)據(jù)集訓(xùn)練可遷移的NER模型,并將該模型應(yīng)用于新冠疫情新聞領(lǐng)域的要素識別。最后,通過構(gòu)建基于共現(xiàn)頻次的要素關(guān)聯(lián)數(shù)據(jù),以知識圖譜的方式可視化地展現(xiàn)疫情新聞要素間的關(guān)聯(lián)關(guān)系,從而清晰、直觀地揭示疫情新聞的主要內(nèi)容。

    2? 近期相關(guān)研究

    新聞文本要素的識別與提取是信息抽取領(lǐng)域的研究熱點之一,在以往的實踐中大多采用基于詞典[6-7]、基于規(guī)則[8-9]或基于統(tǒng)計機(jī)器學(xué)習(xí)[10-12]的方法進(jìn)行。近年來,隨著深度學(xué)習(xí)研究的逐漸成熟,基于深度神經(jīng)網(wǎng)絡(luò)的命名實體識別也成為新聞要素識別的重要支撐技術(shù)[13-15]。相比傳統(tǒng)機(jī)器學(xué)習(xí)算法,深度學(xué)習(xí)模型具有網(wǎng)絡(luò)層數(shù)更深、學(xué)習(xí)特征更加復(fù)雜且無需人工構(gòu)建特征等優(yōu)勢[16]。近年來提出的雙向長短時記憶網(wǎng)絡(luò)(Bidirectional Long Short-Term Memory, BiLSTM)[17]通過疊加句子在順序和逆序方向的隱層表示,能夠極大程度地揭示句中實體的依賴關(guān)系,因此被廣泛應(yīng)用于NER任務(wù)。研究表明,將BiLSTM與條件隨機(jī)場(Conditional Random Field, CRF)相結(jié)合能夠有效提高模型效果[18]。由谷歌AI團(tuán)隊于2018年發(fā)布的字表示模型BERT[19],刷新了11項自然語言處理任務(wù)的記錄。將BERT中文預(yù)訓(xùn)練模型(BERT-Base, Chinese)與識別效果較好的BiLSTM-CRF模型結(jié)合,被多項研究證實能夠取得中文NER的最優(yōu)效果[20-22]。

    深度學(xué)習(xí)模型由于學(xué)習(xí)能力極強,易出現(xiàn)過擬合問題,因此需要龐大規(guī)模的標(biāo)注數(shù)據(jù)作為訓(xùn)練集,而部分領(lǐng)域由于缺乏足夠的訓(xùn)練數(shù)據(jù)而存在數(shù)據(jù)冷啟動問題。為了解決這一問題,遷移學(xué)習(xí)(Transfer Learning)[23]的概念應(yīng)運而生,其將在源領(lǐng)域?qū)W習(xí)到的知識應(yīng)用于與源領(lǐng)域不同但相關(guān)的目標(biāo)領(lǐng)域的任務(wù)中,利用源領(lǐng)域的標(biāo)注數(shù)據(jù)訓(xùn)練可供目標(biāo)領(lǐng)域應(yīng)用的模型。遷移學(xué)習(xí)主要包括基于實例、基于特征和基于模型的遷移學(xué)習(xí),基于實例的遷移學(xué)習(xí)的原理是將與目標(biāo)領(lǐng)域?qū)嵗嗨频脑搭I(lǐng)域樣本加入訓(xùn)練集,以擴(kuò)充數(shù)據(jù)量[24-25];基于特征的遷移學(xué)習(xí)是指通過一定的方法,獲取并利用源領(lǐng)域與目標(biāo)領(lǐng)域之間共同的特征表示,從而實現(xiàn)表示層面的遷移[26-27];基于模型的遷移學(xué)習(xí)是將基于源領(lǐng)域數(shù)據(jù)訓(xùn)練的模型及參數(shù)遷移至目標(biāo)領(lǐng)域[28-29]。模型遷移學(xué)習(xí)基于大量源領(lǐng)域數(shù)據(jù)訓(xùn)練得到具有較強泛化能力的預(yù)訓(xùn)練模型,能夠較好地適應(yīng)目標(biāo)領(lǐng)域的數(shù)據(jù)分布,從而取得較優(yōu)的遷移效果,因此被廣泛應(yīng)用于NER領(lǐng)域。M. Al-Smadi等構(gòu)建了基于遷移學(xué)習(xí)的多語言通用語句編碼器,并將其應(yīng)用于復(fù)雜阿拉伯語語境下的實體識別任務(wù)[30];劉宇飛等將公共領(lǐng)域源知識遷移至科學(xué)領(lǐng)域,進(jìn)而對專利文獻(xiàn)中的科學(xué)術(shù)語進(jìn)行識別[31];孔祥鵬等提出基于遷移學(xué)習(xí)的聯(lián)合深度模型,通過共享網(wǎng)絡(luò)隱藏層以及BP算法微調(diào)參數(shù)的方法訓(xùn)練跨語言遷移模型,有效提升了維吾爾語NER任務(wù)的成績[32]。

    上述研究構(gòu)建的遷移學(xué)習(xí)模型均取得了較好的實體識別效果,但是尚未考察以醫(yī)學(xué)論文語料作為源領(lǐng)域訓(xùn)練數(shù)據(jù)的模型效果??紤]到新冠疫情新聞是一種面向當(dāng)下應(yīng)急事件的即時信息資源,領(lǐng)域內(nèi)尚缺乏大規(guī)模的標(biāo)注語料,筆者融合模型遷移與深度學(xué)習(xí)方法,以醫(yī)學(xué)論文文本作為源領(lǐng)域數(shù)據(jù)集,基于學(xué)習(xí)效果較優(yōu)的BERT-BiLSTM-CRF三層結(jié)構(gòu)模型,訓(xùn)練實體識別模型,并將模型應(yīng)用于疫情新聞要素的識別。

    3? 數(shù)據(jù)與方法

    3.1? 數(shù)據(jù)來源及預(yù)處理

    筆者選取澎湃新聞發(fā)布的新冠疫情專題系列報道作為新冠疫情新聞文本的數(shù)據(jù)來源。由于澎湃新聞在我國新聞媒體網(wǎng)站排行榜排名居于前列[33],其文章質(zhì)量較高,用詞和句法較為規(guī)范和標(biāo)準(zhǔn),因此適用于新聞要素抽取?;谀P瓦w移學(xué)習(xí)的思想,筆者確定以下兩個源領(lǐng)域訓(xùn)練數(shù)據(jù)集:①微軟亞洲研究院(MSRA)數(shù)據(jù)集,是中文NER任務(wù)的常用數(shù)據(jù)集,其語料含27 000余個句子,在本研究中將其用于識別人名、地名、機(jī)構(gòu)名3類基本要素的基本要素識別模型的訓(xùn)練;②醫(yī)學(xué)文本數(shù)據(jù)集,來源為中國知網(wǎng)平臺新冠相關(guān)主題的中文醫(yī)學(xué)論文題錄數(shù)據(jù),通過對論文題錄數(shù)據(jù)進(jìn)行處理后獲得,其語料含12 000余個句子,用于識別疾病、癥狀、藥物、方法4類醫(yī)學(xué)要素的醫(yī)學(xué)要素識別模型的訓(xùn)練。源領(lǐng)域數(shù)據(jù)集采用IOB格式進(jìn)行實體標(biāo)注,B表示對應(yīng)類別實體的起始字符,I表示實體中的其他字符,O表示非實體字符,如B-PER表示人名實體的起始字符,I-METHOD表示方法實體中的非起始字符等。

    筆者采用半監(jiān)督的處理方法獲得帶標(biāo)簽的醫(yī)學(xué)文本數(shù)據(jù)集,具體處理過程如下:①以“SU=新冠 + ‘新型冠狀病毒 + ‘武漢肺炎 + ‘2019-ncov +covid-19”作為檢索式,使用中國知網(wǎng)專業(yè)檢索功能,搜索醫(yī)藥衛(wèi)生科技分類下發(fā)表時間在“2020-02-01”后的中文論文,將檢索結(jié)果顯示的6 000條論文題錄數(shù)據(jù)批量下載并保存;②提取題錄數(shù)據(jù)中的關(guān)鍵詞字段,人工對關(guān)鍵詞進(jìn)行實體類別標(biāo)注,共得到530個標(biāo)注后的關(guān)鍵詞數(shù)據(jù);③使用知網(wǎng)(Hownet)近義詞詞典,結(jié)合人工補充的方式,將原詞的近義詞標(biāo)注為與原詞相同的類別并補充入關(guān)鍵詞集,擴(kuò)充后的關(guān)鍵詞集包含607個關(guān)鍵詞;④提取題錄數(shù)據(jù)中的全部摘要字段,通過最大匹配算法,使用標(biāo)注關(guān)鍵詞集匹配摘要文本中的句子,從而生成包含12 000余個含醫(yī)學(xué)實體句子的醫(yī)學(xué)文本語料。應(yīng)用這種處理方法,只需要人工標(biāo)注少量關(guān)鍵詞,便能夠匹配獲得大量包含實體的句子,大大減少了人工標(biāo)注的時間開銷。

    3.2? 研究框架

    為實現(xiàn)新冠疫情新聞要素的自動化識別及抽取,筆者設(shè)計了研究框架,見圖1。①首先,進(jìn)行數(shù)據(jù)集的準(zhǔn)備和預(yù)處理工作。分別收集MSRA數(shù)據(jù)集、醫(yī)學(xué)論文題錄數(shù)據(jù)以及新冠疫情新聞文本數(shù)據(jù),然后人工標(biāo)注醫(yī)學(xué)論文題錄數(shù)據(jù)中關(guān)鍵詞的實體類別,并拓展關(guān)鍵詞數(shù)量,隨后利用拓展后的關(guān)鍵詞集匹配論文摘要集中的句子,得到帶有訓(xùn)練標(biāo)簽的醫(yī)學(xué)文本數(shù)據(jù)集。②基于源領(lǐng)域數(shù)據(jù)集訓(xùn)練遷移要素識別模型。使用BERT-BiLSTM-CRF三層結(jié)構(gòu)模型,分別基于MSRA數(shù)據(jù)集和醫(yī)學(xué)文本數(shù)據(jù)集訓(xùn)練得到能夠識別人物、地點、機(jī)構(gòu)要素的基本要素識別模型COV19News-Base和能夠識別疾病、癥狀、藥物、方法要素的醫(yī)學(xué)要素識別模型COV19News-Med,并抽取原數(shù)據(jù)集中一定比例的樣本作為測試集,以檢驗?zāi)P偷淖R別效果。③將要素識別模型應(yīng)用于新冠疫情新聞文本領(lǐng)域的要素識別。人工標(biāo)注新冠疫情新聞文本中的部分句子作為目標(biāo)領(lǐng)域測試集,分別檢驗將模型COV19News-Base和模型COV19News-Med應(yīng)用于新冠疫情新聞要素識別的遷移效果。④最后,基于新聞要素構(gòu)建要素關(guān)聯(lián)圖譜。使用COV19News-Base和COV19News-Med的模型組合抽取大量疫情新聞文本要素,結(jié)合基于規(guī)則抽取的新聞時間要素,構(gòu)建新冠疫情新聞要素關(guān)聯(lián)數(shù)據(jù),并以知識圖譜的形式展現(xiàn)各要素之間的關(guān)聯(lián)關(guān)系,以達(dá)到直觀揭示新聞主要內(nèi)容的目的。

    基于此,筆者將主要解決以下3個重要問題:

    (1)多類別要素的識別問題。將劃分多個要素識別任務(wù),基于命名實體識別和規(guī)則識別方法,分別對新冠疫情新聞中的基本要素、醫(yī)學(xué)要素與時間要素進(jìn)行識別。

    (2)數(shù)據(jù)冷啟動問題。引入模型遷移學(xué)習(xí),利用源領(lǐng)域充足的標(biāo)注數(shù)據(jù)訓(xùn)練可遷移的NER模型,并將其應(yīng)用于疫情新聞領(lǐng)域的要素識別,從而解決了目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)不充足的問題。

    (3)疫情新聞要素的利用問題。將提出的要素識別方法應(yīng)用于大量無標(biāo)簽的疫情新聞文本,并將識別的要素及要素間的共現(xiàn)關(guān)系以疫情新聞要素關(guān)聯(lián)數(shù)據(jù)的形式存儲?;诖?,進(jìn)一步以要素關(guān)聯(lián)圖譜的形式可視化展現(xiàn)要素間的關(guān)聯(lián)關(guān)系,從而揭示疫情新聞的主要內(nèi)容。

    3.3? 新冠疫情新聞要素分類

    筆者試圖實現(xiàn)8類疫情新聞要素的自動識別和抽取,8類要素的名稱及示例見表1。其中,時間、人物、地點、機(jī)構(gòu)4類要素是描述新聞內(nèi)容的基本要素。此外,新冠疫情主題的新聞文本往往還包含疾病名稱、發(fā)病癥狀、藥物名稱、診斷或治療方法的名稱等醫(yī)學(xué)要素。對于具體識別哪些類別的醫(yī)學(xué)要素,可借鑒前人研究的經(jīng)驗。在2019年全國知識圖譜與語義計算大會(CCKS)醫(yī)療命名實體識別任務(wù)中,醫(yī)療命名實體被劃分為6類:疾病和診斷、檢查、檢驗、手術(shù)、藥物、解剖部位[20];2017年CCKS定義了4類醫(yī)學(xué)實體:身體部位、癥狀和體征、檢查和檢驗、疾病和診斷[34];趙青等、夏光輝等將醫(yī)療實體劃分為疾病、癥狀、檢查、治療4類[35-36]。由上述研究總結(jié),醫(yī)學(xué)實體總共包括5類:疾病名稱、癥狀體征、藥物、檢查和治療方法以及身體部位。但身體部位實體在新聞領(lǐng)域語境下往往具有除患病部位以外的含義,如“握手言和”中的“手”“嘴上說說”中的“嘴”等并非指代患病部位,不屬于描述新聞內(nèi)容的關(guān)鍵要素,因此識別身體部位實體對提取新聞要點的意義不大。綜上所述,筆者最終確定將疾病、癥狀、藥物、方法4類要素作為待識別的醫(yī)學(xué)要素。

    筆者通過多個任務(wù)識別各類疫情新聞要素。對于除時間要素以外的7類要素,采取命名實體識別方法對其進(jìn)行識別,基于BERT-BiLSTM-CRF模型分別訓(xùn)練基本要素識別模型和醫(yī)學(xué)要素識別模型;對于時間要素,采取基于規(guī)則的識別方法,通過構(gòu)建正則表達(dá)式,匹配并獲取新聞文本中的時間要素。匹配時間要素的正則表達(dá)式模板如公式(1)所示:

    3.4? 基于遷移學(xué)習(xí)的COV19News模型訓(xùn)練

    由于疫情新聞領(lǐng)域尚缺乏可供NER模型訓(xùn)練的標(biāo)注數(shù)據(jù),筆者采用融合遷移學(xué)習(xí)的模型訓(xùn)練方法,分別基于MSRA數(shù)據(jù)集和醫(yī)學(xué)文本數(shù)據(jù)集訓(xùn)練模型COV19News-Base和模型COV19News-Med,并將上述模型應(yīng)用于疫情新聞文本中各類要素的識別。為了檢驗不同模型的識別效果,分別對MSRA數(shù)據(jù)集和醫(yī)學(xué)文本數(shù)據(jù)集進(jìn)行訓(xùn)練集、測試集的劃分,以供模型COV19News-Base和模型COV19News-Med在源領(lǐng)域的訓(xùn)練和檢驗;并從新聞文本中分別抽取并標(biāo)注100個包含基本要素和醫(yī)學(xué)要素的句子,作為模型的目標(biāo)域測試集。

    在進(jìn)行模型訓(xùn)練前,對源領(lǐng)域訓(xùn)練集、源領(lǐng)域測試集和目標(biāo)領(lǐng)域測試集中的實體數(shù)量進(jìn)行統(tǒng)計,統(tǒng)計結(jié)果見表2,其中模型COV19News-Base的源領(lǐng)域數(shù)據(jù)集為MSRA數(shù)據(jù)集,模型COV19News-Med的源領(lǐng)域數(shù)據(jù)集為醫(yī)學(xué)文本數(shù)據(jù)集,兩模型的目標(biāo)領(lǐng)域測試集均為新聞文本中抽取的句子。從表2中可以發(fā)現(xiàn),源領(lǐng)域數(shù)據(jù)集存在不同程度的實體分布不均衡現(xiàn)象,MSRA數(shù)據(jù)集中地名實體明顯多于人名和機(jī)構(gòu)名實體,而醫(yī)學(xué)文本數(shù)據(jù)集中疾病實體更遠(yuǎn)多于其他3類實體,這是由于來自醫(yī)學(xué)論文的標(biāo)注關(guān)鍵詞集中大部分關(guān)鍵詞屬于疾病實體,主要包括新冠的大量別稱,因此造成了匹配實體數(shù)量分布不均勻的問題。從目標(biāo)領(lǐng)域測試集實體分布的角度看,人名、地名、機(jī)構(gòu)名3類實體分布較為均勻,而醫(yī)學(xué)實體中疾病實體仍然是出現(xiàn)頻率最高的實體,這與新冠疫情新聞的特點有關(guān)(報道中包含較多新冠的指代與別稱)。實體分布的不均衡是否會影響模型效果有待實驗考證。此外,醫(yī)學(xué)文本數(shù)據(jù)集的規(guī)模相對MSRA數(shù)據(jù)集較小,因此可供訓(xùn)練的實體數(shù)量相對較少,可能會對模型效果造成影響,具體有待后續(xù)探究。

    基于BERT-BiLSTM-CRF模型,使用上述訓(xùn)練數(shù)據(jù)分別訓(xùn)練模型COV19News-Base和模型COV19News-Med。BERT采用多層的雙向Transformer[37]編碼器結(jié)構(gòu),能夠捕捉長距離上下文的語義特征,從而得到較為精確的文本向量;BiLSTM采用二重逆序的LSTM網(wǎng)絡(luò),能夠充分學(xué)習(xí)向量間雙向的語義關(guān)系;CRF則能夠依照序列標(biāo)簽的約束規(guī)則,輸出全局最優(yōu)的標(biāo)記序列。因此,采用BERT-BiLSTM-CRF模型進(jìn)行模型訓(xùn)練,在模型表示層、網(wǎng)絡(luò)層和輸出層均能取得較優(yōu)的學(xué)習(xí)效果,適用于COV19News模型的訓(xùn)練。模型訓(xùn)練完畢后,分別基于源領(lǐng)域和目標(biāo)領(lǐng)域測試集對模型效果進(jìn)行檢驗,檢驗結(jié)果見實驗結(jié)果與分析部分。

    3.5? 疫情新聞要素的知識圖譜構(gòu)建

    在利用上述模型實現(xiàn)對疫情新聞要素的識別和提取后,進(jìn)一步構(gòu)建疫情新聞要素的知識圖譜,可視化展現(xiàn)要素間的關(guān)聯(lián)關(guān)系。

    考慮到疫情新聞要素之間存在關(guān)聯(lián)關(guān)系,并且要素間的關(guān)聯(lián)能夠揭示新聞的主體事件,因此對新聞要素關(guān)聯(lián)關(guān)系的挖掘有助于推斷疫情新聞的主要內(nèi)容,對讀者理解新聞內(nèi)容具有重要的意義。首先將整篇新聞文本劃分為句子的集合,然后將在同一句子中出現(xiàn)的要素記為共現(xiàn)一次,由此計算兩兩要素的共現(xiàn)頻次,以“要素A-要素B-共現(xiàn)頻次”的格式保存為數(shù)據(jù)文件,作為疫情新聞要素的關(guān)聯(lián)數(shù)據(jù)。疫情新聞要素關(guān)聯(lián)數(shù)據(jù)描述了要素間的關(guān)聯(lián)關(guān)系以及關(guān)聯(lián)關(guān)系的強度,為疫情新聞要素知識圖譜的構(gòu)建提供了數(shù)據(jù)支撐。

    疫情新聞要素知識圖譜能夠清晰、直觀地展現(xiàn)要素關(guān)聯(lián)及其強度,有助于讀者定位新聞中的關(guān)鍵要素,進(jìn)而推斷新聞的主要內(nèi)容。因此,基于新聞要素關(guān)聯(lián)數(shù)據(jù),以要素作為節(jié)點,兩要素的共現(xiàn)頻次作為兩節(jié)點連線的權(quán)重,進(jìn)一步構(gòu)建疫情新聞要素的關(guān)聯(lián)數(shù)據(jù)知識圖譜。筆者使用網(wǎng)絡(luò)分析軟件Gephi繪制疫情新聞要素關(guān)聯(lián)知識圖譜,見圖2。由圖2可知,新聞中與其他要素關(guān)聯(lián)較為緊密的關(guān)鍵要素得到了突出顯示,并且根據(jù)要素間的關(guān)聯(lián)關(guān)系,讀者能夠聯(lián)系各個要素,對新聞的主要內(nèi)容進(jìn)行推斷。

    4? 結(jié)果與分析

    4.1? 實驗環(huán)境及模型參數(shù)設(shè)置

    模型的訓(xùn)練、測試和遷移全部在裝載6GB顯存的NVDIA GeForce RTX 2060顯卡、內(nèi)存16GB、操作系統(tǒng)為Windows10的個人計算機(jī)中進(jìn)行,模型運行環(huán)境為Python3.5 + Tensorflow1.12GPU版,CUDA版本為10.2。BERT-BiLSTM-CRF模型的部分參數(shù)如表3所示:

    4.2? 模型COV19News-Base的測試與遷移

    筆者采用精確率(Precision, P)、召回率(Recall, R)以及二者的調(diào)和平均值(F1-measure, F1)評估模型的識別效果。對于通常包含多個單字的實體,當(dāng)且僅當(dāng)模型輸出的實體標(biāo)簽序列與原標(biāo)注序列完全相同時,記為正確識別實體,否則記為錯誤識別。在后續(xù)實驗中,OP、OR、OF1分別表示模型在源領(lǐng)域的P、R、F1值,TP、TR、TF1分別表示模型在目標(biāo)領(lǐng)域的P、R、F1值。

    基于MSRA數(shù)據(jù)集訓(xùn)練模型COV19News-Base,源領(lǐng)域和目標(biāo)領(lǐng)域的測試集表現(xiàn)如圖3所示。由圖可知:①由于同領(lǐng)域的訓(xùn)練集和測試集的實體分布特征較為一致,因此模型在源領(lǐng)域測試集上表現(xiàn)出較優(yōu)的識別效果,3類實體的F1值均在90%以上。②模型遷移至目標(biāo)領(lǐng)域后,3類實體的識別效果均出現(xiàn)了不同程度的下降,但F1值仍能保持在80%以上??紤]到疫情新聞領(lǐng)域文本與MSRA數(shù)據(jù)集在實體分布上存在差異,遷移后模型識別效果的略微下滑符合預(yù)期。③對3類實體的識別效果進(jìn)行相比,人物實體的識別效果最優(yōu),其次是地點實體,機(jī)構(gòu)實體的識別效果最差。地點和機(jī)構(gòu)實體的平均長度通常大于人物實體,其識別難度也相對更大,因此模型對不同實體的識別效果存在差異。④雖然地點實體在源數(shù)據(jù)集中的出現(xiàn)頻率高于其他兩類實體,但其識別效果并未更優(yōu),這說明訓(xùn)練集中實體的不均衡分布并未影響模型效果。

    4.3? 模型COV19News-Med的測試與遷移

    復(fù)原模型的基礎(chǔ)參數(shù),基于醫(yī)學(xué)文本數(shù)據(jù)集訓(xùn)練模型COV19News-Base,源領(lǐng)域和目標(biāo)領(lǐng)域的測試集表現(xiàn)如圖4所示??梢园l(fā)現(xiàn):? ? ? ? ①模型在源領(lǐng)域測試集的表現(xiàn)仍然較優(yōu),4類醫(yī)學(xué)實體的識別F1值均在90%以上,表明BERT-BiLSTM-CRF框架具有較強的表征和學(xué)習(xí)能力,對于不同領(lǐng)域的數(shù)據(jù)均能夠保持較好的擬合效果。②雖然醫(yī)學(xué)文本數(shù)據(jù)集相較MSRA數(shù)據(jù)集規(guī)模較小,但在源領(lǐng)域測試集的表現(xiàn)并未落后,說明在數(shù)據(jù)規(guī)模量級達(dá)標(biāo)的前提下,投入相對少量的樣本也能使模型取得較好的訓(xùn)練結(jié)果,不會影響模型效果。③將模型遷移至目標(biāo)領(lǐng)域后,各類實體的識別效果出現(xiàn)了不同程度的下滑,但除藥物實體外,其他3類實體的F1值仍能保持在80%以上,較符合預(yù)期。識別效果下降是因為各類實體在目標(biāo)領(lǐng)域測試集的召回率表現(xiàn)較差,可能因為醫(yī)學(xué)論文文本與疫情新聞文本中醫(yī)學(xué)實體的分布特征存在較大差異,導(dǎo)致模型遷移后的泛化效果不夠理想,使得一部分目標(biāo)領(lǐng)域中存在但未能被模型學(xué)習(xí)的實體難以被識別。盡管如此,遷移后的模型依然能保證較高的識別精確率。④在源領(lǐng)域數(shù)據(jù)集中,疾病實體的數(shù)量遠(yuǎn)超出其他3類實體,疾病實體在源領(lǐng)域和目標(biāo)領(lǐng)域測試集的表現(xiàn)也最優(yōu),但在目標(biāo)領(lǐng)域測試集的F1值與癥狀、方法兩類實體相比差距已不明顯。這表明,雖然極不均衡的實體分布可能會對某類實體在源領(lǐng)域的識別起積極作用,但是未必對該類實體在目標(biāo)領(lǐng)域的表現(xiàn)產(chǎn)生較大影響,后者仍然與目標(biāo)領(lǐng)域的實體分布特征有關(guān)。

    上述實驗結(jié)果表明,基于遷移學(xué)習(xí)方法訓(xùn)練得到的NER模型,對于目標(biāo)領(lǐng)域疫情新聞要素的識別具有較好的效果。為展示所提出方法的識別效果,筆者在疫情新聞文本中隨機(jī)選取多個包含多類要素的句子,使用模型COV19News-Base和模型COV19News-Med對其中要素進(jìn)行識別,并基于時間要素的表述規(guī)則構(gòu)建正則表達(dá)式模板,匹配并識別句子中的時間要素,最后將多個任務(wù)的識別結(jié)果匯總,部分結(jié)果如表4所示:

    4.4? 新冠疫情新聞要素知識圖譜的構(gòu)建

    基于上述疫情新聞要素的識別方法,提取新聞要素并構(gòu)建要素關(guān)聯(lián)數(shù)據(jù),進(jìn)而構(gòu)建新冠疫情新聞要素的關(guān)聯(lián)知識圖譜。以一篇標(biāo)題為《家屬口述|一個“重癥肺炎”患者的最后12天》的新聞報道為例,構(gòu)建其要素知識圖譜,如圖5所示:

    由圖5可知,該篇新聞主要涉及時間、人物、地點、機(jī)構(gòu)、疾病要素,其中“翁秋秋”“武漢”“肺炎”為重要要素。結(jié)合要素關(guān)聯(lián)情況推斷,該篇新聞的主要內(nèi)容為黃岡市民翁秋秋身患新冠,并于黃岡市中醫(yī)院接受治療。可見,疫情新聞要素的關(guān)聯(lián)知識圖譜能夠有效幫助讀者確定新聞重點以及推斷新聞主要內(nèi)容,因此有潛力成為面向新冠疫情突發(fā)事件的新型知識服務(wù)。

    5? 結(jié)論

    筆者提出了一種多任務(wù)環(huán)境下融合遷移學(xué)習(xí)與深度學(xué)習(xí)技術(shù)的疫情新聞要素識別方法,為應(yīng)急事件下公民的信息獲取提供了可行的服務(wù)方案。首先,結(jié)合命名實體識別與規(guī)則識別方法,通過多個任務(wù)對多類別的新聞要素進(jìn)行識別。同時,為解決疫情新聞領(lǐng)域數(shù)據(jù)冷啟動的問題,采用模型遷移的解決方案,從而得到識別效果較好的跨領(lǐng)域要素識別模型。最后,將識別方案應(yīng)用于大量新冠疫情新聞文本,基于識別到的新聞要素構(gòu)建要素關(guān)聯(lián)數(shù)據(jù)知識圖譜,從而幫助新聞讀者直觀、快速地發(fā)掘新聞關(guān)鍵要素及主要內(nèi)容。

    通過對模型測試和遷移的效果進(jìn)行比較,得到以下結(jié)論:①BERT-BiLSTM-CRF三層結(jié)構(gòu)模型適用于不同領(lǐng)域的命名實體識別任務(wù),且源領(lǐng)域各類實體識別的F1值均在90%以上;②將模型由源領(lǐng)域遷移至目標(biāo)領(lǐng)域后,模型的識別效果有下降趨勢,但尚保持在可接受的范圍內(nèi),大部分實體識別的F1值均在80%以上;③若源領(lǐng)域訓(xùn)練數(shù)據(jù)中實體分布極不均衡,可能導(dǎo)致對某類實體的過度學(xué)習(xí),在源領(lǐng)域中對該類實體的識別效果遠(yuǎn)優(yōu)于其他實體,但是否會影響目標(biāo)領(lǐng)域?qū)嶓w的識別仍有待后續(xù)研究。

    綜上所述,筆者提出的基于遷移學(xué)習(xí)的要素識別方法對于新冠疫情新聞要素具有較優(yōu)的識別效果。但本研究尚存在部分類別實體識別率較低等問題。在后續(xù)研究中,將重點考慮將實例遷移與模型遷移相結(jié)合,使訓(xùn)練域與目標(biāo)域的實體分布更加接近,從而提升模型在目標(biāo)領(lǐng)域的識別效果。

    參考文獻(xiàn):

    [1] 王巖, 蒿興華, 薛鵬. 基于共詞分析和社會網(wǎng)絡(luò)分析的關(guān)聯(lián)數(shù)據(jù)知識圖譜構(gòu)建分析[J]. 數(shù)字通信世界, 2020(6):148-150.

    [2] 陶潔. 基于新聞文本的關(guān)鍵詞提取[D]. 武漢: 華中師范大學(xué), 2019.

    [3] 陶天一, 王清欽, 付聿煒, 等. 基于知識圖譜的金融新聞個性化推薦算法[J/OL]. 計算機(jī)工程, 2020: 1-10 [2020-09-12]. https://doi.org/10.19678/j.issn.1000-3428.0057446.

    [4] 裴韜, 郭思慧, 袁燁城, 等. 面向公共安全事件的網(wǎng)絡(luò)文本大數(shù)據(jù)結(jié)構(gòu)化研究[J]. 地球信息科學(xué)學(xué)報, 2019, 21(1):2-13.

    [5] 吉雷靜. 面向網(wǎng)頁文本的地理信息變化語義檢測方法研究[D]. 南京: 南京師范大學(xué), 2013.

    [6] 伏愷. Web新聞文本信息抽取與可視化研究[D]. 濟(jì)南: 山東財經(jīng)大學(xué), 2017.

    [7] KRSTEV C, OBRADOVIC I, UTVIC M, et al. A system for named entity recognition based on local grammars[J]. Journal of logic and computation, 2014, 24(2):473-489.

    [8] 楊建林, 王文龍. 公共衛(wèi)生類突發(fā)事件的抽取研究[J]. 情報理論與實踐, 2016, 39(4) :51-59.

    [9] KUCUK D, YAZICI A. A hybrid named entity recognizer for Turkish[J]. Expert systems with applications, 2012, 39(3):2733-2742.

    [10] SEKER G A, ERYIGIT G. Extending a CRF-based named entity recognition model for Turkish well formed text and user generated content[J]. Semantic Web, 2017, 8(5):625-642.

    [11] 吳偉成. 基于恐怖襲擊事件語料庫的時間短語抽取研究[D]. 南京: 南京大學(xué), 2016.

    [12] CHASIN R, WOODWARD D, WITMER J, et al. Extracting and displaying temporal and geospatial entities from articles on historical events[J]. Computer journal, 2014,57(3):403-426.

    [13] 李玉超. 新聞事件地名實體識別和地圖鏈接技術(shù)研究[D]. 成都: 電子科技大學(xué), 2020.

    [14] WICHMANN P, BRINTRUP A, BAKER S, et al. Extracting supply chain maps from news articles using deep neural networks[J]. International journal of production research, 2020, 58(17):5320-5336.

    [15] XU J G, GUO L X, JIANG J, et al. A deep learning methodology for automatic extraction and discovery of technical intelligence[J]. Technological forecasting and social change, 2019, 146 :339-351.

    [16] 王昊, 鄧三鴻, 朱立平, 等. 大數(shù)據(jù)環(huán)境下政務(wù)數(shù)據(jù)的情報價值及其利用研究——以海關(guān)報關(guān)商品歸類風(fēng)險規(guī)避為例[J]. 科技情報研究, 2020, 2(4):74-89.

    [17] DONG X S, CHOWDHURY S, QIAN L J, et al. Deep learning for named entity recognition on Chinese electronic medical records: combining deep transfer learning with multitask bi-directional LSTM RNN[J]. PLOS one, 2019, 14(5):1-15.

    [18] 肖連杰, 孟濤, 王偉, 等. 基于深度學(xué)習(xí)的情報分析方法識別研究——以安全情報領(lǐng)域為例[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn), 2019, 3(10):20-28.

    [19] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[EB/OL].[2020-09-12]. https://arxiv.org/abs/1810.04805.

    [20] 李靈芳, 楊佳琦, 李寶山, 等. 基于BERT的中文電子病歷命名實體識別[J]. 內(nèi)蒙古科技大學(xué)學(xué)報, 2020, 39(1):71-77.

    [21] 吳俊, 程垚, 郝瀚, 等. 基于BERT嵌入BiLSTM-CRF模型的中文專業(yè)術(shù)語抽取研究[J]. 情報學(xué)報, 2020, 39(4):409-418.

    [22] 劉忠寶, 黨建飛, 張志劍.《史記》歷史事件自動抽取與事理圖譜構(gòu)建研究[J]. 圖書情報工作, 2020, 64(11):116-124.

    [23] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks? [EB/OL]. [2020-09-12]. https://arxiv.org/abs/1411.1792.

    [24] 陳美杉, 夏晨曦. 肝癌患者在線提問的命名實體識別研究:一種基于遷移學(xué)習(xí)的方法[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn), 2019, 3(12):61-69.

    [25] 李號號. 基于實例的遷移學(xué)習(xí)技術(shù)研究及應(yīng)用[D]. 武漢: 武漢大學(xué), 2018.

    [26] 陳文珺, 楊佳佳. 基于共享知識遷移學(xué)習(xí)的跨領(lǐng)域推薦研究[J]. 情報科學(xué), 2020, 38(6):126-132.

    [27] GLIGIC L, KORMILITZIN A, GOLDBERG P, et al. Named entity recognition in electronic health records using transfer learning bootstrapped neural networks[J]. Neural networks, 2020, 121 :132-139.

    [28] KUNG H K, HSIEH C M, HO C Y, et al. Data-augmented hybrid named entity recognition for disaster management by transfer learning[J]. Applied sciences-basel, 2020, 10(12):1-17.

    [29] 邵明銳, 馬登豪, 陳躍國, 等. 基于社區(qū)問答數(shù)據(jù)遷移學(xué)習(xí)的FAQ問答模型研究[J]. 華東師范大學(xué)學(xué)報(自然科學(xué)版), 2019(5):74-84.

    [30] Al-SMADI M, Al-ZBOON S, JARARWEH Y, et al. Transfer learning for Arabic named entity recognition with deep neural networks[J]. IEEE access, 2020,8:37736-37745.

    [31] 劉宇飛, 尹力, 張凱, 等. 基于深度遷移學(xué)習(xí)的技術(shù)術(shù)語識別——以數(shù)控系統(tǒng)領(lǐng)域為例[J]. 情報雜志, 2019, 38(10):168-175.

    [32] 孔祥鵬, 吾守爾·斯拉木, 楊啟萌, 等. 基于遷移學(xué)習(xí)的維吾爾語命名實體識別[J]. 東北師大學(xué)報(自然科學(xué)版), 2020, 52(2):58-65.

    [33] 站長之家. 新聞媒體網(wǎng)站排行榜[EB/OL]. [2020-09-30]. https://top.chinaz.com/hangye/index_news.html.

    [34] 李飛, 朱艷輝, 王天吉, 等. 基于醫(yī)療類別的電子病歷命名實體識別研究[J]. 湖南工業(yè)大學(xué)學(xué)報, 2018, 32(4):61-66.

    [35] 趙青, 王丹, 徐書世, 等. 一種基于RNN的弱監(jiān)督中文醫(yī)療實體識別方法[J/OL]. 哈爾濱工程大學(xué)學(xué)報, 2020:1-10[2020-09-12]. http://kns.cnki.net/kcms/detail/23.1390.U.20200330.1522.002.html.

    [36] 夏光輝, 李軍蓮, 邢寶坤, 等. 基于中文病例報告文獻(xiàn)的醫(yī)學(xué)診療命名實體識別研究[J]. 醫(yī)學(xué)信息學(xué)雜志, 2019, 40(6):54-59.

    [37] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[EB/OL]. [2020-09-12]. https://arxiv.org/abs/1706.03762.

    作者貢獻(xiàn)說明:

    趙梓博:負(fù)責(zé)完成實驗,撰寫論文初稿;

    王昊:指導(dǎo)研究思路,核查論文內(nèi)容并提出修改意見;

    劉友華:負(fù)責(zé)整理實驗結(jié)果,審查異常數(shù)據(jù)指標(biāo)并提出改進(jìn)策略;

    張衛(wèi):提供有關(guān)可視化方法、工具的指導(dǎo)建議,并參與修改終稿;

    孟鎮(zhèn):負(fù)責(zé)修改終稿。

    一区二区三区激情视频| 1024香蕉在线观看| 男的添女的下面高潮视频| 99香蕉大伊视频| 一级片'在线观看视频| 精品国产国语对白av| 国产成人欧美| kizo精华| 成人手机av| 国产精品免费大片| 亚洲国产色片| 国产av一区二区精品久久| 亚洲欧美一区二区三区黑人 | 日本欧美国产在线视频| 黑人巨大精品欧美一区二区蜜桃| 午夜福利在线免费观看网站| 女人精品久久久久毛片| 国产在视频线精品| 新久久久久国产一级毛片| 国产一区二区激情短视频 | 国产在线一区二区三区精| 少妇被粗大的猛进出69影院| 91午夜精品亚洲一区二区三区| 精品久久蜜臀av无| 久久午夜福利片| 中文字幕亚洲精品专区| 久久女婷五月综合色啪小说| 美女国产视频在线观看| 日本欧美国产在线视频| 国产色婷婷99| 久久久亚洲精品成人影院| 高清av免费在线| 久久国内精品自在自线图片| 亚洲国产看品久久| 亚洲精品自拍成人| 国产精品女同一区二区软件| 国产精品一二三区在线看| 国产av一区二区精品久久| 欧美精品人与动牲交sv欧美| 制服人妻中文乱码| 亚洲精品中文字幕在线视频| 久久久国产精品麻豆| 中文字幕人妻熟女乱码| av在线播放精品| 亚洲国产欧美日韩在线播放| 不卡视频在线观看欧美| 久久精品久久久久久噜噜老黄| av在线播放精品| 欧美 日韩 精品 国产| 精品少妇黑人巨大在线播放| 日韩伦理黄色片| 亚洲色图综合在线观看| av在线app专区| 90打野战视频偷拍视频| 大码成人一级视频| 久久精品夜色国产| 99re6热这里在线精品视频| av在线观看视频网站免费| www.精华液| 亚洲国产精品成人久久小说| 国产精品国产av在线观看| 男的添女的下面高潮视频| 多毛熟女@视频| 一级a爱视频在线免费观看| 久久这里有精品视频免费| 亚洲av欧美aⅴ国产| 2018国产大陆天天弄谢| 国产精品国产三级国产专区5o| 久久久精品免费免费高清| av网站免费在线观看视频| 日本猛色少妇xxxxx猛交久久| 久久久久精品性色| 国产伦理片在线播放av一区| 又大又黄又爽视频免费| 夜夜骑夜夜射夜夜干| videos熟女内射| 国产熟女欧美一区二区| √禁漫天堂资源中文www| 97人妻天天添夜夜摸| 成人午夜精彩视频在线观看| 两性夫妻黄色片| 欧美日韩视频高清一区二区三区二| 激情视频va一区二区三区| 久久av网站| 亚洲色图 男人天堂 中文字幕| 人人妻人人添人人爽欧美一区卜| 丝瓜视频免费看黄片| 国产成人精品在线电影| 国产成人精品婷婷| 韩国av在线不卡| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 大片免费播放器 马上看| 国产在线一区二区三区精| 香蕉丝袜av| av又黄又爽大尺度在线免费看| 亚洲av免费高清在线观看| 精品一品国产午夜福利视频| 91国产中文字幕| 在线观看美女被高潮喷水网站| 成人二区视频| 99精国产麻豆久久婷婷| 久久久久国产一级毛片高清牌| 丝袜脚勾引网站| av视频免费观看在线观看| 免费高清在线观看视频在线观看| 黄色毛片三级朝国网站| 老女人水多毛片| 久久人妻熟女aⅴ| 午夜激情久久久久久久| 亚洲精品中文字幕在线视频| 叶爱在线成人免费视频播放| 免费av中文字幕在线| 九色亚洲精品在线播放| 欧美激情极品国产一区二区三区| 精品久久久久久电影网| 国产精品99久久99久久久不卡 | 免费人妻精品一区二区三区视频| 观看美女的网站| 久久久久久人人人人人| 午夜福利在线观看免费完整高清在| 亚洲综合色网址| 狂野欧美激情性bbbbbb| 岛国毛片在线播放| 久久久久国产一级毛片高清牌| 国产精品99久久99久久久不卡 | av免费观看日本| 午夜福利视频精品| 秋霞伦理黄片| 欧美日韩一级在线毛片| 色婷婷久久久亚洲欧美| 亚洲精品美女久久久久99蜜臀 | 国产精品无大码| 男男h啪啪无遮挡| 高清黄色对白视频在线免费看| 亚洲av福利一区| 97人妻天天添夜夜摸| 久久av网站| 少妇人妻 视频| 亚洲精品国产av成人精品| 午夜福利乱码中文字幕| 久久精品久久久久久噜噜老黄| 午夜福利影视在线免费观看| 少妇被粗大的猛进出69影院| 精品一区二区三区四区五区乱码 | 国产精品免费大片| 一边摸一边做爽爽视频免费| 夫妻性生交免费视频一级片| 成年女人毛片免费观看观看9 | 美女xxoo啪啪120秒动态图| 亚洲国产欧美日韩在线播放| 免费观看av网站的网址| 伦理电影免费视频| 国产在线一区二区三区精| 边亲边吃奶的免费视频| 国产精品女同一区二区软件| 一级爰片在线观看| 欧美亚洲 丝袜 人妻 在线| 91精品国产国语对白视频| 免费黄频网站在线观看国产| 1024视频免费在线观看| 国产1区2区3区精品| 一个人免费看片子| av免费观看日本| 最近手机中文字幕大全| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 狂野欧美激情性bbbbbb| 成人亚洲精品一区在线观看| www.熟女人妻精品国产| 女人高潮潮喷娇喘18禁视频| 日本av免费视频播放| 精品卡一卡二卡四卡免费| 亚洲三级黄色毛片| 国产极品粉嫩免费观看在线| 在现免费观看毛片| 国产精品.久久久| av又黄又爽大尺度在线免费看| 黄网站色视频无遮挡免费观看| 黄色一级大片看看| 国产精品欧美亚洲77777| 超碰97精品在线观看| 熟女电影av网| 国产av国产精品国产| 丝袜喷水一区| 少妇被粗大猛烈的视频| 狂野欧美激情性bbbbbb| 女性生殖器流出的白浆| 一边亲一边摸免费视频| 自线自在国产av| 国产女主播在线喷水免费视频网站| 国产精品女同一区二区软件| 国产精品香港三级国产av潘金莲 | 汤姆久久久久久久影院中文字幕| 婷婷色综合www| 欧美老熟妇乱子伦牲交| 国产精品人妻久久久影院| 少妇熟女欧美另类| 亚洲一码二码三码区别大吗| 久久午夜福利片| 少妇被粗大的猛进出69影院| 中文字幕色久视频| 男人舔女人的私密视频| 免费人妻精品一区二区三区视频| 亚洲综合精品二区| 欧美黄色片欧美黄色片| 一级片'在线观看视频| 飞空精品影院首页| 男女边摸边吃奶| 卡戴珊不雅视频在线播放| 久久精品aⅴ一区二区三区四区 | 国产精品久久久久久久久免| 男女啪啪激烈高潮av片| 日韩免费高清中文字幕av| 欧美黄色片欧美黄色片| 午夜久久久在线观看| 精品99又大又爽又粗少妇毛片| 边亲边吃奶的免费视频| 午夜福利影视在线免费观看| 美女高潮到喷水免费观看| 2018国产大陆天天弄谢| 精品亚洲成国产av| 国产精品无大码| 99久国产av精品国产电影| 亚洲久久久国产精品| 一本—道久久a久久精品蜜桃钙片| 黄网站色视频无遮挡免费观看| 香蕉丝袜av| 综合色丁香网| 国产免费又黄又爽又色| 亚洲综合色惰| 精品99又大又爽又粗少妇毛片| 久久久亚洲精品成人影院| 好男人视频免费观看在线| 国产成人午夜福利电影在线观看| 中文精品一卡2卡3卡4更新| 久热久热在线精品观看| 午夜日本视频在线| 色婷婷久久久亚洲欧美| 亚洲中文av在线| 亚洲欧洲精品一区二区精品久久久 | 天堂8中文在线网| 伊人久久国产一区二区| 日本色播在线视频| 人妻系列 视频| 在线天堂最新版资源| 综合色丁香网| 久久亚洲国产成人精品v| 国产精品亚洲av一区麻豆 | 在线天堂中文资源库| 男女边吃奶边做爰视频| 高清在线视频一区二区三区| 99热国产这里只有精品6| 亚洲五月色婷婷综合| 中文字幕另类日韩欧美亚洲嫩草| 亚洲婷婷狠狠爱综合网| www.av在线官网国产| 国产精品 欧美亚洲| 乱人伦中国视频| 中文欧美无线码| 五月天丁香电影| 久久久久久久久久久免费av| 亚洲精品久久午夜乱码| 久久这里有精品视频免费| 女人精品久久久久毛片| 国产在线一区二区三区精| 两性夫妻黄色片| 国产 精品1| 久久久久久久久久人人人人人人| 国精品久久久久久国模美| 国产不卡av网站在线观看| 国产一区亚洲一区在线观看| 国产野战对白在线观看| 少妇人妻久久综合中文| 999久久久国产精品视频| 国产黄色免费在线视频| 国产精品久久久久久精品电影小说| 五月开心婷婷网| 成人漫画全彩无遮挡| 美女午夜性视频免费| 99香蕉大伊视频| 韩国av在线不卡| 满18在线观看网站| 一本大道久久a久久精品| 大香蕉久久网| 日本爱情动作片www.在线观看| 亚洲人成网站在线观看播放| 亚洲精品国产一区二区精华液| 国产日韩欧美亚洲二区| 国产成人91sexporn| 老汉色∧v一级毛片| 免费大片黄手机在线观看| 亚洲欧洲日产国产| videos熟女内射| 最新中文字幕久久久久| 亚洲精品国产av蜜桃| 国产极品天堂在线| 午夜日韩欧美国产| 国产免费现黄频在线看| 国产av国产精品国产| 亚洲,欧美精品.| 夫妻午夜视频| av视频免费观看在线观看| 国产精品人妻久久久影院| 亚洲av在线观看美女高潮| 亚洲天堂av无毛| 久久人人爽人人片av| 亚洲一码二码三码区别大吗| 在线 av 中文字幕| 寂寞人妻少妇视频99o| 精品国产国语对白av| 国产成人精品福利久久| 久久精品久久精品一区二区三区| 中文字幕人妻丝袜一区二区 | 秋霞在线观看毛片| 亚洲精品自拍成人| 久久人人爽人人片av| 欧美精品人与动牲交sv欧美| 99久国产av精品国产电影| 黑丝袜美女国产一区| av在线播放精品| 亚洲成av片中文字幕在线观看 | 国产精品香港三级国产av潘金莲 | 搡女人真爽免费视频火全软件| 美女视频免费永久观看网站| 美女主播在线视频| 香蕉精品网在线| av在线观看视频网站免费| 国产精品免费视频内射| 午夜日本视频在线| 欧美成人午夜精品| 国产精品成人在线| 国产亚洲一区二区精品| 在线观看免费日韩欧美大片| 亚洲三区欧美一区| 国产黄频视频在线观看| 激情视频va一区二区三区| 汤姆久久久久久久影院中文字幕| 国产精品一二三区在线看| 亚洲精品视频女| 美女国产高潮福利片在线看| 电影成人av| 国产精品嫩草影院av在线观看| 美女脱内裤让男人舔精品视频| 99久久综合免费| 免费大片黄手机在线观看| 精品少妇久久久久久888优播| 亚洲精品一二三| 亚洲精品国产色婷婷电影| 久久精品aⅴ一区二区三区四区 | 美女午夜性视频免费| 成年女人毛片免费观看观看9 | 9热在线视频观看99| 在线看a的网站| 亚洲av免费高清在线观看| av.在线天堂| 夜夜骑夜夜射夜夜干| 在线天堂最新版资源| av电影中文网址| 免费大片黄手机在线观看| 欧美另类一区| 女人被躁到高潮嗷嗷叫费观| 亚洲av电影在线进入| 久久久久国产一级毛片高清牌| 91成人精品电影| av免费在线看不卡| 国产成人精品一,二区| 日韩大片免费观看网站| 美女午夜性视频免费| 亚洲综合色网址| 青春草视频在线免费观看| 一级片'在线观看视频| 男女无遮挡免费网站观看| 一边亲一边摸免费视频| 国产精品国产av在线观看| 伦理电影免费视频| 亚洲男人天堂网一区| av天堂久久9| 18禁国产床啪视频网站| 黄片播放在线免费| 日韩,欧美,国产一区二区三区| 看免费av毛片| 欧美最新免费一区二区三区| av电影中文网址| 黄频高清免费视频| 亚洲一区中文字幕在线| 天天躁夜夜躁狠狠久久av| 热99国产精品久久久久久7| 亚洲欧美一区二区三区黑人 | 男人操女人黄网站| 三上悠亚av全集在线观看| 视频区图区小说| 精品亚洲乱码少妇综合久久| 国产一区亚洲一区在线观看| 人妻 亚洲 视频| 欧美少妇被猛烈插入视频| 蜜桃在线观看..| av天堂久久9| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 国产精品久久久av美女十八| 国产亚洲午夜精品一区二区久久| 亚洲,欧美精品.| 黄色怎么调成土黄色| www.av在线官网国产| 嫩草影院入口| 国产免费福利视频在线观看| 一二三四在线观看免费中文在| 最新的欧美精品一区二区| 国产精品一二三区在线看| 欧美日韩视频精品一区| 乱人伦中国视频| 亚洲成国产人片在线观看| 亚洲第一av免费看| 97在线视频观看| 久久精品aⅴ一区二区三区四区 | 赤兔流量卡办理| av天堂久久9| 亚洲久久久国产精品| 亚洲精品av麻豆狂野| 成人免费观看视频高清| 免费在线观看视频国产中文字幕亚洲 | 一区二区三区四区激情视频| 国产高清不卡午夜福利| 日本欧美国产在线视频| 这个男人来自地球电影免费观看 | 精品人妻熟女毛片av久久网站| 日日爽夜夜爽网站| 精品国产一区二区三区久久久樱花| 欧美国产精品va在线观看不卡| 永久免费av网站大全| 国产精品嫩草影院av在线观看| 精品人妻偷拍中文字幕| 在线观看www视频免费| 最黄视频免费看| 亚洲图色成人| 精品午夜福利在线看| 久久久精品免费免费高清| 成人漫画全彩无遮挡| 欧美激情极品国产一区二区三区| 一本大道久久a久久精品| 成人毛片a级毛片在线播放| 侵犯人妻中文字幕一二三四区| 国产精品无大码| www.自偷自拍.com| 中文精品一卡2卡3卡4更新| 国产精品国产av在线观看| 日韩成人av中文字幕在线观看| 国产白丝娇喘喷水9色精品| 午夜福利影视在线免费观看| 91午夜精品亚洲一区二区三区| 另类精品久久| 久久这里只有精品19| 亚洲第一av免费看| 老司机影院毛片| 国产激情久久老熟女| 80岁老熟妇乱子伦牲交| 日本av手机在线免费观看| 性高湖久久久久久久久免费观看| 亚洲欧美清纯卡通| a级毛片在线看网站| 婷婷成人精品国产| videossex国产| 久久精品国产亚洲av高清一级| 亚洲精品第二区| 香蕉国产在线看| 亚洲精品一区蜜桃| 国产男女内射视频| 精品少妇黑人巨大在线播放| 美国免费a级毛片| a级毛片在线看网站| 国产成人欧美| 各种免费的搞黄视频| 赤兔流量卡办理| 久久97久久精品| 日本免费在线观看一区| 麻豆乱淫一区二区| 免费播放大片免费观看视频在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 精品一区在线观看国产| 黄色一级大片看看| 在线 av 中文字幕| 国产 一区精品| 丁香六月天网| 激情五月婷婷亚洲| 久久久国产精品麻豆| 中文乱码字字幕精品一区二区三区| 免费高清在线观看视频在线观看| 久久精品国产a三级三级三级| 2018国产大陆天天弄谢| 捣出白浆h1v1| 欧美国产精品va在线观看不卡| 国产极品天堂在线| 精品亚洲乱码少妇综合久久| www.熟女人妻精品国产| 女人久久www免费人成看片| 国产精品久久久久成人av| 亚洲av日韩在线播放| 性色av一级| 亚洲综合色惰| 亚洲精华国产精华液的使用体验| 在线观看免费高清a一片| 亚洲av日韩在线播放| 在线观看www视频免费| 久久久久久伊人网av| 少妇的逼水好多| 久久97久久精品| 满18在线观看网站| 国产精品久久久久久久久免| av又黄又爽大尺度在线免费看| 国产伦理片在线播放av一区| 精品久久久精品久久久| 免费高清在线观看视频在线观看| 日日啪夜夜爽| 国产视频首页在线观看| 黑丝袜美女国产一区| 侵犯人妻中文字幕一二三四区| 免费播放大片免费观看视频在线观看| 久久婷婷青草| 卡戴珊不雅视频在线播放| 欧美精品一区二区大全| 欧美成人精品欧美一级黄| 亚洲国产欧美在线一区| 欧美人与善性xxx| 又黄又粗又硬又大视频| 国产一区二区三区av在线| 国产亚洲av片在线观看秒播厂| 制服人妻中文乱码| 丝袜美腿诱惑在线| 国产乱来视频区| 七月丁香在线播放| 亚洲视频免费观看视频| 亚洲国产欧美网| 国产黄色免费在线视频| 国产日韩欧美亚洲二区| 久久热在线av| 免费观看av网站的网址| 欧美亚洲日本最大视频资源| 亚洲av福利一区| 亚洲国产日韩一区二区| a 毛片基地| 日韩不卡一区二区三区视频在线| 亚洲人成网站在线观看播放| 9191精品国产免费久久| freevideosex欧美| 老女人水多毛片| 综合色丁香网| 国产福利在线免费观看视频| 久久久久久人人人人人| 国产精品 欧美亚洲| 久久女婷五月综合色啪小说| 欧美成人午夜精品| 一本色道久久久久久精品综合| 午夜福利,免费看| 我要看黄色一级片免费的| 久久精品亚洲av国产电影网| 日本91视频免费播放| 在线观看美女被高潮喷水网站| 永久网站在线| 国产欧美日韩一区二区三区在线| www.精华液| 国产精品一区二区在线观看99| 99热全是精品| 亚洲精品乱久久久久久| 日韩,欧美,国产一区二区三区| 亚洲欧美中文字幕日韩二区| 一区二区av电影网| 欧美老熟妇乱子伦牲交| 2021少妇久久久久久久久久久| 观看av在线不卡| 两个人免费观看高清视频| av国产久精品久网站免费入址| 亚洲精品,欧美精品| 天天影视国产精品| 91精品国产国语对白视频| 午夜日本视频在线| 久久久a久久爽久久v久久| xxxhd国产人妻xxx| 亚洲一码二码三码区别大吗| 亚洲美女搞黄在线观看| 伦理电影免费视频| 狠狠婷婷综合久久久久久88av| 超碰97精品在线观看| 日韩av免费高清视频| 日韩熟女老妇一区二区性免费视频| 亚洲欧美日韩另类电影网站| 日日撸夜夜添| 日本黄色日本黄色录像| 一二三四在线观看免费中文在| 十分钟在线观看高清视频www| 精品人妻熟女毛片av久久网站| 欧美日韩精品网址| 国产成人免费观看mmmm| 久久久久精品人妻al黑| 国产精品免费视频内射| 18禁裸乳无遮挡动漫免费视频| 免费大片黄手机在线观看| 少妇人妻精品综合一区二区| 亚洲av.av天堂| 日本黄色日本黄色录像| 97精品久久久久久久久久精品| 18禁裸乳无遮挡动漫免费视频| www.av在线官网国产| 一边摸一边做爽爽视频免费| 在线观看三级黄色| 人人妻人人澡人人爽人人夜夜| 天堂俺去俺来也www色官网| 大片电影免费在线观看免费| 国产免费现黄频在线看| 妹子高潮喷水视频| 夫妻午夜视频| 中文字幕人妻丝袜制服| 久久久久久人妻| 久久热在线av| 亚洲av欧美aⅴ国产| 精品亚洲成国产av| 黄色毛片三级朝国网站| 只有这里有精品99|