• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    突發(fā)公共衛(wèi)生事件中的應(yīng)急政策知識圖譜

    2023-09-15 03:34:16管雨涵
    軟件導(dǎo)刊 2023年9期
    關(guān)鍵詞:圖譜實體應(yīng)急

    管雨涵,劉 勘

    (1.華中科技大學(xué) 管理學(xué)院,湖北 武漢 430074;2.中南財經(jīng)政法大學(xué) 信息與安全工程學(xué)院,湖北 武漢 430073)

    0 引言

    突發(fā)公共衛(wèi)生事件多指有擴(kuò)散趨勢、嚴(yán)重危害公眾安全的突發(fā)性重大傳染疾病等,這類事件影響力大、危害程度高、涉及范圍廣,將嚴(yán)重危害經(jīng)濟(jì)發(fā)展、人民健康及社會安定[1]。面對突發(fā)公共衛(wèi)生事件,需要依據(jù)國家政策快速制定和部署綜合性的應(yīng)急管理方案,及時響應(yīng)和解決可能出現(xiàn)的各類突發(fā)問題。

    2020 年初期,新冠疫情暴發(fā),國務(wù)院及各地政府不斷發(fā)布各項應(yīng)對政策和通告,指導(dǎo)各級部門采取相應(yīng)措施;后疫情時期,在大多數(shù)國家選擇與“病毒共存”的趨勢下,中國仍堅持“動態(tài)清零”,總體應(yīng)急管理取得顯著成效。不可忽視的是,疫情初期由于信息輸入渠道單一、跨域部門協(xié)調(diào)薄弱等原因,導(dǎo)致“信息疫情”暴發(fā),政策發(fā)布落后于謠言傳播,群眾陷入恐慌狀態(tài),各種“信息孤島”也導(dǎo)致后續(xù)應(yīng)對策略發(fā)布遲緩,疫情管控和應(yīng)急處理處于弱勢地位。此外,由于政府應(yīng)急管理實行分級條塊管理模式,應(yīng)急中心分散,地方?jīng)Q策參與和風(fēng)險分擔(dān)機(jī)制不足,部門間尤其是橫向部門間協(xié)調(diào)能力低,合作機(jī)制運行不暢,導(dǎo)致部分處理政策出現(xiàn)程序不明確、多頭同質(zhì)化處理、權(quán)責(zé)混亂的情況,極大降低了政府應(yīng)急管理效率[2]。

    基于此,本文以新冠疫情治理為例,構(gòu)建突發(fā)公共衛(wèi)生事件應(yīng)急政策知識圖譜。知識圖譜及其實體、關(guān)系的多層次性能較好地匹配應(yīng)急政策中的多主體、多主題、多對象,因此,考慮將知識圖譜運用于政府應(yīng)急政策。應(yīng)急政策知識圖譜能通過多元的輸入信息、綜合的共享信息,幫助政策快速傳播流轉(zhuǎn),構(gòu)建跨部門的應(yīng)急聯(lián)防聯(lián)控機(jī)制網(wǎng)絡(luò);同時,通過在圖譜中對防控政策進(jìn)行歸納、分類,形成應(yīng)急政策知識深度關(guān)聯(lián),更好地聚焦應(yīng)急政策核心,輔助中央地方聯(lián)合響應(yīng)、共同決策,改進(jìn)應(yīng)急政策部署和執(zhí)行效率。本文主要貢獻(xiàn)在于:①構(gòu)建應(yīng)急管理知識圖譜的Schema 模式框架;②利用深度學(xué)習(xí)和文本處理技術(shù),形成SPO(Subject To Object)政策三元組知識結(jié)構(gòu),進(jìn)而通過推理發(fā)現(xiàn)政策信息傳遞流向,構(gòu)建突發(fā)公共衛(wèi)生事件管理政策知識圖譜;③對應(yīng)急政策通過知識圖譜結(jié)構(gòu)化、規(guī)范化,建立基本應(yīng)急政策知識庫,實現(xiàn)專業(yè)應(yīng)急部門的快速查詢、更新及可視化分析,并為突發(fā)公共衛(wèi)生事件的應(yīng)急管理提供方案生成、自動推薦等決策支持。

    1 相關(guān)工作

    知識圖譜可以被看作是一種特殊的語義網(wǎng)絡(luò),形成一種以信息為節(jié)點、關(guān)系為邊的有向圖,它能將數(shù)據(jù)凝練整合形成智能型知識庫,清楚呈現(xiàn)每一條知識的全息結(jié)構(gòu),同時利用推理機(jī)制發(fā)現(xiàn)數(shù)據(jù)關(guān)系及其邏輯關(guān)聯(lián)。知識圖譜的研究主要從理論與應(yīng)用兩個方面展開。理論研究主要探討知識抽取、知識融合、知識推理等構(gòu)建方法中的關(guān)鍵步驟[3]。在知識圖譜構(gòu)建上,Hogan 等[4]詳細(xì)介紹了知識圖譜的完整構(gòu)建過程與構(gòu)建方法。隨著機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展,越來越多的技術(shù)被運用在了知識圖譜構(gòu)建中,劉嶠等[5]介紹了一些最新的知識抽取、融合、加工技術(shù)。在知識抽取方面,目前多采用依存句法分析[6]、深度強(qiáng)化模型[7]等方法進(jìn)行實體與關(guān)系識別;將知識通過Trans 模型[8]進(jìn)行表示,再通過基于邏輯規(guī)則、深度學(xué)習(xí)和強(qiáng)化模型[9]的方式進(jìn)行實體關(guān)系的發(fā)現(xiàn)與推理;對于構(gòu)建完成的知識圖譜,則多采用Neo4j 或Gephi 數(shù)據(jù)庫進(jìn)行可視化[5],或直接使用CiteSpace 軟件構(gòu)建整體關(guān)系知識圖譜。

    應(yīng)用研究則可以分為通用知識圖譜和領(lǐng)域知識圖譜應(yīng)用。其中,通用知識圖譜的構(gòu)建已經(jīng)較為成熟,目前典型的通用知識圖譜包括國外的YAGO、DBpedia、Freebase和國內(nèi)的zhishi.me、CNDBpedia 和OpenKG 等項目,包括谷歌、百度、搜狗在內(nèi)等企業(yè)都構(gòu)建了基于知識圖譜的搜索引擎,如谷歌搜索引擎、搜狗知立方等[10]。這些知識圖譜,將無規(guī)則語言轉(zhuǎn)化為高度結(jié)構(gòu)化可用知識并用于深度搜索和知識問答,有效地提高了網(wǎng)絡(luò)檢索的效率與質(zhì)量。

    近年來,領(lǐng)域知識圖譜應(yīng)用越來越多,針對2020 年初暴發(fā)的新冠肺炎疫情,研究人員構(gòu)建了病毒傳播知識圖譜[11]、醫(yī)療用藥知識圖譜[12]。國內(nèi)OpenKG 平臺[14]則建立了新冠知識圖譜專題,包含病毒科研知識、臨床方案、防控常識等[14]。這些知識圖譜在疫情傳播控制[15]、疫情輿論引導(dǎo)[16]、風(fēng)險防范管理[17]等方面發(fā)揮了重要作用。

    關(guān)于應(yīng)急管理圖譜,李綱等[18]關(guān)注重大國家安全事件構(gòu)建圖譜,全面監(jiān)控掌知全局安全動態(tài)。張海濤等[19-20]以新冠疫情和大旱事件為例構(gòu)建事件圖譜,探究國家安全事件圖譜的態(tài)勢狀態(tài)提取方法。正是由于圖譜的強(qiáng)關(guān)聯(lián)性,能較好地著重于事件發(fā)生狀況和發(fā)展?fàn)顟B(tài),與政策文本處于發(fā)展傳遞狀態(tài)相匹配,故而考慮構(gòu)建政策知識圖譜。

    此外,由于政策的格式規(guī)整性,知識圖譜對于政策文件有較好應(yīng)用。Wang 等[21]基于規(guī)則和機(jī)器學(xué)習(xí)抽取實體關(guān)系,構(gòu)建政策圖譜分析平臺。韓娜等[22]聚焦于“開放數(shù)據(jù)”和“數(shù)據(jù)安全”主題,利用規(guī)則關(guān)聯(lián)和定量分析對政策文本進(jìn)行協(xié)同性語義推理。張雨等[23]構(gòu)建科技垂直領(lǐng)域知識圖譜,更好發(fā)揮科技政策引領(lǐng)科技發(fā)展。單曉紅等[24]構(gòu)建政策影響事理圖譜,找出關(guān)鍵節(jié)點有效進(jìn)行政策管控?;舫獾龋?5]利用TF-IDF 和強(qiáng)化字典構(gòu)建新冠肺炎政策知識圖譜,歸檔重大突發(fā)公共衛(wèi)生事件處理方案,追溯政策法律淵源。

    目前政策圖譜多聚焦于政策計量,集中于關(guān)聯(lián)分析和歸檔處理,多采用人工或簡單規(guī)則方式[26],靈活性與完整性較差;而知識圖譜構(gòu)建方面少有聚焦于重大突發(fā)公共衛(wèi)生突發(fā)事件,且未有完整的可以重復(fù)利用的應(yīng)急管理框架以供未來參考和回溯。

    在應(yīng)急管理方面,盡管目前新冠疫情在國內(nèi)得到了良好的控制,但是不可忽視疫情初期的無序狀態(tài)。丁榮嶸等[27]提出當(dāng)前政府應(yīng)急管理效率低下,需要建立一個統(tǒng)一的應(yīng)急管理體系標(biāo)準(zhǔn),健全協(xié)同管理體系,對政策信息智能分類、簡化歸口、直達(dá)直報。楊雯等[28]認(rèn)為疫情期間政策發(fā)布制度不完善,逐級政策發(fā)布導(dǎo)致跨域部門溝通不充分,建議應(yīng)建立應(yīng)急治理中心指揮樞紐,加強(qiáng)行政系統(tǒng)內(nèi)部合作,共享信息協(xié)調(diào)多部門聯(lián)合調(diào)動。王媛[29]強(qiáng)調(diào)對于突發(fā)公共衛(wèi)生事件,政府應(yīng)急管理缺乏內(nèi)部主動性,過度依賴上級決策,同時應(yīng)急預(yù)案制定溝通不充分,跨區(qū)域協(xié)調(diào)困難,提出中央和地方、多地方、多機(jī)構(gòu)、多部門合作平臺的亟需性。

    基于此,本文聚焦于上述問題,利用知識圖譜在構(gòu)造和應(yīng)用上的獨有特征,構(gòu)建突發(fā)公共衛(wèi)生事件中應(yīng)急政策知識圖譜。

    2 知識圖譜構(gòu)建

    2.1 Schema構(gòu)建

    在邏輯上,知識圖譜分成兩個層系:Schema 本體模式層和Data 數(shù)據(jù)層。其中,Schema 層是知識圖譜構(gòu)建的核心與重點,它定義了各類實體間以及實體屬性間的關(guān)系,通常使用本體庫進(jìn)行管理。本體庫相當(dāng)于知識庫的模型,良好的Schema 層次為知識圖譜的構(gòu)建搭建了框架,這樣形成的知識冗余少、泛化能力強(qiáng),推理出的關(guān)系也更全面。而Data 數(shù)據(jù)層由基本的事件、事實構(gòu)成[30],是知識的基本存儲單位,一般情況下,使用SPO 三元組形式來表達(dá)知識。

    華斌等[31]結(jié)合政策精準(zhǔn)性四大要素,將政策分為主體、客體、目標(biāo)、工具四大類。本文針對疫情應(yīng)急管理知識圖譜設(shè)計的Schema 本體則需要考慮兩個因素:①每則政策公文的結(jié)構(gòu)層次體系;②執(zhí)行部門對政策的落實要求。

    政策數(shù)據(jù)實體關(guān)系如圖1 所示,包括部門、標(biāo)題、內(nèi)容、附件等。本文設(shè)計6 種實體類型和9 種屬性類型,各類實體的定義與實體間的映射關(guān)系如表1、表2所示。

    Table 1 Knowledge graph entity types and examples表1 知識圖譜實體類型及樣例

    Table 2 Knowledge graph attribute types and examples表2 知識圖譜屬性類型及樣例

    Fig.1 Policy data entity relationships圖1 政策數(shù)據(jù)實體關(guān)系

    政策文件的實體間關(guān)系較為簡單,華斌等[31]將政策實體間關(guān)系主要分為六類,張雨等[23]則分為四大類。根據(jù)構(gòu)建的以上實體及屬性,本文主要設(shè)計了6 種關(guān)系類型,將實體之間連接起來,其關(guān)系映射如表3 所示。這樣,通過對實體、關(guān)系、屬性的定義,將來源于國務(wù)院和各省政府政策文件庫的半結(jié)構(gòu)化數(shù)據(jù)和部分非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為知識圖譜所需的結(jié)構(gòu)化格式,通過實體間關(guān)系與屬性,可以實現(xiàn)政策知識的統(tǒng)一表示,使分散的管理政策相互聯(lián)系。

    2.2 知識抽取

    知識抽取過程中可以將實體與關(guān)系分別抽取,也可以采用聯(lián)合抽取模型,聯(lián)合抽取能同時考慮實體與關(guān)系之間的聯(lián)系,故而犯錯較少。但由于本文實驗中使用大量半結(jié)構(gòu)化數(shù)據(jù),可以通過簡單的規(guī)則提取出部分實體與關(guān)系,因而采用實體與關(guān)系分開抽取的流水線模型。

    2.2.1 實體抽取

    本文采取基于BiLSTM+CNN-CRF 的實體抽?。?2]算法,先用NLPIR 漢語工具[33]識別出主要實體,再用少量人工標(biāo)注語料訓(xùn)練BiLSTM+CNN-CRF 模型實現(xiàn)命名實體抽取,這樣能在極大減少人工標(biāo)注的基礎(chǔ)上得到有效的實體識別效果。

    BiLSTM+CNN-CRF 模型由CNN、BiLSTM 和CRF 3 個模塊組成。首先將輸入文本通過Word2vec 分布式嵌入方式將每個詞處理為n維詞向量;然后將處理好的詞向量分別輸入CNN 模塊,提取出文本的字符級特征,再輸入BiLSTM 模塊,提取出全局特征,將得到的字符向量和詞向量進(jìn)行拼接,輸入全連接層和CRF 模塊進(jìn)行解碼,利用已有標(biāo)簽,選取一個最優(yōu)的標(biāo)記序列。只使用BiLSTM 時,如果輸入過長,會對較前的輸入丟失較多的特征,因此引入CNN 先輸入文本的局部特征,減少信息丟失。同時,CRF相比于Softmax 可以更好地考慮標(biāo)簽間的影響與偏置,綜合計算每個詞X 的得分s(X,y),得到實體標(biāo)簽的概率p(y|X),在訓(xùn)練過程中,使用對數(shù)似然最大化正確概率p(y|S),計算公式如式(1)所示,盡可能地優(yōu)化標(biāo)簽序列如式(2)中的結(jié)果y*。

    BiLSTM+CNN-CRF 模型進(jìn)行實體抽取的算法如下:

    輸入:部分標(biāo)注數(shù)據(jù)集、原始數(shù)據(jù)

    輸出:標(biāo)注實體數(shù)據(jù)集

    步驟:(1)將原始數(shù)據(jù)轉(zhuǎn)換為詞向量集

    (2)得到的詞向量輸入CNN和BiLSTM

    (3)初始化雙向長短時層,求解網(wǎng)絡(luò)權(quán)重矩陣

    (4)初始化卷積層,設(shè)置參數(shù)

    (5)拼接輸入(3)、(4)的詞向量

    (6)對結(jié)果進(jìn)行加權(quán)后輸入條件隨機(jī)場,得出最優(yōu)序列標(biāo)注模型

    (7)修改參數(shù)的設(shè)置,比較結(jié)果

    (8)將模型應(yīng)用到數(shù)據(jù)集

    對政策文本進(jìn)行序列標(biāo)注的具體處理過程如圖2所示。

    Fig.2 Entity recognition algorithm flow based on BiLSTM+CNNCRF圖2 基于BiLSTM+CNN-CRF 的實體識別算法流程

    2.2.2 關(guān)系抽取

    關(guān)系抽取主要是為了得到應(yīng)急管理政策公文、實施部門等實體間的關(guān)系。本文關(guān)系抽取通過卷積神經(jīng)網(wǎng)絡(luò)CNN 實現(xiàn)。將對政策信息實體抽取完成后得到的詞向量和相對位置特征作為輸入,加入到CNN 中獲得句子級向量表示,這個句向量通過非線性全連接層計算輸出進(jìn)行關(guān)系分類,通過上述模型訓(xùn)練得到實體間的關(guān)系。關(guān)系抽取流程如圖3所示。

    Fig.3 CNN-based relation extraction process圖3 基于CNN的關(guān)系抽取過程

    2.3 知識表示與推理

    在進(jìn)行知識推理前,首先要通過實體鏈接和實體對齊等方法,統(tǒng)一實體名稱、合并同義三元組,消除知識冗余。由于本文構(gòu)建知識圖譜源數(shù)據(jù)為政策類文件,格式較為工整,并無太多相似或冗余知識,通過定義一些簡單的規(guī)則即可進(jìn)行消歧,如將實體“新冠”“新型冠狀”“COVID-19”看作是同一個實體,將“省政府”“省人民政府”看作同一對象等。數(shù)據(jù)經(jīng)過人工檢測已基本不存在有歧義或多余的三元組。

    知識推理是知識圖譜構(gòu)建中十分重要的一環(huán),通過知識推理可以發(fā)現(xiàn)一些新的政策間和政策部門間的關(guān)系,這對應(yīng)急管理尤為重要,能極大程度地提高政策部署和執(zhí)行過程中眾多實體的深度關(guān)聯(lián)。由于本文知識圖譜所涉及的部門實體大多是上層部門(Department),同時政府應(yīng)急管理政策文本常常較為寬泛,沒有詳述具體部門(Subordinate),為了更方便具體部門內(nèi)部人員查詢和使用,實現(xiàn)政策通知更精準(zhǔn)的發(fā)放,在進(jìn)行知識推理前先補(bǔ)充了600 個常見具體政務(wù)部門實體數(shù)據(jù),加入管理政策知識庫中,數(shù)據(jù)來源于中文通用百科知識圖譜中的部門數(shù)據(jù)[34]。針對其中出現(xiàn)的部門間名稱重復(fù)、簡寫的情況,需要在特定的簡寫前加上部門限制,使其一一對應(yīng)。以教育部為例,導(dǎo)入的子部門節(jié)點如表4和圖4所示。

    Table 4 Example of triplet for a sub-department of the Ministry of Education表4 教育部子部門三元組示例

    Fig.4 Sub-departments of the Ministry of Education imported圖4 導(dǎo)入的教育部所屬子部門

    本文采用基于規(guī)則的推理與基于分布式圖的推理兩種推理方式[35]?;谝?guī)則的推理能利用簡單的邏輯運算推斷出政策通知的傳遞過程;基于分布式的推理則能在信息缺失的情況下更好地關(guān)聯(lián)知識,深入挖掘?qū)嶓w間的關(guān)系,更好地處理復(fù)雜的實體間關(guān)系。

    2.3.1 基于規(guī)則的推理

    按照實體周圍政策節(jié)點的連接推斷出此節(jié)點可能存在的新連接,進(jìn)而推理出實體之間的連接關(guān)系[36]。比如消息在管理部門之間可能的傳遞性,從主部門推理到具體從屬部門,推理過程用一階謂詞邏輯表示為:<通知,notify_to,對象A>∧<對象A,include_of,對象B>→<通知,notify_to,對象B>。實例如圖5、圖6 所示,從<教育部—do_realse(發(fā)布)—新冠肺炎防治方案>∧<教育部,include_of,高等學(xué)校>→<新冠肺炎防治方案,notify_to,高等學(xué)校>。其中,圖5 為教育部發(fā)布通知,通知自動推理到其下屬涉及部門,推理結(jié)果如圖6 所示,從而揭示了教育部疫情防控方案與高等學(xué)校的關(guān)系。這種推理規(guī)則只適用于所屬子部門屬于同一類對象而不適用于各司其職分管不同事物的子部門,如教育部分管所有高校,有關(guān)考試防疫的政策通知應(yīng)傳遞到與通知內(nèi)容相關(guān)的所有高校而不能傳遞到下屬報刊社、傳媒出版集團(tuán)等部門。

    Fig.5 Pre-inference relationship of the three(example of rule reasoning)圖5 推理前三者關(guān)系(規(guī)則推理舉例)

    Fig.6 Post-inference relationship of the three(example of rule reasoning)圖6 推理后三者關(guān)系(規(guī)則推理舉例)

    2.3.2 基于表示學(xué)習(xí)的推理

    本文基于TransR 模型[37]為每個關(guān)系引入一個映射矩陣,將實體投影到對應(yīng)的關(guān)系空間中,得到三元組的映射向量,具有關(guān)系的實體相互靠近,其損失函數(shù)表示如式(3)所示。

    基于表示學(xué)習(xí)的推理,其具體思想是將實體、關(guān)系映射為向量表示,根據(jù)向量的空間距離自動學(xué)習(xí)推理所需特征,使得知識圖譜能夠通過預(yù)設(shè)向量空間的特征表示自動計算實現(xiàn)推理過程。理論上,重復(fù)路徑多的并在同一層次上的實體被通知到的可能性更大,推理過程表示為<通知,notify_to,對象A>→<通知,notify_to,對象B>,其中對象A 與對象B 之間沒有明顯上下層次關(guān)系。如從<強(qiáng)化中醫(yī)醫(yī)療機(jī)構(gòu)新冠肺炎疫情防控工作,notify_to(通知),直轄市>推理到<強(qiáng)化中醫(yī)醫(yī)療機(jī)構(gòu)新冠肺炎疫情防控工作,notify_to(通知),自治區(qū)>,其中自治區(qū)和直轄市都屬于同等層次Target 可通知目標(biāo)實體,它們在許多通知中有相似的傳遞路徑,空間距離向量近,因而可以合理推理出該通知應(yīng)該同時傳遞給兩者。

    3 實驗與分析

    3.1 總體框架

    本文基于新冠肺炎疫情的管理政策文件實現(xiàn)知識抽取、知識推理、知識存儲等知識圖譜構(gòu)建過程。其中,知識抽取從半結(jié)構(gòu)化和非結(jié)構(gòu)化的疫情應(yīng)急政策數(shù)據(jù)中通過人工抽取與自動抽取的方式得到圖譜中的部門節(jié)點與政策節(jié)點,核心是抽取出數(shù)據(jù)中的對象實體、關(guān)系及屬性,形成SPO 三元組知識。知識推理則是發(fā)現(xiàn)實體節(jié)點之間可能存在的關(guān)系,實現(xiàn)政策間互聯(lián),發(fā)現(xiàn)更多潛在的應(yīng)急方案知識。最后,將知識存儲在圖數(shù)據(jù)庫以進(jìn)行可視化且不斷補(bǔ)充完善,形成全面的突發(fā)公共衛(wèi)生事件應(yīng)急管理知識庫。本文總體知識圖譜構(gòu)建模型如圖7所示。

    Fig.7 Knowledge graph construction model of COVID-19 emergency management policy圖7 新冠疫情應(yīng)急管理政策知識圖譜構(gòu)建模型

    3.2 數(shù)據(jù)來源與預(yù)處理

    可供選擇的新冠肺炎疫情應(yīng)急管理政策信息來源主要包括國務(wù)院政府政策文件庫、各省官方網(wǎng)站、人民日報官網(wǎng)等,考慮到國務(wù)院和省政府官網(wǎng)數(shù)據(jù)較為正式明確、數(shù)據(jù)格式規(guī)范,本文選擇國務(wù)院文件庫與各省政府官方網(wǎng)站作為數(shù)據(jù)來源,選擇湖北、湖南、廣東、河南、江西、浙江、安徽7 個疫情較為嚴(yán)重的省份。采集數(shù)據(jù)時設(shè)置檢索關(guān)鍵字為“新冠肺炎”“新型冠狀病毒肺炎”或“COVID-19”,設(shè)置時間“兩年內(nèi)”進(jìn)行篩選,截至2021 年12 月31 日,最終共搜集國務(wù)院政策文件304篇,各省政府文件8 951篇。

    為了后續(xù)政策文本實體抽取,需要先對訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注以訓(xùn)練模型,本文采取BIOES 標(biāo)注規(guī)范,只要不在三元組中的字標(biāo)簽都為O,其余字符按照標(biāo)注格式:實體類型(下述6 種實體類型每種用一個字母表示)-位置(B begin/I inside/E end/S single)+順序編號(B/I/O/E 種的第幾位),依次進(jìn)行標(biāo)注,具體方法如圖8 所示。其中,“教”標(biāo)記為“部門Department 類型-處于實體開頭begin+開頭的第1 個字符”,“育”標(biāo)記為“部門Department 類型-處于實體中間inside+中間的第1 個字符”,“部”為“部門Department 類型+處于實體末尾end+最后的第1 個字符”,“關(guān)于……”一律標(biāo)記為“O”表示非實體。

    Fig.8 Schematic diagram of data labeling strategy in the process of entity relation extraction 圖8 實體關(guān)系抽取過程中的數(shù)據(jù)標(biāo)注策略示意圖

    標(biāo)注完成后,按照一定的規(guī)則檢驗標(biāo)注正確性,包括:①同一個實體對象中,B 和E 只能出現(xiàn)在開頭結(jié)尾處且只能被編號為1;②I 只能出現(xiàn)在B 和E 中間且編號遞增;③S只能出現(xiàn)編號1的情況。

    3.3 圖譜構(gòu)建

    目前階段,并沒有專門針對政府文件的標(biāo)注語料庫,實驗中利用中文語料庫以及部分手工標(biāo)注數(shù)據(jù)訓(xùn)練,共選取國務(wù)院發(fā)布的200 篇政策共10 069 條數(shù)據(jù)進(jìn)行了標(biāo)注。實驗中,訓(xùn)練語句取80%,測試語句取20%。

    本文利用BiLSTM+CNN-CRF 模型從9 255 篇政策數(shù)據(jù)中共抽取實體33 072 個,表5 列舉了部分抽取的實體結(jié)果及規(guī)模情況。

    Table 5 Examples and specifications of main entity extraction results表5 主要實體抽取結(jié)果舉例與規(guī)格

    關(guān)系抽取仍采用此前標(biāo)注的10 069 條數(shù)據(jù)進(jìn)行訓(xùn)練。實驗中,經(jīng)過多次參數(shù)調(diào)整,最終選擇學(xué)習(xí)率為0.01,dropout 值為0.1,迭代次數(shù)選擇為10 輪,filter 為3,kernel_size 為4。

    經(jīng)過關(guān)系抽取,共獲得405 368 條關(guān)系,以“新冠肺炎疫情聯(lián)防聯(lián)控機(jī)制”政策為例,關(guān)系抽取后得到的部分結(jié)果如表6 所示,每行展示一組信息,表示為實體1 與實體2之間的關(guān)系,由于一句話可能包含多個實體與關(guān)系,故需將每個關(guān)系分開進(jìn)行單獨處理,如“聯(lián)防聯(lián)控機(jī)制”包括“激活應(yīng)急指揮能力”“提升核酸檢測能力”“加強(qiáng)溯源”等7個小要求,需將每個小要求均與大政策“聯(lián)防聯(lián)控機(jī)制”單獨聯(lián)系為subtitle_of(包含)。

    Table 6 Partial extraction results of policy relationship of joint prevention and control mechanism for COVID-19表6 “新冠肺炎疫情聯(lián)防聯(lián)控機(jī)制”政策關(guān)系部分抽取結(jié)果

    知識抽取完成后,基于簡單部門邏輯的推理后,再將實體映射到對應(yīng)關(guān)系空間進(jìn)行向量表示以預(yù)測鏈路,每次選擇80%三元組作為訓(xùn)練集,設(shè)置向量嵌入維度為200 維并通過10 輪迭代訓(xùn)練,進(jìn)行實體關(guān)系預(yù)測。同時,在訓(xùn)練過程中,對于不符合事實邏輯的錯誤推理,需要及時進(jìn)行修正、刪除,然后重新進(jìn)行訓(xùn)練,經(jīng)過多輪反復(fù),新冠疫情政策知識圖譜內(nèi)容會逐漸完善,推理結(jié)果將會逐漸準(zhǔn)確。以上實驗重復(fù)5 次,最終結(jié)果取均值,實驗結(jié)果如圖9 所示。試驗結(jié)果表明,該模型能較好地在該政策數(shù)據(jù)上進(jìn)行推理。

    Fig.9 Change of loss curve圖9 損失變化曲線

    經(jīng)過兩種推理完成后,本文知識圖譜關(guān)系數(shù)量增長26 933 條,最終圖譜規(guī)模如表7 所示。隨著通知數(shù)目的增加、涉及部門的進(jìn)一步詳細(xì)分類以及圖譜中加入更多的部門實體,圖譜將能夠推理出更多的關(guān)系。

    Table 7 Policy knowledge graph scale表7 政策知識圖譜規(guī)模

    3.4 模型質(zhì)量評估

    在進(jìn)行知識抽取后,對抽取結(jié)果進(jìn)行評估,采用常規(guī)準(zhǔn)確率、召回率和F 值作為評價指標(biāo)。如表8 所示,分別與只使用BiLSTM 的算法和BiLSTM-CRF 算法進(jìn)行對比,最終本文模型準(zhǔn)確率達(dá)85%以上,說明了BiLSTM+CNNCRF 模型的有效性。

    Table 8 Entity extraction algorithm comparison results表8 實體抽取算法對比結(jié)果(%)

    在知識推理環(huán)節(jié),采用損失值Loss 作為判斷指標(biāo),當(dāng)損失函數(shù)不再下降時,認(rèn)為推理完成。在知識推理完成后,還需要進(jìn)行錯誤評估、知識更新等加工過程,以提升知識圖譜的可靠性和結(jié)構(gòu)性。

    構(gòu)建好的知識圖譜可能存在一些錯誤,主要集中在3個方面:上下位問題即圖譜應(yīng)該呈樹狀結(jié)構(gòu)而無環(huán)、實體屬性偏差、實體間關(guān)系邏輯錯誤。推理后得到的圖譜經(jīng)過查找,發(fā)現(xiàn)無環(huán)狀結(jié)構(gòu);對于屬性偏差和邏輯錯誤的問題,通過人工分組隨機(jī)抽檢,從最終圖譜中隨機(jī)抽取500 個實體和500 組推理關(guān)系,經(jīng)過檢驗,認(rèn)為它們的屬性無異常情況,推理均符合實際邏輯。

    此外,在實際應(yīng)用時,每個部門也應(yīng)該自行檢查自己部門的知識可信度,若發(fā)現(xiàn)可能存在的推理錯誤時,可及時更正、刪除,保證圖譜及時更新,這也是進(jìn)一步提升政策傳遞推理準(zhǔn)確性的關(guān)鍵。

    3.5 圖譜可視化

    本文利用RDF 和圖數(shù)據(jù)庫的方式實現(xiàn)政策知識存儲,然后利用Neo4j 圖數(shù)據(jù)庫實現(xiàn)管理政策信息可視化。通過Neo4j 數(shù)據(jù)庫實現(xiàn)實體關(guān)系存儲,實體包括疫情政策的對象、主題、內(nèi)容等。圖10 展示了單個政策信息結(jié)構(gòu)(彩圖掃OSID 碼可見),包括發(fā)布部門Department“中醫(yī)藥局辦公室”(綠色圈)、通知主體Announcement“強(qiáng)化中醫(yī)醫(yī)療機(jī)構(gòu)新冠肺炎疫情防控工作”(粉紅色圈)、內(nèi)容Contents(玫紅色圈)、通知對象Target(藍(lán)色圈)等。圖11 則為部分政策通知的節(jié)點展示。

    Fig.10 Single policy structure圖10 單個政策結(jié)構(gòu)

    Fig.11 Partial management policy nodes圖11 部分管理政策結(jié)點

    以管理政策實體“強(qiáng)化中醫(yī)醫(yī)療機(jī)構(gòu)新冠肺炎疫情防控工作”為例,其屬性情況如圖12 所示,包括公文主題分類、公文種類、發(fā)文字號、發(fā)文機(jī)關(guān)、成文日期等。

    Fig.12 Entity property圖12 實體屬性

    一個通知對象會被若干個具體通知所涉及,這些通知屬于不同主題,其中通知節(jié)點會根據(jù)通知路徑的相似或距離的相近自動推理到可能被通知的對象。圖13 以中醫(yī)藥管理局為中心節(jié)點展示了知識圖譜中發(fā)布政策的代表性細(xì)節(jié)結(jié)構(gòu),一個部門會發(fā)布若干個通知,每一則通知又包含若干個具體通知內(nèi)容,會通知到不同的對象。

    4 圖譜應(yīng)用分析

    4.1 應(yīng)用部署

    整個突發(fā)公共衛(wèi)生事件應(yīng)急管理政策知識圖譜的部署和應(yīng)用結(jié)構(gòu)如圖14 所示。在這種政策發(fā)布模式中,中央政府具有最高權(quán)限,原先政策分級發(fā)布、疫情分級管理模式變?yōu)楸馄交Y(jié)構(gòu),將權(quán)力分散,極大減少了政策傳遞的時間損耗。該結(jié)構(gòu)通過“政策知識圖譜+信息系統(tǒng)”的智能模式,輔助中央機(jī)關(guān)部門實時自動監(jiān)督各地機(jī)關(guān)部門,從全局評估并強(qiáng)化各地應(yīng)急管理能力。這樣知識圖譜的構(gòu)建相當(dāng)于建立了一個全面的政策信息管理平臺,形成了一個專業(yè)的突發(fā)公共衛(wèi)生事件資源庫,輔助實現(xiàn)多元共治、內(nèi)生驅(qū)動的綠色響應(yīng)信息應(yīng)急通道,實現(xiàn)統(tǒng)一快速的應(yīng)急管理。

    Fig.14 The deployment structure of knowledge graph圖14 知識圖譜部署結(jié)構(gòu)

    4.2 政策解讀

    利用Neo4j 數(shù)據(jù)庫,相關(guān)政策人員可以查詢到具體每一則政策文本的細(xì)節(jié),包括內(nèi)容、主題、部門等,對其進(jìn)行可視化操作,發(fā)現(xiàn)政策通知的協(xié)作管理部門及其聯(lián)系,并在圖譜中發(fā)現(xiàn)推理后政策可能的流向。部分查詢語句如表9 所示,查詢界面如圖15 所示,部門關(guān)系查詢實例如圖16、圖17 所示,在圖中可以查詢到“人社部發(fā)(2020)24 號”通知及其在各部門的傳遞網(wǎng)絡(luò)。

    Table 9 Part of the commands to query the graph表9 部分查詢圖譜指令

    Fig.15 User query interface圖15 用戶查詢界面

    Fig.16 Policy notification example圖16 政策通知實例

    知識圖譜的構(gòu)建可以清晰地從長篇政策文章中快速捕捉重點,圍繞核心展開部署。同時,該政策通知與其他子通知、子部門對象之間的關(guān)系也可以展示出來,比如該通知所涉及的司法、人力資源、衛(wèi)生健康、知識產(chǎn)權(quán)等多部門合作,還可以利用多級查詢展示各部門在下一層的圖譜關(guān)系,同時探索出可能存在的多級政策傳遞鏈,快速幫助快速傳遞政策文件,提升政府政策文件管理及傳播效率。

    4.3 主題關(guān)聯(lián)

    政策知識圖譜除可以按照部門查詢信息,還可以從主題視角發(fā)現(xiàn)政策間的關(guān)聯(lián),這些主題通過抽取得到,在數(shù)據(jù)庫中搜索相關(guān)關(guān)鍵詞即可查到相關(guān)政策并可視化觀察它們之間的聯(lián)系。比如,多則政策通知同時涉及物資調(diào)配與復(fù)工復(fù)產(chǎn)相關(guān)主題,通過主題到政策再到部門的鏈接分析可以得到這兩個主題下的相應(yīng)機(jī)構(gòu)(見圖18),進(jìn)而可以給這些關(guān)聯(lián)的物資生產(chǎn)機(jī)構(gòu)推送與其權(quán)責(zé)相關(guān)的政策通知,促進(jìn)相關(guān)機(jī)構(gòu)根據(jù)各級政府發(fā)布的政策合理合規(guī)地安排自己的生產(chǎn)工作,減少信息不對稱和信息傳遞所造成的成本和時間浪費。

    Fig.18 Materials and resumption of work and production policies series(part)圖18 物資與復(fù)工復(fù)產(chǎn)系列處理政策(部分)

    類似地,對于疫情初期救援物資調(diào)度混亂、責(zé)任不清等問題,包括應(yīng)急管理部、物資局在內(nèi)的多個部門之間都發(fā)布了物資調(diào)度政策,有些政策重復(fù)發(fā)布,有些分管部門權(quán)責(zé)不清,導(dǎo)致物流物資一系列處理政策混亂的問題。而通過應(yīng)急管理政策知識圖譜能及時更新所有部門發(fā)布的政策與處理方案,聚合中央及地方政府下達(dá)的物資調(diào)配指令,促進(jìn)援助物資配置優(yōu)化,區(qū)域聯(lián)動資源共享,形成有效的物資聯(lián)動機(jī)制。這樣,疫情防控政策知識圖譜的構(gòu)建相當(dāng)于用另一種方式將政策文件深度關(guān)聯(lián),為一個主題類型的政策制定提供知識庫。

    5 結(jié)語

    本文以新冠疫情防控政策為例,構(gòu)建了一個突發(fā)公共衛(wèi)生事件應(yīng)急管理政策知識圖譜,實現(xiàn)了構(gòu)建的主要步驟,即Schema 構(gòu)建、知識抽取、知識推理、可視化及應(yīng)用分析,進(jìn)而提取和分析新冠疫情應(yīng)急管理的經(jīng)驗知識和管理策略。該知識圖譜的構(gòu)建豐富了突發(fā)公共衛(wèi)生事件應(yīng)急管理知識體系,建立了應(yīng)急政策信息快速響應(yīng)通道,形成整體的信息傳遞網(wǎng)絡(luò)結(jié)構(gòu),在發(fā)生類似事件時能提供應(yīng)急管理政策的整體布局、可視分析、精準(zhǔn)傳達(dá)等智能決策功能。

    知識圖譜的擴(kuò)展和更新是下一步研究的重點,比如不斷加入新頒布政策、加快圖譜更新速度、將時間屬性嵌入到推理過程中、探索更準(zhǔn)確的關(guān)系抽取模型、融合更便捷的人機(jī)交互查詢方式和更有效的知識圖譜檢驗系統(tǒng)等。同時,由知識圖譜帶來的一系列應(yīng)急政策及管理方式的變革思路等也值得探索。

    猜你喜歡
    圖譜實體應(yīng)急
    多維深入復(fù)盤 促進(jìn)應(yīng)急搶險
    繪一張成長圖譜
    完善應(yīng)急指揮機(jī)制融嵌應(yīng)急準(zhǔn)備、響應(yīng)、處置全周期
    前海自貿(mào)區(qū):金融服務(wù)實體
    中國外匯(2019年18期)2019-11-25 01:41:54
    應(yīng)急管理部6個“怎么看”
    實體的可感部分與實體——兼論亞里士多德分析實體的兩種模式
    補(bǔ)腎強(qiáng)身片UPLC指紋圖譜
    中成藥(2017年3期)2017-05-17 06:09:01
    兩會進(jìn)行時:緊扣實體經(jīng)濟(jì)“釘釘子”
    振興實體經(jīng)濟(jì)地方如何“釘釘子”
    國際新應(yīng)急標(biāo)準(zhǔn)《核或輻射應(yīng)急的準(zhǔn)備與響應(yīng)》的釋疑
    怎么达到女性高潮| 中文字幕精品亚洲无线码一区| 精品一区二区三区四区五区乱码| 午夜成年电影在线免费观看| 国产午夜精品论理片| 国产99白浆流出| 久久久成人免费电影| 九九热线精品视视频播放| 亚洲色图 男人天堂 中文字幕| 色尼玛亚洲综合影院| 国产精品乱码一区二三区的特点| 日韩精品青青久久久久久| 日本精品一区二区三区蜜桃| 性色avwww在线观看| 日本撒尿小便嘘嘘汇集6| 淫妇啪啪啪对白视频| 少妇熟女aⅴ在线视频| 国产午夜福利久久久久久| 久久精品aⅴ一区二区三区四区| 国产精品爽爽va在线观看网站| 成人性生交大片免费视频hd| 国产人伦9x9x在线观看| 一二三四在线观看免费中文在| 国产真人三级小视频在线观看| 琪琪午夜伦伦电影理论片6080| 一边摸一边抽搐一进一小说| 老司机午夜福利在线观看视频| 在线观看舔阴道视频| 国产乱人视频| 极品教师在线免费播放| 热99re8久久精品国产| 啦啦啦观看免费观看视频高清| 一级黄色大片毛片| 久久亚洲精品不卡| 色播亚洲综合网| 国产日本99.免费观看| 天堂网av新在线| 白带黄色成豆腐渣| 午夜福利18| 精品国产三级普通话版| 女人高潮潮喷娇喘18禁视频| 91在线观看av| 亚洲成人久久性| 999精品在线视频| 亚洲成人久久性| 一级黄色大片毛片| 老司机福利观看| 免费观看精品视频网站| 99国产精品一区二区三区| 欧美日韩黄片免| 久久这里只有精品中国| 天堂√8在线中文| 嫩草影院精品99| 给我免费播放毛片高清在线观看| 国产亚洲欧美98| 九色国产91popny在线| 久久久久国产精品人妻aⅴ院| 每晚都被弄得嗷嗷叫到高潮| 亚洲自拍偷在线| 麻豆国产97在线/欧美| 美女cb高潮喷水在线观看 | 99久久成人亚洲精品观看| 香蕉久久夜色| 久久国产精品影院| 午夜两性在线视频| 日韩人妻高清精品专区| 日本与韩国留学比较| 亚洲精品在线观看二区| 日本与韩国留学比较| 日韩欧美三级三区| 欧美zozozo另类| 欧美日韩福利视频一区二区| 国产精品亚洲av一区麻豆| 久久伊人香网站| 99国产精品99久久久久| 欧美不卡视频在线免费观看| 在线观看66精品国产| 一级黄色大片毛片| av福利片在线观看| 日韩精品中文字幕看吧| 成人永久免费在线观看视频| 精品不卡国产一区二区三区| 国内少妇人妻偷人精品xxx网站 | bbb黄色大片| 99久久综合精品五月天人人| 一卡2卡三卡四卡精品乱码亚洲| 欧美国产日韩亚洲一区| 亚洲欧洲精品一区二区精品久久久| 精品久久久久久久久久免费视频| 国产激情偷乱视频一区二区| 91九色精品人成在线观看| 日韩精品中文字幕看吧| 精品一区二区三区av网在线观看| 嫁个100分男人电影在线观看| 桃红色精品国产亚洲av| 青草久久国产| 国产淫片久久久久久久久 | 亚洲欧美日韩高清在线视频| 真人做人爱边吃奶动态| 欧美乱码精品一区二区三区| 成人国产综合亚洲| 国产极品精品免费视频能看的| 亚洲成人中文字幕在线播放| 亚洲激情在线av| 少妇裸体淫交视频免费看高清| 亚洲五月婷婷丁香| 最近最新中文字幕大全电影3| 全区人妻精品视频| 床上黄色一级片| 国产美女午夜福利| 香蕉久久夜色| 国产精品免费一区二区三区在线| 好男人在线观看高清免费视频| 久久久精品大字幕| 日韩人妻高清精品专区| 一夜夜www| 亚洲av电影不卡..在线观看| 亚洲中文字幕一区二区三区有码在线看 | 99国产综合亚洲精品| 亚洲一区高清亚洲精品| av福利片在线观看| 久久精品影院6| 午夜激情欧美在线| 亚洲va日本ⅴa欧美va伊人久久| 丁香欧美五月| 日本一二三区视频观看| 亚洲在线自拍视频| 伊人久久大香线蕉亚洲五| 国产精品女同一区二区软件 | 美女免费视频网站| 精品久久久久久久末码| 美女被艹到高潮喷水动态| 1000部很黄的大片| 久久久精品欧美日韩精品| 成熟少妇高潮喷水视频| 亚洲专区国产一区二区| 亚洲激情在线av| 精品熟女少妇八av免费久了| 成人高潮视频无遮挡免费网站| 久久这里只有精品中国| 国产欧美日韩一区二区精品| 一本综合久久免费| 午夜a级毛片| 一个人观看的视频www高清免费观看 | 国内精品美女久久久久久| 琪琪午夜伦伦电影理论片6080| 欧美黄色淫秽网站| 麻豆成人av在线观看| 亚洲18禁久久av| 国产麻豆成人av免费视频| 亚洲欧美日韩东京热| 免费av毛片视频| 1024手机看黄色片| 欧美乱色亚洲激情| 亚洲激情在线av| 久99久视频精品免费| 香蕉久久夜色| 免费高清视频大片| 成人鲁丝片一二三区免费| 亚洲专区国产一区二区| 亚洲精品美女久久av网站| 久久久久性生活片| 婷婷精品国产亚洲av| 国产91精品成人一区二区三区| 亚洲色图 男人天堂 中文字幕| 中文资源天堂在线| 在线永久观看黄色视频| 黄色片一级片一级黄色片| 在线观看舔阴道视频| avwww免费| 嫁个100分男人电影在线观看| 色综合婷婷激情| 91av网一区二区| 欧美在线一区亚洲| 首页视频小说图片口味搜索| 最新美女视频免费是黄的| 国产精品一区二区三区四区免费观看 | 国产精品久久视频播放| 男插女下体视频免费在线播放| 亚洲人成伊人成综合网2020| 成年女人毛片免费观看观看9| 中出人妻视频一区二区| 麻豆一二三区av精品| 午夜福利在线观看免费完整高清在 | 国产免费av片在线观看野外av| 嫩草影院精品99| 欧美极品一区二区三区四区| 悠悠久久av| 免费看美女性在线毛片视频| 夜夜躁狠狠躁天天躁| 久久久久亚洲av毛片大全| 亚洲av熟女| 日韩欧美国产在线观看| 波多野结衣高清无吗| 91久久精品国产一区二区成人 | 亚洲av中文字字幕乱码综合| 久久这里只有精品中国| 在线免费观看不下载黄p国产 | 麻豆成人午夜福利视频| 两性午夜刺激爽爽歪歪视频在线观看| 美女黄网站色视频| 99久国产av精品| 国产99白浆流出| 国产伦人伦偷精品视频| 黑人欧美特级aaaaaa片| 成人三级黄色视频| 两性夫妻黄色片| 国产亚洲精品一区二区www| 久久亚洲精品不卡| av视频在线观看入口| 欧美丝袜亚洲另类 | 国产在线精品亚洲第一网站| 久久精品亚洲精品国产色婷小说| 亚洲熟女毛片儿| 免费看a级黄色片| 亚洲国产欧美人成| 这个男人来自地球电影免费观看| 亚洲欧美精品综合久久99| 国产成人精品久久二区二区免费| 亚洲成人免费电影在线观看| 巨乳人妻的诱惑在线观看| 综合色av麻豆| 后天国语完整版免费观看| 中文在线观看免费www的网站| 国产视频一区二区在线看| 五月伊人婷婷丁香| 最近视频中文字幕2019在线8| 男人和女人高潮做爰伦理| www.精华液| 亚洲av五月六月丁香网| 男人舔女人的私密视频| 国产亚洲精品av在线| 国产精品1区2区在线观看.| 国产不卡一卡二| 亚洲七黄色美女视频| 午夜福利在线观看吧| 在线播放国产精品三级| 欧美日韩黄片免| 国产91精品成人一区二区三区| 天天添夜夜摸| 久久久色成人| 午夜久久久久精精品| 好看av亚洲va欧美ⅴa在| 国产高清视频在线播放一区| 国产成年人精品一区二区| 男插女下体视频免费在线播放| 一本精品99久久精品77| 免费看光身美女| 国产三级在线视频| 免费看美女性在线毛片视频| 99久久国产精品久久久| 窝窝影院91人妻| 亚洲人成网站在线播放欧美日韩| 国产不卡一卡二| 成人无遮挡网站| 蜜桃久久精品国产亚洲av| 婷婷亚洲欧美| 偷拍熟女少妇极品色| 人妻丰满熟妇av一区二区三区| 日韩欧美国产一区二区入口| 在线观看免费午夜福利视频| 黄色成人免费大全| 欧美激情在线99| 成人精品一区二区免费| 亚洲av美国av| 亚洲avbb在线观看| 欧美日本亚洲视频在线播放| 可以在线观看的亚洲视频| 亚洲欧美精品综合一区二区三区| 久久久精品欧美日韩精品| 91老司机精品| 国产蜜桃级精品一区二区三区| 女人被狂操c到高潮| 午夜福利在线观看免费完整高清在 | 亚洲专区国产一区二区| 亚洲av第一区精品v没综合| 日日夜夜操网爽| 婷婷六月久久综合丁香| 精品日产1卡2卡| 日本免费一区二区三区高清不卡| 桃红色精品国产亚洲av| 亚洲午夜精品一区,二区,三区| 国产精品精品国产色婷婷| 精品国产乱子伦一区二区三区| 国产精品香港三级国产av潘金莲| 夜夜夜夜夜久久久久| 国产一区二区三区视频了| 精品久久久久久久末码| 欧美绝顶高潮抽搐喷水| 舔av片在线| 精品国内亚洲2022精品成人| 88av欧美| 伦理电影免费视频| 午夜a级毛片| 色视频www国产| 两个人的视频大全免费| 青草久久国产| 国产99白浆流出| 欧美zozozo另类| 亚洲av成人精品一区久久| av在线蜜桃| 99国产综合亚洲精品| 中文在线观看免费www的网站| 97人妻精品一区二区三区麻豆| 午夜精品久久久久久毛片777| av福利片在线观看| 日本a在线网址| 人人妻人人看人人澡| 国产高清视频在线观看网站| 天堂网av新在线| 国产高清激情床上av| 国产精品亚洲av一区麻豆| 成人av一区二区三区在线看| av女优亚洲男人天堂 | 非洲黑人性xxxx精品又粗又长| 久久香蕉精品热| 老鸭窝网址在线观看| 老司机深夜福利视频在线观看| 日韩三级视频一区二区三区| 天堂网av新在线| 婷婷六月久久综合丁香| 校园春色视频在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 国产单亲对白刺激| 婷婷精品国产亚洲av在线| 国产成人aa在线观看| 午夜两性在线视频| 国模一区二区三区四区视频 | 禁无遮挡网站| 夜夜看夜夜爽夜夜摸| 中国美女看黄片| 在线十欧美十亚洲十日本专区| 久久久精品欧美日韩精品| 国产激情欧美一区二区| 国产精品九九99| 国产高清三级在线| 国产精品免费一区二区三区在线| 亚洲天堂国产精品一区在线| 亚洲,欧美精品.| 国产精品永久免费网站| 久久精品国产亚洲av香蕉五月| 色综合欧美亚洲国产小说| 国产三级在线视频| 日本黄色片子视频| 国产精品久久久av美女十八| 久久精品国产99精品国产亚洲性色| 免费看a级黄色片| 三级毛片av免费| 一进一出抽搐gif免费好疼| 真人一进一出gif抽搐免费| 九九在线视频观看精品| 毛片女人毛片| av在线蜜桃| 真人一进一出gif抽搐免费| 日韩中文字幕欧美一区二区| 久久久色成人| 99久久久亚洲精品蜜臀av| 国产亚洲av嫩草精品影院| 一区二区三区激情视频| 国产伦人伦偷精品视频| 久久久久久久久免费视频了| 女人被狂操c到高潮| 又粗又爽又猛毛片免费看| 深夜精品福利| 中出人妻视频一区二区| 欧美精品啪啪一区二区三区| 国产高清视频在线观看网站| 国内久久婷婷六月综合欲色啪| 亚洲国产精品sss在线观看| 欧美色欧美亚洲另类二区| 欧美+亚洲+日韩+国产| 热99re8久久精品国产| 日韩人妻高清精品专区| 99久久精品国产亚洲精品| 日韩欧美国产一区二区入口| 青草久久国产| 国产精品亚洲美女久久久| 身体一侧抽搐| 国产亚洲av高清不卡| 丰满人妻一区二区三区视频av | 久久婷婷人人爽人人干人人爱| 熟女人妻精品中文字幕| 一级毛片高清免费大全| 2021天堂中文幕一二区在线观| 一本久久中文字幕| 国产99白浆流出| 男人和女人高潮做爰伦理| 免费在线观看影片大全网站| 国产成人aa在线观看| 亚洲av成人不卡在线观看播放网| 在线看三级毛片| 亚洲精品一区av在线观看| 精品一区二区三区四区五区乱码| 少妇人妻一区二区三区视频| 91麻豆av在线| 婷婷六月久久综合丁香| 观看免费一级毛片| 国产精品九九99| 真人做人爱边吃奶动态| 91av网站免费观看| 国产精品国产高清国产av| 天天躁日日操中文字幕| 在线a可以看的网站| 国产成人影院久久av| 日韩中文字幕欧美一区二区| 午夜精品久久久久久毛片777| 国产高清视频在线播放一区| 桃色一区二区三区在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 国产久久久一区二区三区| 午夜免费观看网址| 人妻丰满熟妇av一区二区三区| 成年女人永久免费观看视频| 日韩欧美在线乱码| 听说在线观看完整版免费高清| 9191精品国产免费久久| 观看美女的网站| 欧美日韩瑟瑟在线播放| 欧美xxxx黑人xx丫x性爽| 变态另类成人亚洲欧美熟女| 1024手机看黄色片| 日韩欧美国产一区二区入口| 欧美成人免费av一区二区三区| 巨乳人妻的诱惑在线观看| 午夜成年电影在线免费观看| 99热只有精品国产| 中文字幕av在线有码专区| 成年女人永久免费观看视频| 欧美绝顶高潮抽搐喷水| 亚洲国产欧美一区二区综合| 成年女人看的毛片在线观看| 国产成人aa在线观看| 人人妻,人人澡人人爽秒播| 国产97色在线日韩免费| 国产精品香港三级国产av潘金莲| 国产高清videossex| 婷婷六月久久综合丁香| 免费观看精品视频网站| 色综合站精品国产| 国产伦在线观看视频一区| 免费看美女性在线毛片视频| 亚洲av片天天在线观看| 久久99热这里只有精品18| 精品一区二区三区四区五区乱码| 久久精品人妻少妇| 少妇的丰满在线观看| 99re在线观看精品视频| 蜜桃久久精品国产亚洲av| 亚洲激情在线av| 免费看美女性在线毛片视频| 国产精品久久电影中文字幕| 在线免费观看的www视频| 亚洲av成人精品一区久久| 欧美一区二区国产精品久久精品| 韩国av一区二区三区四区| 性色av乱码一区二区三区2| 亚洲午夜精品一区,二区,三区| 高清毛片免费观看视频网站| 国产爱豆传媒在线观看| 欧美一级毛片孕妇| 久久中文看片网| 国产精品电影一区二区三区| 日韩欧美免费精品| 黄色成人免费大全| av女优亚洲男人天堂 | 国产精品久久电影中文字幕| 久久中文看片网| 精品一区二区三区av网在线观看| 变态另类丝袜制服| 国产精品99久久久久久久久| 99riav亚洲国产免费| 两个人的视频大全免费| 国产成人欧美在线观看| 国产欧美日韩一区二区三| 国产成人av激情在线播放| a级毛片a级免费在线| 亚洲专区字幕在线| 免费看十八禁软件| 18禁观看日本| 亚洲欧美精品综合久久99| 丰满的人妻完整版| 成人一区二区视频在线观看| 中文字幕熟女人妻在线| 老司机在亚洲福利影院| 亚洲欧美日韩高清专用| 亚洲av成人不卡在线观看播放网| 精品久久久久久成人av| 天堂动漫精品| 国产亚洲精品一区二区www| 久久久久久久精品吃奶| 亚洲中文字幕一区二区三区有码在线看 | 国产成人精品久久二区二区免费| 男女之事视频高清在线观看| 久久精品91蜜桃| 在线观看免费午夜福利视频| 91av网一区二区| 一卡2卡三卡四卡精品乱码亚洲| 久久中文看片网| xxx96com| 国产精品精品国产色婷婷| 亚洲精品一卡2卡三卡4卡5卡| 最近在线观看免费完整版| 午夜免费成人在线视频| 老司机福利观看| 亚洲国产欧洲综合997久久,| 成人永久免费在线观看视频| 亚洲精华国产精华精| 成人av一区二区三区在线看| 老司机福利观看| 一二三四社区在线视频社区8| 亚洲无线观看免费| 免费看十八禁软件| 国产高清视频在线播放一区| 日本撒尿小便嘘嘘汇集6| 国产不卡一卡二| 精品国内亚洲2022精品成人| 国产伦人伦偷精品视频| 欧美日韩黄片免| 国产单亲对白刺激| 97超视频在线观看视频| 欧美乱码精品一区二区三区| 国模一区二区三区四区视频 | 精品99又大又爽又粗少妇毛片 | 少妇的逼水好多| 欧美成人性av电影在线观看| 日本黄大片高清| 99久久精品国产亚洲精品| 香蕉av资源在线| 小蜜桃在线观看免费完整版高清| 最近最新中文字幕大全免费视频| 色老头精品视频在线观看| 亚洲av第一区精品v没综合| 成人三级做爰电影| 九色国产91popny在线| 国产一区二区在线av高清观看| 91老司机精品| 波多野结衣高清作品| 99热这里只有是精品50| 国产伦精品一区二区三区视频9 | 国产av不卡久久| 精品一区二区三区av网在线观看| 97超视频在线观看视频| 国产精品一区二区免费欧美| 国产蜜桃级精品一区二区三区| xxx96com| 国产私拍福利视频在线观看| 日本一本二区三区精品| 色综合亚洲欧美另类图片| 精品久久久久久久久久久久久| 亚洲激情在线av| 亚洲天堂国产精品一区在线| 97超视频在线观看视频| 久久午夜综合久久蜜桃| 日本精品一区二区三区蜜桃| 精品一区二区三区av网在线观看| 国产精品一区二区三区四区久久| 久久热在线av| 琪琪午夜伦伦电影理论片6080| 欧美乱色亚洲激情| 久久亚洲真实| av天堂中文字幕网| 最近在线观看免费完整版| 国产一区二区在线观看日韩 | 国产亚洲精品av在线| cao死你这个sao货| 国产乱人视频| av黄色大香蕉| 久久久精品欧美日韩精品| 亚洲熟女毛片儿| 日本黄色片子视频| 久久精品国产清高在天天线| 国产激情偷乱视频一区二区| 免费看十八禁软件| 午夜影院日韩av| 中文字幕久久专区| 亚洲国产精品成人综合色| 波多野结衣高清无吗| 天堂影院成人在线观看| 国产精品爽爽va在线观看网站| 色老头精品视频在线观看| 亚洲成人久久爱视频| avwww免费| 美女被艹到高潮喷水动态| 色播亚洲综合网| 国内少妇人妻偷人精品xxx网站 | 亚洲精品国产精品久久久不卡| 成年版毛片免费区| 亚洲人成电影免费在线| 男女做爰动态图高潮gif福利片| 亚洲国产日韩欧美精品在线观看 | 男人和女人高潮做爰伦理| 日韩成人在线观看一区二区三区| 国产精品电影一区二区三区| 免费看十八禁软件| 村上凉子中文字幕在线| 成人一区二区视频在线观看| 亚洲精华国产精华精| 亚洲自拍偷在线| 精品久久久久久久久久免费视频| 日日干狠狠操夜夜爽| 国内少妇人妻偷人精品xxx网站 | 日韩欧美三级三区| 国产精品99久久久久久久久| 国产亚洲av嫩草精品影院| 国产一区在线观看成人免费| 麻豆一二三区av精品| 性色avwww在线观看| 国产精品久久久av美女十八| 一级毛片高清免费大全| 俺也久久电影网| 99国产极品粉嫩在线观看| 亚洲精品乱码久久久v下载方式 | 老司机福利观看| 九九热线精品视视频播放| 亚洲欧美日韩东京热|