• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    臨床實踐指南制定的自動化、智能化工具研究進展

    2023-01-03 08:02:00余麗娜任相穎任相閣王永博李緒輝黃橋張蓉王婷靳英輝
    關(guān)鍵詞:研究者指南證據(jù)

    余麗娜,任相穎,任相閣,王永博,李緒輝,黃橋,張蓉,王婷,靳英輝

    2011年,美國醫(yī)學(xué)研究所(IOM)將臨床實踐指南(CPG,下文簡稱指南)定義為是基于系統(tǒng)評價證據(jù),平衡不同干預(yù)措施的利弊后形成的旨在為患者提供最佳保健服務(wù)的推薦意見[1]。指南是促進高質(zhì)量證據(jù)向臨床決策轉(zhuǎn)化的重要路徑,指南的推廣和實施有助于持續(xù)提高醫(yī)療服務(wù)質(zhì)量,保證醫(yī)務(wù)人員提供給患者最佳和最合理的醫(yī)療服務(wù),同時也可減少不同機構(gòu)或人員之間醫(yī)療實踐的差異性,規(guī)范醫(yī)療行為[2]。指南的制訂是一項復(fù)雜、耗時且昂貴的系統(tǒng)工程,通常需1~2年時間完成。2003年一項對指南制訂者的調(diào)查發(fā)現(xiàn)指南制訂的平均成本為每部指南200 000美元[3]。一項針對國際指南制訂機構(gòu)的調(diào)查顯示,22.9%(8/35)的國際指南制訂機構(gòu)修訂周期為4~5年,40%(14/35)的修訂周期為2~3年,8.6%(3/35)的修訂周期≤1年,28.6%(10/35)未明確修訂周期[4]。指南制訂的時間長、成本高和更新慢,嚴重影響了指南的有效使用及最新臨床研究證據(jù)向?qū)嵺`的有效轉(zhuǎn)化。如何利用自動化、智能化的工具或平臺加速指南的制訂流程,提高其更新效率,創(chuàng)新其傳播方式現(xiàn)已成為循證醫(yī)學(xué)研究中核心議題之一,為此研究者應(yīng)用計算機、數(shù)據(jù)挖掘等技術(shù),開發(fā)了多種工具或平臺,輔助指南的制訂、更新與傳播。本文旨在介紹指南制訂工具或平臺并對其能實現(xiàn)的功能進行總結(jié)分析,以傳播這些方法和技術(shù),促進指南制訂者的選擇使用。

    1 指南制訂中系統(tǒng)評價的自動化、智能化工具

    在指南制訂過程中,涉及一系列嚴格的科學(xué)步驟,其中最耗時的過程是對現(xiàn)有證據(jù)進行系統(tǒng)評價[5]。有研究表明從注冊到發(fā)布,系統(tǒng)評價平均需要67周[6]。使用自動化、智能化工具可提高文獻檢索、文獻篩選、數(shù)據(jù)提取與分析和偏倚風(fēng)險評估的效率,減少人工重復(fù)勞動,進而優(yōu)化和加速指南的制訂過程。國際指南網(wǎng)(GIN)已在其網(wǎng)站上發(fā)布了一系列推薦的工具,如CAN-IMPLEMENT?(用于對現(xiàn)有的指南進行修訂和改編);Abstrackr(半自動的文獻篩選工具);Epistemonikos(面向醫(yī)療專業(yè)人員、研究人員和醫(yī)療決策者的證據(jù)庫);RevMan、Distiller SR、Rayyan、JBI-SUMARI、EPPI-Reviewer和Covidence(系統(tǒng)評價工具)等[7]。為了方便研究人員選擇合適的自動化工具,Dr.Mershall于2015年創(chuàng)建了系統(tǒng)評價工具箱(http://systematicreviewtools.com),該在線平臺全面的匯總了現(xiàn)存的系統(tǒng)評價工具,截止目前已收錄了213個自動化、智能化工具。

    1.1 文獻檢索指南的制訂需要收集所有可能獲得的相關(guān)高質(zhì)量證據(jù)。文獻檢索的過程常常依據(jù)證據(jù)金字塔“從高到低”逐級檢索的順序進行,證據(jù)的類型一般包括臨床實踐指南、系統(tǒng)評價、Meta分析、實驗性研究、觀察性研究、質(zhì)性研究、專業(yè)共識、專家意見、案例分析、經(jīng)濟學(xué)研究等[8]。常用數(shù)據(jù)庫有Cochrane圖書館、JBI循證衛(wèi)生保健數(shù)據(jù)庫、Campbell圖書館、Pubmed、CNKI等。相較于常用數(shù)據(jù)庫而言,Epistemoniko(https://www.epistemonikos.org)作為系統(tǒng)評價數(shù)據(jù)庫能夠同時搜索多個數(shù)據(jù)庫(包括Cochrane、JBI、DARE、Pubmed等10個數(shù)據(jù)庫),同時可使用包括中文在內(nèi)的9種語言直接搜索。其次,Epistemoniko“證據(jù)矩陣”工具有助于快速搜索和更新。該工具可以自動檢測與“證據(jù)矩陣”共享原始研究的新的系統(tǒng)評價,并提醒研究者有新證據(jù)更新[9]。

    1.1.1 構(gòu)建檢索策略在文獻檢索中,首要任務(wù)是構(gòu)建檢索策略。確定檢索式、查找主題詞和自由詞是形成敏感和完整檢索策略的關(guān)鍵。John在對研究人員和醫(yī)生的調(diào)查中發(fā)現(xiàn)“難以選擇最佳策略來搜索文獻”是文獻檢索的障礙之一[10]。醫(yī)學(xué)文本索引器(MTI)是美國國家醫(yī)學(xué)圖書館(NLM)開發(fā)的文本分析工具,能夠根據(jù)醫(yī)學(xué)主題詞(MeSH)生成半自動和全自動索引建議[11]。2014年,MTI與NLM的MeSH部門合作開發(fā)了MeSH on Demand(https://meshb.nlm.nih.gov/MeSHonDemand),為MTI提供了簡化的用戶界面。研究者可將含有主題詞或自由詞的文本(手稿或是文獻摘要)復(fù)制到MeSH on Demand中,系統(tǒng)可自動標識出文本中MeSH術(shù)語,研究者可利用標識出的MeSH術(shù)語在PubMed中開始檢索。同時系統(tǒng)還會列出與提交文本相關(guān)的PubMed/MEDLINE中的相識文獻。

    1.1.2 基于Web的搜索工具Import.io(https://www.import.io/)是一個免費的網(wǎng)絡(luò)爬取軟件,主要功能是搜索現(xiàn)有的基于Web的搜索引擎,并下載搜索結(jié)果(包括搜索詞,搜索日期和網(wǎng)頁地址等)。在系統(tǒng)評價中,可被用來從網(wǎng)站上下載文獻,以提高灰色文獻檢索的透明度和可重復(fù)性[12]。Import.io通過透明地記錄搜索結(jié)果,可以提高系統(tǒng)評價檢索的可重復(fù)性。同時,使用Import.io可以將在各網(wǎng)站上的搜索結(jié)果整理到一個數(shù)據(jù)庫中,并以詳細的引文形式呈現(xiàn),研究者可以很容易對其進行更新,組合和修改。

    PaperBot(https://github.com/NeuroMorphoOrg)是一個免費的、可配置、模塊化的開源爬網(wǎng)程序,可自動、定期的進行全文檢索并能有效注釋經(jīng)過同行評審的文獻。PaperBot可獨立運行,也可與其他軟件平臺集成。PaperBot根據(jù)預(yù)設(shè)的檢索策略來檢索包括Elsevier、Wiley、Springer、PubMed、Nature和Google Scholar在內(nèi)的各種數(shù)據(jù)庫。PaperBot還提供手動添加文章的一鍵式選項,保存文獻信息后能通過網(wǎng)絡(luò)訪問。PaperBot的定期每月搜索,重復(fù)檢測和文獻信息提取大大節(jié)省了在文獻檢索和更新上耗費的人力[13]。

    1.2 文獻篩選對文獻進行系統(tǒng)的篩選是一項繁瑣且耗時但至關(guān)重要的步驟。文獻篩選通常分為兩個階段,第一階段通過閱讀文獻的標題和摘要來排除不相關(guān)的文獻,第二階段通過閱讀全文來排除不相關(guān)的文獻?;谘芯吭O(shè)計類型和標題和摘要的文獻的篩選工具已經(jīng)成熟。利用機器學(xué)習(xí)、文字挖掘、數(shù)據(jù)挖掘、文本分類等技術(shù)開發(fā)的文獻篩選工具,能夠?qū)祟}和摘要進行自動、半自動篩選,排除不相關(guān)的文獻,獲取符合納入標準的文獻,極大節(jié)省了人工篩選的時間[14],但基于全文的文獻篩選仍是嚴峻的挑戰(zhàn)[15]。

    1.2.1 基于研究設(shè)計類型的文獻篩選工具Cochrane協(xié)作網(wǎng)通過眾包(Cochrane Crowd平臺)和機器學(xué)習(xí)混合的方法來識別所有已發(fā)表的隨機對照試驗(RCT)以建立一個全面的RCT數(shù)據(jù)庫。研究表明使用這種混合方法將所需手動篩選的文獻數(shù)量減少78%,召回率保持在98%[16]。Cohen開發(fā)的RCT Tagge(http://arrowsmith.psych.uic.edu/cgibin/arrowsmith_uic/RCT_Tagger.cgi)使用機器學(xué)習(xí)的方法來檢測文獻中的RCT。研究顯示該工具準確區(qū)分RCT和非RCT的接受者操作特征曲線下面積(AUROC)為0.973[17]。該工具可免費使用并允許研究者自主選擇搜索的置信度閾值。另外,Marshall開發(fā)的RobotSearch使用卷積神經(jīng)網(wǎng)絡(luò)、支持向量機和集成法來識別RCT。該工具已被驗證能夠達到很高的區(qū)分性能(AUROC=0.987),與基于關(guān)鍵詞的Cochrane高敏感度搜索策略相比,檢索到的不相關(guān)文章的數(shù)量減少了大約一半,而不會丟失任何其他RCT[18]。研究者可通過將RIS文件上傳到RobotSearch網(wǎng)站(https://robotsearch.vortext.systems/)就可以免費使用該工具,工具會返回僅包含RCT的過濾文件。

    1.2.2 基于標題和摘要的文獻篩選工具Abstrackr(http://abstrackr.cebm.brown.edu/)是一個免費的在線機器學(xué)習(xí)工具,通過半自動化標題和摘要篩選來提高證據(jù)綜合的效率。截至2012年,Abstrackr已被用于促進至少50個系統(tǒng)評價的篩選[19]。Abstrackr通過學(xué)習(xí)研究者的納入和排除標準,從已篩選文獻的摘要和標題中提取關(guān)鍵字,構(gòu)建可模仿用戶決策的模型。當(dāng)Abstrackr學(xué)習(xí)了足夠多的納入和排除文獻時,就可自動篩選剩余的文獻,從而使人工篩選的工作量減半。類似的文獻篩選的工具還有ASReview(https://asreview.nl/#!/up),該工具使用主動學(xué)習(xí)來訓(xùn)練機器學(xué)習(xí)模型,以提高篩選標題和摘要的效率[20]。另外,國內(nèi)的研究者如北醫(yī)三院也開發(fā)的基于PICO問題的文獻題錄篩選工具EBM AI-Reviewer(http://www.Ebmeasyreviewer.com/login)[21]。

    1.3 數(shù)據(jù)提取傳統(tǒng)系統(tǒng)評價方法中利用數(shù)據(jù)提取表格手動采集錄入相關(guān)研究數(shù)據(jù)無疑是耗時耗力的,如何自動提取數(shù)據(jù)的方法和技術(shù)仍具有挑戰(zhàn),目前并未成熟[22]。Jonnalagadda在系統(tǒng)評價中指出尚未找到統(tǒng)一的數(shù)據(jù)提取框架,生物醫(yī)學(xué)自然語言處理技術(shù)未得到充分利用,無法完全或部分完成自動化的數(shù)據(jù)提取[23]。2016年,國際系統(tǒng)評價自動化協(xié)作組織(ICASR)將開發(fā)數(shù)據(jù)提取工具作為優(yōu)先領(lǐng)域,目前在提取哪些元素,如何測量準確性以及如何在協(xié)作中共享數(shù)據(jù)等方面尚未達成共識[24]。目前存在的數(shù)據(jù)提取工具主要有機器學(xué)習(xí)數(shù)據(jù)提取工具(ExaCT)和用于PDF的自動化結(jié)構(gòu)化數(shù)據(jù)提取工具(Graph2Data)。

    ExaCT(http://exactdemo.iit.nrc.ca)可幫助研究者從文獻中提取關(guān)鍵的實驗特征[25]。該工具由兩個主要部分組成:IE引擎和交互式用戶界面。IE引擎自動識別文獻中描述實驗的干預(yù)措施、人群、結(jié)局指標、資金來源和其他特征的文本。對全文數(shù)據(jù)的提取有兩個階段,第一個階段是目標句子的識別,第二階段是弱提取規(guī)則的應(yīng)用。通過用戶界面向研究者展示每項提取的實驗特征相應(yīng)目標片段中得分最高的句子。研究者可評估并更正信息,再將其存儲在數(shù)據(jù)庫中。在ExaCT團隊的評估中發(fā)現(xiàn),當(dāng)檢索到5個最有可能的句子時,該工具具有很高的召回率(對于收集的不同變量而言,召回率為72%~100%)。

    Graph2Data(https://github.com/EPPI-Centre/Graph2Data)是基于Web的圖形數(shù)據(jù)提取工具,可以幫助研究者從PDF文件的圖形中提取定量數(shù)據(jù)。該工具在研究者指定軸值和數(shù)據(jù)類型后通過鼠標在屏幕上單擊適當(dāng)?shù)狞c來從圖形中提取數(shù)據(jù)[26]。

    1.4 數(shù)據(jù)分析數(shù)據(jù)分析工具,特別是用于執(zhí)行meta分析的工具,已被大家熟知,如RevMan、MetaDisc、WinBUGS、Stata和R等。但從原始文獻自動提取效應(yīng)量,尤其是從圖形中提取統(tǒng)計信息仍然是困難的,相關(guān)的自動化工具還有待開發(fā)。

    MetaInsight(https://crsu.shinyapps.io/Metainsightc)不需要用戶安裝任何專用軟件,可直接通過Web進行網(wǎng)狀Meta分析[27]。該工具是交互式的,用戶輸入數(shù)據(jù)后只需點擊各選項就能進行數(shù)據(jù)分析并以可視化方式呈現(xiàn)研究結(jié)果、網(wǎng)絡(luò)圖和森林圖。該工具還可進行異致性檢驗和敏感性分析。

    PythonMeta(https://www.pymeta.com/)是適用于Python語言的Meta分析軟件包,可實現(xiàn)固定和隨機效應(yīng)模型常見效應(yīng)量(OR、RR、RD、MD、SMD),異質(zhì)性檢驗(Q/卡方檢驗)、亞組分析、累積Meta分析、敏感性分析、森林圖、漏斗圖等。相較于其他Meta分析軟件,具有跨平臺使用、功能定制、網(wǎng)絡(luò)支持和易于擴展的優(yōu)點[28]。

    1.5 偏倚風(fēng)險評估在系統(tǒng)評價中評估原始研究的方法學(xué)質(zhì)量非常重要。質(zhì)量包括內(nèi)部真實性和外部真實性,而方法學(xué)質(zhì)量通常是指內(nèi)部真實性。內(nèi)部真實性也被Cochrane協(xié)作網(wǎng)稱為“偏倚風(fēng)險(RoB)[29]。研究表明,80%的RCT的偏倚風(fēng)險評估需要花費平均10~60 min的時間才能完成[30]。利用人工智能技術(shù),實現(xiàn)偏倚風(fēng)險評估的自動化,將從一定程度上減輕研究者的工作量。

    RobotReviewer(https://vortext.systems/robotreviewer)是一個機器學(xué)習(xí)系統(tǒng),可自動進行臨床實驗偏倚風(fēng)險評估。RobotReviewer會以PDF格式獲取RCT報告,自動檢索并標記文獻中描述PICO(人群、干預(yù)、對照和結(jié)果)和實驗設(shè)計(隨機序列生成、分配隱藏等)的句子,進行偏倚風(fēng)險評估并輸出結(jié)果(低、高或不明確)。開發(fā)團隊進行的驗證研究發(fā)現(xiàn),自動化的RoB評估偏倚風(fēng)險測試結(jié)果比人工評估的準確度低7%。開發(fā)者認為盡管現(xiàn)在該工具準確性落后于人類,但隨著方法的改進和性能的提升可能會縮小這一差距,且最終可完全取代人工偏倚風(fēng)險評估[31]。

    1.6 用于系統(tǒng)評價綜合性工具除單一功能的自動化、智能化工具外,許多研究組織還開發(fā)了具有更多功能的綜合性系統(tǒng)評價工具,包括Covidence[32]、DistillerSR[33]、EPPI-Reviewer[34]、Rayyan[35]、JBI-SUMARI[36]、SyRF[37]和Systematic Review Accelerator(SRA)[38],表1。其中,Covidence和EPPI-Reviewer都是Cochrane社區(qū)推薦的工具,可使用Cochrane帳戶登錄并免費使用[39]。同時,已有研究者在案例報告中描述了如何使用SRA在2周內(nèi)完成一個完整的系統(tǒng)評價的詳細過程[38]。

    表1 多功能自動化、智能化的綜合性系統(tǒng)評價工具

    2 針對指南制訂全過程的自動化、智能化工具

    2.1 MAGIC證據(jù)生態(tài)系統(tǒng)的核心平臺--MAGICappMAGIC(Making GRADE the Irresistible Choice,網(wǎng)址:www.magicproject.org)是一項非盈利的國際性科研和創(chuàng)新組織,致力于結(jié)合網(wǎng)絡(luò)技術(shù)并通過國際合作以促進可信賴指南的制定,傳播和動態(tài)更新。MAGIC提出了“數(shù)據(jù)化和可信的證據(jù)生態(tài)系統(tǒng)(Digital and trustworthy evidence ecosystem)”的概念,該系統(tǒng)認為一個良好的證據(jù)生態(tài)系統(tǒng)要求最佳的證據(jù)必須在原始研究的研究者、證據(jù)合成的研究者、證據(jù)傳播和證據(jù)應(yīng)用的專業(yè)實踐者之間進行無縫轉(zhuǎn)化,以實現(xiàn)可持續(xù)循環(huán)[40]。這樣一個動態(tài)化的過程被稱之為證據(jù)生態(tài)系統(tǒng)。證據(jù)生態(tài)系統(tǒng)的循環(huán)基于五大核心要素,包括:①電子化、結(jié)構(gòu)化數(shù)據(jù);②可信證據(jù);③方法上共識;④分享文化和氛圍;⑤工具和平臺。這五大要素推動了證據(jù)從研究向?qū)嵺`不斷的流動更新。2013年MAGIC發(fā)布了一個在線應(yīng)用程序MAGICapp(網(wǎng)址:www.magicapp.org)。MAGICapp是證據(jù)生態(tài)系統(tǒng)的核心平臺,可以創(chuàng)建,傳播和動態(tài)更新數(shù)字化和結(jié)構(gòu)化的證據(jù)概要和推薦意見[41],它是一個基于web的協(xié)作工具,不需要安裝任何軟件,適用于所有移動設(shè)備。MAGICapp使用GRADE方法,以高度結(jié)構(gòu)化的方式編寫指南和證據(jù)概要。同時,也可對指南進行維護以使它們始終保持最新狀態(tài),并根據(jù)研究者選擇的渠道發(fā)布它們,圖1。MAGICapp能夠?qū)崿F(xiàn)簡化指南制訂的過程(參考資料管理,結(jié)構(gòu)化PICO問題,進行GRADE證據(jù)評價等)、在線發(fā)布指南、各指南制訂小組成員在線協(xié)同工作、項目管理(監(jiān)控進度、發(fā)布分配任務(wù)和質(zhì)量控制)、根據(jù)相應(yīng)PICO的證據(jù)摘要自動生成決策輔助工具和實現(xiàn)與電子醫(yī)療記錄(Electronic Medical Records,EMR)集成的功能。

    圖1 MAGICapp-指南的創(chuàng)作和發(fā)布平臺

    2.2 GRADE工作組開發(fā)的指南制訂工具--GRADEpro GRADE工作組于2013年正式推出了一款在線的指南制訂工具GRADEpro GDT[42],可通過http://guidelinedevelopment.org或http://gradepro.org獲得,GRADEpro用于系統(tǒng)評價和指南制定。GRADEpro遵循GRADE方法,從證據(jù)總結(jié)到推薦意見的產(chǎn)生和傳播,能夠指導(dǎo)整個指南制定的過程。GRADEpro的主要功能包括團隊管理、范圍管理(向項目成員發(fā)送表格以進行頭腦風(fēng)暴,通過優(yōu)先級的劃分篩選臨床問題,確定指南領(lǐng)域)、利益沖突管理、參考文獻管理、創(chuàng)建證據(jù)概要表、簡化從證據(jù)到推薦意見的流程、與各種外部系統(tǒng)(例如RevMan、電子醫(yī)療記錄系統(tǒng)等)交換數(shù)據(jù)和發(fā)布指南。目前,已有全球許多知名的醫(yī)療衛(wèi)生機構(gòu)和協(xié)會(如世界衛(wèi)生組織、歐洲呼吸學(xué)會、美國胸腔學(xué)會、歐洲重癥監(jiān)護醫(yī)學(xué)會、世界過敏組織和沙特阿拉伯衛(wèi)生部等)在指南制訂的過程中使用GRADEpro[43]。一項對GIN個人及組織成員的調(diào)查結(jié)果發(fā)現(xiàn) GRADEpro是最受歡迎的指南制訂工具(在受訪者中占26%),指南制訂工具主要用于指南制定的證據(jù)收集階段[44]。

    2.3 MAGICapp和GRADEPro關(guān)鍵功能的比較

    2.3.1 團隊管理與任務(wù)管理MAGICapp區(qū)分了組織和個人賬戶。只有組織賬戶才能發(fā)布指南,組織賬戶的管理員才能以該組織的名義創(chuàng)建指南。創(chuàng)建指南后,管理員可以添加指南管理員、作者、審閱者和查看者。個人賬戶無法發(fā)布指南,個人帳戶下創(chuàng)建的指南只能用于研究或教學(xué)目的。MAGICapp中,可將指南的狀態(tài)設(shè)置為“正在開發(fā)”、“內(nèi)部審查”、“外部審查”、“完成出版”、“更新”和“空白(未設(shè)置)”,能夠使成員掌握指南完成進度。GRADEPro頁面菜單中的團隊(TEAM)選項允許管理指南團隊成員??赏ㄟ^姓名和電子郵件將成員添加到指南團隊中。任務(wù)(TASKS)選項具有基本的日歷功能,可以將與指南或團隊相關(guān)的任務(wù)或事件添加到日歷,設(shè)置任務(wù)的截止日期。

    2.3.2 利益沖突管理GRADEPro支持利益沖突表單的跟蹤和收集。指南管理員能夠選擇適當(dāng)?shù)睦鏇_突表單(如國際醫(yī)學(xué)期刊編輯委員會和世界衛(wèi)生組織的利益沖突表單),并一鍵將其發(fā)送給團隊成員。MAGICapp的此項功能正在開發(fā)中。

    2.3.3 構(gòu)建臨床問題MAGICapp使用PICO來描述臨床問題,在頁面中可以使用“添加PICO”按鈕添加和編輯PICO的任一部分。有3種方式用來添加PICO:①手動:創(chuàng)建一個PICO,手動填寫數(shù)據(jù);②使用RevMan文件:從RevMan文件中提取更多信息;③使用下載的PICO文件:可以從組織內(nèi)部的其他指南下載,也可從共享數(shù)據(jù)的組織外部指南下載。在MAGICapp中對于每個PICO都可以添加不同術(shù)語(ICD-10和MeSH等)的代碼,可以使用PICO進行更精確的搜索,并為電子醫(yī)療記錄提供有關(guān)PICO內(nèi)容的信息。GRADEPro頁面菜單中的范圍(SCOPE)選項支持臨床問題生成。問題生成過程的流程為:①初稿:流程的第一步,再次添加最初的臨床問題;②集思廣益:團隊成員通過電子郵件接收表格,添加和提交他們提出的問題;③完整問題列表:收集了團隊成員的問題后,管理員對其審核并能夠添加或修改問題;④優(yōu)先排序:電子郵件表格要求用戶優(yōu)先考慮頭腦風(fēng)暴期間收集的問題;⑤確定最終問題:在此流程中確定最終問題清單;⑥審核問題清單:團隊成員審批問題清單;⑦完成:標記為重要的臨床問題將自動傳輸?shù)奖容^(COMPARISONES)選項中。

    2.3.4 證據(jù)分級和推薦強度MAGICapp和GRADEPro都使用GRADE方法進行證據(jù)分級與推薦強度的制定。在MAGICapp的證據(jù)(Evidence)選項中對證據(jù)分級,并通過三個顏色選項來區(qū)分推薦強度:灰色(未設(shè)置)、黃色(弱推薦)和綠色(強推薦)。GRADEpro支持在“證據(jù)概要表”中評估證據(jù)的等級,推薦意見分為:強推薦使用、強反對使用、考慮使用、考慮反對使用、不明確五種情況。

    2.3.5 證據(jù)向推薦意見轉(zhuǎn)化MAGICapp在每條建議下都有一個“關(guān)鍵信息”(key information)選項,提供了EtD框架可填寫4個關(guān)鍵信息:收益/危害(benefit/harms )、證據(jù)質(zhì)量(quality of evidence)、偏好和價值(preferences and values)以及資源使用(resource use)。GRADEpro開發(fā)了8種不同類型的EtD框架以利于證據(jù)向推薦意見轉(zhuǎn)化。不同類型EtD框架的大多數(shù)標準是相似的,主要從8個方面(問題的優(yōu)先性、期望的結(jié)果、不良反應(yīng),對證據(jù)體的信心、患者價值偏好、利弊平衡、終端用戶的可接受性及推薦的可行性)來總結(jié)相關(guān)綜合信息,以供形成推薦意見時做參考。

    3 臨床實踐指南制定的自動化、智能化工具面臨的挑戰(zhàn)和未來方向

    隨著自動化、智能化工具和平臺在指南領(lǐng)域的開發(fā)和應(yīng)用,這些工具和平臺已成為優(yōu)化加速指南制訂流程,實現(xiàn)其持續(xù)更新,拓展其傳播方式的重要方法和發(fā)展趨勢。但在實際應(yīng)用中仍然存在許多障礙。首先,指南制訂要求其方法學(xué)具有絕對的準確性,可能是實現(xiàn)完全自動化的一大障礙。這些工具和平臺中運用的人工智能技術(shù),例如機器學(xué)習(xí)算法尤其是那些基于神經(jīng)網(wǎng)絡(luò)的算法,可能會做出難以預(yù)料的預(yù)測。對于這些算法,通常很難檢測到錯誤或偏差,被認為是最終用戶的黑匣子[45]。其次,部分自動化、智能化工具和平臺的學(xué)習(xí)曲線曲折,研究者可能需要花費較多時間才能熟練應(yīng)用。最后,在具有一定“創(chuàng)造性”的流程中(如證據(jù)質(zhì)量評價和證據(jù)向推薦意見轉(zhuǎn)化),讀者可能對專家深思熟慮的意見更有信心,而不是機器[15]。目前,大多數(shù)工具和平臺都被設(shè)計為人機交互界面,人工審核者擁有最終決定權(quán)。也有研究[46]建議使用文獻篩選工具節(jié)省雙重篩選中的一個人力,作為傳統(tǒng)雙人篩選的替代方案。由于上述原因,目前完全實現(xiàn)指南的自動化、智能化仍是遙不可及。

    國際系統(tǒng)評價自動化協(xié)作組織(ICASR)致力于最大程度地利用技術(shù)來進行快速,準確和高效的系統(tǒng)評價。在2015年,該組織提出了“維也納原則”,該原則共8條內(nèi)容,包括:①系統(tǒng)評價的制作涉及許多工作,每項工作存在不同問題,需持續(xù)改進;②自動化可協(xié)助完成系統(tǒng)評價的所有步驟,從確定選題到發(fā)現(xiàn)研究空白,從計劃書的撰寫到全文的撰寫及傳播;③每個步驟都可以且應(yīng)不斷改進,以提高應(yīng)用自動化方法和工具時的效率和準確性;④自動化可以且應(yīng)高標準地促進系統(tǒng)評價的報告、制作和更新;⑤開發(fā)商還應(yīng)提供友好的界面和組件,如將任務(wù)進行細分或合并,允許不同用戶使用不同的界面;⑥具有不同專長的工作組在系統(tǒng)評價制作的不同部分發(fā)揮作用,需加強小組間的合作;⑦每一項自動化技術(shù)都應(yīng)該共享,最好免費提供代碼、評估數(shù)據(jù)和語料;⑧所有自動化技術(shù)和工具都應(yīng)使用可靠、可復(fù)制的方法進行評估,并報告評估結(jié)果和數(shù)據(jù)[47]。指南制訂的限速環(huán)節(jié)主要是系統(tǒng)評價的制作,推動自動化、智能化工具和平臺應(yīng)用于系統(tǒng)評價是當(dāng)前指南制訂最重要和需優(yōu)先的領(lǐng)域[21]。當(dāng)前已有案例報告表明使用自動化、智能化工具2周完成系統(tǒng)評價[38],但仍需開展更多的實證研究。

    4 小結(jié)

    目前,指南制訂的自動化、智能化工具和平臺已有較多的研究和成果應(yīng)用。但在實際應(yīng)用中仍然存在許多障礙。在信息化技術(shù)高速發(fā)展的今天,人工智能與循證醫(yī)學(xué)的結(jié)合應(yīng)用是必然的趨勢。隨著指南制訂、發(fā)布和更新過程中越來越多地使用自動化、智能化工具和平臺,研究者未來可更高效、便捷地制訂指南,對推動循證證據(jù)和推薦意見的實時更新及促進科學(xué)臨床決策有重要意義。

    猜你喜歡
    研究者指南證據(jù)
    高等教育中的學(xué)生成為研究者及其啟示
    研究者稱,經(jīng)CRISPR技術(shù)編輯過的雙胞胎已出生??茖W(xué)將如何回應(yīng)?
    英語文摘(2019年2期)2019-03-30 01:48:40
    研究者調(diào)查數(shù)據(jù)統(tǒng)計
    中華手工(2018年6期)2018-07-17 10:37:42
    指南數(shù)讀
    電視指南(2016年12期)2017-02-05 15:08:06
    對于家庭暴力應(yīng)當(dāng)如何搜集證據(jù)
    紅土地(2016年3期)2017-01-15 13:45:22
    手上的證據(jù)
    “大禹治水”有了新證據(jù)
    論碰撞的混搭指南
    Coco薇(2015年12期)2015-12-10 02:55:48
    醫(yī)生注定是研究者
    手上的證據(jù)
    久久亚洲精品不卡| 日本熟妇午夜| 日韩视频在线欧美| 特大巨黑吊av在线直播| 国产一级毛片在线| 日韩 亚洲 欧美在线| 国模一区二区三区四区视频| 乱人视频在线观看| 国产成人福利小说| 又粗又硬又长又爽又黄的视频| 亚洲一级一片aⅴ在线观看| 老司机影院成人| 国产精品女同一区二区软件| 日韩欧美三级三区| 菩萨蛮人人尽说江南好唐韦庄 | 国产成人福利小说| 男女国产视频网站| 丰满乱子伦码专区| 国产免费视频播放在线视频 | 久99久视频精品免费| 色视频www国产| 又爽又黄a免费视频| 欧美潮喷喷水| 亚洲在久久综合| 美女脱内裤让男人舔精品视频| 男的添女的下面高潮视频| av免费观看日本| 亚洲av日韩在线播放| 少妇高潮的动态图| 免费人成在线观看视频色| videos熟女内射| 蜜桃亚洲精品一区二区三区| 99在线视频只有这里精品首页| 最近手机中文字幕大全| 国产成人a∨麻豆精品| or卡值多少钱| 最近最新中文字幕免费大全7| 午夜a级毛片| 午夜福利在线在线| 国产乱人视频| 高清午夜精品一区二区三区| 国产午夜精品一二区理论片| 久久久久久久国产电影| 国产精品伦人一区二区| 久久草成人影院| 毛片女人毛片| 老司机影院成人| 最近2019中文字幕mv第一页| 久久久色成人| 中文乱码字字幕精品一区二区三区 | 日韩制服骚丝袜av| 97人妻精品一区二区三区麻豆| 九草在线视频观看| 久久鲁丝午夜福利片| 久久精品国产亚洲av涩爱| 看黄色毛片网站| 国产精品野战在线观看| 最近最新中文字幕大全电影3| 天堂影院成人在线观看| 真实男女啪啪啪动态图| 国产成人精品一,二区| 亚洲丝袜综合中文字幕| 日韩在线高清观看一区二区三区| 成人午夜精彩视频在线观看| 国产激情偷乱视频一区二区| 国产淫语在线视频| 国产乱人偷精品视频| 三级国产精品片| 亚洲成人久久爱视频| 亚洲人与动物交配视频| 国产亚洲一区二区精品| 日韩 亚洲 欧美在线| 日韩 亚洲 欧美在线| 午夜精品在线福利| 一二三四中文在线观看免费高清| 丝袜美腿在线中文| 久久精品久久精品一区二区三区| 国国产精品蜜臀av免费| 哪个播放器可以免费观看大片| 成人国产麻豆网| 国产精品av视频在线免费观看| 色吧在线观看| 国产高清视频在线观看网站| 亚洲国产欧洲综合997久久,| a级毛片免费高清观看在线播放| 国产av不卡久久| 亚州av有码| 有码 亚洲区| 99九九线精品视频在线观看视频| 乱人视频在线观看| 99国产精品一区二区蜜桃av| 国产黄片视频在线免费观看| 色播亚洲综合网| 性色avwww在线观看| 性色avwww在线观看| 毛片一级片免费看久久久久| 免费大片18禁| 91久久精品国产一区二区成人| 性插视频无遮挡在线免费观看| 91久久精品国产一区二区三区| 欧美激情在线99| 欧美性猛交黑人性爽| 高清av免费在线| 麻豆国产97在线/欧美| 久久久久久伊人网av| 插逼视频在线观看| 97超碰精品成人国产| 老师上课跳d突然被开到最大视频| 国产在线一区二区三区精 | 国内精品一区二区在线观看| 色5月婷婷丁香| 亚洲成色77777| 国产老妇女一区| av.在线天堂| 欧美三级亚洲精品| 婷婷色综合大香蕉| 亚洲伊人久久精品综合 | 欧美性猛交╳xxx乱大交人| 国产在视频线精品| 国产视频内射| 亚洲欧美中文字幕日韩二区| 一级av片app| 国产精品永久免费网站| 久久久久久久亚洲中文字幕| 亚洲av不卡在线观看| 亚洲一区高清亚洲精品| 真实男女啪啪啪动态图| 精品国内亚洲2022精品成人| 别揉我奶头 嗯啊视频| 亚洲人成网站高清观看| 精品99又大又爽又粗少妇毛片| 特大巨黑吊av在线直播| 国产 一区 欧美 日韩| 欧美高清性xxxxhd video| 国产久久久一区二区三区| 国产亚洲av片在线观看秒播厂 | 成人无遮挡网站| 99在线视频只有这里精品首页| 女的被弄到高潮叫床怎么办| 在线播放国产精品三级| 可以在线观看毛片的网站| 天堂av国产一区二区熟女人妻| 国产成人午夜福利电影在线观看| 老女人水多毛片| 成人亚洲精品av一区二区| 91精品国产九色| 中文乱码字字幕精品一区二区三区 | 日本黄大片高清| 三级男女做爰猛烈吃奶摸视频| 日韩精品青青久久久久久| 又粗又爽又猛毛片免费看| 深夜a级毛片| 亚洲内射少妇av| or卡值多少钱| 国内精品宾馆在线| 美女高潮的动态| 国产成人精品一,二区| 久久久久久久久久成人| 国产午夜精品一二区理论片| 天天一区二区日本电影三级| 白带黄色成豆腐渣| 国产免费福利视频在线观看| 亚洲综合色惰| 美女xxoo啪啪120秒动态图| 狂野欧美白嫩少妇大欣赏| 中文字幕亚洲精品专区| 男女那种视频在线观看| 国产高清不卡午夜福利| 91久久精品电影网| 神马国产精品三级电影在线观看| 日本午夜av视频| 菩萨蛮人人尽说江南好唐韦庄 | 毛片一级片免费看久久久久| 国产精品久久久久久av不卡| 国产真实乱freesex| 色尼玛亚洲综合影院| 黄色欧美视频在线观看| 亚洲精华国产精华液的使用体验| 亚洲精品aⅴ在线观看| 日本午夜av视频| 国产成年人精品一区二区| 欧美性感艳星| 嫩草影院入口| 热99re8久久精品国产| 日韩一区二区三区影片| 国产黄色视频一区二区在线观看 | 欧美激情国产日韩精品一区| 国产白丝娇喘喷水9色精品| 日本-黄色视频高清免费观看| 欧美日本亚洲视频在线播放| 精品一区二区免费观看| 精品一区二区免费观看| 日韩欧美三级三区| 亚洲欧洲日产国产| 欧美性感艳星| 性色avwww在线观看| 中文字幕精品亚洲无线码一区| 久久99热6这里只有精品| a级一级毛片免费在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 色综合色国产| 亚洲电影在线观看av| 狂野欧美激情性xxxx在线观看| 爱豆传媒免费全集在线观看| 久久久久久久午夜电影| 亚洲高清免费不卡视频| 狂野欧美白嫩少妇大欣赏| 丝袜喷水一区| 看黄色毛片网站| 熟女电影av网| av国产免费在线观看| 国产午夜精品久久久久久一区二区三区| 最新中文字幕久久久久| 日本wwww免费看| 国产精品三级大全| 91在线精品国自产拍蜜月| 欧美色视频一区免费| 日韩欧美精品免费久久| 久久精品国产亚洲网站| 国产成人a区在线观看| 岛国毛片在线播放| 黄色日韩在线| 全区人妻精品视频| 中文欧美无线码| 搡女人真爽免费视频火全软件| 高清av免费在线| 亚洲五月天丁香| 熟女人妻精品中文字幕| 蜜桃久久精品国产亚洲av| 日韩在线高清观看一区二区三区| 免费无遮挡裸体视频| 人体艺术视频欧美日本| 欧美日韩在线观看h| 亚洲av成人av| 亚洲五月天丁香| 又爽又黄无遮挡网站| 欧美另类亚洲清纯唯美| 免费人成在线观看视频色| 久久人妻av系列| 久久久久久久久中文| 国产亚洲精品av在线| 免费看光身美女| 日日啪夜夜撸| av播播在线观看一区| 久久精品影院6| 日日摸夜夜添夜夜爱| 国产精品一二三区在线看| 男女那种视频在线观看| 不卡视频在线观看欧美| 三级国产精品欧美在线观看| 搡女人真爽免费视频火全软件| 国产亚洲最大av| 欧美色视频一区免费| 久久人人爽人人片av| 蜜桃久久精品国产亚洲av| 久久久久国产网址| 人人妻人人澡欧美一区二区| 国产私拍福利视频在线观看| 免费观看人在逋| 18禁在线无遮挡免费观看视频| 女的被弄到高潮叫床怎么办| 亚洲人成网站高清观看| 白带黄色成豆腐渣| 国产三级在线视频| 男女下面进入的视频免费午夜| 亚洲av.av天堂| 国产免费视频播放在线视频 | 99九九线精品视频在线观看视频| 18禁裸乳无遮挡免费网站照片| 又爽又黄无遮挡网站| 欧美日本视频| 精品人妻偷拍中文字幕| 日本色播在线视频| 日韩强制内射视频| 日本一二三区视频观看| 国产一级毛片在线| 国产亚洲精品av在线| 国产精品一区二区在线观看99 | 国产又黄又爽又无遮挡在线| 赤兔流量卡办理| 日本免费在线观看一区| www日本黄色视频网| 国产精品日韩av在线免费观看| 国产视频首页在线观看| 亚洲欧美日韩卡通动漫| 国产人妻一区二区三区在| 亚洲精品乱码久久久v下载方式| 亚洲丝袜综合中文字幕| 国产成人精品久久久久久| 久久精品国产自在天天线| 高清av免费在线| 青春草国产在线视频| 99久久九九国产精品国产免费| 我的女老师完整版在线观看| 在现免费观看毛片| 亚洲欧美成人精品一区二区| 亚洲av成人精品一二三区| 午夜福利视频1000在线观看| 国产精品麻豆人妻色哟哟久久 | 大香蕉久久网| 国内少妇人妻偷人精品xxx网站| 亚洲精品色激情综合| 一区二区三区乱码不卡18| 亚洲美女搞黄在线观看| 国产探花极品一区二区| 1000部很黄的大片| 国产精品,欧美在线| 午夜福利在线观看吧| 一级爰片在线观看| 日本黄色视频三级网站网址| 99久久精品热视频| 少妇猛男粗大的猛烈进出视频 | 久久亚洲精品不卡| 18禁在线无遮挡免费观看视频| 午夜爱爱视频在线播放| 青春草视频在线免费观看| 99热精品在线国产| h日本视频在线播放| 99久久精品热视频| 69av精品久久久久久| 国产视频内射| 色5月婷婷丁香| 久久国内精品自在自线图片| 中文字幕精品亚洲无线码一区| 国产精品电影一区二区三区| 欧美精品一区二区大全| av在线天堂中文字幕| 晚上一个人看的免费电影| 一个人看视频在线观看www免费| 亚洲精品日韩在线中文字幕| 97在线视频观看| 在线免费观看不下载黄p国产| 男女那种视频在线观看| 在线观看66精品国产| 日韩大片免费观看网站 | 特大巨黑吊av在线直播| h日本视频在线播放| 日韩大片免费观看网站 | 成人美女网站在线观看视频| 麻豆久久精品国产亚洲av| 视频中文字幕在线观看| 亚洲精品乱码久久久v下载方式| kizo精华| 中文字幕av成人在线电影| 精品久久久久久久久av| 午夜爱爱视频在线播放| 欧美潮喷喷水| 亚洲精品自拍成人| 精品久久久久久电影网 | 欧美潮喷喷水| 欧美又色又爽又黄视频| 床上黄色一级片| 免费在线观看成人毛片| 亚洲国产精品合色在线| 国产午夜精品久久久久久一区二区三区| 嫩草影院新地址| 色视频www国产| 看十八女毛片水多多多| 久久久久久伊人网av| 好男人在线观看高清免费视频| 国产高清三级在线| 男的添女的下面高潮视频| 嫩草影院精品99| 超碰97精品在线观看| 欧美最新免费一区二区三区| 久久精品久久久久久噜噜老黄 | 美女被艹到高潮喷水动态| av在线观看视频网站免费| 欧美性猛交黑人性爽| 在现免费观看毛片| 中文字幕亚洲精品专区| 亚洲色图av天堂| 色吧在线观看| 乱系列少妇在线播放| 99久久九九国产精品国产免费| 日本午夜av视频| 国产高清有码在线观看视频| 欧美极品一区二区三区四区| 小蜜桃在线观看免费完整版高清| 日韩精品青青久久久久久| 国产亚洲午夜精品一区二区久久 | 22中文网久久字幕| 日本免费a在线| 亚洲美女搞黄在线观看| 91久久精品电影网| АⅤ资源中文在线天堂| 久久99热6这里只有精品| 永久网站在线| 国产av不卡久久| 51国产日韩欧美| 人人妻人人澡人人爽人人夜夜 | 少妇高潮的动态图| 久久久久久伊人网av| 亚洲国产精品成人久久小说| 国产精品1区2区在线观看.| 国产精品精品国产色婷婷| 一卡2卡三卡四卡精品乱码亚洲| av在线亚洲专区| 日韩大片免费观看网站 | 十八禁国产超污无遮挡网站| 日韩人妻高清精品专区| 性色avwww在线观看| 美女被艹到高潮喷水动态| 欧美日本亚洲视频在线播放| 国产精品久久视频播放| 在线免费观看不下载黄p国产| 国产毛片a区久久久久| 在线观看一区二区三区| 久久综合国产亚洲精品| 成人二区视频| 少妇熟女aⅴ在线视频| 哪个播放器可以免费观看大片| av国产久精品久网站免费入址| 国产精品麻豆人妻色哟哟久久 | 精品不卡国产一区二区三区| 亚洲欧洲日产国产| 又爽又黄无遮挡网站| 欧美最新免费一区二区三区| 婷婷色麻豆天堂久久 | 内地一区二区视频在线| 国产高潮美女av| 日韩成人av中文字幕在线观看| 国产精品麻豆人妻色哟哟久久 | 尾随美女入室| 亚洲自拍偷在线| 亚洲欧美清纯卡通| 久久久久久久国产电影| 亚洲精品aⅴ在线观看| 97在线视频观看| 极品教师在线视频| 国产精品电影一区二区三区| 熟女电影av网| or卡值多少钱| 黄色欧美视频在线观看| 亚洲精品久久久久久婷婷小说 | 亚洲一区高清亚洲精品| 一个人看的www免费观看视频| 村上凉子中文字幕在线| 国产亚洲最大av| 免费在线观看成人毛片| 少妇的逼水好多| 亚洲精品日韩av片在线观看| 久久国内精品自在自线图片| 国产欧美日韩精品一区二区| 免费播放大片免费观看视频在线观看 | 观看免费一级毛片| 日韩人妻高清精品专区| av卡一久久| 欧美人与善性xxx| 久久久成人免费电影| 亚洲四区av| 白带黄色成豆腐渣| 国产视频首页在线观看| 成年av动漫网址| 国产三级中文精品| 亚洲四区av| 看十八女毛片水多多多| 丰满乱子伦码专区| 天堂网av新在线| www.色视频.com| 51国产日韩欧美| 身体一侧抽搐| 国产精华一区二区三区| 国产老妇女一区| 亚洲高清免费不卡视频| 国产精品乱码一区二三区的特点| 亚洲最大成人av| 国产一区有黄有色的免费视频 | 国产欧美另类精品又又久久亚洲欧美| 寂寞人妻少妇视频99o| 两个人视频免费观看高清| av在线老鸭窝| 亚洲美女视频黄频| 午夜激情福利司机影院| 国产精品久久久久久久电影| 亚洲五月天丁香| 久久久久久久久久成人| or卡值多少钱| 大又大粗又爽又黄少妇毛片口| 久久久成人免费电影| 精品99又大又爽又粗少妇毛片| av播播在线观看一区| 久99久视频精品免费| 精品熟女少妇av免费看| 欧美成人一区二区免费高清观看| 欧美激情国产日韩精品一区| 久久久精品94久久精品| 久久久精品大字幕| 美女黄网站色视频| 久久久久久久国产电影| 国产一区二区三区av在线| 色视频www国产| 欧美又色又爽又黄视频| 麻豆成人午夜福利视频| 成人亚洲欧美一区二区av| 69人妻影院| 中国美白少妇内射xxxbb| 久久久精品94久久精品| 高清在线视频一区二区三区 | 精品久久久久久久久av| 午夜精品一区二区三区免费看| 九九久久精品国产亚洲av麻豆| 成人二区视频| 国产亚洲5aaaaa淫片| 国产精品熟女久久久久浪| 国产熟女欧美一区二区| 天天躁日日操中文字幕| 九草在线视频观看| 深爱激情五月婷婷| 夜夜爽夜夜爽视频| 精品一区二区免费观看| 国产美女午夜福利| 中文亚洲av片在线观看爽| 亚洲婷婷狠狠爱综合网| 少妇熟女aⅴ在线视频| 99九九线精品视频在线观看视频| 美女被艹到高潮喷水动态| 久久久久久久久久黄片| 高清毛片免费看| 免费播放大片免费观看视频在线观看 | 免费看美女性在线毛片视频| 国产精品野战在线观看| 中文精品一卡2卡3卡4更新| 91精品国产九色| 亚洲乱码一区二区免费版| 欧美xxxx性猛交bbbb| 欧美精品一区二区大全| 中文乱码字字幕精品一区二区三区 | 国产美女午夜福利| av在线蜜桃| 美女cb高潮喷水在线观看| 99视频精品全部免费 在线| 一边摸一边抽搐一进一小说| 一个人看的www免费观看视频| 免费观看人在逋| 欧美日本视频| 我要看日韩黄色一级片| 中国美白少妇内射xxxbb| 校园人妻丝袜中文字幕| 女人久久www免费人成看片 | 日韩国内少妇激情av| 日本爱情动作片www.在线观看| av在线亚洲专区| 我要看日韩黄色一级片| 午夜免费男女啪啪视频观看| 国产av不卡久久| 国产精品麻豆人妻色哟哟久久 | 免费不卡的大黄色大毛片视频在线观看 | 亚洲av福利一区| 天堂影院成人在线观看| 婷婷色综合大香蕉| 一级黄片播放器| 国产精品福利在线免费观看| 麻豆精品久久久久久蜜桃| 男的添女的下面高潮视频| 国产精品久久视频播放| 岛国毛片在线播放| 日韩av在线大香蕉| 女人久久www免费人成看片 | 特级一级黄色大片| 深爱激情五月婷婷| 两性午夜刺激爽爽歪歪视频在线观看| 两个人视频免费观看高清| h日本视频在线播放| 日韩高清综合在线| 身体一侧抽搐| 好男人在线观看高清免费视频| 国产av码专区亚洲av| 春色校园在线视频观看| 亚洲第一区二区三区不卡| 亚洲人与动物交配视频| 国产av码专区亚洲av| 好男人视频免费观看在线| 国内精品一区二区在线观看| 亚洲精品影视一区二区三区av| 九九在线视频观看精品| 最近手机中文字幕大全| 1000部很黄的大片| 欧美丝袜亚洲另类| 国产乱人视频| 秋霞在线观看毛片| 亚洲精品亚洲一区二区| 婷婷色av中文字幕| 少妇丰满av| 亚洲三级黄色毛片| 在线观看美女被高潮喷水网站| 久久亚洲国产成人精品v| 深爱激情五月婷婷| 久久久久久久久久成人| 亚洲aⅴ乱码一区二区在线播放| 精品国产一区二区三区久久久樱花 | 欧美+日韩+精品| 成人漫画全彩无遮挡| 在线播放无遮挡| 女人十人毛片免费观看3o分钟| av天堂中文字幕网| 中文乱码字字幕精品一区二区三区 | 久久久精品大字幕| 高清av免费在线| 小蜜桃在线观看免费完整版高清| 国国产精品蜜臀av免费| 日韩成人伦理影院| 免费观看性生交大片5| 波野结衣二区三区在线| 国产亚洲精品久久久com| 纵有疾风起免费观看全集完整版 | or卡值多少钱| 不卡视频在线观看欧美| 国产精品久久视频播放| 永久免费av网站大全| 乱系列少妇在线播放| 中文字幕av成人在线电影| 日本黄色片子视频| 欧美日韩精品成人综合77777| 高清毛片免费看|