• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    臨床預(yù)測模型:TRIPOD報(bào)告規(guī)范解讀
    ——以心血管疾病預(yù)測模型QRISK3為例(上)

    2020-01-08 10:29:50李秋萍谷鴻秋王俊峰
    關(guān)鍵詞:報(bào)告模型研究

    李秋萍,谷鴻秋,王俊峰

    預(yù)測疾病狀態(tài)(診斷)或未來疾病進(jìn)程(預(yù)后)的發(fā)生概率對開展個體化的精準(zhǔn)診療尤為重要,臨床預(yù)測模型的應(yīng)用是促成臨床研究轉(zhuǎn)化為臨床實(shí)踐的有力途徑。本系列前幾篇文章中討論了模型開發(fā)和驗(yàn)證中的注意事項(xiàng),多次提到完整報(bào)告預(yù)測模型開發(fā)和驗(yàn)證過程對于模型外部驗(yàn)證及臨床應(yīng)用的重要性[1,2],然而已發(fā)表的預(yù)測模型類論文的報(bào)告質(zhì)量并不盡如人意。Bouwmeester等分析了6本高影響力期刊上刊載的所有預(yù)測模型研究,結(jié)果顯示模型各方面信息的描述并不充份,報(bào)告規(guī)范性較為欠缺,嚴(yán)重影響了模型的可用性[3]?;诖?,專家協(xié)作組于2015年公布了《個體預(yù)后或診斷的多變量預(yù)測模型透明報(bào)告》(Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis,TRIPOD),用以規(guī)范預(yù)測模型的報(bào)告過程[4];隨后為進(jìn)一步提高報(bào)告質(zhì)量評價(jià)的客觀性及一致性,于2019年公布了TRIPOD報(bào)告規(guī)范依從性評判標(biāo)準(zhǔn),此標(biāo)準(zhǔn)也可作為提高研究報(bào)告準(zhǔn)確性和完整性的指導(dǎo)文件[5]。本文將結(jié)合TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn),以《開發(fā)和驗(yàn)證估計(jì)未來心血管疾病風(fēng)險(xiǎn)的QRISK3風(fēng)險(xiǎn)預(yù)測算法:前瞻性隊(duì)列研究》(Development and validation of QRISK3 risk prediction algorithms to estimate future risk of cardiovascular disease: prospective cohort study)[6]為例,采用例解的形式逐一對照及解讀TRIPOD報(bào)告規(guī)范各條目,促進(jìn)該規(guī)范的應(yīng)用,進(jìn)而提高預(yù)測模型的報(bào)告質(zhì)量。

    1 TRIPOD報(bào)告規(guī)范概述

    從2011年開始,由統(tǒng)計(jì)學(xué)專家、流行病學(xué)專家等多學(xué)科團(tuán)隊(duì)組建的專家協(xié)作組通過文獻(xiàn)檢索及專家小組會議的形式,制定了專用于多變量預(yù)測模型開發(fā)或驗(yàn)證的TRIPOD報(bào)告規(guī)范,并于2015年1月在多本國際知名期刊上同時刊出[4],并配發(fā)了相應(yīng)的說明和詳述文件[7],為預(yù)測模型類文章提供了報(bào)告框架。TRIPOD報(bào)告規(guī)范包括標(biāo)題和摘要、前言、方法、結(jié)果、討論和其他信息6個部分,共22個條目,適用于模型開發(fā)、驗(yàn)證、增量值等研究類別。國內(nèi)學(xué)者也對TRIPOD進(jìn)行了引入和介紹[8,9],在TRIPOD官方網(wǎng)站(https://www.tripod-statement.org/)中也提供了由中國學(xué)者制作的中文翻譯版供研究者使用,本文作者也參與了這一官方翻譯版本的修訂工作。為促進(jìn)TRIPOD報(bào)告規(guī)范應(yīng)用的定量評價(jià)及評價(jià)結(jié)果的可比性,TRIPOD專家協(xié)作組發(fā)布了TRIPOD報(bào)告規(guī)范依從的系統(tǒng)性評價(jià)標(biāo)準(zhǔn)[5],針對規(guī)范中每一條目制定了相應(yīng)的信息報(bào)告要求,以促進(jìn)并確保在未來研究中衡量對TRIPOD依從程度的一致性。

    2 TRIPOD報(bào)告規(guī)范條目解讀

    2.1 題目和摘要

    2.1.1 題目條目1:應(yīng)明確研究為預(yù)測模型建立研究還是驗(yàn)證研究,研究目標(biāo)人群和預(yù)測的結(jié)局指標(biāo)。[D;V]

    根據(jù)TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn)[5],文章標(biāo)題中應(yīng)明確描述以下4方面信息:①根據(jù)研究類型,標(biāo)注開發(fā)、驗(yàn)證、增量值等字樣;②明確文章為預(yù)測模型類研究,需包含預(yù)測、預(yù)后、風(fēng)險(xiǎn)評分等字樣;③明確研究目標(biāo)人群;④注明主要預(yù)測結(jié)局。

    例文的標(biāo)題為《開發(fā)和驗(yàn)證未來心血管疾病風(fēng)險(xiǎn)的QRISK3風(fēng)險(xiǎn)預(yù)測算法:前瞻性隊(duì)列研究》,“開發(fā)和驗(yàn)證”點(diǎn)明了本研究同時包括模型開發(fā)及驗(yàn)證,“風(fēng)險(xiǎn)預(yù)測算法”幫助讀者快速確認(rèn)這是一篇臨床預(yù)測模型類文章,“心血管疾病風(fēng)險(xiǎn)”顯示預(yù)測結(jié)局為發(fā)生心血管疾病。作者并未在標(biāo)題中表明研究的目標(biāo)人群,根據(jù)正文內(nèi)容可知其目標(biāo)人群為初級保健患者,無其他特殊限定,因此在標(biāo)題中未單獨(dú)列出該信息。整體而言,該例文標(biāo)題基本涵蓋了關(guān)鍵要素,可以借鑒參照。但若研究人群為罹患某一疾病或具備某一特征的人群,則應(yīng)在標(biāo)題中體現(xiàn),能進(jìn)一步反映出模型的適用范圍和研究的臨床價(jià)值。

    2.1.2 摘要條目2:概述研究目標(biāo)、研究設(shè)計(jì)、研究設(shè)定、研究對象、樣本量、預(yù)測因子,結(jié)局指標(biāo),統(tǒng)計(jì)分析方法,結(jié)果和結(jié)論。[D;V]

    摘要是讀者快速掌握文章主題及判斷是否值得閱讀全文的關(guān)鍵所在。為此TRIPOD協(xié)作組特別開發(fā)了《TRIPOD摘要》(TRIPOD for Abstracts)作為論文及會議摘要的報(bào)告規(guī)范,將于2020年正式發(fā)布。TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn)對摘要報(bào)告要求比較嚴(yán)格[5]:摘要應(yīng)為結(jié)構(gòu)式,利用有限的字?jǐn)?shù)傳達(dá)足量信息,需簡明清晰地描述條目中提到的每個要素,應(yīng)注意的一是預(yù)測因子的描述,若預(yù)測因子數(shù)量較多難以全部列出,寬泛描述即可,如“患者疾病史及體檢指標(biāo)”;二是模型性能指標(biāo)的描述,若研究同時包括模型建立及驗(yàn)證,應(yīng)分別報(bào)告模型的性能指標(biāo)。

    例文在“目標(biāo)”中寫明本研究目的是開發(fā)和驗(yàn)證預(yù)測十年心血管疾病發(fā)病風(fēng)險(xiǎn)的模型;在“設(shè)計(jì)”中指出研究為前瞻性隊(duì)列研究;“設(shè)定”指代的是研究場所或數(shù)據(jù)來源,寫明利用的是英國數(shù)據(jù)庫中的初級保健數(shù)據(jù);“研究對象”中描述了研究對象的特點(diǎn)及建模、驗(yàn)?zāi)颖玖?;在“方法”中逐一列出預(yù)測因子,寫明主要統(tǒng)計(jì)方法為Cox比例風(fēng)險(xiǎn)模型;預(yù)測結(jié)局指標(biāo)、結(jié)果和結(jié)論也在摘要部分“主要結(jié)局指標(biāo)”、“結(jié)果”及“結(jié)論”中得到詳細(xì)闡述。條目2中的關(guān)鍵要素均能在例文中找到對應(yīng)內(nèi)容,例文的摘要結(jié)構(gòu)化程度高,符合報(bào)告規(guī)范。

    2.2 前言條目3a:闡述研究的醫(yī)學(xué)背景(包括是診斷還是預(yù)后)以及建立或驗(yàn)證多因素預(yù)測模型的理由,包括對現(xiàn)有模型的引用與參考。[D;V]

    在預(yù)測模型類論文的前言中,除各類研究均需充分描述的研究現(xiàn)狀、必要性等內(nèi)容外,還需列出現(xiàn)有模型并給出驗(yàn)證、更新或開發(fā)新模型的原因。

    在例文中,作者介紹了已經(jīng)迭代形成了兩個版本(QRISK、QRISK2)的十年心血管疾病發(fā)病風(fēng)險(xiǎn)預(yù)測模型,QRISK2在指南中得到廣泛推薦,然而QRISK2可能無法完全覆蓋增加心血管疾病風(fēng)險(xiǎn)的諸多疾病,導(dǎo)致相關(guān)患者組的發(fā)病風(fēng)險(xiǎn)被低估。同時強(qiáng)調(diào)了最新研究中發(fā)現(xiàn)的與預(yù)測結(jié)局相關(guān)聯(lián)的新指標(biāo)尚未在模型中體現(xiàn),進(jìn)而引出本研究的科學(xué)問題,即需要開發(fā)新的模型。例文研究問題的引出逐步推進(jìn),邏輯分明,并且對模型的原理和潛在用途進(jìn)行了清晰描述,符合報(bào)告標(biāo)準(zhǔn)。但對于納入本次研究中的新指標(biāo)描述過于簡略,可對現(xiàn)有模型中擬增加的新指標(biāo)進(jìn)行進(jìn)一步詳細(xì)描述,以反映增加新指標(biāo)的重要意義。

    條目3b:詳細(xì)說明研究目標(biāo),包括研究是建立模型還是驗(yàn)證模型,還是兩者都有。[D;V]

    研究目標(biāo)是研究中要解決的特定目標(biāo)或研究問題[10],本條目要求描述研究預(yù)測的目的,預(yù)測的結(jié)局及模型適用的人群,還應(yīng)說明本研究是模型開發(fā)還是模型驗(yàn)證,或兩者都有。

    例文在前言中已充分說明需要構(gòu)建新預(yù)測模型的必要性及重要性,隨后在前言最后一句提出本研究的目的,即“開發(fā)并驗(yàn)證新版預(yù)測模型QRISK3,……,以改進(jìn)某些患者組的心血管疾病風(fēng)險(xiǎn)預(yù)測。”

    2.3 研究方法

    2.3.1 數(shù)據(jù)來源條目4a:描述研究設(shè)計(jì)或數(shù)據(jù)來源(如隨機(jī)試驗(yàn)、隊(duì)列研究或注冊研究數(shù)據(jù)等),并分別描述建立或驗(yàn)證模型的數(shù)據(jù)集。[D;V]

    預(yù)測模型類論文中要求應(yīng)明確報(bào)告研究設(shè)計(jì)類型或數(shù)據(jù)來源。預(yù)測模型包括診斷模型和預(yù)后模型,對研究設(shè)計(jì)要求不同。診斷模型的預(yù)測因子與結(jié)局變量是在同一時點(diǎn)或很短時間窗內(nèi)測量,可利用橫斷面研究數(shù)據(jù);預(yù)后模型的預(yù)測因子與結(jié)局存在因果關(guān)系,可利用隊(duì)列研究、隨機(jī)試驗(yàn)、巢式病例對照等研究數(shù)據(jù)[1]。

    在例文的研究方法中標(biāo)明數(shù)據(jù)來自第41版的QResearch數(shù)據(jù)庫。在建模過程中隨機(jī)抽取3/4樣本量作為建模數(shù)據(jù),其余1/4作為驗(yàn)?zāi)?shù)據(jù),所以建模數(shù)據(jù)與驗(yàn)?zāi)?shù)據(jù)來源一致。例文在該條目上的報(bào)告較為完整。

    條目4b:詳細(xì)描述關(guān)鍵研究日期,包括數(shù)據(jù)收集的開始時間、結(jié)束時間,如果適用還應(yīng)有隨訪結(jié)束時間。[D;V]

    預(yù)測模型類論文需詳實(shí)描述數(shù)據(jù)收集(患者招募)的起始和結(jié)束時間,以及隨訪結(jié)束時間三個重要時間節(jié)點(diǎn)。診斷模型不涉及隨訪時間,預(yù)后模型需給出隨訪時長的計(jì)算方法和預(yù)測的時間范圍。

    例文中的三個時間節(jié)點(diǎn)非常明確,數(shù)據(jù)起止是從1998年1月1日至2015年12月31日,隨訪截止日期為2015年12月31日。隨訪時間定義為“直到確診心血管疾病,死亡,在家庭醫(yī)生處注銷,最后一次上傳數(shù)據(jù)或研究結(jié)束日期,即2015年12月31日”。文中指出,隨訪長度為15年,則預(yù)測時長不超過15年,QRISK3關(guān)注的是十年內(nèi)心血管疾病發(fā)生風(fēng)險(xiǎn)。例文對于研究時間相關(guān)信息的報(bào)告很是全面,這些描述對于了解研究所處的時代背景、評價(jià)模型的可推廣性是關(guān)鍵且必須的。

    2.3.2 研究對象條目5a:詳細(xì)說明研究設(shè)定的關(guān)鍵信息(如初級醫(yī)療機(jī)構(gòu)、二級醫(yī)療機(jī)構(gòu)或普通人群),包括研究中心的數(shù)量和位置。[D;V]

    預(yù)測模型很難直接在不同類型的臨床場所中互通應(yīng)用,研究設(shè)定的詳細(xì)描述能便于判斷模型的應(yīng)用范圍。在報(bào)告研究對象時,應(yīng)報(bào)告研究中心信息,以及研究中心的數(shù)目和地理位置,這些特征決定了預(yù)測模型應(yīng)用的目標(biāo)人群[5]。

    例文中寫明利用的是QResearch數(shù)據(jù)庫(www.qresearch.org),這是一個包括英國1500余所初級保健機(jī)構(gòu)中2500萬余人數(shù)據(jù)的大型醫(yī)學(xué)研究數(shù)據(jù)庫。由此可知該研究開發(fā)的QRISK3模型主要適用于初級保健機(jī)構(gòu)中的人群,不能直接在二級醫(yī)療機(jī)構(gòu)或急診等場景中推廣應(yīng)用。例文雖未直接寫明研究設(shè)定的詳實(shí)內(nèi)容,但能從提供的信息中推斷出研究設(shè)定的關(guān)鍵信息也是可行的。

    條目5b:描述研究對象的納入標(biāo)準(zhǔn)。[D;V]

    研究對象的描述除了報(bào)告其來源外,還需詳實(shí)描述研究對象的納入和排除標(biāo)準(zhǔn)。納入標(biāo)準(zhǔn)是否合理會影響研究對象的納入過程及模型的預(yù)測準(zhǔn)確度,對模型的驗(yàn)證及應(yīng)用也會造成困難。TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn)指出,研究對象的納入標(biāo)準(zhǔn)不應(yīng)只在流程圖中簡略說明,而需作為單獨(dú)的內(nèi)容呈現(xiàn)[5]。

    例文在研究方法中寫明研究對象為25~84歲的人群,同時描述了將已存在心血管疾病或服用他汀類藥物作為排除標(biāo)準(zhǔn)。例文關(guān)于該條目的描述是全面的,若研究中因數(shù)據(jù)缺失而排除一些符合條件的參與者時,需在文章中明確報(bào)告[7]。

    條目5c:如相關(guān),詳述研究對象接收干預(yù)治療的具體細(xì)節(jié)。[D;V]

    對于預(yù)后模型,還應(yīng)詳細(xì)描述基線或隨訪期間所接受的治療干預(yù)措施,因?yàn)檫@些干預(yù)措施可能會改變結(jié)局的發(fā)生,從而影響預(yù)測模型的準(zhǔn)確性[7]。

    例文中納入的是初級保健人群,這類人群以疾病預(yù)防為主,可認(rèn)為干預(yù)治療與本研究相關(guān)性不大,故未描述研究對象接受干預(yù)治療的具體內(nèi)容。但若為二級醫(yī)療機(jī)構(gòu)就診的患者或源于隨機(jī)對照試驗(yàn)的數(shù)據(jù),則應(yīng)詳實(shí)描述其在研究期間所接受的干預(yù)措施。

    2.3.3 結(jié)局指標(biāo)條目6a:清晰定義預(yù)測模型所要預(yù)測的結(jié)局指標(biāo),包括如何以及何時進(jìn)行評估。[D;V]

    結(jié)局指標(biāo)報(bào)告重點(diǎn)在于三方面:①結(jié)局應(yīng)明確定義,且需聲明和引用該定義的權(quán)威出處;②結(jié)局的組成部分及其測量方法需清晰描述;③各指標(biāo)測量時間及頻率應(yīng)有注明[5]。

    在例文“結(jié)局”部分表明結(jié)局是發(fā)生心血管疾病,指出是“利用Read代碼在就診記錄中確定心血管疾病病例”,病例診斷中出現(xiàn)有關(guān)心血管疾病的國際疾病分類編碼則認(rèn)定發(fā)生結(jié)局事件,死亡信息來源于Qresearch數(shù)據(jù)庫鏈接的國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)。對于結(jié)局指標(biāo)的評估時點(diǎn),例文中寫道“使用三個數(shù)據(jù)來源中任何一個的最早的心血管疾病記錄日期作為結(jié)局日期。”QRISK3的開發(fā)是對QResearch數(shù)據(jù)的二次分析,數(shù)據(jù)來源是日常診療數(shù)據(jù),沒有針對特定結(jié)局對患者進(jìn)行有計(jì)劃的隨訪。如果模型開發(fā)數(shù)據(jù)來自隊(duì)列研究,最好能詳細(xì)列出隨訪的時間和頻率,使讀者了解該結(jié)局指標(biāo)是否在臨床實(shí)踐領(lǐng)域是準(zhǔn)確且可重現(xiàn)的[11]。

    條目6b:報(bào)告對預(yù)測結(jié)局指標(biāo)盲法評價(jià)的所有細(xì)節(jié)。[D;V]

    施行盲法的目的是防止結(jié)局判定過程中的偏倚,文章中應(yīng)報(bào)告結(jié)局測評的盲法控制,雖然不是每項(xiàng)研究都適用盲法,但如果實(shí)施了盲法則需說明具體的實(shí)施策略[5]。

    例文中沒有對結(jié)局判定是否使用盲法進(jìn)行描述。對于定義明確且不會受到主觀影響的結(jié)局指標(biāo),例如結(jié)局指標(biāo)為全因死亡,可以不用特意需描述盲法的策略,但如果結(jié)局指標(biāo)判斷容易受到預(yù)測因子或主觀傾向影響,尤其是診斷模型的結(jié)局指標(biāo),則需報(bào)告盲法實(shí)施的策略。

    2.3.4 預(yù)測因素條目7a:清晰定義建立或驗(yàn)證多因素預(yù)測模型所使用的所有預(yù)測因素,包括如何以及何時測量。[D;V]

    研究者需對所有預(yù)測變量進(jìn)行充分定義,根據(jù)變量類型提供度量單位或分類類別,同時清晰描述各變量測量的方法及時間。需注意的是,對于模型開發(fā)研究,所有預(yù)測因素是指所有可能進(jìn)入最終預(yù)測模型中的變量,即所有備選變量,而不僅僅是最終模型中包含的變量;而對于模型驗(yàn)證研究,所有預(yù)測因子則是指被評估模型中所包含的變量[5]。

    例文“預(yù)測變量”中標(biāo)明本次預(yù)測模型中擬納入的變量包括QRISK2中已有的風(fēng)險(xiǎn)因素及文獻(xiàn)中證實(shí)的新的潛在預(yù)測因素,也分別描述了各變量的提取過程及操作性定義,這些信息均可以在“文本框1:QRISK算法中用到變量”中找到。對預(yù)測因素的詳實(shí)表述有助于讀者復(fù)現(xiàn)研究過程,進(jìn)一步應(yīng)用或驗(yàn)證該預(yù)測模型。

    條目7b:報(bào)告對預(yù)測因素指標(biāo)盲法評價(jià)的任何細(xì)節(jié)。[D;V]

    與條目6b相對應(yīng),如果預(yù)測因素的測量涉及研究對象或研究者的主觀判斷或評估,應(yīng)采用盲法進(jìn)行測量或評價(jià),有效避免信息偏倚。預(yù)測因素的盲法報(bào)告需考慮兩方面,一是預(yù)測因素與結(jié)局指標(biāo)之間互盲,否則會人為增加預(yù)測因素與結(jié)局間的關(guān)聯(lián),二是預(yù)測因素之間也應(yīng)避免可能出現(xiàn)主觀判定的情況[5]。

    例文中直接描述了預(yù)測因素的提取過程,由于列出的預(yù)測因素均是客觀測評指標(biāo),且結(jié)局的判定發(fā)生在預(yù)測因素的測量之后,能保證預(yù)測因素的測量是盲于結(jié)局變量的。但例文未描述預(yù)測因素之間在收集過程中是否做到了盲法,如果能補(bǔ)充這部分信息則更完善。

    2.3.5 樣本量條目8:解釋研究樣本量是如何確定的。[D;V]

    在預(yù)測模型的研究中必須說明樣本量是如何確定的,樣本數(shù)量能體現(xiàn)出預(yù)測變量與結(jié)局之間的關(guān)聯(lián)是否穩(wěn)固、預(yù)測模型擬合是否合適、模型是否存在潛在過度擬合[12]。根據(jù)報(bào)告規(guī)范要求,文章中應(yīng)說明樣本量是如何確定的,是基于統(tǒng)計(jì)方法,還是基于現(xiàn)實(shí)考慮(比如使用現(xiàn)有數(shù)據(jù))。

    例文中寫明采用的是現(xiàn)有數(shù)據(jù)庫,模型開發(fā)樣本量為789萬例、驗(yàn)證樣本量為267萬例。這是基于現(xiàn)有數(shù)據(jù)確定的樣本量,在數(shù)據(jù)集較大的情況下是可行的。對于樣本量較小的回顧性研究,或者前瞻性數(shù)據(jù)的研究,則需提供規(guī)范的樣本量計(jì)算的考量。

    2.3.6 缺失數(shù)據(jù)條目9:描述缺失數(shù)據(jù)的處理方法(如僅分析完整數(shù)據(jù)、單一插補(bǔ)和多重插補(bǔ)等),并詳細(xì)說明插補(bǔ)方法。[D;V]

    在研究者盡可能完善數(shù)據(jù)質(zhì)量的前提下,臨床研究仍易出現(xiàn)變量信息缺失。缺失數(shù)據(jù)對于研究結(jié)果的影響不容忽略,然而對缺失數(shù)據(jù)不恰當(dāng)?shù)奶幚矸椒▽敫嗥衃13]。研究者需明確報(bào)告本研究分析的數(shù)據(jù)是否存在缺失,若存在缺失應(yīng)詳細(xì)描述缺失數(shù)據(jù)的處理方法,包括具體插補(bǔ)的變量及插補(bǔ)次數(shù)[5]。

    在例文“方法”部分“模型開發(fā)和驗(yàn)證”中,寫明本研究預(yù)測因素存在缺失,通過多重插補(bǔ)來進(jìn)行處理;插補(bǔ)次數(shù)為5次,插補(bǔ)模型中包括所有預(yù)測因素以及結(jié)局變量;在插補(bǔ)完成后,對插補(bǔ)數(shù)據(jù)的分析結(jié)果,根據(jù)Rubin規(guī)則進(jìn)行合并。數(shù)據(jù)缺失在研究中難以避免,清晰透明地描述缺失數(shù)據(jù)的處理方法至關(guān)重要,方法的選擇會影響研究結(jié)果及研究的可重復(fù)性。

    2.3.7 統(tǒng)計(jì)分析方法條目10a:描述預(yù)測因素在分析中是如何處理的。[D]

    研究者需明確描述每個預(yù)測因素的處理方法,包括將連續(xù)變量轉(zhuǎn)換為分類變量時的切點(diǎn)值界定方法,原始數(shù)據(jù)的轉(zhuǎn)換方法,以及預(yù)測因素與結(jié)局之間的線性或非線性關(guān)系[5]。若模型為非線性回歸模型,應(yīng)報(bào)告采用的方法,如多項(xiàng)式回歸或限制性立方樣條;若為線性回歸模型,建議報(bào)告預(yù)測因素與結(jié)局指標(biāo)呈線性關(guān)系的假設(shè)[7]。

    在例文數(shù)據(jù)處理部分,寫明本研究采用多項(xiàng)式回歸處理連續(xù)變量與結(jié)局的非線性關(guān)系。由于在該研究中一部分預(yù)測因素是已建成的QRISK2模型中的已有的因素,故未對這些因素的處理方法進(jìn)行詳細(xì)描述,對于擬增加的新變量也缺乏描述,若能補(bǔ)充這些信息,則報(bào)告更為完整。

    條目10b:詳細(xì)說明模型類型,建模過程(包括預(yù)測因素的選擇)和內(nèi)部驗(yàn)證方法。[D]

    研究者需明確報(bào)告預(yù)測模型開發(fā)時所用的所有統(tǒng)計(jì)方法,應(yīng)至少包括:①統(tǒng)計(jì)模型類型,如logistic模型、Cox模型等;②備選預(yù)測因素的選定:指在建模前所有潛在預(yù)測變量是通過什么方式選定的;③進(jìn)入模型預(yù)測因素的篩選方法:指在建模中進(jìn)入最終回歸模型中的預(yù)測因素的篩選過程,如單因素分析、逐步回歸等;④交互項(xiàng)的處理;⑤比例風(fēng)險(xiǎn)假設(shè)(對于Cox模型);⑥內(nèi)部驗(yàn)證方法,如重抽樣、交叉驗(yàn)證等。

    在例文統(tǒng)計(jì)部分,作者介紹了QRISK 3模型是基于Cox模型建立的,備選預(yù)測因素來源于QRISK2模型中的變量及文獻(xiàn)中論證的新的預(yù)測變量,預(yù)測因素效應(yīng)量和顯著性被用來作為模型中預(yù)測因素篩選的標(biāo)準(zhǔn),考慮了年齡的交互項(xiàng),利用隨機(jī)拆分進(jìn)行的內(nèi)部驗(yàn)證。例文統(tǒng)計(jì)學(xué)方法方面報(bào)告較為完整,但未對Cox模型的比例風(fēng)險(xiǎn)假設(shè)進(jìn)行檢驗(yàn)。目前大多數(shù)模型在該條目上報(bào)告不足,研究者需注重統(tǒng)計(jì)學(xué)方法報(bào)告的完整,逐一描述各要點(diǎn)[14]。

    條目10c:描述模型驗(yàn)證中預(yù)測值的計(jì)算方法。[V]

    預(yù)測模型驗(yàn)證的論文中應(yīng)準(zhǔn)確描述個體結(jié)局發(fā)生概率預(yù)測值的計(jì)算方式,包括但不限于直接使用預(yù)測模型公式或簡化評分規(guī)則或列線圖等[5]。

    例文同時包括模型開發(fā)與驗(yàn)證,在模型開發(fā)中擬形成納入不同類型預(yù)測因素的三種模型,并介紹了會采用每個變量的回歸系數(shù)作為權(quán)重形成風(fēng)險(xiǎn)預(yù)測方程,在模型驗(yàn)證階段會采用同樣的方法計(jì)算預(yù)測值,故在模型驗(yàn)證階段中未重復(fù)描述。若在一項(xiàng)模型開發(fā)研究中提出了多個模型或同一模型的多個表示形式,那進(jìn)行模型驗(yàn)證的研究者應(yīng)清晰描述本次評估驗(yàn)證的模型全部信息。

    條目10d:詳述評估模型預(yù)測效果(或比較不同預(yù)測模型)的所有方法。[D;V]

    模型預(yù)測的性能評價(jià)主要包括區(qū)分度和校準(zhǔn)度,所有預(yù)測模型均應(yīng)報(bào)告這兩者,也可增加、靈敏度、特異度、決策曲線等多維度反映模型性能,若要評價(jià)引入新預(yù)測因子后的預(yù)測效能增加值,也可使用綜合判別改進(jìn)指數(shù)(IDI)及凈重分類改進(jìn)指數(shù)(NRI)等指標(biāo)[5]。

    在例文中介紹了QRISK3模型開發(fā)與驗(yàn)證過程中均采用D統(tǒng)計(jì)量、C統(tǒng)計(jì)量評價(jià)模型的區(qū)分度,比較模型預(yù)測概率與實(shí)際發(fā)生率的差異評價(jià)模型的校準(zhǔn)度,同時計(jì)算了凈重分類改進(jìn)指數(shù)。區(qū)分度差、校準(zhǔn)不良的模型會降低模型的臨床實(shí)用性,甚至在某些情境下影響有效臨床決策[15],因此必須報(bào)告模型的性能指標(biāo)作為模型使用者的參考。

    條目10e:如果有,描述驗(yàn)證模型后進(jìn)行的任何模型的更新(如再校準(zhǔn)等)。[V]

    當(dāng)在其他個體中驗(yàn)證或應(yīng)用現(xiàn)有預(yù)測模型時,預(yù)測性能通常會變差,此時可考慮進(jìn)行模型更新。在模型驗(yàn)證的論文中,若存在模型更新應(yīng)詳細(xì)描述更新的方法,如重新校準(zhǔn)截距或回歸系數(shù)、添加新的預(yù)測因子等。

    例文是模型開發(fā)類研究,不是對QRISK2模型的驗(yàn)證和更新,故未提及該項(xiàng)內(nèi)容。

    2.3.8 風(fēng)險(xiǎn)分層條目11:如果進(jìn)行了風(fēng)險(xiǎn)分層,提供如何建立風(fēng)險(xiǎn)分層的細(xì)節(jié)。[D;V]

    預(yù)測模型一般獲得的是絕對風(fēng)險(xiǎn)值,即結(jié)局事件發(fā)生的概率,并不能直接指導(dǎo)臨床決策,根據(jù)發(fā)生概率將研究對象劃分為不同風(fēng)險(xiǎn)等級有助于臨床實(shí)踐[16]。風(fēng)險(xiǎn)分層的建立方法及劃分的層數(shù)要求雖尚無明確共識,但若研究進(jìn)行了風(fēng)險(xiǎn)分層,作者應(yīng)詳細(xì)描述風(fēng)險(xiǎn)分層的具體細(xì)節(jié),包括風(fēng)險(xiǎn)閾值的界定、層數(shù)等信息;研究同時包括開發(fā)和驗(yàn)證時則應(yīng)分別描述[7]。

    例文中,作者依據(jù)NICE指南設(shè)定十年心血管疾病發(fā)病風(fēng)險(xiǎn)閾值為10%,將人群劃分為2類,十年發(fā)病概率<10%的為低風(fēng)險(xiǎn)組,≥10%為高風(fēng)險(xiǎn)組,該分層方式被同時用于QRISK 3模型的開發(fā)與驗(yàn)證中。這些信息的報(bào)告能幫助讀者全面了解模型的臨床實(shí)用性。

    2.3.9 建立與驗(yàn)證的比較條目12:識別建模數(shù)據(jù)集與驗(yàn)?zāi)?shù)據(jù)集在研究設(shè)定、納入標(biāo)準(zhǔn)、結(jié)局指標(biāo)和預(yù)測因素上的任何差異。[V]

    模型驗(yàn)證是評價(jià)模型可推廣性及可移植性的重要過程[13]。無論是內(nèi)部驗(yàn)證還是外部驗(yàn)證,作者必須清楚地報(bào)告驗(yàn)證數(shù)據(jù)集的研究設(shè)定、研究對象的納入標(biāo)準(zhǔn)、結(jié)局指標(biāo)與預(yù)測因素的定義、測評方法及編碼方法,且這些內(nèi)容是否與建模數(shù)據(jù)庫存在差異,應(yīng)明確強(qiáng)調(diào)任何差異以及差異的處理方法[5]。

    在例文中,作者將所有研究樣本隨機(jī)分為建模與驗(yàn)?zāi)?shù)據(jù)集,由于兩者數(shù)據(jù)集來源于同一整體,其研究設(shè)定、納入標(biāo)準(zhǔn)、結(jié)局指標(biāo)和預(yù)測因素的內(nèi)容是一致的,這樣的描述能讓讀者了解兩組數(shù)據(jù)集的相似性。但對于不同空間、時間外部驗(yàn)證的數(shù)據(jù)集,作者需描述建模與驗(yàn)?zāi)?shù)據(jù)集的差異,為模型結(jié)果的解讀及適用范圍提供信息。

    (以上內(nèi)容為本文上篇,TRIPOD其余條目例解將在本文下篇中繼續(xù)介紹。)

    猜你喜歡
    報(bào)告模型研究
    一半模型
    FMS與YBT相關(guān)性的實(shí)證研究
    遼代千人邑研究述論
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    視錯覺在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    EMA伺服控制系統(tǒng)研究
    一圖看懂十九大報(bào)告
    報(bào)告
    3D打印中的模型分割與打包
    好男人在线观看高清免费视频| av女优亚洲男人天堂| 日韩精品青青久久久久久| 免费一级毛片在线播放高清视频| 成人二区视频| 高清毛片免费观看视频网站| 亚洲国产欧洲综合997久久,| 一进一出抽搐gif免费好疼| 欧美日本视频| 老师上课跳d突然被开到最大视频| 亚洲欧美清纯卡通| 久久久精品94久久精品| 久久亚洲精品不卡| 蜜臀久久99精品久久宅男| 一个人看的www免费观看视频| 又黄又爽又刺激的免费视频.| 一进一出抽搐动态| 午夜免费激情av| 男人的好看免费观看在线视频| 男女之事视频高清在线观看| 变态另类丝袜制服| 99久久精品一区二区三区| 精品久久久久久久人妻蜜臀av| 成年免费大片在线观看| 精品日产1卡2卡| 国产 一区 欧美 日韩| 国产在线男女| 久久久精品大字幕| 麻豆成人午夜福利视频| 成人亚洲精品av一区二区| 91精品国产九色| 一本精品99久久精品77| 真实男女啪啪啪动态图| 桃色一区二区三区在线观看| 久久久久性生活片| 最近的中文字幕免费完整| 偷拍熟女少妇极品色| 亚洲图色成人| 少妇熟女欧美另类| 老司机影院成人| 综合色丁香网| 久久精品国产清高在天天线| 国产熟女欧美一区二区| h日本视频在线播放| 欧美日韩国产亚洲二区| 久久久a久久爽久久v久久| 亚洲成a人片在线一区二区| 搡老妇女老女人老熟妇| eeuss影院久久| 97碰自拍视频| 亚洲中文字幕日韩| 精品福利观看| 成人永久免费在线观看视频| 免费人成在线观看视频色| 一卡2卡三卡四卡精品乱码亚洲| 亚洲欧美日韩高清专用| 亚洲av熟女| 日本撒尿小便嘘嘘汇集6| 久久久欧美国产精品| 亚洲人成网站在线播| 国产亚洲av嫩草精品影院| 成人午夜高清在线视频| 欧美bdsm另类| 国产极品精品免费视频能看的| 99精品在免费线老司机午夜| 午夜免费男女啪啪视频观看 | 亚洲国产精品久久男人天堂| 在现免费观看毛片| 成人漫画全彩无遮挡| 男女做爰动态图高潮gif福利片| 中文字幕av成人在线电影| 欧美高清成人免费视频www| 一级av片app| 免费观看的影片在线观看| 亚洲最大成人av| 99久久精品热视频| 美女大奶头视频| 国产女主播在线喷水免费视频网站 | 亚洲成人精品中文字幕电影| 伊人久久精品亚洲午夜| 亚洲天堂国产精品一区在线| 国产黄色视频一区二区在线观看 | 波野结衣二区三区在线| 在线国产一区二区在线| 成人综合一区亚洲| 国产探花在线观看一区二区| 免费观看精品视频网站| 日韩欧美国产在线观看| 99热这里只有是精品在线观看| 欧美在线一区亚洲| 欧美一区二区亚洲| 有码 亚洲区| 变态另类丝袜制服| 国产亚洲91精品色在线| 日本五十路高清| 两性午夜刺激爽爽歪歪视频在线观看| 联通29元200g的流量卡| 国产探花在线观看一区二区| 亚洲欧美精品综合久久99| 桃色一区二区三区在线观看| 色视频www国产| 国产麻豆成人av免费视频| 夜夜爽天天搞| 免费人成视频x8x8入口观看| 一级毛片电影观看 | 精品久久久久久久久av| 黄片wwwwww| 国产成人精品久久久久久| 久久久久国产网址| 少妇熟女aⅴ在线视频| 搞女人的毛片| 青春草视频在线免费观看| 亚洲久久久久久中文字幕| 成人鲁丝片一二三区免费| 久久久国产成人免费| 亚洲精品影视一区二区三区av| 免费大片18禁| 淫秽高清视频在线观看| 国产精品三级大全| 在线免费观看的www视频| 人人妻人人澡欧美一区二区| 免费av不卡在线播放| 成人精品一区二区免费| 久久久久精品国产欧美久久久| 国产视频内射| 亚洲av免费高清在线观看| 天美传媒精品一区二区| 国国产精品蜜臀av免费| 久久久久久伊人网av| 精华霜和精华液先用哪个| 日韩一本色道免费dvd| 欧美最新免费一区二区三区| 亚洲无线观看免费| 国内精品久久久久精免费| 蜜桃久久精品国产亚洲av| 最新在线观看一区二区三区| 在现免费观看毛片| 亚洲av免费高清在线观看| 男女视频在线观看网站免费| 69av精品久久久久久| 岛国在线免费视频观看| 日韩av在线大香蕉| 欧美性感艳星| 色吧在线观看| 日本与韩国留学比较| 五月伊人婷婷丁香| 草草在线视频免费看| 色吧在线观看| 亚洲美女视频黄频| 国产伦精品一区二区三区视频9| 国产精品一及| 黄片wwwwww| 国产乱人视频| 国产精品无大码| 国产真实伦视频高清在线观看| 成人特级黄色片久久久久久久| 一级毛片aaaaaa免费看小| 免费看美女性在线毛片视频| 黄色视频,在线免费观看| 69av精品久久久久久| 精品人妻视频免费看| 久久国产乱子免费精品| 18禁黄网站禁片免费观看直播| 男人舔奶头视频| 日韩欧美 国产精品| 日韩人妻高清精品专区| 婷婷色综合大香蕉| 丰满的人妻完整版| 草草在线视频免费看| 国产精品免费一区二区三区在线| 国产精品无大码| 在线观看一区二区三区| 男女做爰动态图高潮gif福利片| 久久久久久伊人网av| 91麻豆精品激情在线观看国产| 国内揄拍国产精品人妻在线| 国内揄拍国产精品人妻在线| 日韩精品有码人妻一区| 欧美bdsm另类| 国产伦精品一区二区三区视频9| 久久久成人免费电影| 精品一区二区免费观看| 日韩精品有码人妻一区| 看非洲黑人一级黄片| 亚洲精品色激情综合| 一进一出好大好爽视频| 久久精品久久久久久噜噜老黄 | 欧美性感艳星| 91久久精品国产一区二区三区| 精品久久国产蜜桃| 麻豆国产97在线/欧美| 亚洲18禁久久av| 久久久久久久久久黄片| 一进一出好大好爽视频| 热99在线观看视频| 18禁黄网站禁片免费观看直播| 国产午夜精品久久久久久一区二区三区 | 91狼人影院| 日日摸夜夜添夜夜添av毛片| 伦精品一区二区三区| 国产成人一区二区在线| 国产熟女欧美一区二区| 久久久久久九九精品二区国产| 色在线成人网| 波多野结衣高清作品| 热99在线观看视频| 国产精品免费一区二区三区在线| 丰满人妻一区二区三区视频av| 久久精品综合一区二区三区| 91久久精品国产一区二区成人| 人妻少妇偷人精品九色| 欧美3d第一页| 国产 一区 欧美 日韩| 搞女人的毛片| 国产精品一区二区性色av| 村上凉子中文字幕在线| 少妇人妻一区二区三区视频| 亚洲真实伦在线观看| 日本成人三级电影网站| 欧美日韩一区二区视频在线观看视频在线 | 精品久久久噜噜| 啦啦啦韩国在线观看视频| 午夜日韩欧美国产| 国产精品1区2区在线观看.| 悠悠久久av| 国内揄拍国产精品人妻在线| 色综合站精品国产| 中文字幕精品亚洲无线码一区| 国产av麻豆久久久久久久| 久久久久国产网址| 亚洲中文字幕一区二区三区有码在线看| 一级a爱片免费观看的视频| 亚州av有码| 午夜亚洲福利在线播放| 禁无遮挡网站| 中文字幕精品亚洲无线码一区| 乱系列少妇在线播放| 欧美丝袜亚洲另类| 老司机午夜福利在线观看视频| 久久精品国产亚洲av天美| 人妻丰满熟妇av一区二区三区| 久久久久免费精品人妻一区二区| 国产毛片a区久久久久| 免费在线观看影片大全网站| 中文字幕av成人在线电影| 美女大奶头视频| 亚洲熟妇熟女久久| 色播亚洲综合网| 精品欧美国产一区二区三| 久99久视频精品免费| 国产中年淑女户外野战色| 91精品国产九色| 亚洲天堂国产精品一区在线| 亚洲成av人片在线播放无| 免费一级毛片在线播放高清视频| 一个人看视频在线观看www免费| 全区人妻精品视频| av天堂在线播放| 村上凉子中文字幕在线| 少妇人妻一区二区三区视频| 男女做爰动态图高潮gif福利片| 亚洲精品粉嫩美女一区| 一级毛片我不卡| 国产v大片淫在线免费观看| 亚洲丝袜综合中文字幕| 不卡视频在线观看欧美| 亚洲电影在线观看av| 一级a爱片免费观看的视频| 久久久久久久午夜电影| 亚洲国产精品成人综合色| 给我免费播放毛片高清在线观看| 最近在线观看免费完整版| 最近的中文字幕免费完整| 尤物成人国产欧美一区二区三区| 久久久久久久久久成人| 国产精品综合久久久久久久免费| 香蕉av资源在线| 国产精品,欧美在线| 国产黄a三级三级三级人| 亚洲欧美成人综合另类久久久 | 国产精品嫩草影院av在线观看| 国产91av在线免费观看| 伦精品一区二区三区| 男人舔奶头视频| АⅤ资源中文在线天堂| 嫩草影院新地址| 国产人妻一区二区三区在| 亚洲国产精品久久男人天堂| 在线播放无遮挡| 寂寞人妻少妇视频99o| 久久亚洲精品不卡| 两个人视频免费观看高清| 简卡轻食公司| 亚洲av成人精品一区久久| 看十八女毛片水多多多| 此物有八面人人有两片| 日本 av在线| av在线天堂中文字幕| 精品一区二区三区视频在线| 真实男女啪啪啪动态图| 久久久久国产精品人妻aⅴ院| 国产午夜福利久久久久久| 美女大奶头视频| 亚洲国产欧美人成| 亚洲精品久久国产高清桃花| 又爽又黄无遮挡网站| 美女被艹到高潮喷水动态| 变态另类成人亚洲欧美熟女| 久久人人精品亚洲av| 成年女人永久免费观看视频| 午夜免费激情av| 亚洲不卡免费看| 欧美激情久久久久久爽电影| 成人毛片a级毛片在线播放| 黄片wwwwww| 中文字幕熟女人妻在线| 午夜免费激情av| 国产精品久久久久久久久免| 国产精品电影一区二区三区| 精品福利观看| 人人妻人人澡欧美一区二区| 99久久中文字幕三级久久日本| 校园人妻丝袜中文字幕| av女优亚洲男人天堂| 日本三级黄在线观看| 亚洲国产日韩欧美精品在线观看| 寂寞人妻少妇视频99o| 国产精品av视频在线免费观看| 天堂动漫精品| 亚洲婷婷狠狠爱综合网| 校园春色视频在线观看| 老熟妇乱子伦视频在线观看| 国产一区二区在线观看日韩| 俄罗斯特黄特色一大片| 99热全是精品| 久久鲁丝午夜福利片| 91av网一区二区| 美女xxoo啪啪120秒动态图| 久久久国产成人免费| 国产高清三级在线| 一个人看的www免费观看视频| 日韩制服骚丝袜av| 免费看光身美女| 精品久久久久久久久亚洲| 亚洲av第一区精品v没综合| 成人鲁丝片一二三区免费| 久久久久久久久久成人| 久久精品夜夜夜夜夜久久蜜豆| 欧美成人a在线观看| av黄色大香蕉| 99视频精品全部免费 在线| 日韩欧美一区二区三区在线观看| 日日摸夜夜添夜夜爱| 人妻久久中文字幕网| 国产成人freesex在线 | 欧美xxxx黑人xx丫x性爽| 日本在线视频免费播放| 国产午夜福利久久久久久| 国产av不卡久久| 精品欧美国产一区二区三| 亚洲av成人精品一区久久| 欧美三级亚洲精品| 亚洲av免费在线观看| 午夜福利视频1000在线观看| 免费人成在线观看视频色| 天天躁夜夜躁狠狠久久av| 91久久精品国产一区二区三区| 免费看av在线观看网站| 黄色配什么色好看| 九九久久精品国产亚洲av麻豆| 插阴视频在线观看视频| av黄色大香蕉| 成年女人看的毛片在线观看| 女生性感内裤真人,穿戴方法视频| 亚洲欧美中文字幕日韩二区| 联通29元200g的流量卡| 1000部很黄的大片| 噜噜噜噜噜久久久久久91| 干丝袜人妻中文字幕| 国产精品一区二区三区四区免费观看 | 成人国产麻豆网| 男女视频在线观看网站免费| 桃色一区二区三区在线观看| 久久鲁丝午夜福利片| 色综合亚洲欧美另类图片| 在现免费观看毛片| 18+在线观看网站| 亚洲国产精品sss在线观看| 日日干狠狠操夜夜爽| 精品久久久久久久久久免费视频| 亚洲精品在线观看二区| av卡一久久| 伦精品一区二区三区| 波多野结衣高清作品| 级片在线观看| 美女大奶头视频| 亚洲欧美日韩高清专用| 亚洲av五月六月丁香网| 成年女人永久免费观看视频| 高清毛片免费看| 在线观看av片永久免费下载| 麻豆国产97在线/欧美| 国产中年淑女户外野战色| 欧美日韩国产亚洲二区| 一级a爱片免费观看的视频| 一个人观看的视频www高清免费观看| 国产精品永久免费网站| 国产熟女欧美一区二区| 久久人人爽人人爽人人片va| 秋霞在线观看毛片| 欧美激情久久久久久爽电影| 亚洲欧美成人综合另类久久久 | 日本熟妇午夜| 亚洲美女视频黄频| 日韩欧美精品免费久久| 日韩欧美国产在线观看| 精品熟女少妇av免费看| 久久人人爽人人爽人人片va| 亚洲成人久久爱视频| 亚洲成av人片在线播放无| 国产午夜精品久久久久久一区二区三区 | 亚洲欧美成人综合另类久久久 | 日韩国内少妇激情av| 国产不卡一卡二| 在线观看午夜福利视频| 精品国内亚洲2022精品成人| 国内少妇人妻偷人精品xxx网站| 舔av片在线| 欧洲精品卡2卡3卡4卡5卡区| 成年女人看的毛片在线观看| 听说在线观看完整版免费高清| 日本三级黄在线观看| 精品一区二区三区人妻视频| 国产黄a三级三级三级人| 一级黄片播放器| 少妇高潮的动态图| 亚洲av美国av| 麻豆精品久久久久久蜜桃| 亚洲专区国产一区二区| 成人特级av手机在线观看| 欧美高清性xxxxhd video| 国内精品美女久久久久久| 最近视频中文字幕2019在线8| 亚洲人成网站在线播| 我的老师免费观看完整版| 观看美女的网站| 国产成人a区在线观看| 色在线成人网| 国产精品久久视频播放| 亚洲精华国产精华液的使用体验 | 国产精品伦人一区二区| 欧美日韩综合久久久久久| 中文字幕熟女人妻在线| 欧美高清性xxxxhd video| 色哟哟哟哟哟哟| 亚洲av第一区精品v没综合| 黄色欧美视频在线观看| 亚洲国产精品sss在线观看| 插阴视频在线观看视频| 日韩在线高清观看一区二区三区| 免费av毛片视频| a级毛色黄片| 国产精品1区2区在线观看.| 免费看日本二区| 看十八女毛片水多多多| 变态另类丝袜制服| 九九爱精品视频在线观看| 中文字幕av成人在线电影| 18禁在线无遮挡免费观看视频 | 国产精品人妻久久久影院| 国产中年淑女户外野战色| 国产午夜福利久久久久久| 超碰av人人做人人爽久久| 最近最新中文字幕大全电影3| 亚洲精品亚洲一区二区| 18禁裸乳无遮挡免费网站照片| 国产精品人妻久久久久久| 最新中文字幕久久久久| 三级毛片av免费| 日本-黄色视频高清免费观看| 国产黄色小视频在线观看| 中文字幕人妻熟人妻熟丝袜美| 99国产极品粉嫩在线观看| 在线观看午夜福利视频| 免费av观看视频| 99热网站在线观看| 夜夜夜夜夜久久久久| 高清午夜精品一区二区三区 | 久久99热这里只有精品18| 最近的中文字幕免费完整| 亚洲精品一卡2卡三卡4卡5卡| 嫩草影院精品99| 亚洲av成人精品一区久久| 美女大奶头视频| 久99久视频精品免费| 亚洲电影在线观看av| 男女之事视频高清在线观看| 亚洲av成人精品一区久久| 日本五十路高清| 俺也久久电影网| 国产精品99久久久久久久久| 99久久九九国产精品国产免费| 99热这里只有是精品50| 久久久久国内视频| 国产精品一区二区免费欧美| 国产av在哪里看| av女优亚洲男人天堂| 白带黄色成豆腐渣| 免费大片18禁| 国产精品电影一区二区三区| 91麻豆精品激情在线观看国产| 免费看日本二区| 此物有八面人人有两片| 久久午夜亚洲精品久久| 三级男女做爰猛烈吃奶摸视频| 18禁在线播放成人免费| 十八禁国产超污无遮挡网站| 91av网一区二区| 成人无遮挡网站| 国内精品一区二区在线观看| 欧美性猛交╳xxx乱大交人| 中文字幕久久专区| 久久婷婷人人爽人人干人人爱| 在线看三级毛片| 两个人的视频大全免费| 亚洲精品国产av成人精品 | 人妻夜夜爽99麻豆av| 国产成人a∨麻豆精品| 国产伦在线观看视频一区| 麻豆国产97在线/欧美| 亚洲av成人精品一区久久| 久久久成人免费电影| 人妻久久中文字幕网| 欧美日本亚洲视频在线播放| 国内精品宾馆在线| 国产老妇女一区| 成人午夜高清在线视频| 国产精品不卡视频一区二区| 国产一区亚洲一区在线观看| 91精品国产九色| 国产男靠女视频免费网站| 国产人妻一区二区三区在| 熟女电影av网| 午夜老司机福利剧场| 亚洲经典国产精华液单| 午夜亚洲福利在线播放| 国产精品电影一区二区三区| 国产蜜桃级精品一区二区三区| 99久国产av精品| av天堂在线播放| 狂野欧美白嫩少妇大欣赏| 两个人的视频大全免费| 国产精华一区二区三区| 三级男女做爰猛烈吃奶摸视频| 岛国在线免费视频观看| 国产亚洲精品av在线| 久久精品综合一区二区三区| 大又大粗又爽又黄少妇毛片口| 久久久成人免费电影| 午夜福利成人在线免费观看| 国产男靠女视频免费网站| 亚洲婷婷狠狠爱综合网| 搞女人的毛片| 观看美女的网站| 99久久精品一区二区三区| 丰满人妻一区二区三区视频av| 晚上一个人看的免费电影| 日日啪夜夜撸| 亚洲成人久久爱视频| 不卡一级毛片| 最后的刺客免费高清国语| 一个人看视频在线观看www免费| 久久久久久大精品| 黄色欧美视频在线观看| 91麻豆精品激情在线观看国产| 亚洲精品456在线播放app| 99国产极品粉嫩在线观看| 亚洲国产色片| 欧美日韩一区二区视频在线观看视频在线 | 亚洲av二区三区四区| 成人无遮挡网站| 寂寞人妻少妇视频99o| 国产片特级美女逼逼视频| 国产女主播在线喷水免费视频网站 | 成人永久免费在线观看视频| 久久精品综合一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 热99在线观看视频| 51国产日韩欧美| 日韩av不卡免费在线播放| 日韩 亚洲 欧美在线| 欧美区成人在线视频| 最后的刺客免费高清国语| 在线观看免费视频日本深夜| 日日干狠狠操夜夜爽| 亚洲av五月六月丁香网| 69av精品久久久久久| 久久鲁丝午夜福利片| 免费观看人在逋| 熟妇人妻久久中文字幕3abv| 99九九线精品视频在线观看视频| 免费av观看视频| 最近视频中文字幕2019在线8| 久久久欧美国产精品| 深爱激情五月婷婷| 欧美绝顶高潮抽搐喷水| 亚洲aⅴ乱码一区二区在线播放| 国产黄片美女视频| 国模一区二区三区四区视频| 在线观看66精品国产| 久久天躁狠狠躁夜夜2o2o| 在线观看免费视频日本深夜| 国产精华一区二区三区| 精品一区二区三区视频在线观看免费| 国产精华一区二区三区|