• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    網(wǎng)絡(luò)Meta分析研究進(jìn)展系列(九):預(yù)測(cè)模型的網(wǎng)絡(luò)Meta分析

    2021-04-07 01:16:08武珊珊楊智榮董圣杰張?zhí)灬?/span>田金徽孫鳳
    關(guān)鍵詞:隊(duì)列準(zhǔn)確度方差

    武珊珊,楊智榮,董圣杰,張?zhí)灬?,田金徽,孫鳳

    臨床預(yù)測(cè)模型或預(yù)后評(píng)分近年來應(yīng)用越來越廣泛,它們通過對(duì)個(gè)體某些特征指標(biāo)如實(shí)驗(yàn)室檢驗(yàn)或癥狀、體征等的利用來估計(jì)現(xiàn)在或未來發(fā)生某特定事件的風(fēng)險(xiǎn),為醫(yī)療決策提供一定的科學(xué)依據(jù)[1,2]。目前,在很多疾病領(lǐng)域針對(duì)同一個(gè)研究結(jié)局都已發(fā)表了為數(shù)不少的預(yù)測(cè)模型或預(yù)后評(píng)分,但大多數(shù)預(yù)測(cè)模型長期處于“多數(shù)被建立,少數(shù)被驗(yàn)證,極少被應(yīng)用”的情況[2,3]。以心血管疾病發(fā)生的預(yù)測(cè)模型為例,截止2013年6月已有363個(gè)預(yù)測(cè)模型被建立,其中僅36%的預(yù)測(cè)模型進(jìn)行了外部驗(yàn)證;而在進(jìn)行了外部驗(yàn)證的預(yù)測(cè)模型中,僅65%和58%的研究分別報(bào)告了模型的區(qū)分度和校準(zhǔn)度,大多數(shù)模型都未被臨床廣泛應(yīng)用[4]。一方面是因?yàn)榇蠖鄶?shù)預(yù)測(cè)模型缺乏足夠的外部驗(yàn)證,且外部驗(yàn)證研究大多存在研究設(shè)計(jì)的缺陷或報(bào)告不規(guī)范,導(dǎo)致模型的外推性不高;另一方面是因?yàn)獒槍?duì)同一個(gè)研究結(jié)局的模型太多且缺乏對(duì)不同模型之間預(yù)測(cè)準(zhǔn)確度的比較研究,無法識(shí)別各個(gè)模型的預(yù)測(cè)準(zhǔn)確度孰優(yōu)孰劣,從而導(dǎo)致臨床的選擇困難[5]。

    為解決這一問題,Haile等學(xué)者[6]對(duì)經(jīng)典的網(wǎng)絡(luò)Meta分析(network meta-analysis,NMA)進(jìn)行擴(kuò)展,提出了針對(duì)預(yù)測(cè)模型的N M A,即(Multiple score comparison network metaanalysis,MSC),該方法根據(jù)每一個(gè)原始隊(duì)列研究中驗(yàn)證比較的模型分為不同的組別,各組間選擇同一個(gè)模型作為共同參照,采用Lu等[7]提出的兩階段Meta回歸方法,先計(jì)算每個(gè)組內(nèi)直接比較Meta分析的結(jié)果,再將第一階段計(jì)算出的各組直接比較結(jié)果采用Meta回歸的方法進(jìn)行合并,從而得到針對(duì)同一結(jié)局的所有模型之間預(yù)測(cè)準(zhǔn)確度的比較結(jié)果。本文將介紹MSC方法的具體理論基礎(chǔ),并通過案例對(duì)該方法的結(jié)果進(jìn)行詳細(xì)解讀。

    1 理論基礎(chǔ)

    1.1 預(yù)測(cè)模型研究的效應(yīng)指標(biāo)簡介預(yù)測(cè)模型準(zhǔn)確度包含區(qū)分度和校準(zhǔn)度兩個(gè)方面。一個(gè)好的預(yù)測(cè)模型,不僅要有很好的區(qū)分度,同時(shí)還應(yīng)具備良好的校準(zhǔn)度。所謂區(qū)分度,指模型能夠把未來發(fā)病風(fēng)險(xiǎn)高低不同的人群正確的區(qū)分開來,通過設(shè)置一定風(fēng)險(xiǎn)界值,高于界值則判斷為發(fā)病,低于界值則判斷為不發(fā)病,從而正確區(qū)分個(gè)體是否會(huì)發(fā)生某結(jié)局事件。評(píng)價(jià)預(yù)測(cè)模型區(qū)分能力的指標(biāo),最常用的就是大家非常熟悉的ROC曲線下面積(Area under Receiver Operating Characteristics curve,AUC),也叫C統(tǒng)計(jì)量(C-statistics)。AUC越大,說明預(yù)測(cè)模型的判別區(qū)分能力越好。一般AUC<0.60認(rèn)為區(qū)分度較差,0.60~0.75認(rèn)為模型有一定區(qū)分能力,>0.75認(rèn)為區(qū)分能力較好。校準(zhǔn)度則是定量評(píng)價(jià)一個(gè)疾病風(fēng)險(xiǎn)模型預(yù)測(cè)未來某個(gè)個(gè)體發(fā)生結(jié)局事件概率精確性的重要指標(biāo),反映了模型預(yù)測(cè)風(fēng)險(xiǎn)與實(shí)際發(fā)生風(fēng)險(xiǎn)的一致程度。校準(zhǔn)度好,提示預(yù)測(cè)模型的精確性高;校準(zhǔn)度差,則模型有可能高估或低估疾病的發(fā)生風(fēng)險(xiǎn)。通常用擬合優(yōu)度檢驗(yàn)(Hosmer-Lemeshow good of fit test)、Brier評(píng)分、校準(zhǔn)圖來進(jìn)行判斷[8]。此外,還可從其他方面如基于確定的cut-off值來評(píng)價(jià)各模型的靈敏度、特異度、陰性預(yù)測(cè)值、陽性預(yù)測(cè)值、凈重新分類指數(shù)(net reclassification improvement,NRI)和綜合判別改善指數(shù)(integrated discrimination improvement,IDI)等[9]。因此,在預(yù)測(cè)模型的NMA中,效應(yīng)指標(biāo)通常為區(qū)分度指標(biāo)如AUC,也可為校準(zhǔn)度指標(biāo)或其他指標(biāo)如NRI等指標(biāo)。本研究以不同預(yù)測(cè)模型間的AUC差值即ΔAUC作為效應(yīng)指標(biāo),進(jìn)行后續(xù)基礎(chǔ)理論的介紹和案例解讀。本文以下所提及的預(yù)測(cè)模型準(zhǔn)確度默認(rèn)為AUC。

    1.2 預(yù)測(cè)模型NMA的證據(jù)結(jié)構(gòu)在經(jīng)典干預(yù)性研究NMA中,我們通常按照納入的每個(gè)隨機(jī)對(duì)照試驗(yàn)(randomized controlled trial,RCT)的干預(yù)措施來進(jìn)行分組,進(jìn)而繪制網(wǎng)狀證據(jù)圖,以明確整個(gè)NMA中不同干預(yù)措施之間是否有直接比較,從而判斷某兩種干預(yù)措施之間的療效比較是間接或混合比較的結(jié)果。而預(yù)測(cè)模型的外部驗(yàn)證研究多為基于某個(gè)隊(duì)列人群來驗(yàn)證一個(gè)或多個(gè)已有預(yù)測(cè)模型的準(zhǔn)確度,并沒有傳統(tǒng)意義上的干預(yù)措施。因此,在預(yù)測(cè)模型NMA中,我們將每個(gè)原始隊(duì)列研究(本文中均指預(yù)測(cè)模型的外部驗(yàn)證研究)驗(yàn)證比較的預(yù)測(cè)模型暫定為NMA中的“干預(yù)措施”,將預(yù)測(cè)模型準(zhǔn)確度(如AUC)作為合并的效應(yīng)指標(biāo),只納入驗(yàn)證比較的預(yù)測(cè)模型數(shù)目≥2個(gè)的隊(duì)列研究(即類似于傳統(tǒng)NMA納入的兩臂研究或多臂研究),最終所有隊(duì)列研究中驗(yàn)證比較的預(yù)測(cè)模型的并集即為該NMA中所有的“干預(yù)措施”,進(jìn)而根據(jù)各隊(duì)列研究中驗(yàn)證比較的模型組合分為不同的組別,每個(gè)組別內(nèi)的預(yù)測(cè)模型之間即認(rèn)為存在直接比較,并可在此基礎(chǔ)上進(jìn)一步繪制網(wǎng)狀證據(jù)圖。

    1.3 兩階段Meta回歸模型Haile等學(xué)者[6]對(duì)經(jīng)典的NMA進(jìn)行了擴(kuò)展,在Lu(2011)等[7]的基礎(chǔ)上提出了采用兩階段Meta回歸模型對(duì)預(yù)測(cè)模型NMA進(jìn)行統(tǒng)計(jì)分析。該方法根據(jù)每一個(gè)原始隊(duì)列研究中驗(yàn)證比較的模型分為不同的組別,各組之間選擇同一個(gè)模型作為共同參照,采用“兩階段”策略進(jìn)行分析。具體理論基礎(chǔ)如下:

    設(shè)預(yù)測(cè)模型N M A 證據(jù)網(wǎng)絡(luò)中共納入N(i=1,2,……N)個(gè)隊(duì)列研究,M(j=1,2, 3,……M)種預(yù)測(cè)模型(M通?!?),N個(gè)隊(duì)列研究根據(jù)驗(yàn)證模型組合的不同可分為G(g=1, 2,……G)個(gè)組別。令Mg表示第Gg個(gè)組別中預(yù)測(cè)模型(即“干預(yù)措施”)的數(shù)目,Ng表示第Gg個(gè)組別中納入的隊(duì)列研究的個(gè)數(shù),則以只包含X、Y和Z三種預(yù)測(cè)模型共計(jì)44個(gè)隊(duì)列研究的NMA為例,可整理為如下表1,即該NMA中N=44,M=3,G=3,其中N1=20,N2=16,N3=8,M1=M2=2,M3=3。

    表1 X、Y和Z三種預(yù)測(cè)模型共計(jì)44個(gè)隊(duì)列研究的NMA示例

    ①Ⅰ階段

    選擇預(yù)測(cè)模型X作為共同參照,則可分別計(jì)算出第1組和第2組每個(gè)隊(duì)列i中預(yù)測(cè)模型Y和Z與共同參照預(yù)測(cè)模型X的ΔAUC及其方差,分別記為ΔiXY、Var(ΔiXY)和ΔiXZ、Var(ΔiXY)。而在第3組中,由于涉及X、Y和Z三種預(yù)測(cè)模型,類似于經(jīng)典NMA中多臂研究之間存在一定的相關(guān)性,我們還需估計(jì)與共同參照預(yù)測(cè)模型X之間ΔAUC的協(xié)方差,即:

    在以上研究集合數(shù)據(jù)的層面上,我們可基于傳統(tǒng)Meta分析的倒方差法對(duì)每個(gè)組別內(nèi)的Ng個(gè)隊(duì)列研究的結(jié)果進(jìn)行加權(quán)合并,從而獲得每個(gè)組別內(nèi)各預(yù)測(cè)模型與共同參照模型X之間的預(yù)測(cè)效果差值ΔAUC及其方差,以第3組為例,其加權(quán)合并公式為:

    ②Ⅱ階段

    基于Ⅰ階段計(jì)算出的各組直接比較的效應(yīng)值和方差,采用Meta回歸的方法即加權(quán)最小二乘法進(jìn)行合并,從而得到針對(duì)同一結(jié)局的各預(yù)測(cè)模型與共同參照模型預(yù)測(cè)準(zhǔn)確度的混合比較結(jié)果。具體公式如下,其中y為Ⅰ階段計(jì)算出的各組直接比較的效應(yīng)值,var(y)為Ⅰ階段計(jì)算出的各組直接比較效應(yīng)值的方差,X為根據(jù)不同的預(yù)測(cè)模型比較所設(shè)置的啞變量,不同X啞變量對(duì)應(yīng)的系數(shù)db即為我們所要估計(jì)的各預(yù)測(cè)模型與共同參照模型預(yù)測(cè)準(zhǔn)確度的混合比較結(jié)果。

    1.4 異質(zhì)性、相似性和一致性的評(píng)估異質(zhì)性、相似性和一致性是NMA中非常關(guān)鍵的三個(gè)假設(shè),只有數(shù)據(jù)滿足這三個(gè)假設(shè)的情況下,我們才能進(jìn)行下一步的NMA分析,NMA分析的結(jié)論才是可靠的。在預(yù)測(cè)模型NMA中,三個(gè)關(guān)鍵假設(shè)的含義和檢驗(yàn)方法與經(jīng)典NMA類似。①異質(zhì)性:在I階段直接比較Meta分析的計(jì)算過程中,各組別中各個(gè)隊(duì)列研究之間的異質(zhì)性因子τ2的計(jì)算公式與傳統(tǒng)Meta分析類似,可根據(jù)計(jì)算結(jié)果采用各組別特異的來進(jìn)行后續(xù)分析,也可如經(jīng)典NMA分析一般采用結(jié)構(gòu)化方差模型即采用統(tǒng)一的異質(zhì)性因子進(jìn)行后續(xù)分析[7]。Haile SR等通過慢性阻塞性肺疾?。–OPD)患者死亡預(yù)測(cè)模型的NMA實(shí)例研究[6]顯示,在可獲取多個(gè)隊(duì)列研究的個(gè)體資料數(shù)據(jù)的情況下,使用統(tǒng)一的異質(zhì)性因子進(jìn)行后續(xù)分析更容易得到無偏的結(jié)果。②相似性:Haile SR等建議從臨床角度選取一些可能會(huì)對(duì)預(yù)測(cè)模型準(zhǔn)確度產(chǎn)生影響的關(guān)鍵因素,建議采用Meta回歸的方法評(píng)估這些因素對(duì)模型預(yù)測(cè)準(zhǔn)確度的影響,并對(duì)其中可產(chǎn)生影響的因素進(jìn)行了單因素方差分析,若各因素在各組間分布均衡(P>0.05),即可認(rèn)為符合相似性假設(shè);反之,若單因素方差分析顯示P值<0.05,則可能該NMA不符合相似性假設(shè)。③一致性:可采用Q統(tǒng)計(jì)量(即直接比較和間接比較的殘差平方和)對(duì)整個(gè)NMA的進(jìn)行全局一致性檢驗(yàn),Q統(tǒng)計(jì)量服從自由度為N-K+1的卡方分布,其中N為各組別中比較的數(shù)目之和,K為NMA中預(yù)測(cè)模型的總數(shù),若P>0.05,則可認(rèn)為全局滿足一致性假設(shè)[7];可采用節(jié)點(diǎn)拆分法(Node-splitting method)[10]進(jìn)行局部的一致性檢驗(yàn),以評(píng)估各預(yù)測(cè)模型之間的直接比較與間接比較的結(jié)果是否有顯著性差異。

    2 案例解讀

    以COPD患者的死亡預(yù)測(cè)模型研究為例,基于COPD國際隊(duì)列聯(lián)盟(Cohorts Collaborative International Assessment consortium,3CIA)的個(gè)體資料數(shù)據(jù)[11,12],進(jìn)行NMA分析,以獲得各預(yù)測(cè)模型之間的預(yù)測(cè)準(zhǔn)確度比較結(jié)果。該NMA共納入24個(gè)隊(duì)列研究,包含15 762例COPD患者,共計(jì)隨訪42 203人·年,其中1871例COPD患者發(fā)生了死亡。各隊(duì)列在研究地區(qū)、樣本量、結(jié)局事件數(shù)及研究對(duì)象的重要臨床特征上存在一定的差異:如COPD患者的平均年齡范圍跨度較大,在58~72歲;平均一秒用力呼氣容積(Forced expiratory volume in one second,F(xiàn)EV1)的范圍在30%~70%之間;改良呼吸困難評(píng)估(Modified Medical Research Council)量表mMRC評(píng)分平均值的范圍在1.0~2.8之間;6分鐘步行試驗(yàn)的平均距離在218~487米。各隊(duì)列的隨訪時(shí)間不一,本次NMA分析以最短隨訪時(shí)間即3年的死亡作為研究結(jié)局。24個(gè)隊(duì)列研究涉及GOLD、GOLD(2011)、ADO、BODE、BODEupd、eBODE、BODEx、DOSE、SAFE和BAED共計(jì)10個(gè)預(yù)測(cè)模型[13-18]。根據(jù)驗(yàn)證比較的預(yù)測(cè)模型組合不同可將24個(gè)隊(duì)列研究分為6組,各組分別包含4、5、3、1、7和4個(gè)研究,各組比較的預(yù)測(cè)模型、總樣本量、死亡事件數(shù)等具體情況詳見表2。

    應(yīng)用R軟件ggplot2軟件包繪制網(wǎng)狀證據(jù)圖(圖1),每個(gè)組別中驗(yàn)證比較的各預(yù)測(cè)模型之間用直線連接,不同組別之間的線條用不同的顏色區(qū)分,6個(gè)組別共計(jì)有6條顏色各不相同的連線。例如:粉色線條代表組別1,該線條連接了GOLD和ADO,即表示Copenhagen、HUNT、Japan和SEPOC四個(gè)隊(duì)列研究驗(yàn)證比較了GOLD和ADO兩個(gè)預(yù)測(cè)模型的準(zhǔn)確度;紫色線條代表組別6,該線條連接了GOLD、GOLD(2011)、ADO、BODE、BODEupd、eBODE、BODEx、DOSE和BAED九個(gè)預(yù)測(cè)模型,即表示La Princesa Madrid、Requena Ⅱ、Tenerife和Terrassa Ⅱ四個(gè)隊(duì)列研究均驗(yàn)證比較了前述9個(gè)預(yù)測(cè)模型的準(zhǔn)確度。該網(wǎng)狀證據(jù)圖中不同線條的粗細(xì)與各組別總計(jì)的死亡事件數(shù)成正比,即采用死亡事件數(shù)加權(quán),死亡事件數(shù)越多,則線條越粗。當(dāng)然,該作圖較為靈活,線條的粗細(xì)也可采用各組別總計(jì)的樣本量進(jìn)行加權(quán)。由圖1可見,該NMA涉及10個(gè)預(yù)測(cè)模型之間的共計(jì)45個(gè)比較的結(jié)果,其中包含41個(gè)直接比較,另外SAFE與eBODE、BODEx、DOSE和BAED四個(gè)模型之間尚無直接比較結(jié)果,只有間接比較結(jié)果。

    關(guān)于NMA三個(gè)關(guān)鍵假設(shè)的評(píng)估:①異質(zhì)性:表2展示了各組別中各個(gè)隊(duì)列研究之間的異質(zhì)性因子τ的數(shù)值,由表2可見各組的異質(zhì)性因子大小不一,在本研究的NMA分析中,我們采用了結(jié)構(gòu)化方差模型,即各組之間采用統(tǒng)一的異質(zhì)性因子τ2pooled=0.00015,提示該NMA的異質(zhì)性較小,可認(rèn)為滿足同質(zhì)性假設(shè);②相似性:研究者從臨床角度選取了7個(gè)可能會(huì)對(duì)預(yù)測(cè)模型準(zhǔn)確度產(chǎn)生影響的關(guān)鍵因素,包括平均年齡及方差、樣本量、死亡比例、肺部阻塞的程度FEV1%的預(yù)測(cè)值及其方差和運(yùn)動(dòng)后肺功能,采用Meta回歸的方法評(píng)估了這些因素對(duì)模型預(yù)測(cè)準(zhǔn)確度的影響,并對(duì)其中可產(chǎn)生影響的5個(gè)因素(肺部阻塞的程度FEV1%的預(yù)測(cè)值及其方差、平均年齡、死亡比例和運(yùn)動(dòng)后肺功能)進(jìn)行了單因素方差分析,結(jié)果顯示以上5個(gè)關(guān)鍵因素在各組間分布均衡,即可認(rèn)為符合相似性假設(shè);③一致性:采用與傳統(tǒng)NMA類似的一致性檢驗(yàn)方法,全局檢驗(yàn)結(jié)果顯示Q統(tǒng)計(jì)量=22.1,P=0.14;節(jié)點(diǎn)拆分法(Nodesplitting method)結(jié)果顯示各預(yù)測(cè)模型之間的直接比較與間接比較結(jié)果無顯著性差異,故可認(rèn)為該NMA符合一致性假設(shè)。

    在滿足異質(zhì)性、相似性和一致性三個(gè)關(guān)鍵假設(shè)的基礎(chǔ)上,選取GOLD預(yù)測(cè)模型作為共同參照,利用24個(gè)隊(duì)列研究中每個(gè)預(yù)測(cè)模型與共同參照GOLD模型之間的ΔAUC及其方差和協(xié)方差矩陣作為原始數(shù)據(jù),其中根據(jù)3CIA聯(lián)合隊(duì)列的個(gè)體資料數(shù)據(jù)進(jìn)行協(xié)方差的計(jì)算,采用隨機(jī)效應(yīng)模型的兩階段Meta回歸進(jìn)行統(tǒng)計(jì)分析,具體代碼可參考文獻(xiàn)附件[12],運(yùn)行結(jié)果見表3。

    由表3可見,前6行為I階段每個(gè)組別直接比較的Meta分析結(jié)果,第7行為Ⅱ階段混合比較的結(jié)果。GOLD模型作為共同參照,其預(yù)測(cè)COPD患者3年死亡率的準(zhǔn)確度即AUC的范圍為0.481至0.731,中位數(shù)為0.614(四分位間距:0.587,0.641)。由混合比較的結(jié)果可見,所有模型中ADO模型對(duì)COPD患者3年死亡率的預(yù)測(cè)準(zhǔn)確度最高,其準(zhǔn)確度顯著高于GOLD模型,與GOLD模型的差值ΔAUC為+0.083(95%CI:0.069,0.097);其次為BODEupd、eBODE和BODE模型,與GOLD模型預(yù)測(cè)準(zhǔn)確度的差值ΔAUC分別為+0.072(95%CI:0.051,0.093)、+0.069(95%CI:0.044, 0.093)和+0.064(95%CI:0.045,0.082);SAFE、BODEx、DOSE和GOLD(2011)四個(gè)模型的表現(xiàn)也顯著優(yōu)于GOLD模型,ΔAUC的范圍為+0.014至+0.052;BEAD模型與GOLD模型的預(yù)測(cè)準(zhǔn)確度之間無顯著性差異,ΔAUC為+0.016(95%CI:-0.007,0.038)。在滿足一致性假設(shè)的情況下,根據(jù)表3中Ⅱ階段混合比較結(jié)果中的9個(gè)基本參數(shù),我們則可以推算出NMA中的所有功能參數(shù),即9個(gè)模型中任意兩個(gè)預(yù)測(cè)模型之間的預(yù)測(cè)準(zhǔn)確度差值ΔAUC及其95%CI,因篇幅有限不再展示相應(yīng)結(jié)果,有興趣的讀者可自行去推導(dǎo)計(jì)算。

    3 討論

    臨床預(yù)測(cè)模型或預(yù)后評(píng)分近年來在臨床實(shí)踐中的應(yīng)用越來越廣泛,目前在很多疾病領(lǐng)域針對(duì)同一個(gè)研究結(jié)局都已發(fā)表了為數(shù)不少的預(yù)測(cè)模型或預(yù)后評(píng)分,但大多數(shù)模型缺乏外部驗(yàn)證研究,且缺乏各預(yù)測(cè)模型之間準(zhǔn)確度的相互比較結(jié)果,難以確定最佳預(yù)測(cè)模型,從而導(dǎo)致臨床實(shí)踐中的選擇困難,出現(xiàn)大多數(shù)預(yù)測(cè)模型長期處于“多數(shù)被建立,少數(shù)被驗(yàn)證,極少被應(yīng)用”的情況。Haile SR等[6]學(xué)者提出的基于兩階段Meta回歸的預(yù)測(cè)模型NMA解決了這一問題,該方法將隊(duì)列研究中驗(yàn)證的多個(gè)預(yù)測(cè)模型作為“干預(yù)措施”,借用經(jīng)典NMA的間接比較理論,獲得針對(duì)同一結(jié)局的各預(yù)測(cè)模型準(zhǔn)確度(如AUC)兩兩比較的結(jié)果,從而確定最佳預(yù)測(cè)模型,以指導(dǎo)臨床實(shí)踐,輔助臨床決策,具有重要的臨床意義。

    表2 COPD死亡預(yù)測(cè)模型NMA研究分組情況

    圖1 COPD死亡預(yù)測(cè)模型NMA證據(jù)結(jié)構(gòu)圖

    表3 兩階段Meta回歸的MSC結(jié)果(以GOLD作為共同參照,效應(yīng)指標(biāo)為ΔAUC)

    預(yù)測(cè)模型NMA是在經(jīng)典NMA基礎(chǔ)上的擴(kuò)展,但又與經(jīng)典NMA有著不同之處,主要表現(xiàn)在以下三個(gè)方面。首先,兩者的效應(yīng)指標(biāo)不同,經(jīng)典NMA的效應(yīng)指標(biāo)多為logOR、logRR或均數(shù)差(mean difference,MD)等,來表示不同干預(yù)措施之間的療效差別;而預(yù)測(cè)模型NMA的效應(yīng)指標(biāo)一般為ΔAUC,即表示不同預(yù)測(cè)模型之間準(zhǔn)確度的差值。其次,經(jīng)典NMA納入的RCT研究中試驗(yàn)組和對(duì)照組的研究對(duì)象通常是完全獨(dú)立的;而預(yù)測(cè)模型NMA納入的原始研究則通常是基于同一個(gè)隊(duì)列人群同時(shí)驗(yàn)證兩個(gè)或多個(gè)預(yù)測(cè)模型,換言之,不同預(yù)測(cè)模型準(zhǔn)確度的結(jié)果所基于的研究對(duì)象是完全重復(fù)的。第三,考慮到可行性及統(tǒng)計(jì)把握度和樣本量的問題,經(jīng)典NMA納入的RCT研究大多數(shù)為2臂研究,3臂及以上的研究較少;而預(yù)測(cè)模型NMA納入的隊(duì)列研究通常會(huì)基于該隊(duì)列同時(shí)驗(yàn)證多個(gè)不同的預(yù)測(cè)模型,驗(yàn)證預(yù)測(cè)模型個(gè)數(shù)≥4的隊(duì)列研究很常見,即在預(yù)測(cè)模型NMA中“多臂研究”更為常見。

    鑒于預(yù)測(cè)模型的外部驗(yàn)證研究中研究對(duì)象的完全重復(fù)利用及“多臂研究”的情況,在進(jìn)行預(yù)測(cè)模型NMA時(shí)需要特別關(guān)注各預(yù)測(cè)模型準(zhǔn)確度結(jié)果之間的相關(guān)性,即前述方差-協(xié)方差矩陣的計(jì)算是關(guān)鍵。由于各個(gè)隊(duì)列人群之間人口學(xué)及臨床特征往往存在一定的差異,因而解決這一問題的最佳辦法是利用多個(gè)大型隊(duì)列研究整合在一起的個(gè)體資料數(shù)據(jù)進(jìn)行相關(guān)系數(shù)的計(jì)算,如同上述COPD患者死亡預(yù)測(cè)模型的NMA研究一樣,利用3CIA整合隊(duì)列[11]的個(gè)體資料數(shù)據(jù)進(jìn)行了各預(yù)測(cè)模型ΔAUC之間相關(guān)系數(shù)的計(jì)算,從而獲得各“多臂研究”的方差-協(xié)方差矩陣,進(jìn)一步通過兩階段Meta回歸模型進(jìn)行混合比較的計(jì)算。當(dāng)然,若無法獲取到整合隊(duì)列的個(gè)體資料數(shù)據(jù),則可采用經(jīng)典NMA中類似的假設(shè),如假定相關(guān)系數(shù)R=0.4或0.5來進(jìn)行方差-協(xié)方差矩陣的計(jì)算。此時(shí),建議采用不同的相關(guān)系數(shù)分別進(jìn)行敏感性分析,通過判斷不同相關(guān)系數(shù)假設(shè)下的結(jié)果是否一致來衡量結(jié)果的穩(wěn)定性。

    此外,本研究中只用ΔAUC作為效應(yīng)指標(biāo)進(jìn)行了NMA分析。事實(shí)上,我們還可用其他指標(biāo)如NRI或校準(zhǔn)度指標(biāo)等作為效應(yīng)指標(biāo)進(jìn)行分析,以從不同方面對(duì)各預(yù)測(cè)模型的優(yōu)劣進(jìn)行評(píng)價(jià),幫助我們篩選出最佳預(yù)測(cè)模型,從而進(jìn)一步指導(dǎo)臨床實(shí)踐[6]。

    4 結(jié)語

    本文針對(duì)預(yù)測(cè)模型NMA實(shí)現(xiàn)的基礎(chǔ)理論進(jìn)行了介紹,并通過案例進(jìn)行了詳細(xì)解讀。該方法以所有預(yù)測(cè)模型的外部驗(yàn)證研究為基礎(chǔ),選擇同一個(gè)預(yù)測(cè)模型作為共同參照,通過大規(guī)模個(gè)體資料數(shù)據(jù)來計(jì)算各預(yù)測(cè)模型結(jié)果之間的相關(guān)性,進(jìn)而采用兩階段Meta回歸模型,可得到針對(duì)同一結(jié)局的任意兩個(gè)模型之間預(yù)測(cè)準(zhǔn)確度的比較結(jié)果,對(duì)最終選擇最佳預(yù)測(cè)模型應(yīng)用到臨床實(shí)踐以更好地指導(dǎo)臨床決策有較大意義。然而,該方法目前還不太成熟,尚處在發(fā)展階段,Haile SR等開發(fā)的mscpredmodel R package目前只能針對(duì)個(gè)體資料數(shù)據(jù)的預(yù)測(cè)模型MSC進(jìn)行分析,且關(guān)于發(fā)表偏倚、一致性假設(shè)等各方面的方法學(xué)還在摸索中。筆者于Web of Science數(shù)據(jù)庫中檢索,迄今為止該論文[11]被引用4次,均為COPD死亡預(yù)測(cè)模型的相關(guān)研究,目前未見到其他疾病領(lǐng)域預(yù)測(cè)模型NMA的應(yīng)用實(shí)例,一方面可能與個(gè)體資料的隊(duì)列數(shù)據(jù)不易獲取無法計(jì)算各預(yù)測(cè)模型結(jié)果之間的相關(guān)性有關(guān),另一方面可能與該方法需要事先進(jìn)行較為復(fù)雜的數(shù)據(jù)預(yù)處理,尤其是方差-協(xié)方差的計(jì)算有關(guān),未來可加快各疾病領(lǐng)域的數(shù)據(jù)共享和隊(duì)列整合,并開發(fā)相應(yīng)的程序包來更高效快捷地進(jìn)行數(shù)據(jù)預(yù)處理,以促進(jìn)該方法的推廣應(yīng)用,從而更好地輔助臨床實(shí)踐。

    猜你喜歡
    隊(duì)列準(zhǔn)確度方差
    方差怎么算
    概率與統(tǒng)計(jì)(2)——離散型隨機(jī)變量的期望與方差
    隊(duì)列里的小秘密
    基于多隊(duì)列切換的SDN擁塞控制*
    軟件(2020年3期)2020-04-20 00:58:44
    計(jì)算方差用哪個(gè)公式
    在隊(duì)列里
    幕墻用掛件安裝準(zhǔn)確度控制技術(shù)
    建筑科技(2018年6期)2018-08-30 03:40:54
    方差生活秀
    豐田加速駛?cè)胱詣?dòng)駕駛隊(duì)列
    動(dòng)態(tài)汽車衡準(zhǔn)確度等級(jí)的現(xiàn)實(shí)意義
    夫妻午夜视频| 综合色丁香网| 新久久久久国产一级毛片| 国产成人精品在线电影| 婷婷成人精品国产| 大香蕉97超碰在线| 亚洲国产色片| 久久99热6这里只有精品| 晚上一个人看的免费电影| 啦啦啦啦在线视频资源| 亚洲,一卡二卡三卡| 啦啦啦视频在线资源免费观看| 日日爽夜夜爽网站| av卡一久久| 久久久精品94久久精品| xxxhd国产人妻xxx| 午夜免费鲁丝| 男女国产视频网站| 香蕉精品网在线| 青青草视频在线视频观看| 青春草亚洲视频在线观看| 国产亚洲最大av| 五月伊人婷婷丁香| 欧美xxⅹ黑人| 97超碰精品成人国产| 又黄又爽又刺激的免费视频.| 亚洲精品一区蜜桃| av女优亚洲男人天堂| 午夜老司机福利剧场| 国产片特级美女逼逼视频| 亚洲五月色婷婷综合| 亚洲av免费高清在线观看| 男女边吃奶边做爰视频| .国产精品久久| 欧美三级亚洲精品| 亚洲人成网站在线观看播放| videos熟女内射| av在线app专区| 精品亚洲乱码少妇综合久久| 夜夜骑夜夜射夜夜干| 少妇丰满av| 内地一区二区视频在线| 日日摸夜夜添夜夜添av毛片| 免费人成在线观看视频色| 亚洲精品美女久久av网站| 91精品一卡2卡3卡4卡| 午夜免费观看性视频| 精品少妇黑人巨大在线播放| 久久久久国产网址| 久久久欧美国产精品| 国产精品国产av在线观看| 美女中出高潮动态图| 免费黄网站久久成人精品| 妹子高潮喷水视频| 国产精品国产三级国产av玫瑰| 男人添女人高潮全过程视频| 99热6这里只有精品| 亚洲五月色婷婷综合| 黑人巨大精品欧美一区二区蜜桃 | 老司机影院成人| 亚洲精品第二区| 欧美日韩亚洲高清精品| 青春草视频在线免费观看| 国产成人精品福利久久| 边亲边吃奶的免费视频| 亚洲欧美精品自产自拍| 狠狠婷婷综合久久久久久88av| 欧美激情极品国产一区二区三区 | 久久这里有精品视频免费| 久久久久久久亚洲中文字幕| 在线播放无遮挡| www.av在线官网国产| 人妻 亚洲 视频| 日韩一区二区视频免费看| 考比视频在线观看| 蜜桃久久精品国产亚洲av| 涩涩av久久男人的天堂| 两个人免费观看高清视频| 伊人久久精品亚洲午夜| 日韩精品免费视频一区二区三区 | 欧美人与善性xxx| 国产精品不卡视频一区二区| 尾随美女入室| 日韩一本色道免费dvd| 欧美日韩在线观看h| 亚洲精品日韩av片在线观看| 亚洲欧洲精品一区二区精品久久久 | 免费看光身美女| 久久精品国产亚洲网站| av免费观看日本| 制服诱惑二区| 七月丁香在线播放| 一边亲一边摸免费视频| 国产日韩一区二区三区精品不卡 | 欧美少妇被猛烈插入视频| 亚洲伊人久久精品综合| 久久99热这里只频精品6学生| 最近手机中文字幕大全| 狂野欧美激情性bbbbbb| 久久精品国产亚洲av天美| 丝袜喷水一区| 国产免费又黄又爽又色| 国产av一区二区精品久久| 亚洲在久久综合| 成年美女黄网站色视频大全免费 | 五月天丁香电影| 国产成人av激情在线播放 | 大陆偷拍与自拍| 视频在线观看一区二区三区| 国产男人的电影天堂91| 国产精品久久久久久av不卡| 成人二区视频| a级片在线免费高清观看视频| 99精国产麻豆久久婷婷| 精品国产乱码久久久久久小说| 色视频在线一区二区三区| 狂野欧美激情性bbbbbb| 国产成人aa在线观看| 精品久久久精品久久久| 精品一区二区三区视频在线| 国产精品国产av在线观看| 在线 av 中文字幕| 一本久久精品| 黄色毛片三级朝国网站| 少妇猛男粗大的猛烈进出视频| 欧美少妇被猛烈插入视频| 99九九线精品视频在线观看视频| 国产精品国产三级国产av玫瑰| 国产极品粉嫩免费观看在线 | 黑人欧美特级aaaaaa片| 国产黄色免费在线视频| 熟妇人妻不卡中文字幕| 久久精品国产亚洲av天美| 亚洲性久久影院| 视频在线观看一区二区三区| 久久久久视频综合| 亚洲综合精品二区| 亚洲五月色婷婷综合| 久热久热在线精品观看| 国产深夜福利视频在线观看| 在线观看免费视频网站a站| 国产色婷婷99| 欧美xxxx性猛交bbbb| 亚洲第一av免费看| 免费黄频网站在线观看国产| 丝袜喷水一区| 国产色爽女视频免费观看| 欧美精品国产亚洲| 黑人欧美特级aaaaaa片| 欧美 亚洲 国产 日韩一| 春色校园在线视频观看| av女优亚洲男人天堂| 欧美丝袜亚洲另类| 最近2019中文字幕mv第一页| 国产精品国产三级国产av玫瑰| 18+在线观看网站| 国产免费现黄频在线看| 视频在线观看一区二区三区| 精品国产乱码久久久久久小说| 亚洲伊人久久精品综合| 啦啦啦在线观看免费高清www| 亚洲欧洲国产日韩| 在线观看三级黄色| 91在线精品国自产拍蜜月| 校园人妻丝袜中文字幕| 欧美日韩国产mv在线观看视频| 黄色毛片三级朝国网站| 一本大道久久a久久精品| 在线 av 中文字幕| 在线观看www视频免费| 日韩精品免费视频一区二区三区 | av在线播放精品| 满18在线观看网站| 永久免费av网站大全| 男女啪啪激烈高潮av片| 制服诱惑二区| 午夜福利,免费看| 久久国产精品大桥未久av| av在线观看视频网站免费| 爱豆传媒免费全集在线观看| 久久青草综合色| 你懂的网址亚洲精品在线观看| 欧美+日韩+精品| 亚洲丝袜综合中文字幕| 久久久久久久久久成人| h视频一区二区三区| 久久国产亚洲av麻豆专区| 国内精品宾馆在线| 欧美成人精品欧美一级黄| 国产午夜精品一二区理论片| 成人毛片60女人毛片免费| 美女国产视频在线观看| 爱豆传媒免费全集在线观看| 亚洲精品国产av成人精品| 嘟嘟电影网在线观看| 亚洲丝袜综合中文字幕| 亚洲性久久影院| 国产熟女欧美一区二区| 亚洲欧美一区二区三区黑人 | 亚洲一级一片aⅴ在线观看| 草草在线视频免费看| 日韩精品有码人妻一区| 日韩大片免费观看网站| 久久久国产一区二区| 九色成人免费人妻av| 又大又黄又爽视频免费| av.在线天堂| 啦啦啦啦在线视频资源| 中文字幕亚洲精品专区| 亚洲国产毛片av蜜桃av| 免费少妇av软件| 欧美老熟妇乱子伦牲交| 日日摸夜夜添夜夜添av毛片| 久久毛片免费看一区二区三区| 久久女婷五月综合色啪小说| 亚洲国产精品一区二区三区在线| 一级,二级,三级黄色视频| 亚洲色图 男人天堂 中文字幕 | av在线app专区| 大香蕉97超碰在线| 免费高清在线观看日韩| 99视频精品全部免费 在线| 亚洲精品视频女| 亚洲国产av新网站| 狂野欧美激情性xxxx在线观看| 亚洲情色 制服丝袜| 18禁裸乳无遮挡动漫免费视频| 丝袜美足系列| 丝袜在线中文字幕| 午夜免费男女啪啪视频观看| 伦理电影大哥的女人| 啦啦啦啦在线视频资源| 性色av一级| 久久精品国产亚洲av天美| 午夜影院在线不卡| 99久久精品一区二区三区| 日日摸夜夜添夜夜添av毛片| 制服丝袜香蕉在线| 精品一区二区免费观看| 中国国产av一级| 秋霞在线观看毛片| av视频免费观看在线观看| 亚洲av日韩在线播放| 日韩不卡一区二区三区视频在线| 一级毛片电影观看| www.av在线官网国产| 卡戴珊不雅视频在线播放| √禁漫天堂资源中文www| 免费观看性生交大片5| 王馨瑶露胸无遮挡在线观看| 建设人人有责人人尽责人人享有的| 久久精品熟女亚洲av麻豆精品| 亚洲经典国产精华液单| 男女啪啪激烈高潮av片| 日韩中文字幕视频在线看片| 久久久久久久精品精品| 午夜激情av网站| 午夜福利视频在线观看免费| 人妻 亚洲 视频| 老司机亚洲免费影院| 久久精品久久精品一区二区三区| 久久午夜综合久久蜜桃| 麻豆乱淫一区二区| 熟女av电影| 欧美人与性动交α欧美精品济南到 | 观看av在线不卡| 日本爱情动作片www.在线观看| 久久久久久久大尺度免费视频| 少妇被粗大的猛进出69影院 | 精品人妻偷拍中文字幕| 91久久精品国产一区二区三区| 女人精品久久久久毛片| 如日韩欧美国产精品一区二区三区 | 国产av码专区亚洲av| √禁漫天堂资源中文www| 狂野欧美激情性bbbbbb| 国产精品不卡视频一区二区| 亚洲精品aⅴ在线观看| 在线观看国产h片| 国产爽快片一区二区三区| 精品国产一区二区三区久久久樱花| 最近最新中文字幕免费大全7| 热re99久久国产66热| 亚洲国产精品国产精品| 国产成人精品福利久久| 亚洲国产精品专区欧美| 欧美 亚洲 国产 日韩一| 国产色婷婷99| 22中文网久久字幕| 777米奇影视久久| 人妻少妇偷人精品九色| 好男人视频免费观看在线| 人妻少妇偷人精品九色| 久久亚洲国产成人精品v| 3wmmmm亚洲av在线观看| 一本久久精品| kizo精华| 少妇被粗大猛烈的视频| videossex国产| 在线观看免费视频网站a站| 亚洲精品,欧美精品| 日日爽夜夜爽网站| 男人添女人高潮全过程视频| 一区在线观看完整版| 夜夜骑夜夜射夜夜干| 精品一品国产午夜福利视频| 久久免费观看电影| 寂寞人妻少妇视频99o| 免费看不卡的av| 边亲边吃奶的免费视频| 多毛熟女@视频| 纯流量卡能插随身wifi吗| 日本-黄色视频高清免费观看| 久久久国产一区二区| 国产精品国产三级国产专区5o| 免费少妇av软件| 性色avwww在线观看| 美女cb高潮喷水在线观看| 国产一级毛片在线| 国产乱人偷精品视频| 久久久久国产网址| 国产成人精品无人区| av播播在线观看一区| 七月丁香在线播放| 多毛熟女@视频| 91久久精品国产一区二区成人| 亚洲精品日韩av片在线观看| 91精品一卡2卡3卡4卡| av有码第一页| 欧美日韩精品成人综合77777| 亚洲精品国产色婷婷电影| av女优亚洲男人天堂| av天堂久久9| 成人国产麻豆网| 久久99热这里只频精品6学生| 国产欧美日韩一区二区三区在线 | 日韩中字成人| 亚洲欧美一区二区三区国产| 99国产精品免费福利视频| 久久人人爽人人爽人人片va| 人妻少妇偷人精品九色| 日韩成人伦理影院| 男人操女人黄网站| 国产成人91sexporn| av福利片在线| 国产精品国产三级国产av玫瑰| 美女cb高潮喷水在线观看| 99热这里只有精品一区| 插逼视频在线观看| 国产精品偷伦视频观看了| 女人久久www免费人成看片| 亚洲色图 男人天堂 中文字幕 | 国产成人精品在线电影| 亚洲av.av天堂| a级毛片黄视频| 国产毛片在线视频| 国产 一区精品| 久久久a久久爽久久v久久| 嘟嘟电影网在线观看| 欧美日本中文国产一区发布| 久久99精品国语久久久| 午夜福利视频精品| 亚洲av在线观看美女高潮| 亚洲精品美女久久av网站| 美女国产视频在线观看| 国产精品嫩草影院av在线观看| 日日摸夜夜添夜夜添av毛片| 爱豆传媒免费全集在线观看| 亚洲精品中文字幕在线视频| 天堂中文最新版在线下载| 国产成人av激情在线播放 | 婷婷成人精品国产| 99久久精品一区二区三区| 免费黄频网站在线观看国产| 肉色欧美久久久久久久蜜桃| 在线观看美女被高潮喷水网站| 精品99又大又爽又粗少妇毛片| 黄色一级大片看看| 亚洲,欧美,日韩| 免费观看a级毛片全部| 国产午夜精品久久久久久一区二区三区| 日韩制服骚丝袜av| 美女内射精品一级片tv| 午夜影院在线不卡| 色吧在线观看| 国产无遮挡羞羞视频在线观看| 天天操日日干夜夜撸| 一级毛片我不卡| 亚洲精品美女久久av网站| 免费av中文字幕在线| 国产精品麻豆人妻色哟哟久久| 少妇被粗大猛烈的视频| 国产精品国产三级国产专区5o| 午夜福利在线观看免费完整高清在| 91久久精品国产一区二区成人| av视频免费观看在线观看| 国产成人免费观看mmmm| 国产 精品1| 亚洲人成77777在线视频| av免费在线看不卡| 亚洲成人一二三区av| 久久精品人人爽人人爽视色| 人人妻人人澡人人爽人人夜夜| 日本黄色日本黄色录像| 日韩大片免费观看网站| 亚洲精品中文字幕在线视频| 午夜福利在线观看免费完整高清在| 久久ye,这里只有精品| 国产高清三级在线| 亚洲欧洲国产日韩| 三级国产精品片| 人妻夜夜爽99麻豆av| 成人无遮挡网站| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 午夜激情福利司机影院| 国产一区有黄有色的免费视频| 亚洲av欧美aⅴ国产| 91精品国产国语对白视频| 精品一品国产午夜福利视频| 日本av免费视频播放| 午夜福利影视在线免费观看| 亚洲精品一二三| 日韩不卡一区二区三区视频在线| 九九久久精品国产亚洲av麻豆| 免费高清在线观看视频在线观看| 国产免费视频播放在线视频| 少妇精品久久久久久久| 在线观看免费日韩欧美大片 | 伊人久久精品亚洲午夜| 成人影院久久| 免费少妇av软件| 精品久久久久久电影网| 女的被弄到高潮叫床怎么办| 亚洲精品视频女| 简卡轻食公司| 天堂中文最新版在线下载| av国产久精品久网站免费入址| 亚洲,欧美,日韩| 中国国产av一级| kizo精华| 精品久久国产蜜桃| 乱码一卡2卡4卡精品| 亚洲av国产av综合av卡| 国产亚洲精品久久久com| av有码第一页| 99九九线精品视频在线观看视频| 亚洲精品,欧美精品| 亚洲,欧美,日韩| 国产亚洲欧美精品永久| 久久精品国产鲁丝片午夜精品| 人体艺术视频欧美日本| 久久青草综合色| 中国美白少妇内射xxxbb| 国产亚洲欧美精品永久| 欧美成人午夜免费资源| a级毛片在线看网站| 日本猛色少妇xxxxx猛交久久| 成年av动漫网址| 日产精品乱码卡一卡2卡三| 欧美日韩av久久| 亚洲欧美精品自产自拍| 亚洲欧美清纯卡通| 国产精品一区二区三区四区免费观看| 国产日韩一区二区三区精品不卡 | 久久韩国三级中文字幕| videossex国产| 日韩欧美一区视频在线观看| 99久久中文字幕三级久久日本| 中文字幕制服av| 91午夜精品亚洲一区二区三区| 热re99久久国产66热| 日韩,欧美,国产一区二区三区| 夫妻午夜视频| 日本欧美视频一区| 少妇人妻久久综合中文| 久久国内精品自在自线图片| 国产视频内射| 日韩一区二区三区影片| 女性生殖器流出的白浆| 免费观看无遮挡的男女| 五月开心婷婷网| 视频中文字幕在线观看| 久久狼人影院| 女人精品久久久久毛片| 老女人水多毛片| 中国三级夫妇交换| 精品亚洲乱码少妇综合久久| 亚洲精品日韩av片在线观看| 国产日韩欧美视频二区| 亚洲av欧美aⅴ国产| 精品人妻熟女av久视频| 天天操日日干夜夜撸| 九色亚洲精品在线播放| 天天操日日干夜夜撸| 美女cb高潮喷水在线观看| 国产免费现黄频在线看| xxxhd国产人妻xxx| 亚洲成人一二三区av| 国产精品嫩草影院av在线观看| 国产伦理片在线播放av一区| xxx大片免费视频| 晚上一个人看的免费电影| 精品人妻偷拍中文字幕| 啦啦啦视频在线资源免费观看| 91精品一卡2卡3卡4卡| 亚洲美女黄色视频免费看| 日韩不卡一区二区三区视频在线| 精品99又大又爽又粗少妇毛片| 街头女战士在线观看网站| 男人爽女人下面视频在线观看| 九九在线视频观看精品| 久久午夜综合久久蜜桃| 国产精品国产av在线观看| 99久久中文字幕三级久久日本| 九九爱精品视频在线观看| 免费观看a级毛片全部| 久久久久国产精品人妻一区二区| 九草在线视频观看| 日韩在线高清观看一区二区三区| 日日撸夜夜添| 精品人妻一区二区三区麻豆| 免费播放大片免费观看视频在线观看| 如何舔出高潮| 亚洲精品日韩av片在线观看| 久久精品久久久久久久性| 久久久亚洲精品成人影院| 国产精品99久久99久久久不卡 | 国产精品.久久久| 亚洲av欧美aⅴ国产| 国产成人免费观看mmmm| 99热这里只有精品一区| 婷婷色麻豆天堂久久| 亚洲av免费高清在线观看| 中文天堂在线官网| 国产精品久久久久久精品电影小说| 永久免费av网站大全| 亚洲高清免费不卡视频| 久久精品人人爽人人爽视色| 91久久精品国产一区二区成人| 全区人妻精品视频| 性色avwww在线观看| 国产成人精品久久久久久| 简卡轻食公司| 男女边摸边吃奶| 建设人人有责人人尽责人人享有的| av在线观看视频网站免费| 亚洲精品成人av观看孕妇| 永久免费av网站大全| 下体分泌物呈黄色| 视频在线观看一区二区三区| 国产69精品久久久久777片| 免费观看a级毛片全部| 狠狠精品人妻久久久久久综合| 女人精品久久久久毛片| 天天影视国产精品| 欧美少妇被猛烈插入视频| 亚洲精品久久成人aⅴ小说 | 一边亲一边摸免费视频| 尾随美女入室| 男男h啪啪无遮挡| 女性生殖器流出的白浆| 午夜老司机福利剧场| 亚洲国产精品一区二区三区在线| 久久久久国产精品人妻一区二区| 免费人妻精品一区二区三区视频| 狠狠精品人妻久久久久久综合| 中国三级夫妇交换| 考比视频在线观看| 免费观看性生交大片5| 黑丝袜美女国产一区| 亚洲国产精品成人久久小说| 超色免费av| 中文字幕制服av| 亚洲精品色激情综合| 国产成人精品一,二区| 狂野欧美激情性xxxx在线观看| www.av在线官网国产| 99久久精品国产国产毛片| av网站免费在线观看视频| 在线观看www视频免费| 国产一区二区在线观看av| 夜夜爽夜夜爽视频| 一级二级三级毛片免费看| 十八禁网站网址无遮挡| 国产免费一区二区三区四区乱码| 寂寞人妻少妇视频99o| 亚洲国产精品成人久久小说| 日韩一本色道免费dvd| 婷婷色av中文字幕| 免费播放大片免费观看视频在线观看| 精品亚洲乱码少妇综合久久| 九色成人免费人妻av| 午夜激情福利司机影院| 国产精品.久久久| 插阴视频在线观看视频| 亚洲欧美一区二区三区黑人 | 91aial.com中文字幕在线观看| 国产黄色视频一区二区在线观看| 日本与韩国留学比较| 飞空精品影院首页| 国产成人免费观看mmmm| 日韩一区二区视频免费看| 成人影院久久| 九草在线视频观看| 亚洲精品国产av成人精品| 久久免费观看电影| 丝袜在线中文字幕| 七月丁香在线播放| 精品人妻在线不人妻| 最近中文字幕高清免费大全6| 夫妻性生交免费视频一级片| 亚洲av.av天堂| 最近的中文字幕免费完整| 免费观看a级毛片全部| 中文字幕人妻熟人妻熟丝袜美|