影像診斷試驗中多閱片者研究的設(shè)計與分析

尚美霞姚 晨閻小妍康曉平Δ

影像診斷試驗中多閱片者研究的設(shè)計與分析

尚美霞1姚 晨2閻小妍3康曉平1Δ

影像診斷試驗評價的診斷方法很多，目前研究常見的X線、CT以及磁共振成像的診斷原理大體一致，都是通過對人體掃描，將重建的圖像顯示在顯示屏或者其他的載體上，供影像醫(yī)生讀片并對疾病的影像診斷結(jié)果做出判斷［1］。

因此影像診斷試驗的實(shí)際準(zhǔn)確度其實(shí)是診斷儀器以及使用這些儀器的影像科醫(yī)生之間的“合并準(zhǔn)確度”［2］，但在真實(shí)的臨床應(yīng)用中不同的影像科醫(yī)生之間閱歷、知識水平和能力存在很大差別，對于影像圖片的判斷標(biāo)準(zhǔn)也不盡一致，為了讓研究估計的診斷試驗的實(shí)際準(zhǔn)確度更接近于其真實(shí)的準(zhǔn)確度，研究中應(yīng)該隨機(jī)的選擇多位影像科醫(yī)生對圖像進(jìn)行解釋［3］。

采用多名閱片者的研究設(shè)計可以有效的避免診斷試驗準(zhǔn)確性評價過程中因影像醫(yī)生讀片而產(chǎn)生的讀片偏倚，使結(jié)果更具代表性［4］；但多名閱片者同時讀片產(chǎn)生的結(jié)果在不同閱片者之間及相同的閱片者內(nèi)部都會存在變異，同時閱片者與病例、診斷試驗之間也可能存在復(fù)雜相關(guān)，由于這些相關(guān)的數(shù)據(jù)不能分開成相互獨(dú)立的幾部分，所以常用的處理相關(guān)數(shù)據(jù)的方法也無法適用，因此在對閱片結(jié)果進(jìn)行分析時需要綜合考慮所有的變異和相關(guān)，探討選擇合適的統(tǒng)計分析方法。關(guān)于多名閱片者的診斷試驗評價，已有學(xué)者作了相關(guān)研究，本文重點(diǎn)對影像診斷試驗中多閱片者研究的設(shè)計與統(tǒng)計分析方法進(jìn)行介紹和綜述。

多閱片者研究的設(shè)計方法

1.影像診斷試驗準(zhǔn)確度評價的臨床研究階段

影像診斷試驗準(zhǔn)確度評價的臨床研究分為三個階段，階段一是探索階段，是新技術(shù)診斷能力的首次探討，研究目標(biāo)是確定新技術(shù)是否具有任何診斷價值；階段二是挑戰(zhàn)階段，通過將試驗應(yīng)用于難以分辨的病例組與對照組，挑戰(zhàn)該試驗的準(zhǔn)確度，但是診斷試驗的準(zhǔn)確度通常受病例特征的影響，同一病例特征可能對兩個試驗的影響不同，同時可能存在病例與診斷試驗之間的相關(guān)，影響診斷試驗的準(zhǔn)確度；階段三是臨床階段，在階段二確定了不同總體的試驗以及某些總體的兩個試驗之間準(zhǔn)確度差異存在的基礎(chǔ)上，測量診斷試驗的確切準(zhǔn)確度或兩個診斷試驗間準(zhǔn)確度差異的確切大?。?］。

2.多閱片者研究的設(shè)計方法

多閱片者研究多應(yīng)用于影像診斷試驗準(zhǔn)確性評價的第二、三階段，目的在于估計和比較兩個或者多個診斷試驗的確切準(zhǔn)確性。多閱片者研究設(shè)計分別選取具有代表性的病例樣本（包括經(jīng)金標(biāo)準(zhǔn)確診待研究疾病的患者與非患者）和閱片者樣本，每個病例依次接受兩個或多個診斷技術(shù)的檢查，然后每位閱片者盲法對病例接受試驗的影像結(jié)果進(jìn)行解釋，閱片者閱片時既不清楚病例的真實(shí)疾病狀態(tài)也不清楚其他診斷技術(shù)或者其他閱片者的影像結(jié)果。因此與常用的影像診斷試驗研究不同，多閱片者研究需要分別考慮病例和閱片者兩部分的代表性，并分別估計兩者的樣本量，保證目標(biāo)病例和目標(biāo)閱片者的樣本無偏。

對于兩個及以上的影像診斷試驗，考慮到病例和閱片者的樣本量以及試驗過程中閱片者閱片的次數(shù)限制，多閱片者研究常需要決定是否采用閱片者的配對設(shè)計。目前有關(guān)配對設(shè)計的多閱片者研究大體有兩種：配對患者與配對閱片者設(shè)計（傳統(tǒng)設(shè)計）和每閱片者配對患者與配對閱片者設(shè)計（混合設(shè)計），另外也有一些綜合這兩種設(shè)計而提出的交叉設(shè)計的方法。其中最常應(yīng)用的是配對患者與配對閱片者設(shè)計（paired-patient paired-reader design）。

（1）配對患者與配對閱片者設(shè)計

傳統(tǒng)設(shè)計又稱為配對患者與配對閱片者設(shè)計（paired-patient paired-reader design）［6］，需要全部閱片者解釋所有病例接受所有診斷技術(shù)的影像結(jié)果。假定所有病例數(shù)目為N（含經(jīng)金標(biāo)準(zhǔn)確定的待研究疾病的患者與非患者），解釋所有病例所有試驗結(jié)果的閱片者數(shù)目為J，那么在診斷試驗數(shù)目為2的條件下就會有2×N×J種影像診斷試驗的解釋結(jié)果，其中，Tkj1與Tkj2分別表示第j閱片者解釋第k患者的試驗1與試驗2的結(jié)果。表1給出了這種設(shè)計的數(shù)據(jù)格式［4］。

（2）混合設(shè)計

混合設(shè)計又稱為每閱片者配對患者（paired-patient-per-reader）與配對閱片者設(shè)計［5］，需要每位閱片者解釋其所對應(yīng)的病例接受全部試驗的診斷結(jié)果，與傳統(tǒng)設(shè)計相比，不需要每位閱片者對全部病例的結(jié)果都作出解釋。假定所有閱片者數(shù)目為J，每一閱片者對應(yīng)的接受所有診斷試驗的病例數(shù)目為N（含經(jīng)金標(biāo)準(zhǔn)確定的待研究疾病的患者與非患者），則需要所有病例數(shù)目為N×J，診斷試驗數(shù)目為2的條件下就會有2×N×J種影像診斷試驗的解釋結(jié)果，其中，Tkj1與Tkj2分別表示第j閱片者解釋第k患者的試驗1與試驗2的結(jié)果。表2給出設(shè)計的數(shù)據(jù)格式［5-6］。

表1 傳統(tǒng)設(shè)計的數(shù)據(jù)格式

表2 混合設(shè)計的數(shù)據(jù)格式

（3）交叉設(shè)計

傳統(tǒng)設(shè)計與混合設(shè)計的多閱片者研究相比：傳統(tǒng)設(shè)計需要的病例樣本量數(shù)量少，但閱片者需要解釋影像結(jié)果的次數(shù)卻很多；相反的，混合設(shè)計雖然閱片者需要解釋影像結(jié)果的次數(shù)少，但設(shè)計需要的病例樣本量要比傳統(tǒng)設(shè)計多。因此，近來提出了結(jié)合兩種設(shè)計的交叉設(shè)計方法，可減少病例樣本量以及閱片者解釋試驗結(jié)果的次數(shù)。這些交叉設(shè)計方法比較靈活，可用一半的閱片者解釋其中n個病例的試驗結(jié)果，另一半的閱片者解釋另外n個病例的試驗結(jié)果（全部病例數(shù)N＝n＋n）；當(dāng)然，也可以根據(jù)研究的需求，將病例與閱片者分成三部分或者多部分來設(shè)計。但這些設(shè)計都必須符合如下特征：至少有其中兩名閱片者對同一組病例的影像結(jié)果進(jìn)行解釋；至少有其中兩名閱片者對不同組病例的影像結(jié)果進(jìn)行解釋［6］。表3給出了一種交叉設(shè)計的數(shù)據(jù)格式。

表3 交叉設(shè)計的數(shù)據(jù)格式

當(dāng)然，配對設(shè)計方便且效能較高，但有些情況下可能不允許采用配對閱片者設(shè)計，例如閱片者對某診斷試驗有既得利益，該閱片者在讀片時便會自覺不自覺地更仔細(xì)地解釋自己偏愛的試驗，為了避免“偏好”干預(yù)的偏倚，也應(yīng)該采用非配對設(shè)計［4-5］。雖然配對設(shè)計的多閱片者研究設(shè)計更被大家認(rèn)可和接受，但是在實(shí)際臨床研究環(huán)境中不允許采用配對設(shè)計時，仍需要根據(jù)實(shí)際的條件選擇合適的設(shè)計方案。

多閱片者研究的統(tǒng)計分析方法

1.多閱片者研究分析中存在的各種混合效應(yīng)

多閱片者研究進(jìn)行診斷試驗準(zhǔn)確度分析時，不同的閱片者之間（技術(shù)水平、認(rèn)知能力、讀片經(jīng)歷、培訓(xùn)等）和不同的病例之間（疾病狀態(tài)、自身特征、合并疾病等）本身存在很大變異；同時所有病例將接受所有診斷試驗并由全部閱片者對影像結(jié)果進(jìn)行解釋，雖然這種設(shè)計對于試驗之間的比較是有效的，但病例、閱片者以及診斷試驗之間試驗結(jié)果缺乏獨(dú)立性，會存在各種不同的相關(guān)：病例分別接受每一個診斷試驗引起的相同病例不同診斷試驗之間診斷準(zhǔn)確度誤差項的相關(guān)，同一個閱片者分別解釋所有病例每一個診斷試驗的結(jié)果引起的相同閱片者不同診斷試驗之間診斷準(zhǔn)確度誤差項的相關(guān)，所有的閱片者對同一病例同一診斷試驗結(jié)果進(jìn)行解釋而引起的不同閱片者相同診斷試驗的診斷準(zhǔn)確度誤差項的相關(guān)以及不同閱片者不同診斷試驗之間診斷準(zhǔn)確度誤差項的相關(guān)等［7］。

綜合以上各種復(fù)雜的相關(guān)結(jié)構(gòu)，在對研究結(jié)果進(jìn)行分析時必須考慮這些相關(guān)引起的混合效應(yīng)，根據(jù)試驗的研究目的將影像診斷試驗的真實(shí)效應(yīng)分為試驗本身的固定效應(yīng)、閱片者和病例自身的效應(yīng)（固定或隨機(jī)效應(yīng)）以及病例、閱片者和診斷試驗之間的2階或3階交互效應(yīng)還有隨機(jī)誤差。

2.多閱片者研究的分析方法研究現(xiàn)狀

國內(nèi)宇傳華教授2000年考慮到協(xié)變量的混雜效應(yīng)問題，曾采用混合效應(yīng)模型的方差分析實(shí)現(xiàn)了多觀察者、多診斷方式準(zhǔn)確性的比較，但有關(guān)協(xié)變量只能是分類變量的問題尚未得到解決。2002年周曉華等出版的《Statistical Methods in Diagnostic Medicine》專著，對國外大量的文獻(xiàn)做了綜述，內(nèi)容十分豐富，其中在相關(guān)ROC數(shù)據(jù)分析一章中專門探討了統(tǒng)計方法在多閱片者多次試驗研究中的應(yīng)用。除此之外，不論是多閱片者研究的設(shè)計、樣本量的計算還是統(tǒng)計分析方法的角度，國內(nèi)尚沒有做過這方面的研究。

國外文獻(xiàn)中提出了一些有關(guān)多閱片者研究的統(tǒng)計分析方法。第一種（OR法）是對于閱片者與試驗每一組合的ROC曲線綜合指標(biāo)（如ROC曲線下面積）估計值，建立兩因素的混合效應(yīng)方差（ANOVA）模型，分析單位是ROC曲線綜合指標(biāo)［8］；第二種（DBM法）是采用Jackknife法計算病例、閱片者和試驗間每一組合的ROC曲線綜合指標(biāo)偽值，分析單位是病例，對Jackknife偽值建立標(biāo)準(zhǔn)的混合效應(yīng)線性模型［9］；第三種是對ROC曲線綜合指標(biāo)估計值，主要采用Bootstrap法計算混合效應(yīng)線性模型的六個方差成分，同時對各方差成分的分布不做任何假設(shè)［10］；最后一種是采用邊際回歸模型計算ROC曲線下面積（area under curves，AUC），這種方法的分析指標(biāo)常限于AUC，但同時可以在分析時納入可能影響試驗結(jié)果的協(xié)變量，同時對于研究病例的樣本量要求較低［11-12］。幾種方法都是基于構(gòu)建相關(guān)因素的混合效應(yīng)模型，不同的方法對閱片者或病例的效應(yīng)處理方式有所不同［12］。

3.基于Jackknife偽值的混合效應(yīng)方差分析模型（DBM法）

在ROC分析中計算曲線下面積的標(biāo)準(zhǔn)誤和可信區(qū)間，尚沒有精確的或明確規(guī)定的公式或方法，目前常用反復(fù)再抽樣的方法獲得較精確的標(biāo)準(zhǔn)誤和可信區(qū)間［13］。Dorfman、Berbaum和Metz等人在1992年對多閱片者ROC數(shù)據(jù)提出了基于偽值進(jìn)行計算的混合效應(yīng)ANOVA分析，因此稱之為Dorfman-Berbaum-Metz（DBM）法。該方法一般多用于配對患者與配對閱片者的多閱片者研究設(shè)計。

（1）統(tǒng)計學(xué)模型

假定試驗研究中真實(shí)患病者m例，未患病者n＝N-m例，可采用參數(shù)方法或者非參數(shù)方法獲得第i試驗第j閱片者的ROC曲線下面積其中i＝1，…，I和j＝1，…，J，他們的基本理論就是利用Jackknife法計算ROC曲線下面積的偽值。另為從樣本刪除第k患者后計算獲得的然后采用公式

計算第i試驗、第j閱片者、第k患者的Jackknife偽值。以Yijk作為因變量，以閱片者和病例變量作為隨機(jī)因素，試驗變量作為固定因素，構(gòu)建模型如下：

其中，u為總均數(shù)；ti為第i試驗對應(yīng)的固定效應(yīng)，一般情況下；rj為第j閱片者對應(yīng)的隨機(jī)效應(yīng)；pk為第k患者對應(yīng)的隨機(jī)效應(yīng)；（tr）ij為第i試驗、第j閱片者對應(yīng)的2階交互隨機(jī)效應(yīng)；（tp）ik為第i試驗、第k患者對應(yīng)的2階交互隨機(jī)效應(yīng)；（rp）jk為第j閱片者、第k患者對應(yīng)的2階交互隨機(jī)效應(yīng)；（trp）ijk為第i試驗、第j閱片者、第k患者對應(yīng)的3階交互隨機(jī)效應(yīng)；εijk為隨機(jī)誤差項。模型中假定隨機(jī)效應(yīng)［rj、pk、（tr）ij、（tp）ik、（rp）jk、（trp）ijk］和誤差項［εijk］獨(dú)立，且服從均數(shù)為0，方差分別為的正態(tài)分布［14-15］。表4給出了混合效應(yīng)模型方程的方差分析表［5］。

表4 混合效應(yīng)方程模型的方差分析（ANOVA）表

多閱片者ROC研究采用DBM法構(gòu)建的混合效應(yīng)ANOVA模型可以應(yīng)用于連續(xù)資料也可以應(yīng)用于有序等級資料。模型中的分析指標(biāo)可以是診斷試驗常用的靈敏度、特異度指標(biāo)，也可以是ROC曲線下面積、某特定特異度區(qū)間對應(yīng)的部分ROC曲線下面積等。

（2）假設(shè)檢驗

模型擬檢驗的Ho假設(shè)是各診斷試驗的固定效應(yīng)相等，即H0：t1＝…tI，如果沒有試驗與閱片者以及試驗與病例的交互作用，資料服從分子自由度為I-1，分母自由度為（I-1）（J-1）（N-1）的標(biāo)準(zhǔn)F分布，可以利用方差分析的方法直接用公式F＝MSt/MStrp檢驗試驗的固定效應(yīng)是否相等［16］；如果存在試驗與閱片者或試驗與病例的交互作用，資料不能滿足標(biāo)準(zhǔn)的F分布，需采用Satterthwaite近似F檢驗方法檢驗H0是否成立，此時F分布的分子自由度仍為I-1，但分母自由度和F檢驗統(tǒng)計量（F＇＝MSt/（MStr＋MStp-MStrp））變?yōu)槿缦鹿剑ㄓ捎跊]有重復(fù)測量，所以認(rèn)為

分母自由度＝

多閱片者研究除了可以驗證假設(shè)檢驗是否成立之外，通常還需要估計診斷試驗相應(yīng)的曲線下面積及其可信區(qū)間，以及兩個或者多個診斷試驗之間曲線下面積的差值及其可信區(qū)間。Dorfman、Berbaum和Metz利用Satterthwaite方法也給出了估計各診斷試驗固定效應(yīng)的均數(shù)和不同診斷試驗固定效應(yīng)均數(shù)的差值及95%的可信區(qū)間的方法研究［17］。

（3）單一診斷試驗均數(shù)的可信區(qū)間

對于某一固定的診斷試驗I，根據(jù)前面構(gòu)建的統(tǒng)計學(xué)模型可以簡化為：

模型中各參數(shù)對應(yīng)的效應(yīng)不變，同樣假定隨機(jī)效應(yīng)［rj、pk、（rp）ik］和誤差項［εijk］獨(dú)立，且服從均數(shù)為0，方差分別為的正態(tài)分布。對于第i個診斷試驗，其均數(shù)和均數(shù)的標(biāo)準(zhǔn)誤可以表示為：

所以，第i個診斷試驗均數(shù)95%的可信區(qū)間可以表示為其中v表示為自由度，可以通過公式計算得到。表5給出了某一固定診斷試驗下該模型方程的方差分析表。

表5 混合效應(yīng)方程模型的方差分析（ANOVA）表（固定試驗效應(yīng)）

（4）兩診斷試驗均數(shù)差的可信區(qū)間

對于兩個相比較的診斷試驗i1和i2，估計這兩個診斷試驗均數(shù)差的95%可信區(qū)間時，其均數(shù)之差用Yi1jk-Yi2jk表示，均數(shù)差值的標(biāo)準(zhǔn)誤為計算公式如下：

如果診斷試驗與閱片者、診斷試驗與病例之間沒有交互作用存在，按照上述診斷試驗與閱片者、診斷試驗與病例的2階隨機(jī)交互效應(yīng)將不進(jìn)入模型，兩診斷試驗均數(shù)差值的標(biāo)準(zhǔn)誤可以進(jìn)行簡化為公式自由度為dftrp。

4.基于DBM法的樣本量計算

根據(jù)DBM法構(gòu)建的混合效應(yīng)模型，假定期望效應(yīng)d用兩個不同診斷試驗之間的絕對差值來表示，例如d＝｜AUC1-AUC2｜，其中AUC1、AUC2分別為兩個不同診斷試驗的ROC曲線下面積值。根據(jù)預(yù)試驗或既往研究結(jié)果，估計各種效應(yīng)的方差成分參數(shù)其中，

假定δ為F分布的非中心參數(shù)，1-β為檢驗效能，α為顯著性水平，根據(jù)以下公式可以估計不同把握度1-β、期望效應(yīng)d、顯著性水平α條件下的閱片者和病例的樣本量［18］。

以主動脈夾層的診斷為例，評價SE MRI和CINE MRI兩種診斷技術(shù)對主動脈夾層的診斷準(zhǔn)確度。為了合理估計受試者和閱片者的樣本量，預(yù)實(shí)驗隨機(jī)選擇114例受試者（45例主動脈夾層患者，69例非主動脈夾層患者），由5名影像科醫(yī)生獨(dú)立盲法采用五分法對影像圖片進(jìn)行診斷結(jié)果的判讀（1＝確定為非主動脈夾層患者，2＝可能為非主動脈夾層患者，3＝不確定，4＝可能為主動脈夾層患者，5＝確定為主動脈夾層患者）。表6給出了采用DBM法計算得到的各種效應(yīng)的方差分析結(jié)果［18］。

表6 主動脈夾層診斷預(yù)實(shí)驗研究方差分析的部分結(jié)果

根據(jù)預(yù)實(shí)驗的方差分析結(jié)果可以估計SE MRI和CINE MRI兩種診斷技術(shù)在假定診斷準(zhǔn)確度期望效應(yīng)為0.05，病例樣本量為240，閱片者樣本量為8，檢驗水準(zhǔn)為0.05的條件下該研究的檢驗效能大小。

（1）首先估計各部分的方差分量如下：

（4）根據(jù)公式（12）估計檢驗效能的大?。?/p>

討 論

多閱片者研究充分考慮影像診斷試驗的特殊性，避免了僅用一位或兩位閱片者單一分析影像學(xué)圖像質(zhì)量的評價方法，特別關(guān)注了以下幾個問題：

（1）閱片者之間有多大的差異，簡單采用一名或者兩名的閱片者一致性評價對研究結(jié)果會有多大偏倚；

（2）采用一名或者兩名閱片者對影像結(jié)果進(jìn)行評價得到的診斷試驗結(jié)果是否具有代表性，能否普遍適用于該閱片者樣本之外的病例和閱片者總體；

（3）目標(biāo)閱片者的個人特征（經(jīng)歷、培訓(xùn)等）、試驗病例的自身條件（疾病狀態(tài)、生理特征）的變異對試驗準(zhǔn)確度會產(chǎn)生怎樣的影響；

（4）閱片者、病例以及診斷試驗之間會有多少的相關(guān)，這些相關(guān)會對試驗準(zhǔn)確度產(chǎn)生怎樣的影響；

（5）診斷試驗研究所需要的閱片者的樣本量具體應(yīng)該怎樣確定，有何依據(jù)。

因此，與傳統(tǒng)的影像診斷試驗統(tǒng)計方法相比，多閱片者研究能更好地利用影像診斷臨床試驗中的相關(guān)信息，更全面地控制研究過程中的各種變異或偏倚，從而得到更加有效可靠的影像診斷試驗結(jié)果，對于疾病的鑒別診斷更有臨床意義和價值。但是，由于多閱片者研究設(shè)計中的各種復(fù)雜相關(guān)，使得其結(jié)果的分析也變得更加復(fù)雜，雖然目前有一些專門針對多閱片者研究的統(tǒng)計學(xué)方法，但是其適用性仍然需要更深入的探討和分析。

1.麥青.DR的成像原理、臨床應(yīng)用及維護(hù)保養(yǎng).醫(yī)療裝備，2012，11：30-31.

2.Beam CA，Baker ME，Paine SS，et al.Answering unanswered questions：proposal for a shared resource in clinical diagnostic radiology research.Radiology，1992，183（3）：619-620.

3.Gatsonis C，M cneil BJ.Collaborative evaluations of diagnostic tests：experience of the Radiology Diagnostic Oncology Group.Radiology，1990，175（2）：571-575.

4.M iglioretti DL，Haneuse SJ，Anderson ML.Statistical approaches for modeling radiologists＇interpretive performance.Acad Radiol，2009，16（2）：227-238.

5.Zhou XH.Statistieal methods in diagnostic medieine.NewYork：JohnWiley＆Sons，2002.

6.Obuchowski NA.Reducing the number of reader interpretations in MRMC studies.Acad Radiol，2009，16（2）：209-217.

7.Obuchowski NA，Beiden SV，Berbaum KS，et al.Multireader，multicase receiver operating characteristic analysis：an empirical comparison of fivemethods.Acad Radiol，2004，11（9）：980-995.

8.Obuchowski NA.Multireader，multimodality receiver operating characteristic curve studies：hypothesis testing and sample size estimation using an analysis of variance approach with dependent observations. Acad Radiol，1995，2 Suppl 1：S22-S29，S57-S64，S70-S71.

9.Dorfman DD，Berbaum KS，Metz CE.Receiver operating characteristic rating analysis.Generalization to the population of readers and patients with the jackknifemethod.Invest Radiol，1992，27（9）：723-731.

10.Beiden SV，Wagner RF，Campbell G.Components-of-variance models and multiple-bootstrap experiments：an alternative method for randomeffects，receiver operating characteristic analysis.Acad Radiol，2000，7（5）：341-349.

11.Skaron A，Li K，Zhou XH.Statisticalmethods for MRMC ROC studies. Acad Radiol，2012，19（12）：1499-1507.

12.Song X，Zhou XH.A marginalmodel approach for analysis of multireadermulti-test receiver operating characteristic（ROC）data.Biostatistics，2005，6（2）：303-312.

13.Hillis SL，ObuchowskiNA，Schartz KM，etal.A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockettemethods for receiver operating characteristic（ROC）data.Stat Med，2005，24（10）：1579-1607.

14.陳峰，姚晨，孫高，等.新藥臨床試驗中重復(fù)測量資料的混合效應(yīng)模型.中國衛(wèi)生統(tǒng)計，2000，06：54-57.

15.陳長生，徐勇勇，王彤.交叉設(shè)計資料的混合效應(yīng)模型分析.中國衛(wèi)生統(tǒng)計，2005，04：214-217.

16.姚樹祥，巫秀美，倪宗瓚，等.固定效應(yīng)模型與混合效應(yīng)模型在測量誤差估計中的應(yīng)用.中國公共衛(wèi)生，2000，11：47-48.

17.宇傳華.ROC分析方法及其在醫(yī)學(xué)研究中的應(yīng)用.第四軍醫(yī)大學(xué)，2000.

18.Hillis SL，Berbaum KS.Power estimation for the Dorfman-Berbaum-Metzmethod.Acad Radiol，2004，11（11）：1260-1273

（責(zé)任編輯：郭海強(qiáng)）

1.北京大學(xué)公共衛(wèi)生學(xué)院流行病與衛(wèi)生統(tǒng)計系（100191）

2.北京大學(xué)第一醫(yī)院

3.北京大學(xué)臨床研究所

△通信作者：康曉平，E-mail：Xpkang＠bjmu.edu.cn