具有相關(guān)關(guān)系的靈敏度和特異度的Monte Carlo模擬方法研究*

李劍龍 陳方堯 李丹玲 周基元 陳平雁

南方醫(yī)科大學(xué)公共衛(wèi)生與熱帶醫(yī)學(xué)學(xué)院“器官衰竭防治”國家重點(diǎn)實(shí)驗(yàn)室(510515)

具有相關(guān)關(guān)系的靈敏度和特異度的Monte Carlo模擬方法研究*

李劍龍#陳方堯#李丹玲 周基元△陳平雁

南方醫(yī)科大學(xué)公共衛(wèi)生與熱帶醫(yī)學(xué)學(xué)院“器官衰竭防治”國家重點(diǎn)實(shí)驗(yàn)室(510515)

目的 旨在提出一種Monte Carlo模擬方法，對(duì)具有相關(guān)關(guān)系的靈敏度和特異度進(jìn)行計(jì)算機(jī)模擬，并運(yùn)用其相關(guān)系數(shù)估計(jì)值的均方根誤及偏差對(duì)該模擬方法的有效性進(jìn)行評(píng)價(jià)；進(jìn)而探討分析具有相關(guān)關(guān)系的靈敏度和特異度數(shù)據(jù)時(shí)單樣本Youden指數(shù)u檢驗(yàn)方法的可靠性。方法 將診斷試驗(yàn)的四格表資料看成來自服從四元正態(tài)分布總體的樣本，借助R語言的mvrnorm函數(shù)產(chǎn)生四格表資料，其滿足靈敏度和特異度之間的總體相關(guān)系數(shù)。計(jì)算相關(guān)系數(shù)估計(jì)值的均方根誤及偏差，并計(jì)算Youden指數(shù)u檢驗(yàn)的第I類錯(cuò)誤率與檢驗(yàn)效能。結(jié)果 相關(guān)系數(shù)估計(jì)值的均方根誤及偏差均較小。當(dāng)相關(guān)系數(shù)ρ為0時(shí)，u檢驗(yàn)?zāi)芎芎玫乜刂品傅贗類錯(cuò)誤的概率；然而，當(dāng)ρ不是0時(shí)，u檢驗(yàn)的結(jié)果偏保守，并且隨著|ρ|的增加，其結(jié)果偏離0.05更甚。結(jié)論 本文提出的具有相關(guān)關(guān)系靈敏度和特異度的Monte Carlo模擬方法能真實(shí)地反應(yīng)靈敏度和特異度之間的相關(guān)性；當(dāng)相關(guān)性強(qiáng)時(shí)，Youden指數(shù)u檢驗(yàn)的前提假設(shè)不正確。

相關(guān)系數(shù) Monte Carlo模擬 靈敏度 特異度

科學(xué)的評(píng)價(jià)診斷試驗(yàn)是臨床醫(yī)師選擇診斷試驗(yàn)的基礎(chǔ)[1]。為了合理選用診斷試驗(yàn)以避免盲目性，臨床醫(yī)師就需要對(duì)診斷試驗(yàn)進(jìn)行科學(xué)研究并做出科學(xué)的評(píng)價(jià)。在進(jìn)行兩個(gè)診斷系統(tǒng)比較時(shí)，單獨(dú)使用靈敏度與特異度作為評(píng)價(jià)指標(biāo)不能完美判斷哪個(gè)診斷系統(tǒng)更好。由此，Youden建議將靈敏度與特異度綜合起來提出了Youden指數(shù)來評(píng)價(jià)診斷試驗(yàn)的準(zhǔn)確度[2]。Youden指數(shù)(Youden index，YI)是評(píng)價(jià)診斷方法診斷能力的綜合性指標(biāo)[3]。YI的值介于-1與1之間，其值越大，說明診斷試驗(yàn)的真實(shí)性越好；當(dāng)YI小于等于0時(shí)，該診斷試驗(yàn)無任何臨床應(yīng)用價(jià)值[1]。

然而，對(duì)于現(xiàn)有診斷試驗(yàn)的評(píng)價(jià)方法能否正確地對(duì)診斷試驗(yàn)進(jìn)行評(píng)價(jià)都是需要進(jìn)行檢驗(yàn)的。單樣本Youden指數(shù)u檢驗(yàn)可以用于檢驗(yàn)單樣本的Youden指數(shù)是否為某一常數(shù)。注意到其需要一個(gè)前提假設(shè)，即要求靈敏度和特異度之間是相互獨(dú)立的。然而，現(xiàn)實(shí)中靈敏度和特異度通常是相關(guān)的[4-5]。有研究曾提出采用多項(xiàng)分布來模擬產(chǎn)生兩個(gè)相關(guān)的二項(xiàng)分布數(shù)據(jù)(四格表數(shù)據(jù))，然而這種方法早前曾被研究人員證實(shí)所產(chǎn)生的數(shù)據(jù)并不能良好地反應(yīng)出所設(shè)定的參數(shù)[6-7]。因此，本研究旨在提出一種Monte Carlo模擬方法[8]，對(duì)具有相關(guān)關(guān)系的靈敏度和特異度進(jìn)行計(jì)算機(jī)模擬，并運(yùn)用其相關(guān)系數(shù)估計(jì)值的均方根誤(root mean squared error，RMSE)及偏差對(duì)該模擬方法的有效性進(jìn)行評(píng)價(jià)；進(jìn)而計(jì)算出其樣本Youden指數(shù)，運(yùn)用現(xiàn)有的單樣本Youden指數(shù)u檢驗(yàn)方法對(duì)模擬數(shù)據(jù)進(jìn)行分析，重復(fù)多次模擬時(shí)計(jì)算其第I類錯(cuò)誤率與檢驗(yàn)效能，以探討運(yùn)用u檢驗(yàn)方法分析具有相關(guān)關(guān)系的靈敏度和特異度數(shù)據(jù)時(shí)的可靠性。

對(duì)象與方法

1.理論背景

(1)靈敏度與特異度之間的相關(guān)系數(shù)

在實(shí)際應(yīng)用過程中，靈敏度與特異度之間存在著一定的相關(guān)關(guān)系[4-5]，體現(xiàn)二者相關(guān)關(guān)系的方法很多[9]。本文只考慮將二者之間的相關(guān)關(guān)系與二者之間的線性回歸聯(lián)系起來的方法，其滿足r=bSpe.Sen(SSen/SSpe)=bSen.Spe(SSpe/SSen),其中r為靈敏度與特異度之間的樣本相關(guān)系數(shù)，bSpe.Sen與bSen.Spe分別表示由靈敏度到特異度的回歸系數(shù)和由特異度到靈敏度的回歸系數(shù)，SSen與SSpe分別為靈敏度與特異度的標(biāo)準(zhǔn)誤。

(2)靈敏度Sen、特異度Spe及Youden指數(shù)的u檢驗(yàn)[1]

(1)

給定一個(gè)四格表診斷試驗(yàn)數(shù)據(jù)與三個(gè)常數(shù)Sen0、Spe0與YI0，對(duì)靈敏度、特異度與Youden指數(shù)可以做單樣本的u檢驗(yàn)，其檢驗(yàn)統(tǒng)計(jì)量分別為

(2)

2.模擬方法

(1)模擬第I類錯(cuò)誤率時(shí)的參數(shù)設(shè)置

設(shè)p1、p2、p3與p4分別為四格表中四個(gè)實(shí)際頻數(shù)a、b、c與d的理論頻率，t=p1+p3=0.5，1-t=p2+p4=0.5，給定靈敏度總體均數(shù)μ1=0.65，特異度總體均數(shù)μ2=0.75，那么p1=0.325，p2=0.175，p3=0.125，p4=0.375。總樣本量n為100、200、300、500與1000，靈敏度和特異度之間的總體相關(guān)系數(shù)ρ為0、-0.3與-0.4。從而，三個(gè)檢驗(yàn)的原假設(shè)分別為Sen0=0.65、Spe0=0.75、YI0=0.4。

(2)模擬靈敏度和特異度之間的相關(guān)關(guān)系與四格表數(shù)據(jù)

(3)靈敏度和特異度之間相關(guān)系數(shù)的估計(jì)

(4)模擬檢驗(yàn)效能時(shí)的參數(shù)設(shè)置

三個(gè)檢驗(yàn)的原假設(shè)仍然分別取為Sen0=0.65、Spe0=0.75、YI0=0.4。而在備擇假設(shè)條件下Sen、Spe和YI的設(shè)置如表1，其中D=YI-YI0。另外，總樣本量n、靈敏度和特異度之間總體相關(guān)系數(shù)ρ的取法與第I類錯(cuò)誤率模擬中的參數(shù)設(shè)置相同。

(5)模擬第I類錯(cuò)誤率與檢驗(yàn)效能

結(jié) 果

1.靈敏度和特異度之間相關(guān)系數(shù)的均方根誤與偏差

2.單樣本靈敏度、特異度與Youden指數(shù)u檢驗(yàn)的第I類錯(cuò)誤率

在不同ρ值與不同樣本量條件下，單樣本靈敏度、特異度與Youden指數(shù)u檢驗(yàn)的第I類錯(cuò)誤率結(jié)果見表3。無論ρ為0還是不為0，靈敏度與特異度的u檢驗(yàn)第I類錯(cuò)誤率基本控制在0.05的附近。因此，本文新提出的模擬方法能準(zhǔn)確地模擬出所設(shè)定的參數(shù)。另一方面，由于單樣本Youden指數(shù)u檢驗(yàn)有一個(gè)前提假設(shè)，即要求靈敏度和特異度之間是相互獨(dú)立的。因此，當(dāng)靈敏度和特異度的相關(guān)系數(shù)為0時(shí)，其u檢驗(yàn)?zāi)芎芎玫乜刂品傅贗類錯(cuò)誤的概率。然而，當(dāng)相關(guān)系數(shù)ρ不是0時(shí)，單樣本Youden指數(shù)u檢驗(yàn)的結(jié)果偏保守，并且隨著相關(guān)性的增強(qiáng)，其結(jié)果偏離0.05更甚。

3.單樣本Youden指數(shù)u檢驗(yàn)的檢驗(yàn)效能

在不同ρ值與不同樣本量條件下，單樣本Youden指數(shù)u檢驗(yàn)的檢驗(yàn)效能結(jié)果見圖1。注意，當(dāng)YI與YI0之間的差值D為0時(shí)，其為u檢驗(yàn)的第I類錯(cuò)誤率。從圖形可以看出，當(dāng)相關(guān)系數(shù)與樣本量固定時(shí)，YI與YI0之間差值D的絕對(duì)值越大，單樣本Youden指數(shù)u檢驗(yàn)的檢驗(yàn)效能越大。另外，隨著樣本量的增加，其檢驗(yàn)效能逐漸增大。

討 論

本文提出了一種基于四元正態(tài)分布總體、對(duì)具有相關(guān)關(guān)系的靈敏度和特異度進(jìn)行Monte Carlo模擬的方法。從模擬結(jié)果可以看出，模擬方法能真實(shí)地反應(yīng)靈敏度和特異度之間的相關(guān)系數(shù)。運(yùn)用現(xiàn)有的單樣本Youden指數(shù)u檢驗(yàn)方法對(duì)模擬數(shù)據(jù)進(jìn)行分析，重復(fù)多次模擬時(shí)計(jì)算其第I類錯(cuò)誤率。從模擬結(jié)果可以看出，當(dāng)靈敏度和特異度的相關(guān)系數(shù)為0時(shí)，u檢驗(yàn)?zāi)芎芎玫乜刂品傅贗類錯(cuò)誤的概率。然而，當(dāng)相關(guān)系數(shù)ρ不是0時(shí)，單樣本Youden指數(shù)u檢驗(yàn)的結(jié)果偏保守，并且隨著相關(guān)性的增強(qiáng)，其結(jié)果偏離0.05更甚。因此，當(dāng)靈敏度和特異度之間的相關(guān)性強(qiáng)時(shí)，反應(yīng)診斷試驗(yàn)真實(shí)性的綜合評(píng)價(jià)指標(biāo)Youden指數(shù)單樣本u檢驗(yàn)的前提假設(shè)不正確。

本文只模擬了總樣本量大于等于100的情形，將來要針對(duì)小樣本做適當(dāng)?shù)哪M。另外，本文中靈敏度與特異度之間的相關(guān)關(guān)系采用了二者標(biāo)準(zhǔn)化后將二者之間的回歸與相關(guān)聯(lián)系起來的方法，但是靈敏度與特異度之間的相關(guān)關(guān)系并不僅限于此種形式，在將來的研究中要選取更多體現(xiàn)相關(guān)關(guān)系的情況進(jìn)行模擬分析。

[1]Galen RS,Brennan L.Laboratory Diagnosis and Patient Monitoring:Clinical Chemistry.Oradell,New Jersey:Medical Economics Company,1981.

[2]Yerushalmy J.Statistical problems in assessing methods of medical diagnosis，with special reference to X-ray techniques.Public Health Reports (1896-1970),1947,62(40):1432-1449.

[3]Youden WJ.Index for rating diagnostic tests.Cancer,1950,3(1):32-35.

[4]Zhou XH,Obuchowski NA,McClish DK.Statistical Method in Diagnostic Medicine.New York:John Wiley & Sons,2002.

[5]Fleiss JL,Levin B,Paik MC.Statistical Methods for Rates and Proportions.New York:John Wiley & Sons,2013.

[6]Johnson NL,Kotz S,Balakrishnan N.Discrete Multivariate Distributions.New York:Wiley,1997.

[7]Mardia KV.Families of Bivariate Distributions.London:Griffin,1970.

[8]文德智，卓仁鴻，丁大杰,等.蒙特卡羅模擬中相關(guān)變量隨機(jī)數(shù)序列的產(chǎn)生方法.物理學(xué)報(bào)，2012，61(22):220204-220204.

[9]Rodgers JL,Nicewander WA.Thirteen ways to look at the correlation coefficient.The American Statistician,1988,42(1):59-66.

(責(zé)任編輯：郭海強(qiáng))

A Monte Carlo Simulation Method for Generating the Correlated Sensitivity and Specificity

Li Jianlong,Chen Fangyao，Li Danling,et al

(State Key Laboratory of Organ Failure Research,School of Public Health and Tropical Medicine,Southern Medical University (510515),Guangzhou)

Objective This study aims to propose a Monte Carlo simulation method to generate the correlated sensitivity and specificity in diagnostic trials,and then calculate the root mean squared error (RMSE) and bias of the estimate of the correlation coefficient between them so as to assess the validity of the proposed simulation method.Further,we study the reliability of the existingutest for single sampleYoudenindex based on the data where the sensitivity and specificity are correlated.Methods In the simulation study,the diagnostic test data are considered to be generated from a four-dimensional normal distribution and the four-fold table data in the diagnostic test are generated from the mvrnorm function in R,where the sample correlation coefficient between the sensitivity and specificity is kept close to the population correlation coefficientρ.As such,the corresponding RMSE and bias,the type I error rate and power can be calculated.Results Both the RMSE and bias are very small.Whenρis 0,theutest can control the type I error rate well.However,whenρis not 0,theutest is conservative.Further,with the increase of |ρ|,the type I error rate is much more faraway from 0.05.Conclusion The Monte Carlo simulation method proposed in this article can effectively simulate the correlation relationship between the sensitivity and specificity.When there is a strong correlation between the sensitivity and specificity,the independence assumption between them is not so reasonable for theutest of single sampleYoudenindex in diagnostic test.

Correlation coefficient;Monte Carlo simulation;Sensitivity;Specificity

國家自然科學(xué)基金項(xiàng)目(81373098，81072386，81402759)；廣東省醫(yī)學(xué)科研基金(B2013222)和全國統(tǒng)計(jì)科學(xué)研究計(jì)劃項(xiàng)目(2013LY059)共同資助。

# 李劍龍與陳方堯?yàn)楣餐谝蛔髡?/p>

△通信作者：周基元，E-mail:zhoujiyuan5460@hotmail.com