基于Matlab的受試者操作特征曲線分析

邵毅，邵慧妍，陳卉

首都醫(yī)科大學(xué) 生物醫(yī)學(xué)工程學(xué)院，北京 100069

0 前言

診斷試驗(yàn)是指為受試者做出診斷所應(yīng)用的各種實(shí)驗(yàn)室檢查、影像設(shè)備檢查、醫(yī)生的主觀診斷以及其他診斷方法，如數(shù)學(xué)模型、計(jì)算機(jī)輔助診斷程序等。準(zhǔn)確的診斷試驗(yàn)?zāi)軌蚴够颊叩玫礁皶r(shí)、更準(zhǔn)確的治療。因此，正確而客觀地評(píng)價(jià)診斷試驗(yàn)具有重要的臨床意義。評(píng)價(jià)診斷試驗(yàn)的傳統(tǒng)方法是使用靈敏度、特異度、準(zhǔn)確率等指標(biāo)。由于這些指標(biāo)受主觀選定的診斷分界點(diǎn)的影響，所以難以全面反映診斷試驗(yàn)的優(yōu)劣。

受試者操作特征（Receiver Operating Characteristic，ROC）曲線與診斷分界點(diǎn)無(wú)關(guān)，能客觀、全面地反映診斷方法對(duì)疾病的鑒別能力，從而在診斷試驗(yàn)評(píng)價(jià)中得到越來(lái)越廣泛的使用[1-2]，目前已成為國(guó)內(nèi)外公認(rèn)的標(biāo)準(zhǔn)臨床篩查與診斷評(píng)價(jià)統(tǒng)計(jì)學(xué)方法。生成ROC曲線的方法分為參數(shù)法和非參數(shù)法。參數(shù)法通過(guò)數(shù)學(xué)模型（雙正態(tài)模型[3]、累積Logit模型[4]、基于貝葉斯估計(jì)的ROC 曲線回歸模型[5]等）估計(jì)和建立ROC曲線，它要求診斷試驗(yàn)數(shù)據(jù)不應(yīng)明顯偏離正態(tài)分布。非參數(shù)法[6-8]則是通過(guò)試驗(yàn)數(shù)據(jù)直接產(chǎn)生ROC曲線，它對(duì)診斷試驗(yàn)數(shù)據(jù)沒(méi)有分布假設(shè)，特別是對(duì)于連續(xù)型診斷試驗(yàn)數(shù)據(jù)能夠生成無(wú)偏的ROC曲線[9]。

目前，國(guó)外較權(quán)威和常用的醫(yī)學(xué)統(tǒng)計(jì)軟件，如SAS和SPSS均提供了非參數(shù)法ROC曲線分析的功能，但它們無(wú)法對(duì)兩個(gè)診斷試驗(yàn)進(jìn)行ROC曲線下面積的比較?？梢赃M(jìn)行ROC曲線下面積比較的軟件，如ROCKIT采用了雙正態(tài)參數(shù)法ROC曲線估計(jì)，對(duì)于不符合條件的資料可能得到不正確的結(jié)果[10]。為此，我們利用Matlab軟件編制了非參數(shù)法ROC曲線分析軟件，它不僅能夠生成ROC曲線，還能對(duì)兩個(gè)診斷試驗(yàn)進(jìn)行比較，并能保存ROC曲線上操作點(diǎn)的坐標(biāo)以便其他程序調(diào)用，其性能優(yōu)于其他基于Matlab的ROC曲線繪制程序[11]。

1 非參數(shù)法ROC曲線分析的基本思想

ROC曲線非參數(shù)分析法目前應(yīng)用最廣泛的是Hanley和McNeil法。雖然也有人提出了其他非參數(shù)法，但因?yàn)槠溆?jì)算復(fù)雜，很少有人使用。而Hanley和McNeil法計(jì)算相對(duì)簡(jiǎn)單，容易理解，適用于一般的有序分類資料與連續(xù)型資料，其基本原理如下。

1.1 靈敏度和特異度

選定某一診斷分解點(diǎn)后，將診斷試驗(yàn)結(jié)果與金標(biāo)準(zhǔn)結(jié)果比較，可以得到以下診斷試驗(yàn)評(píng)價(jià)四格表（表1），從而方便地計(jì)算靈敏度和特異度指標(biāo)[10]。

表1 診斷試驗(yàn)評(píng)價(jià)的四格表

1.2 ROC曲線

將診斷分界點(diǎn)遍歷所有可能的值，則得到由原始試驗(yàn)數(shù)據(jù)對(duì)應(yīng)的一系列靈敏度與特異度。以每一診斷分界點(diǎn)下的1－特異度和靈敏度為橫縱坐標(biāo)生成一個(gè)點(diǎn)，稱之為操作點(diǎn)。依次連接所有操作點(diǎn)即得到ROC曲線。

1.3 ROC曲線下面積

ROC曲線下面積（Area Under The Curve，AUC）用于定量的評(píng)價(jià)和比較診斷試驗(yàn)。假設(shè)正常組有n例試驗(yàn)數(shù)據(jù)xni（i=1, 2, …,n），異常組有 m 例試驗(yàn)數(shù)據(jù) xmj（j=1, 2, …,m）。根據(jù)Wilcoxon Mann-Whitney統(tǒng)計(jì)量，AUC等于異常組每個(gè)試驗(yàn)數(shù)據(jù)＞正常組每個(gè)試驗(yàn)數(shù)據(jù)的概率[4]，即：

AUC的標(biāo)準(zhǔn)為：

其中，Q1是任意隨機(jī)選擇兩個(gè)異常組的試驗(yàn)數(shù)據(jù)都將大于任意隨機(jī)選擇的一個(gè)正常組的試驗(yàn)數(shù)據(jù)的概率，Q2是任意隨機(jī)選擇一個(gè)異常組的試驗(yàn)數(shù)據(jù)都將大于任意隨機(jī)選擇的兩個(gè)正常組的試驗(yàn)數(shù)據(jù)的概率。

當(dāng)有兩個(gè)針對(duì)同一組對(duì)象的診斷試驗(yàn)時(shí)，可以對(duì)兩個(gè)診斷試驗(yàn)的AUC進(jìn)行u檢驗(yàn)，從而確定兩個(gè)診斷試驗(yàn)差異的統(tǒng)計(jì)學(xué)意義。u檢驗(yàn)的計(jì)算公式為[7]：

其中，r為兩個(gè)診斷試驗(yàn)得到的AUC的相關(guān)系數(shù)，通過(guò)查表2得到。

在文獻(xiàn)[7]中，兩個(gè)診斷試驗(yàn)ROC曲線下面積的相關(guān)系數(shù)表中并不包含表2中陰影部分的數(shù)字，即原文對(duì)于異常組和正常組診斷結(jié)果的平均相關(guān)系數(shù)最大為0.90。而在實(shí)際應(yīng)用時(shí)，有可能出現(xiàn)平均相關(guān)系數(shù)＞0.90的情況。因此，我們對(duì)原文中某一平均面積下診斷結(jié)果平均相關(guān)系數(shù)與AUC的相關(guān)系數(shù)進(jìn)行二次擬合（擬合方程的決定系數(shù)R2>0.999），并推算診斷結(jié)果平均相關(guān)系數(shù)為0.92～1.00時(shí)對(duì)應(yīng)的AUC相關(guān)系數(shù)，即得到表2中陰影部分的數(shù)字。

2 基于Matlab的ROC曲線分析軟件

根據(jù)上述原理，我們利用Matlab軟件編寫(xiě)程序，并設(shè)計(jì)出圖形用戶界面。

2.1 軟件功能

2.1.1 數(shù)據(jù)輸入

軟件提供了兩種輸入診斷評(píng)價(jià)數(shù)據(jù)的方法。用戶既可以直接從鍵盤(pán)錄入數(shù)據(jù)，也可以導(dǎo)入事先保存好的Excel數(shù)據(jù)文件。需要注意的是輸入和讀入的數(shù)據(jù)一定要與選擇的診斷試驗(yàn)個(gè)數(shù)一致。數(shù)據(jù)的類型可以是有序分類型數(shù)據(jù)（等級(jí)資料），也可以是連續(xù)型數(shù)據(jù)。

2.1.2 ROC曲線分析

對(duì)單個(gè)診斷試驗(yàn)，使用原始數(shù)據(jù)繪制ROC曲線，并利用非參數(shù)方法計(jì)算ROC曲線的AUC及該AUC與毫無(wú)診斷能力的AUC=0.5進(jìn)行比較P值。

對(duì)于兩個(gè)配對(duì)設(shè)計(jì)的診斷試驗(yàn)，使用原始數(shù)據(jù)繪制兩條ROC曲線，并利用非參數(shù)方法計(jì)算AUC并比較，給出AUC的值和檢驗(yàn)統(tǒng)計(jì)量u及P值。

2.1.3 保存結(jié)果

軟件給出了ROC曲線中每個(gè)操作點(diǎn)的坐標(biāo)值，即1-特異度和靈敏度。這些數(shù)據(jù)可以導(dǎo)出為Excel工作簿文件，供其他軟件調(diào)用和分析，如繪制更美觀的ROC曲線，計(jì)算最佳診斷分界點(diǎn)等。

表2 兩個(gè)ROC曲線下面積的相關(guān)系數(shù)[7]

2.2 軟件驗(yàn)證

我們以文獻(xiàn)[6,8]的數(shù)據(jù)為例，分別用本軟件、SPSS以及Analyse-it（Analyse-it Software Ltd., http://www.analyse-it.com/）進(jìn)行單個(gè)及兩個(gè)診斷試驗(yàn)的非參數(shù)法ROC曲線分析，結(jié)果見(jiàn)表3～4。

表3 對(duì)文獻(xiàn)[6]中數(shù)據(jù)的分析結(jié)果

表4 對(duì)文獻(xiàn)[8]中數(shù)據(jù)的分析結(jié)果（AUC±SEAUC）

3 應(yīng)用實(shí)例

現(xiàn)用A、B兩種技術(shù)檢測(cè)45例患者（其中21例確診患有洛磯山斑疹熱洛磯山斑疹熱（RMSF），24例為普通發(fā)熱）的血清鈉水平，想了解血清鈉水平對(duì)RMSF是否有診斷作用，以及哪種檢測(cè)技術(shù)更準(zhǔn)確。數(shù)據(jù)來(lái)源于GehlBach（1988年），數(shù)據(jù)散點(diǎn)圖，見(jiàn)圖1。

從圖1可以看出，兩種技術(shù)檢測(cè)得到的血清鈉水平都不能將RMSF患者與普通發(fā)熱患者完全分開(kāi)，且兩種檢測(cè)結(jié)果的區(qū)分度不同，方法1稍好于方法2。將原始數(shù)據(jù)保存為.xls格式文檔，在本軟件中導(dǎo)入數(shù)據(jù)后的結(jié)果，見(jiàn)圖2。

圖1 實(shí)例數(shù)據(jù)的分布散點(diǎn)圖

圖2 軟件運(yùn)行實(shí)例的結(jié)果

圖2左下方為導(dǎo)入的原始數(shù)據(jù)，右上方為兩種技術(shù)檢測(cè)血清鈉水平對(duì)RMSF進(jìn)行診斷對(duì)應(yīng)的ROC曲線。兩種方法檢測(cè)結(jié)果診斷的ROC曲線下面積分別為0.8750±0.0507和0.8080±0.0644，均在0.7～0.9的范圍內(nèi)，說(shuō)明血清鈉水平對(duì)RMSF具有中等程度的診斷作用。

對(duì)兩條曲線下面積進(jìn)行比較，u=3.183，P=0.0015，說(shuō)明兩種檢測(cè)技術(shù)診斷RMSF的準(zhǔn)確度確有差異，實(shí)線ROC曲線對(duì)應(yīng)的方法1更準(zhǔn)確。該結(jié)果與圖1的直觀反映完全吻合。

4 討論

傳統(tǒng)的診斷試驗(yàn)評(píng)價(jià)指標(biāo)包括正確率、靈敏度、特異度、約登指數(shù)、陽(yáng)性/陰性預(yù)測(cè)值等。這些評(píng)價(jià)指標(biāo)的共同不足是評(píng)價(jià)結(jié)果隨著診斷分界點(diǎn)選取的不同而改變，且易受到發(fā)病率的影響。ROC曲線綜合了特異度和靈敏度兩個(gè)指標(biāo)，擺脫了患病率對(duì)評(píng)價(jià)結(jié)果的影響，特別是考慮到了所有可能的診斷分界點(diǎn)，曲線下面積還能夠用來(lái)對(duì)診斷試驗(yàn)進(jìn)行定量的評(píng)價(jià)和比較，從而成為公認(rèn)的最佳診斷試驗(yàn)評(píng)價(jià)工具。在本文的應(yīng)用實(shí)例中，兩種血清鈉水平檢測(cè)方法所得結(jié)果的ROC曲線下面積分別為0.875和0.808，說(shuō)明兩種方法測(cè)得的血清鈉水平均具有一定的診斷能力。對(duì)兩種檢測(cè)結(jié)果的診斷價(jià)值進(jìn)行比較，得出P<0.05，即兩條曲線的曲線下面積之差為0.067，差異有統(tǒng)計(jì)學(xué)意義，方法1檢測(cè)得到的血清鈉水平診RMSF的準(zhǔn)確性更高。

ROC曲線分析分為參數(shù)法和非參數(shù)法。一般認(rèn)為非參數(shù)法因其沒(méi)有條件限制，所以可以應(yīng)用于所有診斷試驗(yàn)的準(zhǔn)確度評(píng)價(jià)，但計(jì)算的ROC曲線下面積往往偏??；而參數(shù)法可較準(zhǔn)確地估計(jì)ROC曲線下面積，但在樣本量較小或資料遠(yuǎn)遠(yuǎn)偏離其應(yīng)用條件（服從雙正態(tài)分布）時(shí)，估計(jì)的結(jié)果可能嚴(yán)重偏離真實(shí)值；在樣本量較大且相同值較少時(shí)，參數(shù)法和非參數(shù)法估計(jì)的ROC曲線下面積則近似相等。因此，在實(shí)踐中，樣本量大時(shí)可選擇參數(shù)法或非參數(shù)法估計(jì)ROC曲線下面積，樣本量較小時(shí)選擇非參數(shù)法[13]。

由于目前較為權(quán)威的醫(yī)學(xué)統(tǒng)計(jì)軟件SPSS和SAS都只提供了非參數(shù)法計(jì)算ROC曲線下面積的功能，而不能對(duì)曲線下面積進(jìn)行比較，為此，我們利用Matlab的圖形用戶界面編寫(xiě)了具有導(dǎo)入、保存、圖形展示等功能的非參數(shù)法ROC曲線分析軟件，并補(bǔ)充了經(jīng)典文獻(xiàn)提供的ROC曲線下面積相關(guān)系數(shù)表。本軟件具有計(jì)算準(zhǔn)確、通用性強(qiáng)、界面友好、操作簡(jiǎn)便、結(jié)果簡(jiǎn)潔等特點(diǎn)，在實(shí)際工作中具有一定的實(shí)用價(jià)值。

[1]王忠周,張經(jīng)建,王新怡,等.應(yīng)用ROC曲線對(duì)比研究數(shù)字乳腺機(jī)不同靶面/濾過(guò)組合的輻射劑量及圖像質(zhì)量[J].醫(yī)學(xué)影像學(xué)雜志,2011,21(3):429-432.

[2]張瑞,鄭玄中,靳宏星,等.應(yīng)用ROC曲線評(píng)價(jià)DWI診斷直腸癌的價(jià)值[J].實(shí)用醫(yī)學(xué)影像雜志,2011,12(3):170-173.

[3]Charles E Metz.ROC analysis in medical imaging:a tutorial review of the literature[J].Radiological Physics and Technology,2008, 1(1):2-12.

[4]宇傳華,余松林,徐勇勇.比例優(yōu)勢(shì)模型實(shí)現(xiàn)ROC分析的方法及其應(yīng)用前景分析[J].中國(guó)衛(wèi)生統(tǒng)計(jì),2005,22(5):293-296.

[5]尉潔,宋嬌嬌,趙晉芳,等.基于貝葉斯估計(jì)的診斷試驗(yàn)ROC曲線回歸模型[J].中國(guó)衛(wèi)生統(tǒng)計(jì),2010,27(2):152-154.

[6]Hanley JA,McNeil BJ.The meaning and use of the area under a receiver operating characteristic (ROC) curve [J].Radiology,1982,143:29-36.

[7]Hanley JA,McNeil BJ.A method of comparing the areas under a receiver operating characteristic curves derived from the same cases [J].Radiology,1983,148: 839-843.

[8]DeLong ER,DeLong DM,Clarke-Pearson DL.Comparing the areas under two or more correlated receiver operating characteristic curves:a nonparametric approach [J].Biometrics,1988,44:837-844.

[9]Kelly H Z,A James O' Malley,Laura M.Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models[J].Circulation,2007,115:654-657.

[10]Stephan C,Wesseling S,Schink T,et al.Comparison of eight computer programs for receiver-operating characteristic analysis[J].Clinical Chemistry,2003,49(3):433-439.

[11]石昊蘇.基于實(shí)例與MATLAB的ROC曲線繪制比較研究[J].電子設(shè)計(jì)工程,2010,18(9):36-39.

[12]宇傳華.ROC分析方法及其在醫(yī)學(xué)研究中的應(yīng)用[D].西安:第四軍醫(yī)大學(xué),2000.

[13]宋花玲,賀佳孫,黃品賢,等.ROC曲線下面積估計(jì)的參數(shù)法與非參數(shù)法的應(yīng)用研究[J].上海:第二軍醫(yī)大學(xué)學(xué)報(bào),2006,27(7):726-728.