ROC曲線及其分析方法綜述

王彥光，朱鴻斌，徐維超

（廣東工業(yè)大學 自動化學院，廣東 廣州510006）

接收機工作特性曲線(Receiver Operating Characteristic,ROC)分析起源于二戰(zhàn)時期的信號檢測方法，最早被應用于處理雷達圖像，用來描述檢測信號的命中率及誤報率之間的權(quán)衡關(guān)系[1-2]。此后，該方法廣泛應用于醫(yī)療診斷[3-5]。在1989年，Spackman 將其引入機器學習領(lǐng)域，用于評價分類器性能[6]。從此，ROC曲線在機器學習[7-11]、計算機視覺[12-13]等領(lǐng)域被用于算法的評價和優(yōu)化方面。

ROC曲線能對分類器的準確性進行全局性的評估，它包含了所有可能的決策閾值，不需特定的決策閾值。此外，ROC曲線不依賴于測試結(jié)果的規(guī)模，即對分類結(jié)果進行單調(diào)變換可以保持不變性[14]。由此，在大多數(shù)實際問題中，樣本分布不均勻和錯誤分類的代價不一致的問題可能會影響評估結(jié)果，而ROC曲線能夠很好解決該難題。在性能診斷方面，ROC曲線是完全意義上的自由分布假設(shè)[15]，無需用到假設(shè)類分布的參數(shù)形式，從而保證了ROC曲線應用的廣泛性。

根據(jù)ROC曲線在模型與算法的評價、展示、比較、選擇和優(yōu)化中所體現(xiàn)的優(yōu)異性[16]，本文旨在從二分類問題引入ROC曲線的基本概念，介紹了非參數(shù)、參數(shù)、半?yún)?shù)模型和ROC曲線的構(gòu)建方法，同時根據(jù)ROC曲線的基本性質(zhì)，介紹了ROC曲線的一些常見評價方法，為讀者的實踐應用提供參考。

1 二分類問題

1.1 定義

二分類方法在多種實際應用決策中起著核心作用。例如，在模式識別領(lǐng)域，重要的數(shù)據(jù)應該在一個巨大的數(shù)據(jù)集中進行分類和標記[17]；在基于歷史數(shù)據(jù)的預測中，將每個數(shù)據(jù)區(qū)分為是否遵循歷史趨勢的二分類方法；在人體跟蹤領(lǐng)域，要分析人體行為，需要將陽性樣本從陰性樣本中分離出來，完成跟蹤步驟[18-19]?？偠灾诸愗灤┯谏鐣a(chǎn)和生活的各個領(lǐng)域，也是數(shù)據(jù)處理領(lǐng)域的熱門研究內(nèi)容。

二分類是一種基于2組元素的分類規(guī)則的任務[8,20]，在模型構(gòu)建(訓練)過程中，二分類算法能發(fā)現(xiàn)屬性值與目標值之間的關(guān)系。不同的分類算法將使用不同的技術(shù)尋找這種關(guān)系，然后將這些關(guān)系總結(jié)在一個模型中，并應用于不同的數(shù)據(jù)集。二分類往往通過將一組測試數(shù)據(jù)中的預測值與已知目標值進行比較，從而對分類模型(分類器)進行檢驗。一個二分類模型的定義及構(gòu)建過程如下。

然而，二分類問題必須面對的一個難題是數(shù)據(jù)平衡性[21]。數(shù)據(jù)平衡性是指不同類別數(shù)據(jù)集數(shù)量是否平衡，比如一個有1 000個數(shù)據(jù)的二分類數(shù)據(jù)集，一類數(shù)據(jù)有100個，二類數(shù)據(jù)有900個，它們之間的數(shù)量之比達到1:9，這就是類間數(shù)據(jù)不平衡。如果它們之間的數(shù)據(jù)大概相等，比如510:490，這樣的數(shù)據(jù)集就是類間平衡。由于大多數(shù)學習算法的設(shè)計目的是關(guān)注最大化總體分類精度，這將導致在不平衡的場景中，只需將所有實例預測為數(shù)據(jù)較多的類別即可獲得較高的精度。因此，不平衡的數(shù)據(jù)集將會降低分類器的性能。對于數(shù)據(jù)不平衡的情況，學者們提出了不同的評判指標[22]。

1.2 混淆矩陣與分類器性能評判

混淆矩陣是對分類問題的預測結(jié)果的總結(jié)，即正確和錯誤預測的數(shù)量用計數(shù)值進行匯總，并按每個類進行分類，這是混淆矩陣的關(guān)鍵。同時，混淆矩陣顯示了分類模型在進行預測時混淆的方式，它不僅讓大家了解分類器所犯的錯誤，而且更重要的是能夠讓大家了解所犯錯誤的類型。

在二分類問題中，給定一個二分類器和一個實例，有4種可能的結(jié)果，具體定義如下。

(1) 真陽性(TP)：真實結(jié)果為正例，預測為正例。(2) 假陰性(FN)：真實結(jié)果為正性，但預測為負例。

(3)真陰性(TN)：真實結(jié)果為負例，預測為負例。

(4)假陽性(FP)：觀察結(jié)果為負例，但預測為正例。

其分類結(jié)果用一個2×2矩陣表示，稱為混淆矩陣。構(gòu)造如圖1所示[8]。其中，P表示正例，N表示負例。

圖1 混淆矩陣示意圖Fig.1 Diagram of confusion matrix

1.3 常用分類器性能評估標準

給定一個數(shù)據(jù)集和一個分類器，經(jīng)過訓練和測試可以得到分類結(jié)果，但是得到結(jié)果后會面臨如何評價這個模型性能的問題。從混淆矩陣的4種結(jié)果出發(fā)，可以得到很多有意義的分類算法評價指標[23]。

準確率（Accuracy,ACC）是一個最直觀和簡單的評價指標，它是正確的預測結(jié)果與總的預測結(jié)果之比，其計算表達式用混淆矩陣的量表示為

其中TP表示正例樣本被正確分為正例的數(shù)目，TN表示負例類樣本被正確分為負例的數(shù)目，而FP 和FN 分別表示正例樣本被錯誤分為負例的樣本數(shù)目和負例樣本被錯誤分為正例樣本的數(shù)目。

準確率能直接表征分類器的分類水平，但是當分類器面對的是不平衡數(shù)據(jù)集時，該指標并不能反映出分類器的真實分類能力。例如，有1 000人進行乳腺癌診斷，其中有10人確診乳腺癌。如果以陰性為統(tǒng)計標準，那么，無論如何該準確率也可以高達 99.9%，然而，這樣評價標準是毫無意義的。

真正率（True Positive Rate,TPR)也稱為召回率或查全率、敏感性。高的真正率意味著很少的假負例，表示該類被正確識別，其數(shù)學表達式為

假正率(False Positive Rate,FPR)，在信號檢測領(lǐng)域也叫虛警率，指被錯誤分類為正例(假陽性)的負例事件數(shù)量與實際正例事件總數(shù)(不論分類如何)的比值，其數(shù)學表達式為

2 ROC曲線的構(gòu)建

2.1 非參數(shù)ROC曲線模型

非參數(shù)ROC方法也稱為經(jīng)驗ROC方法。因為非參數(shù)ROC方法可以通過使用觀測數(shù)據(jù)進行經(jīng)驗擬合，而不需要對測試結(jié)果做任何分布假設(shè)，因此它是最常見的ROC分析模型。其構(gòu)建過程如下。

2.2 ROC參數(shù)化方法

該方法首先假設(shè)正類和負類服從單調(diào)連續(xù)且不

2.3 ROC曲線的半?yún)?shù)模型

2.4 用非參數(shù)法繪制ROC曲線

在二分類問題中，主要目的是構(gòu)造一個二分類器B，將每個樣本x分配給2個互斥類別，即正例和負例。在不失一般性的情況下，分類器B為每個樣本x提供分類結(jié)果B(x)，它表示樣本屬于某一類別的置信水平。評價二分類器性能，可以通過改變某個類別的判別閾值c來獲得一組混淆矩陣，進而計算相應的指標并對分類器性能進行評價[38]。

以表1實驗數(shù)據(jù)為例，進行ROC曲線的繪制，對應的TPR,FPR及對應的坐標值的計算結(jié)果如表2與圖2所示。

值得注意的是，當閾值在滑動改變過程中，實例中被劃分為正類的數(shù)量增加的同時，正類中的誤判即真正的負實例也會增加，這會導致TPR和FPR會同時增大。ROC曲線空間中越靠近左上方則分類器越好，雖然對角線以下的信息是錯誤的，但具備有用信息。

如圖3所示，以FPR為x軸，TPR為y軸，所有的坐標點在平面坐標系內(nèi)生成一個矩形的空間，該空間稱為ROC空間。在ROC空間中，一個坐標點代表一個分類器，分類器越靠近x軸，越保守。保守分類器只有在充分依據(jù)的情況下才進行正例分類，因此它們很少犯假正性錯誤，但它們的真正率往往也很低。右上角的分類器可以被認為是自由分類器，它們只在依據(jù)不足的情況下進行正例分類，因此它們幾乎正確地分類了所有正例，但它們往往有很高的假正率。如圖3所示，A5分類器比其他4個分類器保守，A4分類器比其他4個分類器自由。

表1 實驗數(shù)據(jù)Table 1 Experimental data

表2 不同閾值下TPR與FPR的分布Table 2 Distribution of TPR and FPR under different thresholds

圖2 ROC曲線繪制示意Fig.2 The drawing process of ROC curve

圖3 ROC空間中的分類器Fig.3 Classifiers in ROCspace

ROC曲線通過改變分類閾值來繪制利益(真陽性)和成本(假陽性)之間的相對權(quán)衡關(guān)系，分類閾值通常是一個類別的成員概率到?jīng)Q策面距離或決策函數(shù)產(chǎn)生的簡單得分。每個閾值代表一個分類器，對應ROC曲線上的一個點。

3 ROC曲線分析

ROC曲線是分類器比較的重要工具，因此深入研究如何正確使用ROC曲線對分類器進行比較成為當前一個重要的研究問題。在對ROC分析比較之前，首先要認識它的基本性質(zhì)。

3.1 ROC曲線的基本性質(zhì)

3.2 ROC曲線的評價

ROC曲線的評價就是對ROC進行分析然后比較的過程。這是其應用于醫(yī)學檢驗和機器學習等諸多領(lǐng)域的最終目的，即對檢驗結(jié)果或分類器性能的評價。其中使用較多的有ROC曲線下面積(Area Under the ROC Curve，AUC)、約登指數(shù)、距離度量以及最佳工作點與點(0,1)距離等ROC評價指標，分別對這幾個指標進行介紹。

(1) AUC：ROC的曲線下面積AUC能將ROC曲線簡化為一個單一的量化指標。作為一種單一的ROC

圖4 ROC曲線最佳工作點與(0,1)的距離Fig.4 Distance from the best working point of the ROC curve to point (0,1)

以最佳工作點到點(0,1)的距離為評判標準，距離最小者為佳。文獻[42]指出約登指數(shù)和最佳工作點有一定聯(lián)系，當且僅當最佳工作點滿足TPR(c0)+FPR(c0)=1時，最佳工作點也是約登指數(shù)的最大值點。但一般情況下，ROC最佳工作點的特異性高于約登指數(shù)。需要特別指出的是，約登指數(shù)法的本質(zhì)是正例和負例概率分布差異的最大化，因此它是最佳閾值選擇的結(jié)果。但是，最佳工作點沒有與目標函數(shù)相關(guān)的明確事件，因此沒有充分的理由將正例和負例的概率分布最大化，這也正是很少有文獻討論此類方法的原因[43]。此外，關(guān)于ROC置信區(qū)間的估計問題。Macskassy和Provost[44-45]提供了一些醫(yī)學領(lǐng)域和機器學習領(lǐng)域的流行方法，他們對ROC曲線的置信區(qū)間進行了實證評價，進行統(tǒng)計學上的魯棒性比較。Flach[46]通過ROC等距圖(ROC等值線圖)深入研究了精度、精密度、F-measure等常用性能指標。

4 結(jié)束語

當數(shù)據(jù)存在不平衡的情況時，比較傳統(tǒng)的準確率很難判斷分類結(jié)果的優(yōu)劣，接收者操作曲線令橫坐標為偽陽率，縱坐標為真陽率，可以解決數(shù)據(jù)不平衡的問題。并且可以比較接收者操作曲線(ROC)的下面積(AUC)來判斷分類器的性能，AUC值越大，表明分類的效果越好。但是，當ROC曲線出現(xiàn)交叉時，還需要通過借約登指數(shù)進一步判斷。