臨床預(yù)測模型：新預(yù)測因子的預(yù)測增量值

文玲子，王俊峰，谷鴻秋

預(yù)測因子是臨床預(yù)測模型的基礎(chǔ)組成部分，探索新的預(yù)測因子有助于改善診斷和預(yù)后模型的預(yù)測準(zhǔn)確度，提高個體化治療水平。隨著技術(shù)的進(jìn)步和基礎(chǔ)研究的發(fā)展，大量新指標(biāo)，包括基因組學(xué)、蛋白質(zhì)組學(xué)和影像學(xué)技術(shù)指標(biāo)被發(fā)現(xiàn)和提出[1]。然而，新的預(yù)測因子在提升預(yù)測模型準(zhǔn)確性的同時，也增加了測量成本和對患者可能進(jìn)行的侵入性操作。因此，當(dāng)評價新的預(yù)測因子的預(yù)測能力時，尤其是對于測量成本較昂貴的指標(biāo)，不應(yīng)只針對該預(yù)測因子自身進(jìn)行評估，而應(yīng)根據(jù)已建立的基于易于獲得的預(yù)測因子的臨床預(yù)測模型，來評估新預(yù)測因子的預(yù)測增量值（incremental value）[2]。 因此，對于新預(yù)測因子的預(yù)測增量值的研究，也被認(rèn)為是不同于模型開發(fā)和模型驗證類研究的一種新的臨床預(yù)測模型的研究類別[2,3]。作為臨床預(yù)測模型系列文章的第四篇，本文將介紹在原有預(yù)測模型基礎(chǔ)上評估新預(yù)測因子的預(yù)測增量值的方法，并討論這些方法的優(yōu)勢和局限性，以供讀者在方法選擇和使用上作參考。

1 評價新預(yù)測因子表現(xiàn)的統(tǒng)計指標(biāo)

隨著對新的生物標(biāo)記物研究的廣泛開展，用于評估其預(yù)測增量表現(xiàn)的方法學(xué)也在迅速發(fā)展和不斷完善。我們在表1中總結(jié)整理了一些傳統(tǒng)的和近年來提出的可用于量化預(yù)測因子的增量值的指標(biāo)[1,4]，并在下文中對這些指標(biāo)進(jìn)行詳細(xì)的介紹。

1.1 似然函數(shù) 大多數(shù)統(tǒng)計模型，包括logistic模型和Cox模型，都是基于似然函數(shù)來構(gòu)建的。似然函數(shù)反映了在假定模型下獲得觀測數(shù)據(jù)的概率或“可能性”（likelihood），這里假定模型包括模型中包含的變量及回歸系數(shù)。對模型中加入更多的變量會讓模型對數(shù)據(jù)的擬合更好，得到實際觀察到的數(shù)據(jù)的可能性越高[5]。在二分類結(jié)局的建模中常見的衡量模型擬合的Nagelkerke R2統(tǒng)計量，也是基于尺度調(diào)整后的對數(shù)似然函數(shù)而計算[1]。因此，似然值是否增加以及增加多少，可作為判斷新的預(yù)測因子是否可以改善模型的標(biāo)準(zhǔn)。

當(dāng)新模型和原有模型為嵌套關(guān)系時（例如新模型僅比原有模型多出一個新的預(yù)測因子），我們可以通過似然比檢驗來檢驗?zāi)Ｐ偷母倪M(jìn)。當(dāng)新模型與原有模型為非嵌套關(guān)系時，我們可以使用其他基于似然函數(shù)的評價指標(biāo)，例如赤池信息標(biāo)準(zhǔn)（AIC）或貝葉斯信息標(biāo)準(zhǔn)（BIC）。原始AIC對每個新增變量施加2個自由度的懲罰，而廣義AIC則可以使用任意懲罰函數(shù)。BIC通常對樣本數(shù)量的對數(shù)值[ln(N)]施加較大的懲罰，因此，與AIC相比，它更傾向于簡化模型，所以很難得到新的預(yù)測因子具有附加價值的結(jié)論[4]。

表1 評價預(yù)測因子增量值的指標(biāo)總結(jié)

如果新的預(yù)測因子不能提高似然值，則不太可能產(chǎn)生任何臨床影響。當(dāng)新模型與原有模型效果一致的零假設(shè)成立時，其他評價指標(biāo)可能變得多余，甚至產(chǎn)生偏差。因此，基于似然函數(shù)的檢驗方法是首先考慮的檢驗，甚至有研究者提出，基于嵌套模型的似然比檢驗是評估是否應(yīng)在現(xiàn)有模型中加入新的預(yù)測因子時唯一需做的檢驗[6]。

盡管基于似然函數(shù)的指標(biāo)或檢驗可以證明哪個模型有更好的擬合，但這并不一定能轉(zhuǎn)化為臨床意義。因為模型改進(jìn)程度可能很小，改進(jìn)可能僅限于少數(shù)個體，或者可能無法對臨床決策產(chǎn)生影響。因此，在新預(yù)測因子可以對模型擬合帶來改進(jìn)的基礎(chǔ)上，還需進(jìn)一步通過其他指標(biāo)來綜合判斷。

1.2 風(fēng)險因素效應(yīng)值 風(fēng)險因素的效應(yīng)值，衡量的是風(fēng)險因素與結(jié)局指標(biāo)的關(guān)聯(lián)程度。對于二分類結(jié)局變量，比較常見的效應(yīng)值包括比值比（OR）；對于生存結(jié)局，比較常見的效應(yīng)量包括風(fēng)險比（HR）。

如果想要評價的預(yù)測因子為二分類變量，效應(yīng)量的解釋比較直觀，它代表了兩組患者間發(fā)生結(jié)局事件的風(fēng)險的相對倍數(shù)。然而，較高的效應(yīng)值并不能直接表示預(yù)測因子具有較高的增量值，因為預(yù)測因子在某個分組中的比例可能非常少。一個OR值為2并且兩組患者數(shù)的比例為50：50的預(yù)測因子，要比OR值為10但是兩組患者數(shù)的比例為1：99的預(yù)測因子更重要[1]。

如果預(yù)測因子為連續(xù)變量，效應(yīng)量表示預(yù)測因子每增加一個單位時事件發(fā)生的風(fēng)險會增加到多少倍，因此當(dāng)變量的單位很小或取值范圍較廣時，效應(yīng)值可能會顯得很小。以身高為例，若以“厘米”為計量單位時身高的OR是1.01，那么當(dāng)以“米”為計量單位時，OR將變?yōu)?.70（1.01的100次方），所以不能僅根據(jù)效應(yīng)值的大小來判斷預(yù)測因子的表現(xiàn)。這時可以考慮使用標(biāo)準(zhǔn)化的效應(yīng)值，即對應(yīng)于預(yù)測因子一個標(biāo)準(zhǔn)差的變化的效應(yīng)值。另一種常見的方法是，使用四分位間距的效應(yīng)值，即預(yù)測因子上四分位值（75%分位點(diǎn)）相對于下四分位值（25%分位點(diǎn)）的效應(yīng)值[1]。

1.3 ROC曲線和C統(tǒng)計量 ROC曲線可以用來描述一個連續(xù)預(yù)測因子在一系列閾值上的靈敏度和特異性。ROC曲線下面積（AUC），有時也稱為c統(tǒng)計量，可以解釋為當(dāng)我們比較一位發(fā)生事件的患者與一位未發(fā)生事件的患者時，發(fā)生事件者具有較高的模型預(yù)測值的概率[1]。當(dāng)AUC為0.5時代表預(yù)測模型沒有判別能力，與拋硬幣無異，AUC值為1則代表預(yù)測模型具有完美的判別能力。一直以來，AUC和C統(tǒng)計量都是評估診斷模型或預(yù)后模型的主要指標(biāo)。通過比較增加新預(yù)測因子的模型和原有模型的AUC，可判斷新預(yù)測因子的預(yù)測能力。ROC曲線直接評估模型區(qū)分度，不受模型校準(zhǔn)度（即預(yù)測風(fēng)險概率與觀察風(fēng)險概率的匹配程度）的影響，當(dāng)研究問題是區(qū)分不同患者時，比如區(qū)分患病和未患病人群時，該指標(biāo)較適用[7]。

然而，由于ROC曲線和AUC是對區(qū)分度的總體衡量指標(biāo)，沒有針對特定分類閾值給出正確分類和不正確分類的絕對人數(shù)或比例，所以該指標(biāo)沒有直接的臨床解釋。另外，根據(jù)實踐經(jīng)驗，AUC的絕對變化量通常很小，尤其是當(dāng)模型的AUC較大時，即便是更好的模型也很難繼續(xù)提高AUC。因此，當(dāng)評價新的預(yù)測因子的增量值時，不應(yīng)過分強(qiáng)調(diào)AUC的改善程度，因為這一指標(biāo)很大程度上是取決于原模型AUC的高低，而不是取決于新預(yù)測因子對結(jié)局的預(yù)測能力[4]。實際上，在心血管疾病領(lǐng)域，有許多非常有應(yīng)用前景的生物標(biāo)志物，雖然與心血管疾病有很強(qiáng)的聯(lián)系，但由于未能顯著改善AUC，導(dǎo)致研究得出對生物標(biāo)志物的價值過于悲觀的結(jié)論[7]。

1.4 重分類指標(biāo) 為了解決AUC改善值評價新預(yù)測因子的預(yù)測增量值的局限性，研究者們又提出了一系列基于模型預(yù)測重分類的替代指標(biāo)。風(fēng)險分層主要關(guān)注的是預(yù)測模型是否能夠準(zhǔn)確的將個體根據(jù)臨床意義分組，這對于確定治療決策和優(yōu)先治療對象等方面都具有重要意義。風(fēng)險重分類的思想最初由Cook等[8,9]提出，目的是顯示有多少個體在模型增加新的預(yù)測因素后風(fēng)險分層將發(fā)生變化。而風(fēng)險重分類指標(biāo)最早是由Pencina等學(xué)者提出的[10]，主要包括凈重分類改進(jìn)指數(shù)（NRI）和綜合判別改進(jìn)指數(shù)（IDI）。

1.4.1 分類凈重分類改進(jìn)指數(shù) 最常用的凈重分類改進(jìn)指數(shù)是基于風(fēng)險分層來計算的，也被稱為分類凈重分類指數(shù)[10]。

如果是根據(jù)有臨床意義的閾值將預(yù)測概率進(jìn)行的風(fēng)險分層，那么分類NRI可以表示于原有模型相比，新模型是否使風(fēng)險分層結(jié)果發(fā)生變化，從而影響有關(guān)臨床治療的決策。分類NRI的計算公式如下[11]：

本刊：2015年11月27日，中共中央、國務(wù)院印發(fā)《關(guān)于進(jìn)一步推進(jìn)農(nóng)墾改革發(fā)展的意見》，充分體現(xiàn)了以習(xí)近平同志為核心的黨中央對農(nóng)墾事業(yè)發(fā)展的高度重視，是新形勢下指導(dǎo)農(nóng)墾改革發(fā)展的綱領(lǐng)性文件。請介紹一下廣東農(nóng)墾貫徹落實中央文件的情況。

N R I=N R I(+)+N R I(-)=[P(u p|D=1)-P(down|D=1)]+[P(down|D=0)-P(up|D= 0)]

=[向上轉(zhuǎn)移數(shù)/事件數(shù)-向下轉(zhuǎn)移數(shù)/事件數(shù)]+ [向下轉(zhuǎn)移數(shù)/非事件數(shù)-向上轉(zhuǎn)移數(shù)/非事件數(shù)]

其中D代表事件發(fā)生狀態(tài)（D=1為發(fā)生事件，D=0為未發(fā)生事件），up表示轉(zhuǎn)移到更高風(fēng)險類別，down表示轉(zhuǎn)移到更低風(fēng)險類別。從公式中我們可以看到，NRI可以分為兩個部分：事件組NRI[NRI(+)]和非事件組NRI[NRI(-)]。其中NRI(+)是兩個比例的差值，即事件組中轉(zhuǎn)移到更高風(fēng)險類別的患者比例P(up|D=1)減去事件組中轉(zhuǎn)移到更低風(fēng)險類別的患者比例P(down|D=1)。如果NRI(+)的計算結(jié)果為正，則表明更多的事件組患者被新模型轉(zhuǎn)移到更高風(fēng)險類別而不是更低風(fēng)險類別，也就是被重新分類為更合適的風(fēng)險類別。相應(yīng)的，NRI(-)也是兩個比例的差值，即非事件組中轉(zhuǎn)移到更低風(fēng)險類別的患者比例P(down|D=0)減去非事件組中轉(zhuǎn)移到更高風(fēng)險類別的患者比例P(up|D=0)，如果NRI(-)的計算結(jié)果為正，則表明未發(fā)生事件的患者被新模型轉(zhuǎn)移到更低風(fēng)險類別的人數(shù)要多于轉(zhuǎn)移到更高風(fēng)險類別，即被重新分類為更合適的風(fēng)險類別[11]。

以表2中在ADVANCE心血管疾病預(yù)測模型中加入eGFR的風(fēng)險重分類數(shù)據(jù)為例[2]，根據(jù)以上公式計算分類NRI。

在ADVANCE研究數(shù)據(jù)中，共有429例患者在隨訪期間發(fā)生重大心血管疾病事件，加入eGFR的擴(kuò)展模型僅將2例患者正確地向上分類（改善），但同時也將另2例患者錯誤地向下分類（損失），NRI(+)為0%（2/429-2/429）。在6739例隨訪期間未發(fā)生事件的患者中，加入eGFR的擴(kuò)展模型對其中32例正確地向下分類（改善），同時也導(dǎo)致29例患者被錯誤地向上分類（損失），NRI(-)為0.04%（32/6739-29/6739）。因此，此案例中總的NRI為0.04%，這表明原模型與新模型相似，沒有跡象表明eGFR在原模型之上增加了額外的預(yù)后價值。

表2 在ADVANCE心血管疾病預(yù)測模型中加入eGFR后的風(fēng)險重分類

在實際應(yīng)用中，NRI的值會受到風(fēng)險分層的數(shù)量和每個分層大小的影響，因此應(yīng)預(yù)先確定分層的閾值。如果沒有給定的閾值，可以考慮根據(jù)事件發(fā)生率P，設(shè)定閾值為P/2，P，和2P，將所有患者分為四個風(fēng)險組[12]。另外一種特殊的情況，是以P作為閾值將預(yù)測結(jié)果分為兩組，這時計算的NRI值通常用NRI(p)來表示。NRI(p)雖然具有一些不錯的統(tǒng)計屬性，也與其他評價模型表現(xiàn)的統(tǒng)計量有一定關(guān)聯(lián)，但是缺乏臨床意義，無法對臨床決策產(chǎn)生重要影響。

在使用NRI時需要注意，對于事件組和非事件組，應(yīng)始終分別報告NRI的兩個組成部分，即NRI(+)和NRI(-)，以便可以根據(jù)需要來分別解讀模型在事件組和非事件組中的改進(jìn)或根據(jù)重要程度對兩部分進(jìn)行重新加權(quán)。

1.4.3 綜合判別改進(jìn)指數(shù) 綜合判別改進(jìn)指數(shù)（IDI）是另一種不依賴風(fēng)險分類，而是綜合所有風(fēng)險預(yù)測值的變化的指標(biāo)[10]。與連續(xù)NRI不同的是，IDI不僅依據(jù)是否增加或降低，還計算增加或降低的程度。我們結(jié)合表3中的示例數(shù)據(jù)來看一下分類NRI，連續(xù)NRI和IDI在計算時的差別。

表3中前4位患者的數(shù)據(jù)，假設(shè)他們都發(fā)生了目標(biāo)事件，所以都屬于事件組。假定我們提前選定的閾值是0.08，預(yù)測風(fēng)險概率大于0.08的作為高風(fēng)險組，小于0.08的作為低風(fēng)險組?；颊?在原模型中的預(yù)測概率為0.07，屬于低風(fēng)險組，而在新模型中預(yù)測概率為0.09，被重新分類為高風(fēng)險組，所以對于分類NRI的計算貢獻(xiàn)為+1，連續(xù)NRI只考慮預(yù)測概率是否增加，所以也是+1，IDI計算概率增加的具體數(shù)值，所以患者1對于IDI計算的貢獻(xiàn)是0.09-0.07=0.02；患者2剛好與患者1相反，預(yù)測概率從0.09變?yōu)?.07，所以對各指標(biāo)的貢獻(xiàn)也與患者1相反；患者3在原模型和新模型中，都被分為高風(fēng)險組，風(fēng)險分組沒有改變，所以對于分類NRI的貢獻(xiàn)為0，由于新模型的預(yù)測概率高于原模型，所以連續(xù)NRI的貢獻(xiàn)為+1，IDI的貢獻(xiàn)則為預(yù)測概率的增加程度0.1-0.09=0.01；患者4與患者3類似，風(fēng)險分組沒有改變，但是風(fēng)險預(yù)測值有所降低，所以對分類NRI的貢獻(xiàn)為0，對連續(xù)NRI的貢獻(xiàn)為-1，對IDI的貢獻(xiàn)為0.09-0.11=-0.02。若需在非事件組中計算上述指標(biāo)，也可以此類推，只需對變化的方向進(jìn)行相應(yīng)調(diào)整。表3后4位患者的數(shù)據(jù)，假定其均未發(fā)生事件，計算過程與前述4位類同，只是計算結(jié)果的符號發(fā)生改變。

表3 在事件組和非事件組中計算分類NRI，連續(xù)NRI和IDI的示例

以上示例中的計算，只是演示每個患者對不同指標(biāo)的貢獻(xiàn)如何確定，在計算最終指標(biāo)時，應(yīng)首先將每個患者的貢獻(xiàn)除以數(shù)據(jù)中的事件數(shù)（對于非事件組則除以非事件數(shù)）。IDI與其他的一些評價模型預(yù)測表現(xiàn)的指標(biāo)有著密切的關(guān)系，它等于新模型與原模型的區(qū)分度斜率（又被稱為Yates斜率）的差值，并且等于新模型與原模型的尺度調(diào)整后的Brier得分的差值[7]。與NRI相比，IDI的值通常很低，并且難以解釋，在實際應(yīng)用時可以考慮將IDI除以原模型的區(qū)分度斜率作為區(qū)分度斜率的相對變化值[15]。

2 研究新預(yù)測因子增量值的注意事項

在進(jìn)行新預(yù)測因子的增量值的研究時，有以下幾方面的問題需要特別注意[1]。其中部分內(nèi)容已經(jīng)在上文中有所涉及，此處再重新匯總強(qiáng)調(diào)如下：

首先，需要明確此類研究和關(guān)鍵問題是評價預(yù)測因子的增量值，所以應(yīng)當(dāng)考慮將諸如人口學(xué)特征，標(biāo)準(zhǔn)預(yù)測因子或其他易于獲得的預(yù)測因子，或使用之前已經(jīng)發(fā)表的預(yù)測模型作為分析中的參考模型。例如，在研究心血管疾病標(biāo)記物的價值時，可以在統(tǒng)計模型中加入Framingham研究中使用的預(yù)測因子。然而，有研究發(fā)現(xiàn)，在聲稱針對“Framingham預(yù)測因子”進(jìn)行調(diào)整的研究中，每個研究對參考模型的確切定義有很大不同，這就導(dǎo)致當(dāng)新的預(yù)測因子被添加到效果較差的參考模型中時，會高估新預(yù)測因子的增量值。

第二，在建模過程中，避免對連續(xù)的預(yù)測因子進(jìn)行二分類處理，因為這會導(dǎo)致信息丟失。二分類法更適用于在建模過程結(jié)束后，對模型預(yù)測結(jié)果進(jìn)行分類，以便預(yù)測為臨床決策提供依據(jù)。

第三，不應(yīng)直接將較大的效應(yīng)量（OR或HR）解釋為預(yù)測增量值的證據(jù)，因為效應(yīng)量取決于變量的測量單位，并且忽略了變量的分布特征。另外，如果變量中的某個類別非常罕見，也會導(dǎo)致較高的效應(yīng)量，但是實際應(yīng)用中對疾病診斷或預(yù)后的價值有限。

第四，不應(yīng)直接將較低（或低于預(yù)先設(shè)定的顯著性水平）的P值解釋為預(yù)測增量值的證據(jù)，因為P值不僅取決于效應(yīng)量，還取決于樣本量，在大型研究中很容易得到極低的P值。

第五，不應(yīng)直接將較大的AUC值解釋為證明預(yù)測因子具有良好的臨床實用性，因為在沒有上下文的情況下無法解釋AUC值：AUC為0.7或0.8可能在某些情況下表示在臨床上有用，而在其他情況下則不一定，這具體取決于決策閾值在預(yù)測風(fēng)險的分布中所在的位置，這一點(diǎn)對于評價新的預(yù)測因子帶來的AUC的增長也是一樣的。

第六，在使用重分類指標(biāo)時，也應(yīng)考慮這類指標(biāo)的局限性。大多數(shù)時候，預(yù)測風(fēng)險概率的變化不會轉(zhuǎn)化為治療決策和臨床管理的改變：例如，一例10年冠心病預(yù)測風(fēng)險從1%增長至2%的患者，可能并不會因此得到不同的治療。因此連續(xù)NRI相比于分類NRI，臨床解釋性較差。而對于分類NRI，計算時直接采用事件發(fā)生率P為權(quán)重來綜合假陰性結(jié)果（事件分類為向下）和假陽性結(jié)果（非事件分類為向上）的成本。從臨床角度來講，對假陽性和假陰性結(jié)果采取不同的權(quán)重更為合適。所以，非加權(quán)的分類NRI更適用于評估新預(yù)測因子的早期研究，下一步還需要運(yùn)用決策分析（decision analysis）方法，來評估新預(yù)測因子的潛在臨床效用[16]。關(guān)于臨床預(yù)測模型的決策分析和成本效應(yīng)分析方法，將在本系列之后的文章中詳細(xì)介紹。

在本文中，我們介紹了一系列傳統(tǒng)的和相對新穎的評價新預(yù)測因子增量值的指標(biāo)。同時，我們以心血管疾病患者的標(biāo)志物為例，說明了不同性能指標(biāo)的計算方法，最后著重強(qiáng)調(diào)評估診斷標(biāo)志物增值時的一些方法學(xué)挑戰(zhàn)。凈重分類改進(jìn)指數(shù)是匯總風(fēng)險重分類表中包含的信息的一種簡單而有效的方法。在沒有具有臨床意義的風(fēng)險類別的情況下，建議使用連續(xù)凈重分類改進(jìn)指數(shù)和綜合判別改進(jìn)指數(shù)作為衡量新生物標(biāo)記物增量價值的指標(biāo)。