預(yù)測(cè)輸尿管結(jié)石進(jìn)展為尿膿毒血癥的列線圖模型的外部驗(yàn)證

胡明，楊云杰，趙振華，石明，徐勛，張湛英，關(guān)禮賢，馮權(quán)堯

尿膿毒血癥是泌尿外科常見的急危重癥之一，該病進(jìn)展迅速，極易進(jìn)展為感染性休克，甚至出現(xiàn)多器官功能衰竭［1-2］。尿膿毒血癥常見的病因是泌尿道梗阻，如尿路結(jié)石、前列腺增生和泌尿系先天性解剖異常等，其中輸尿管結(jié)石最為普遍［3］。本中心近年收治的進(jìn)展為尿膿毒血癥的輸尿管結(jié)石患者中，入院尚未實(shí)施手術(shù)，甚至院前即出現(xiàn)尿膿毒血癥患者人數(shù)逐年增加，但是目前大量研究都聚焦于內(nèi)鏡碎石術(shù)后并發(fā)尿膿毒血癥的危險(xiǎn)因素，指導(dǎo)意義有限。前期我科建立和優(yōu)化了輸尿管結(jié)石進(jìn)展為尿膿毒血癥的預(yù)測(cè)模型，并利用列線圖方法對(duì)其進(jìn)行可視化呈現(xiàn)，預(yù)測(cè)模型顯示性別、功能性孤立腎、腎積液平均CT值、尿白細(xì)胞計(jì)數(shù)（WBC）及尿亞硝酸鹽是輸尿管結(jié)石進(jìn)展為尿膿毒血癥的預(yù)測(cè)因素［4-5］。該模型對(duì)臨床早期識(shí)別尿膿毒血癥患者的預(yù)測(cè)能力顯著，為及時(shí)、有效的治療提供了依據(jù)。但是根據(jù)國(guó)際通用的TRIPOD清單和闡述文件［6］要求，新建預(yù)測(cè)模型需要經(jīng)過本中心其他樣本或其他中心樣本的外部驗(yàn)證，才能真實(shí)反映該模型的預(yù)測(cè)效能。因此筆者前瞻性收集本中心新收治的輸尿管結(jié)石患者臨床資料，對(duì)預(yù)測(cè)模型進(jìn)行外部驗(yàn)證，評(píng)估其臨床應(yīng)用價(jià)值。

1 資料與方法

1.1 預(yù)測(cè)模型介紹 回顧性分析既往輸尿管結(jié)石患者的臨床資料，通過單因素和多因素Logistic回歸分析，初步構(gòu)建輸尿管結(jié)石進(jìn)展為尿膿毒血癥的個(gè)體化預(yù)測(cè)模型。結(jié)果顯示：性別、功能性孤立腎、腎積水平均CT值、尿細(xì)菌培養(yǎng)、尿WBC及尿亞硝酸鹽6個(gè)因素是輸尿管結(jié)石進(jìn)展為尿膿毒血癥的獨(dú)立危險(xiǎn)因素。但是在臨床應(yīng)用和推廣過程中，發(fā)現(xiàn)尿細(xì)菌培養(yǎng)變量存在滯后性，預(yù)測(cè)模型存在局限性。故根據(jù)預(yù)測(cè)模型的缺陷所在，本研究將舊模型6個(gè)變量剔除尿細(xì)菌培養(yǎng)變量，重新構(gòu)建新的預(yù)測(cè)模型，并用各個(gè)變量對(duì)應(yīng)的偏回歸系數(shù)構(gòu)建回歸方程［4-5］，預(yù)測(cè)模型如下：預(yù)測(cè)概率P=ex/（1+ex），其中e為自然對(duì)數(shù)，X=-5.800+1.513×（性別）+1.105×（功能性孤立腎）+1.155×（腎積水平均CT值）+1.078×（尿WBC）+1.551×（尿亞硝酸鹽）。各變量賦值如下：性別（男=0，女=1）、功能性孤立腎（陰性=0，陽(yáng)性=1）、腎積水平均CT 值（＜8 HU=0，8～15 HU=1，＞15 HU=2）、尿WBC（陰性=0，“+”=1，“++”=2，“+++”=3）、尿亞硝酸鹽（陰性=0，陽(yáng)性=1）。

1.2 驗(yàn)證對(duì)象 收集2016 年1—12 月我院收治的輸尿管結(jié)石患者317 例。其中輸尿管結(jié)石進(jìn)展為尿膿毒血癥患者29例納入尿膿毒血癥組，同時(shí)期住院的未進(jìn)展為尿膿毒血癥的輸尿管結(jié)石患者288例納入非尿膿毒血癥組。尿膿毒血癥組男9例，女20例，中位年齡52（41，64）歲。非尿膿毒血癥組男161例，女127例，中位年齡51（41，66）歲。

1.3 納入及排除標(biāo)準(zhǔn) 納入標(biāo)準(zhǔn)：（1）經(jīng)泌尿系彩超或尿路平片（KUB）或排泄性尿路造影（IVU）或非增強(qiáng)CT（NCCT）檢查確診為輸尿管結(jié)石。（2）序貫相關(guān)器官衰竭評(píng)分（SOFA）快速增加，累計(jì)≥2分［7］。（3）患者本人及家屬同意并簽署知情同意書。排除標(biāo)準(zhǔn)：（1）雙側(cè)輸尿管結(jié)石患者（尿膿毒血癥組如出現(xiàn)雙側(cè)輸尿管結(jié)石，根據(jù)臨床癥狀及影像學(xué)資料判斷患側(cè)，病例不剔除）。（2）輸尿管結(jié)石體積小，未導(dǎo)致上尿路梗阻，無(wú)明顯腎積水者。（3）免疫缺陷或人類免疫缺陷病毒（HIV）抗體陽(yáng)性者。（4）存在嚴(yán)重肝腎疾病、心血管疾病、血液病或惡性腫瘤者。（5）實(shí)驗(yàn)室檢查或影像學(xué)資料缺失者。本研究經(jīng)醫(yī)院倫理委員會(huì)審核批準(zhǔn)，納入對(duì)象個(gè)人標(biāo)識(shí)符被完全刪除，數(shù)據(jù)分析完全匿名。

1.4 一般臨床資料收集 根據(jù)預(yù)測(cè)模型的獨(dú)立危險(xiǎn)因素，收集患者性別、腎積液平均CT值、功能性孤立腎、尿WBC及尿亞硝酸鹽的相關(guān)臨床數(shù)據(jù)?；颊吣I積水平均CT值由我院影像存檔和傳輸系統(tǒng)（PACS）顯示并檢測(cè)獲得，對(duì)于不規(guī)則形腎積液取其中最大環(huán)形范圍內(nèi)HU值作為腎積液平均CT值。功能性孤立腎定義為：（1）單側(cè)腎切除病史或先天性腎缺如。（2）腹部CT顯示腎實(shí)質(zhì)菲薄，且放射性核素顯像證實(shí)單側(cè)腎排泌功能重度受損。

1.5 模型驗(yàn)證 通?？疾旌驮u(píng)估預(yù)測(cè)模型兩個(gè)維度，即區(qū)分度和校準(zhǔn)度。區(qū)分度是指預(yù)測(cè)模型區(qū)分輸尿管結(jié)石患者進(jìn)展為尿膿毒血癥和未進(jìn)展為尿膿毒血癥的能力。利用受試者工作特征（ROC）曲線下面積（AUC）對(duì)預(yù)測(cè)模型區(qū)分度進(jìn)行量化。預(yù)測(cè)模型的校準(zhǔn)度是指輸尿管結(jié)石患者進(jìn)展為尿膿毒血癥的預(yù)測(cè)概率和實(shí)際觀測(cè)概率之間的一致性。預(yù)測(cè)模型的校準(zhǔn)能力的考察采用GiViTI校準(zhǔn)曲線帶。

1.6 統(tǒng)計(jì)學(xué)方法 采用SPSS 20.0進(jìn)行數(shù)據(jù)處理。計(jì)數(shù)資料以例（%）表示，組間比較采用χ2檢驗(yàn)。用MedCalc 軟件繪制ROC 曲線，RMS 和GiViTI 軟件包繪制GiViTI 校準(zhǔn)曲線帶。P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

2.1 2組患者臨床資料比較 與非尿膿毒血癥組相比，尿膿毒血癥組患者女性比例偏高、腎積水平均CT 值升高、尿WBC 及尿亞硝酸鹽陽(yáng)性比例升高（P＜0.05），2組功能性孤立腎比例差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。見表1。

2.2 預(yù)測(cè)模型的外部驗(yàn)證 預(yù)測(cè)模型外部驗(yàn)證人群的AUC=0.874（95%CI：0.804～0.945，P＜0.001），預(yù)測(cè)模型區(qū)分度良好，見圖1。預(yù)測(cè)模型外部驗(yàn)證人群GiViTI 校準(zhǔn)曲線帶的95%CI區(qū)域均未穿過45°對(duì)角平分線（P=0.176），測(cè)模型的預(yù)測(cè)概率與實(shí)際觀測(cè)概率接近，具有較強(qiáng)的一致性，見圖2。

3 討論

尿膿毒血癥是指由尿路感染所引起的膿毒血癥，約占所有膿毒血癥病例的9%～31%［3］。近十年來(lái)，國(guó)內(nèi)外關(guān)于尿膿毒血癥的研究逐年增加，泌尿外科醫(yī)生對(duì)該病的認(rèn)識(shí)得到極大提高，病死率逐年降低，但是發(fā)病率仍逐年增加。一項(xiàng)多中心監(jiān)測(cè)數(shù)據(jù)顯示，泌尿外科救治的尿路感染患者中，尿膿毒血癥患病率高達(dá)12%［8］。經(jīng)筆者所在科室統(tǒng)計(jì)，在尿膿毒血癥的諸多病因中，輸尿管結(jié)石占比高達(dá)91.3%，是尿膿毒血癥最為常見的致病原因，與國(guó)外文獻(xiàn)報(bào)道一致［3］。這也是筆者建立預(yù)測(cè)模型的初衷，即精確預(yù)測(cè)輸尿管結(jié)石進(jìn)展為尿膿毒血癥的風(fēng)險(xiǎn)概率，從而提高此類高?；颊叩脑缙谧R(shí)別和篩選能力。

Tab.1 Comparison of the clinical data of patients with ureteral calculi between two groups表1 2組輸尿管結(jié)石患者的臨床資料比較例（%）

Fig.1 ROC curve and AUC for validating the discrimination power of the prediction model in validation group圖1 預(yù)測(cè)模型外部驗(yàn)證人群ROC曲線及AUC

Fig.2 GiViTI calibration belt for validating the calibration power of the prediction model in validation group圖2 預(yù)測(cè)模型外部驗(yàn)證人群GiVITI校準(zhǔn)曲線帶

通常情況下，通過數(shù)據(jù)擬合而新建立的預(yù)測(cè)模型會(huì)盡可能多地揭示患者臨床資料所包含的信息，導(dǎo)致模型擬合度高于臨床數(shù)據(jù)和描述符合的變化性，從而導(dǎo)致模型的過度擬合。在這種情況下，如果轉(zhuǎn)至另一個(gè)模型應(yīng)用場(chǎng)景，更換一批新的臨床數(shù)據(jù)后，模型預(yù)測(cè)準(zhǔn)確性則明顯降低［9］。因此對(duì)構(gòu)建預(yù)測(cè)模型準(zhǔn)確性的評(píng)估，更強(qiáng)調(diào)外部驗(yàn)證的規(guī)范和準(zhǔn)確［10］。本課題組前期建立的輸尿管結(jié)石進(jìn)展為尿膿毒血癥的預(yù)測(cè)模型，經(jīng)內(nèi)部驗(yàn)證顯示預(yù)測(cè)模型顯示良好的區(qū)分度和校準(zhǔn)度［5］。但為避免預(yù)測(cè)模型在建模數(shù)據(jù)中出現(xiàn)過度擬合，筆者在預(yù)測(cè)模型建立之后，前瞻性收集輸尿管結(jié)石進(jìn)展為尿膿毒血癥患者的臨床資料，利用其對(duì)預(yù)測(cè)模型進(jìn)行外部驗(yàn)證。

預(yù)測(cè)模型的區(qū)分度是指在模型的預(yù)測(cè)值中，是否能夠找到一個(gè)截點(diǎn)，使得把陽(yáng)性結(jié)局患者和非陽(yáng)性結(jié)局患者正確區(qū)分開來(lái)。如果越容易區(qū)分開，且與實(shí)際情況越符合，則提示該模型的區(qū)分度越高。區(qū)分度通常采用計(jì)算受試者ROC 曲線的AUC 評(píng)估［11-12］。本預(yù)測(cè)模型外部驗(yàn)證ROC 曲線的AUC=0.874，較模型建模人群內(nèi)部驗(yàn)證的AUC（0.913）僅下降0.039［5］，說(shuō)明預(yù)測(cè)模型從輸尿管結(jié)石患者中識(shí)別尿膿毒血癥患者的能力強(qiáng)，提示預(yù)測(cè)模型區(qū)分度良好。

預(yù)測(cè)模型的校準(zhǔn)度是指模型陽(yáng)性結(jié)局概率預(yù)測(cè)值和實(shí)際陽(yáng)性結(jié)局概率觀測(cè)值是否相一致。如果模型的預(yù)測(cè)值與實(shí)際發(fā)生概率越接近，則提示模型的校準(zhǔn)度就越好。模型校準(zhǔn)能力的考察通常采用Hosmer-Lemeshow 擬合優(yōu)度檢驗(yàn)。但Hosmer-Lemeshow 擬合優(yōu)度檢驗(yàn)的準(zhǔn)確性很大程度上依賴于臨床樣本量。樣本量越大，檢驗(yàn)結(jié)果則越準(zhǔn)確，而對(duì)于尿膿毒血癥此類稀有結(jié)局事件的檢驗(yàn)則存在一定局限性。另外Hosmer-Lemeshow擬合優(yōu)度檢驗(yàn)原理是將患者樣本數(shù)據(jù)根據(jù)預(yù)測(cè)概率分為10組，進(jìn)而計(jì)算每組中因變量觀測(cè)概率和期望概率，實(shí)際上并未不考慮單個(gè)患者樣本的具體特性［13］。此外，根據(jù)檢驗(yàn)結(jié)果繪制出的經(jīng)典校準(zhǔn)曲線實(shí)際上是相互獨(dú)立的10 個(gè)點(diǎn)的連線，并不是真正意義上的平滑曲線［14］。為克服Hosmer-Lemeshow擬合優(yōu)度檢驗(yàn)以上諸多局限性，筆者使用GiViTI 校準(zhǔn)曲線帶來(lái)進(jìn)行校準(zhǔn)度的可視化呈現(xiàn)［15］。

GiViTI 校準(zhǔn)曲線帶是通過擬合多項(xiàng)式Logistic回歸函數(shù)來(lái)揭示模型預(yù)測(cè)概率和實(shí)際觀測(cè)概率之間的關(guān)系，并計(jì)算校準(zhǔn)帶圖中80%CI（淺灰色區(qū)）和95%CI（暗灰色區(qū)）。當(dāng)95%CI區(qū)域不穿過45°對(duì)角平分線時(shí)，提示預(yù)測(cè)模型擬合度好［16］。正常情況下只有極少數(shù)患者處于特定風(fēng)險(xiǎn)區(qū)間，因此更寬的置信區(qū)間被認(rèn)為是更高的不確定性。如GiViTI校準(zhǔn)曲線帶圖的P＜0.05 說(shuō)明預(yù)測(cè)模型的擬合度不夠完美，P值過大則表明預(yù)測(cè)模型擬合不佳，缺乏有力證據(jù)。本預(yù)測(cè)模型外部驗(yàn)證人群GiViTI校準(zhǔn)曲線帶的95%CI區(qū)域未穿過45°對(duì)角平分線（P=0.176），說(shuō)明預(yù)測(cè)模型預(yù)測(cè)尿膿毒血癥發(fā)生概率與實(shí)際觀測(cè)概率接近，校準(zhǔn)度良好。

本研究亦有不足之處：（1）本研究為回顧性病例對(duì)照研究，因此無(wú)法避免選擇偏倚。（2）驗(yàn)證預(yù)測(cè)模型的數(shù)據(jù)雖然獨(dú)立于建模數(shù)據(jù)，但數(shù)據(jù)仍來(lái)自于同一醫(yī)療中心，亦存在病例選擇偏倚。在后續(xù)的研究工作中，本課題組計(jì)劃與其他中心進(jìn)行合作，利用其臨床數(shù)據(jù)資料對(duì)預(yù)測(cè)模型進(jìn)行更加廣泛、更加深入的外部驗(yàn)證。