李秋萍,谷鴻秋,王俊峰
預(yù)測疾病狀態(tài)(診斷)或未來疾病進(jìn)程(預(yù)后)的發(fā)生概率對開展個體化的精準(zhǔn)診療尤為重要,臨床預(yù)測模型的應(yīng)用是促成臨床研究轉(zhuǎn)化為臨床實(shí)踐的有力途徑。本系列前幾篇文章中討論了模型開發(fā)和驗(yàn)證中的注意事項(xiàng),多次提到完整報(bào)告預(yù)測模型開發(fā)和驗(yàn)證過程對于模型外部驗(yàn)證及臨床應(yīng)用的重要性[1,2],然而已發(fā)表的預(yù)測模型類論文的報(bào)告質(zhì)量并不盡如人意。Bouwmeester等分析了6本高影響力期刊上刊載的所有預(yù)測模型研究,結(jié)果顯示模型各方面信息的描述并不充份,報(bào)告規(guī)范性較為欠缺,嚴(yán)重影響了模型的可用性[3]?;诖?,專家協(xié)作組于2015年公布了《個體預(yù)后或診斷的多變量預(yù)測模型透明報(bào)告》(Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis,TRIPOD),用以規(guī)范預(yù)測模型的報(bào)告過程[4];隨后為進(jìn)一步提高報(bào)告質(zhì)量評價(jià)的客觀性及一致性,于2019年公布了TRIPOD報(bào)告規(guī)范依從性評判標(biāo)準(zhǔn),此標(biāo)準(zhǔn)也可作為提高研究報(bào)告準(zhǔn)確性和完整性的指導(dǎo)文件[5]。本文將結(jié)合TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn),以《開發(fā)和驗(yàn)證估計(jì)未來心血管疾病風(fēng)險(xiǎn)的QRISK3風(fēng)險(xiǎn)預(yù)測算法:前瞻性隊(duì)列研究》(Development and validation of QRISK3 risk prediction algorithms to estimate future risk of cardiovascular disease: prospective cohort study)[6]為例,采用例解的形式逐一對照及解讀TRIPOD報(bào)告規(guī)范各條目,促進(jìn)該規(guī)范的應(yīng)用,進(jìn)而提高預(yù)測模型的報(bào)告質(zhì)量。
從2011年開始,由統(tǒng)計(jì)學(xué)專家、流行病學(xué)專家等多學(xué)科團(tuán)隊(duì)組建的專家協(xié)作組通過文獻(xiàn)檢索及專家小組會議的形式,制定了專用于多變量預(yù)測模型開發(fā)或驗(yàn)證的TRIPOD報(bào)告規(guī)范,并于2015年1月在多本國際知名期刊上同時刊出[4],并配發(fā)了相應(yīng)的說明和詳述文件[7],為預(yù)測模型類文章提供了報(bào)告框架。TRIPOD報(bào)告規(guī)范包括標(biāo)題和摘要、前言、方法、結(jié)果、討論和其他信息6個部分,共22個條目,適用于模型開發(fā)、驗(yàn)證、增量值等研究類別。國內(nèi)學(xué)者也對TRIPOD進(jìn)行了引入和介紹[8,9],在TRIPOD官方網(wǎng)站(https://www.tripod-statement.org/)中也提供了由中國學(xué)者制作的中文翻譯版供研究者使用,本文作者也參與了這一官方翻譯版本的修訂工作。為促進(jìn)TRIPOD報(bào)告規(guī)范應(yīng)用的定量評價(jià)及評價(jià)結(jié)果的可比性,TRIPOD專家協(xié)作組發(fā)布了TRIPOD報(bào)告規(guī)范依從的系統(tǒng)性評價(jià)標(biāo)準(zhǔn)[5],針對規(guī)范中每一條目制定了相應(yīng)的信息報(bào)告要求,以促進(jìn)并確保在未來研究中衡量對TRIPOD依從程度的一致性。
2.1 題目和摘要
2.1.1 題目條目1:應(yīng)明確研究為預(yù)測模型建立研究還是驗(yàn)證研究,研究目標(biāo)人群和預(yù)測的結(jié)局指標(biāo)。[D;V]
根據(jù)TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn)[5],文章標(biāo)題中應(yīng)明確描述以下4方面信息:①根據(jù)研究類型,標(biāo)注開發(fā)、驗(yàn)證、增量值等字樣;②明確文章為預(yù)測模型類研究,需包含預(yù)測、預(yù)后、風(fēng)險(xiǎn)評分等字樣;③明確研究目標(biāo)人群;④注明主要預(yù)測結(jié)局。
例文的標(biāo)題為《開發(fā)和驗(yàn)證未來心血管疾病風(fēng)險(xiǎn)的QRISK3風(fēng)險(xiǎn)預(yù)測算法:前瞻性隊(duì)列研究》,“開發(fā)和驗(yàn)證”點(diǎn)明了本研究同時包括模型開發(fā)及驗(yàn)證,“風(fēng)險(xiǎn)預(yù)測算法”幫助讀者快速確認(rèn)這是一篇臨床預(yù)測模型類文章,“心血管疾病風(fēng)險(xiǎn)”顯示預(yù)測結(jié)局為發(fā)生心血管疾病。作者并未在標(biāo)題中表明研究的目標(biāo)人群,根據(jù)正文內(nèi)容可知其目標(biāo)人群為初級保健患者,無其他特殊限定,因此在標(biāo)題中未單獨(dú)列出該信息。整體而言,該例文標(biāo)題基本涵蓋了關(guān)鍵要素,可以借鑒參照。但若研究人群為罹患某一疾病或具備某一特征的人群,則應(yīng)在標(biāo)題中體現(xiàn),能進(jìn)一步反映出模型的適用范圍和研究的臨床價(jià)值。
2.1.2 摘要條目2:概述研究目標(biāo)、研究設(shè)計(jì)、研究設(shè)定、研究對象、樣本量、預(yù)測因子,結(jié)局指標(biāo),統(tǒng)計(jì)分析方法,結(jié)果和結(jié)論。[D;V]
摘要是讀者快速掌握文章主題及判斷是否值得閱讀全文的關(guān)鍵所在。為此TRIPOD協(xié)作組特別開發(fā)了《TRIPOD摘要》(TRIPOD for Abstracts)作為論文及會議摘要的報(bào)告規(guī)范,將于2020年正式發(fā)布。TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn)對摘要報(bào)告要求比較嚴(yán)格[5]:摘要應(yīng)為結(jié)構(gòu)式,利用有限的字?jǐn)?shù)傳達(dá)足量信息,需簡明清晰地描述條目中提到的每個要素,應(yīng)注意的一是預(yù)測因子的描述,若預(yù)測因子數(shù)量較多難以全部列出,寬泛描述即可,如“患者疾病史及體檢指標(biāo)”;二是模型性能指標(biāo)的描述,若研究同時包括模型建立及驗(yàn)證,應(yīng)分別報(bào)告模型的性能指標(biāo)。
例文在“目標(biāo)”中寫明本研究目的是開發(fā)和驗(yàn)證預(yù)測十年心血管疾病發(fā)病風(fēng)險(xiǎn)的模型;在“設(shè)計(jì)”中指出研究為前瞻性隊(duì)列研究;“設(shè)定”指代的是研究場所或數(shù)據(jù)來源,寫明利用的是英國數(shù)據(jù)庫中的初級保健數(shù)據(jù);“研究對象”中描述了研究對象的特點(diǎn)及建模、驗(yàn)?zāi)颖玖?;在“方法”中逐一列出預(yù)測因子,寫明主要統(tǒng)計(jì)方法為Cox比例風(fēng)險(xiǎn)模型;預(yù)測結(jié)局指標(biāo)、結(jié)果和結(jié)論也在摘要部分“主要結(jié)局指標(biāo)”、“結(jié)果”及“結(jié)論”中得到詳細(xì)闡述。條目2中的關(guān)鍵要素均能在例文中找到對應(yīng)內(nèi)容,例文的摘要結(jié)構(gòu)化程度高,符合報(bào)告規(guī)范。
2.2 前言條目3a:闡述研究的醫(yī)學(xué)背景(包括是診斷還是預(yù)后)以及建立或驗(yàn)證多因素預(yù)測模型的理由,包括對現(xiàn)有模型的引用與參考。[D;V]
在預(yù)測模型類論文的前言中,除各類研究均需充分描述的研究現(xiàn)狀、必要性等內(nèi)容外,還需列出現(xiàn)有模型并給出驗(yàn)證、更新或開發(fā)新模型的原因。
在例文中,作者介紹了已經(jīng)迭代形成了兩個版本(QRISK、QRISK2)的十年心血管疾病發(fā)病風(fēng)險(xiǎn)預(yù)測模型,QRISK2在指南中得到廣泛推薦,然而QRISK2可能無法完全覆蓋增加心血管疾病風(fēng)險(xiǎn)的諸多疾病,導(dǎo)致相關(guān)患者組的發(fā)病風(fēng)險(xiǎn)被低估。同時強(qiáng)調(diào)了最新研究中發(fā)現(xiàn)的與預(yù)測結(jié)局相關(guān)聯(lián)的新指標(biāo)尚未在模型中體現(xiàn),進(jìn)而引出本研究的科學(xué)問題,即需要開發(fā)新的模型。例文研究問題的引出逐步推進(jìn),邏輯分明,并且對模型的原理和潛在用途進(jìn)行了清晰描述,符合報(bào)告標(biāo)準(zhǔn)。但對于納入本次研究中的新指標(biāo)描述過于簡略,可對現(xiàn)有模型中擬增加的新指標(biāo)進(jìn)行進(jìn)一步詳細(xì)描述,以反映增加新指標(biāo)的重要意義。
條目3b:詳細(xì)說明研究目標(biāo),包括研究是建立模型還是驗(yàn)證模型,還是兩者都有。[D;V]
研究目標(biāo)是研究中要解決的特定目標(biāo)或研究問題[10],本條目要求描述研究預(yù)測的目的,預(yù)測的結(jié)局及模型適用的人群,還應(yīng)說明本研究是模型開發(fā)還是模型驗(yàn)證,或兩者都有。
例文在前言中已充分說明需要構(gòu)建新預(yù)測模型的必要性及重要性,隨后在前言最后一句提出本研究的目的,即“開發(fā)并驗(yàn)證新版預(yù)測模型QRISK3,……,以改進(jìn)某些患者組的心血管疾病風(fēng)險(xiǎn)預(yù)測。”
2.3 研究方法
2.3.1 數(shù)據(jù)來源條目4a:描述研究設(shè)計(jì)或數(shù)據(jù)來源(如隨機(jī)試驗(yàn)、隊(duì)列研究或注冊研究數(shù)據(jù)等),并分別描述建立或驗(yàn)證模型的數(shù)據(jù)集。[D;V]
預(yù)測模型類論文中要求應(yīng)明確報(bào)告研究設(shè)計(jì)類型或數(shù)據(jù)來源。預(yù)測模型包括診斷模型和預(yù)后模型,對研究設(shè)計(jì)要求不同。診斷模型的預(yù)測因子與結(jié)局變量是在同一時點(diǎn)或很短時間窗內(nèi)測量,可利用橫斷面研究數(shù)據(jù);預(yù)后模型的預(yù)測因子與結(jié)局存在因果關(guān)系,可利用隊(duì)列研究、隨機(jī)試驗(yàn)、巢式病例對照等研究數(shù)據(jù)[1]。
在例文的研究方法中標(biāo)明數(shù)據(jù)來自第41版的QResearch數(shù)據(jù)庫。在建模過程中隨機(jī)抽取3/4樣本量作為建模數(shù)據(jù),其余1/4作為驗(yàn)?zāi)?shù)據(jù),所以建模數(shù)據(jù)與驗(yàn)?zāi)?shù)據(jù)來源一致。例文在該條目上的報(bào)告較為完整。
條目4b:詳細(xì)描述關(guān)鍵研究日期,包括數(shù)據(jù)收集的開始時間、結(jié)束時間,如果適用還應(yīng)有隨訪結(jié)束時間。[D;V]
預(yù)測模型類論文需詳實(shí)描述數(shù)據(jù)收集(患者招募)的起始和結(jié)束時間,以及隨訪結(jié)束時間三個重要時間節(jié)點(diǎn)。診斷模型不涉及隨訪時間,預(yù)后模型需給出隨訪時長的計(jì)算方法和預(yù)測的時間范圍。
例文中的三個時間節(jié)點(diǎn)非常明確,數(shù)據(jù)起止是從1998年1月1日至2015年12月31日,隨訪截止日期為2015年12月31日。隨訪時間定義為“直到確診心血管疾病,死亡,在家庭醫(yī)生處注銷,最后一次上傳數(shù)據(jù)或研究結(jié)束日期,即2015年12月31日”。文中指出,隨訪長度為15年,則預(yù)測時長不超過15年,QRISK3關(guān)注的是十年內(nèi)心血管疾病發(fā)生風(fēng)險(xiǎn)。例文對于研究時間相關(guān)信息的報(bào)告很是全面,這些描述對于了解研究所處的時代背景、評價(jià)模型的可推廣性是關(guān)鍵且必須的。
2.3.2 研究對象條目5a:詳細(xì)說明研究設(shè)定的關(guān)鍵信息(如初級醫(yī)療機(jī)構(gòu)、二級醫(yī)療機(jī)構(gòu)或普通人群),包括研究中心的數(shù)量和位置。[D;V]
預(yù)測模型很難直接在不同類型的臨床場所中互通應(yīng)用,研究設(shè)定的詳細(xì)描述能便于判斷模型的應(yīng)用范圍。在報(bào)告研究對象時,應(yīng)報(bào)告研究中心信息,以及研究中心的數(shù)目和地理位置,這些特征決定了預(yù)測模型應(yīng)用的目標(biāo)人群[5]。
例文中寫明利用的是QResearch數(shù)據(jù)庫(www.qresearch.org),這是一個包括英國1500余所初級保健機(jī)構(gòu)中2500萬余人數(shù)據(jù)的大型醫(yī)學(xué)研究數(shù)據(jù)庫。由此可知該研究開發(fā)的QRISK3模型主要適用于初級保健機(jī)構(gòu)中的人群,不能直接在二級醫(yī)療機(jī)構(gòu)或急診等場景中推廣應(yīng)用。例文雖未直接寫明研究設(shè)定的詳實(shí)內(nèi)容,但能從提供的信息中推斷出研究設(shè)定的關(guān)鍵信息也是可行的。
條目5b:描述研究對象的納入標(biāo)準(zhǔn)。[D;V]
研究對象的描述除了報(bào)告其來源外,還需詳實(shí)描述研究對象的納入和排除標(biāo)準(zhǔn)。納入標(biāo)準(zhǔn)是否合理會影響研究對象的納入過程及模型的預(yù)測準(zhǔn)確度,對模型的驗(yàn)證及應(yīng)用也會造成困難。TRIPOD報(bào)告規(guī)范依從性標(biāo)準(zhǔn)指出,研究對象的納入標(biāo)準(zhǔn)不應(yīng)只在流程圖中簡略說明,而需作為單獨(dú)的內(nèi)容呈現(xiàn)[5]。
例文在研究方法中寫明研究對象為25~84歲的人群,同時描述了將已存在心血管疾病或服用他汀類藥物作為排除標(biāo)準(zhǔn)。例文關(guān)于該條目的描述是全面的,若研究中因數(shù)據(jù)缺失而排除一些符合條件的參與者時,需在文章中明確報(bào)告[7]。
條目5c:如相關(guān),詳述研究對象接收干預(yù)治療的具體細(xì)節(jié)。[D;V]
對于預(yù)后模型,還應(yīng)詳細(xì)描述基線或隨訪期間所接受的治療干預(yù)措施,因?yàn)檫@些干預(yù)措施可能會改變結(jié)局的發(fā)生,從而影響預(yù)測模型的準(zhǔn)確性[7]。
例文中納入的是初級保健人群,這類人群以疾病預(yù)防為主,可認(rèn)為干預(yù)治療與本研究相關(guān)性不大,故未描述研究對象接受干預(yù)治療的具體內(nèi)容。但若為二級醫(yī)療機(jī)構(gòu)就診的患者或源于隨機(jī)對照試驗(yàn)的數(shù)據(jù),則應(yīng)詳實(shí)描述其在研究期間所接受的干預(yù)措施。
2.3.3 結(jié)局指標(biāo)條目6a:清晰定義預(yù)測模型所要預(yù)測的結(jié)局指標(biāo),包括如何以及何時進(jìn)行評估。[D;V]
結(jié)局指標(biāo)報(bào)告重點(diǎn)在于三方面:①結(jié)局應(yīng)明確定義,且需聲明和引用該定義的權(quán)威出處;②結(jié)局的組成部分及其測量方法需清晰描述;③各指標(biāo)測量時間及頻率應(yīng)有注明[5]。
在例文“結(jié)局”部分表明結(jié)局是發(fā)生心血管疾病,指出是“利用Read代碼在就診記錄中確定心血管疾病病例”,病例診斷中出現(xiàn)有關(guān)心血管疾病的國際疾病分類編碼則認(rèn)定發(fā)生結(jié)局事件,死亡信息來源于Qresearch數(shù)據(jù)庫鏈接的國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)。對于結(jié)局指標(biāo)的評估時點(diǎn),例文中寫道“使用三個數(shù)據(jù)來源中任何一個的最早的心血管疾病記錄日期作為結(jié)局日期。”QRISK3的開發(fā)是對QResearch數(shù)據(jù)的二次分析,數(shù)據(jù)來源是日常診療數(shù)據(jù),沒有針對特定結(jié)局對患者進(jìn)行有計(jì)劃的隨訪。如果模型開發(fā)數(shù)據(jù)來自隊(duì)列研究,最好能詳細(xì)列出隨訪的時間和頻率,使讀者了解該結(jié)局指標(biāo)是否在臨床實(shí)踐領(lǐng)域是準(zhǔn)確且可重現(xiàn)的[11]。
條目6b:報(bào)告對預(yù)測結(jié)局指標(biāo)盲法評價(jià)的所有細(xì)節(jié)。[D;V]
施行盲法的目的是防止結(jié)局判定過程中的偏倚,文章中應(yīng)報(bào)告結(jié)局測評的盲法控制,雖然不是每項(xiàng)研究都適用盲法,但如果實(shí)施了盲法則需說明具體的實(shí)施策略[5]。
例文中沒有對結(jié)局判定是否使用盲法進(jìn)行描述。對于定義明確且不會受到主觀影響的結(jié)局指標(biāo),例如結(jié)局指標(biāo)為全因死亡,可以不用特意需描述盲法的策略,但如果結(jié)局指標(biāo)判斷容易受到預(yù)測因子或主觀傾向影響,尤其是診斷模型的結(jié)局指標(biāo),則需報(bào)告盲法實(shí)施的策略。
2.3.4 預(yù)測因素條目7a:清晰定義建立或驗(yàn)證多因素預(yù)測模型所使用的所有預(yù)測因素,包括如何以及何時測量。[D;V]
研究者需對所有預(yù)測變量進(jìn)行充分定義,根據(jù)變量類型提供度量單位或分類類別,同時清晰描述各變量測量的方法及時間。需注意的是,對于模型開發(fā)研究,所有預(yù)測因素是指所有可能進(jìn)入最終預(yù)測模型中的變量,即所有備選變量,而不僅僅是最終模型中包含的變量;而對于模型驗(yàn)證研究,所有預(yù)測因子則是指被評估模型中所包含的變量[5]。
例文“預(yù)測變量”中標(biāo)明本次預(yù)測模型中擬納入的變量包括QRISK2中已有的風(fēng)險(xiǎn)因素及文獻(xiàn)中證實(shí)的新的潛在預(yù)測因素,也分別描述了各變量的提取過程及操作性定義,這些信息均可以在“文本框1:QRISK算法中用到變量”中找到。對預(yù)測因素的詳實(shí)表述有助于讀者復(fù)現(xiàn)研究過程,進(jìn)一步應(yīng)用或驗(yàn)證該預(yù)測模型。
條目7b:報(bào)告對預(yù)測因素指標(biāo)盲法評價(jià)的任何細(xì)節(jié)。[D;V]
與條目6b相對應(yīng),如果預(yù)測因素的測量涉及研究對象或研究者的主觀判斷或評估,應(yīng)采用盲法進(jìn)行測量或評價(jià),有效避免信息偏倚。預(yù)測因素的盲法報(bào)告需考慮兩方面,一是預(yù)測因素與結(jié)局指標(biāo)之間互盲,否則會人為增加預(yù)測因素與結(jié)局間的關(guān)聯(lián),二是預(yù)測因素之間也應(yīng)避免可能出現(xiàn)主觀判定的情況[5]。
例文中直接描述了預(yù)測因素的提取過程,由于列出的預(yù)測因素均是客觀測評指標(biāo),且結(jié)局的判定發(fā)生在預(yù)測因素的測量之后,能保證預(yù)測因素的測量是盲于結(jié)局變量的。但例文未描述預(yù)測因素之間在收集過程中是否做到了盲法,如果能補(bǔ)充這部分信息則更完善。
2.3.5 樣本量條目8:解釋研究樣本量是如何確定的。[D;V]
在預(yù)測模型的研究中必須說明樣本量是如何確定的,樣本數(shù)量能體現(xiàn)出預(yù)測變量與結(jié)局之間的關(guān)聯(lián)是否穩(wěn)固、預(yù)測模型擬合是否合適、模型是否存在潛在過度擬合[12]。根據(jù)報(bào)告規(guī)范要求,文章中應(yīng)說明樣本量是如何確定的,是基于統(tǒng)計(jì)方法,還是基于現(xiàn)實(shí)考慮(比如使用現(xiàn)有數(shù)據(jù))。
例文中寫明采用的是現(xiàn)有數(shù)據(jù)庫,模型開發(fā)樣本量為789萬例、驗(yàn)證樣本量為267萬例。這是基于現(xiàn)有數(shù)據(jù)確定的樣本量,在數(shù)據(jù)集較大的情況下是可行的。對于樣本量較小的回顧性研究,或者前瞻性數(shù)據(jù)的研究,則需提供規(guī)范的樣本量計(jì)算的考量。
2.3.6 缺失數(shù)據(jù)條目9:描述缺失數(shù)據(jù)的處理方法(如僅分析完整數(shù)據(jù)、單一插補(bǔ)和多重插補(bǔ)等),并詳細(xì)說明插補(bǔ)方法。[D;V]
在研究者盡可能完善數(shù)據(jù)質(zhì)量的前提下,臨床研究仍易出現(xiàn)變量信息缺失。缺失數(shù)據(jù)對于研究結(jié)果的影響不容忽略,然而對缺失數(shù)據(jù)不恰當(dāng)?shù)奶幚矸椒▽敫嗥衃13]。研究者需明確報(bào)告本研究分析的數(shù)據(jù)是否存在缺失,若存在缺失應(yīng)詳細(xì)描述缺失數(shù)據(jù)的處理方法,包括具體插補(bǔ)的變量及插補(bǔ)次數(shù)[5]。
在例文“方法”部分“模型開發(fā)和驗(yàn)證”中,寫明本研究預(yù)測因素存在缺失,通過多重插補(bǔ)來進(jìn)行處理;插補(bǔ)次數(shù)為5次,插補(bǔ)模型中包括所有預(yù)測因素以及結(jié)局變量;在插補(bǔ)完成后,對插補(bǔ)數(shù)據(jù)的分析結(jié)果,根據(jù)Rubin規(guī)則進(jìn)行合并。數(shù)據(jù)缺失在研究中難以避免,清晰透明地描述缺失數(shù)據(jù)的處理方法至關(guān)重要,方法的選擇會影響研究結(jié)果及研究的可重復(fù)性。
2.3.7 統(tǒng)計(jì)分析方法條目10a:描述預(yù)測因素在分析中是如何處理的。[D]
研究者需明確描述每個預(yù)測因素的處理方法,包括將連續(xù)變量轉(zhuǎn)換為分類變量時的切點(diǎn)值界定方法,原始數(shù)據(jù)的轉(zhuǎn)換方法,以及預(yù)測因素與結(jié)局之間的線性或非線性關(guān)系[5]。若模型為非線性回歸模型,應(yīng)報(bào)告采用的方法,如多項(xiàng)式回歸或限制性立方樣條;若為線性回歸模型,建議報(bào)告預(yù)測因素與結(jié)局指標(biāo)呈線性關(guān)系的假設(shè)[7]。
在例文數(shù)據(jù)處理部分,寫明本研究采用多項(xiàng)式回歸處理連續(xù)變量與結(jié)局的非線性關(guān)系。由于在該研究中一部分預(yù)測因素是已建成的QRISK2模型中的已有的因素,故未對這些因素的處理方法進(jìn)行詳細(xì)描述,對于擬增加的新變量也缺乏描述,若能補(bǔ)充這些信息,則報(bào)告更為完整。
條目10b:詳細(xì)說明模型類型,建模過程(包括預(yù)測因素的選擇)和內(nèi)部驗(yàn)證方法。[D]
研究者需明確報(bào)告預(yù)測模型開發(fā)時所用的所有統(tǒng)計(jì)方法,應(yīng)至少包括:①統(tǒng)計(jì)模型類型,如logistic模型、Cox模型等;②備選預(yù)測因素的選定:指在建模前所有潛在預(yù)測變量是通過什么方式選定的;③進(jìn)入模型預(yù)測因素的篩選方法:指在建模中進(jìn)入最終回歸模型中的預(yù)測因素的篩選過程,如單因素分析、逐步回歸等;④交互項(xiàng)的處理;⑤比例風(fēng)險(xiǎn)假設(shè)(對于Cox模型);⑥內(nèi)部驗(yàn)證方法,如重抽樣、交叉驗(yàn)證等。
在例文統(tǒng)計(jì)部分,作者介紹了QRISK 3模型是基于Cox模型建立的,備選預(yù)測因素來源于QRISK2模型中的變量及文獻(xiàn)中論證的新的預(yù)測變量,預(yù)測因素效應(yīng)量和顯著性被用來作為模型中預(yù)測因素篩選的標(biāo)準(zhǔn),考慮了年齡的交互項(xiàng),利用隨機(jī)拆分進(jìn)行的內(nèi)部驗(yàn)證。例文統(tǒng)計(jì)學(xué)方法方面報(bào)告較為完整,但未對Cox模型的比例風(fēng)險(xiǎn)假設(shè)進(jìn)行檢驗(yàn)。目前大多數(shù)模型在該條目上報(bào)告不足,研究者需注重統(tǒng)計(jì)學(xué)方法報(bào)告的完整,逐一描述各要點(diǎn)[14]。
條目10c:描述模型驗(yàn)證中預(yù)測值的計(jì)算方法。[V]
預(yù)測模型驗(yàn)證的論文中應(yīng)準(zhǔn)確描述個體結(jié)局發(fā)生概率預(yù)測值的計(jì)算方式,包括但不限于直接使用預(yù)測模型公式或簡化評分規(guī)則或列線圖等[5]。
例文同時包括模型開發(fā)與驗(yàn)證,在模型開發(fā)中擬形成納入不同類型預(yù)測因素的三種模型,并介紹了會采用每個變量的回歸系數(shù)作為權(quán)重形成風(fēng)險(xiǎn)預(yù)測方程,在模型驗(yàn)證階段會采用同樣的方法計(jì)算預(yù)測值,故在模型驗(yàn)證階段中未重復(fù)描述。若在一項(xiàng)模型開發(fā)研究中提出了多個模型或同一模型的多個表示形式,那進(jìn)行模型驗(yàn)證的研究者應(yīng)清晰描述本次評估驗(yàn)證的模型全部信息。
條目10d:詳述評估模型預(yù)測效果(或比較不同預(yù)測模型)的所有方法。[D;V]
模型預(yù)測的性能評價(jià)主要包括區(qū)分度和校準(zhǔn)度,所有預(yù)測模型均應(yīng)報(bào)告這兩者,也可增加、靈敏度、特異度、決策曲線等多維度反映模型性能,若要評價(jià)引入新預(yù)測因子后的預(yù)測效能增加值,也可使用綜合判別改進(jìn)指數(shù)(IDI)及凈重分類改進(jìn)指數(shù)(NRI)等指標(biāo)[5]。
在例文中介紹了QRISK3模型開發(fā)與驗(yàn)證過程中均采用D統(tǒng)計(jì)量、C統(tǒng)計(jì)量評價(jià)模型的區(qū)分度,比較模型預(yù)測概率與實(shí)際發(fā)生率的差異評價(jià)模型的校準(zhǔn)度,同時計(jì)算了凈重分類改進(jìn)指數(shù)。區(qū)分度差、校準(zhǔn)不良的模型會降低模型的臨床實(shí)用性,甚至在某些情境下影響有效臨床決策[15],因此必須報(bào)告模型的性能指標(biāo)作為模型使用者的參考。
條目10e:如果有,描述驗(yàn)證模型后進(jìn)行的任何模型的更新(如再校準(zhǔn)等)。[V]
當(dāng)在其他個體中驗(yàn)證或應(yīng)用現(xiàn)有預(yù)測模型時,預(yù)測性能通常會變差,此時可考慮進(jìn)行模型更新。在模型驗(yàn)證的論文中,若存在模型更新應(yīng)詳細(xì)描述更新的方法,如重新校準(zhǔn)截距或回歸系數(shù)、添加新的預(yù)測因子等。
例文是模型開發(fā)類研究,不是對QRISK2模型的驗(yàn)證和更新,故未提及該項(xiàng)內(nèi)容。
2.3.8 風(fēng)險(xiǎn)分層條目11:如果進(jìn)行了風(fēng)險(xiǎn)分層,提供如何建立風(fēng)險(xiǎn)分層的細(xì)節(jié)。[D;V]
預(yù)測模型一般獲得的是絕對風(fēng)險(xiǎn)值,即結(jié)局事件發(fā)生的概率,并不能直接指導(dǎo)臨床決策,根據(jù)發(fā)生概率將研究對象劃分為不同風(fēng)險(xiǎn)等級有助于臨床實(shí)踐[16]。風(fēng)險(xiǎn)分層的建立方法及劃分的層數(shù)要求雖尚無明確共識,但若研究進(jìn)行了風(fēng)險(xiǎn)分層,作者應(yīng)詳細(xì)描述風(fēng)險(xiǎn)分層的具體細(xì)節(jié),包括風(fēng)險(xiǎn)閾值的界定、層數(shù)等信息;研究同時包括開發(fā)和驗(yàn)證時則應(yīng)分別描述[7]。
例文中,作者依據(jù)NICE指南設(shè)定十年心血管疾病發(fā)病風(fēng)險(xiǎn)閾值為10%,將人群劃分為2類,十年發(fā)病概率<10%的為低風(fēng)險(xiǎn)組,≥10%為高風(fēng)險(xiǎn)組,該分層方式被同時用于QRISK 3模型的開發(fā)與驗(yàn)證中。這些信息的報(bào)告能幫助讀者全面了解模型的臨床實(shí)用性。
2.3.9 建立與驗(yàn)證的比較條目12:識別建模數(shù)據(jù)集與驗(yàn)?zāi)?shù)據(jù)集在研究設(shè)定、納入標(biāo)準(zhǔn)、結(jié)局指標(biāo)和預(yù)測因素上的任何差異。[V]
模型驗(yàn)證是評價(jià)模型可推廣性及可移植性的重要過程[13]。無論是內(nèi)部驗(yàn)證還是外部驗(yàn)證,作者必須清楚地報(bào)告驗(yàn)證數(shù)據(jù)集的研究設(shè)定、研究對象的納入標(biāo)準(zhǔn)、結(jié)局指標(biāo)與預(yù)測因素的定義、測評方法及編碼方法,且這些內(nèi)容是否與建模數(shù)據(jù)庫存在差異,應(yīng)明確強(qiáng)調(diào)任何差異以及差異的處理方法[5]。
在例文中,作者將所有研究樣本隨機(jī)分為建模與驗(yàn)?zāi)?shù)據(jù)集,由于兩者數(shù)據(jù)集來源于同一整體,其研究設(shè)定、納入標(biāo)準(zhǔn)、結(jié)局指標(biāo)和預(yù)測因素的內(nèi)容是一致的,這樣的描述能讓讀者了解兩組數(shù)據(jù)集的相似性。但對于不同空間、時間外部驗(yàn)證的數(shù)據(jù)集,作者需描述建模與驗(yàn)?zāi)?shù)據(jù)集的差異,為模型結(jié)果的解讀及適用范圍提供信息。
(以上內(nèi)容為本文上篇,TRIPOD其余條目例解將在本文下篇中繼續(xù)介紹。)