ORH方法在評價(jià)肋骨骨折多閱片者診斷試驗(yàn)中的應(yīng)用*

高永晴 周 祥 劉東旭 徐 宵 董子唯 賀 佳，2△

【提 要】 目的 通過使用雙因素混合效應(yīng)方差分析的ORH(obuchowski-rockette-hillis，ORH)方法，評價(jià)人工智能輔助臨床診斷試驗(yàn)多閱片者的診斷結(jié)果。方法 選擇400例疑似肋骨骨折患者的CT圖像，其中經(jīng)專家(金標(biāo)準(zhǔn))確診骨折188例，未骨折212例。分別采用兩種不同方式閱片：一是3位低年資醫(yī)生單獨(dú)進(jìn)行閱片；二是先使用人工智能(artificial intelligence，AI)輔助檢測軟件標(biāo)記疑似骨折區(qū)域后，再由3位低年資醫(yī)生閱片，簡稱AI+醫(yī)生閱片。最后對其靈敏度和特異度進(jìn)行分析。結(jié)果 將單獨(dú)醫(yī)生閱片和AI+醫(yī)生閱片的結(jié)果分別與金標(biāo)準(zhǔn)閱片結(jié)果進(jìn)行一致性比較：AI+醫(yī)生閱片檢出骨折靈敏度優(yōu)于單獨(dú)醫(yī)生閱片，AI+醫(yī)生閱片檢出骨折特異度非劣效于單獨(dú)醫(yī)生閱片。利用ORH方法分別估計(jì)并比較兩種閱片方式：AI+醫(yī)生閱片與單獨(dú)醫(yī)生閱片檢出骨折靈敏度差值的95%置信區(qū)間為0.303(0.273，0.334)；特異度差值及置信區(qū)間為-0.014(-0.076，0.048)。結(jié)論 對于多閱片者的肋骨骨折閱片診斷試驗(yàn)，可以使用ORH方法對其進(jìn)行評價(jià)，本文的“AI+醫(yī)生閱片”方法可以有效地提高低年資醫(yī)生對肋骨骨折診斷的準(zhǔn)確度。

人工智能(artificial intelligence，AI)可以用于醫(yī)學(xué)影像輔助診斷[1]，通過幫助醫(yī)生定位病灶、分析病情[2]，可以提高診斷的準(zhǔn)確度[3-4]。評價(jià)人工智能輔助檢測軟件的診斷試驗(yàn)，常用統(tǒng)計(jì)指標(biāo)是靈敏度和特異度[5]。由于不同放射科醫(yī)生之間閱歷、知識水平和操作能力存在差別，而患者之間的疾病表現(xiàn)、正常結(jié)構(gòu)也存在差異[6]，這些差異影響醫(yī)生給出準(zhǔn)確的閱片結(jié)果，最終影響對輔助診斷軟件有效性的評價(jià)。為此，通常推薦采用多閱片者研究設(shè)計(jì)，即多名閱片醫(yī)生都以兩種閱片方式(AI聯(lián)合醫(yī)生閱片和單獨(dú)醫(yī)生閱片)閱讀每份患者的影像數(shù)據(jù)，控制閱片的難度和兩種閱片方式所涉及的其他混雜因素[7]。本文針對骨折輔助檢測軟件，臨床試驗(yàn)采用3位低年資醫(yī)生對全部病例重復(fù)閱片，使用雙因素混合效應(yīng)方差分析模型的ORH(obuchowski-rockette-hillis)方法，評估閱片醫(yī)生對其診斷的準(zhǔn)確度。

資料來源

選擇2019年6月至2019年9月來自兩家某三甲醫(yī)院因胸部外傷行急診CT掃描的400例患者的CT圖像，經(jīng)過放射科專家閱片(金標(biāo)準(zhǔn))診斷為有肋骨骨折188例，無肋骨骨折212例。研究的人工智能產(chǎn)品為骨折輔助檢測軟件，對于肋骨骨折CT檢查的患者，CT掃描后的圖像自動發(fā)送到AI服務(wù)器進(jìn)行處理，AI返回的結(jié)果自動接入結(jié)構(gòu)化報(bào)告中，醫(yī)生閱片時(shí)可在報(bào)告看到AI結(jié)果，做出診斷。具體操作由3位影像放射科專家(工作經(jīng)驗(yàn)>10年)對肋骨骨折CT圖像進(jìn)行評價(jià)，取大于等于2位放射科專家一致的閱片結(jié)果作為“金標(biāo)準(zhǔn)”結(jié)果。再選擇3位低年資醫(yī)生(工作經(jīng)驗(yàn)<10年)以兩種閱片方式閱全部病例：一種為單獨(dú)醫(yī)生閱片，另一種為骨折輔助檢測軟件聯(lián)合醫(yī)生閱片(即AI+醫(yī)生聯(lián)合閱片)，兩種閱片方式的順序隨機(jī)，中間設(shè)置1個(gè)月洗脫期。診斷試驗(yàn)的數(shù)據(jù)如表1和表2。

表1 靈敏度分析數(shù)據(jù)(骨折患者)

表2 特異度分析數(shù)據(jù)(非骨折患者)

ORH評價(jià)方法

ORH方法可以用于分析多閱片者多病例研究設(shè)計(jì)ROC療效指標(biāo)[8-10]，也可用于分析靈敏度、特異度[11]。本研究主要使用ORH方法分析靈敏度和特異度。

θij=μ+τi+Rj+(τR)ij+ij

(1)

(2)

當(dāng)已知Cov2和Cov3時(shí)，用于閱片方式效果的零假設(shè)(H0：τi=0；i=1，…，t)的實(shí)際使用的檢驗(yàn)統(tǒng)計(jì)量是：

(3)

其中MS(T)是閱片方式的均方：

(4)

用MS(T*R)表示閱片方式與閱片者交互作用的均方，即

(5)

(6)

現(xiàn)用θi表示閱片方式i的預(yù)期閱片者性能指標(biāo)，給出θi估計(jì)的(1-α)100%的置信區(qū)間；

(7)

(8)

df2=

(9)

為了比較不同閱片方式的準(zhǔn)確度，給出θ2-θ1估計(jì)的(1-α)100%的置信區(qū)間；

(10)

(11)

k=1時(shí)給出的是協(xié)方差矩陣的無偏估計(jì)∑c|r=Sc|r/Nc。

上述ORH方法可以使用Octave 6.1.0軟件的iMRMC_Binary程序?qū)崿F(xiàn)，該軟件由美國食品與藥品管理局(FDA)的Chen和Wunderlich編寫。

結(jié) 果

本研究共納入400例來自不同受試者的影像資料，總的閱片結(jié)果見表3。在564例骨折的CT影像數(shù)據(jù)中，單獨(dú)醫(yī)生共檢出骨折342例；AI+醫(yī)生檢出骨折513例：在636例未骨折的CT影像數(shù)據(jù)中，單獨(dú)醫(yī)生的閱片結(jié)果為未骨折585例；AI+醫(yī)生的閱片結(jié)果為未骨折576例。

表3 肋骨骨折檢出性能分析

使用ORH方法對單獨(dú)醫(yī)生組閱片和AI+醫(yī)生組閱片兩種診斷方式進(jìn)行分析，結(jié)果見表4。

表4 對肋骨骨折CT的兩種不同診斷方式的診斷試驗(yàn)分析結(jié)果

討 論

本研究結(jié)果顯示，兩種診斷方法的準(zhǔn)確度明顯不同，其中AI+醫(yī)生組閱片診斷肋骨骨折的靈敏度和特異度分別為0.910和0.906，而單獨(dú)醫(yī)生閱片分別為0.606和0.920。兩者靈敏度的差值為0.303(95%CI：0.273，0.334)，特異度的差值為-0.014(95%CI：-0.076，0.048)，說明AI+醫(yī)生組閱片的靈敏度優(yōu)效于單獨(dú)醫(yī)生閱片，AI+醫(yī)生組閱片的特異度非劣效于單獨(dú)醫(yī)生閱片(優(yōu)效界值為0，非劣效界值為-0.1)。同時(shí)，也可以看到3個(gè)不同的閱片者之間具有一定的差異。

使用ORH方法的主要目的是在有多閱片者相關(guān)結(jié)構(gòu)的診斷試驗(yàn)中，可以有效地對標(biāo)準(zhǔn)進(jìn)行過估計(jì)，從而可以對診斷試驗(yàn)的準(zhǔn)確度進(jìn)行正確的估計(jì)。ORH模型屬于兩因素方差分析模型，已有的研究表明，通過改進(jìn)ORH方法中的自由度估計(jì)，ORH方法在某些情況下等效于三因素混合效應(yīng)方差分析模型[9-10]，有研究也證實(shí)了這一觀點(diǎn)。ORH模型包含固定的閱片方式效應(yīng)和隨機(jī)的閱片者效應(yīng)和閱片者與閱片方式的交互效應(yīng)，通過方差分析模型誤差相關(guān)性，可以將患者視為隨機(jī)因素[12]，利用這一模型還可以對關(guān)注的指標(biāo)進(jìn)行假設(shè)檢驗(yàn)。