陳詩(shī)琳,李淑龍,馬建華
南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院/廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室,廣東廣州 510515
基于醫(yī)學(xué)影像的身體部位識(shí)別(BPR,Bodypart Recognition)旨在準(zhǔn)確定醫(yī)學(xué)影像所屬身體部位(例如,頭部、胸部或腹部等),是許多醫(yī)學(xué)影像分析算法的預(yù)處理步驟[1-2]。近幾十年來(lái),學(xué)者們研發(fā)了大量醫(yī)學(xué)影像分析算法以輔助醫(yī)生進(jìn)行臨床診斷和治療決策[3-4],例如,病灶檢測(cè)算法[5]、器官分割算法[6]等。不同的醫(yī)學(xué)影像分析算法通常需要結(jié)合不同解剖結(jié)構(gòu)的先驗(yàn)知識(shí)(例如,器官形狀)進(jìn)行設(shè)計(jì)[7-8]。因此,在執(zhí)行特定的醫(yī)學(xué)影像分析算法之前,首先需要識(shí)別醫(yī)學(xué)影像中包含的身體部位信息以獲取先驗(yàn)知識(shí)。此外,給定具體的身體部位信息可以減小分類、分割等醫(yī)學(xué)影像分析算法的搜索范圍,從而提高算法的速度以及魯棒性[9]。再者,放射科醫(yī)生希望在閱片前能針對(duì)特定部位減少冗余信息以加快閱片速度。因此,能自動(dòng)篩選感興趣部位的身體部位識(shí)別算法尤為重要。然而,目前身體部位識(shí)別仍是一項(xiàng)艱巨且值得研究的任務(wù)[10-11]。
醫(yī)學(xué)影像種類良多,其中包括計(jì)算機(jī)斷層掃描(CT,Computed Tomography)[12]、磁共振成像(MRI,Magnetic Resonance Imaging)[13]以及正電子發(fā)射斷層掃描計(jì)算機(jī)斷層掃描(PET-CT,Positron Emission To?mography-Computed Tomography)等。由于自身優(yōu)勢(shì),CT 相對(duì)其他醫(yī)學(xué)影像技術(shù)有更為廣泛的臨床應(yīng)用。一般而言,CT圖像的DICOM 頭文件中含有身體部位信息[14]。對(duì)于非全身CT掃描,學(xué)者們可以通過(guò)對(duì)DI?COM 頭文件進(jìn)行文本檢索來(lái)實(shí)現(xiàn)身體部位識(shí)別(例如,胸部CT和腹部CT等)。然而,DICOM 頭文件中的身體部位信息存在大約15%的錯(cuò)誤,從而限制了使用文本檢索身體部位的準(zhǔn)確性[15]。此外,DICOM 信息的多語(yǔ)言特性也使得基于文本檢索身體部位的研究難以進(jìn)行[16]。對(duì)于全身CT掃描(例如,PET-CT),由于其DICOM 頭文件缺少身體部位的信息,學(xué)者們無(wú)法基于文本檢索進(jìn)行身體部位識(shí)別。為了避免基于文本檢索方法的問(wèn)題,越來(lái)越多的學(xué)者轉(zhuǎn)而研究基于CT 圖像進(jìn)行身體部位識(shí)別的算法。與基于文本檢索的身體部位識(shí)別算法相比,基于CT圖像的身體部位識(shí)別算法可以有效利用CT圖像內(nèi)部的解剖信息,進(jìn)而獲取更高的身體部位識(shí)別精度[17]。
基于CT 圖像的身體部位識(shí)別研究本質(zhì)上是一個(gè)多分類問(wèn)題。在過(guò)去十幾年中,學(xué)者們已經(jīng)提出了許多基于CT 圖像的身體部位識(shí)別方法。例如,田野等[18]基于CT 圖像使用AdaBoost 方法進(jìn)行身體部位分類識(shí)別。Park 等[19]提出一種使用小波變換域中的能量信息來(lái)確定身體部位的算法。Hong 等[20]建立了一個(gè)全局參考系去識(shí)別身體各部位。該方法從識(shí)別頭部開(kāi)始,確定頭部的邊界框后,進(jìn)而使用不同的算法逐一定位其他身體部位,包括頸部、胸部、腹部和骨盆。Criminisi 等[21]利用回歸森林進(jìn)行解剖部位檢測(cè)和定位。這些傳統(tǒng)分類識(shí)別算法大多是先提取預(yù)定義的特征,然后使用特定的分類器進(jìn)行分類。有時(shí)這些傳統(tǒng)算法還與特征選擇方法結(jié)合使用[22-23]。然而,這些方法中采用的預(yù)定義特征(也稱為人工特征,Handcrafted feature)通常難以完全反映CT 圖像內(nèi)部解剖信息[22],這極大地限制了身體部位識(shí)別準(zhǔn)確率的進(jìn)一步提高。
近年來(lái),具有強(qiáng)大端到端學(xué)習(xí)能力的深度學(xué)習(xí)(DL,Deep Learning)技術(shù),特別是卷積神經(jīng)網(wǎng)絡(luò)技術(shù)(CNN,Convolutional Neural Network)被廣泛用于CT 圖像分析任務(wù)以及身體部位識(shí)別研究中,取得了一定的成功[24]。例如,Roth 等[25]提出一種基于CNN 針對(duì)醫(yī)學(xué)圖像人體解剖識(shí)別的特定分類方法。他們將2D 軸向CT 圖像作為CNN 分類器的輸入來(lái)識(shí)別身體的5 個(gè)部分(頸部、肺部、肝臟、骨盆以及腿部),其準(zhǔn)確率高達(dá)94.1%。Yan 等[26]提出了一種用于圖像分類的多階段深度學(xué)習(xí)框架,并將其應(yīng)用于身體部位識(shí)別任務(wù)。Zhang 等[27]利用3D CT 圖像的空間信息作為監(jiān)督源進(jìn)行身體部位識(shí)別研究。這些基于CNN的身體部位識(shí)別方法通常是在CT 圖像域中構(gòu)建,而不考慮CT 圖像的生成機(jī)制。實(shí)際上,CT 圖像是通過(guò)特定的重建算法以及一系列重建步驟從CT 弦圖(CT Sinogram)重建生成,其重建過(guò)程勢(shì)必會(huì)導(dǎo)致一些原始數(shù)據(jù)信息的丟失。雖然,專家難以從CT 弦圖數(shù)據(jù)中定義有效的人工特征進(jìn)行圖像分析和疾病診斷,但基于CT 弦圖的醫(yī)學(xué)影像分析任務(wù)在科學(xué)和實(shí)踐上仍具有可行性,并且具有自主學(xué)習(xí)能力的深度學(xué)習(xí)技術(shù)使這種可行性得以實(shí)現(xiàn)。具體而言,使用端到端訓(xùn)練的CNN 框架可以分析和解釋CT弦圖,從而進(jìn)行身體部位識(shí)別。最近,越來(lái)越多的研究人員試圖跳過(guò)重建步驟利用深度學(xué)習(xí)直接對(duì)CT 弦圖進(jìn)行分析,以獲得更好的醫(yī)學(xué)任務(wù)性能[28-29]。Lee等[30]基于深度學(xué)習(xí)對(duì)CT 弦圖數(shù)據(jù)進(jìn)行身體部位識(shí)別并驗(yàn)證了該方法的有效性。然而,該研究的實(shí)驗(yàn)數(shù)據(jù)量較小且只局限于同一種CT掃描設(shè)備所收集的增強(qiáng)CT數(shù)據(jù)。實(shí)際上影響身體部位識(shí)別性能的因素有很多,例如增強(qiáng)與非增強(qiáng)CT掃描、不同CT掃描設(shè)備、正常與病變CT圖像等。因此,針對(duì)更廣泛數(shù)據(jù)類型的身體部位識(shí)別方法仍有待進(jìn)一步研究。
考慮到上述影響因素,本研究提出利用深度學(xué)習(xí)對(duì)更廣泛的CT數(shù)據(jù)類型進(jìn)行CT弦圖學(xué)習(xí),并用于身體部位識(shí)別。具體而言,本文方法以CT弦圖作為CNN分類器的輸入,從而構(gòu)造基于CNN的五分類器(稱為Sino-Net),對(duì)5 個(gè)身體部位(頭部、頸部、胸部、上腹部以及骨盆)進(jìn)行識(shí)別。為了評(píng)估本文提出方法的有效性,3 種常見(jiàn)的CNN 結(jié)構(gòu)(殘差網(wǎng)絡(luò)(ResNet)[31]、密集連接網(wǎng)絡(luò)(DenseNet)[32]以及Inception網(wǎng)絡(luò)[33])將被改進(jìn)從而分別構(gòu)建3種CNN 模型,并使用1個(gè)公開(kāi)數(shù)據(jù)集(DeepLesion)[34]和3個(gè)來(lái)自不同醫(yī)療機(jī)構(gòu)的臨床數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn)驗(yàn)證。這些數(shù)據(jù)集包含了正常和帶有病變的CT 數(shù)據(jù)、增強(qiáng)和非增強(qiáng)的CT數(shù)據(jù)以及來(lái)自于不同掃描設(shè)備的CT數(shù)據(jù),以盡可能多地考慮更廣泛的影響因素。實(shí)驗(yàn)結(jié)果表明,基于CNN 的CT 弦圖學(xué)習(xí)可以達(dá)到與基于CT 圖像進(jìn)行身體部位識(shí)別相似的性能,甚至優(yōu)于基于CT 圖像識(shí)別的結(jié)果。
本文采用公開(kāi)數(shù)據(jù)集(DeepLesion)來(lái)訓(xùn)練和五折交叉驗(yàn)證本文提出的方法,即使用CNN 分類器對(duì)CT 弦圖進(jìn)行學(xué)習(xí),從而識(shí)別5 個(gè)身體部位。DeepLesion 數(shù)據(jù)集由美國(guó)國(guó)立衛(wèi)生研究院臨床中心(NIHCC)創(chuàng)建,是目前世界上最大的CT 影像數(shù)據(jù)集。該數(shù)據(jù)集由4 427 名患者的CT 圖像組成,涵蓋了大多數(shù)人體解剖結(jié)構(gòu)[34]。該數(shù)據(jù)集數(shù)據(jù)類型廣泛,其中包含了增強(qiáng)和非增強(qiáng)CT圖像以及正常和帶有病灶的CT圖像。根據(jù)醫(yī)學(xué)解剖對(duì)身體部位的劃分,我們從該數(shù)據(jù)集中選擇了34 416 張身體軀干部位圖像,其圖像大小均為512×512。這些圖像均由2 名放射科醫(yī)生手動(dòng)標(biāo)記分類,劃分為5 個(gè)最常見(jiàn)的身體部位:頭部、頸部、胸部、上腹部和骨盆,數(shù)據(jù)分布如表1所示。
表1 DeepLesion數(shù)據(jù)集中5個(gè)身體部位的數(shù)量分布Table1 Distribution of five bodyparts in the DeepLesion dataset
本文使用的3個(gè)臨床數(shù)據(jù)集僅用于獨(dú)立測(cè)試以評(píng)估所提出方法的性能。(a)胸部數(shù)據(jù)集:該數(shù)據(jù)集在美國(guó)德克薩斯大學(xué)西南醫(yī)學(xué)中心(UTSW)收集,由100例早期(IA 和IB)非小細(xì)胞肺癌(NSCLC)患者組成。共包括579 張胸部CT 圖像,其圖像大小為512×512,使用通用電氣(GE)CT 掃描設(shè)備掃描。(b)上腹部數(shù)據(jù)集:該數(shù)據(jù)集由2010 年1 月至2019 年5 月在南方醫(yī)科大學(xué)附屬珠江醫(yī)院肝膽外科二科就診的135 例胰腺疾病患者組成。共包括1 537 張上腹部CT 圖像,其圖像大小為512×512,使用飛利浦(Philips)CT 掃描設(shè)備掃描。(c)骨盆數(shù)據(jù)集:該數(shù)據(jù)集在美國(guó)德克薩斯西南醫(yī)學(xué)中心收集,由15 例IB-IVA 子宮頸癌患者組成。共包括836 張骨盆CT 圖像,其圖像大小為512×512,使用通用電氣(GE)CT 掃描設(shè)備掃描。
由于真實(shí)CT弦圖為各廠商的商業(yè)機(jī)密,難以獲取。因此,本研究通過(guò)數(shù)據(jù)仿真的方式對(duì)CT圖像進(jìn)行仿真從而獲得弦圖數(shù)據(jù)。此仿真方法已廣泛應(yīng)用于需要用到CT弦圖數(shù)據(jù)的研究[35]。本研究采用西門子公司Somatom Definition AS+CT 掃描儀的成像幾何來(lái)模擬弦圖,其成像幾何參數(shù)具體為:X 射線射源到旋轉(zhuǎn)中心的距離595 mm;X 射線源到探測(cè)器的距離1 085.6 mm;重建尺寸512×512;體素尺寸0.664 0 mm;探測(cè)器數(shù)量736;2個(gè)相鄰探測(cè)器之間的間距1.094 7 mm。本研究對(duì)上述1個(gè)公開(kāi)數(shù)據(jù)集和3個(gè)臨床數(shù)據(jù)集進(jìn)行前向拉東變換(Radon transform),在具有泊松(Poisson)噪聲和零均值高斯分布隨機(jī)值的噪聲水平下生成CT弦圖[36],可由如下公式所示
本文提出算法的總流程圖如圖1 所示。首先,對(duì)DeepLesion 數(shù)據(jù)集及3 個(gè)臨床數(shù)據(jù)集根據(jù)1.3 節(jié)所提及的數(shù)據(jù)仿真方法進(jìn)行處理,以獲得CT弦圖數(shù)據(jù)。其次,將DeepLesion數(shù)據(jù)集仿真得到的CT弦圖數(shù)據(jù)集采用五折交叉驗(yàn)證法訓(xùn)練CNN 分類器,從而識(shí)別5 個(gè)身體部位,該網(wǎng)絡(luò)結(jié)構(gòu)被稱為Sino-Net。具體而言,以CT 弦圖作為Sino-Net 的輸入,Sino-Net 會(huì)對(duì)CT 弦圖進(jìn)行自主特征學(xué)習(xí),在Sino-Net 的最后一層將輸出一個(gè)五維向量(y1,y2,…,y5),然后利用Softmax函數(shù)可計(jì)算出5個(gè)身體部位的預(yù)測(cè)概率pi(i= 1,2,…,5),計(jì)算公式如下
圖1 提出方法的總流程圖Fig.1 Illustration of the proposed method
實(shí)驗(yàn)使用一個(gè)具有24 GB 內(nèi)存容量的NVIDIA Tesla P40 圖形處理器(GPU)的PyTorch 工具包進(jìn)行實(shí)驗(yàn)。參數(shù)動(dòng)量(Momentum)可加速學(xué)習(xí)過(guò)程,根據(jù)實(shí)踐經(jīng)驗(yàn),我們將其設(shè)置為0.9。批大?。˙atch Size)為150,對(duì)所有網(wǎng)絡(luò)進(jìn)行了300個(gè)周期的訓(xùn)練,學(xué)習(xí)率為10-5。
為了驗(yàn)證Sino-Net 對(duì)廣泛數(shù)據(jù)類型的CT 弦圖的學(xué)習(xí)能力和對(duì)身體部位的識(shí)別性能,本文對(duì)3 種最常用的CNN結(jié)構(gòu)進(jìn)行修改,從而執(zhí)行本文的實(shí)驗(yàn)。
2.2.1 基于ResNet修改的CNN結(jié)構(gòu)殘差網(wǎng)絡(luò)(ResNet)于2015 年被首次提出,它在ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC)中獲得了圖像分類的優(yōu)勝。殘差網(wǎng)絡(luò)易于優(yōu)化,并且其內(nèi)部跳躍連接(Short?cut)結(jié)構(gòu)可以緩解由于神經(jīng)網(wǎng)絡(luò)深度增加而導(dǎo)致的梯度消失問(wèn)題。因此,本文首先基于殘差網(wǎng)絡(luò)的跳躍連接構(gòu)建了CNN 模型,此模型被稱為Res-BPR,如圖2 所示。它由8 個(gè)卷積(Convolution)層,4 個(gè)最大池(Max-pooling)層和1 個(gè)全連接(FC,F(xiàn)ully Connected)層組成。其中,卷積核大小為3×3,共有64 個(gè)卷積核,激活函數(shù)為線性整流函數(shù)(ReLU,Rectified Linear Unit),最大池化大小為2×2。除前兩個(gè)卷積層外,剩余卷積層之后都添加了批歸一化(BN,Batch Normalization)操作。
圖2 Res-BPR,它由8個(gè)卷積層、4個(gè)最大池化層和1個(gè)全連接層組成Fig.2 Res-BPR,which consists of eight convolution layers,four max-pooling layers and one FC layer
2.2.2 基于DenseNet修改的CNN結(jié)構(gòu)密集連接卷積網(wǎng)絡(luò)(DenseNet)于2017 年被首次提出。自此之后,DenseNet 被廣泛用于各種圖像分析任務(wù)中并取得了上佳的效果。DenseNet 具有較強(qiáng)的泛化能力,它的成功得益于它內(nèi)部的密集連接塊(DB,Dense Block)結(jié)構(gòu),該結(jié)構(gòu)能減輕網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)的過(guò)擬合問(wèn)題。鑒于密集連接塊的優(yōu)點(diǎn),本文構(gòu)建了CNN 網(wǎng)絡(luò)結(jié)構(gòu)Dense-BPR,如圖3 所示。它由1 個(gè)卷積層,4 個(gè)密集連接塊,3 個(gè)過(guò)渡層(TL,Transition Layer),1 個(gè)平均池(Avg-pooling)層和1 個(gè)全連接層組成。其中卷積核大小為3×3,共有64 個(gè)卷積核。每個(gè)密集連接塊由不同數(shù)量的密集層(DL,Dense Layer)組成,4個(gè)密集連接塊的密集層數(shù)量依次為3、6、12以及8。每個(gè)密集層由兩個(gè)卷積層組成,兩個(gè)卷積層的卷積核大小分別為1×1 和3×3,卷積核數(shù)量分別為128 和32。過(guò)渡層位于兩個(gè)相鄰的密集連接塊之間,它的作用是改變通道大小,使得前一個(gè)密集連接塊輸出的特征圖大小能與后一個(gè)密集連接塊的輸入相匹配。過(guò)渡層由1 個(gè)卷積層和1 個(gè)平均池層組成。其中,卷積核大小為1×1,卷積數(shù)量為128,平均池化大小為2×2。
圖3 Dense-BPR,它由1個(gè)卷積層、4個(gè)密集連接卷積塊、3個(gè)過(guò)渡層、1個(gè)平均池化層和1個(gè)全連接層組成。2個(gè)相鄰的密集連接塊由過(guò)渡層連接Fig.3 Dense-BPR,which consists of one convolution layer,four Dense Blocks,three transition layers(TLs),one average-pooling layer,and one FC layer. Two adjoining Dense Blocks are connected by a TL
2.2.3 基于Inception網(wǎng)絡(luò)修改的CNN結(jié)構(gòu)自GoogLeNet于2014年在ILSVRC 中獲得第一名以來(lái),Incep?tion 模塊引起了學(xué)者們的廣泛關(guān)注。Inception 模塊使用多個(gè)小卷積核代替大卷積核,從而提高了參數(shù)的利用率并加快了網(wǎng)絡(luò)的計(jì)算速度。如圖4 所示,Inception 模塊也被用來(lái)構(gòu)建用于身體部位識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu),稱為Incept-BPR。該網(wǎng)絡(luò)結(jié)構(gòu)由3 個(gè)相同的Inception 模塊、1 個(gè)卷積層和1 個(gè)全連接層組成。每個(gè)Incep?tion模塊由2個(gè)不同的卷積層、1個(gè)最大池化層以及“四條分支”組成。其中,2個(gè)卷積層的卷積核大小為3×3,卷積核數(shù)量分別為16 和32。最大池層緊接其后,最大池化大小為2×2。4 條分支中的3 條分支為卷積層,卷積核大小分別為3×3、5×5 以及1×1。剩余1 條分支為平均池層,池化大小為2×2。由于1×1 卷積核運(yùn)算可以限制通道數(shù)并降低計(jì)算成本,因此在卷積核大小為5×5、3×3 的卷積層前和平均池層后額外添加了卷積核大小為1×1的卷積層。
圖4 Incept-BPR,它由3個(gè)Inception模塊、1個(gè)卷積層和1個(gè)全連接層組成Fig.4 Incept-BPR,which consists of three Inception modules,one convolution layer and one FC layer
整體實(shí)驗(yàn)設(shè)置如圖5 所示,本文使用DeepLesion 數(shù)據(jù)集訓(xùn)練Sino-Net,并采用五折交叉驗(yàn)證法以驗(yàn)證該算法的有效性,3個(gè)臨床數(shù)據(jù)集將進(jìn)一步用來(lái)獨(dú)立測(cè)試該算法的性能。此外,與CT 弦圖相對(duì)應(yīng)的CT 圖像作為以上3個(gè)CNN 網(wǎng)絡(luò)的輸入,訓(xùn)練了相應(yīng)的CNN 網(wǎng)絡(luò)(稱為Img-Net),將用來(lái)和Sino-Net進(jìn)行比較,從而進(jìn)一步驗(yàn)證Sino-Net 對(duì)身體部位識(shí)別的性能。Sino-Net 的結(jié)果還將與7種傳統(tǒng)分類方法的結(jié)果進(jìn)行比較。7種傳統(tǒng)分類方法分別為:邏輯回歸(LR,Logistic Regression)[37];線性判別分析(LDA,Linear Dis?criminant Analysis)[38];K 近鄰(KNN,K-Nearest Neighbor)[39];分類和回歸樹(shù)(CART,Classification And Regression Tree)[40];隨機(jī)森林(RF,Random Forest)[41];樸素貝葉斯(NB,Naive Bayesian)[42]以及支持向量機(jī)(SVM,Support Vector Machine)[43]。為了保證實(shí)驗(yàn)的公平性,采用同樣數(shù)據(jù)劃分的五折交叉驗(yàn)證法訓(xùn)練7 種傳統(tǒng)分類方法。具體地,首先對(duì)每張CT 圖像進(jìn)行人工特征提取,共包括532 個(gè)手工特征,其中,7 個(gè)為形狀特征,13 個(gè)為紋理特征,512 個(gè)為直方圖特征。然后,將這些特征作為7 種傳統(tǒng)分類器的輸入,以獲得最終的結(jié)果。
圖5 實(shí)驗(yàn)設(shè)置總流程圖Fig.5 Illustration of experiment setup
實(shí)驗(yàn)的評(píng)估準(zhǔn)則包括準(zhǔn)確率(Acc,Accuracy),宏F1(macro-F1),接收者操作特征曲線(Receiver Operating Characteristic Curve,ROC 曲線)[44],ROC 曲線下面積(Area Under Curve,AUC)[45]。用于身體部位識(shí)別的Acc計(jì)算公式
表2 總結(jié)了針對(duì)DeepLesion 數(shù)據(jù)集使用3 個(gè)CNN 分類器進(jìn)行身體部位識(shí)別的準(zhǔn)確率和宏F1 結(jié)果。由表2可以觀察到基于3種常用CNN 改進(jìn)的模型(Res-BPR、Dense-BPR、Incept-BPR),Sino-Net 的性能都比Img-Net 的性能更好。Sino-Net 的準(zhǔn)確率和宏F1 在Dense-BPR 模型下取得最佳結(jié)果,分別為99.77%和99.76%。實(shí)驗(yàn)結(jié)果表明,基于CT 弦圖進(jìn)行身體部位識(shí)別具有可行性和有效性,并且與基于CT 圖像的身體部位識(shí)別算法相比,結(jié)果均有所提高。
表2 3個(gè)CNN網(wǎng)絡(luò)識(shí)別身體部位的準(zhǔn)確率和宏F11)Table 2 The accuracy and macro-F1 of three CNN networks to recognize bodyparts %
表3 給出了針對(duì)DeepLesion 數(shù)據(jù)集,本文提出的方法(Sino-Net-Dense-BPR)和7 種傳統(tǒng)分類方法的準(zhǔn)確率比較結(jié)果。此實(shí)驗(yàn)用在3個(gè)Sino-Net模型中表現(xiàn)最好的Dense-BPR 模型來(lái)與7種傳統(tǒng)分類方法進(jìn)行比較。由表3 可以觀察到,7 種傳統(tǒng)方法中隨機(jī)森林分類器獲得最高的準(zhǔn)確率(85.52%),遠(yuǎn)低于Sino-Net-Dense-BPR(99.77%)。圖6 展示了本文提出的方法和7 種傳統(tǒng)分類方法的ROC 曲線,可以看出,Si?no-Net-Dense-BPR 取得了最優(yōu)的結(jié)果。綜上結(jié)果表明,在身體部位識(shí)別算法研究中,本文提出方法在各方面都優(yōu)于7種傳統(tǒng)方法。
圖6 7種傳統(tǒng)分類方法和Sino-Net-Dense-BPR 的ROC曲線比較Fig.6 The comparison of ROC curve between seven traditional classification methods and the Sino-Net-Dense-BPR
表3 7種傳統(tǒng)分類方法和Sino-Net-Dense-BPR 的準(zhǔn)確率比較Table 3 The comparison of accuracy between seven traditional classification methods and the Sino-Net-Dense-BPR %
為了驗(yàn)證本文提出的方法的泛化能力,來(lái)自3個(gè)不同機(jī)構(gòu)的臨床數(shù)據(jù)集將用于外部驗(yàn)證,以獨(dú)立測(cè)試本文提出方法的性能,結(jié)果展示在表4。由表4 可以觀察到,Sino-Net 對(duì)3 個(gè)臨床數(shù)據(jù)集的預(yù)測(cè)準(zhǔn)確率結(jié)果都高于Img-Net的預(yù)測(cè)準(zhǔn)確率結(jié)果,并且Sino-Net在3個(gè)數(shù)據(jù)集中都取得了上佳的結(jié)果。這些結(jié)果表明,對(duì)于來(lái)自不同CT掃描設(shè)備的數(shù)據(jù)本文提出的方法具有良好的泛化能力。
表4 3個(gè)臨床數(shù)據(jù)集的準(zhǔn)確率Table 4 The accuracy of three clinical datasets %
本文使用基于CNN 的深度學(xué)習(xí)方法對(duì)廣泛數(shù)據(jù)類型的CT弦圖數(shù)據(jù)進(jìn)行學(xué)習(xí)并應(yīng)用于身體部位自動(dòng)識(shí)別,通過(guò)改進(jìn)3種常用CNN結(jié)構(gòu)(ResNet、DenseNet和Inception網(wǎng)絡(luò))分別構(gòu)建3個(gè)CNN五分類器,并采用公開(kāi)數(shù)據(jù)集DeepLesion 和3 個(gè)臨床數(shù)據(jù)分別進(jìn)行模型訓(xùn)練、五折交叉驗(yàn)證和外部驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,基于CT弦圖的CNN分類器(Sino-Net)在身體部位識(shí)別任務(wù)中能達(dá)到和基于CT圖像方法進(jìn)行識(shí)別類似的效果,甚至優(yōu)于基于CT圖像識(shí)別的結(jié)果。這表明基于CT弦圖的醫(yī)學(xué)圖像分析任務(wù)值得進(jìn)一步探究,具有潛力。雖然本實(shí)驗(yàn)取得了不錯(cuò)的結(jié)果,但是本文只對(duì)臨床CT掃描中5個(gè)最常見(jiàn)的身體部位進(jìn)行分類識(shí)別,可能不足以用于臨床實(shí)踐。在將來(lái)的研究中,我們將進(jìn)一步細(xì)分身體部位探究本文方法的性能。此外,由于身體部位過(guò)渡區(qū)域界限的不明確性[46],仍然存在著一些錯(cuò)分的情況,將來(lái)有必要進(jìn)一步研究解決這個(gè)問(wèn)題。