基于多尺度UNet的腎臟CT圖像分割

馮嘉欽 邱衛(wèi)根 張立臣

(廣東工業(yè)大學(xué) 廣東 廣州 510000)

0 引 言

隨著醫(yī)學(xué)成像技術(shù)的不斷發(fā)展,醫(yī)學(xué)圖像處理在非侵入式計(jì)算機(jī)輔助醫(yī)學(xué)診斷具有重要的臨床價(jià)值[1]。腎臟的主要功能是清除人體內(nèi)的代謝產(chǎn)物和某些毒素,清晰的腎臟圖像分析對(duì)腎臟器官疾病的正確診斷具有重要的臨床價(jià)值。尤其是隨著腎癌、腎結(jié)石等疾病微創(chuàng)介入治療手術(shù)的廣泛開(kāi)展,準(zhǔn)確的腎臟組織信息是微創(chuàng)手術(shù)術(shù)前計(jì)劃、術(shù)中指引和術(shù)后評(píng)估的重要依據(jù)[2],腎臟圖像的分割技術(shù)研究是腎臟醫(yī)學(xué)圖像處理研究的重要領(lǐng)域。

醫(yī)學(xué)圖像處理在一定程度上集中在疾病檢測(cè)、圖像分割、圖像配準(zhǔn)和圖像融合四個(gè)方面。同時(shí),醫(yī)學(xué)圖像分割任務(wù)中存在邊界模糊、器官末端特征復(fù)雜等問(wèn)題,使得醫(yī)學(xué)圖像分割任務(wù)在可行性和性能上都存在巨大的困難。其中,腎臟圖像分割在腎臟疾病的評(píng)估和臨床診斷中起著重要的作用。因此,腎臟圖像分割在醫(yī)學(xué)圖像分割任務(wù)中具有舉足輕重的地位。在腎臟圖像分割中,腎皮質(zhì)、腎盂等腎臟組織是解決腎臟圖像分割問(wèn)題的關(guān)鍵。另外,不同的人體可能會(huì)出現(xiàn)不同的腎臟病變,也增加了分割的難度。同時(shí),與自然圖像相比,醫(yī)學(xué)圖像層次特征更加不明確。人體的解剖組織結(jié)構(gòu)和形狀復(fù)雜,因個(gè)體差異,器官圖像所呈現(xiàn)的尺度、紋理特征等都差異很大,對(duì)醫(yī)學(xué)圖像的精準(zhǔn)分割的難度也有所增加。

本文在UNet[3]網(wǎng)絡(luò)的基礎(chǔ)上,構(gòu)建基于多尺度UNet的CNN模型,并應(yīng)用于腎臟圖像的分割領(lǐng)域。多尺度UNet模型通過(guò)融合使用Inception模塊和殘差模塊,在獲取多尺度特征的同時(shí),加快模型訓(xùn)練過(guò)程的收斂。為了獲得更精準(zhǔn)的分割結(jié)果,使用了數(shù)學(xué)形態(tài)學(xué)的方法,對(duì)模型分割結(jié)果進(jìn)行優(yōu)化,以得到更精準(zhǔn)的分割結(jié)果。

1 相關(guān)內(nèi)容

腎臟圖像分割技術(shù)在國(guó)內(nèi)外得到非常廣泛的研究,其大致可以分成兩類:基于標(biāo)記點(diǎn)模型的方法和基于能量最小化的方法。

在基于標(biāo)記點(diǎn)模型的方法方面,一種通過(guò)主動(dòng)外觀模型和live wire結(jié)合的方法[4],可更準(zhǔn)確識(shí)別器官,實(shí)現(xiàn)腹部CT圖像的多器官分割。另一種基于主動(dòng)形狀模型的腎臟超聲圖像分割算法,在主動(dòng)形狀模型中引入遺傳優(yōu)化算法[5],使模型獲得更魯棒的初始化,可加快收斂速度并提高準(zhǔn)確率。另一方面,依據(jù)區(qū)域相似性和形狀特征,文獻(xiàn)[6]實(shí)現(xiàn)了一種可自動(dòng)學(xué)習(xí)的區(qū)域生長(zhǎng)法。更進(jìn)一步,利用先驗(yàn)知識(shí)來(lái)定位腎臟組織[7],同樣實(shí)現(xiàn)自適應(yīng)的區(qū)域生長(zhǎng)算法?；跇?biāo)記點(diǎn)模型的方法在復(fù)雜性和計(jì)算效率方面具有一定的優(yōu)勢(shì),其難點(diǎn)在于對(duì)種子點(diǎn)的選取較為敏感,容易受到粘連的影響,而且需要大量的訓(xùn)練樣本建立統(tǒng)計(jì)模型。

在基于能量最小化的方法方面,結(jié)合測(cè)地活動(dòng)輪廓模型和Chan-Vese模型綜合形式的能量函數(shù)[8],使用圖割方法優(yōu)化能量函數(shù),從而使輪廓趨于目標(biāo)邊界,實(shí)現(xiàn)CT圖像中腎臟的整體分割。另一方面,文獻(xiàn)[9]首先找出腎臟的候選區(qū)域,根據(jù)先驗(yàn)區(qū)域構(gòu)建腎臟的概率形狀,使用馬爾可夫隨機(jī)場(chǎng)構(gòu)造能量函數(shù),采用信念傳播算法最小化能量函數(shù),得到分割腎臟的最優(yōu)解?；谀芰孔钚』膱D像分割方法應(yīng)用非常廣泛,尤其是可變形模型和圖割的方法效果更加顯著,受到了越來(lái)越多的關(guān)注。為了實(shí)現(xiàn)基于水平集的可變形模型[10],其加入速度函數(shù)受到形狀先驗(yàn)、灰度特征和空間交互性的控制。文獻(xiàn)[11]通過(guò)貝葉斯概率統(tǒng)計(jì),構(gòu)建了水平集分割框架來(lái)實(shí)現(xiàn)腎臟組織的容量分析?？勺冃文Ｐ屯ǔ２捎米兎旨夹g(shù),通過(guò)梯度下降法優(yōu)化能量函數(shù),結(jié)合圖割方法,使能量函數(shù)能有效地全局最小化。另一方面,首次給定了估計(jì)活動(dòng)輪廓長(zhǎng)度的理論公式[12],并采用圖割方法加以優(yōu)化。文獻(xiàn)[13]在窄帶范圍內(nèi)使用圖割方法,優(yōu)化帶有區(qū)域限制的測(cè)地活動(dòng)輪廓模型[14],彌補(bǔ)了傳統(tǒng)活動(dòng)輪廓模型的算法缺陷。另外,文獻(xiàn)[15]通過(guò)圖割方法優(yōu)化水平集能量函數(shù)的離散形式,提高了算法效率。文獻(xiàn)[16]通過(guò)集成學(xué)習(xí)主動(dòng)輪廓建模,檢測(cè)腎臟內(nèi)部初始化遮蓋,不斷拓展其邊界,達(dá)到分割腎臟部位的效果。

近年來(lái),深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類[17-18]、目標(biāo)檢測(cè)[19]等方面獲得廣泛的應(yīng)用,深度學(xué)習(xí)已經(jīng)成為圖像處理研究領(lǐng)域的主要方向。深度卷積神經(jīng)網(wǎng)絡(luò)利于提取語(yǔ)義豐富的圖像特征,也是深度卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域最大的優(yōu)勢(shì)。全卷積神經(jīng)網(wǎng)絡(luò)FCN-32s[20]通過(guò)其自身的多卷積層,自動(dòng)提取圖像上的多層特征,開(kāi)創(chuàng)了使用端到端訓(xùn)練模型分割圖像的先河。但由于FCN-32s設(shè)置了較大的卷積核和步長(zhǎng),所得到的腎臟圖像分割結(jié)果仍然不夠精細(xì)。對(duì)于FCN-32s進(jìn)行改進(jìn),得到全卷積神經(jīng)網(wǎng)絡(luò)K-Net來(lái)上下采樣獲取圖像特征[21],從而對(duì)圖像每個(gè)像素點(diǎn)進(jìn)行分類,得到腎臟整體圖像的分割圖,利用GrowCut算法[22]對(duì)腎臟圖像中的腎皮質(zhì)部分進(jìn)行分割。文獻(xiàn)[23]分別訓(xùn)練水平和垂直兩個(gè)方向上的子模型,通過(guò)兩個(gè)級(jí)聯(lián)子模型,進(jìn)行圖像全局空間相關(guān)性的獲取,豐富了語(yǔ)義信息,提高了腎臟分割效果。文獻(xiàn)[24]利用了金字塔池化模型(PPM),添加到三維全卷積網(wǎng)絡(luò),提高對(duì)圖像多尺度特征提取的能力,對(duì)CT圖像進(jìn)行整組處理,在三維圖像上實(shí)現(xiàn)端到端的學(xué)習(xí)模型。文獻(xiàn)[25]通過(guò)AlexNet對(duì)腎臟CT圖像進(jìn)行腎臟ROI的選取,使用UNet模型對(duì)腎臟ROI的進(jìn)行有針對(duì)性的分割。文獻(xiàn)[26]使用CNN檢測(cè)出CT圖像中的腎臟邊界,結(jié)合邊界信息和3D UNet對(duì)腎臟區(qū)域進(jìn)行有效的分割,提高了分割準(zhǔn)確率。文獻(xiàn)[27]提出了SERU模型,利用ResNeXt機(jī)制為UNet模型添加了分組和深度可分割卷積,大大減少了模型參數(shù)量和加快了網(wǎng)絡(luò)收斂速度,同時(shí)利用SE模塊,提升了特征圖中的空間相關(guān)性,從而改善了分割效果。

目前,絕大多數(shù)的腎臟分割算法只實(shí)現(xiàn)了腎臟基本的分割,對(duì)于腎臟CT圖像中細(xì)節(jié)關(guān)鍵部位,包括:腎皮質(zhì)、腎盂等存在較為復(fù)雜特征的組織還存在一定的分割難度。同時(shí)隨著CT圖像中每個(gè)橫截面的變化,腎臟部位呈現(xiàn)出尺度上的變化,對(duì)于同一組CT圖像會(huì)因?yàn)槌叨壬系拿黠@變化而導(dǎo)致分割效果明顯變差,因此這也是醫(yī)學(xué)圖像分割任務(wù)上的難點(diǎn)之一。隨著臨床醫(yī)學(xué)領(lǐng)域?qū)δI臟圖像精準(zhǔn)分割的需求越來(lái)越高,對(duì)于CT圖像的分割要求也將越來(lái)越高。本文研究適于臨床醫(yī)學(xué),提出腎臟圖像的高精準(zhǔn)分割模型,具有重要的現(xiàn)實(shí)意義。

2 本文算法

本文圖像分割算法具體流程如下:第一,對(duì)圖像進(jìn)行提取以及數(shù)據(jù)增強(qiáng);第二,根據(jù)所面臨的難點(diǎn),進(jìn)行UNet網(wǎng)絡(luò)模型的改進(jìn);第三,利用數(shù)據(jù)集,對(duì)多尺度UNet進(jìn)行訓(xùn)練;最后,將圖像輸入到訓(xùn)練后的模型得到模型分割圖,對(duì)于模型分割圖,采用數(shù)學(xué)形態(tài)學(xué)上的優(yōu)化來(lái)進(jìn)行細(xì)微差異的優(yōu)化,得到最終分割圖。測(cè)試結(jié)果將在本文實(shí)驗(yàn)中提及。

2.1 數(shù)據(jù)增強(qiáng)

訓(xùn)練數(shù)據(jù)集數(shù)據(jù)增強(qiáng)。訓(xùn)練數(shù)據(jù)多樣性是決定網(wǎng)絡(luò)訓(xùn)練反向傳播中收斂速度與效果的重要指標(biāo)。為了提高網(wǎng)絡(luò)在CT圖像不同情況和噪聲下的泛化能力,提高模型分割的準(zhǔn)確率,采用一系列的數(shù)據(jù)增強(qiáng)方法來(lái)增加訓(xùn)練集的多樣性。數(shù)據(jù)增強(qiáng)效果如圖1所示,分別采用了:(1) 旋轉(zhuǎn):水平旋轉(zhuǎn),垂直旋轉(zhuǎn)。圖1中顯示垂直旋轉(zhuǎn)。(2) 加入高斯噪聲,圖1中為隨機(jī)像素點(diǎn)加入了符合均值為5,方差為100的高斯分布的灰度值。(3) 改變亮度,圖1為每個(gè)像素點(diǎn)的灰度值提高40。(4) 彈性變形,圖1為經(jīng)過(guò)彈性系數(shù)34,高斯過(guò)濾器尺度為7變形。

(a) 原圖像 (b) 旋轉(zhuǎn) (c) 高斯噪聲

2.2 多尺度UNet模型

2.2.1UNet圖像分割模型

UNet圖像分割模型結(jié)合了級(jí)聯(lián)(skip connection)和對(duì)稱采樣的思想,分別通過(guò)四層的上采樣和下采樣操作來(lái)對(duì)圖像進(jìn)行特征的提取,同時(shí)每層對(duì)應(yīng)的下采樣輸出特征圖和上采樣輸出特征圖進(jìn)行級(jí)聯(lián),能夠有效地提取各個(gè)層次的特征。因此UNet進(jìn)行醫(yī)學(xué)圖像的分割能夠結(jié)合低分辨率信息和高分辨率信息,分別提供物體分類識(shí)別和精準(zhǔn)分割依據(jù)。最后將輸出特征圖由激活函數(shù)softmax進(jìn)行每個(gè)像素的分類概率運(yùn)算。

經(jīng)過(guò)了概率運(yùn)算,輸出圖像每個(gè)像素點(diǎn)的分類概率,使用分類概率對(duì)每個(gè)像素點(diǎn)進(jìn)行分類。最后,預(yù)測(cè)值與真實(shí)值共同輸入到交叉熵?fù)p失函數(shù)中得到每個(gè)像素的分類代價(jià)。

經(jīng)過(guò)前向傳播和代價(jià)運(yùn)算之后,進(jìn)行反向傳播,需要對(duì)代價(jià)函數(shù)以及逐層參數(shù)往前求偏導(dǎo)數(shù),更新每層神經(jīng)網(wǎng)絡(luò)的權(quán)重,從而對(duì)其代價(jià)函數(shù)求最小解。經(jīng)過(guò)上述操作后的神經(jīng)網(wǎng)絡(luò)能夠起到對(duì)圖像分割進(jìn)行學(xué)習(xí)。

2.2.2Inception模塊提取多尺度特征

針對(duì)圖像處理中物體不同尺度的問(wèn)題,由文獻(xiàn)[28]提出的Inception模塊,首次運(yùn)用在GoogleNet中,在大型圖像分類數(shù)據(jù)集ImageNet[29]上得到很好的分類效果。其結(jié)構(gòu)為卷積神經(jīng)網(wǎng)絡(luò)中一種結(jié)構(gòu)上的組合,對(duì)于特征圖分別進(jìn)行1×1、3×3、5×5,以及最大池化,得到的四個(gè)結(jié)果進(jìn)行通道上的融合,對(duì)于特征圖中的不同尺度的特征能有效地提取,很大程度上解決了存在尺度差異的問(wèn)題,從而提高了分割準(zhǔn)確度。

2.2.3殘差機(jī)制

文獻(xiàn)[30]提出了能夠有效解決神經(jīng)網(wǎng)絡(luò)中反向傳播過(guò)程中梯度消失問(wèn)題的殘差機(jī)制。由于深度學(xué)習(xí)中一般網(wǎng)絡(luò)參數(shù)量和傳播層數(shù)十分龐大,在訓(xùn)練過(guò)程中,圖像經(jīng)過(guò)了深度龐大的網(wǎng)絡(luò)來(lái)提取特征,通過(guò)反復(fù)多次卷積和池化運(yùn)算,必然會(huì)導(dǎo)致特征的嚴(yán)重失真,導(dǎo)致反向傳播過(guò)程中梯度消失。因此,提出了殘差機(jī)制和ResNet,具體通過(guò)在卷積神經(jīng)網(wǎng)絡(luò)中加入殘差塊,為網(wǎng)絡(luò)訓(xùn)練中正向傳播提供更加細(xì)節(jié)的圖像特征,從而提高傳播效率,有效減少梯度消失,提高收斂速度。

2.3 多尺度UNet模型構(gòu)造

UNet是采用了skip connection以及對(duì)稱上下采樣的全卷積神經(jīng)網(wǎng)絡(luò)模型。本文對(duì)UNet進(jìn)行改進(jìn)得到多尺度UNet網(wǎng)絡(luò)模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 多尺度UNet模型構(gòu)造圖

在UNet網(wǎng)絡(luò)模型基礎(chǔ)上,根據(jù)2.2.2節(jié)所提到的Inception模塊,本文將每一次進(jìn)行下采樣之前加入Inception塊,對(duì)下采樣前的特征圖分別進(jìn)行1×1、3×3、5×5,以及最大池化操作,其中,考慮到3×3和5×5卷積是對(duì)尺寸比較大的特征圖進(jìn)行,所以運(yùn)算時(shí)會(huì)產(chǎn)生巨大的計(jì)算量和參數(shù)量,因此在3×3和5×5卷積之前,采用1×1卷積降低特征圖的通道數(shù),從而減少計(jì)算成本。注意的是,以上3×3和5×5卷積為了保持特征圖尺寸,padding參數(shù)分別設(shè)置為1和2,將4個(gè)操作得到的特征圖進(jìn)行拼接融合。這樣考慮到了不同范圍的感受野,因此可以進(jìn)行多尺度特征的提取,解決CT圖像中尺度差異問(wèn)題。

根據(jù)2.2.3節(jié)所提到的殘差機(jī)制,本文為多尺度UNet網(wǎng)絡(luò)結(jié)構(gòu)添加了殘差塊。首先,每層下采樣層中進(jìn)行下采樣操作,即進(jìn)行步長(zhǎng)核尺寸為2、步長(zhǎng)為2的最大池化,得到下采樣塊,作為下一層的下采樣層的輸入(最后一層下采樣塊作為第一層上采樣層輸入),同時(shí)也作為殘差塊。其次,當(dāng)前下采樣塊和下一層下采樣層進(jìn)行下采樣操作之間的特征圖進(jìn)行特征圖融合操作,完成本文的殘差機(jī)制。因此這樣將失真程度小的特征圖和失真程度大的特征圖進(jìn)行融合,改善深度卷積神經(jīng)網(wǎng)絡(luò)中特征圖失真問(wèn)題,為經(jīng)過(guò)多層卷積網(wǎng)絡(luò)的特征圖提供更加低層次,更加細(xì)節(jié)的特征,同時(shí)也加快網(wǎng)絡(luò)收斂速度。

除此之外,在每個(gè)卷積操作后面都進(jìn)行BatchNormalization[31]操作,稱為BN,因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)在做非線性轉(zhuǎn)換前的激活輸入值的分布,隨著不斷的訓(xùn)練會(huì)逐漸發(fā)生偏移,使得原特征空間和目標(biāo)特征空間分布不一致,影響泛化能力。再者,整體分布會(huì)逐漸往非線性函數(shù)的取值區(qū)間的上下兩端移動(dòng),所以收斂速度變慢,甚至梯度消失。為了解決上述兩個(gè)原因,BatchNormalization通過(guò)規(guī)范化手段將每層網(wǎng)絡(luò)的神經(jīng)元輸入值分布拉回到均值為0方差為1的標(biāo)準(zhǔn)正態(tài)分布,即輸入圖像所規(guī)范化后的分布,其規(guī)范化公式如下:

(1)

同時(shí),為了網(wǎng)絡(luò)更好表達(dá)非線性,進(jìn)行目標(biāo)任務(wù)的擬合,神經(jīng)網(wǎng)絡(luò)中需要對(duì)每個(gè)神經(jīng)元的輸出進(jìn)行激活操作,其中文獻(xiàn)[32]提出了ReLU作為網(wǎng)絡(luò)的激活函數(shù)能夠有效防止梯度在反向傳播中的消失問(wèn)題,而LeakyReLU作為ReLU的一種變體,相比于ReLU其對(duì)負(fù)值輸入具有很小的坡度,使得導(dǎo)數(shù)不總是為零,解決了ReLU函數(shù)接收到負(fù)輸入時(shí),神經(jīng)元停止學(xué)習(xí)的問(wèn)題。因此,多尺度UNet在每個(gè)BN操作之后選用LeakyReLU函數(shù)作為激活函數(shù)。LeakyReLU函數(shù)如下:

(2)

式中:x為輸入值,a為一個(gè)較為小的實(shí)數(shù),范圍為(0,1)。

2.4 數(shù)學(xué)形態(tài)學(xué)算法優(yōu)化分割圖

經(jīng)過(guò)多尺度UNet網(wǎng)絡(luò)模型分割的圖像,與真實(shí)分割圖還存在一定的差異,這些差異一般存在分割目標(biāo)的邊緣位置,例如腎臟的腎皮質(zhì)外圍、腎盂等位置存在比較多的細(xì)節(jié)末梢,是影響分割效果的重點(diǎn)。為了減少這方面的誤差,本文引入了數(shù)學(xué)形態(tài)學(xué)中的一系列運(yùn)算以及分水嶺算法[33]來(lái)對(duì)模型分割圖像進(jìn)行優(yōu)化。其中,閉運(yùn)算指的是先進(jìn)行膨脹運(yùn)算再腐蝕運(yùn)算。其中,腐蝕運(yùn)算可以使得目標(biāo)圖像的邊界收縮,可以用來(lái)消除小且無(wú)意義的目標(biāo)物,運(yùn)算如下:

AθB={x,y|(B)xy?A}

(3)

式中:表示用結(jié)構(gòu)B去腐蝕圖像A,即B遍歷滑動(dòng)圖像A下的橫縱坐標(biāo),如果B在圖像A的(x,y)處,完全被包含在圖像A重疊的區(qū)域,則將圖像A中(x,y)的值賦值為1,否則為0。

膨脹運(yùn)算使目標(biāo)邊界向外部擴(kuò)張,可以填充目標(biāo)區(qū)域內(nèi)細(xì)小的空洞。運(yùn)算如下:

A⊕B={x,y|(B)xy∩A≠θ}

(4)

式中:表示用結(jié)構(gòu)B去膨脹圖像A,即B遍歷滑動(dòng)圖像A下的橫縱坐標(biāo),如果B在圖像A的(x,y)處與A的交集不為空,則將圖像A中(x,y)的值賦值為1,否則為0。

后處理優(yōu)化的具體步驟為:(1) 通過(guò)閾值處理,將模型分割圖由灰度圖轉(zhuǎn)化為二值圖像。(2) 由于目標(biāo)區(qū)域中可能存在噪聲,通過(guò)閉合運(yùn)算,消除目標(biāo)區(qū)域中的噪聲。(3) 對(duì)圖像進(jìn)行膨脹運(yùn)算,來(lái)增加目標(biāo)區(qū)域,使得分離的目標(biāo)區(qū)域連接在一起,目標(biāo)區(qū)域之外的區(qū)域確定為背景區(qū)域。(4) 計(jì)算目標(biāo)區(qū)域中每個(gè)像素點(diǎn)與背景區(qū)域的距離。(5) 確定目標(biāo)區(qū)域,在(4)的距離中選出最大的距離與給定的超參數(shù)相乘,得到閾值,遍歷(4)中的距離,如果超過(guò)閾值的像素點(diǎn)視為非目標(biāo)區(qū)域,進(jìn)一步篩選出目標(biāo)區(qū)域。(6) 使用(3)中的目標(biāo)區(qū)域減去(5)中的目標(biāo)區(qū)域,得到目標(biāo)區(qū)域的邊緣區(qū)域,即為未知區(qū)域。(7) 因?yàn)樵谀I臟CT圖像切片中可能存在兩邊的腎臟,所以對(duì)兩個(gè)分割區(qū)域作不同的標(biāo)記。(8) 對(duì)于(7)中標(biāo)記不同的兩個(gè)分割區(qū)域運(yùn)用分水嶺算法,將標(biāo)記傳入的輪廓作為注水點(diǎn),對(duì)模型分割圖像的其他像素點(diǎn)根據(jù)分水嶺算法規(guī)則進(jìn)行判斷,并對(duì)每個(gè)像素點(diǎn)的區(qū)域歸屬進(jìn)行劃定,直到圖像上所有的像素點(diǎn)都被劃分為止,從而進(jìn)行最后的劃分修正,提高劃分效果。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集采集

實(shí)驗(yàn)采用grand-challenge中KITS19比賽提供的數(shù)據(jù)集。KITS19腎臟CT圖像數(shù)據(jù)集是由University of Minnesota在對(duì)300例腎癌患者進(jìn)行部分或者完全切除腎臟腫瘤的過(guò)程中,CT掃描所生成的腎臟CT圖像以及標(biāo)準(zhǔn)分割圖像。由于切片的厚度不同所以會(huì)得到CT圖像數(shù)量不同的圖像組,同時(shí)考慮到圖像組中還存在一定量的全背景圖像(即不包含腎臟區(qū)域的圖像),因此,去除此類圖像,減少負(fù)例在數(shù)據(jù)集中的占比,加快對(duì)腎臟圖像分割的擬合。KITS19數(shù)據(jù)集總共有210組CT圖像,經(jīng)過(guò)圖像的提取和上述的負(fù)樣本篩除,得到6 893幅CT圖像,其中,訓(xùn)練集有6 485幅CT圖像,測(cè)試集有408幅CT圖像。

3.2 實(shí)驗(yàn)參數(shù)配置

在訓(xùn)練多尺度UNet模型過(guò)程中,選擇mini_batch數(shù)目為:2。訓(xùn)練輪次設(shè)置為200次,選擇初始學(xué)習(xí)率為0.000 1,其中,在優(yōu)化器方面,選擇Adam優(yōu)化器,其中優(yōu)化器的參數(shù)為:β1=0.9;β2=0.999;ε=10-8。

實(shí)驗(yàn)基于64位的Linux系統(tǒng)ubuntu 16.04版本和NVIDIA GTX Geforce 1080 Ti GPU,采用PyCharm編輯軟件以及編譯器為Python 3.6版本,采用深度學(xué)習(xí)框架為PyTorch。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1實(shí)驗(yàn)效果展示

圖3給出了CT圖像、標(biāo)準(zhǔn)圖像、測(cè)試集經(jīng)過(guò)模型分割后的模型分割圖像,以及對(duì)模型分割圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)優(yōu)化后的最終分割圖像?？梢钥闯鲎罱K分割圖能夠得到比較滿意的分割結(jié)果。

圖3 腎臟CT分割圖像結(jié)果

3.3.2評(píng)估指標(biāo)

Intersection over Union(IoU,均交并比)是語(yǔ)義分割中的標(biāo)準(zhǔn)度量,同時(shí)是度量分割任務(wù)有效性的標(biāo)準(zhǔn)。其表示目標(biāo)分割區(qū)域正確預(yù)測(cè)的占比,計(jì)算值越大代表分割效果越好。

(5)

式中:TP為正確預(yù)測(cè)的目標(biāo)區(qū)域;FN為錯(cuò)誤預(yù)測(cè)的非目標(biāo)區(qū)域;FP為錯(cuò)誤預(yù)測(cè)的目標(biāo)區(qū)域。

DSC[34]是一種計(jì)算兩個(gè)集合相似度的函數(shù),同時(shí)也是醫(yī)學(xué)圖像分割中的常用的量度標(biāo)準(zhǔn)。其計(jì)算值越大代表預(yù)測(cè)結(jié)果和真實(shí)結(jié)果越相似。

(6)

式中:TP為正確預(yù)測(cè)的目標(biāo)區(qū)域;FN為錯(cuò)誤預(yù)測(cè)的非目標(biāo)區(qū)域;FP為錯(cuò)誤預(yù)測(cè)的目標(biāo)區(qū)域。

需要注意,目標(biāo)區(qū)域在腎臟CT分割任務(wù)中為腎臟部分,而非目標(biāo)區(qū)域是非腎臟部分,即背景部分。

3.3.3實(shí)驗(yàn)結(jié)果分析

為了能夠定量分析實(shí)驗(yàn)結(jié)果以及實(shí)現(xiàn)效果,進(jìn)行消融實(shí)驗(yàn),通過(guò)UNet、多尺度UNet以及多尺度UNet+后處理優(yōu)化三個(gè)算法進(jìn)行測(cè)試集的預(yù)測(cè)。圖4直觀展示了多尺度UNet和后處理優(yōu)化算法對(duì)原來(lái)模型在分割效果上的提升,其中,經(jīng)過(guò)原來(lái)模型改造的多尺度UNet,在分割效果上得到了實(shí)質(zhì)的改善,其次,后處理優(yōu)化在效果上也能提供一定的幫助。

(a) Unet分割圖 (b) 多尺度Unet分割圖 (c) 多尺度Unet分割圖+后處理分割圖 (d) 標(biāo)準(zhǔn)分割圖圖4 消融實(shí)驗(yàn)效果對(duì)比圖

圖4中每一行表示對(duì)同一圖像的不同分割圖,矩形框標(biāo)示出了UNet和多尺度UNet所產(chǎn)生的比較明顯的分割誤差。由于CT圖像的每個(gè)橫截面存在明顯尺度差異的特性,同時(shí)UNet模型欠缺解決尺度差異的能力。因此對(duì)比圖4中(a)、(b)和(d)可以看出UNet分割圖呈現(xiàn)出了較大的誤差,而在多尺度UNet分割圖中正是減少了這一方面的誤差,因此多尺度UNet能夠解決UNet模型所分割的圖像絕大部分的誤差。再者,對(duì)比圖4中(b)、(c)和(d)可以看出多尺度UNet分割圖還存在一些細(xì)節(jié)末端上的噪聲或者誤差,因此,針對(duì)圖4中(b)存在非目標(biāo)區(qū)域的小區(qū)域噪聲,以及目標(biāo)區(qū)域邊緣的細(xì)節(jié)誤差,加入了一系列數(shù)學(xué)形態(tài)學(xué)方法和基于分水嶺的后處理優(yōu)化,對(duì)多尺度UNet中一定的誤差進(jìn)行糾正。

為了進(jìn)行更好的定量分析,根據(jù)預(yù)測(cè)分割圖和真實(shí)分割圖,分別計(jì)算IoU、DSC兩個(gè)比較廣泛應(yīng)用的模型評(píng)估指標(biāo),同時(shí)計(jì)算出對(duì)于整個(gè)測(cè)試集的IoU平均值,DSC平均值,簡(jiǎn)稱MIoU、MDSC。表1給出了UNet、多尺度UNet以及多尺度UNet+后處理優(yōu)化三個(gè)方法的MIoU以及MDSC評(píng)估指標(biāo)的比較?？梢钥闯?多尺度UNet模型的改良對(duì)圖像分割效果在很大程度上有所幫助。同時(shí),在多尺度UNet模型基礎(chǔ)上,加入后處理優(yōu)化,能夠?yàn)槟Ｐ头指顖D去除噪聲,對(duì)最后的分割結(jié)果起到一定的改善作用。

表1 消融實(shí)驗(yàn)結(jié)果對(duì)比(%)

將本論文方法與其他6種方法進(jìn)行對(duì)比,包括:2.5D Residual UNet[35]、邊界3D UNet[26]、Hyper Vision Net[36]、AlexNet+UNet[25]、SERU[27]、3D UNet[37]。表2給出了包含后本文算法在內(nèi)的7種方法的準(zhǔn)確率比較。本文在多尺度UNet模型基礎(chǔ)上能夠有效地對(duì)腎臟CT圖像進(jìn)行分割,同時(shí)在和其他方法比較中也有一定的優(yōu)勢(shì)。

表2 CT圖像分割結(jié)果對(duì)比(%)

4 結(jié) 語(yǔ)

隨著醫(yī)學(xué)技術(shù)的發(fā)展,尤其是腎癌、腎結(jié)石等疾病微創(chuàng)介入治療手術(shù)的廣泛開(kāi)展,臨床醫(yī)學(xué)對(duì)準(zhǔn)確的腎臟組織分割的精準(zhǔn)性要求越來(lái)越高,腎臟圖像的精準(zhǔn)分割越來(lái)越具有強(qiáng)大的市場(chǎng)價(jià)值。近年來(lái),隨著深度學(xué)習(xí)技術(shù)的發(fā)展,由于網(wǎng)絡(luò)與機(jī)器硬件的速度越來(lái)越快普及,以及越來(lái)越多的醫(yī)學(xué)圖像數(shù)據(jù)集的出現(xiàn),這些極大地推動(dòng)了深度學(xué)習(xí)在醫(yī)學(xué)圖像處理的快速發(fā)展。本文在UNet模型的基礎(chǔ)上提出了基于語(yǔ)義分割的多尺度UNet模型,通過(guò)對(duì)圖像進(jìn)行像素級(jí)的分類,模型很好地適應(yīng)了腎臟CT圖像不同尺度和不同細(xì)節(jié)特征的特點(diǎn),有效地實(shí)現(xiàn)了對(duì)腎臟圖像完整的語(yǔ)義分割。同時(shí)為了得到更精準(zhǔn)的腎臟組織細(xì)節(jié)圖像,本文模型最后更結(jié)合了數(shù)學(xué)形態(tài)學(xué)和分水嶺方法,有效地減少了腎臟圖像邊緣位置和關(guān)鍵部位的噪聲干擾。本文使用KITS19競(jìng)賽中的腎臟CT圖像對(duì)模型進(jìn)行訓(xùn)練并測(cè)試,實(shí)驗(yàn)結(jié)果表明,本文算法能完整地對(duì)圖像腎臟部位精準(zhǔn)分割,在精確度上優(yōu)于現(xiàn)在主流的一些算法,說(shuō)明本文算法能為臨床腎臟疾病診斷提供依據(jù)。接下來(lái)的工作包括:進(jìn)一步優(yōu)化算法,使其適應(yīng)更多環(huán)境下采集到的腎臟圖像的精準(zhǔn)分割;更進(jìn)一步地優(yōu)化CNN網(wǎng)絡(luò)結(jié)構(gòu),使后部的數(shù)學(xué)形態(tài)學(xué)功能融進(jìn)CNN網(wǎng)絡(luò),從而實(shí)現(xiàn)端對(duì)端模型。