基于U-Net的直腸癌CT圖像分割系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

許晶淼，胡天寒，劉影，吳敏，林莉

（皖南醫(yī)學(xué)院，安徽 蕪湖 241000）

0 引言

近年來(lái)在我國(guó)乃至全世界，直腸癌的發(fā)病率與死亡率都高于其他惡性腫瘤。而目前，大多數(shù)醫(yī)院依靠放射科醫(yī)生人工標(biāo)注直腸腫瘤區(qū)域，這種方法依托于醫(yī)生的主觀性，因此利用深度學(xué)習(xí)在直腸癌CT 圖像上的分割，可以給醫(yī)生提供臨床診斷上的參考意見，提高診斷效率。

機(jī)器學(xué)習(xí)技術(shù)在國(guó)外多領(lǐng)域發(fā)展，該技術(shù)也被應(yīng)用于研究直腸癌放射學(xué)領(lǐng)域，使得在醫(yī)學(xué)圖像研究領(lǐng)域成果顯著增加。Ran G 等[1]基于決策樹模型，以年齡、性別以及全血計(jì)數(shù)作為特征，來(lái)檢測(cè)患者早期結(jié)直腸癌；Bychkov D 等[2]利用機(jī)器學(xué)習(xí)技術(shù)，將深度學(xué)習(xí)模型應(yīng)用于預(yù)測(cè)患者結(jié)直腸癌的預(yù)后，結(jié)果顯示該模型可提取的預(yù)后信息比具有一定工作經(jīng)驗(yàn)的醫(yī)生要更多；Li Y 等[3]基于術(shù)前CT 圖像的數(shù)據(jù)，開發(fā)了一個(gè)機(jī)器學(xué)習(xí)模型，用于預(yù)測(cè)在結(jié)直腸癌中肝轉(zhuǎn)移的情況，該模型可以為高危直腸癌患者出現(xiàn)肝轉(zhuǎn)移的情況下提供個(gè)性化的監(jiān)測(cè)；Trebeschi 等[4]將卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練在磁共振彌散加權(quán)圖像上，該研究可以自動(dòng)定位并分割直腸癌，但是數(shù)據(jù)量太小，無(wú)法支撐網(wǎng)絡(luò)的訓(xùn)練。

在國(guó)外研究成果的引領(lǐng)啟發(fā)下，我國(guó)將深度學(xué)習(xí)技術(shù)應(yīng)用于直腸癌分割的研究也越來(lái)越多。南京醫(yī)科大學(xué)戴薇等[5]研究通過(guò)采用基于U-Net的自動(dòng)分割模型對(duì)直腸癌GTV 和OARs 進(jìn)行勾畫，實(shí)驗(yàn)結(jié)果顯示對(duì)OARs 勾畫準(zhǔn)確性較高，但是對(duì)GTV 勾畫的準(zhǔn)確性仍需提高。華南師范大學(xué)肖波等[6]使用240張直腸癌CT 圖像進(jìn)行訓(xùn)練與測(cè)試，利用FCN-8s、U-Net 以及SegNet 模型對(duì)直腸癌CT 圖像進(jìn)行分割，以此來(lái)定位病灶位置，實(shí)驗(yàn)結(jié)果表明，U-Net 模型和InceptionV3模型分割結(jié)果更好，分類準(zhǔn)確率高。西南科技大學(xué)汪豪等[7]提出能有效避免梯度消失問(wèn)題的一種基于殘差塊端到端改進(jìn)的U型神經(jīng)網(wǎng)絡(luò)模型，該模型結(jié)合圖像裁剪預(yù)處理，可提高直腸癌的分割精度。

本文提出了一種改良卷積層的U-Net 模型，對(duì)直腸癌CT圖像進(jìn)行分割以及系統(tǒng)實(shí)現(xiàn)?；诰矸e神經(jīng)網(wǎng)絡(luò)對(duì)直腸和腫瘤區(qū)域進(jìn)行分割，使用在臨床試驗(yàn)上應(yīng)用最多的U-Net 模型，對(duì)其卷積塊間增加歸一化層構(gòu)成新的Conv-concat 模塊。改進(jìn)后的U-Net 模型在直腸癌CT 圖像上對(duì)腫瘤分割的精確率顯著提高，在直腸癌臨床診斷中可提供有價(jià)值的參考信息，以制定治療方案。

1 數(shù)據(jù)集和模型設(shè)計(jì)

1.1 數(shù)據(jù)集的選取

本文使用第7屆“泰迪杯”數(shù)據(jù)挖掘挑戰(zhàn)賽中的數(shù)據(jù)集。該數(shù)據(jù)集包含2部分，一部分是未標(biāo)注的直腸癌CT 圖像的train 數(shù)據(jù)，另一部分是已標(biāo)注好對(duì)應(yīng)的直腸癌掩膜的label 數(shù)據(jù)。train 數(shù)據(jù)中包含108 位患者的CT 圖像文件夾，每位患者有20～30 張CT 圖像，原圖像為DCM 格式，共計(jì)3 166 張CT 圖像，其中精選3 000幅CT圖像用于實(shí)驗(yàn)分割。

任取一名患者直腸癌CT圖像如圖1所示，以及該患者直腸癌對(duì)應(yīng)掩膜如圖2所示。

圖1 患者直腸癌CT圖像

圖2 與圖1直腸癌對(duì)應(yīng)的腫瘤掩膜

1.2 圖像預(yù)處理

首先，讀取數(shù)據(jù)集，再結(jié)合本文數(shù)據(jù)集的特點(diǎn)，選擇圖片剪裁與圖像歸一化這2種預(yù)處理方法。

1）讀取數(shù)據(jù)

由于train數(shù)據(jù)集中各個(gè)文件夾的CT圖像數(shù)量不一樣，所以需要使用Python 中g(shù)lob()函數(shù)讀取文件夾和文件名，之后再使用Image.open()函數(shù)讀取圖片。

2）圖片裁剪

直腸腫瘤只發(fā)生在直腸，實(shí)際需要處理的區(qū)域并不需要整張圖片，適當(dāng)裁剪能夠提高網(wǎng)絡(luò)訓(xùn)練的速度。圖3為使用圖片裁剪技術(shù)后的效果圖。

圖3 圖片剪裁后效果圖

3）圖像歸一化

使用標(biāo)準(zhǔn)歸一化是數(shù)據(jù)處理中一個(gè)重要步驟，此方法可有效地減少圖像數(shù)據(jù)中一些異常值對(duì)實(shí)驗(yàn)的影響。神經(jīng)網(wǎng)絡(luò)利用梯度下降的方法來(lái)反向傳播更新誤差，尤其在數(shù)據(jù)差值很大的情況下，標(biāo)準(zhǔn)歸一化非常重要。

式（1）為歸一化函數(shù)：I表示原圖像；Inorm表示歸一化后的圖像；Imax、Imin分別表示原圖像I 的最大值和最小值。

1.3 訓(xùn)練模型

U-Net 整體的網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)為對(duì)稱的U 型，其設(shè)計(jì)主要針對(duì)于醫(yī)學(xué)圖像的分割，并且U-Net網(wǎng)絡(luò)因其不錯(cuò)的訓(xùn)練效果、較高的訓(xùn)練效率和可以適應(yīng)很小的訓(xùn)練集等特性引起了許多研究者的關(guān)注。

1.3.1 U-Net模型介紹

U-Net 網(wǎng)絡(luò)是一種可以實(shí)現(xiàn)端到端映射的網(wǎng)絡(luò)，可實(shí)現(xiàn)圖像分割、恢復(fù)、增強(qiáng)和超分辨等目標(biāo)。其具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。本文對(duì)網(wǎng)絡(luò)輸入256×256大小的圖像進(jìn)行初始特征提取，網(wǎng)絡(luò)可分為左右兩部分，左邊部分是收縮路徑，使用降采樣和卷積模塊提取不同尺度的特征；右邊部分是擴(kuò)展路徑，使用上采樣和卷積模塊恢復(fù)尺度并融合先前特征，恢復(fù)圖像并輸出。

圖4 U-Net模型

卷積模塊由兩層連續(xù)的卷積層組成，其中卷積核的大小設(shè)置為3×3，步長(zhǎng)為1,Padding 為same，以此來(lái)實(shí)現(xiàn)更大尺寸、更高深度的特征提??；降采樣實(shí)現(xiàn)圖像尺度的縮??；上采樣(或反卷積層)實(shí)現(xiàn)圖像尺度的變大；圖中灰色的箭頭線表示跳連，在同一尺度下，將收縮路徑上的特征合并到擴(kuò)展路徑上的特征。

1.3.2 改進(jìn)U-Net模型卷積層

本文在傳統(tǒng)U-Net 卷積塊(如圖5 所示)間增加歸一化層，構(gòu)成了新的Conv-concat 模塊(如圖6 所示)。相比于未改進(jìn)的U-Net模型的卷積塊，Conv-concat模塊做了兩點(diǎn)改進(jìn)。

圖5 傳統(tǒng)U-Net卷積模塊

圖6 改進(jìn)的Conv-concat卷積模塊

首先，讓卷積產(chǎn)生的特征圖和最開始輸入的Conv-concat模塊的特征圖進(jìn)行整合，將整合的結(jié)果作為下一次卷積的輸入。其次，為了降低網(wǎng)絡(luò)模型對(duì)初始化參數(shù)的依賴，在Conv-concat 模塊中，在每一個(gè)卷積層后都增加一個(gè)BN 層(即Batch Normalization)對(duì)輸入進(jìn)行標(biāo)準(zhǔn)化，使得將每一批次中的數(shù)據(jù)正態(tài)化。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證U-Net 模型對(duì)直腸癌CT 圖像分割的效果，在共計(jì)3 000張圖片的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，因?yàn)槟[瘤分布是連續(xù)的，為了避免局部特征過(guò)于集中，對(duì)數(shù)據(jù)集進(jìn)行亂序，之后再按9:1 分配，其中包括訓(xùn)練集2 700張和驗(yàn)證集300張。

實(shí)驗(yàn)在型號(hào)為NVIDIA GTX 2060 的GPU 上進(jìn)行訓(xùn)練。U-Net 網(wǎng)絡(luò)模型輸入的圖片尺寸為256×256×1，訓(xùn)練的輪次分別設(shè)置為100 次，200 次和400 次，使用Adam優(yōu)化器和均方誤差損失函數(shù)。

2.2 評(píng)估標(biāo)準(zhǔn)

本實(shí)驗(yàn)使用Dice系數(shù)、準(zhǔn)確率Acc作為評(píng)估標(biāo)準(zhǔn)來(lái)檢測(cè)模型的性能。

1）Dice系數(shù)

對(duì)圖像分割的評(píng)價(jià)首先采用Dice系數(shù)，其中A是醫(yī)生勾畫的直腸腫瘤區(qū)域，B 是算法分割后獲得的直腸腫瘤區(qū)域。將Dice系數(shù)的取值范圍設(shè)置在[0,1]，若取值越接近1，則表明經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的直腸腫瘤分割結(jié)果與醫(yī)生人工標(biāo)注的結(jié)果越接近，即分割結(jié)果較為精確。Dice系數(shù)計(jì)算公式如式（2）所示：

2）準(zhǔn)確率Acc

本文將正確分割直腸癌CT 圖像記為正類，未分割出直腸癌位置或錯(cuò)誤分割記為負(fù)類。將正類中檢測(cè)成正類數(shù)記為TP，正類中檢測(cè)成負(fù)類數(shù)記為FN；將負(fù)類中檢測(cè)成正類數(shù)記為FP，負(fù)類中檢測(cè)成負(fù)類記為TN?；煜仃嚾绫?所示：

表1 混淆矩陣

統(tǒng)計(jì)網(wǎng)絡(luò)判斷正確的圖片個(gè)數(shù)，再除以總的圖片數(shù)量得到準(zhǔn)確率。準(zhǔn)確率公式如式(3)所示：

2.3 實(shí)驗(yàn)結(jié)果與分析

以下是初步實(shí)驗(yàn)得到的結(jié)果圖，results 保存了每一輪訓(xùn)練集的loss 和metric 以及驗(yàn)證集的val_loss 和val_metric，將其繪制出來(lái)，得到的曲線如圖7所示。

圖7 訓(xùn)練了100次訓(xùn)練集、驗(yàn)證集損失值和Dice值變化曲線圖

從圖7 中結(jié)果可以看出，驗(yàn)證集的損失值總是比訓(xùn)練集大，即腫瘤分割效果總比訓(xùn)練集差，說(shuō)明評(píng)價(jià)網(wǎng)絡(luò)要用未訓(xùn)練的數(shù)據(jù)進(jìn)行測(cè)試，網(wǎng)絡(luò)需要通過(guò)不斷地?cái)M合訓(xùn)練集，以此達(dá)到最佳的訓(xùn)練效果。本次試驗(yàn)中，驗(yàn)證集的Dice 系數(shù)達(dá)到了0.82，這是一個(gè)比較高的值，說(shuō)明網(wǎng)絡(luò)訓(xùn)練效果尚可。

針對(duì)本文的腫瘤分割問(wèn)題，評(píng)價(jià)指標(biāo)主要有2個(gè)，一是分割區(qū)域精確度，也就是Dice 系數(shù)；二是腫瘤分割的準(zhǔn)確率，即Acc。

在300張測(cè)試集中，分割的直腸腫瘤平均Dice 系數(shù)達(dá)到了0.821 2，表明分割的腫瘤區(qū)域與醫(yī)生給予的掩膜較為符合。計(jì)算得出測(cè)試集的準(zhǔn)確率Acc 達(dá)到了99.44%，這表明網(wǎng)絡(luò)對(duì)于有腫瘤圖片和沒(méi)有腫瘤圖片的區(qū)分是非常準(zhǔn)確的。

2.4 基于U-Net的直腸癌CT圖像分割系統(tǒng)的實(shí)現(xiàn)

將訓(xùn)練的最優(yōu)模型提取出來(lái)并設(shè)計(jì)直腸癌分割系統(tǒng)。醫(yī)生上傳直腸癌CT 圖像，系統(tǒng)輸入端獲取直腸癌CT 圖像，通過(guò)模型處理并輸出生成相應(yīng)的直腸癌病灶的位置和大小。具體系統(tǒng)界面如圖8所示，先通過(guò)“上傳圖片”，選取要分割的圖像，點(diǎn)擊“檢測(cè)結(jié)果”，即在右邊得到直腸癌病灶位置和大小。

圖8 系統(tǒng)實(shí)現(xiàn)界面

3 總結(jié)

本文使用深度學(xué)習(xí)中U-Net 網(wǎng)絡(luò)，并基于該網(wǎng)絡(luò)模型改進(jìn)其卷積塊部分，對(duì)直腸癌腫瘤區(qū)域進(jìn)行分割并實(shí)現(xiàn)分割系統(tǒng)。實(shí)驗(yàn)結(jié)果測(cè)試集上的準(zhǔn)確率Acc達(dá)到了99.44%，可以準(zhǔn)確區(qū)分有無(wú)腫瘤的CT圖像，并且能給予一些輔助性診斷參考意見。但是分割的腫瘤平均Dice系數(shù)為0.8212，表明分割的腫瘤區(qū)域與醫(yī)生給予的掩膜符合度仍需提高，預(yù)測(cè)的腫瘤區(qū)域輪廓不夠細(xì)致。