基于改進(jìn)殘差U-Net的乳腺腫塊圖像分割方法

周雨薇劉志勤王慶鳳黃 俊王耀彬徐衛(wèi)云

(1. 西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 四川綿陽 621010; 2. 綿陽市中心醫(yī)院 四川綿陽 621000)

乳腺癌作為一項(xiàng)死亡率極高的惡性疾病，已嚴(yán)重威脅到全世界女性身心健康與生命安全。據(jù)美國癌癥協(xié)會(huì)統(tǒng)計(jì)，2017年美國乳腺癌新增病例達(dá)255 180例，乳腺癌死亡人數(shù)達(dá)41 070例[1]。我國每年女性乳腺癌死亡病例約6.60萬例，占女性惡性腫瘤死亡人數(shù)的7.82%[2]。

早期乳腺癌通常沒有明顯的臨床癥狀，多表現(xiàn)為無痛性腫塊[3]。乳腺鉬靶X線攝影是篩查乳腺癌腫塊首選的無創(chuàng)性檢測(cè)手段[4]。腫塊在乳腺鉬靶圖像上主要表現(xiàn)為大小各異、形狀不均、邊緣模糊等特點(diǎn)。由于乳腺內(nèi)其他組織的相互重疊，腫塊病灶往往難以辨認(rèn),海量的影像數(shù)據(jù)也給放射科醫(yī)師的閱片和診斷帶來了巨大的工作量，并且受醫(yī)師診斷經(jīng)驗(yàn)、情緒等主觀因素的影響，可能導(dǎo)致漏檢誤診的發(fā)生[5]。

醫(yī)學(xué)人工智能(Medical Artificial Intelligence)受到了國家層面的高度重視與戰(zhàn)略扶持[6]，在許多生物醫(yī)學(xué)領(lǐng)域產(chǎn)生了重要的影響：淋巴結(jié)良惡性輔助診斷[7]、胸部疾病輔助診斷[8-9]、眼底圖像分割[10]、腸道息肉分割[11]等，成為了當(dāng)前的熱門研究主題。

應(yīng)用于乳腺腫塊分割的人工智能算法可分為傳統(tǒng)機(jī)器學(xué)習(xí)算法與經(jīng)典深度學(xué)習(xí)算法。傳統(tǒng)的圖像分割算法約束條件較多，操作復(fù)雜，難以取得理想效果。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，基于深度學(xué)習(xí)的圖像分割算法擁有更高效的特征提取能力，表現(xiàn)出極大的優(yōu)勢(shì)與潛力，學(xué)者們也因此將深度學(xué)習(xí)應(yīng)用于乳腺圖像處理并進(jìn)行了相關(guān)研究。文獻(xiàn)[12]提出基于快速掃描卷積神經(jīng)網(wǎng)絡(luò)的乳腺核磁共振圖像分割算法，提高了圖像分割速度并保證分割精度不變。文獻(xiàn)[13]提出利用GAN進(jìn)行半監(jiān)督訓(xùn)練，使網(wǎng)絡(luò)得以區(qū)分標(biāo)簽圖像以及分割結(jié)果圖像，此方法更加適用于乳腺鉬靶數(shù)據(jù)量較少時(shí)對(duì)感興趣區(qū)域(ROI, Region Of Interest)進(jìn)行大致的分割。文獻(xiàn)[14]構(gòu)建了乳腺腫塊檢測(cè)、分割和分類一體化的CAD系統(tǒng)，并使用了一種新的深度全分辨率卷積網(wǎng)絡(luò)FrCN。文獻(xiàn)[15]基于U-Net改進(jìn)出一種雙通道分割網(wǎng)絡(luò)，訓(xùn)練過程中兩條路徑信息相互疊加補(bǔ)充，同樣也需要在已提取的感興趣區(qū)域內(nèi)進(jìn)行分割。

綜上，計(jì)算機(jī)輔助診斷系統(tǒng)借助人工智能技術(shù)，在乳腺腫塊的分割領(lǐng)域已有較好的應(yīng)用成果，可以自動(dòng)分割腫塊病灶，達(dá)到提高診斷效率、減少漏檢和誤檢的目的，但仍存在局限：首先，大部分研究所使用的是公開數(shù)據(jù)集，較為陳舊并且均來自歐美患者，此外腫塊的標(biāo)注不夠精確甚至完全錯(cuò)誤，導(dǎo)致分割性能下降；其次，數(shù)據(jù)樣本中病灶區(qū)域與背景區(qū)域的像素存在較大的數(shù)量差別，這會(huì)主導(dǎo)梯度的更新方向，使模型更傾向于學(xué)習(xí)面積較大的背景區(qū)域，無法學(xué)習(xí)到腫塊相關(guān)信息。為此，本文提出基于對(duì)稱殘差結(jié)構(gòu)的乳腺腫塊分割網(wǎng)絡(luò)SRes-Unet，可在完整乳腺鉬靶圖像上直接對(duì)腫塊進(jìn)行像素級(jí)分割，無需預(yù)先提取感興趣區(qū)域。同時(shí)，為解決腫塊區(qū)域像素在完整乳腺圖像內(nèi)占比過小而造成網(wǎng)絡(luò)訓(xùn)練的導(dǎo)向偏差，使用一種改進(jìn)型復(fù)合加權(quán)損失函數(shù)wBCE_DiceLoss平衡像素差，進(jìn)一步提升分割的精準(zhǔn)度。

1 基于殘差結(jié)構(gòu)的乳腺圖像腫塊分割方法

1.1 U-Net模型簡述

經(jīng)典U-Net[16]是2015年MICCAI會(huì)議上首先被提出的一種全卷積網(wǎng)絡(luò)分割模型，由兩條對(duì)稱路徑組成。左側(cè)收縮路徑用于獲取上下文信息，右側(cè)擴(kuò)展路徑用于對(duì)目標(biāo)精確定位，兩條路徑形成一個(gè)“U”型。中間通過Skip-Concatenate將圖像各層次的多維要素進(jìn)行融合，提高網(wǎng)絡(luò)對(duì)特征信息進(jìn)行學(xué)習(xí)并獲取的敏感度。

1.2 SRes-Unet模型結(jié)構(gòu)

雖然U-Net在分割精度和速度上都達(dá)到了較高水平，但傳統(tǒng)的卷積層和池化層在信息傳遞中普遍存在信息丟失等問題，并且隨著網(wǎng)絡(luò)逐步加深，梯度消失也隨之出現(xiàn)[17]。為克服上述問題，本文提出一種新的改進(jìn)模型：基于對(duì)稱殘差結(jié)構(gòu)的U-Net分割模型SRes-Unet。延續(xù)U-Net的對(duì)稱結(jié)構(gòu)以及跳躍連接，同時(shí)嵌入改進(jìn)的殘差模塊對(duì)分割細(xì)節(jié)進(jìn)行優(yōu)化，通過圖像增強(qiáng)緩解梯度消失的問題，有效提升分割效率。

SRes-Unet主要有以下3個(gè)特點(diǎn)：(1)將原始U-Net兩條路徑中共5層的3×3普通卷積替換為殘差結(jié)構(gòu)的殘差卷積模塊，網(wǎng)絡(luò)中間依舊采用跳躍連接。(2)嵌入的殘差模塊內(nèi)部由卷積層(5×5 Conv2d)、歸一化層(Batch Normalization)、激活函數(shù)PReLU層組成，水平向的殘差連接采用Element-wise。(3)利用2×2卷積層與2×2反卷積層代替原始上采樣和下采樣的池化層，在特征圖大小變化的同時(shí)，能更好地分配不同像素點(diǎn)的權(quán)重，降低重要信息丟失概率。

模型整體框架如圖1所示。從上至下總共5層對(duì)稱結(jié)構(gòu)，第一至三層的兩端殘差模塊內(nèi)部分別執(zhí)行1～3次卷積，第三層后均執(zhí)行3次卷積，并且每完成一次卷積后都伴隨批量歸一化和PReLU激活[18]。網(wǎng)絡(luò)通道數(shù)(卷積核個(gè)數(shù)或feature map數(shù)量)隨著網(wǎng)絡(luò)層數(shù)不斷加深而依次增加兩倍，從16，32，64，128到256。

左側(cè)下采樣路徑中每一層的卷積結(jié)果都要同時(shí)傳遞到右側(cè)上采樣路徑所對(duì)稱的卷積模塊中，進(jìn)行疊加操作(Skip-Concatenate)以補(bǔ)充圖像因壓縮損失的特征信息，既能夠保留一部分丟失的信息，同時(shí)提高腫塊邊界分割的準(zhǔn)確性。網(wǎng)絡(luò)最后的卷積層產(chǎn)生與輸入圖像尺寸相同大小的特征圖，經(jīng)過Sigmoid函數(shù)激活，映射出每個(gè)像素的前景/背景概率，如果概率大于0.5為前景腫塊區(qū)域，反之則為背景。

1.3 殘差連接模塊

隨著網(wǎng)絡(luò)層次加深，訓(xùn)練時(shí)間越長，且更易造成信息丟失產(chǎn)生錯(cuò)誤。為解決這一問題，訓(xùn)練分割模型時(shí)引入He等[19]于2015年Imagenet圖像識(shí)別競(jìng)賽中提出的殘差網(wǎng)絡(luò)原理，構(gòu)造殘差連接模塊(Resblock)。模塊內(nèi)包含兩條路徑，一條路徑將輸入的圖像信息直接添加到該模塊底層與另一條包含特征提取功能的路徑進(jìn)行相加處理，構(gòu)成殘差短路連接。這樣的殘差映射便是該模塊需要學(xué)習(xí)的目標(biāo)。圖2所示為包含一次卷積的殘差連接模塊具體結(jié)構(gòu)。

圖1 SRes-Unet網(wǎng)絡(luò)模型Fig.1 SRes-Unet network model

圖2 卷積殘差塊具體結(jié)構(gòu)Fig.2 Concrete structure of convolution residual block

1.4 wBCE_Dice損失函數(shù)

經(jīng)典U-Net模型訓(xùn)練中利用Softmax的輸出結(jié)果計(jì)算交叉熵，并將其作為網(wǎng)絡(luò)整體的優(yōu)化函數(shù)。在醫(yī)學(xué)圖像分割中，通常只有病灶與背景兩種分類，損失函數(shù)此時(shí)就是二元交叉熵(Binary Cross Entropy, BCE)，其公式為：

(1)

其中：N為輸入圖像像素總數(shù)；gi∈{0,1}是第i個(gè)像素真實(shí)的標(biāo)簽，其中0表示背景，1為腫塊；pi∈[0,1]是對(duì)應(yīng)像素預(yù)測(cè)為前景的概率。當(dāng)前景像素遠(yuǎn)遠(yuǎn)小于背景像素的數(shù)量時(shí)，即gi=0的數(shù)量遠(yuǎn)大于gi=1的數(shù)量，優(yōu)化過程中g(shù)i=0的成分便會(huì)占據(jù)主導(dǎo)，使得模型嚴(yán)重偏向背景。

由圖3可以看出，在乳腺圖像中腫塊往往僅占整張圖像的很小塊區(qū)域，因此數(shù)據(jù)集存在嚴(yán)重的前景與背景像素不平衡問題，單獨(dú)使用二分類交叉熵?fù)p失函數(shù)可能會(huì)誤導(dǎo)模型優(yōu)化方向，最終只能預(yù)測(cè)面積更大的無意義背景區(qū)域。

圖3 不同乳腺圖像中腫塊的各種表現(xiàn)形式Fig.3 Various shape of masses in different mammograms.

Dice相似系數(shù)是一種集合相似度度量函數(shù)，通常用于計(jì)算兩類像素樣本的相似度，取值范圍為[0,1]。當(dāng)兩類樣本數(shù)量差巨大時(shí)，Dice Loss能夠使樣本不均衡問題得到一定程度的緩解。Dice Loss[20]定義為：

(2)

ε是為了維持?jǐn)?shù)值穩(wěn)定性防止分母變0而添加的常數(shù)。而在乳腺圖像分割中，由于腫塊像素與背景像素極度不平衡，單獨(dú)使用Dice損失函數(shù)則會(huì)使整個(gè)優(yōu)化過程不穩(wěn)定導(dǎo)致指標(biāo)可靠性降低。因此，我們?cè)谟?xùn)練過程中，利用兩種損失函數(shù)對(duì)網(wǎng)絡(luò)訓(xùn)練進(jìn)行約束，提出一種帶權(quán)重的復(fù)合損失函數(shù)wBCE_DiceLoss，定義如下：

wBCE_DiceLoss=αBCELoss+DiceLoss

(3)

式中，α為一個(gè)常數(shù)權(quán)重，以控制交叉熵?fù)p失和Dice損失之間優(yōu)化強(qiáng)度的平衡。經(jīng)過實(shí)驗(yàn)測(cè)試了不同的α值,發(fā)現(xiàn)當(dāng)α=1×10-4時(shí)能夠達(dá)到較佳的分割效果。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 圖像預(yù)處理

由于國內(nèi)目前尚未有公開的乳腺鉬靶數(shù)據(jù)集，因此我們構(gòu)建了一個(gè)國內(nèi)的乳腺鉬靶數(shù)據(jù)集：SMD-My，用于模型的訓(xùn)練、驗(yàn)證及測(cè)試。SMD-My數(shù)據(jù)來源于綿陽市中心醫(yī)院，包括150例乳腺鉬靶圖像，每一張圖像均由放射科醫(yī)生精準(zhǔn)勾勒出乳腺腫塊輪廓。將數(shù)據(jù)集按80%，10%，10%比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。同時(shí)，為驗(yàn)證所提模型的泛化性能，從兩個(gè)國外公開的乳腺鉬靶數(shù)據(jù)集CBIS-DDSM[21]和INbreast[22]中分別納入了80例圖像進(jìn)行測(cè)試實(shí)驗(yàn)。CBIS-DDSM是由美國醫(yī)學(xué)機(jī)構(gòu)所建立的專門存放乳腺圖像的數(shù)據(jù)庫DDSM的一個(gè)子集， INbreast則是來自葡萄牙波爾圖圣若昂醫(yī)院公開的乳腺鉬靶圖像數(shù)據(jù)集。

為保證訓(xùn)練隨機(jī)初始化的深度神經(jīng)網(wǎng)絡(luò)到收斂狀態(tài)，利用數(shù)據(jù)增廣對(duì)訓(xùn)練集進(jìn)行擴(kuò)充。首先將格式為DICOM的原始鉬靶圖像中每個(gè)像素值線性映射至0～255范圍，并轉(zhuǎn)存為 .png圖像格式。采取反射變換(Rotation)取值20、平移變換(Shift)取值0.1、縮放變換(Zoom)取值0.1、錯(cuò)切變換(Shear)取值0.1以及水平翻轉(zhuǎn)方法實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，有效降低了由于數(shù)據(jù)量不足而造成的過擬合現(xiàn)象。

2.2 訓(xùn)練參數(shù)與評(píng)價(jià)指標(biāo)

整個(gè)實(shí)驗(yàn)在顯存為11 GB的NVIDIA 1080Ti GPU 上運(yùn)行，使用Python編程語言在Keras框架內(nèi)實(shí)現(xiàn)。圖像輸入大小設(shè)置為256×256，Batch Size為4，分割網(wǎng)絡(luò)權(quán)重采用HeUniform初始化以及Nadam梯度下降算法。初始學(xué)習(xí)率為1×10-4，Epoch=300，將網(wǎng)絡(luò)分類數(shù)設(shè)為2以區(qū)分腫塊區(qū)域與非腫塊區(qū)域。

本文將通過平均交并比(Mean Intersection over Union，MIoU)、Dice相似系數(shù)(Dice Similarity Coefficient，DSC)、精確率(Precision, Prec)和敏感度(Sensitivity, Sens)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)，全面衡量所提出模型對(duì)乳腺腫塊的分割性能。其中TP表示被正確分割的乳腺腫塊像素?cái)?shù)目，F(xiàn)P表示被錯(cuò)誤分割為腫塊區(qū)域的背景像素?cái)?shù)目，F(xiàn)N代表被錯(cuò)誤標(biāo)記成背景的腫塊像素?cái)?shù)目。在計(jì)算指標(biāo)DSC時(shí)，X為SRes-Unet網(wǎng)絡(luò)的分割結(jié)果集，Y為原始腫塊的標(biāo)注結(jié)果集。計(jì)算式分別如下：

(4)

(5)

(6)

(7)

2.3 損失函數(shù)性能評(píng)估

首先進(jìn)行定性定量的評(píng)估實(shí)驗(yàn)，以驗(yàn)證復(fù)合加權(quán)損失函數(shù)的有效性。圖4為SRes-Unet網(wǎng)絡(luò)在訓(xùn)練過程中使用不同損失函數(shù)時(shí)在驗(yàn)證集上的DSC值曲線變化情況。包括Dice損失函數(shù)(DiceLoss)、二元交叉熵?fù)p失函數(shù)(BCELoss)以及本次實(shí)驗(yàn)提出的復(fù)合加權(quán)損失函數(shù)wBCE_DiceLoss。

圖4 不同損失函數(shù)下指標(biāo)DSC值的變化情況Fig.4 Changes of index DSC values under different loss functions

由圖4可知，使用復(fù)合型加權(quán)損失函數(shù)wBCE_Dice訓(xùn)練時(shí)，DSC值曲線穩(wěn)定上升，訓(xùn)練后期能夠在驗(yàn)證集上達(dá)到0.9以上的分割精度，而另外兩種損失函數(shù)在到達(dá)0.8以上后便進(jìn)入訓(xùn)練瓶頸，最終DSC值均未突破0.9。

表1展示了使用 3 種不同損失函數(shù)時(shí)在SMD-My測(cè)試集上的結(jié)果指標(biāo)。綜合實(shí)驗(yàn)結(jié)果可以看出，不同的損失函數(shù)獲得的各項(xiàng)指標(biāo)得分相差較大，并且在測(cè)試集中使用wBCE_DiceLoss時(shí)各項(xiàng)指標(biāo)中綜合得分最高，表明基于wBCE_DiceLoss最小化的目標(biāo)函數(shù)來優(yōu)化模型能夠達(dá)到提高分割準(zhǔn)確率的效果。

表1 不同損失函數(shù)的指標(biāo)表現(xiàn)Table 1 Index performance of different loss functions

2.4 網(wǎng)絡(luò)分割性能對(duì)比

將SRes-Unet與不同U-Net進(jìn)行對(duì)比實(shí)驗(yàn)，融入的Backbone網(wǎng)絡(luò)包括Resnet34，Densenet121，所有實(shí)驗(yàn)具有相同的損失函數(shù)與訓(xùn)練參數(shù)，使用本地?cái)?shù)據(jù)集SMD-My進(jìn)行網(wǎng)絡(luò)訓(xùn)練，最后總體比較各項(xiàng)指標(biāo)的得分情況。如表2所示，SRes-Unet在MIoU，DSC等方面的表現(xiàn)要優(yōu)于其他網(wǎng)絡(luò)。MIoU得分0.859 7，Dice系數(shù)0.821 4，其他指標(biāo)也均高于0.8。SRes-Unet優(yōu)勢(shì)明顯，說明殘差連接模塊與加權(quán)損失函數(shù)的結(jié)合對(duì)提高網(wǎng)絡(luò)性能有實(shí)質(zhì)性的作用。

表2 不同的算法分割結(jié)果對(duì)比表Table 2 Comparison of segmentation results of different algorithms

圖5展示了測(cè)試集分割結(jié)果的部分實(shí)例。Ground truth為專業(yè)放射科醫(yī)生進(jìn)行手工標(biāo)注的腫塊“金標(biāo)準(zhǔn)”，從左至右依次為SRes-Unet以及另外4種不同網(wǎng)絡(luò)的腫塊分割結(jié)果實(shí)例?？梢园l(fā)現(xiàn)，盡管腫塊目標(biāo)體積較小，并且周圍環(huán)繞致密組織，本算法模型依舊能夠較為準(zhǔn)確地分割出腫塊的整體形狀及位置。4種對(duì)比網(wǎng)絡(luò)雖然也能夠較為準(zhǔn)確分割出腫塊，但對(duì)腫塊邊界的敏感度不高，導(dǎo)致分割出的腫塊形狀與標(biāo)簽圖像大相徑庭，并且存在明顯的漏分割問題。

2.5 泛化性能測(cè)試

利用公開數(shù)據(jù)集CBIS-DDSM與INbreast對(duì)網(wǎng)絡(luò)模型進(jìn)行泛化性能測(cè)試，實(shí)驗(yàn)結(jié)果如表3所示。本文所提出的網(wǎng)絡(luò)SRes-Unet不僅能夠應(yīng)用于本地?cái)?shù)據(jù)集SMD-My，在不同的數(shù)據(jù)集上也能保持較好的分割結(jié)果，驗(yàn)證了本方法良好的泛化能力和適應(yīng)性，具有一定的可遷移能力。

圖5 原圖、標(biāo)簽和各個(gè)網(wǎng)絡(luò)的分割結(jié)果Fig.5 Original image, label and segmentation results of each network

表3 不同數(shù)據(jù)集分割結(jié)果對(duì)比表Table 3 Comparison of segmentation results of different datasets

3 結(jié)束語

本文提出了一種對(duì)稱殘差結(jié)構(gòu)的乳腺腫塊分割算法SRes-Unet，將含有殘差結(jié)構(gòu)的殘差塊融入整體網(wǎng)絡(luò)架構(gòu)提升網(wǎng)絡(luò)的特征提取能力，并通過對(duì)比不同損失函數(shù)得出wBCE_DiceLoss能夠獲得最大分割精度。實(shí)驗(yàn)結(jié)果表明，本文方法在MIoU，Dice等指標(biāo)上都不同程度優(yōu)于其余幾種主流的醫(yī)學(xué)圖像分割架構(gòu)，證明本文方法對(duì)乳腺圖像腫塊分割在精度上有一定提升，對(duì)基于深度學(xué)習(xí)的乳腺圖像的處理和分析具有借鑒意義。但實(shí)驗(yàn)也存在不足之處，如網(wǎng)絡(luò)參數(shù)量較多、計(jì)算量大、數(shù)據(jù)僅來自一個(gè)機(jī)構(gòu)并且數(shù)量少等。在后續(xù)工作中將收集更多的訓(xùn)練樣本，并且嘗試更高效的數(shù)據(jù)增強(qiáng)方法，改進(jìn)特征提取方式，以實(shí)現(xiàn)更高精度的乳腺腫塊自動(dòng)分割算法。