聯(lián)合多尺度和注意力-殘差的深度監(jiān)督乳腺癌分割

秦傳波，宋子玉，曾軍英＊，田聯(lián)房，李 芳

（1.五邑大學 智能制造學部，廣東 江門529020；2.華南理工大學 自動化科學與工程學院，廣東 廣州510640；3.江門市婦幼保健院，廣東 江門529020）

1 引言

乳腺癌是眾多嚴重影響女性患者生活質量和身心健康的疾病之一。相較于鉬靶、超聲、X-ray、MRI、Thermogram等類型影像［1］，動態(tài)對比度增強MRI影像（Dynamic Contrast-En?hanced Magnetic Resonance Imaging，DCEMRI）對高密度腺體組織的乳腺癌診斷價值大，是一種以病變區(qū)和正常組織中的微血管系統(tǒng)為生理基礎的無輻射磁共振功能成像技術。DCE-MRI對于早期乳腺癌診斷敏感性強、乳腺癌的分期、分子分型的確診和病變范圍的一致性表現(xiàn)良好。乳腺癌病變區(qū)的自動化分割在早期診斷、預防、術中引導和預后具有重大臨床研究價值，是實現(xiàn)人工智能計算機輔助診斷系統(tǒng)的關鍵基礎。

DCE-MRI乳腺癌主要分為腫塊和非腫塊兩種類型。乳腺癌病變區(qū)主要沿腺體分布，腫塊形乳腺癌相對容易辨識和分割，而非腫塊乳腺癌病變區(qū)的形態(tài)變化不一，且病變區(qū)強度不一，存在空洞、弱邊界和較低的對比度，容易造成放射科醫(yī)生的漏檢和錯判。然而，手動勾畫乳腺癌病變區(qū)要求放射科醫(yī)生具備豐富的臨床經(jīng)驗和技巧，并且是一種勞動密集型的工作，易受主觀、心理波動和生理疲勞的影響，導致乳腺病變勾畫結果存在一定的隨機性。綜上，DCE-MRI乳腺癌自動化準確分割是一個具有挑戰(zhàn)性的課題，極具臨床應用價值和研究意義。

當前乳腺癌影像的研究主要集中在鉬靶、超聲、X射線和組織病理圖像分析［2-4］，但對DCEMRI乳腺癌影像的研究目前尚沒有統(tǒng)一的公開數(shù)據(jù)庫可以使用，且臨床乳腺癌圖像病例收集工作量大，樣本相對少，且病灶區(qū)面積小，背景復雜，易造成漏分割和鈣化區(qū)誤分割，分割精度尚有較大提升空間。

目前，乳腺癌分割算法研究可以大致化分為經(jīng)典機器學習方法和當前流行的深度學習方法。乳腺癌分割經(jīng)典機器學習方法主要包括模糊聚類（Fuzzy C-Means，F(xiàn)CM）、活動輪廓模型（Ac?tive Contour Model，ACM）、條件隨機場、Graph Cut等方法［5-8］。文獻［5］選取冠狀位影像，采用基于FCM和體積增長實現(xiàn)DCE-MRI乳腺癌圖像分割，但需要先手動選定感興趣區(qū)域（Region of Interest，ROI），對于大部分病灶分割結果需手動調(diào)整參數(shù)；文獻［6］根據(jù)腫瘤的時間，空間和形態(tài)屬性，使用圖割（Graph Cuts）進行分割，構建一個癌癥診斷的框架；文獻［7］利用MRF和條件獨立性構建了動力學觀測模型，將DCE-MRI乳腺動態(tài)特征圖作為MRF腫瘤分割的觀察通道。并將分割結果應用于乳腺癌復發(fā)預測?；谄⒎址匠痰腁CM方法在醫(yī)學影像分割上得到廣泛應用；文獻［8］針對非腫塊乳腺癌病變區(qū)分割，通過MRF能量區(qū)分腫瘤與背景，再使用能量項后驗概率作為ACM區(qū)域項，而后根據(jù)紋理、強度信息構建ACM速度函數(shù)，構建了一個復雜的ACM分割目標函數(shù)。但需要事先手動分割出ROI，在小范圍病例內(nèi)有較好分割效果。且計算成本高，耗時長，需要人為調(diào)整參數(shù)以適應變化的乳腺癌影像。

對于基于傳統(tǒng)機器學習方法而言，由于乳腺癌病變區(qū)具有對比度低、邊界模糊及亮度不均勻等特點，通常需要手動選取ROI，再進行分割處理，或者對分割后結果進行后處理，才能得到平滑和連續(xù)的分割邊界。通常需要手動調(diào)整參數(shù)才能適應形態(tài)各異的病灶區(qū)，顯然不是一套完備的自動化分割方案。不適合在大量病例數(shù)據(jù)上實現(xiàn)自動化分割。

近年來，基于深度學習的圖像分割、檢測和分類方法取得很大進展［4，9-10］。杜克大學提出了一種掩模引導分層式FCN分割框架［11］，通過兩個級聯(lián)FCN粗分割和FCN細分割模型，在前后兩個階段分別完成乳房區(qū)域粗略勾畫和乳腺癌病變區(qū)的精確分割。在其自建的數(shù)據(jù)庫上進行訓練和測試，分割關鍵指標平均Dice值達到0.72。然而，對于體素比較小的乳腺癌病變區(qū)存在漏分割、錯分割和分割不準確的問題，并且模型架構單一，僅使用FCN級聯(lián)架構，沒有引入更多有效的措施提升分割精度，諸如注意力和監(jiān)督機制。這也為本文進行下一步深入研究乳腺癌病變區(qū)的精確分割提供了思路。

注意力機制［12］、多尺度和監(jiān)督學習［13-14］表明能有效改善深度學習模型效果。深圳研究院提出基于深度表示的跨模態(tài)乳腺MRI影像分割模型［15］。受知識蒸餾和注意力轉移策略啟發(fā)，采用有監(jiān)督跨模態(tài)學習方式對T 1c和T 2W兩種序列進行融合，同時引入注意力機制實現(xiàn)有效的信息選擇和抑制噪聲。

由于DCE-MRI乳腺癌背景復雜，胸腔、乳房等組織占據(jù)影像的很大比例的面積，而乳腺癌病變區(qū)所占面積相對較小，在乳腺癌分割任務中，先勾畫出乳房區(qū)域ROI，可進一步提高分割精度［11］。文獻［16-17］采用經(jīng)典U-net［18］為基礎，將乳房區(qū)域與胸壁線分離。證明了使用U形網(wǎng)絡進行乳房ROI提取的可行性。

2 所提出的方法

乳腺癌病變區(qū)形態(tài)各異且邊界模糊，所占面積小，是個典型的分類不均衡問題，并且周圍背景復雜，存在心臟、胸壁、皮膚、肌肉和脂肪等組織，嚴重影響和干擾乳腺癌圖像的自動化分割［11］。由于乳腺癌區(qū)域相對整張影像所占面積小，為充分挖掘其語義信息，本文提出了一個二階段的乳腺癌分割框架。

在第一個階段，重新訓練了U-Net模型來提取一個粗略的乳房區(qū)域ROI，消除乳房周邊胸肌肉、脂肪、心臟等不相關組織對乳房區(qū)域內(nèi)乳腺癌分割的影響。

在第二個階段，基于階段一粗分割乳房ROI，提出了一種UTB-Net模型，實現(xiàn)乳腺腫瘤分割，模型如圖1所示。

圖1 所提深度監(jiān)督UTB-Net架構Fig.1 Proposed deep supervision UTB-Net架構

所提模型以改進的U-Net為基準，設計并融合多尺度并行卷積融合模塊、Non-local模塊［19］、注意力-殘差混合解碼模塊，提出了融合深度監(jiān)督的UTB-Net模型。采用深度監(jiān)督的UTB-Net模型可以提取更加豐富的細節(jié)信息，結合全局注意力和局部注意力對細小的乳腺癌病灶進行更準確的定位，而深度監(jiān)督機制則能加強網(wǎng)絡對前景的響應。

本文主要所做的工作和貢獻如下：

（1）在編碼路徑，提出多尺度并行卷積融合模塊。采用多尺度的并行卷積結構，通過不同核大小的卷積操作提取不同尺度的特征信息，豐富模型提取邊緣信息與精細信息的能力。

（2）對基準U-Net網(wǎng)絡模型進行微調(diào)。在編碼路徑采用PReLU激活函數(shù)，減少網(wǎng)絡非線性表達的信息丟失，將BatchNorm換成Group?Norm［20］，以此來減少計算量不足對分割精度的影響。并在編碼路徑的末端增加了Non-local，從而高效地獲取全局相關信息，以此形成一個全局的注意力機制。

（3）在解碼端，提出結合注意力和殘差的混合解碼模塊，將注意力模塊的非線性整流單元與殘差結合來構建解碼模塊，以此來改善網(wǎng)絡信息流向，提高特征提取能力。

實驗表明，所提出的模型不但對于腫塊和非腫塊有較好的分割結果，提高分割精度的同時對于小體素、小面積的乳腺癌圖像也具有良好的分割效果。

2.1 乳房ROI提取

乳腺腫瘤病變區(qū)通常出現(xiàn)在乳房區(qū)域，極少出現(xiàn)在胸壁線的位置或者乳房邊緣。事先提取一個粗糙的乳房區(qū)域ROI，有利于下一步乳腺癌的準確分割［11］。在第一個階段，根據(jù)臨床醫(yī)生勾畫的乳房區(qū)域標簽，重新設計了醫(yī)學影像分割任務中常用的基準U-Net模型，實現(xiàn)乳房ROI粗略勾畫，如圖2所示（彩圖見期刊電子版）。圖2（a）是DCE-MRI乳腺癌水平位影像，乳房區(qū)域ROI用綠色標簽標記，乳腺癌區(qū)域用黃色區(qū)域標記。圖2（b）是局部放大圖，可見乳腺癌有邊界不規(guī)則、空洞等特征。圖2（c）是用ITK-Snap工具重建3D效果圖。圖2（d）從空間角度展示了乳房組織和乳腺癌之間空間關系。

圖2 DCE-MRI乳腺癌示意圖Fig.2 Illustration of DCE-MRI breast tumor

2.2 微調(diào)基準U-Net模型

為了充分挖掘乳腺腫瘤區(qū)域的語義信息，對基準U-net模型分別做了微調(diào)和改進。微調(diào)UNet架構細節(jié)如圖3所示。

圖3 微調(diào)的U-net模型Fig.3 Illustration of Fine-tuned U-net model

首先，編碼區(qū)與解碼區(qū)特征提取單元采用的激活函數(shù)用PReLU替換掉ReLU，以此來減少信息的丟失；其次，又因醫(yī)學影像計算量大，采用GroupNorm作為歸一化層，以緩解顯卡內(nèi)存不足對分割精度的影響；特征提取單元基本結構為Conv→PReLU→Conv→PRe?LU→GroupNorm；最后，在編碼路徑的最后一層，進 行 兩 次Conv→PReLU→Conv→PReLU→GroupNorm操作，而后將信息融合壓縮至與原通道數(shù)一致，目的是保證不增加參數(shù)的同時提取更多高級特征信息。在后續(xù)實驗分析部分，其實驗結果表明，相較于基準U-net模型，經(jīng)微調(diào)的U-net也可以取得較好分割效果。

其次，基于所提模型的微調(diào)U-Net模型結構基礎，在其編碼路徑上，進一步整合本文所構建的多尺度并行卷積模塊；在編碼路徑末端加入Non-local模塊；在解碼路徑上加入了所提出的注意力-殘差混合解碼模塊，并對各層解碼輸出使用多尺度深度監(jiān)督機制進行融合。即分別在微調(diào)U-Net模型的編碼路徑、編碼末端和解碼路徑進行改進，構建所提出的UTBNet模型。

2.3 所提出的UTB-Net分割模型構建方法

下面將詳盡闡述UTB-Net的構建過程，即如何將多尺度并行卷積模塊、Non-local模塊和注意力、殘差混合解碼模塊和多尺度監(jiān)督分別嵌入至微調(diào)的U-Net模型的編碼路徑和解碼路徑。

2.3.1 多尺度并行卷積融合模塊

因乳腺癌區(qū)域大小不定、形狀各異、灰度不均且邊界模糊，在模型引入多尺度并行卷積融合（Multi-Scale Parallel Convolution Fusion，MSP?CF）模塊，如圖4所示。并行卷積結構能夠在同一層級獲得不同感受野的特征，提高模糊邊緣和小面積腫塊的乳腺癌分割精度，然后將不同尺度的信息融合傳遞至下一層，可以在提高精度的同時靈活地平衡計算量和模型能力。

圖4 多尺度并行卷積融合模塊Fig.4 MSPCF Block

MSPCF模塊包含3個并行卷積層和1個全局平均池化層、1個1×1卷積層。3個并行卷積操作的卷積核尺寸分別為1×1，3×3和5×5，其中5×5的卷積核經(jīng)過卷積分解處理［21］，用2個3×3的卷積核替代。卷積分解使用小的卷積核級聯(lián)替代大的卷積核，可以獲得相同的感受野，同時在一定程度上減少模型的參數(shù)，提高模型的非線性表達能力。

MSPCF模塊采用不同大小的卷積核獲取多尺度的上下文特征信息，其中1×1的卷積層則保留當前尺度的特征信息。MSPCF模塊還使用了全局平均池化層，獲取像素級的全局信息，而后通過雙線性插值上采樣得到所需的維度，再通過1×1卷積將全局平均池化層信息與三個并行卷積層信息融合并壓縮。然后將輸出特征圖傳遞至下一層。

在分割任務中，將此MSPCF模塊融合至所提出的網(wǎng)絡的編碼部分。在圖4中，y4的的計算公式如式（1）所示：

其中：x=［x1，x2，...，xc］，y4=［y41，y42，...，y4c］，F(xiàn) bi(x)表示雙線性插值，然后將所有分支的特征圖整合為Y，其中Y=［y1，y2，y3，y4］。最后，通過一個［1×1，C］的卷積操作將多尺度信息聚集到一起得到輸出特征圖z。

2.3.2 Non-local模塊

眾所周知，卷積操作通常關注局部的感受野。如果要增大感受野，傳統(tǒng)的方法是堆疊卷積層和池化層來實現(xiàn)，但這樣會增加模型的參數(shù)量和計算量。Wang等人［19］借鑒圖像去噪的思想而提出Non-local模塊，用來獲取長距離之間的關聯(lián)信息，最終實現(xiàn)每個像素的全局感受野，并通過不同的操作，可以獲得不同空間、時間、通道的像素之間的信息相關性，按照非局部均值定義，具體結構如圖5所示。其中，C(x)是歸一化參數(shù)，在實驗中設置為x的位置數(shù)量，用N來表示。x表示輸入的信號。y表示輸出的信號，其面積和輸入信號相同。g(x i)用于計算輸入信號在j位置的特征值。f(x i，x j)則表示點乘相似度，在本方法中采用點積表示。其中：

圖5 Non-local模塊架構［19］Fig.5 Non-local block architecture［19］

將Non-local架構定義為一個殘差形式，使其具有靈活性，不需要循環(huán)漸進的訓練，可以十分方便的整合到一個標準CNN架構中，以此來改善模型的敏感性和準確性，并且不需要改變原有結構，輸出信號zi=W z yi+x i，x i表示殘差，W z表示一系列的卷積操作，zi則表示下層的輸入信號?？伸`活地將Non-local模塊整合到本文模型中。

2.3.3 注意力-殘差混合解碼模塊

本文提出了一種注意力-殘差混合解碼模塊（Attention-Residual Hybrid Decoding，ARHD），并將其融入本網(wǎng)絡的解碼路徑當中，ARHD架構細節(jié)如圖6所示。He等人［21］通過短連接構建殘差模塊，在一定程度上緩解了梯度消失和梯度爆炸問題，使得在訓練更深的網(wǎng)絡的同時，不增加參數(shù)量同時且能保證良好的性能。文獻［12］根據(jù)軟自注意力機制提出附加注意門（Additive at?tention Gate，AG）模塊，在自動學習聚焦于不同形狀和大小的目標結構同時，隱式的學習抑制輸入圖像中不相關區(qū)域，以此來突出特定任務中有效的顯著特征，從而有效地提高分割精度。根據(jù)上述兩種方法，構建了ARHD模塊。

圖6 注意力、殘差混合解碼模塊Fig.6 Block of attention and residual hybrid decoding

如圖6所示，AG模塊將深層特征信息與來自淺層的特征信息進行矩陣加法運算，再經(jīng)PRe?LU［20］得到激活特征，然后通過sigmoid得到注意力系數(shù)。在計算注意力系數(shù)ali∈[0，1]時，由于ReLU激活函數(shù)會造成信息的丟失，所以在模塊中將使用PReLU［22］函數(shù)，公式如式（3）所示：

其中：

其中：Group Norm［19］是針對batch size較小時的一種規(guī)范化方式，α是可學習參數(shù)。分別代表淺層特征和深層特征信息，是卷積操作的線性變換，sigmoid(x)=1/(1+ex)。

將AG模塊輸出的注意力系數(shù)與深層特征信息進行矩陣相乘運算，消除不相關特征與噪聲，突出顯著特征，再將結果和淺層信息加入殘差連接模塊，改善解碼部分的梯度流動，緩解梯度彌散和網(wǎng)絡退化問題，使深層的網(wǎng)絡更容易訓練，最后輸出注意力特征圖。為了方便表達，用代表矩陣相乘運算，表示最后輸出的注意力特征圖，實驗結果分析見后續(xù)3.5節(jié)內(nèi)容。

在ARHD模塊中，將AG模塊嵌入到解碼層單元中，再加入殘差連接，改善解碼部分的梯度流動，緩解梯度彌散和網(wǎng)絡退化問題，使深層的網(wǎng)絡更容易訓練。用cat來表示通道拼接操作，d表示通道拼接后的特征圖，F(xiàn)(x)表示一系列的卷積操作，那么有：

其中：y表示最后的輸出結果。最后的輸出結果將經(jīng)過上采樣，作為下一層的輸入。

2.3.4 深度監(jiān)督（Deep Supervision，DS）

為解決深度模型訓練時梯度消失或爆炸的優(yōu)化問題，Lee等［13］提出深度監(jiān)督，加快網(wǎng)絡收斂速度、提高識別網(wǎng)絡的識別能力。這種機制通過導出一個直接聯(lián)系上下層訓練的目標函數(shù)而實現(xiàn)，以便在訓練過程中抵消不穩(wěn)定的梯度變化產(chǎn)生的負面影響。

在本文所提出的網(wǎng)絡中，如圖1右側所示，最后輸出的結果將來自不同解碼層輸出的特征圖輸出結果作為深度監(jiān)督的輸入。對四個輸出特征圖使用同一種損失函數(shù)，最后將所有分支的輸出結果求和取平均作為最終損失。具體表述公式如式（5）所示：

其中：yj，分別表示不同解碼層輸出的概率值、真實標簽值，N表示分支的總數(shù)。

2.3.5 改進過程

將上述三種模塊：多尺度并行卷積模塊、Non-local模塊和注意力、殘差混合解碼模塊和深度監(jiān)督機制，分別嵌入至微調(diào)的U-net模型的編碼區(qū)和解碼區(qū)。對于三種模塊的加入方式，依次研究了如下3種改進：

首先，提出基于ARHD模塊的ARH-UNet模型。僅在解碼部分進行改進。在每個特征提取單元前嵌入ARHD模塊，在乳腺腫瘤分割中，ARHD模塊可以將編碼區(qū)的淺層特征信息和解碼區(qū)的深層特征信息進行融合，再通過注意力系數(shù)得到所要的局部顯著特征，同時，因為短連接的存在使解碼單元的語義信息更加豐富，改善解碼部分的梯度流動，緩解梯度彌散和網(wǎng)絡退化問題，使深層的網(wǎng)絡更容易訓練，從而簡化網(wǎng)絡的訓練，有效的提高乳腺腫瘤分割精度，在實驗中可以取得一定效果。

其次，提出基ARHD模塊和MSPCF模塊的AMH-UNet?；谏厦娴腁RH-UNet模型，在編碼部分進行改進。在每個編碼部分的特征提取單元后嵌入MSPCF模塊，與ARH-UNet網(wǎng)絡融合提出AMH-UNet。用于提取位于編碼部分不同層級的不同尺度的特征信息，將其融合壓縮后傳遞至一下層或通過長連接傳遞至對應的解碼層，以此來豐富網(wǎng)絡提取的特征信息，在實驗中對于乳腺癌病灶的分割取得較好的效果。

最后，基于上面的ARH-UNet模型，引入具有良好可移植性的Non-local模塊，從而高效地獲取全局相關信息，以此形成一個全局的注意力機制。又因為Non-local模塊計算開銷大，所以我們將其放置在編碼部分最后一層，從而提出UTBNet網(wǎng)絡。并在解碼路徑的各層輸出引入深度監(jiān)督，構建基于深度監(jiān)督的UTB-Net，模型具體細節(jié)如圖1所示，其實驗效果表現(xiàn)最佳，詳見后續(xù)章節(jié)3實驗對比分析。

UTB-Net可以提取豐富的淺層、深層特征信息，跟已有的乳腺病灶分割網(wǎng)絡相比，通過全局注意力與局部注意力相輔相成，實現(xiàn)準確地病灶定位、分割。最后，為了避免長連接的淺層語義信息影響病灶像素級分割，采用深度監(jiān)督機制使解碼單元間特征在每個圖像尺度上具有語義識別能力，以此來確保不同尺度的注意力單元能夠對特征中前景信息產(chǎn)生最大響應。

2.3.6 Loss Function

在醫(yī)學圖像分割中的一個重要挑戰(zhàn)就是數(shù)據(jù)不平衡。一般情況下，大部分數(shù)據(jù)集中的病灶體素的數(shù)量遠低于非病變體素的數(shù)量，乳腺癌數(shù)據(jù)集亦如此，并且乳腺病灶的面積遠小于乳房區(qū)域面積。數(shù)據(jù)集訓練出的模型會對分割精度產(chǎn)生影響。為此，針對該種情況采用Tversky［23］損失函數(shù)。它是一種基于Tversky指數(shù)的廣義損失函數(shù)，可以有效解決數(shù)據(jù)不平衡的問題，在精度和召回率之間達到更好的平衡。公式如式（6）所示：

其中：p，g為網(wǎng)絡最后一層sigmoid輸出的結果。p0i為病變體素的輸出概率，p1i非病變體素的輸出概率。類似地，對于g，0表示病變體素輸出概率，1表示非病變體素輸出的概率。α，β則分別控制假陰性和假陽性，可以通過調(diào)整α，β來控制假陽性和假陰性之間的權衡，在實驗中α=0.3，β=0.7。

3 實驗與分析

在這項研究應用中，服務器硬件配置為：In?tel（R）Core（TM）i9-9900K CPU@3.60 GHz×16；GPU顯卡配置為GeForce RTX 2080 Ti；操作系統(tǒng)為Ubuntu 18.04；采用Python3.6編程語言；使用基于Pytorch1.3的深度學習框架。

3.1 數(shù)據(jù)庫及預處理

本文實驗所用DCE-MRI影像數(shù)據(jù)為160例自建臨床數(shù)據(jù)庫，采集乳腺癌影像的設備型號是西門子MAGNETO 1.5T MRA，配備乳腺專用4通道相控陣表面線圈。在采集過程中病人的姿態(tài)呈俯臥位。篩選后最終入庫160例T 2期DCE-MRI臨床數(shù)據(jù)，影像為橫切面方向，圖像大小512×512。乳房ROI區(qū)域的標簽制作由臨床醫(yī)生借助LabelMe軟件手動進行標注。乳腺癌的標簽制作使用了醫(yī)學影像軟件3D slicer。對于臨床160例影像數(shù)據(jù)，隨機劃分為訓練集128例，測試集32例，在訓練時對數(shù)據(jù)進行了鏡像、縮放、彈性形變等數(shù)據(jù)增強操作。在訓練過程中又對數(shù)據(jù)進行有效的預處理，首先刪除前0.1%與后0.1%的像素值進行去噪，然后進行灰度歸一化操作。對于乳房ROI區(qū)域提取與乳腺癌病灶分割采用同一批訓練集和測試集，二者在整體框架上是一種先后順序的二階段結構，在訓練過程中分別對兩個模型進行先后訓練。首先使用微調(diào)U-net模型進行乳房ROI區(qū)域提取，其次對于乳腺癌病灶分割在訓練過程中使用He［22］歸一化算法進行初始化，Adam優(yōu)化器［25］進行梯度下降，參數(shù)設置為：β1=0.9，β2=0.999，ε=1e-8、學習率為1e-3。Batch size設置為2，每個模型迭代次數(shù)為200，最后通過sigmoid函數(shù)得到輸出結果，因為其輸出值域為（0，1），所以最后輸出結果通過設置閾值（threshold=0.3）來判斷。

3.2 分割評價標準

評估分割結果借鑒五種常用的醫(yī)學影像分割評估指標：Dice coefficient（DSC）、Intersection over Union（IoU）、敏感性（Sensitivity）、特異性（Specificity）、陽性預測值（Positive predictive val?ue），公式如式（7）所示。

其中：TP是像素級分割中前景分割正確的像素點數(shù)，TN是像素級分割中背景分割正確的像素點數(shù)，F(xiàn)P是像素級分割中背景分割錯誤的像素點數(shù)，F(xiàn)N是像素級分割中前景分割錯誤的像素點數(shù)。

3.3 乳房ROI分割

重新設計基準U-Net模型實現(xiàn)乳房ROI粗略勾畫。分割示意如圖7所示（彩圖見期刊電子版），第1行為3例含有乳腺癌的影像；第2行為醫(yī)生手動分割乳房區(qū)域標簽；第3行紅色區(qū)域為UNet乳房區(qū)ROI粗分割結果。乳房區(qū)域可以延深至胸部兩側，以確保沒有乳腺癌區(qū)域漏掉。同時實現(xiàn)即使較小的乳房區(qū)域也得以正確分割。

圖7 乳房區(qū)域粗分割示意圖Fig.7 Illustration of breast area coarse segmentation

分割結果的實驗統(tǒng)計表明，其DICE值可以達到0.92，ACC達到0.98，如表1所示。滿足下一步乳腺癌精確分割的需求。基本不影響后續(xù)乳腺癌病灶分割。

表1 乳房區(qū)域分割結果Tab.1 breast area segmentation results

3.4 不同方法實驗對比分析

在有限的相同數(shù)據(jù)集上，將所提出模型與現(xiàn)有表現(xiàn)優(yōu)異的主流分割模型進行對比測試。我們的微調(diào)模型有：U-Net，ARH-UNet，AMH-UN?et，AMH-UNet+DS，UTB-Net+DS。而選擇用于比對的6個表現(xiàn)優(yōu)異主流醫(yī)學影像分割模型：U-Net［18］，2D-VNet［26］，ResUNet［28］，2D-DenseU?Net［27］，Pix2pix［29］，Attention-UNet［12］進 行 對 比 分析。實驗結果分別如圖8～圖10所示。

圖10 乳腺癌分割結果全局展示圖Fig.10 Global illustration of breast tumor segmentation

圖8展示了3例病人在6個不同表現(xiàn)優(yōu)異的主流分割模型的乳腺癌病變區(qū)分割結果。第1行為3例病人原始影像。第2行分別是3例病人相應的金標準。從第3行到第7行分別對應UNet［18］，2D-VNet［26］，ResUNet［28］，2D-DenseU?Net［27］，Pix2pix［29］的5種 模 型 相 應 的 分 割 結 果。由圖可知，第3行U-net分割結果的邊緣粗糙，不能準確區(qū)分正常腺體與乳腺癌灶區(qū)域，分割結果主要集中在灰度值較高的區(qū)域，未能完整地出分割出乳腺癌灶，分割結果小于金標準區(qū)域。第4行是2D-VNet的分割的結果，可以看出受乳房邊緣和周圍腺體的影響，甚至無法分割出乳腺癌灶。

圖8 乳腺癌病變區(qū)分割結果局部示圖Fig.8 Partial segmentation of breast tumor lesions

在圖8中，第5行是ResUNet［28］的分割結果，可以看出受周圍正常腺體的影響，將正常腺體分割成乳腺癌灶區(qū)域。第6行是2D-DenseUNet［27］的分割結果，由于乳腺癌灶邊界具有模糊特性，分割存在過度分割的問題。第7行是Pix2pix［29］分割結果，作為可用于分割的生成對抗網(wǎng)絡，由于乳腺癌灶存在亮度不均，語義信息復雜，最終影響了分割的 準確性。Attention-UNet［12］分割結果在圖9中第1行，主觀上可以看出對乳腺癌灶的定位較為準確，但是對于邊緣和細節(jié)的部分還有欠缺。

圖9 乳腺癌病變區(qū)分割結果局部示圖Fig.9 Partial segmentation of breast tumor lesions

對于本文所提出的5個改進模型分割結果，主要展示在圖9的第2行至第6行。

圖9第2行是微調(diào)U-Net模型的分割結果，在編碼部分的最后一層，進行兩次Conv→PRe?LU→Conv→PReLU→Group Norm操作，在保證不增加參數(shù)的同時提取更多高級特征信息。相較于圖8中第三行基準U-net分割結果，乳腺癌結果在面積上有所增加。圖9中第3行是ARHUNet分割結果，ARH-UNet與基準U-Net相比不僅繼承了微調(diào)U-Net優(yōu)點，全局上觀察則對分割的病灶進行了較為準確的定位，局部上展示出獲取了更多細節(jié)信息。而圖9中第4行是AMHUNet分割結果，其在全局定位與局部細節(jié)都得到更進一步提升，分割結果噪點更少。

圖9中第5行是AMH-UNet+DS分割結果，模型在局部邊緣和信息的識別上展示得更優(yōu)異。圖9中最后一行是UTB-Net+DS模型分割結果，與所有實驗網(wǎng)絡相比表現(xiàn)出最高的分割準確性。這是因為引入了多尺度注意力混合機制，相對其他模型而言，更接近于醫(yī)生標注的金標準結果，分割結果優(yōu)于其他方法。另外，結合圖8和圖9可以看出微調(diào)U-Net與基準U-Net相比無論全局還是局部都具有更高的分割準確性，最明顯的優(yōu)點是保留了更多圖片信息。分割不準確的主要原因主要由于非腫塊的乳腺腫瘤區(qū)域邊界模糊，形態(tài)變化大，紋理不規(guī)則，受周圍正常腺體組織的影響較大。

圖10進一步使用單個病例從全局分析分割結果。ARH-UNet與基準U-Net相比不僅繼承了微調(diào)U-Net優(yōu)點，全局上觀察則對分割的病灶進行了較為準確的定位，局部上展示出獲取了更多細節(jié)信息。而AMH-UNet則在全局定位與局部細節(jié)都得到更進一步提升。使得分割結果的噪點更少。AMH-UNet+DS則在局部邊緣和信息的識別上展示的更優(yōu)異。最后，UTB-Net+DS與所有實驗網(wǎng)絡相比表現(xiàn)出最高的分割準確性。

通過分析局部細節(jié)分割結果圖8～圖9和全局分割圖10，可以看出UTB-Net+DS在全局與局部的分割區(qū)域定位、邊緣信息識別和細節(jié)信息分割方面都取得了最好的表現(xiàn)。最終得出在分割過程中對分割區(qū)域進行全局與局部精準定位、保留更多圖像信息與增強信息識別能力對像素級分割結果至關重要，這也證實了UTB-Net+DS網(wǎng)絡存在一定的魯棒性與合理性。

3.5 注意力圖和特征分析

如圖11所示，為兩例乳腺癌灶注意力的熱力圖和特征圖。網(wǎng)絡初始化時注意力點在乳房全局區(qū)域服從均勻分布。隨著數(shù)據(jù)在網(wǎng)絡中流動，網(wǎng)絡的焦點逐漸聚焦于乳腺癌灶的邊緣，最后從粗糙的定位和大概輪廓逐漸聚焦于乳腺癌灶，從而進行精確地分割。即使當數(shù)據(jù)流經(jīng)網(wǎng)絡過程中產(chǎn)生錯誤的聚焦也可以被逐漸修正。從中可以觀察到，殘差與注意力單元ARHD與Non-lo?cal能夠幫助進行病灶定位與糾正，以及獲取目標的重要特征。

圖11 乳腺癌灶分割注意力熱力圖與特征圖Fig.11 Breast tumor segmentation Attention and feature map

圖11為兩例病人注意圖采用Grad-CAM［30］方法產(chǎn)生熱力圖和特征圖作為注意力的仿真結果，通過病例1可以觀察到模型使用注意力機制后可以穩(wěn)定的定位到病灶部位。病例2可以觀察到，圖中左乳區(qū)有乳腺癌病灶，圖2中右乳區(qū)存在虛假疑似病灶區(qū)域，所提模型的注意力機制配合殘差與注意力單元（ARHD）與Non-local能夠幫助進行疑似病灶定位與糾正，以及獲取目標的重要特征。所獲得的注意力特征圖如圖12所示，從所提模型的編碼路徑與解碼路徑的連接處提取注意力特征圖，從中可以看到所提模型穩(wěn)定的定位到病灶區(qū)和疑似病灶區(qū)，而對于圖2中右乳區(qū)虛假病灶區(qū)，所提模型可以在解碼部分進行抑制，能夠有效的減少虛假病灶區(qū)錯分割。

圖12 乳腺癌灶分割特征圖Fig.12 Breast tumor segmentation Attention and feature map

3.6 模型可視化與消融實驗分析

圖13展示深度監(jiān)督UTB-Net對單例病灶的乳腺癌灶分割結果的2D和3D擬合效果。圖13（a）預測結果輪廓基本擬合乳腺癌灶區(qū)。由于MSPCF能夠在同一層級獲得不同感受野的特征，可提高網(wǎng)絡獲取模糊邊緣和小面積腫塊信息的能力。為了更加直觀展現(xiàn)所提模型預測結果，分別對金標準和預測結果進行3D構建，結果分別如圖13（b）和13（c）。由圖可知，所提模型的分割結果雖然接近金標準的大體輪廓，但在乳腺癌病變邊緣像素級分割上仍有待加強。

圖13 單病例分割與3D重構Fig.13 Segmentation and 3D reconstruction of single case

為了進一驗證注意力-殘差混合解碼模塊、多尺度并行卷積融合模塊、深度監(jiān)督機制和Nonlocal模塊對模型的貢獻，進行了模型的消融實驗仿真和分析。如圖14所示，第1列為3例病患的原始影像；第2列為金標準在3D空間中的重構圖；第3列為微調(diào)U-net加入注意力-殘差混合解碼（ARHD）模塊后，分割結果在3D空間中的重構圖；第4列為模型加入多尺度并行卷積融合（MSPCF）模塊后，分割結果在3D空間中的重構圖；第5列為加入深度監(jiān)督機制（Depth supervi?sion）后，分割結果在3D空間中的重構圖；最后1列為加入Non-local后，所提出模型的分割結果在3D空間中的重構圖。在各個模塊添加的過程當中，在表面細節(jié)、顆粒度、中間的空洞處理、病灶邊緣上分割效果逐漸提升，對于綜合后的模型表現(xiàn)為最優(yōu)。

圖14 消融實驗過程展示Fig.14 Diagram of ablation experiment process

對于模型中的卷積層特征進行了提取和再現(xiàn)，如圖15所示，分別對編碼層1～4進行特征可視化，從圖中可知所提模型在編碼層主要學習紋理、邊緣、灰度等淺層特征信息，在解碼路徑上分別對解碼層1～4進行特征可視化，從圖中可知解碼層我們的模型主要學習深層的語義信息。

圖15 卷積層仿真結果展示Fig.15 Diagram of ablation experiment process

3.7 分割結果統(tǒng)計分析

為了更進一步驗證深度監(jiān)督UTB-Net對于乳腺癌灶的分割性能，使用Dice coefficient（DSC），Intersection over Union（IoU），敏 感 性（Sensitivity），特異性（Specificity），陽性預測值（Positive predictive value）作為該數(shù)據(jù)集上的評估指標，對測試結果進行統(tǒng)計分析。

如表2所示，在該數(shù)據(jù)集深度監(jiān)督UTB-Net在所有評估指標上取得了很好的結果。但由于乳腺DCE-MRI臨床數(shù)據(jù)集包含大量噪聲，背景區(qū)域與前景區(qū)域不平衡，所以造成模型表現(xiàn)出敏感性指標低特異性指標高這一特點。深度監(jiān)督UTB-Net的DICE值超出對比基準U-Net 4.78%，IOU上超出5.92%，SEN超出3.94%，在SPE上持平，在PPV上超出4.43%。可以看出，深度監(jiān)督UTB-Net結果與基準U-Net［18］相比更具有穩(wěn)定性，且測試結果平均水平也高于它。所提最終深度監(jiān)督UTB-Net是經(jīng)過一系列模型不斷創(chuàng)新改進而來。

表2 不同模型分割結果統(tǒng)計分析Tab.2 Compare of segmentation results

圖16為各個算法的BOX箱線圖統(tǒng)計對比（彩圖見期刊電子版），其橫軸表述前面實驗對比算法中所用到的不同模型，縱軸表示DICE系數(shù)，本文所提微調(diào)U-Net、ARH-UNet、AMH-UNet、AMH-UNet+DS、UTB-Net+DS模型，隨著改進過程，所有指標值、穩(wěn)定性均逐步升高，進一步驗證了所提模塊的有效性和對模型改進與創(chuàng)新方向的正確性。BOX圖中的綠色線和紅色線分別表示測試數(shù)據(jù)的平均值和中值。

圖16 所有實驗模型的箱線圖展示Fig.16 BOX diagrams of all comparative experiments

3.8 模型參數(shù)分析

由表3可知，所提模型參數(shù)約23.7 MB，所提出模型使用微調(diào)U-net作為基礎的編碼與解碼結構，即Conv→PReLU→Conv→PReLU→Group?Norm，在編碼路徑加入多尺度并行卷積融合（MSPCF）模塊構成編碼層的一部分。UTB-Net包含四層編碼層和四個最大池化運算，每個運算之后特征圖面積減半。除MSPCF外，所有卷積層都有3×3的卷積核，通道數(shù)如上表所示，第一個編碼層輸出有32個通道，隨著網(wǎng)絡的加深，每個編碼層和最大池化運算之后通道數(shù)會加倍，直到通道數(shù)為512，在之后的卷積層與Non-local模塊輸出通道數(shù)不變。

表3 UTB-Net主要模塊參數(shù)Tab.3 Main module parameters of UTB net

在解碼部分，包含注意力-殘差混合解碼（ARHD）模塊構建的三層解碼層、一個基礎解碼結構和四個轉置卷積運算，每個運算后特征圖面積增大兩倍，同時通道參數(shù)減少一半。轉置卷積的輸出連接著編碼器對應部分的輸出，以此作為下層的輸入。由此得到的特征圖通過卷積運算來處理，以保持通道數(shù)量與對稱編碼部分相同。最后將每個解碼層的輸出的特征圖，通過上采樣與1×1卷積操作，還原成512×512大小的單通道特征圖，經(jīng)過深度監(jiān)督機制求和取平均獲得最終輸出結果。

對所提出模型的關鍵卷積核權值與偏置進行了可視化分析。如圖17所示，從圖17（a）可以看出編碼層第一層的卷積核權值服從正態(tài)分布，這一層卷積核主要學習一些粗糙的淺層特征。圖17（b），（c），（d），（i）是編碼層第一層多尺度并行卷積融合（MSPCF）模塊不同尺度的卷積核權值，從中可以看到不同尺度的卷積核所學習的特征是不相同，這進一步驗證所提出MSPCF模塊的合理性與有效性。圖12（k），（l），（o）是解碼層1～3的卷積核權值，從圖中可以看出注意力-殘差混合解碼（ARHD）模塊的卷積核所學習特征分布基本一致，進一步表明所提ARHD模塊能穩(wěn)定識別與定位病灶區(qū)域，能有效的學習到深層語義信息。圖12（p）為解碼層最后一層的卷積核參數(shù)，由于長連接的存在使其不僅能保留上層所學習的深層特征信息，也能保留對應編碼層的淺層特征信息。綜上，通過卷積核權值的分析，所提模型具有一定的合理性與正確性。

圖17 UTB-Net關鍵卷積核權值與偏置Fig.17 BOX diagrams of all comparative experiments

3.9 分割模型訓練與驗證

如圖18可知，本文所提出的模型在訓練過程中，訓練loss在迭代0～25次之間收斂速度較快，在經(jīng)歷25～140次迭代后曲線收斂逐漸趨于平緩。驗證loss在0～25次迭代之間收斂速度也較快，在經(jīng)歷25～140次迭代后曲線趨于平緩。綜上所述，本文所提的模型在訓練與驗證過程中具有一定的穩(wěn)定性與魯棒性。

圖18 UTB-Net訓練與驗證Loss曲線Fig.18 UT B-N train and valid loss

4 結論

在有限的數(shù)據(jù)集上，針對具有復雜背景的DCE-MRI乳腺癌圖像分割問題。本文提出了一種分階段乳腺癌圖像分割模型。首先，借鑒Unet模型完成乳房區(qū)域的粗略勾畫。其次，提出一種UTB-Net模型，在解碼路徑整合注意力-殘差混合解碼結構，在編碼路徑和末端分別引入多尺度并行卷積模塊、Non-local模塊。實驗結果表明所提出的模型實驗相較于U-Net基準模型，乳腺癌分割指標DICE，IOU，SEN，PPV分別提升了4%。4.78%，5.92%，3.94%。不足之處：對于網(wǎng)孔狀較小的病變區(qū)細節(jié)分割上需進一步提升。下一步將研究乳腺癌圖像的3D分割和定位，結合影像組學，建立預測模型，提高乳腺癌的診斷、治療和預后。