基于注意力機(jī)制的多尺度殘差UNet實(shí)現(xiàn)乳腺癌灶分割

羅圣欽，陳金怡，李洪均，2*

（1.南通大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇南通 226019；2.計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室（南京大學(xué)），南京 210023）

0 引言

乳腺癌已成為全球范圍內(nèi)嚴(yán)重威脅女性健康的疾病之一，據(jù)國際腫瘤研究機(jī)構(gòu)發(fā)布的研究數(shù)據(jù)顯示，乳腺癌是目前第二大發(fā)病率的惡性疾病并且已成為女性人群中的頭號(hào)殺手［1］。在我國，乳腺癌發(fā)病率同樣占到女性身患惡性腫瘤的首位［2］，由國家癌癥中心發(fā)布的2019 癌癥報(bào)告顯示，在女性發(fā)病率前十位的惡性腫瘤中，乳腺癌占比17.07%位居首位，因此，及時(shí)檢查和發(fā)現(xiàn)乳腺癌灶對(duì)患者生命質(zhì)量的改善具有重要意義。乳腺發(fā)病位置布滿腺體及豐富的結(jié)締組織，對(duì)于小癌灶的病變部位，使用動(dòng)態(tài)對(duì)比增強(qiáng)磁共振成像（Dynamic Contrast Enhancement Magnetic Resonance Imaging，

DCE-MRI）技術(shù)可減少因組織致密不均或腫塊較小導(dǎo)致病灶漏檢的發(fā)生。得益于醫(yī)學(xué)影像技術(shù)的飛速發(fā)展，計(jì)算機(jī)輔助診斷在臨床診斷中得到了廣泛應(yīng)用［3-4］，但醫(yī)師的首要工作往往是手工勾畫大量的病灶切片，工作強(qiáng)度高并且勾畫時(shí)間長，嚴(yán)重耽誤醫(yī)師處理其他醫(yī)治事項(xiàng)。另一方面，由于不同醫(yī)師的執(zhí)醫(yī)經(jīng)驗(yàn)不同，勾畫方式較為主觀，會(huì)帶來不同勾畫金標(biāo)準(zhǔn)的問題，因此亟須一種統(tǒng)一高效的勾畫方式。針對(duì)上述難題，本文設(shè)計(jì)一種自動(dòng)勾畫的乳腺癌灶分割算法以期為醫(yī)師進(jìn)行臨床診斷提供輔助參考。

1 相關(guān)工作

近年來，研究人員對(duì)乳腺腫瘤分割做了大量研究。Liu等［5］利用形態(tài)學(xué)方法得到一系列潛在曲線，根據(jù)曲線的梯度信息挑選出真實(shí)的腫瘤邊緣完成分割，但僅考慮梯度信息，對(duì)邊緣的細(xì)節(jié)處理不足。Amir 等［6］考慮聚類方法實(shí)現(xiàn)分割，根據(jù)腫塊強(qiáng)度區(qū)別于正常組織的特點(diǎn)，優(yōu)化質(zhì)心初始化算法根據(jù)像素強(qiáng)度進(jìn)行K 均值聚類，實(shí)現(xiàn)了背景、健康組織以及病變區(qū)域的區(qū)分。直接將各子圖唯一劃到某一聚類中心上，可能因癌變部位與鄰近組織的強(qiáng)度相似而歸為同一類導(dǎo)致誤割，為此Larsen 等［7］在模糊C 均值聚類的基礎(chǔ)上先提取腫瘤的感興趣區(qū)域，再進(jìn)行邊界的檢測(cè)實(shí)現(xiàn)分割。襲肖明等［8］先在粗分割的基礎(chǔ)上分別標(biāo)記分割正確、錯(cuò)誤以及背景區(qū)域，接著用超像素分割提取圖像特征并輸至支持向量機(jī)分類，從而能夠降低誤割率。Kozegar 等［9］考慮閾值分割方法，先選擇圖像的種子點(diǎn)，提出一種自適應(yīng)求解相似度閾值的高斯混合模型，利用區(qū)域生長算法輸出腫瘤的分割圖，解決了種子點(diǎn)對(duì)初始位置敏感以及過度生長的問題；但該方法需多道步驟，且初始化的邊緣輪廓不能離腫塊太遠(yuǎn)，具有一定的限制。由于腫瘤區(qū)域像素強(qiáng)度與周邊存在差異，研究人員考慮利用活動(dòng)輪廓模型進(jìn)行分割，其中心思想是建立一個(gè)能量泛函，使其在內(nèi)部能量和外部能量的共同作用下達(dá)到最小值，從而活動(dòng)輪廓演變到目標(biāo)邊界。馮保等［10］結(jié)合馬爾可夫隨機(jī)場(chǎng)后驗(yàn)概率得到感興趣區(qū)域，并在能量泛函中引入模糊速度從而提高分割精度，但沒有考慮到腫瘤存在內(nèi)部空洞的情況。Huang 等［11］選擇在輪廓模型中添加形狀知識(shí)，手動(dòng)標(biāo)出腫塊初始形狀，然后用形態(tài)學(xué)方法處理得到形狀模型到輪廓的距離以此更新水平集逼近腫塊，處理過程粗糙且受噪聲影響大。Kuo 等［12］采用兩步驟分割，不同的是初始輪廓階段采用徑向梯度指數(shù)得到腫瘤的初始輪廓。這些方法很多需要預(yù)處理得到感興趣區(qū)域，隨后構(gòu)造能量函數(shù)或水平集來逼近腫塊圖像，分割效果很大程度受初步分割的病灶位置以及參數(shù)設(shè)置的影響，有一定的局限性?？傮w來說，無論選擇形態(tài)學(xué)方法、聚類分割、閾值分割或是水平集等方法，都沒有擺脫多步驟處理或者手工設(shè)計(jì)提取特征的繁瑣，因此研究人員考慮另辟蹊徑謀求相對(duì)簡單高效的分割方法。

隨著人工智能的快速發(fā)展，基于深度學(xué)習(xí)的圖像分割因其無需手工設(shè)計(jì)特征方法，且設(shè)計(jì)相對(duì)簡單、端對(duì)端結(jié)構(gòu)、性能卓越等諸多優(yōu)勢(shì)成為醫(yī)學(xué)圖像處理的首選。全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［13］將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的全連接層全部替換成卷積，利用sigmoid 函數(shù)實(shí)現(xiàn)了像素級(jí)的分割，但是沒有考慮鄰近像素間的位置關(guān)系，僅采用像素對(duì)應(yīng)點(diǎn)的相加來實(shí)現(xiàn)特征的融合過程，忽略了像素間的空間一致性，因此得到的分割結(jié)果往往比較粗糙且對(duì)細(xì)小區(qū)域不敏感。為此，Olaf等［14］設(shè)計(jì)一種對(duì)稱式的U 形網(wǎng)絡(luò)（UNet），通過其特有的編碼-解碼方式以及跳躍轉(zhuǎn)接結(jié)構(gòu)能夠有效補(bǔ)充細(xì)節(jié)信息并改善圖像分割質(zhì)量，成為分割領(lǐng)域骨干網(wǎng)絡(luò)的首選。Zhang等［15］提出一種層次化卷積結(jié)構(gòu)，利用單獨(dú)訓(xùn)練多個(gè)UNet 依次進(jìn)行腫塊由粗到精的分割，與單網(wǎng)絡(luò)相比假陽性顯著降低，但由于初始乳腺掩模完全由網(wǎng)絡(luò)生成，因此分割效果很大程度受初始掩模影響，整體存在不穩(wěn)定因素。Zhao 等［16］將網(wǎng)絡(luò)輸出后通過金字塔池化以得到不同大小的特征圖，一定程度上解決了腫塊的多樣性問題。為提高對(duì)病灶區(qū)域的關(guān)注，Aleksandar 等［17］在UNet 降采樣階段的每一層引入顯著性圖，使網(wǎng)絡(luò)將注意力集中在顯著性高的區(qū)域上從而改善了分割結(jié)果。此外，一些研究者考慮引入自然圖像分割模型用來分割病變腫塊。如Hai 等［18］在FC-DenseNet［19］中加入多尺度圖像信息后能夠明顯提高目標(biāo)分割精度。由于乳腺導(dǎo)管和乳腺與病灶呈現(xiàn)的特征相似，為區(qū)分病灶，Chen 等［20］用三個(gè)長短時(shí)記憶網(wǎng)絡(luò)捕獲不同序列切片對(duì)于同一部位的時(shí)空相關(guān)性信息，能夠用較少的參數(shù)實(shí)現(xiàn)高分割精度。Vivek等［21］提出一種生成對(duì)抗學(xué)習(xí)框架，利用判別器從圖像中腫塊的紋理和上下文信息預(yù)測(cè)分割圖，直至鑒別器難以區(qū)分時(shí)視為完成分割。盡管將自然圖像語義分割模型運(yùn)用在醫(yī)學(xué)圖像中有一定效果，但仍面臨像素級(jí)圖像處理能力不夠、現(xiàn)有數(shù)據(jù)集難以滿足深層網(wǎng)絡(luò)等諸多不足，同時(shí)現(xiàn)有基于UNet 的深度方法大多考慮網(wǎng)絡(luò)的整體搬移運(yùn)用，因此在UNet 的基礎(chǔ)上加以改進(jìn)為提升模型的分割性能提供了一種潛在的方法。

2 基于注意力機(jī)制的多尺度UNet模型

2.1 模型結(jié)構(gòu)設(shè)計(jì)

本文從UNet 結(jié)構(gòu)高效的特點(diǎn)出發(fā)，在不改變其架構(gòu)基礎(chǔ)上設(shè)計(jì)一種基于上下文注意力機(jī)制的多尺度殘差UNet（Multiscale Residual UNet based on Context Attention，MCAResUNet）的乳腺癌灶分割模型。其中編碼器部分由多個(gè)多尺度殘差塊構(gòu)成，使網(wǎng)絡(luò)盡可能地提取腫塊更多的細(xì)節(jié)信息。在橋接模塊利用空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）注入上下文信息對(duì)特征進(jìn)行二次信息挖掘。特征層連接環(huán)節(jié)中引入跨層的上下文注意力（Layer-crossed Context Attention，LCA）引導(dǎo)機(jī)制，使模型更好地把握病灶的全局信息，最后通過上采樣層將分割結(jié)果恢復(fù)至輸入圖像大小，其模型結(jié)構(gòu)如圖1 所示。

圖1 基于注意力的多尺度UNet模型Fig.1 Multiscale ResUNet model based on attention

2.2 多尺度特征提取模塊

在特征編碼階段，乳腺磁共振成像（Magnetic Resonance Imaging，MRI）圖像經(jīng)多層網(wǎng)絡(luò)的卷積核卷積后具備較大尺度的感受野，其表征高級(jí)語義信息的能力得到增強(qiáng)。在同一層網(wǎng)絡(luò)中，采用大卷積核獲得網(wǎng)絡(luò)的感受野可以捕獲與周邊多個(gè)像素的空間關(guān)系，但對(duì)于抓取細(xì)節(jié)特征的能力較差；采用小卷積核獲得網(wǎng)絡(luò)的局部感受野能夠聚焦圖像的幾何細(xì)節(jié)信息，適合高精度分割任務(wù)，但對(duì)圖像的表征能力有待提高。因此通過多尺度特征提取得到的不同感受野能夠進(jìn)一步提高圖像的表征能力，從而解決腫塊大小多樣的問題。

由于乳腺癌灶臨床特征復(fù)雜不規(guī)則，在研究其分割特征時(shí)通常需要考慮以下因素：1）乳腺癌灶大小不一，且存在較大尺寸差距。由于病灶經(jīng)造影劑強(qiáng)化后呈現(xiàn)的大小各不相同，意味著使用同一尺度卷積標(biāo)準(zhǔn)提取病灶特征時(shí)容易造成部分信息遺漏的狀況。2）乳腺癌灶形態(tài)多樣，對(duì)腫塊細(xì)節(jié)勾畫要求高。MRI 圖像中常見腫塊邊緣存在倒鉤、凸起等多種形態(tài)的不規(guī)則形狀，因此需要更靈活地對(duì)腫塊形狀進(jìn)行表征。3）病灶邊緣與周邊組織界限不清晰。這是由于乳腺部位富含大量腺體及纖維結(jié)締諸多等生理組織，而癌細(xì)胞常分布于這些纖維結(jié)締組織中，導(dǎo)致癌灶邊界模糊難區(qū)分。

綜合上述因素，這里使用一種多尺度殘差卷積模塊（Multiscale-Residual Convolution Block，MRCB）替代傳統(tǒng)UNet 下采樣時(shí)連續(xù)使用兩次相同卷積核大小的卷積，其思想是將ResNet50 中使用的殘差單元的中間層替換成多個(gè)不同大小的卷積核，如圖2 所示。

圖2 多尺度殘差模塊Fig.2 Multiscale residual block

特征圖首先經(jīng)1×1 的卷積核后自適應(yīng)改變通道數(shù)，隨后按輸出的通道數(shù)分成s等份，每等份表示為xi(i=1，2，…，s)，這里s的值設(shè)為4，x1不加處理原樣輸出至y1，后三等份通道分別對(duì)應(yīng)3×3 的卷積運(yùn)算ki-1，xi經(jīng)ki-1卷積運(yùn)算后輸出至yi，同時(shí)將卷積結(jié)果與xi+1相加進(jìn)行與ki的下一次運(yùn)算，其特征圖的計(jì)算方法可表示為：

輸入特征經(jīng)含3×3 的級(jí)聯(lián)卷積后都潛在地與xi直接相連，其輸出的特征圖具備不同大小的感受野，隨后進(jìn)行1×1卷積拼接成同一個(gè)張量送進(jìn)壓縮激勵(lì)網(wǎng)絡(luò)，根據(jù)不同特征通道的重要程度對(duì)通道進(jìn)行篩選并賦予不同的權(quán)重，最后輸出至下一個(gè)模塊實(shí)現(xiàn)一次多尺度特征提取過程。本文在UNet基礎(chǔ)上將每一層卷積替換成2 個(gè)多尺度殘差塊，借助重復(fù)使用多尺度殘差塊，網(wǎng)絡(luò)能夠提取到更多的腫塊細(xì)節(jié)信息，因而對(duì)于低對(duì)比度的腫塊邊緣區(qū)域也具有更好區(qū)分效果。

2.3 上下文橋接模塊

傳統(tǒng)UNet對(duì)于橋接模塊往往采取單一的特征升維處理，缺乏對(duì)高層信息的有效利用，因此本文使用空洞空間金字塔池化方法替代原橋接模塊，對(duì)包含高級(jí)語義信息的特征從附近像素信息中再次挖掘，在獲得特征上下文信息的同時(shí)進(jìn)一步擴(kuò)大了感受野，與下采樣相比避免了像素信息丟失的風(fēng)險(xiǎn)。

ASPP作為空間金字塔池化與空洞卷積功能上的結(jié)合，在不采用池化進(jìn)行擴(kuò)張感受野的前提下，對(duì)給定的特征圖，ASPP 擴(kuò)大卷積核的尺寸形成多個(gè)不同感知上下文能力的特征提取器，這樣可以讓ASPP更好地捕獲多種尺度的上下文信息，其空洞卷積實(shí)際卷積核計(jì)算可通過如下公式計(jì)算得到：

其中：k為初始卷積核大??；r為空洞卷積參數(shù)空洞率，即在大小為k的卷積核中注入的空洞數(shù)。通過擴(kuò)大初始卷積核與參數(shù)空洞率大小可以一定程度增加感受野，但太大也會(huì)存在丟失局部信息與遠(yuǎn)距離信息感知不強(qiáng)的風(fēng)險(xiǎn)，因此需合理設(shè)置兩項(xiàng)參數(shù)以達(dá)到最優(yōu)效果，本文將r值設(shè)置為2、8、14。

2.4 跨層注意力引導(dǎo)模塊

雖然殘差單元能有效專注腫塊自身的特征細(xì)節(jié)，但對(duì)目標(biāo)的整體空間信息關(guān)注不夠，例如健康組織被誤分割等問題上始終沒有得到妥善的處理方案。傳統(tǒng)注意力機(jī)制從當(dāng)前輸入的特征圖進(jìn)行建模，顯式地利用特征維度或特征點(diǎn)本身攜帶信息挖掘依賴關(guān)系，忽視了對(duì)淺層特征信息的重視。

考慮淺層特征包含更豐富、不加丟失的全局空間信息，在特征提取后仍然具有利用價(jià)值；另一方面，解碼環(huán)節(jié)包含的像素分類信息對(duì)癌灶空間信息感知不強(qiáng)，易出現(xiàn)鄰近健康組織被誤分割的現(xiàn)象，本文設(shè)計(jì)一種跨層的注意力（Layer-Crossed Attention，LCA）引導(dǎo)單元模塊，引入淺層編碼信息與當(dāng)前層解碼信息加重腫塊區(qū)域的權(quán)重，從而實(shí)現(xiàn)分割部位的鎖定，其注意力權(quán)重可由如下計(jì)算公式得到：

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文的實(shí)驗(yàn)環(huán)境如下：CPU Intel Xeon Core E5-2696 v4 2.20 GHz，GPU NVIDIA GeForce GTX 1080Ti×2，內(nèi)存各11 GB，Windows 10 操作系統(tǒng)，深度學(xué)習(xí)框架Pytorch1.2.0，Python 版本3.7.6。

實(shí)驗(yàn)采集數(shù)據(jù)為某醫(yī)院2015 年至2018 年間收治的44位乳腺癌確診患者的MRI 圖像，經(jīng)患者允許將數(shù)據(jù)進(jìn)行脫敏處理用于科學(xué)研究。數(shù)據(jù)的初始格式為.mha 格式，利用SimpleITK 工具包讀成圖像格式并保存。每位患者注射MRI造影劑后根據(jù)掃描時(shí)間階段不同分成6 期結(jié)果，每次掃描結(jié)果包含128 幅圖像切片，每張圖像大小為384×384。圖3 展示了部分患者的乳腺M(fèi)RI 影像，標(biāo)注部位為乳腺的癌變區(qū)域，由圖可見，乳腺癌灶在形態(tài)、大小、對(duì)比度等方面呈現(xiàn)不同程度的差異。所有MRI 掃描數(shù)據(jù)均經(jīng)由兩位專業(yè)影像醫(yī)師對(duì)其進(jìn)行手動(dòng)勾畫病灶并通過二次確認(rèn)后作為分割對(duì)照的金標(biāo)準(zhǔn)。

圖3 不同患者的乳腺M(fèi)RI圖像Fig.3 Breast MRI images of different patients

3.2 訓(xùn)練細(xì)節(jié)

由于乳腺M(fèi)RI 臨床樣本稀缺，實(shí)驗(yàn)首先以病例數(shù)38∶6劃分訓(xùn)練和測(cè)試集，接著對(duì)已有勾畫圖像進(jìn)行數(shù)據(jù)增強(qiáng)，包含圖像旋轉(zhuǎn)、水平鏡像翻轉(zhuǎn)、圖像放大等，其中旋轉(zhuǎn)角度為符合患者實(shí)際掃描體位進(jìn)行0°～10°的順、逆時(shí)針間的隨機(jī)變換，圖像縮放及旋轉(zhuǎn)均以大小為0.8 的概率執(zhí)行，鏡像翻轉(zhuǎn)以大小為0.5 的概率執(zhí)行，所有圖像以此進(jìn)行1.8 倍進(jìn)行擴(kuò)充，最終將得到的圖像以病例數(shù)劃分訓(xùn)練、驗(yàn)證和測(cè)試集?？紤]勾畫好的ground truth 數(shù)據(jù)正負(fù)樣本比例極不平衡，實(shí)驗(yàn)在數(shù)據(jù)增強(qiáng)后剔除大量無效負(fù)樣本數(shù)據(jù)，以正負(fù)樣本約7∶1 的比例擴(kuò)大數(shù)據(jù)中正樣本的比重，使網(wǎng)絡(luò)重點(diǎn)學(xué)習(xí)正樣本特征，同時(shí)可有效避免大量的負(fù)樣本對(duì)分割指標(biāo)的無意義提升。

訓(xùn)練使用二值交叉熵?fù)p失函數(shù)作為模型的損失函數(shù)，使用Adam 優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率設(shè)置為0.001。同時(shí)采取分批策略進(jìn)行訓(xùn)練，每個(gè)批大小為4，每次訓(xùn)練的遍歷次數(shù)（epoch）為120，每次遍歷需迭代1 250 次，訓(xùn)練結(jié)束取損失最小的模型用于分割測(cè)試。

評(píng)價(jià)指標(biāo)實(shí)驗(yàn)主要采用Dice 系數(shù)以及交并比（Intersection over Union，IoU）作為衡量乳腺腫瘤分割模型性能的主要依據(jù)，同時(shí)兼顧臨床病癥分析的特殊性，本文還使用特異度（Specificity，SP）、敏感度（Sensitivity，SE）和準(zhǔn)確率（Accuracy，ACC）等三項(xiàng)參數(shù)進(jìn)行多方面評(píng)價(jià)，上述各指標(biāo)由下列公式計(jì)算得到：

其中：Vseg和Vgt分別表示模型的分割輸出圖像和醫(yī)師的勾畫金標(biāo)準(zhǔn)，TP（True Positive）、FP（False Positive）、TN（True Negative）、FN（False Negative）分別表示真陽性、假陽性、真陰性和假陰性，借助該四種分割情況可對(duì)分割結(jié)果作出多種解釋，諸如特異度反映所有陰性樣本中預(yù)測(cè)正確的比例，即真陰性占標(biāo)準(zhǔn)陰性中的比重，敏感度反映所有陽性樣本中預(yù)測(cè)正確的比例，即真陽性占標(biāo)準(zhǔn)陽性中的比重，因而這些衡量指標(biāo)對(duì)醫(yī)師進(jìn)行乳腺癌灶的病理診斷具有極大的分析價(jià)值。

3.3 主流算法介紹

在醫(yī)學(xué)圖像處理任務(wù)中，F(xiàn)CN 作為深度領(lǐng)域提出較早的一種分割算法，摒棄傳統(tǒng)卷積網(wǎng)絡(luò)將含目標(biāo)像素的圖像塊作為分割單元的做法，采用拋棄全連接層而使用連續(xù)的反卷積層恢復(fù)至輸入圖像尺寸，并同時(shí)使用對(duì)應(yīng)點(diǎn)相加的跳層連接實(shí)現(xiàn)了像素級(jí)的分類，在提高分割效果的同時(shí)放開了對(duì)輸入尺寸的限制。SegNet［22］在編解碼環(huán)節(jié)過程中借鑒了VGG16深層網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢(shì)，使用其前13 層用于提取特征信息，同時(shí)采用一種不同于跳層連接的特征處理方法，創(chuàng)新性地將編碼時(shí)最大池化的結(jié)果以索引形式保存，并在解碼中用以還原最大特征值的位置，通過反卷積學(xué)習(xí)填充其余空缺值，對(duì)邊緣分割處理較好。UNet 在醫(yī)學(xué)分割領(lǐng)域中十分經(jīng)典，其結(jié)構(gòu)可分為收縮路徑和擴(kuò)張路徑，在特征編碼階段，該網(wǎng)絡(luò)在連續(xù)完成4 次采樣因子為2 的降采樣后，得到的特征圖的感受野能有效覆蓋圖像的中心區(qū)域，提高對(duì)病灶的理解能力。在擴(kuò)張路徑中對(duì)編碼特征進(jìn)行反卷積用以還原圖像尺寸并將特征圖映射到像素空間進(jìn)行腫瘤的分割。此外，為解決卷積過程時(shí)腫塊邊緣模糊的問題，UNet 在每一層最后利用concat 的跳躍轉(zhuǎn)接方式將淺層特征與高級(jí)語義信息添加到擴(kuò)展路徑中，通過注入更多、更完備的細(xì)節(jié)信息改善圖像恢復(fù)時(shí)質(zhì)量粗糙的問題，因而這一結(jié)構(gòu)在醫(yī)學(xué)分割任務(wù)中得到了廣泛的應(yīng)用。由于網(wǎng)絡(luò)層數(shù)的加深通常伴隨網(wǎng)絡(luò)退化和梯度彌散的問題，而ResNet［23］給出的殘差結(jié)構(gòu)可將深層網(wǎng)絡(luò)的訓(xùn)練轉(zhuǎn)化為對(duì)恒等映射函數(shù)的學(xué)習(xí)，從根本上給出上述問題的解決辦法，因而在UNet 的特征提取模塊結(jié)合ResNet 特有的殘差結(jié)構(gòu)，形成的ResUNet［24］成為諸多研究者處理不同分割任務(wù)時(shí)的首選結(jié)構(gòu)。HarDNet-MSEG［25］使用HarDNet 作為降采樣環(huán)節(jié)的骨干網(wǎng)絡(luò)，通過改變稠密連接塊的密度和通道寬度來提高推理速度和精度，同時(shí)每一層的跳躍連接環(huán)節(jié)中使用接受域模塊獲得不同分辨率的特征圖，經(jīng)上采樣至同一大小后進(jìn)行稠密聚合得到最終的輸出。PraNet［26］使用并行部分解碼器組合特征生成初步的感興趣區(qū)域，然后提出一種反向注意力模塊從并行解碼器中剔除前景區(qū)域來挖掘有區(qū)別性的邊界信息，通過對(duì)區(qū)域和邊界關(guān)系的建模逐步細(xì)化分割區(qū)域完成分割。在這里將所提方法與上述網(wǎng)絡(luò)性能進(jìn)行對(duì)比以驗(yàn)證本文方法的有效性。

3.4 結(jié)果與分析

為證明所提方法的有效性，本文與SegNet、FCN、UNet、ResUNet、HarDNet-MSEG、PraNet 等多個(gè)分割網(wǎng)絡(luò)對(duì)同一分割任務(wù)進(jìn)行對(duì)比，采用醫(yī)師提供的乳腺M(fèi)RI 勾畫數(shù)據(jù)的網(wǎng)絡(luò)分割結(jié)果如表1 所示。本方法各項(xiàng)指標(biāo)表現(xiàn)優(yōu)異，并且在Dice 系數(shù)、IoU、SP 三項(xiàng)指標(biāo)中均高于其他網(wǎng)絡(luò)的分割結(jié)果。

表1 不同網(wǎng)絡(luò)的分割結(jié)果 單位：%Tab.1 Segmentation results of different networks unit：%

圖4 為四位患者的乳腺M(fèi)RI 掃描圖像，其中每行的第一張勾畫圖像為ground truth，后五張為不同網(wǎng)絡(luò)的分割結(jié)果。從圖中可看出不同患者的乳腺M(fèi)RI 病灶圖像存在對(duì)比度不均、邊緣模糊、形態(tài)大小不一等特點(diǎn)。在第二張MRI 圖像中，因FCN 和UNet 用相同大小的卷積核提取特征，從而網(wǎng)絡(luò)每一層的感受野大小單一，不能很好地捕獲小腫塊包含的特征導(dǎo)致漏割情況的發(fā)生。SegNet 和ResUNet 和本文方法都關(guān)注于特征的提取與處理，但SegNet 重點(diǎn)對(duì)上采樣環(huán)節(jié)施加改進(jìn)，和ResUNet 一樣對(duì)病灶的形態(tài)和大小不均等情況的感知較差，因而第1 行與第3 行的圖像分割結(jié)果在邊緣的精度上不能很好地滿足醫(yī)師分析需求。對(duì)于HarDNet-MSEG，由于接受域模塊的引入使得對(duì)微小腫塊輪廓的勾畫尤其是第二例病人的較小腫塊的分割表現(xiàn)較好，對(duì)于PraNet，由圖4 可見該網(wǎng)絡(luò)對(duì)第一例病人勾畫相對(duì)其他算法效果較差，原因在于第一例病人的病灶附近對(duì)比度呈現(xiàn)多層次變化分布，易使反向注意機(jī)制只部分地學(xué)習(xí)到對(duì)比度較強(qiáng)的部分而將對(duì)比度較弱部分作為背景忽略。此外，部分腫塊與鄰近健康組織灰度相近，易使網(wǎng)絡(luò)對(duì)腫塊造成假陽性或假陰性的誤分割，本文利用上下文注意力引導(dǎo)機(jī)制挖掘淺層特征中的空間信息以緩解上采樣時(shí)感興趣區(qū)域像素定位不準(zhǔn)確的問題，特異度結(jié)果表明本文方法較其他分割算法能夠更好解決假陽性的誤分割現(xiàn)象。

圖4 不同分割方法結(jié)果對(duì)比Fig.4 Segmentation results of different methods

為了說明本文方法的有效性與科學(xué)性，進(jìn)行消融實(shí)驗(yàn)，其結(jié)果如表2 所示。

表2 網(wǎng)絡(luò)結(jié)構(gòu)消融對(duì)比 單位：%Tab.2 Comparison of network structure ablation unit：%

從表2 可以看出，在對(duì)UNet 改進(jìn)后，Dice 系數(shù)、IoU 等指標(biāo)均得到不同程度的提升，此外，由于本文方法較其他網(wǎng)絡(luò)側(cè)重關(guān)注病灶的空間位置和形態(tài)大小的準(zhǔn)確性，因此分割結(jié)果在形態(tài)上略小于醫(yī)師勾畫的病灶形狀，從而體現(xiàn)在敏感度略低于網(wǎng)絡(luò)初始值。實(shí)驗(yàn)結(jié)果表明本文方法優(yōu)于UNet，證實(shí)了所提方法的有效性。

4 結(jié)語

本文針對(duì)乳腺M(fèi)RI 癌灶分割存在的形態(tài)多樣、大小不均、對(duì)比度不均等問題，提出一種基于注意力機(jī)制的多尺度UNet 結(jié)構(gòu)分割模型，該模型主要包括用于提取腫塊特征的多尺度殘差單元，使每一層得到不同大小的感受野，易于獲取病灶的形態(tài)、大小等信息；用于進(jìn)行像素級(jí)分類時(shí)幫助定位感興趣區(qū)域的上下文注意力引導(dǎo)模塊，減少出現(xiàn)假陽性的誤割情況的發(fā)生；同時(shí)，在橋接環(huán)節(jié)利用空間空洞金字塔池化對(duì)得到的高級(jí)語義特征進(jìn)行二次挖掘，提高特征利用效率。通過與其他主流分割網(wǎng)絡(luò)的結(jié)果對(duì)比顯示，本文方法對(duì)乳腺癌灶MRI 圖像除敏感度會(huì)有輕微下降外，其余各項(xiàng)分割指標(biāo)表現(xiàn)優(yōu)異，其中Dice 系數(shù)和IoU 能達(dá)到83.24% 和74.24%，這將為乳腺癌灶的勾畫提供了一種新的實(shí)施方法。此外，本文實(shí)驗(yàn)所用的乳腺M(fèi)RI 掃描圖像，與自然場(chǎng)景分割任務(wù)使用的大規(guī)模數(shù)據(jù)集相比，醫(yī)學(xué)圖像數(shù)據(jù)量稀缺與較難獲得，自制和標(biāo)注困難，同時(shí)醫(yī)學(xué)圖像語義相對(duì)簡單且內(nèi)容結(jié)構(gòu)較為固定，使用過深的復(fù)雜網(wǎng)絡(luò)可能起到相反效果，因而利用有限的數(shù)據(jù)資源與更高效的分割網(wǎng)絡(luò)實(shí)現(xiàn)乳腺癌灶的精準(zhǔn)分割是我們下一步工作的研究重點(diǎn)。