基于優(yōu)化U-Net網(wǎng)絡(luò)的乳腺腫瘤區(qū)域分割方法

史健婷，崔閆靖，常 亮

(黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，黑龍江 哈爾濱 150022)

0 引 言

乳腺癌是發(fā)生在乳腺腺上皮組織的惡性腫瘤。全球乳腺癌發(fā)病率自20世紀(jì)70年代末開始一直呈上升趨勢(shì)。調(diào)查數(shù)據(jù)表明，乳腺癌是女性惡性腫瘤發(fā)病率最高的病癥。乳腺癌的防治關(guān)鍵在于早發(fā)現(xiàn)、早診斷，及時(shí)治療將提高患者的治愈率和存活率。目前有多種檢測(cè)癌癥的方法，其中乳腺超聲檢測(cè)技術(shù)因?yàn)槌杀镜鸵约靶詢r(jià)比高的特性，逐漸被大眾接受。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，計(jì)算機(jī)輔助診斷(CAD)參與到診斷過程中，為醫(yī)生提供參考，使結(jié)果更加具有準(zhǔn)確性以及客觀性，不僅可以降低誤診率，也提高了效率。

早期乳腺超聲圖像分割算法多是利用統(tǒng)計(jì)學(xué)的知識(shí)來處理圖像，算法對(duì)于圖像的質(zhì)量沒有太多要求，但是分割效果不好，速度較慢?；谏疃葘W(xué)習(xí)的圖像分割算法可以自動(dòng)提取圖像特征，分割效果有明顯的提高。U-Net深度學(xué)習(xí)模型由于對(duì)數(shù)據(jù)量要求的特性，多被應(yīng)用于醫(yī)學(xué)圖像的分割。腫瘤在超聲圖像中一般表現(xiàn)為低回聲區(qū)，因此乳腺超聲圖像具有斑點(diǎn)噪聲較多、邊緣模糊不清、灰度不均勻等特性，增加了腫瘤的分割難度[1]，采用傳統(tǒng)的U-Net模型難以取得滿意的分割效果。

為此，文中研究了近幾年的乳腺超聲圖像分割技術(shù)，并對(duì)各種分割方法的優(yōu)缺點(diǎn)做了對(duì)比分析，提出了一種新的分割方法。為了提高圖像質(zhì)量，在圖像預(yù)處理時(shí)加入高斯濾波線性濾波器來抑制超聲圖像的噪聲，平滑圖像，在一定程度上提高訓(xùn)練模型的魯棒性和適應(yīng)性。為了提高分割的精確度和效率，在網(wǎng)絡(luò)模型中引入殘差結(jié)構(gòu)，解決了因網(wǎng)絡(luò)深度的增加造成的梯度消失問題，使準(zhǔn)確率得到明顯提升。

1 圖像分割方法

乳腺超聲圖像的腫瘤區(qū)域分割的效率和精度一直是提高腫瘤分類判別精確度的關(guān)鍵，許多研究人員在腫瘤分割方面做了很多研究。腫瘤在超聲圖像中一般表現(xiàn)為低回聲區(qū)。乳腺超聲圖像具有斑點(diǎn)噪聲多、邊緣比較模糊、灰度不均勻、腫瘤形狀不規(guī)則等特性。針對(duì)以上特性，本節(jié)將從已有的傳統(tǒng)圖像分割算法和使用深度學(xué)習(xí)的圖像分割算法兩大類別來進(jìn)行介紹和對(duì)比。

1.1 傳統(tǒng)圖像分割方法

基于閾值的分割方法[2-3]是最基本、應(yīng)用最廣泛的分割方法，特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，計(jì)算量不大，效率高。但由于這種方法忽略了空間特征，因此噪聲對(duì)分割結(jié)果的影響很大。而聚類法[4-6]則考慮到空間特征，解決了閾值法對(duì)噪聲敏感這一問題。分水嶺法[7-8]分割結(jié)果是目標(biāo)的邊界，但它的致命缺點(diǎn)是容易過分割?；顒?dòng)輪廓模型法[9-15]對(duì)初始輪廓的依賴性較強(qiáng)，而乳腺超聲圖像具有弱邊界特性，故不能取得好的分割效果。馬爾可夫隨機(jī)場(chǎng)法[16-18]的特點(diǎn)是模型參數(shù)較少、空間約束性較強(qiáng)，但缺點(diǎn)是復(fù)雜度高，耗時(shí)高。圖論法[19-23]算法原理簡(jiǎn)單，運(yùn)行效率較高，分割效果也比較好，但是在乳腺超聲圖像比較復(fù)雜時(shí)，會(huì)有過分割和欠分割的情況發(fā)生。

1.2 深度學(xué)習(xí)圖像分割方法

1.2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)是一種近年來比較常見的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，常被用于圖像分類、圖像檢測(cè)等方面，在生物醫(yī)學(xué)圖像的識(shí)別中也經(jīng)常以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)。CNN之所以有如此的成就是因?yàn)樗哂斜碚鲗W(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對(duì)輸入信息進(jìn)行平移不變分類，因此可以自動(dòng)學(xué)習(xí)不同層次結(jié)構(gòu)下的圖像特征。CNN通過卷積操作和池化操作來對(duì)特征進(jìn)行學(xué)習(xí)和抽取，在相對(duì)較淺的卷積層由于其感受野較小所以可以學(xué)習(xí)到更多的局部特征，當(dāng)卷積層處于較深層時(shí)由于感受野的擴(kuò)大就可以學(xué)到更加抽象的特征。抽象特征對(duì)物體的全局化信息更加敏感，對(duì)提高識(shí)別性能有一定的幫助。

CNN在傳統(tǒng)的分類任務(wù)中表現(xiàn)出非常強(qiáng)大的能力，通過對(duì)圖像進(jìn)行特征抽取，可以非常快速地完成對(duì)圖像的分類，但是在進(jìn)行圖像特征抽取時(shí)會(huì)丟失一些特征信息，可能會(huì)使物體的輪廓信息不完全，不能很好地對(duì)像素分類，因此做到精確的分割就很有難度。

CNN也可以做一些簡(jiǎn)單的圖像分割任務(wù)，通常是采用像素塊的方式使用需要分類的某個(gè)像素周圍的一個(gè)圖像塊作為其分類依據(jù)。這種方法最大的缺陷就是存儲(chǔ)開銷非常大，由于相鄰的圖像塊會(huì)產(chǎn)生疊加，在計(jì)算的時(shí)候就會(huì)產(chǎn)生大量冗余信息。其次像素塊的大小也會(huì)影響分類的速度和準(zhǔn)確度，從而限制了分類的性能。

1.2.2 全卷積神經(jīng)網(wǎng)絡(luò)

全卷積神經(jīng)網(wǎng)絡(luò)(FCN)是基于傳統(tǒng)CNN改進(jìn)的，主要用于圖像語義分割。與傳統(tǒng)的CNN不同的是，F(xiàn)CN用卷積層代替了CNN中的全連接層，沒有了全連接層單元數(shù)的限制，輸入圖像的大小也不再受限制。FCN在最后一層特征圖后使用反卷積對(duì)其進(jìn)行上采樣，使特征圖大小與輸入圖像的尺寸相同。

1.2.3 U-Net網(wǎng)絡(luò)

U-Net神經(jīng)網(wǎng)絡(luò)是由Ronneberger等提出的一種網(wǎng)絡(luò)結(jié)構(gòu)，U型的對(duì)稱結(jié)構(gòu)由左側(cè)的編碼網(wǎng)絡(luò)和一個(gè)右側(cè)對(duì)稱的解碼網(wǎng)絡(luò)構(gòu)成。左側(cè)編碼網(wǎng)絡(luò)中主要是由交替的卷積層和池化層實(shí)現(xiàn)特征圖的提取和空間維度的學(xué)習(xí)，而解碼網(wǎng)絡(luò)正相反，通過更換卷積層的采樣方式，使用上采樣來恢復(fù)目標(biāo)細(xì)節(jié)和相應(yīng)的空間維度來實(shí)現(xiàn)精確定位。除此之外U-Net網(wǎng)絡(luò)還通過捷徑連接的思想將編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)之間進(jìn)行上下文信息的跨層連接。捷徑連接思想通過裁剪和復(fù)制低層特征圖與高層特征圖結(jié)合起來，恢復(fù)更好的目標(biāo)細(xì)節(jié)，實(shí)現(xiàn)精準(zhǔn)的自動(dòng)上下文像素級(jí)分類。傳統(tǒng)的U-Net在多種醫(yī)學(xué)圖像分割中均表現(xiàn)出良好的性能，即使在一些數(shù)據(jù)量少的任務(wù)下也能獲取不錯(cuò)的效果。U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

在全卷積U型網(wǎng)絡(luò)U-Net提出來之后，國(guó)內(nèi)外有很多學(xué)者都在此基礎(chǔ)上做了大量的研究。梁舒[24]在2018年提出將殘差學(xué)習(xí)單元加入U(xiǎn)型網(wǎng)絡(luò)，通過提高網(wǎng)絡(luò)深度來增強(qiáng)模型的特征學(xué)習(xí)能力，然而簡(jiǎn)單地增加深度，會(huì)導(dǎo)致梯度彌散或梯度爆炸。李嘉冀[25]在2019年提出將注意力機(jī)制應(yīng)用在U-Net網(wǎng)絡(luò)上進(jìn)行特征提取，提供了新的特征選取方式。此后醫(yī)療圖像分割算法的優(yōu)化都集中在這兩個(gè)方向上。

2 改進(jìn)后的圖像分割算法

2.1 優(yōu)化后的算法流程

文中方法流程如圖2所示：(1)對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)增；(2)將擴(kuò)增后的超聲圖像使用高斯濾波進(jìn)行去噪；(3)將圖像數(shù)據(jù)集分成訓(xùn)練集、驗(yàn)證集以及測(cè)試集；(4)將訓(xùn)練集中的圖像放入文中改進(jìn)的網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，而后用驗(yàn)證集對(duì)模型的訓(xùn)練效果進(jìn)行驗(yàn)證，看收斂效果是否理想；(5)將測(cè)試集放入訓(xùn)練好的網(wǎng)絡(luò)模型中，測(cè)試網(wǎng)絡(luò)模型的分割性能。

圖2 文中方法流程

2.2 圖像預(yù)處理

2.2.1 數(shù)據(jù)擴(kuò)增

對(duì)于深度學(xué)習(xí)模型來說，大量的訓(xùn)練數(shù)據(jù)是模型具有更好泛化能力的前提。想要獲取大規(guī)模經(jīng)過醫(yī)生標(biāo)注的乳腺腫瘤超聲圖像極為困難，并且由于成本原因無法滿足深度學(xué)習(xí)模型對(duì)大規(guī)模數(shù)據(jù)的需求。

在目標(biāo)域數(shù)據(jù)分布具有變換不變性的前提下通過對(duì)原始數(shù)據(jù)進(jìn)行隨機(jī)幾何變換等操作進(jìn)行數(shù)據(jù)擴(kuò)增?？梢缘玫酱罅康呐c原始數(shù)據(jù)近似或獨(dú)立同分布的醫(yī)學(xué)數(shù)據(jù)，使深度學(xué)習(xí)網(wǎng)絡(luò)可以學(xué)習(xí)到更多關(guān)于訓(xùn)練數(shù)據(jù)的不變性特征。通過數(shù)據(jù)增強(qiáng)，使得擴(kuò)增后的樣本數(shù)據(jù)可以增加網(wǎng)絡(luò)學(xué)習(xí)到的特征多樣性，以此來提高網(wǎng)絡(luò)在進(jìn)行特征學(xué)習(xí)是對(duì)原始數(shù)據(jù)的信息利用率。

在對(duì)乳腺腫瘤超聲圖像進(jìn)行數(shù)據(jù)擴(kuò)增操作時(shí)要注意以下兩點(diǎn)：(1)確保擴(kuò)增后的數(shù)據(jù)與原有數(shù)據(jù)獨(dú)立同分布或近似獨(dú)立同分布；(2)確保擴(kuò)增后的數(shù)據(jù)要很好地保留原有數(shù)據(jù)中腫瘤圖像的形狀或形態(tài)以及邊緣等重要診斷特征。

綜合以上考慮，采用隨機(jī)幾何變換的方法對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，在以上要求下將產(chǎn)生大量的訓(xùn)練樣本，有效擴(kuò)大了數(shù)據(jù)集規(guī)模，解決因樣本量有限導(dǎo)致網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合的問題，使U-Net在有限訓(xùn)練數(shù)據(jù)集情況下也能獲得理想的分割效果。

但是在傳統(tǒng)的數(shù)據(jù)擴(kuò)增中，超聲圖像和掩碼圖像需要分別進(jìn)行擴(kuò)增，不僅增加了計(jì)算量，而且會(huì)限制數(shù)據(jù)擴(kuò)增的隨機(jī)性，在對(duì)超聲圖像進(jìn)行隨機(jī)變換時(shí)無法保證掩碼圖像進(jìn)行同樣的變換。針對(duì)這一問題，文中先對(duì)超聲圖像和掩碼圖像進(jìn)行通道合并，之后進(jìn)行數(shù)據(jù)擴(kuò)增，這樣不僅減少了計(jì)算量，同時(shí)使得數(shù)據(jù)擴(kuò)增的方式更加豐富。

文中數(shù)據(jù)集的標(biāo)簽是與超聲圖像大小一樣的二值圖。標(biāo)簽中白色區(qū)域?qū)?yīng)乳腺超聲圖像的腫瘤區(qū)域，黑色區(qū)域?qū)?yīng)超聲圖像非腫瘤區(qū)域。通道合并后的圖片，通過隨機(jī)旋轉(zhuǎn)、偏移、縮放等操作進(jìn)行數(shù)據(jù)擴(kuò)增。

2.2.2 高斯濾波去噪

噪聲在圖像當(dāng)中常表現(xiàn)為一引起較強(qiáng)視覺效果的孤立像素點(diǎn)或像素塊。簡(jiǎn)單來說，噪聲的出現(xiàn)會(huì)給圖像帶來干擾，讓圖像變得不清楚。

由于乳腺超聲圖像受技術(shù)影響會(huì)產(chǎn)生邊緣模糊、圖像質(zhì)量過低、斑點(diǎn)噪聲過多等特性，再加上腫瘤形狀或形態(tài)的隨機(jī)多變因素，極大地增加了網(wǎng)絡(luò)對(duì)腫瘤特征的學(xué)習(xí)過程。為此，可以在充分保留腫瘤形狀或形態(tài)以及邊緣和紋理特征的前提下對(duì)超聲圖像進(jìn)行去噪預(yù)處理操作來減少圖片質(zhì)量對(duì)特征提取能力的影響。

通常會(huì)通過一些常規(guī)的濾波操作來抑制噪聲從而改善原始超聲圖像的質(zhì)量。針對(duì)乳腺超聲圖像斑點(diǎn)噪聲和腫瘤的不規(guī)則形態(tài)等因素，實(shí)驗(yàn)表明使用高斯濾波通過大小固定的窗口對(duì)原始超聲圖像進(jìn)行濾波操作可以消除圖像中的斑點(diǎn)噪聲使圖像趨于平滑。如圖3所示，圖像(a)為超聲原始圖像，可以看出存在諸多噪聲，圖像(b)為超聲圖像高斯濾波后結(jié)果。

圖3 乳腺腫瘤超聲圖像及其高斯濾波結(jié)果

2.3 網(wǎng)絡(luò)優(yōu)化

2.3.1 殘差單元

殘差網(wǎng)絡(luò)的出現(xiàn)是在2015年被He等人提出的，其目的是為了使得更深的網(wǎng)絡(luò)不會(huì)帶來訓(xùn)練集上準(zhǔn)確率的下降。殘差網(wǎng)絡(luò)通過加入捷徑連接和標(biāo)識(shí)映射變得更加容易被優(yōu)化，如圖4所示。每一個(gè)殘差單元可以用公式(1)、(2)表示。

圖4 殘差單元

Yi=h(Xi)+F(Xi,Wi)

(1)

Xi+1=f(Yi)

(2)

其中，Xi和Xi+1表示第i個(gè)殘差單元的輸入和輸出，F(xiàn)(?)表示殘差函數(shù)，h(Xi)表示一個(gè)標(biāo)識(shí)映射函數(shù)，f(Yi)表示激活函數(shù)。

2.3.2 網(wǎng)絡(luò)優(yōu)化

在訓(xùn)練集上，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)越深效果不一定越好。隨著網(wǎng)絡(luò)層數(shù)的加深，訓(xùn)練會(huì)變得很難收斂，模型在達(dá)到一定層數(shù)后繼續(xù)增加層數(shù)，會(huì)導(dǎo)致準(zhǔn)確率下降。這被稱為網(wǎng)絡(luò)的退化問題。針對(duì)網(wǎng)絡(luò)退化問題，出現(xiàn)了一種新的網(wǎng)絡(luò)結(jié)構(gòu)—?dú)埐罹W(wǎng)絡(luò)，解決了隨著網(wǎng)絡(luò)層數(shù)加深導(dǎo)致的準(zhǔn)確率下降等問題。

U-Net由于把編碼特征加入到解碼特征中，可以在小數(shù)據(jù)量下取得很好效果，但是有個(gè)問題，U-Net網(wǎng)絡(luò)不夠深，對(duì)特征的表達(dá)不夠準(zhǔn)確，殘差網(wǎng)絡(luò)之所以取得這么好的分類效果就是網(wǎng)絡(luò)足夠深。文中在U-Net網(wǎng)絡(luò)中加入了兩層殘差學(xué)習(xí)單元，增加了U-Net的網(wǎng)絡(luò)深度，提高了該模型的特征提取能力，得到了更好的分割效果。圖5是改進(jìn)后的U-Net網(wǎng)絡(luò)，其中殘差塊的數(shù)量為6。

圖5 改進(jìn)的U-Net網(wǎng)絡(luò)

3 結(jié)果與分析

文中所用原始數(shù)據(jù)集為532張超聲圖像，經(jīng)過隨機(jī)數(shù)據(jù)擴(kuò)增10倍后按8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。實(shí)驗(yàn)訓(xùn)練初始參數(shù)學(xué)習(xí)率、權(quán)重衰減參數(shù)、動(dòng)量參數(shù)分別設(shè)置為1×10-6、5×10-4、0．95，卷積核使用高斯分布N(0，0.1)進(jìn)行初始化，使用梯度下降優(yōu)化算法對(duì)模型進(jìn)行收斂訓(xùn)練．

實(shí)驗(yàn)配置: Windows10操作系統(tǒng)，英特爾i7處理器，16 GB內(nèi)存，NVIDIA GeForce 1060 Ti 4G顯卡，使用CUDA10.0計(jì)算架構(gòu)和cuDNN7.5加速庫。

3.1 實(shí)驗(yàn)結(jié)果

對(duì)測(cè)試數(shù)據(jù)集進(jìn)行預(yù)處理后，將測(cè)試數(shù)據(jù)集送入模型中進(jìn)行預(yù)測(cè)，輸出乳腺腫瘤圖像的分割結(jié)果。圖6中，圖(a)為乳腺腫瘤超聲圖像，圖(b)為標(biāo)簽，圖(c)為分割結(jié)果。

圖6 分割結(jié)果

分割結(jié)果表明，文中的分割方法對(duì)多腫瘤以及不規(guī)則的超聲圖像有著很好的分割結(jié)果。

3.2 結(jié)果評(píng)價(jià)與分析

表1給出了FCN、文獻(xiàn)[25]、文獻(xiàn)[26]和文中模型分割單張圖像所需時(shí)間(batch_size=1)。

表1 分割單張圖像所需時(shí)間

從模型的單張圖片的測(cè)試時(shí)間來分析，可以得出三點(diǎn)結(jié)論：(1)FCN模型的網(wǎng)絡(luò)參數(shù)較多，因此模型的測(cè)試時(shí)間較長(zhǎng)；(2)文獻(xiàn)[25]在2個(gè)3×3的卷積和1個(gè)2×2的池化運(yùn)算之后插入一個(gè)殘差學(xué)習(xí)單元，模型復(fù)雜度的增加造成了測(cè)試時(shí)間的增加；(3)文獻(xiàn)[26]將模糊邏輯引入神經(jīng)網(wǎng)絡(luò)中，將模糊邏輯和注意力機(jī)制相結(jié)合，該方法對(duì)特征要素重要程度進(jìn)行重新標(biāo)定造成了計(jì)算復(fù)雜度的增加。

為了對(duì)分割性能進(jìn)行評(píng)測(cè)，表2給出了文獻(xiàn)[27]、U-Net和文中模型的分割結(jié)果。

表2 不同分割方法在測(cè)試集上的結(jié)果

從表2進(jìn)行對(duì)比和分析，可以得出以下結(jié)論：(1)根據(jù)準(zhǔn)確率的數(shù)值對(duì)比可以看出，文中方法在準(zhǔn)確率上高于文獻(xiàn)[27]中所用的方法和U-Net方法，說明文中方法的分割結(jié)果對(duì)目標(biāo)區(qū)域的覆蓋程度更高；(2)召回率又稱為查全率，表示樣本中有多少被預(yù)測(cè)正確了，從高于其他兩種方法的召回率和交并比可以看出文中方法分割的區(qū)域更加精確，標(biāo)簽中腫瘤區(qū)域更加相似；(3)由于準(zhǔn)確率和召回率是互相影響的，高準(zhǔn)確率會(huì)造成低召回率，高召回率會(huì)造成低準(zhǔn)確率，因此，為了在保證準(zhǔn)確率的情況下提升召回率，使用F度量進(jìn)行衡量。高于其他兩種方法的F度量值也表明了文中模型能夠取得更好的分割結(jié)果。

4 結(jié)束語

提出了一種基于優(yōu)化U-Net網(wǎng)絡(luò)的乳腺腫瘤區(qū)域分割新方法。首先對(duì)超聲圖像進(jìn)行高斯濾波處理以獲得更強(qiáng)的特征提取能力，然后以預(yù)處理后的圖像和掩膜圖像作為輸入，使用加深網(wǎng)絡(luò)深度和添加隨機(jī)噪聲的方式提升了模型的分割精度，分割結(jié)果有了更多的細(xì)節(jié)表達(dá)。在測(cè)試集上的實(shí)驗(yàn)表明，改進(jìn)后的U-Net網(wǎng)絡(luò)有更好的分割結(jié)果。針對(duì)腫瘤部位去對(duì)比不同分割方法，結(jié)果表明該分割方法具有更高的精度和準(zhǔn)確率。