融合深度殘差結(jié)構(gòu)的Dense-UNet腦腫瘤分割

王 瑩，朱家明，徐婷宜，宋 梟

(揚(yáng)州大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州 225009)

0 引言

醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像處理分析的重要環(huán)節(jié)，旨在分割出某些特定的區(qū)域，是臨床醫(yī)療和病理研究的可靠依據(jù)，例如器官分割、腫瘤分割等。腫瘤分割由于個體間形狀、紋理等差異大，難以用直接匹配的方式找到它們之間的共性[1]。與自然圖像分割相比，腦腫瘤分割的限制在于圖像采集過程中的技術(shù)限制和不可控因素造成的偽影和噪聲。磁共振成像(Magnetic Resonance Imaging,MRI)是根據(jù)人體內(nèi)部在不同環(huán)境下釋放的能量衰減，并由電磁波獲取構(gòu)建圖像，相比于計(jì)算機(jī)斷層掃描(Computed Tomography，CT)成像,腦部MRI圖像的對比度更高[2]，并且保證了相鄰切片之間腦組織的信息連續(xù)性，使得三維卷積可以同時整合矢狀面、軸面和冠狀面的信息，為深度學(xué)習(xí)實(shí)現(xiàn)醫(yī)學(xué)圖像分割提供了可能[3]。但腦部腫瘤MRI中,通常是根據(jù)成像的像素灰度變化區(qū)分腫瘤邊界與其他正常組織，醫(yī)生很難通過肉眼判斷出圖像上是灰度級漸變區(qū)域還是邊界雙輪廓范圍[4]。

二維腦部腫瘤傳統(tǒng)分割方式雖然取得了不錯的成績，但在分割過程中需要人工干預(yù)，導(dǎo)致分割效率不高。近年來，卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割中被廣泛應(yīng)用，Pereira等[5]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的腦部腫瘤分割，在分割過程中不需要人為輔助，可以直接進(jìn)行特征提取。Simonyan等[6]使用3×3的小卷積核來構(gòu)建更深的卷積網(wǎng)絡(luò)，通過堆疊更多的卷積層獲得與大核卷積相同的感知域。Vittikop等[7]將UNet用于MRI腦部圖像分割，并結(jié)合高分辨率圖像和類識別信息，使分割結(jié)果達(dá)到了較高的水平。Mckinley等[8]使用擴(kuò)張卷積增加感受域，使梯度可以很容易地傳遞到深層網(wǎng)絡(luò)。Wang等[9]研究了測試時間增加技術(shù)，通過測試不同的網(wǎng)絡(luò)結(jié)構(gòu)證明了它可以提高腦腫瘤分割的整體性能。

以上提出的分割方法在特征提取過程中多以單一尺寸的卷積操作為主，且對圖像特征直接拼接，使得信息冗余，各層之間聯(lián)系不夠緊密，難以獲得上下文信息，導(dǎo)致在面對復(fù)雜的腦部腫瘤分割情況時特征提取不準(zhǔn)確。針對上述方法單一連接造成的過擬合等問題，本文將UNet的跳躍連接改為密集連接，加強(qiáng)淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)的特征融合，加快網(wǎng)絡(luò)的收斂速度。同時，采用含有注意力機(jī)制和軟閾值化函數(shù)的深度殘差網(wǎng)絡(luò)作為Dense-UNet子模塊[10]，解決了MRI圖像中不可避免地出現(xiàn)運(yùn)動偽影和噪聲等現(xiàn)象[11]，提高了分割精度。

1 相關(guān)算法

1.1 密集跳躍連接

跳躍連接(DenseNet)有助于恢復(fù)完整空間分辨率的能力，從而使全卷積的方法適用于語義分割[12]。傳統(tǒng)的L層神經(jīng)網(wǎng)絡(luò)只有L個連接，DenseNet的結(jié)構(gòu)則有L×(L+1)/2個連接，每層都和前面的所有層進(jìn)行連接。對于每個圖層，所有前面圖層的要素圖都被視為單獨(dú)的輸入，而它們自己的要素圖則作為輸入傳遞給所有后續(xù)圖層。因此，DenseNet的正向傳播還包括跨層連接：

xl=Hl([x0,x1,…,xl]),

(1)

式中，Hl為l層的非線性變換；[x0,x1,…,xl]為所有先前層的輸出的串聯(lián)。將跨層連接應(yīng)用到UNet網(wǎng)絡(luò)中來剔除冗余的特征從而減少參數(shù)量，且低級特征和高級特征之間的信息流使網(wǎng)絡(luò)獲得了更好的性能。DenseNet解決了深度學(xué)習(xí)梯度消失問題，加強(qiáng)了特征的連接和傳播，減少重復(fù)使用特征和計(jì)算量，提高了網(wǎng)絡(luò)效率[13]，其結(jié)構(gòu)如圖1所示。

圖1 密集跳躍連接結(jié)構(gòu)Fig.1 Structure of dense skip connections

1.2 標(biāo)準(zhǔn)化層

批量歸一化(Batch Normalization，BN)加速了模型訓(xùn)練，提升了模型效果[14]。由于在訓(xùn)練批次的基礎(chǔ)上進(jìn)行中間統(tǒng)計(jì)量計(jì)算，會使得BN層在訓(xùn)練過程中過分依賴訓(xùn)練批次，導(dǎo)致標(biāo)準(zhǔn)化，使訓(xùn)練和測試結(jié)果產(chǎn)生偏差。批次較小時，模型訓(xùn)練效果差。訓(xùn)練模型受限于硬件設(shè)備，難以采用較大的訓(xùn)練批次。

本文采用Filter Denseponse Normalization (FRN)作為標(biāo)準(zhǔn)化層[15]，F(xiàn)RN層包含歸一化層和激活層，其結(jié)構(gòu)如圖2所示。該結(jié)構(gòu)消除了模型訓(xùn)練時對訓(xùn)練批次的依賴，而且對于較大的模型性能有較大優(yōu)勢。在訓(xùn)練模型的過程中，F(xiàn)RN層之后需要進(jìn)行平移與縮放。本文采用閾值化激活函數(shù)TLU，不僅消除去均值后結(jié)果任意偏移0值情況，還避免FRN后接ReLU激活層產(chǎn)生更多0值現(xiàn)象，其表達(dá)式為：

z=max(y,τ)=ReLU(y-τ)+t，

(2)

式中，y,τ是2個輸入；t是一個可學(xué)習(xí)的參數(shù)。閾值化函數(shù)結(jié)構(gòu)如圖2所示。

圖2 閾值化激活函數(shù)結(jié)構(gòu)Fig.2 Structure of the thresholding activation function

若輸入B={x1,x2,…,xm}是尺寸為m的小批量處理上的x值[16]，則小批量的平均值及小批量的方差為：

(3)

(4)

其歸一化為：

(5)

式中，ε為常數(shù)。

輸出yi為：

(6)

式中，γ,β為學(xué)習(xí)得來的權(quán)重參數(shù)。

2 本文模型

2.1 殘差模塊

本文使用的深度殘差網(wǎng)絡(luò)是在原有的殘差網(wǎng)絡(luò)中融入了軟閾值函數(shù)和注意力機(jī)制，其原理是通過注意力機(jī)制注意到不必要的特征，利用軟閾值函數(shù)將其置0，這種方式有助于神經(jīng)網(wǎng)絡(luò)從圖像中提取有效特征[17]。

軟閾值化是選定某個閾值，該閾值應(yīng)大于0且小于等于輸入的最大值，否則輸出會全部為0。將圖像中絕對值與其進(jìn)行對比，將絕對值小于該閾值特征置0，則剩余特征值向0收縮[18]，表示為：

(7)

對其求導(dǎo)為：

(8)

由式(7)可知，軟閾值化的導(dǎo)數(shù)非0即1，幫助網(wǎng)絡(luò)消除噪聲影響的同時，減小了模型訓(xùn)練的梯度消失和梯度彌散。

本文將SENet注意力機(jī)制融入到殘差網(wǎng)絡(luò)中來增加網(wǎng)絡(luò)的權(quán)重。它通過一個小型網(wǎng)絡(luò)得到一組權(quán)重，再將此權(quán)重與各個通道的特征值相乘來改變特征的大小。簡單來說就是先評估各個特征通道的重要程度，然后根據(jù)其重要程度賦予各個特征不同的權(quán)重，使得每個樣本的權(quán)值系數(shù)都是根據(jù)網(wǎng)絡(luò)學(xué)習(xí)得到的，所以每個樣本都有自己獨(dú)特的權(quán)值系數(shù),其結(jié)構(gòu)如圖3所示。

圖3 注意力機(jī)制結(jié)構(gòu)Fig.3 Structure of attention mechanism

2.2 殘差收縮網(wǎng)絡(luò)

本文采用了多層殘差，每層中包含一個3×3的卷積層、一個標(biāo)準(zhǔn)化層和一個激活函數(shù)。本文在原來DenseNet的基礎(chǔ)上添加了注意力機(jī)制和軟閾值函數(shù)，提高了特征采集率，有效地防止了網(wǎng)絡(luò)退化,其結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)殘差模塊結(jié)構(gòu)Fig.4 Improved residual module structure

2.3 分割網(wǎng)絡(luò)

本文將原始卷積模塊改進(jìn)為殘差模塊和密集跳躍連接，采用端對端的網(wǎng)絡(luò)結(jié)構(gòu)[19]。編碼器由多個殘差模塊和最大池化層組成，用于提取特征和降維[20]。每個殘差塊包含2個3×3的卷積層、2個FRN、1個注意力機(jī)制、1個軟閾值函數(shù)和2個TLU連接。最大池化層為2×2，對特定維度進(jìn)行池化。跳躍連接改進(jìn)為密集跳躍連接，其中包括長連接和短連接。長連接連接同一行首尾的殘差塊，短連接連接同一行中間部分的殘差塊。密集跳躍連接能防止訓(xùn)練過程中特征的丟失，也有助于深層信息和淺層信息的融合。解碼器部分由殘差塊和上采樣層組成，卷積塊和編碼器相同，用于圖像的重建和尺度恢復(fù)。上采樣層的尺寸也為2×2，可當(dāng)成是最大池化層的反變換。最后使用1×1的卷積層，將向量映射到所需的類。網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure

本文改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)了殘差模塊，解決了傳統(tǒng)網(wǎng)絡(luò)的網(wǎng)絡(luò)退化問題，有助于抑制噪聲提取圖像特征。跳躍連接改為密集跳躍連接有助于淺層信息和深層信息的傳遞，減小編碼路徑和解碼路徑特征語義之間的差距，使神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)具有更少的參數(shù)，防止性能降低。腦腫瘤圖像分割流程如下。

腦腫瘤MRI分割流程輸入:BraTS2018數(shù)據(jù)集D,遮罩?jǐn)?shù)組M,輸入圖像為x(i,j)in,i表示行,j表示列,語義分割標(biāo)定xseg,φ表示下采樣,φ-1表示上采樣,學(xué)習(xí)率α=10-3輸出:腦腫瘤分割圖等流程:1.從數(shù)據(jù)集D中隨機(jī)提取樣本圖片xex,對圖片進(jìn)行數(shù)據(jù)增強(qiáng),大小設(shè)定為160 pixel×160 pixel,獲得輸入樣本x(i,j)in2.把x(i,j)in作為輸入,送入含有注意力機(jī)制和軟閾值化函數(shù)的殘差塊,獲得不同尺寸的輸出x(i,j)out3.對每1行第1個模塊先實(shí)行下采樣,再進(jìn)行上采樣輸出為x(i,1)out=φ-1φ(x(i-1,1)out)[],i>14.當(dāng) i>1,j>1時,x(i,j)out=φ-1(x(i,j)in)5.對于整體網(wǎng)絡(luò)來說x(i,j)in=x(i,j-1)out+x(i,j-2)out+…+x(i,j-n)out+x(i+1,j-1)out,(n

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及環(huán)境

本文使用BraTS2018中的部分?jǐn)?shù)據(jù)集，該數(shù)據(jù)集包含245名高級別膠質(zhì)瘤(HGG)患者M(jìn)RI圖像和80名低級別膠質(zhì)瘤(LGG)患者的MRI圖像，每名患者包含配準(zhǔn)后的4種模態(tài)分割和真實(shí)分割的標(biāo)簽圖像，每個模態(tài)和真實(shí)分割標(biāo)簽大小均為240 pixel×240 pixel×155 pixel。每組數(shù)據(jù)均有4個標(biāo)簽分別為增強(qiáng)腫瘤、水腫、壞死和背景。將實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行剪裁、統(tǒng)一化和剔除無病灶切片等預(yù)處理之后，圖像的尺寸為160 pixel×160 pixel，并用翻轉(zhuǎn)、旋轉(zhuǎn)和添加噪聲等方式進(jìn)行數(shù)據(jù)增強(qiáng)。本文用k折交叉驗(yàn)證避免數(shù)據(jù)偏差，將180名HGG患者圖像和65名LGG患者圖像作為訓(xùn)練樣本，65名HGG患者圖像和15名LGG患者圖像作為驗(yàn)證樣本。為了評估的目的，注釋被合并成3個二元子區(qū)域，包括全腫瘤區(qū)域(WT)、腫瘤核心區(qū)域(TC)和增強(qiáng)腫瘤區(qū)域(ET)。腦腫瘤部分?jǐn)?shù)據(jù)集如圖6所示。

本實(shí)驗(yàn)在個人計(jì)算機(jī)Windows10操作系統(tǒng)上搭建實(shí)驗(yàn)平臺，使用PyTorch框架訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練進(jìn)行了80個時期，最小批次為8。學(xué)習(xí)率為0.000 1，采用Adam優(yōu)化算法,在解碼階段使用批量隨機(jī)梯度下降法優(yōu)化。

(a) FLair圖像

(c) T1ce圖像

(d) T2圖像

(e) 真實(shí)標(biāo)簽圖像

3.2 評價指標(biāo)

本文用Dice系數(shù)、陽性預(yù)測值(PPV)、敏感度(Sensitivity)和Hausdorff距離作為評價指標(biāo)。Dice,PPV和Sensitivity用來評估真實(shí)值和預(yù)測結(jié)果二者內(nèi)部填充像素的重疊情況，表示為：

(9)

(10)

(11)

式中，TP為真陽性；TN為真陰性；FP為假陽性；FN為假陰性。

Hausdorff距離用來計(jì)算真實(shí)邊界值和預(yù)測區(qū)域邊界的距離：

Haus(T,P)=max[supt∈Tinfp∈Pd(t,p),supp∈Pinft∈Td(t,p)],

(12)

式中，sup代表上確界；inf代表下確界；T為人工標(biāo)注的腫瘤區(qū)域；t為在T上的點(diǎn)；P為預(yù)測的腫瘤區(qū)域；p為在P上的點(diǎn)；d(t,p)表示用來計(jì)算兩點(diǎn)之間距離的函數(shù)。

3.3 結(jié)果分析

網(wǎng)絡(luò)訓(xùn)練輸出為每一位患者的分割圖，包含整體腫瘤區(qū)域、壞死區(qū)域、增強(qiáng)腫瘤區(qū)域和背景區(qū)域4類分割標(biāo)簽。HGG分割圖如圖7所示，LGG患者分割圖如圖8所示。

(a) FLair

(b) T1

(c) T1ce

(d) T2

(e) UNet

(f) Dense-UNet

(g) 本文

(h) 真實(shí)

(a) FLair

(b) T1

(c) T1ce

(d) T2

(e) UNet

(f) Dense-UNet

(g) 本文

(h) 真實(shí)

從圖7和圖8中可以看出,UNet網(wǎng)絡(luò)能實(shí)現(xiàn)分割背景和分割任務(wù)的要求，但壞死區(qū)域存在被增強(qiáng)區(qū)域覆蓋的現(xiàn)象，整體腫瘤區(qū)域邊緣模糊，有部分腫瘤區(qū)域分割錯誤，還有一些孤立的散點(diǎn)，分割效果一般。Dense-UNet分割效果比UNet效果要好，邊緣部分分割效果明顯比UNet分割更精細(xì)，錯誤分割率降低，但是增強(qiáng)區(qū)仍有部分粘連，而且存在一些過分分割現(xiàn)象。本文模型的分割效果接近真實(shí)分割，整體腫瘤區(qū)域較為完整地從背景區(qū)域分割出來。腫瘤中間的壞死區(qū)域與增強(qiáng)區(qū)域和水腫區(qū)域不存在粘連情況，特征信息也未丟失，能有效地分出邊界區(qū)域。在最難分割的增強(qiáng)區(qū)域能夠分割出點(diǎn)狀、不連續(xù)和肉眼難以分割的細(xì)小腫瘤。3種模型分割的評估結(jié)果如表1所示。

表1 3種模型腫瘤分割結(jié)果評價指標(biāo)

由表1可以看出，Dense-UNet的分割性能指標(biāo)較原有的UNet模型均有所提高，這由于Dense-UNet網(wǎng)絡(luò)中具有密集結(jié)構(gòu)，所以網(wǎng)絡(luò)結(jié)構(gòu)更加深入聯(lián)合性更強(qiáng)，總體分割效果明顯優(yōu)于UNet網(wǎng)絡(luò)。Dice和PPV中WT，TC和ET值均有較小范圍的提升，而Sensitivity中整個WT和ET的值基本沒變，說明仍有信息特征在分割過程中丟失，分割效果仍然不佳。在Hausdorff中，評價指標(biāo)數(shù)值逐漸變小，說明真實(shí)邊界與預(yù)測邊界的距離縮小。本文算法在分割性能指標(biāo)Dice，PPV和Sensitivity下的WT和TC較Dense-UNet分別提高0.01，0.02，0.03左右，ET分別提高0.02，0.08，0.05左右。Hausdorff評價指標(biāo)下的3個指標(biāo)均減小0.1左右，說明本文在各項(xiàng)性能上都有明顯的進(jìn)步。本文網(wǎng)絡(luò)在Dense-UNet的基礎(chǔ)上將編碼器和解碼器部分改為深度殘差模塊，使得網(wǎng)絡(luò)退化問題消失，在分割過程中網(wǎng)絡(luò)能充分提取特征信息并完整恢復(fù)。密集跳躍連接有助于減少信息丟失問題，上下文信息的傳輸更密切。分割結(jié)果顯示W(wǎng)T,TC和ET的Dice評分分別為0.846,0.813,0.804，在準(zhǔn)確率和敏感度方面也明顯優(yōu)于其他算法。

圖9選取了圖像中血管的分叉處和細(xì)小血管的局部區(qū)域進(jìn)行放大對比，虛線框?yàn)楸竟?jié)算法對微小血管分割的對比情況。將本節(jié)分割結(jié)果圖9(d),(h)和真實(shí)分割圖像(a),(e)，UNet分割圖像(b),(f)以及Dense-UNet分割圖像(c),(g)進(jìn)行對比。

(a) 真實(shí)分割

(b) UNet分割

(c) Dense-UNet分割

(d) 本章分割

(e) 真實(shí)分割細(xì)節(jié)

(f) UNet分割細(xì)節(jié)

(g) Dense-UNet分割細(xì)節(jié)

(h) 本章分割細(xì)節(jié)

由圖9可直觀看出，原始的UNet分割不同區(qū)域時邊界模糊，整個WT，ET兩部分區(qū)域粘連，邊界平滑分割不精確；Dense-UNet基本能把不同目標(biāo)區(qū)域劃分開，但仍存在區(qū)域識別錯誤現(xiàn)象，將背景區(qū)域識別為WT，在臨床診斷中會有很大的影響；而本小節(jié)算法分割的圖像，WT,TC和ET三部分清晰分明，與手動分割結(jié)果大致相似，輪廓相對較為清晰，具有良好的分割效果。

為了進(jìn)一步表現(xiàn)本文算法的優(yōu)越性，將本文算法與其他方法比較，如表2所示。

表2 不同腫瘤的分割評價指標(biāo)

其中,Dice指標(biāo)結(jié)果達(dá)到0.846 3,0.813 0,0.804 2,Hausdorff指標(biāo)結(jié)果達(dá)到2.544 8，1.607 7，2.646 9。與其他方法相比，Dice指標(biāo)提高了0.01～0.7，Hausdorff降低了0.1～0.8，整體分割性能較好。

4 結(jié)束語

本文在3種不同形式的UNet結(jié)構(gòu)上進(jìn)行實(shí)驗(yàn)對比研究，發(fā)現(xiàn)UNet網(wǎng)絡(luò)分割過程中出現(xiàn)上下文信息缺失，于是在網(wǎng)絡(luò)中加入密集跳躍連接，完整提取了上下文信息并將信息還原[21]。將深度殘差收縮結(jié)構(gòu)融入到Dense-UNet網(wǎng)絡(luò)中,從而改善了原來結(jié)構(gòu)存在的過擬合情況[22]。從實(shí)驗(yàn)結(jié)果可知，本文提出的網(wǎng)絡(luò)在分割過程中識別度更加準(zhǔn)確，泛化能力也更強(qiáng)，能較為準(zhǔn)確地進(jìn)行圖像分割工作。但同時本文算法的計(jì)算量較大，檢測時間比較長，還需要進(jìn)一步提高訓(xùn)練速度。