一種用于腦腫瘤分割的改進(jìn)U 形網(wǎng)絡(luò)

黃敬騰，李 鏘，關(guān) 欣

天津大學(xué)微電子學(xué)院，天津 300072

神經(jīng)膠質(zhì)瘤作為一種致死率較高的原發(fā)性腦腫瘤，對人們的生產(chǎn)和生活產(chǎn)生嚴(yán)重的影響.在臨床中，醫(yī)生常使用磁共振成像（Magnetic resonance imaging，MRI）觀察腫瘤的位置、大小和形態(tài)，磁共振成像作為一種成像技術(shù)在腫瘤診斷、監(jiān)測和分割方面發(fā)揮著重要作用.國際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)協(xié)會針對腦部腫瘤問題每年舉辦一次腦部腫瘤分割挑戰(zhàn)賽（Brain tumor segmentation，BraTS）.BraTS 的腦腫瘤磁共振圖像有四個(gè)序列模態(tài)，分別為T1 加權(quán)像（T1 weighted image，T1）、T1ce 像（Contrast-enhanced T1-weighted image1，T1ce）、T2 加權(quán)像（T2 weighted image，T2）和液體衰減反轉(zhuǎn)恢復(fù)序列（Fluid attenuated inversion recovery，F(xiàn)lair），這些圖像模態(tài)具備一定的軟組織對比度和杰出的功能成像能力，通過多模態(tài)融合方法可判斷出膠質(zhì)瘤分割的區(qū)域.

神經(jīng)膠質(zhì)瘤分割傳統(tǒng)上依賴具備豐富經(jīng)驗(yàn)的醫(yī)師，這不僅耗時(shí)耗力，也會因醫(yī)師的水平不同、主觀因素產(chǎn)生差異.隨著技術(shù)的發(fā)展，膠質(zhì)瘤等醫(yī)學(xué)疾病的半自動分割、自動分割方法都已經(jīng)發(fā)展起來并作為臨床應(yīng)用的參考工具，其中，隨機(jī)森林（Random forest）和支持向量機(jī)（Support vector machine）等機(jī)器學(xué)習(xí)方法[1-4]有效提高了醫(yī)學(xué)圖像分割的分割水平和工作效率，深度學(xué)習(xí)方法[5-6]的發(fā)展更是進(jìn)一步推動了包括腦腫瘤圖像分割在內(nèi)的各類醫(yī)學(xué)圖像分割的發(fā)展.

腦腫瘤圖像分割任務(wù)的挑戰(zhàn)主要在于膠質(zhì)瘤和它的子區(qū)域（水腫、增強(qiáng)腫瘤區(qū)域、壞疽和健康組織）在外觀、位置和形狀邊界上的多樣性和模糊性導(dǎo)致的復(fù)雜性.針對這一復(fù)雜任務(wù)，目前醫(yī)學(xué)上對圖像進(jìn)行分割的方法均基于編碼-譯碼器結(jié)構(gòu)設(shè)計(jì)自動化分割網(wǎng)絡(luò)，并使用跳躍連接補(bǔ)充細(xì)節(jié)特征，但常見跳躍連接補(bǔ)充的特征圖為編碼器特征提取后的輸出特征圖，忽略了此過程中的原始細(xì)節(jié)信息丟失問題.在卷積神經(jīng)網(wǎng)絡(luò)中，通道數(shù)代表特征數(shù)，并影響著網(wǎng)絡(luò)的性能，因此對于復(fù)雜的腦腫瘤圖像分割任務(wù)而言，常存在著特征不足的問題.基于此，本文提出跳躍連接前置的構(gòu)想，即令編碼器的輸入特征圖而非輸出特征圖連接到同分辨率特征圖對應(yīng)的解碼器，并設(shè)計(jì)消融實(shí)驗(yàn)驗(yàn)證構(gòu)想的有效性和泛化性.此外，使用倒殘差結(jié)構(gòu)設(shè)計(jì)編碼器和解碼器模塊，提出前置跳躍連接倒殘差U 形網(wǎng)絡(luò)（FS Inv-Res U-Net），以實(shí)現(xiàn)腦腫瘤的精確分割.

1 腦腫瘤分割的方法

1.1 腦腫瘤分割

利用計(jì)算機(jī)輔助手段分割腦腫瘤圖像是當(dāng)今深度學(xué)習(xí)的一個(gè)研究點(diǎn)，除了常見的基礎(chǔ)網(wǎng)絡(luò)，研究者采用多種新型方法對腦腫瘤區(qū)域進(jìn)行分割.Ali 等[7]基于全卷積網(wǎng)絡(luò)（Fully convolutional network，F(xiàn)CN）提出Kronecker 卷積用于解決擴(kuò)張卷積丟失像素點(diǎn)的問題.Cui 等[8]采用生成對抗網(wǎng)絡(luò)的思想，提出深度學(xué)習(xí)中新型的神經(jīng)網(wǎng)絡(luò)自動分割算法進(jìn)行語義分割，創(chuàng)新性地提出輸入數(shù)據(jù)的自動編碼器學(xué)習(xí)，有效提升了分割性能.Cheng 等[9]提出了一種新的樣本標(biāo)簽校正和標(biāo)簽細(xì)化方法，將其引入到三維生成對抗網(wǎng)絡(luò).Rahimpour 等[10]則利用知識蒸餾方法實(shí)現(xiàn)腦腫瘤圖像分割，探索通過跨模態(tài)蒸餾方法提高基于 T1 加權(quán) MRI 的腦腫瘤分割性能的能力.這些方法為腦腫瘤分割方法拓寬了研究思路，具有一定參考意義.

此外，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行級聯(lián)也是一種常見方法[11]，級聯(lián)網(wǎng)絡(luò)常使用第一級網(wǎng)絡(luò)對腦腫瘤圖像進(jìn)行粗分割獲得粗略分割效果，粗分割結(jié)果作為第二級網(wǎng)絡(luò)的輸入進(jìn)行細(xì)分割并獲得精細(xì)化分割效果.Zhang 等[12]提出多步級聯(lián)的方式，利用腦腫瘤區(qū)域之間的包含關(guān)系，單一網(wǎng)絡(luò)針對腦腫瘤的特定區(qū)域進(jìn)行分割，并將多個(gè)單一網(wǎng)絡(luò)進(jìn)行級聯(lián)，但是級聯(lián)方式大幅提高了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量，增加了網(wǎng)絡(luò)的復(fù)雜度，也并未進(jìn)一步考慮到跳躍連接（Skip connection）在分割網(wǎng)絡(luò)中的重要性.

1.2 跳躍連接和倒殘差結(jié)構(gòu)

3D U-Net[13]在編碼階段和解碼階段分別提取圖像特征和恢復(fù)圖像，在兩者之間采用跳躍連接為編碼器補(bǔ)充原始信息，通過跳躍連接，可將先前得到的一部分特征圖按通道級聯(lián)或相加而達(dá)到特征重用的效果.Huang 等[14]提出一種密集連接方法，使用跳躍連接密集地將特征圖進(jìn)行連接，這一思想采納了跳躍連接和殘差結(jié)構(gòu)的長處，使用最少的參數(shù)加強(qiáng)了特征圖之間的重用和傳遞.Zhang等[12]設(shè)計(jì)了一個(gè)塊級跳躍連接的跨級聯(lián) V-Net，在級聯(lián)V-Net 的兩個(gè)編碼器之間、兩個(gè)解碼器之間設(shè)置跳躍連接以實(shí)現(xiàn)特征重用，提高了分割效果.Wu 等[15]提出一個(gè)跳躍連接U-Net 網(wǎng)絡(luò)，將下采樣之后的原始特征圖與同分辨率的解碼器特征圖相加，通過添加跳躍連接捕獲了更多特征并收斂到更好的最優(yōu)值.Ma 等[16]提出一個(gè)用于遙感圖像分割的MSCA-Net，將空洞卷積和跳躍連接融入到U-Net，與U-Net++[17]不同的是，U-Net++在跳躍連接處使用合適的卷積層以實(shí)現(xiàn)密集連接，而MSCANet 則利用下采樣實(shí)現(xiàn)密集連接.

跳躍連接在3D U-Net 中發(fā)揮著重要的作用，將低分辨率特征輸入到高級別卷積層以補(bǔ)充細(xì)節(jié)信息，有利于處理復(fù)雜邊界挑戰(zhàn)的醫(yī)學(xué)圖像分割任務(wù).但在上述的網(wǎng)絡(luò)設(shè)計(jì)中，特征圖經(jīng)過每層編碼器特征提取后，通過跳躍連接補(bǔ)充到對應(yīng)解碼器，其補(bǔ)充的特征細(xì)節(jié)相較原始特征已有偏差，這不利于解碼器的恢復(fù)圖像細(xì)節(jié)；同時(shí)密集的跳躍連接雖然不增加網(wǎng)絡(luò)參數(shù)量，卻大幅地提高網(wǎng)絡(luò)的計(jì)算負(fù)載，增加了計(jì)算的時(shí)間成本.

為了緩解梯度消失問題，He 等[18]提出殘差結(jié)構(gòu)，通過創(chuàng)建短連接，使梯度可以不間斷地流動，從而允許參數(shù)在網(wǎng)絡(luò)深處更新.Sandler 等[19]利用殘差思想提出倒殘差結(jié)構(gòu)，通過通道寬度的拓展實(shí)現(xiàn)網(wǎng)絡(luò)性能的提升.在此基礎(chǔ)上，Yu 等[20]使用倒殘差結(jié)構(gòu)代替池化層以提升信息提取能力.Zhao等[21]在倒殘差結(jié)構(gòu)基礎(chǔ)上提出多尺度倒殘差卷積網(wǎng)絡(luò)以學(xué)習(xí)不同尺度的故障特征，保證故障特征提取的完整性.Zhang 等[22]提出深度倒殘差模塊以高維特征表示低維特征數(shù)據(jù)，從而緩解數(shù)據(jù)特征數(shù)量少的挑戰(zhàn).倒殘差結(jié)構(gòu)通過提升網(wǎng)絡(luò)寬度以實(shí)現(xiàn)充分學(xué)習(xí)和拓展特征圖信息，它不僅可以緩解梯度消失問題和網(wǎng)絡(luò)退化問題，也能夠彌補(bǔ)特征不足問題，實(shí)現(xiàn)網(wǎng)絡(luò)性能的大幅提升.

2 改進(jìn)網(wǎng)絡(luò)的設(shè)計(jì)

在醫(yī)學(xué)圖像分割任務(wù)中，多數(shù)網(wǎng)絡(luò)[23-24]基于編碼-解碼器的思想設(shè)計(jì)，尤其是以3D U-Net 為基礎(chǔ)架構(gòu)進(jìn)行改進(jìn).在原始3D U-Net 的編碼階段，輸入圖像數(shù)據(jù)經(jīng)過三次下采樣降低輸入圖像尺寸，通過編碼器提取圖像特征，提取到的特征在解碼階段經(jīng)過三次上采樣和解碼器處理逐步恢復(fù)圖像.在相同尺寸大小的特征圖之間，使用跳躍連接補(bǔ)充原始圖像信息，但是傳統(tǒng)3D U-Net 并未進(jìn)一步考慮原始圖像細(xì)節(jié)的補(bǔ)充，為此本文提出前置跳躍連接并設(shè)計(jì)了前置跳躍連接倒殘差U 形網(wǎng)絡(luò)結(jié)構(gòu)（Front-skip connection inverted residual U-Net），通過跳躍連接將每層編碼器的輸入特征圖連接至對應(yīng)解碼器.

2.1 FS Inv-Res U-Net 架構(gòu)圖

本文設(shè)計(jì)提出的前置跳躍連接倒殘差U 形網(wǎng)絡(luò)FS Inv-Res U-Net 如圖1 所示.

圖1 前置跳躍連接倒殘差U 形網(wǎng)絡(luò)的架構(gòu)圖Fig. 1 Architecture of the front-skip connection inverted residual U-shaped network

FS Inv-Res U-Net 網(wǎng)絡(luò)共設(shè)計(jì)了4 次下采樣和4 次上采樣，在編碼器和解碼器之間使用了前置跳躍連接進(jìn)一步補(bǔ)充原始細(xì)節(jié)，同時(shí)分別設(shè)計(jì)了下采樣卷積模塊和編碼器模塊，上采樣卷積模塊和解碼器模塊.在編碼階段，輸入特征圖經(jīng)下采樣模塊處理后尺寸逐步降低，對應(yīng)的特征圖數(shù)量加倍；同理，在解碼階段，輸入特征圖經(jīng)上采樣模塊處理后逐步恢復(fù)相應(yīng)的尺寸大小，特征圖數(shù)量經(jīng)解碼器模塊處理后減小，最后特征圖經(jīng)1×1×1 卷積和Softmax 函數(shù)處理后輸出.

2.2 前置跳躍連接

在3D U-Net 設(shè)計(jì)中，特征圖隨著每一層的卷積、正則化和激活函數(shù)處理之后，其含有的細(xì)節(jié)信息與初始的細(xì)節(jié)信息都會有所偏差.對于跳躍連接而言，其設(shè)計(jì)本質(zhì)是將原始特征的細(xì)節(jié)信息補(bǔ)充到對應(yīng)解碼器，即在解碼器階段，通過跳躍連接補(bǔ)充的特征圖越原始，解碼器越容易達(dá)到更優(yōu)的分割效果，因此提出前置跳躍連接，將每一層編碼器獲得的最原始特征圖以跳躍連接的方式補(bǔ)充到對應(yīng)同分辨率編碼器.

DenseNet、3D U-Net 等傳統(tǒng)方式通過使用下采樣或上采樣方式調(diào)整到相同大小的特征圖分辨率，最終達(dá)到密集連接的效果.不同于這種密集連接方式，前置跳躍連接發(fā)生在同分辨率尺寸的特征圖之間，在不增加網(wǎng)絡(luò)模型復(fù)雜度的前提下通過對連接起點(diǎn)的調(diào)整以達(dá)到提高網(wǎng)絡(luò)性能的提升.

2.3 倒殘差模塊

本文設(shè)計(jì)的倒殘差模塊如圖2 所示.在FS Inv-Res U-Net 編碼器階段，輸入到編碼器模塊的特征圖首先經(jīng)3×3×3 卷積模塊提取特征，之后經(jīng)過跨卡同步歸一化和ReLU 激活函數(shù)處理，得到結(jié)果后重復(fù)上述處理.

圖2 倒殘差模塊.（a）倒殘差編碼器模塊;（b）倒殘差解碼器模塊.Fig. 2 Encoder and decoder modules: (a) inverted residual encoder module;(b) inverted residual decoder module

需要注意的是，第2 個(gè)的3×3×3 卷積輸出通道數(shù)是輸入通道數(shù)的3 倍，這樣將輸入特征圖以高維特征表示可以實(shí)現(xiàn)特征信息的拓展.經(jīng)過學(xué)習(xí)和提取高維特征之后，第3 個(gè)3×3×3 卷積將倒殘差模塊的輸出通道數(shù)恢復(fù)到模塊輸入通道數(shù)，也同樣采用跨卡同步歸一化和ReLU 激活函數(shù)處理.與此同時(shí)，倒殘差編碼器模塊直接使用了短跳躍連接以實(shí)現(xiàn)恒等映射.

倒殘差解碼器模塊也有類似處理過程，但因輸入和輸出通道數(shù)不同，解碼器模塊使用了1×1×1 卷積實(shí)現(xiàn)恒等映射.由于殘差結(jié)構(gòu)使用的是先降維后升維的“瓶頸形”設(shè)計(jì)思想，而本文采用的是先升維后降維的“紡錘形”設(shè)計(jì)思想，故而稱其為倒殘差模塊.

2.4 損失函數(shù)

對于三維磁共振圖像的腦腫瘤分割任務(wù)，待分割的區(qū)域僅占整個(gè)輸入空間的一小部分，這種目標(biāo)區(qū)域和背景區(qū)域的分布占比不平衡問題，也影響著分割網(wǎng)絡(luò)的性能.

為了解決目標(biāo)區(qū)域和背景區(qū)域占比不平衡的問題，廣義損失函數(shù)（Generalized dice loss，GDL)[25]通過引入權(quán)重改善了Dice loss 對檢測小目標(biāo)不利的問題.

式中：wl為每類的權(quán)重，pln為預(yù)測第l類中體素n的值，tln則為相應(yīng)的真實(shí)標(biāo)注值，L和N分別為類別總數(shù)和體素總數(shù).

3 結(jié)果與討論

3.1 實(shí)驗(yàn)數(shù)據(jù)

基于MICCAI 腦腫瘤分割比賽BraTS2018 和BraTS2019[26-27]的訓(xùn)練集，進(jìn)行腦腫瘤分割網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)，將學(xué)習(xí)到的網(wǎng)絡(luò)參數(shù)用于處理不含真值的BraTS2018 和BraTS2019 驗(yàn)證集，并把分割好的結(jié)果上傳到公開網(wǎng)站CBICA Image Processing Portal 進(jìn)行驗(yàn)證，驗(yàn)證結(jié)果按區(qū)域分為增強(qiáng)型腫瘤(Enhanced tumor，ET)、全腫瘤(Whole tumor，WT)和腫瘤核心(Tumor core，TC)3 類.

BraTS2018 訓(xùn)練集共有285 個(gè)病例，其中210個(gè)HGG（High-grade glioma）病例和75 個(gè)LGG（Lowgrade glioma）病例，驗(yàn)證集共有66 個(gè)無真值病例.BraTS2019 訓(xùn)練集共有335 個(gè)病例，其中259 個(gè)HGG病例和76 個(gè)LGG 病例，驗(yàn)證集共有125 個(gè)無真值病例.每個(gè)病例有T1、T2、T1ce 和Flair 四個(gè)模態(tài),每個(gè)模態(tài)有155 張切片，一張切片的大小是240×240，在推斷時(shí)填充到160 張切片并將這四種模態(tài)的160 張切片作為三維數(shù)據(jù)整體輸入到網(wǎng)絡(luò)模型中，根據(jù)醫(yī)師標(biāo)定的標(biāo)簽作為真值對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和學(xué)習(xí)，腫瘤分割的標(biāo)簽包括背景（標(biāo)簽0）、壞死和非增強(qiáng)腫瘤（標(biāo)簽1）、瘤周水腫（標(biāo)簽2）和增強(qiáng)性腫瘤（標(biāo)簽4）.

3.2 實(shí)現(xiàn)細(xì)節(jié)

實(shí)驗(yàn)環(huán)境為CPU Intel? Core i9-9900X 3.5GHZ，Ubuntu16.04 操作系統(tǒng)，4 張GTX2080Ti（11GB）的顯卡.基于PyTorch 深度學(xué)習(xí)框架，設(shè)置Batchsize為8，最大迭代次數(shù)為900，采用He 初始化、ReLU激活函數(shù)和跨卡同步歸一化，并選擇Adam 優(yōu)化器進(jìn)行參數(shù)的迭代優(yōu)化，初試學(xué)習(xí)速率設(shè)置為10-3，并設(shè)置權(quán)重衰減為10-5，學(xué)習(xí)率隨著epoch 的增加而逐漸減?。╬oly 學(xué)習(xí)率衰減法）.

在訓(xùn)練網(wǎng)絡(luò)模型時(shí)，訓(xùn)練數(shù)據(jù)集被隨機(jī)裁剪為128×128×128 分辨率作為輸入數(shù)據(jù)，同時(shí)使用了以下的數(shù)據(jù)增強(qiáng)手段：以 0.5 的概率在軸向、冠狀和矢狀平面上隨機(jī)鏡像翻轉(zhuǎn)；在[-10°，+10°]范圍內(nèi)隨機(jī)旋轉(zhuǎn)和[0.9,1.1]范圍內(nèi)的隨機(jī)強(qiáng)度偏移.

3.3 評價(jià)指標(biāo)

從網(wǎng)絡(luò)分割精度考慮，采用多指標(biāo)綜合評判方法，分割精度方面采用BraTS 比賽評價(jià)指標(biāo)體系中的相似系數(shù)(Dice similarity coefficient)和豪斯多夫距離(Hausdorff95 distance).

式中：TP、FP 和FN 分別為真正例、假正例和假負(fù)例，相似系數(shù)表示實(shí)驗(yàn)分割結(jié)果與醫(yī)師標(biāo)定標(biāo)簽（真值，GT）的相似度，相似度越高則細(xì)分精度越好.

式中：P、T分別為網(wǎng)絡(luò)預(yù)測的腫瘤區(qū)和真實(shí)標(biāo)注區(qū)域的體素集，p、t分別為兩個(gè)體素集中的體素點(diǎn)，d(p,t)是兩個(gè)體素點(diǎn)的距離，sup 和inf 分別為取上限函數(shù)和取下限函數(shù).豪斯多夫距離表示分割結(jié)果與真值之間的最大距離，絕對值越小，分割效果越吻合.

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證前置跳躍連接的有效性和泛化性，本文采用3 個(gè)常見腦腫瘤分割網(wǎng)絡(luò)（DMF Net、HDC Net、3D U-Net）[13,23-24]，分別加入前置跳躍連接進(jìn)行改進(jìn)，并在BraTS2018 和BraTS2019 的兩個(gè)驗(yàn)證集上進(jìn)行消融實(shí)驗(yàn).在此基礎(chǔ)上，本文還設(shè)置了FS Inv-Res U-Net 的消融實(shí)驗(yàn).

3.4.1 前置跳躍連接

前置跳躍連接的消融實(shí)驗(yàn)如表1 所示.由Bra-TS2018 的消融實(shí)驗(yàn)可知，前置跳躍連接對3 個(gè)基礎(chǔ)網(wǎng)絡(luò)的多數(shù)性能指標(biāo)有提升，如ET、TC 區(qū)域的Dice 指標(biāo)，其中DMF Net+FS 在ET 區(qū)域的Dice 指標(biāo)提升了0.73%，3D U-Net+FS 在WT、TC 區(qū)域的Dice 指標(biāo)分別提升了約0.29%和1.17%，在ET、WT區(qū)域的豪斯多夫距離也有優(yōu)化效果.由BraTS2019的消融實(shí)驗(yàn)可知，在加入前置跳躍連接后，3 個(gè)網(wǎng)絡(luò)在ET 區(qū)域的Dice 指標(biāo)分別提升了0.21%、0.02%和0.49%；在WT 區(qū)域的Dice 指標(biāo)分別提升了0.07%、0.48%和0.43%；在TC 區(qū)域的Dice 指標(biāo)分別提升了0.26%、1.06%和0.78%，這充分表明前置跳躍連接的有效性和泛化性.尤其是3D U-Net+FS 在ET區(qū)域的Dice 指標(biāo)突破了78%，且3 個(gè)區(qū)域的平均Dice 值達(dá)到了最優(yōu)指標(biāo)的83.55%，遠(yuǎn)遠(yuǎn)超過同類的先進(jìn)網(wǎng)絡(luò).

表1 前置跳躍連接的消融實(shí)驗(yàn)Table 1 Ablation experiments of front-skip connections

圖3 展示的是前置跳躍連接的消融實(shí)驗(yàn)分割圖，采用BraTS19_CBICA_AUW_1 病例，三維坐標(biāo)是（80，131，77）.圖4 展示的是FS Inv-Res U-Net 的消融實(shí)驗(yàn)分割圖.如圖3 和圖4 的左3 列分割圖所示，在加入前置跳躍連接之后，各網(wǎng)絡(luò)都降低了分割圖中的分類錯(cuò)誤，也緩解了子區(qū)域大小與真值大小不一致的問題，這些分割圖表明前置跳躍連接的有效性與可泛化能力.

圖3 前置跳躍連接的消融實(shí)驗(yàn)（FS 表示前置跳躍連接，GT 表示標(biāo)準(zhǔn)真值，紅色箭頭表示錯(cuò)誤分類區(qū)域，藍(lán)色箭頭表示邊界信息丟失，紫色箭頭表示子區(qū)域與真值區(qū)域大小不同）Fig. 3 Ablation experiment of front-skip connections (FS indicates pre-skip connections,GT indicates ground truth,red arrows indicate misclassified regions,blue arrows indicate loss of boundary information,and purple arrows indicate subregions with different sizes than ground truth regions)

圖4 FS Inv-Res U-Net 的消融實(shí)驗(yàn)（FS 表示前置跳躍連接，GT 表示標(biāo)準(zhǔn)真值，紅色箭頭表示錯(cuò)誤分類區(qū)域，藍(lán)色箭頭表示邊界信息丟失，紫色箭頭表示子區(qū)域與真值區(qū)域大小不同）Fig. 4 Ablation experiments of FS Inv-Res U-Net (FS indicates the front-skip connection,GT indicates the ground truth,red arrows indicate misclassified regions,blue arrows indicate loss of boundary information,and purple arrows indicate subregions with different sizes than ground truth regions)

3.4.2 FS Inv-Res U-Net 消融實(shí)驗(yàn)

FS Inv-Res U-Net 的消融實(shí)驗(yàn)如表2 所示，本文選取3D U-Net 作為基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)出FS Inv-Res U-Net，分別在數(shù)據(jù)集BraTS2018 和BraTS2019 的驗(yàn)證集上驗(yàn)證前置跳躍連接和FS Inv-Res U-Net網(wǎng)絡(luò)的有效性.在加入前置跳躍連接之后，3D UNet 在BraTS2018 和BraTS2019 上的驗(yàn)證集Dice 指標(biāo)都有提升，分別是0.08%、0.29%和1.17%以及0.49%、0.43%和0.78%.豪斯多夫距離在BraTS2019驗(yàn)證集上WT 區(qū)域和TC 區(qū)域都有改善，分別是1.31 mm 和0.19 mm，在BraTS2018 上僅有TC 區(qū)域減少了0.38 mm，表明了前置跳躍連接在常見3D U-Net 上的提升效果主要針對Dice 指標(biāo)的3 個(gè)區(qū)域，對豪斯多夫距離的改善表現(xiàn)在3 個(gè)區(qū)域的平均值上.相較于3D U-Net 與前置跳躍連接的組合，本文提出的FS Inv-Res U-Net 的Dice 指標(biāo)和豪斯多夫距離指標(biāo)在BraTS2018 上的3 個(gè)區(qū)域分別提高了0.09%、0.15%和0.3%，減小了0.21、1.11 和0.07 mm，在BraTS2019 上的ET、TC 的Dice 指標(biāo)分別提升了0.06%和0.51%，豪斯多夫距離分別減小了0.27 mm 和0.41mm.

表2 FS Inv-Res U-Net 的消融實(shí)驗(yàn)Table 2 Ablation experiments of FS Inv-Res U-Net

圖4 展示的是FS Inv-Res U-Net 消融實(shí)驗(yàn)分割圖，采用的是BraTS19_CBICA_BGT_1 病例，三維坐標(biāo)是（168，153，54）.其第2 列3D U-Net 分割圖依舊存在著標(biāo)簽分類錯(cuò)誤和子區(qū)域與真值區(qū)域大小不同的問題，其中標(biāo)簽分類錯(cuò)誤問題在橫斷位、矢狀位、冠狀位都存在.在加入前置跳躍連接之后，標(biāo)簽分類錯(cuò)誤問題大大降低，但仍存在子區(qū)域大小和真值區(qū)域大小不一致現(xiàn)象.由本文設(shè)計(jì)的FS Inv-Res U-Net 分割圖（第4 列）可知，雖然仍存在邊界信息損失和區(qū)域不一致問題，但問題僅出現(xiàn)在其中的兩個(gè)狀位且影響較小，分類錯(cuò)誤問題得到大大緩解，這表明FS Inv-Res U-Net 分割圖更加接近真值.

3.5 網(wǎng)絡(luò)對比

FS Inv-Res U-Net 與其他先進(jìn)網(wǎng)絡(luò)對比表如表3所示，本文分別選擇了BraTS2018、BraTS2019 數(shù)據(jù)集上具有代表性的先進(jìn)方法作為對比網(wǎng)絡(luò).

由表3 可知，F(xiàn)S Inv-Res U-Net 在BraTS2018 驗(yàn)證集上的Dice 指標(biāo)ET、WT 和TC 區(qū)域都取得了較優(yōu)結(jié)果，低于BraTS2018 比賽的第一名NVDLMED 團(tuán)隊(duì)[31]約1.5%、0.38%和0.57%，但在豪斯多夫距離指標(biāo)的ET、TC 區(qū)域和3 個(gè)區(qū)域的平均值上，F(xiàn)S Inv-Res U-Net 都取得了最優(yōu)值，相較于NVD-LMED 團(tuán)隊(duì)減小了1.47、1.35 和0.75 mm，這表明FS Inv-Res U-Net 網(wǎng)絡(luò)的先進(jìn)性，具備出色的分割性能.在BraTS2019 驗(yàn)證集上，F(xiàn)S Inv-Res U-Net 取得了3 個(gè)區(qū)域Dice 平均值的最優(yōu)性能，高于BraTS-2019 比賽的第二名Zhao 團(tuán)隊(duì)[35]約0.42%，尤其ET區(qū)域的Dice 指標(biāo)明顯超過其他先進(jìn)方法，超過Zhao團(tuán)隊(duì)2.98%，豪斯多夫距離指標(biāo)的WT 和TC 區(qū)域都取得了次優(yōu)結(jié)果，綜合性能較為優(yōu)異.CA Net 僅在TC 區(qū)域取得了最優(yōu)的Dice 結(jié)果，但在ET 區(qū)域落后FS Inv-Res U-Net 網(wǎng)絡(luò)約2.48%，WT 區(qū)域落后FS Inv-Res U-Net 網(wǎng)絡(luò)約1.28%，且CA Net 的3個(gè)區(qū)域Dice 均值比FS Inv-Res U-Net 低了0.55%.

表3 FS Inv-Res U-Net 與其他先進(jìn)網(wǎng)絡(luò)的對比Table 3 Comparison of FS Inv-Res U-Net with other state-of-the-art networks

圖5 展示的是多個(gè)病例下的不同分割方法的分割對比圖，從左到右分別是Flair 序列、真值、DMF Net、HDC Net 和FS Inv-Res U-Net，從上到下是BraTS2019 訓(xùn)練集中的5 個(gè)隨機(jī)病例.圖5 中DMF Net 的分割圖出現(xiàn)較多的分割錯(cuò)誤，其中Bra-TS19_CBICA_AUW_1 分割圖出現(xiàn)了3 類分割錯(cuò)誤，HDCNet 的分割圖出現(xiàn)的錯(cuò)誤大多是分割標(biāo)簽分類錯(cuò)誤，但是FS Inv-Res U-Net 更加地接近真值分割圖.

圖5 不同方法的分割圖對比（紅色箭頭表示錯(cuò)誤分類區(qū)域，藍(lán)色箭頭表示邊界信息丟失，紫色箭頭表示子區(qū)域與真值區(qū)域大小不同）Fig. 5 Comparison of different methods’ segmentation maps (Red arrows indicate misclassified regions,blue arrows indicate loss of boundary information,and purple arrows indicate subregions with different sizes than ground truth regions)

4 結(jié)論

本文通過對腦腫瘤分割方法的深入分析和對前置跳躍連接的實(shí)驗(yàn)探究，在探討了前置跳躍連接可行性的基礎(chǔ)上，設(shè)計(jì)出前置跳躍連接倒殘差U 形網(wǎng)絡(luò)（FS Inv-Res U-Net）.前置跳躍連接的消融實(shí)驗(yàn)表明該構(gòu)想的有效性和泛化性，也表明其具有即改即用的特點(diǎn).同時(shí)FS Inv-Res U-Net 網(wǎng)絡(luò)在BraTS 驗(yàn)證集上獲得了檢驗(yàn)，BraTS2018 的驗(yàn)證結(jié)果在增強(qiáng)型腫瘤、全腫瘤和腫瘤核心上的Dice值分別是80.23%、90.30%和85.45%，豪斯多夫距離分別是2.35、4.77 和5.50 mm；BraTS2019 的驗(yàn)證結(jié)果在增強(qiáng)型腫瘤、全腫瘤和腫瘤核心上的Dice值分別是78.38%、89.78%和83.01%，豪斯多夫距離分別是4、5.57 和6.37 mm，表明FS Inv-Res U-Net網(wǎng)絡(luò)可用于精確分割腦腫瘤.但同時(shí)由于提出的前置跳躍連接并未跳出編碼器-解碼器結(jié)構(gòu)限制，為了驗(yàn)證進(jìn)一步前置跳躍連接的泛化性，在未來工作中，可將前置跳躍連接改進(jìn)FCN 等其他適用網(wǎng)絡(luò)架構(gòu)，且本文提出的前置跳躍連接倒殘差U形網(wǎng)絡(luò)是一個(gè)較為基礎(chǔ)的網(wǎng)絡(luò)模型，未來也會引進(jìn)其他高效卷積模塊到該網(wǎng)絡(luò)中.