基于3D U-Net 網(wǎng)絡(luò)的腫瘤分割方法設(shè)計(jì)*

田學(xué)智 周蓮英

（江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院 鎮(zhèn)江 212013）

1 引言

原發(fā)性腦腫瘤是最嚴(yán)重的腫瘤之一，其中最常見的是由神經(jīng)膠質(zhì)細(xì)胞引起的膠質(zhì)瘤。腦部膠質(zhì)瘤一般分為低級別神經(jīng)膠質(zhì)瘤（LGG）和高級別膠質(zhì)瘤（HGG），低級別膠質(zhì)瘤表現(xiàn)為良性特征，而高級別膠質(zhì)瘤表現(xiàn)為惡性特征，前者具有較好的預(yù)后，治愈率較大，后者預(yù)后較差，多采用保守治療［2］。

放療和化療可以減緩但無法移除腦腫瘤的生長，因此手術(shù)是治療腦腫瘤的最佳方法。腦部膠質(zhì)瘤內(nèi)部結(jié)構(gòu)的準(zhǔn)確分割不僅對治療計(jì)劃很重要，而且對后續(xù)的恢復(fù)評估也至關(guān)重要。然而，由于不同患者膠質(zhì)瘤的大小、形狀和分布區(qū)域的差異性，需要在術(shù)前對腦腫瘤區(qū)域準(zhǔn)確成像以進(jìn)行評估。相比于傳統(tǒng)的X 光和CT，核磁共振成像（Magnetic Resonance Imaging，MRI）無需注射造影劑，沒有電離輻射損傷，并能生成3D原生立體圖像，此方法尤其適用于脂肪、液體、內(nèi)臟和腦部的診斷，因而受到醫(yī)師們的廣泛關(guān)注［3］。

目前，針對腦腫瘤MRI 圖像分割，主要利用專家經(jīng)驗(yàn)進(jìn)行手動(dòng)標(biāo)記分割，或者利用機(jī)器學(xué)習(xí)方法進(jìn)行半自動(dòng)分割。以上兩種方法，需要以專業(yè)為導(dǎo)向的技能，繁瑣耗時(shí)且重復(fù)性低，同時(shí)帶有醫(yī)師的主觀判斷。深度學(xué)習(xí)相對于傳統(tǒng)的機(jī)器學(xué)習(xí)而言，適合處理數(shù)據(jù)量大、特征復(fù)雜的樣本，且模型精度高。

近年來，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行MRI圖像多模態(tài)分割已經(jīng)有了很大的進(jìn)展。Setio 等［4］提出一種用于肺結(jié)節(jié)的輔助檢測方法，從胸部3D CT 掃描中，獲取以候選部位為中心的9 個(gè)不同的方向的2D 切片，此方法可以有效從訓(xùn)練集中學(xué)習(xí)辨別特征，但遺漏了病灶切片中的關(guān)聯(lián)信息。Moeskops等［5］采用現(xiàn)有的3D 卷積神經(jīng)網(wǎng)絡(luò)（CNN），并使用一種多尺度的方法來檢測和分割MRI 圖像上的腦轉(zhuǎn)移，該方法具有較高的魯棒性。Brosch 等［6］開發(fā)了一種3D 深度卷積網(wǎng)絡(luò)，這種網(wǎng)絡(luò)能結(jié)合卷積與其相互關(guān)聯(lián)的反卷積過程，可以在各種尺寸上對病變圖片進(jìn)行分割，同時(shí)也帶來了巨大的計(jì)算量。Pereira 等［7］使用了更小的卷積核、更深的架構(gòu)、灰度歸一化和數(shù)據(jù)增強(qiáng)對MRI腫瘤圖片進(jìn)行分割，獲得了更好的病灶圖像特征。Kamnitsas［8］等提出一種雙通道3D CNN 來進(jìn)行腦腫瘤分割，將相鄰圖像特征加入到網(wǎng)絡(luò)中，但不能自動(dòng)適應(yīng)數(shù)據(jù)不平衡情況。

針對以上算法存在的問題，本文在3D U-Net［1］模型上進(jìn)行改進(jìn)，并加入混合損失函數(shù)，得到一個(gè)新的分割算法。具體方法是在加深網(wǎng)絡(luò)的同時(shí)，在收縮路徑添加多個(gè)自行設(shè)計(jì)的疊加式殘差塊，在進(jìn)行前向傳播時(shí)可以保留更多的特征，同時(shí)可以緩解反向傳播的梯度消失問題，提高網(wǎng)絡(luò)收斂速度；在擴(kuò)張路徑，將上采樣得到的特征與收縮路徑得到的特征合并，獲得更加豐富的特征圖，并在路徑中加入1×1×1 卷積核，增加模型非線性，提高網(wǎng)絡(luò)的表征能力。本文對Dice 損失函數(shù)、Focal 損失函數(shù)［9］和交叉熵?fù)p失函數(shù)，進(jìn)行不同的權(quán)重配比［10］，調(diào)整不同樣本對總損失的貢獻(xiàn)，得到一種分割效果更佳的混合損失函數(shù)，可以增加腦腫瘤像素區(qū)域?qū)倱p失的貢獻(xiàn)，有效緩解樣本不平衡情況，提高最終的分割精度。

2 相關(guān)工作

2.1 改進(jìn)的3D U-Net模型

U-Net［11］網(wǎng)絡(luò)最早在2015 年的MICCAI 上提出，起初在醫(yī)學(xué)圖像分割上面取得了較好的成績，后來成為醫(yī)學(xué)影像語義分割任務(wù)的基準(zhǔn)模型。U-Net 網(wǎng)絡(luò)模型分為兩部分，分別是收縮路徑和擴(kuò)張路徑，收縮路徑相當(dāng)于下采樣，同時(shí)不斷的卷積，進(jìn)行網(wǎng)絡(luò)特征的提取；擴(kuò)張路徑使用反卷積（轉(zhuǎn)置卷積），將經(jīng)過特征提取的圖像恢復(fù)到原圖大小，每經(jīng)過一次上采樣，就將其結(jié)果與收縮路徑得到的特征圖相融合，最終在輸出端得到分割結(jié)果。

本文改進(jìn)的3D U-Net模型如圖1所示，輸入為4 種模態(tài)腦腫瘤MRI 圖像，圖像尺寸為128×128×128，輸出為一個(gè)腫瘤預(yù)測圖像。模型主要由卷積層、疊加式殘差模塊、下采樣模塊、上采樣模塊、融合模塊和分割層組成。在模型的收縮路徑，為避免池化層帶來的特征丟失問題，用卷積層代替池化層進(jìn)行降維，使用3×3×3 的卷積核，步長為2×2×2，每一個(gè)卷積層后，都連接著實(shí)例標(biāo)準(zhǔn)化層（Instance Normalization）和激活函數(shù)層（LeakyReLU）。下采樣模塊后連接本文設(shè)計(jì)的疊加式殘差模塊，如圖2所示。

圖1 3D U-Net網(wǎng)絡(luò)模型

圖2 疊加式殘差塊

此模塊由三個(gè)卷積層組成，卷積過程中對圖像進(jìn)行填充，保證卷積前后圖像大小相同，為減少深層網(wǎng)絡(luò)帶來的巨大參數(shù)量和計(jì)算量，中間卷積層采用1×1×1卷積過度，通過調(diào)整卷積核大小和卷積層通道數(shù)，可以在卷積神經(jīng)網(wǎng)絡(luò)稀疏連接和權(quán)值共享的基礎(chǔ)上，進(jìn)一步提高計(jì)算性能。同時(shí)增加了網(wǎng)絡(luò)的非線性。另外，殘差塊對之前和本層的圖像特征進(jìn)行了融合，在進(jìn)行前向傳播時(shí)保留更多信息，在反向傳播時(shí)模型學(xué)習(xí)輸出和輸入的殘差而不是完整的輸出，通過增加一個(gè)恒等映射的方式，緩解梯度消失，同時(shí)加快網(wǎng)絡(luò)訓(xùn)練和收斂。疊加式殘差模塊中添加了Dropout，這使得每次訓(xùn)練的網(wǎng)絡(luò)都不相同，神經(jīng)元的權(quán)值更新不再依賴于固定的隱含節(jié)點(diǎn)，此方法可以避免在參數(shù)太多的情況下，長時(shí)間訓(xùn)練網(wǎng)絡(luò)帶來的過擬合問題，在一定程度上達(dá)到正則化效果，使網(wǎng)絡(luò)學(xué)習(xí)更加魯棒性的特征。

在模型的擴(kuò)張路徑，上采樣模塊采用轉(zhuǎn)置卷積擴(kuò)大圖片尺寸，轉(zhuǎn)置卷積后連接一個(gè)大小為3×3×3，步長為1×1×1的卷積層，為進(jìn)一步解碼圖像特征信息，上采樣模塊的通道數(shù)是特征圖通道數(shù)的一半，以此來將圖像的特征信息進(jìn)行融合。隨后上采樣模塊的結(jié)果特征圖與編碼階段的特征圖相加，使待分割圖片包含不同層次的特征（主要是初始圖像自帶的特征與經(jīng)過特征提取的圖像所包含的特征），讓網(wǎng)絡(luò)魯棒性更強(qiáng)，腫瘤分割的準(zhǔn)確率更加穩(wěn)定。隨后在實(shí)例標(biāo)準(zhǔn)化層和激活函數(shù)層后再連接1×1×1 卷積層，在減小參數(shù)量的基礎(chǔ)上增加網(wǎng)絡(luò)非線性。在模型的輸出部分，將輸出圖像展開成一維向量，利用Softmax 函數(shù)進(jìn)行像素級的多分類隨后將概率圖再變成圖像，即得到了多模態(tài)下的分割結(jié)果。

模型架構(gòu)以及網(wǎng)絡(luò)訓(xùn)練階段的參數(shù)如表1 所示。

表1 模型架構(gòu)與網(wǎng)絡(luò)參數(shù)表

2.2 混合損失函數(shù)

小目標(biāo)復(fù)雜區(qū)域分割一直是語義分割的難點(diǎn)，主要是因?yàn)榉指顓^(qū)域模糊、分割類別不平衡，在BraTs 2017 的數(shù)據(jù)集中，腦腫瘤體素占總體素?cái)?shù)量的4%，樣本不平衡情況嚴(yán)重。傳統(tǒng)醫(yī)學(xué)圖像分割中，常采用Dice 分割系數(shù)的相反數(shù)作為損失函數(shù)，但數(shù)據(jù)集分布情況對其影響較大。本文針對此情況設(shè)計(jì)了一種Dice 損失函數(shù)、Focal 損失函數(shù)以及經(jīng)典交叉熵?fù)p失函數(shù)相結(jié)合的混合損失函數(shù)，首先定義如下

其中TPx(k)、FNx(k)和FPx(k)分別代表真陽性、假陽性和假陰性的預(yù)測概率，k 代表K 個(gè)類中的第k類，X代表當(dāng)前腦腫瘤圖像像素?cái)?shù)，每個(gè)像素值x屬于類別k的概率為px(k)，每個(gè)像素值x的基準(zhǔn)真值為qx(k)。

混合損失函數(shù)如下：

其中α、β和γ為權(quán)重平衡因子，LDice為損失函數(shù)的主體部分，LFocal和LCross用來調(diào)節(jié)數(shù)據(jù)樣本的不平衡情況。通過引入焦點(diǎn)損失LFocal，控制正負(fù)樣本對損失的權(quán)重，同時(shí)降低易分類樣本的權(quán)重，增加難分類樣本的權(quán)重。交叉熵?fù)p失函數(shù)的參數(shù)γ可變，在處理正樣本和負(fù)樣本時(shí)，根據(jù)不同的對象施加不同的γ。具體參數(shù)如表2。

表2 損失函數(shù)參數(shù)表

通過以上方法得到的混合損失函數(shù)，增加了腦腫瘤像素區(qū)域?qū)倱p失的貢獻(xiàn)，有效緩解樣本不平衡情況，提高最終的分割精度。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集

MRI 圖像來自19 個(gè)機(jī)構(gòu)，采用不同的協(xié)議、磁場強(qiáng)度和MRI 掃描儀獲得。所有患者掃描的圖像都由4 名評估專家手動(dòng)標(biāo)注出4 類標(biāo)簽，這4 類標(biāo)簽代表3 種腫瘤類型與背景，標(biāo)簽1 代表壞死（Necrotic，NCR）和非增強(qiáng)腫瘤核心（Non-enhancing Tumor，NET），標(biāo)簽2 代表腫瘤周圍水腫（Peritumoral Edema，ED），標(biāo)簽4 代表增強(qiáng)腫瘤（Enhancing Tumor，ET），標(biāo)簽0代表腫瘤周圍正常區(qū)域的背景。

多模態(tài)圖像對應(yīng)腦腫瘤不同的側(cè)重區(qū)域，F(xiàn)LAIR 突顯整個(gè)腦腫瘤區(qū)域（Whole Tumor，WT），T2加權(quán)突顯腦腫瘤核心區(qū)域（Tumor core，TC），T1c加權(quán)突顯腦腫瘤增強(qiáng)區(qū)域（Enhancing Tumor，ET）。

為減少圖像中頭骨和周圍冗余信息，將MRI圖片剪裁成像素大小為128×128×128，進(jìn)一步平衡圖像中正負(fù)樣本比例。為避免數(shù)據(jù)過少產(chǎn)生的網(wǎng)絡(luò)無法收斂或者過擬合問題，在訓(xùn)練之前，對圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、平移、縮放等樣本增強(qiáng)技術(shù)以擴(kuò)充數(shù)據(jù)。

圖3 MRI圖像4種模態(tài)切片

3.2 評價(jià)指標(biāo)

本文用三種指標(biāo)來評估腦腫瘤分割效果，分別是Dice 相似系數(shù)（Dice Similarity Coefficient，DSC）、特異度（Specificity）和靈敏度（Sensitivity）。Dice 相似系數(shù)［12］表示專家手動(dòng)分割和自動(dòng)預(yù)測分割的重疊程度，定義為

其中TP、FP 和FN 分別表示在腦腫瘤預(yù)測像素中，真陽性、假陽性和假陰性的數(shù)量。特異度又叫做真陰性率，表示在實(shí)際陰性的樣本中，預(yù)測結(jié)果為陰性的比例，定義為

靈敏度又叫真陽性率，表示在實(shí)際為陽性的樣本中，預(yù)測結(jié)果為陽性的比例，定義為

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)使用基于Tensorflow 后端的Keras 框架構(gòu)建的3D U-Net 網(wǎng)絡(luò)模型，實(shí)驗(yàn)服務(wù)器搭載了兩塊型號為Tesla P100-PCIE-16GB的顯卡，在具有EarlyStoping的前提下每次訓(xùn)練大約花費(fèi)42h。

圖4 顯示了腦腫瘤的2D 切片、金標(biāo)準(zhǔn)和原始的3D U-Net模型分割效果以及本文方法的分割效果?？梢钥闯觯疚姆椒ㄌ岣吡藢δX腫瘤整體輪廓分割的把控性，對周圍細(xì)節(jié)特征也更敏感，最終分割效果更加準(zhǔn)確。

圖4 分割效果對比圖

表3中論文使用模型都為3D U-Net模型，利用Multi-scale 3D［13］卷積神經(jīng)網(wǎng)絡(luò)、Multi-scale 3D CNN［14］和改進(jìn)的U-Net［15］，對3.1 節(jié)的數(shù)據(jù)集進(jìn)行訓(xùn)練，隨著模型深度和復(fù)雜性的增加，各項(xiàng)分割指標(biāo)都在逐漸提高，其中改進(jìn)的U-Net［15］額外添加添加原始?xì)埐钅K，各項(xiàng)性能明顯增加，說明殘差塊在前向傳播可以保留更多的圖像特征，在反向傳播可以保留更多的梯度信息。本文在原始U-Net 模型［1］的基礎(chǔ)上，通過改進(jìn)模型、加入混合損失函數(shù)以及兩種方法的結(jié)合，分析比較了本文方法的分割性能。改進(jìn)模型結(jié)構(gòu)和加入混合損失函數(shù)都能提升分割效果，但并不全面，分析原因主要是因?yàn)楦倪M(jìn)模型結(jié)構(gòu)蘇日安增加了網(wǎng)路深度，使得特征提取更加全面，但Dice損失函數(shù)并不能很好地處理樣本不平衡問題，而直接加入混個(gè)損失函數(shù)，網(wǎng)絡(luò)將會(huì)過多計(jì)算損失函數(shù)，遺漏腦腫瘤特征的提取。將兩者進(jìn)行混合，DSC 和Specificity 這兩個(gè)指標(biāo)基本可以全面優(yōu)于對比的方法，而Sensitivity 指標(biāo)只有在WT上達(dá)到最優(yōu)，主要原因是在混合損失函數(shù)中，過大的增加了小樣本，也就是陽性樣本的權(quán)重，使得預(yù)測分割偏向于陽性區(qū)域。經(jīng)過分析得到，本文方法對于腦腫瘤的邊界區(qū)域以及像素區(qū)別明顯的核心區(qū)域較為敏感，而經(jīng)過像素增強(qiáng)的區(qū)域以及腦腫瘤占比較大的區(qū)域，分割效果并不穩(wěn)定。

表3 不同模型分割效果的評價(jià)指標(biāo)對比

4 結(jié)語

本文針對傳統(tǒng)腦腫瘤分割方法存在的不足，在3D U-Net 的基礎(chǔ)上，提出了一種改進(jìn)算法。首先設(shè)計(jì)了一種疊加式殘差塊，在保留更多特征的同時(shí)，避免了深層網(wǎng)絡(luò)無法收斂的問題。另外以混合損失函數(shù)替代傳統(tǒng)Dice分割系數(shù)損失函數(shù)，通過引入焦點(diǎn)損失函數(shù)LFocal，控制正負(fù)樣本對損失的權(quán)重，同時(shí)降低易分類樣本的權(quán)重，增加難分類樣本的權(quán)重。增加腦腫瘤像素區(qū)域?qū)倱p失的貢獻(xiàn)，提高稀疏分類錯(cuò)誤對模型的懲罰，緩解數(shù)據(jù)類別不平衡問題。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)方法，與傳統(tǒng)3D 分割方法相比，在腫瘤整體和腫瘤核心上面，分割精度有了一定提升。但深層網(wǎng)絡(luò)在提高腫瘤分割精度的同時(shí)，也帶來了巨大的計(jì)算量，下一步將在現(xiàn)有網(wǎng)絡(luò)模型的基礎(chǔ)上，優(yōu)化模型，利用可分離卷積壓縮網(wǎng)絡(luò)大小，降低計(jì)算量，減少訓(xùn)練時(shí)間，提升分割效率。