雙通道特征提取的膠質(zhì)瘤分割方法

丁冬冬，陳世國，杜進楷，楊 乘，石平霞

（1.貴州師范大學(xué) 物理與電子科學(xué)學(xué)院，貴州 貴陽550001；2.貴州省教育廳汽車電子技術(shù)特色重點實驗室，貴州 貴陽550001；3.貴州省射電天文數(shù)據(jù)處理重點實驗室，貴州 貴陽550025）

0 引 言

膠質(zhì)瘤（Glioma）是一種神經(jīng)系統(tǒng)腫瘤，不同程度的膠質(zhì)瘤會產(chǎn)生不同的臨床癥狀，膠質(zhì)瘤的準(zhǔn)確分割有助于疾病的診斷和治療，有效緩解病情，延長存活時間，并且可以為后續(xù)治療提供對比觀察，因此，對膠質(zhì)瘤的核磁共振圖像（MRI）分割有重要的研究價值。國內(nèi)外在圖像分割早期應(yīng)用較為廣泛的有基于閾值、區(qū)域、邊緣檢測、小波、馬爾科夫隨機場等分割方法，然而傳統(tǒng)方法進行分割耗費大量的時間和人力，且分割準(zhǔn)確度與醫(yī)生的臨床經(jīng)驗有很大關(guān)系，易受主觀因素的影響。近年來，圖像分割領(lǐng)域多種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)被不斷提出，主要有2D深度學(xué)習(xí)網(wǎng)絡(luò)和3D深度學(xué)習(xí)網(wǎng)絡(luò)兩種。相比于3D深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，2D網(wǎng)絡(luò)具有參數(shù)量相對較少，對電腦性能要求略低，適用范圍更廣的特點，因此本文針對2D深度學(xué)習(xí)網(wǎng)絡(luò)進行改進。

文獻[1]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用在圖像處理方面表現(xiàn)突出，然而傳統(tǒng)CNN主要定位局部信息，易造成全局信息的丟失。文獻[2]于2017年提出的全卷積神經(jīng)網(wǎng)絡(luò)（FCN）為解決語義分割提供了一種新的解決方案。2016年文獻[3]提出了一種可以自動適應(yīng)目標(biāo)區(qū)域大小的多尺度二維卷積神經(jīng)網(wǎng)絡(luò)模型，有效解決了腦腫瘤尺度不一致的問題，網(wǎng)絡(luò)每次利用一個圖像塊對圖像中心像素預(yù)測，造成大量重復(fù)計算，有待優(yōu)化提升。文獻[4]于2018年結(jié)合模糊推理系統(tǒng)，建立學(xué)習(xí)規(guī)則對CNN預(yù)測腫瘤點的概率再判斷，分割精確度有所提升，但為半自動化算法，分割效率不高。綜上，前人所設(shè)計的2D網(wǎng)絡(luò)未有效解決類不平衡以及形狀不規(guī)則的膠質(zhì)瘤更精確分割的問題。因此，設(shè)計有效的提高膠質(zhì)瘤分割的2D網(wǎng)絡(luò)有一定的研究價值。

文獻[5]提出的U?net網(wǎng)絡(luò)，其“編碼?解碼”結(jié)構(gòu)可以進行端到端的學(xué)習(xí)，無需將圖像切割為多個圖像塊后再進行訓(xùn)練，減少了大量重復(fù)計算。編碼（Encode）結(jié)構(gòu)對特征進行提取，用逐級下采樣的方式減小特征圖尺寸，增加感受野（Receptive Field）范圍，捕獲豐富的上下文信息。解碼（Decode）過程中逐步恢復(fù)特征向量尺寸，并通過跳躍連接將編碼階段的特征與上采樣得到的特征向量拼接融合，對編碼過程中提取到的特征信息加以利用，提高網(wǎng)絡(luò)的表達能力。因此，U?net網(wǎng)絡(luò)在減少重復(fù)計算情況下能獲得較好的分割效果。但U?net網(wǎng)絡(luò)編碼過程中用一條特征提取通道提取到的特征不充分，使得分割邊緣清晰度不理想；解碼過程中對特征向量進行拼接（Concatenate），特征融合不充分；網(wǎng)絡(luò)中的特征向量在訓(xùn)練過程中會產(chǎn)生新的數(shù)學(xué)分布，影響網(wǎng)絡(luò)收斂速度。針對上述存在的問題，本文提出了一種基于U?net網(wǎng)絡(luò)的雙通道特征提?。―ual?Path Feature Extraction based on U?net，DPFE?Unet）的腦部膠質(zhì)瘤分割方法。

DPFE?Unet以U?net網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，做了以下改進：

1）編碼階段采用雙通道特征提取的方法進行特征提取，提取更加豐富的多尺度特征，更加準(zhǔn)確地定位腫瘤邊緣。

2）解碼階段，通過對來自編碼階段的特征向量和解碼階段上采樣后的特征向量通過充分的跨通道融合，增加更多的非線性來增強網(wǎng)絡(luò)的表達能力。

3）將特征向量用批歸一化（Batch Normalization）處理，降低因特征向量的數(shù)學(xué)分布改變對網(wǎng)絡(luò)收斂速度的影響，有效防止網(wǎng)絡(luò)過擬合。

1 DPFE?Unet網(wǎng)絡(luò)結(jié)構(gòu)

DPFE?Unet的網(wǎng)絡(luò)框圖如圖1所示。

圖1 DPFE?Unet網(wǎng)絡(luò)框圖

1.1 雙通道特征提取的編碼結(jié)構(gòu)

為了提取更加豐富的特征信息，達到提高目標(biāo)區(qū)域定位精度的目的，DPFE?Unet在編碼階段采用兩條特征提取通道進行多尺度特征提取，將雙通道上對應(yīng)尺度下的特征向量相加以獲得更豐富的局部信息，再對結(jié)果進行批歸一化和非線性激活操作，以此作為編碼階段不同尺度下的輸出特征向量。

對于每條特征提取通道，輸入數(shù)據(jù)首先進行兩次卷積，卷積核大小為3×3，輸出通道為64，并通過批歸一化層和ReLU[6]非線性激活層。然后，使用最大池化層（Max Pooling）將非線性激活后的特征向量中的主要特征值保留，特征向量尺寸減半，增大感受野。為了提取更加復(fù)雜多樣的特征信息，對池化后的特征向量進行兩次卷積操作，卷積核大小為3×3，兩次卷積的輸出通道數(shù)相同，均為上一尺度特征向量通道數(shù)的兩倍，最后對結(jié)果進行批歸一化和非線性激活。以上“最大池化?卷積?卷積?批歸一化?非線性激活”操作連續(xù)進行4次，分別得到通道數(shù)為64，128，256，512，1 024的特征向量。

最后，將雙通道中對應(yīng)尺度下的特征向量分別相加（Add），再對相加后的結(jié)果分別進行“卷積?卷積?批歸一化?激活”處理，并以此作為編碼階段提取到的多尺度特征向量。

雙通道特征提取的編碼結(jié)構(gòu)如圖2所示。

1.2 跨通道特征融合的解碼結(jié)構(gòu)

解碼過程中，對于來自編碼和解碼兩個階段相同尺度下的特征向量進行跨通道的特征融合，增加網(wǎng)絡(luò)非線性表達能力，同時降低計算復(fù)雜度。

1.2.1 上采樣

對某一尺度下的特征向量進行尺度恢復(fù)是通過上采樣（UpSampling）操作將該特征向量尺寸加倍，與上一尺度下的特征向量尺寸相同。首先將尺度為15×15的feature4的特征通過上采樣將分辨率提升1倍，恢復(fù)至30×30，同時為了減少參數(shù)量，通過3×3的卷積層將特征向量的通道數(shù)減半。同理，對每個尺度下的特征向量都進行這樣的操作，最終將特征向量尺寸恢復(fù)至240×240，與輸入圖像分辨率相同。

圖2 雙通道特征提取的編碼結(jié)構(gòu)

1.2.2 特征融合

為充分利用編碼階段特征向量，DPFE?Unet網(wǎng)絡(luò)先對上采樣后的特征向量進行批歸一化和非線性激活，再將結(jié)果與編碼階段同尺度的特征向量進行拼接，最后對拼接后的結(jié)果用卷積核尺寸為1×1的卷積層[7]進行卷積，達到跨通道特征融合的目的，充分利用圖像的局部信息和全局信息提高分割的精度。同時，卷積過程中將通道數(shù)減半達到減少參數(shù)量的作用?？缤ǖ捞卣魅诤线^程如圖3所示。

圖3 跨通道融合過程

跨通道特征融合的解碼結(jié)構(gòu)如圖4所示。

1.3 特征向量批歸一化

編碼階段使用雙通道特征提取的方法增加了網(wǎng)絡(luò)復(fù)雜度，因此可能會造成過擬合現(xiàn)象；網(wǎng)絡(luò)訓(xùn)練過程中特征向量的數(shù)學(xué)分布會發(fā)生變化，造成協(xié)方差偏移[8]。針對以上兩問題，在DPFE?Unet網(wǎng)絡(luò)中使用批歸一化操作對編碼階段的特征向量以及各尺度下融合后的特征向量進行批歸一化處理，有效防止過擬合現(xiàn)象的發(fā)生，加快了網(wǎng)絡(luò)的收斂速度。同時，批歸一化操作還可以有效防止梯度消失和神經(jīng)元失活[9]。

批歸一化公式為：

式中：X為待歸一化的特征向量；E[X]為均值；Var[X]為標(biāo)準(zhǔn)差；γ，ε分別為放縮和偏移系數(shù)，均為可學(xué)習(xí)參數(shù)，ε是為了防止分母為0的較小數(shù)值。

圖4 跨通道特征融合的解碼結(jié)構(gòu)

2 實 驗

實驗環(huán)境為Intel?CoreTMi7?9700K CPU@3.6 GHz，RAM大 小 為32 GB，Windows 10專業(yè)版，編程語言為Python，深度學(xué)習(xí)框架為Keras。

2.1 實驗數(shù)據(jù)及預(yù)處理

實驗所采用數(shù)據(jù)來源于MICCAI大賽的BRATS2015數(shù)據(jù)集[10]的高級別腫瘤（HGG）中的220例病人數(shù)據(jù)，每位病人有Flair、T1、T1c、T2四種模態(tài)MRI圖像和一組專家標(biāo)注真實標(biāo)簽（Ground Truth，GT），每種模態(tài)有155張切片，將數(shù)據(jù)集按照0.6，0.2，0.2的比例隨機分為訓(xùn)練集、驗證集和測試集。

由于腫瘤區(qū)域通常不在切片序列的兩端，本實驗取每種模態(tài)的第50～120張切片進行訓(xùn)練，進一步緩解因類不平衡造成的難以精確分割的問題。四種模態(tài)圖像（Flair、T1、T1c、T2）及專家標(biāo)注GT圖像如圖5所示。

圖5 多模態(tài)數(shù)據(jù)顯示圖

將四種模態(tài)分別進行標(biāo)準(zhǔn)化處理，作為輸入數(shù)據(jù)的四個通道進行訓(xùn)練[11]，標(biāo)準(zhǔn)化公式為：

式中：Xi為第i個模態(tài)的圖像；E(Xi)為該模態(tài)圖像的均值；ε為防止分母為0的較小數(shù)值。

2.2 網(wǎng)絡(luò)超參數(shù)設(shè)置

實驗中卷積核均采用隨機He分布初始化方法進行初始化[12]，網(wǎng)絡(luò)在反向傳遞過程中使用Adam優(yōu)化器進行優(yōu)化[13]，為了便于解碼階段的特征拼接，將卷積函數(shù)中的valid參數(shù)設(shè)置為“same”，網(wǎng)絡(luò)設(shè)置為自動調(diào)整學(xué)習(xí)率，初始學(xué)習(xí)率為0.000 1，批大小為10，網(wǎng)絡(luò)評價指標(biāo)為Dice系數(shù)[14]。

2.3 評價指標(biāo)

Dice系數(shù)用來衡量兩個向量的相似性程度，實驗中用來表述模型輸出的分割結(jié)果與真實標(biāo)簽的相似性。Dice系數(shù)定義如式（3）所示，其中，TP（True Positive）為真 陽 性，F(xiàn)P（False Positive）為 假 陽 性，F(xiàn)N（False Negative）為假陰性。

網(wǎng)絡(luò)訓(xùn)練過程中選用Dice損失（Dice_loss）函數(shù)作為優(yōu)化依據(jù)，Dice損失函數(shù)定義為：

2.4 實驗結(jié)果對比及可視化

2.4.1 實驗結(jié)果對比

將本文方法與對比文獻中的3種方法進行對比，Dice系數(shù)對比如表1所示。其中，方法1中所用網(wǎng)絡(luò)為2D U?net網(wǎng)絡(luò)，方法2的DeepMedic網(wǎng)絡(luò)在2015年的腦腫瘤分割比賽中排名前三，方法3、4所用網(wǎng)絡(luò)均為3D網(wǎng)絡(luò)。

表1 DPFE?Uet在Brats2015驗證集上的Dice系數(shù)與其他方法對比

由表1中的各評價指標(biāo)可以看出，本文提出的2D網(wǎng)絡(luò)DPFE?Unet與方法1中所用2D U?net網(wǎng)絡(luò)相比，相應(yīng)的Dice系數(shù)分別提升9.7%，14.3%和7.8%；與方法2，3，4所用3D網(wǎng)絡(luò)相比，相應(yīng)的Dice系數(shù)分別至少提升4.7%，5.3%和8.8%。結(jié)果表明，基于U?net網(wǎng)絡(luò)改進的DPFE?Unet網(wǎng)絡(luò)在膠質(zhì)瘤分割問題上與對比文獻相比有更好的分割效果。

2.4.2 實驗分割結(jié)果可視化

對測試集的分割結(jié)果進行可視化，如圖6所示。其中，圖6a）為Flair模態(tài)圖像，圖6b），圖6c），圖6d）分別為WT、TC、ET的真實標(biāo)簽，圖6e），圖6f），圖6g）為本文方法對應(yīng)的三個區(qū)域的分割結(jié)果。

從圖6中的分割結(jié)果與真實標(biāo)簽對比可以看出，本文提出的方法對膠質(zhì)瘤分割的結(jié)果與給定標(biāo)簽圖像在視覺效果上基本一致，表明DPFE?Unet網(wǎng)絡(luò)對膠質(zhì)瘤分割較準(zhǔn)確。

圖6 分割結(jié)果

3 結(jié) 語

DPFE?Unet網(wǎng)絡(luò)是在U?net網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上改進的端到端的2D網(wǎng)絡(luò)。在編碼階段，利用雙通道特征提取的方法提取更加豐富的多尺度特征，改善因網(wǎng)絡(luò)結(jié)構(gòu)簡單造成的特征提取不充分而無法準(zhǔn)確分類的問題。解碼階段利用1×1的卷積層將特征信息進行充分的跨通道融合，利用局部信息和 全局信息提高邊緣分割精度，同時降低網(wǎng)絡(luò)參數(shù)，有效緩解雙通道特征提取方法導(dǎo)致參數(shù)量增加的情況。批歸一化的引入解決了特征向量的數(shù)學(xué)分布發(fā)生變化對網(wǎng)絡(luò)收斂速度的影響。

實驗結(jié)果表明，DPFE?Unet網(wǎng)絡(luò)在膠質(zhì)瘤分割問題上效果更好，與U?net網(wǎng)絡(luò)相比分割效果有顯著提升，也優(yōu)于近幾年的部分3D網(wǎng)絡(luò)。因此，本文研究成果有助于提升臨床醫(yī)學(xué)診斷的準(zhǔn)確率，為制定合理的治療方案提供依據(jù)。