基于WRN-PPNet的多模態(tài)MRI腦腫瘤全自動分割

朱 婷,王 瑜,肖洪兵,邢素霞

(北京工商大學(xué) a.計算機(jī)與信息工程學(xué)院; b.食品安全大數(shù)據(jù)技術(shù)北京市重點實驗室,北京 100048)

0 概述

目前,成人最常見的原發(fā)性腦腫瘤包括原發(fā)性中樞神經(jīng)系統(tǒng)淋巴瘤以及膠質(zhì)瘤,其中,后者占比大約為80%[1]。近期的研究結(jié)果表明,腦腫瘤的磁共振成像(Magnetic Resonance Imaging,MRI)特征能夠輔助臨床診斷及治療方案制定[2]。此外,由于多模態(tài)MRI協(xié)議產(chǎn)生的不同的圖像對比度,能夠提供重要的互補(bǔ)信息,因此常被用來評價腦腫瘤細(xì)胞結(jié)構(gòu)的完整性。比較典型的腦腫瘤核磁共振協(xié)議包括FLAIR(Fluid Attenuation Inversion Recovery)、T1(spin-lattice relaxation)、T2(spin-spin relaxation),以及釓增強(qiáng)的T1c(T1-contrasted),這些多模態(tài)MRI圖像[3]具有很大的診斷價值。

目前,有監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在多種視覺任務(wù)中取得了較好效果,受到眾多研究者的青睞。文獻(xiàn)[4]研究用深度CNN進(jìn)行圖像去噪,文獻(xiàn)[5]采用CNN實現(xiàn)中文情感分析,文獻(xiàn)[6]將CNN應(yīng)用于手勢識別。在2015年的多模態(tài)腦腫瘤分割挑戰(zhàn)賽上,文獻(xiàn)[7]用CNN進(jìn)行腦腫瘤分割并取得了優(yōu)異效果。與傳統(tǒng)的有監(jiān)督機(jī)器學(xué)習(xí)方法相比,基于深度學(xué)習(xí)的方法不依賴手動提取的特征,能夠自動從數(shù)據(jù)中學(xué)習(xí)不同復(fù)雜度的特征[8],因此,研究者們逐漸采用CNN實現(xiàn)腦腫瘤分割。如文獻(xiàn)[9]采用多尺度的CNN分割腦腫瘤,文獻(xiàn)[10]利用CNN提取的圖像塊特征對中央像素的類別進(jìn)行預(yù)測。

在使用深度學(xué)習(xí)方法解決圖像分割問題中,文獻(xiàn)[11]提出全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network,FCN)。FCN的跳躍結(jié)構(gòu)將圖像高層表示與圖像外觀表示相結(jié)合,以完成精細(xì)的分割任務(wù)。但是FCN易丟失上下文信息,為解決該問題,文獻(xiàn)[12]提出金字塔池化模塊,并使用預(yù)訓(xùn)練的ResNet[13]提取原始輸入圖像的特征。網(wǎng)絡(luò)越深,該方法獲得的特征表達(dá)能力越強(qiáng)。然而,ResNet的殘差塊雖然能夠訓(xùn)練非常深的網(wǎng)絡(luò)模型,但可能導(dǎo)致衰減特征重用。為此,文獻(xiàn)[14]建立寬殘差網(wǎng)絡(luò)(Wide Residual Networks,WRN)模型,其通過加寬系數(shù)使較淺的網(wǎng)絡(luò)模型獲得與深度模型相近的性能。此外,文獻(xiàn)[15]發(fā)現(xiàn)一旦圖像的解剖信息被提取出以后,最終的分割結(jié)果將會在很大程度上受到特定體素信號強(qiáng)度的影響(相對于紋理特征或者其他高階特征而言),因此,他們在網(wǎng)絡(luò)的倒數(shù)第3層再次引入原始圖像,以提高網(wǎng)絡(luò)的分割性能。

受到上述基于FCN方法的啟發(fā),本文建立一種新的寬殘差金字塔池化模型WRN-PPNet,用于腦腫瘤分割。通過WRN模塊提取原始圖像的特征,利用金字塔池化模塊獲得圖像不同范圍的上下文信息,再融合原始輸入圖像的超本地化特征,最后由模型直接輸出神經(jīng)膠質(zhì)瘤分割結(jié)果,完成全自動端到端的多模態(tài)MRI神經(jīng)膠質(zhì)瘤分割任務(wù)。

1 全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)框架

FCN克服了傳統(tǒng)CNN網(wǎng)絡(luò)進(jìn)行圖像語義分割時內(nèi)存需求大、計算效率低、圖像塊尺寸限制感知區(qū)域大小的缺陷,其利用現(xiàn)存的CNN做視覺模型學(xué)習(xí)分層特征,再將分類網(wǎng)絡(luò)最后的全連接層改為全卷積層,然后輸出特征圖,最終對這些特征圖進(jìn)行反卷積后產(chǎn)生稠密像素級標(biāo)記的輸出圖,即圖像的語義分割結(jié)果。該方法在用深度學(xué)習(xí)方法實現(xiàn)圖像語義分割方面取得了較好效果。

FCN只含卷積層,可以接受任意尺寸的輸入圖像,對CNN學(xué)習(xí)到的特征進(jìn)行反卷積操作后這些特征能恢復(fù)到原輸入圖像的尺寸,從而可以預(yù)測每個像素的類別,保留原始圖像中的空間信息,實現(xiàn)對圖像像素級的分類。最終網(wǎng)絡(luò)的輸出就是分割好的圖像,該過程實現(xiàn)了真正意義上的端到端分割。本文結(jié)合FCN方法,建立一種WRN-PPNet模型,對多模態(tài)MRI神經(jīng)膠質(zhì)瘤進(jìn)行全自動分割,模型輸出就是對腫瘤區(qū)域的分割結(jié)果。

2 WRN-PPNet模型

采用MRI的軸向切片訓(xùn)練WRN-PPNet模型并獲得分割模型,該過程包括3個步驟:數(shù)據(jù)前期處理,建立WRN-PPNet模型并訓(xùn)練,測試模型分割性能。

2.1 數(shù)據(jù)前期處理

腦腫瘤的MRI圖像是3D結(jié)構(gòu),其像素尺寸為240×240×155。3D結(jié)構(gòu)計算復(fù)雜度高,本文先取切片,將其轉(zhuǎn)化成2D結(jié)構(gòu)后再用于WRN-PPNet模型訓(xùn)練,該過程如圖1所示。

圖1 3D MRI數(shù)據(jù)取切片實例

4種模態(tài)相同序列的切片需要進(jìn)行如式(1)、式(2)所示的標(biāo)準(zhǔn)化處理后再合并在一起。

(1)

X=X/Xstd

(2)

2.2 WRN-PPNet模型介紹

本文在FCN語義分割模型的基礎(chǔ)上,建立一種多模態(tài)MRI神經(jīng)膠質(zhì)瘤全自動分割模型WRN-PPNet。該模型包含2個模塊:WRN模塊和PPNet模塊,模型結(jié)構(gòu)如圖2所示。其中,(A)表示某個病人4種模態(tài)的MRI圖像切片,(B)表示由WRN模塊提取的特征,(C)表示W(wǎng)RN模塊提取的特征與PPNet模塊提取的特征相融合的特征,(D)表示反卷積5的輸出與原始輸入的超本地化特征進(jìn)行融合,(E)表示由WRN-PPNet模型分割出的腦腫瘤區(qū)域,(F)表示專家標(biāo)注的腦腫瘤區(qū)域。(1)、(2)、(3)構(gòu)成WRN-PPNet模型,其中,(1)表示W(wǎng)RN模塊,(2)表示PPNet模塊,(3)表示尺寸恢復(fù)部分。

圖2 WRN-PPNet模型結(jié)構(gòu)

2.2.1 WRN模塊

由于在CNN中,越深層次的特征越抽象,表達(dá)能力也越強(qiáng),因此增加網(wǎng)絡(luò)深度有利于提高網(wǎng)絡(luò)模型的性能。然而,隨著網(wǎng)絡(luò)模型的加深,會出現(xiàn)梯度消失或者爆炸、模型逐漸退化的現(xiàn)象。為此,文獻(xiàn)[13]提出ResNet,以解決該問題。ResNet使模型參數(shù)更少,網(wǎng)絡(luò)更深。其中,殘差塊的結(jié)構(gòu)如圖3(a)所示,在殘差塊中存在恒等映射,殘差塊輸入xl與輸出xl+1之間的關(guān)系如式(3)所示。

xl+1=xl+F(xl,Wl)

(3)

其中,F(·)表示殘差函數(shù),Wl表示殘差塊的參數(shù)。由式(3)可知,殘差網(wǎng)絡(luò)由殘差塊堆疊而成。

雖然具有恒等映射的殘差塊能夠訓(xùn)練非常深的網(wǎng)絡(luò)模型,但可能會使網(wǎng)絡(luò)中的梯度流無法通過殘差塊權(quán)重,從而導(dǎo)致只有少量殘差塊學(xué)習(xí)到有用的特征,也即很多殘差塊共享非常少的信息,使它們對最終的目的貢獻(xiàn)甚少,這被稱為衰減特征重用問題。為解決該問題,文獻(xiàn)[14]提出寬殘差塊的概念,并通過大量實驗證明,適當(dāng)增加殘差塊寬度比、增加殘差網(wǎng)絡(luò)深度更能提高殘差網(wǎng)絡(luò)的性能。非常淺的寬殘差網(wǎng)絡(luò)能夠獲得非常深的殘差網(wǎng)絡(luò)性能,且參數(shù)量相當(dāng)時,寬殘差網(wǎng)絡(luò)的訓(xùn)練速度更快。寬殘差塊結(jié)構(gòu)如圖3(b)、圖3(c)所示,在每個卷積層之前均有一個批標(biāo)準(zhǔn)化(Batch Normalization,BN)層,BN層的作用是將激活層輸出的均值和方差規(guī)范為一致,其有利于加快網(wǎng)絡(luò)收斂速度并抑制梯度爆炸。

圖3 殘差塊結(jié)構(gòu)示意圖

本文提出的網(wǎng)絡(luò)模型使用WRN模塊提取原始輸入數(shù)據(jù)的特征,其寬殘差塊加寬系數(shù)為3(k=3),每個殘差塊組中包含4(N=4)個殘差塊。WRN模塊第1個殘差塊組conv2中的寬殘差塊結(jié)構(gòu)如圖3(b)所示,第2、第3個寬殘差塊組conv3、conv4中第1個寬殘差塊的結(jié)構(gòu)如圖3(c)所示,其余寬殘差塊如圖3(b)所示。

2.2.2 PPNet模塊

在多模態(tài)的MRI腦腫瘤切片中,神經(jīng)膠質(zhì)瘤出現(xiàn)的位置、大小、形狀、尺寸等都不確定,其與周圍正常組織邊界模糊、互相滲透,因此,全局先驗信息對腦腫瘤各區(qū)域的分割至關(guān)重要。

傳統(tǒng)FCN方法缺少對不同特征的感知,這限制了其在具體問題中的應(yīng)用,且由于固有的空間不變性,導(dǎo)致該方法不能很好地利用上下文信息。由于全局平均池化是一種較好的獲取全局上下文信息的方法,為盡可能減少上下文信息的損失,本文采用分層結(jié)構(gòu)的金字塔池化模塊來獲得不同尺度的全局先驗信息,其結(jié)構(gòu)如圖2中的模塊(2)所示。

本文使用的金字塔池化模塊包含3個不同大小的池化核,尺寸分別是4×4、2×2、1×1,池化類型均為平均池化,這構(gòu)成了3個池化通路。對于池化核為4×4的池化通路,池化過后,FMs的尺寸大小為該模塊原始輸入FMs尺寸大小的1/4,然后通過2個依次連接的conv3×3-conv3×3-deconv結(jié)構(gòu),將FMs的尺寸恢復(fù)至該模塊原始輸入FMs的大小,這里conv3×3表示卷積核為3×3的卷積層,deconv是反卷積(上采樣)層,上采樣層的作用是將FMs的大小恢復(fù)至原始輸入FMs的大小。在反卷積層之前使用卷積是為了獲得前一層FMs的優(yōu)化組合。同樣,在池化核為2×2的通路上,池化過后是一個conv3×3-conv3×3-deconv結(jié)構(gòu),池化核為1×1的通路上,池化過后只有2個卷積核為3×3的卷積層,且在該模塊中,每個卷積層和反卷積層輸出的FMs個數(shù)均為128。最后,在金字塔池化模塊之后,將該模塊中由3個通路獲得的不同尺度的全局上下文先驗與該模塊的輸入特征相融合,如圖2中模塊(C)所示。

2.2.3 尺寸恢復(fù)模塊

WRN-PPNet模型最后一部分主要將FMs的尺寸恢復(fù)至模型原始輸入的大小,如圖2中模塊(3)所示。該部分包含2個conv3×3-conv3×3-deconv結(jié)構(gòu),且每個卷積層和反卷積層輸出的FMs個數(shù)均為64,模型深層網(wǎng)絡(luò)特征與原始數(shù)據(jù)的超本地化特征相融合,如圖2中模塊(D)所示。一旦從圖像中提取出上下文解剖信息后,最后的分割結(jié)果將會在很大程度上受到特定體素信號強(qiáng)度的影響。同理,一旦確定腦腫瘤的大致位置后,各區(qū)域的邊界位置幾乎會由體素的亮度來確定,因此,本文WRN-PPNet模型在最后分割層之前的最后一個上采樣層上,再次將原始輸入圖像引入模型,以獲得超本地化特征。

2.3 模型訓(xùn)練及評估

為驗證本文模型的效果,初步設(shè)計實驗過程,包括訓(xùn)練數(shù)據(jù)擴(kuò)展、模型參數(shù)確定、模型訓(xùn)練,以及模型對腦腫瘤的初步分割過程。實驗環(huán)境為Ubuntu 16.04LTS,Python3,WRN-PPNet網(wǎng)絡(luò)模型由深度學(xué)習(xí)框架Tensorlayer搭建,模型在一塊顯存為12 GB的GPU (NVIDIA Titan X(Pascal))上訓(xùn)練。

2.3.1 模型相關(guān)參數(shù)

在WRN-PPNet模型中,WRN模塊的參數(shù)如表1所示。其中,M×M為原始輸入圖像的尺寸,本文中M=240,殘差塊加寬系數(shù)k=3,每組殘差塊個數(shù)N=4,B(3,3)表示殘差塊中2個卷積核為3×3的卷積層。PPNet模塊中所有層的節(jié)點數(shù)均為128,所有卷積層的卷積核大小均為3×3。在尺度恢復(fù)模塊中,最后一層節(jié)點數(shù)為1,其余層的節(jié)點數(shù)均為64,最后一個卷積層的卷積核大小為1×1,其余所有卷積層的卷積核大小均為3×3。模型中最后一層的激活函數(shù)為Sigmoid,其余所有層的激活函數(shù)均為ReLU。

表1 WRN模塊結(jié)構(gòu)參數(shù)

在模型訓(xùn)練過程中,代價函數(shù)采用軟Dice量(Soft Dice metric),優(yōu)化算法為自適應(yīng)矩估計法(Adaptive moment estimator,Adam)。Adam方法利用梯度的第一、第二階矩更新和矯正當(dāng)前梯度的移動平均值,這里Adam優(yōu)化器的學(xué)習(xí)率為0.001,最大訓(xùn)練次數(shù)為100,并在訓(xùn)練過程中采用Earlystopping方法監(jiān)督訓(xùn)練,驗證集損失超過可容忍區(qū)間時停止訓(xùn)練。在該過程中,按照正態(tài)分布初始化所有的權(quán)值,且初始化后權(quán)值的平均值為0,標(biāo)準(zhǔn)方差為0.01,所有偏移量初始化為0。

2.3.2 模型評價指標(biāo)

模型訓(xùn)練完成后,用測試數(shù)據(jù)評估模型性能,定量評估參數(shù)包括Dice系數(shù)、靈敏度(Sensitivity)系數(shù)、陽性預(yù)測率(Predictive Positivity Value,PPV)系數(shù)[16]。其中,Dice系數(shù)表示模型分割結(jié)果與專家分割的真實結(jié)果之間的重疊程度,靈敏度表示分割正確的腫瘤區(qū)域占腫瘤真實區(qū)域的比率,PPV表示模型分割正確的腦腫瘤區(qū)域占模型分割的腦腫瘤總區(qū)域的比率,三者計算公式如式(4)～式(6)所示。

(4)

(5)

(6)

其中,P為預(yù)測結(jié)果,T為真實結(jié)果,“∧”表示取交集,“+”表示取并集。

2.4 算法流程

本文算法在操作過程中分為5個步驟:

1)對MRI數(shù)據(jù)取切片并標(biāo)準(zhǔn)化切片。

2)利用數(shù)據(jù)擴(kuò)展法增加訓(xùn)練集數(shù)據(jù)。

3)建立WRN-PPNet腦腫瘤分割模型,模型包括WRN模塊、PPNet模塊以及尺度恢復(fù)模塊。

4)設(shè)置模型訓(xùn)練的相關(guān)參數(shù)和策略。

5)用測試集數(shù)據(jù)驗證模型的分割性能,并采用客觀評測方法評估模型。

3 實驗結(jié)果與分析

在本次實驗中,病人的MRI數(shù)據(jù)來源于Virtual Skeleton數(shù)據(jù)庫(Virtual Skeleton Dataset,VSD)[17],該數(shù)據(jù)庫來自2015年多模態(tài)腦腫瘤分割挑戰(zhàn)賽。從數(shù)據(jù)中隨機(jī)抽取60個病人的4種模態(tài)數(shù)據(jù),將其中50個病人的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),10個病人的數(shù)據(jù)作為測試數(shù)據(jù),切片化后可以得到7 750×4張訓(xùn)練切片和1 550×4張測試切片。其中,乘數(shù)4表示圖像模態(tài)數(shù),4種模態(tài)的切片如圖4所示。

圖4 4種模態(tài)的切片圖像

3.1 數(shù)據(jù)擴(kuò)展

為提高模型的分割性能,本文使用數(shù)據(jù)擴(kuò)展法增加訓(xùn)練數(shù)據(jù)的數(shù)量和模式。數(shù)據(jù)擴(kuò)展法具體如表2所示,其中,簡單的轉(zhuǎn)換方法包括翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放以及彈性畸變。對于一張切片,擴(kuò)展后的形態(tài)示例如圖5所示。

表2 數(shù)據(jù)擴(kuò)展法

圖5 擴(kuò)展前后的圖像形狀和模式示例

3.2 性能分析

為驗證本文WRN-PPNet模型的有效性,將其進(jìn)行模型訓(xùn)練。實驗使用深度學(xué)習(xí)框架Tensorlayer搭建WRN-PPNet模型,在一個GPU(NVIDIA Titan X(Pascal))上訓(xùn)練模型。設(shè)置最大訓(xùn)練迭代次數(shù)為100,訓(xùn)練集與驗證集的數(shù)據(jù)量之比為9∶1。驗證集不參與訓(xùn)練,只用于監(jiān)督模型訓(xùn)練過程,當(dāng)驗證集的精確度不再提高時,訓(xùn)練過程會提前終止。訓(xùn)練好的模型對4種模態(tài)切片的處理過程如圖6所示。

圖6 網(wǎng)絡(luò)模型中間層輸出可視化示例

實驗中對隨機(jī)抽取的4個病人的切片圖像進(jìn)行腦腫瘤分割,結(jié)果如圖7所示。從圖6、圖7可以看出,WRN-PPNet模型能精準(zhǔn)分割出腦腫瘤區(qū)域,且神經(jīng)網(wǎng)絡(luò)的淺層可以提取原始圖像中能夠大致確定腦腫瘤位置、輪廓等的外觀特征,較深層網(wǎng)絡(luò)提取的特征更抽象,這表明淺層網(wǎng)絡(luò)能夠提取精細(xì)的外觀特征,深層網(wǎng)絡(luò)能夠提取粗糙的語義信息。換言之,深度學(xué)習(xí)網(wǎng)絡(luò)的淺層就相當(dāng)于很多小的邊緣濾波器組合,隨著網(wǎng)絡(luò)層數(shù)的加深,網(wǎng)絡(luò)提取特征對應(yīng)的原始輸入圖像中的感受野越大,此時越偏向于提取整體的語義信息。因此,深層特征更復(fù)雜,表達(dá)能力也更強(qiáng),這對以后的模型設(shè)計將是一個啟發(fā)。

圖7 切片圖像腦腫瘤分割結(jié)果

為探究不同深度的WRN模塊提取的特征對腦腫瘤分割結(jié)果的影響,本文對WRN模塊中殘差塊個數(shù)N進(jìn)行多次取值,以改變網(wǎng)絡(luò)模型的深度,實驗結(jié)果如表3所示。其中,T表示分割一個病人腦腫瘤的時間。從表3可以看出,當(dāng)N=4時,WRN-PPNet模型對腦腫瘤的分割效果最好。

表3 寬殘差塊個數(shù)N對分割效果的影響

為突出本文算法的有效性,將其與文獻(xiàn)[7-8,10]算法進(jìn)行對比,定量評估結(jié)果如表4所示。從表4可以看出,本文算法的3種定量評估指標(biāo)值均超過對比算法。此外,本文算法完整分割出一個病人的腦腫瘤區(qū)域的平均時間為0.85 min,少于3個對比算法?？梢钥闯?本文算法無需復(fù)雜的前后期處理以及專家的人工干預(yù),可以完成全自動的腦腫瘤分割任務(wù)。

表4 不同算法的分割結(jié)果對比

4 結(jié)束語

在進(jìn)行腦腫瘤分割時,FCN方法易丟失上下文信息,ResNet深度網(wǎng)絡(luò)可能出現(xiàn)衰減特征重用問題。為此,本文在FCN的基礎(chǔ)上建立WRN-PPNet模型,用于多模態(tài)MRI腦腫瘤圖像分割。該模型增加金字塔池化模塊用于保留上下文信息,采用WRN模塊通過較淺網(wǎng)絡(luò)獲得與深度網(wǎng)絡(luò)相近的性能,在模型最后階段重新引入原始輸入切片,以提高模型的分割性能。實驗結(jié)果表明,該模型能夠在獲得較好分割效果的同時減少分割時間。但本文主要針對整個腦腫瘤區(qū)域分割進(jìn)行研究,今后將探索分割性能更好的深度學(xué)習(xí)網(wǎng)絡(luò)模型,以分割出包括腫瘤核區(qū)域、水腫區(qū)域、增強(qiáng)區(qū)域等腦腫瘤子區(qū)域。