結(jié)合小波融合和深度學(xué)習(xí)的腦膠質(zhì)瘤自動(dòng)分割

宮進(jìn)昌，王 宇，王遠(yuǎn)軍

結(jié)合小波融合和深度學(xué)習(xí)的腦膠質(zhì)瘤自動(dòng)分割

宮進(jìn)昌，王 宇，王遠(yuǎn)軍*

上海理工大學(xué) 醫(yī)學(xué)影像工程研究所，上海 200093

針對(duì)水腫區(qū)域邊界模糊和瘤內(nèi)結(jié)構(gòu)復(fù)雜多變導(dǎo)致的腦膠質(zhì)瘤分割不精確問題，本文提出了一種基于小波融合和3D-UNet網(wǎng)絡(luò)的腦膠質(zhì)瘤磁共振圖像自動(dòng)分割算法．首先，對(duì)腦膠質(zhì)瘤磁共振圖像的T1、T1ce、T2、Flair四種模態(tài)進(jìn)行小波融合以及偏置場(chǎng)校正；然后，提取待分類的圖像塊；再利用提取的圖像塊訓(xùn)練3D-UNet網(wǎng)絡(luò)以對(duì)圖像塊中的像素進(jìn)行分類；最后加載損失率較小的網(wǎng)絡(luò)模型進(jìn)行分割，并采用基于連通區(qū)域的輪廓提取方法，以降低假陽(yáng)性率．對(duì)57組Brats2018（Brain Tumor Segmentation 2018）磁共振圖像測(cè)試集進(jìn)行分割的結(jié)果顯示，腫瘤的整體、核心和水腫部分的平均分割準(zhǔn)確率（）分別達(dá)到90.64%、80.74%和86.37%，這表明該算法分割腦膠質(zhì)瘤準(zhǔn)確率較高，與金標(biāo)準(zhǔn)相近．相比多模態(tài)圖像融合前，該算法在減少輸入網(wǎng)絡(luò)數(shù)據(jù)量和圖像冗余信息的同時(shí)，還一定程度上解決了膠質(zhì)瘤邊界模糊、分割不精確的問題，提高了分割的準(zhǔn)確度和魯棒性．

腦膠質(zhì)瘤；多模態(tài)磁共振圖像；小波融合；深度學(xué)習(xí)；圖像分割

引 言

正常大腦由白質(zhì)、灰質(zhì)和腦脊液三種軟組織構(gòu)成，而腫瘤會(huì)導(dǎo)致腦部軟組織產(chǎn)生異常．腦膠質(zhì)瘤是成人腦腫瘤中最常見的原發(fā)性惡性腫瘤，發(fā)病率高、治愈率低[1]．磁共振成像（Magnetic Resonance Imaging，MRI）是臨床診斷腦膠質(zhì)瘤的技術(shù)之一．膠質(zhì)瘤的磁共振圖像呈現(xiàn)為一片異質(zhì)的腦瘤區(qū)域，通常包含4個(gè)部分：壞死區(qū)域、增強(qiáng)區(qū)域、水腫區(qū)域、非膠質(zhì)瘤病灶區(qū)域．由于膠質(zhì)瘤結(jié)構(gòu)復(fù)雜，因此多模態(tài)磁共振圖像能更清晰地顯示不同模態(tài)的結(jié)構(gòu)信息，但膠質(zhì)瘤不同模態(tài)的磁共振圖像差別較大、強(qiáng)調(diào)的信息不同．目前利用小波分解進(jìn)行圖像融合的方法可以把不同模態(tài)的圖像進(jìn)行融合，這樣可以使圖像包含盡可能少的冗余信息、最大程度豐富有效信息，使圖像盡可能清晰[2]．

近年來，有研究者提出了區(qū)域生長(zhǎng)法、水平集法、模糊聚類法和機(jī)器學(xué)習(xí)等腦腫瘤分割方法[3]．但是在分割腦腫瘤過程中，大多數(shù)方法需要醫(yī)生手動(dòng)分割．區(qū)域生長(zhǎng)法需要在圖像中提前設(shè)置一個(gè)種子點(diǎn)，Shih等[4]提出自動(dòng)選取種子點(diǎn)的方法，但是如果將種子點(diǎn)設(shè)置在正常區(qū)域會(huì)產(chǎn)生錯(cuò)誤的分割結(jié)果，且圖像的噪聲和灰度分布不均勻會(huì)導(dǎo)致過分割或欠分割．Yamasaki等[5]將GrowCut算法用于腦腫瘤分割，但該方法仍需設(shè)置種子區(qū)域．水平集法是基于主動(dòng)輪廓模型的分割方法，需要選擇最優(yōu)初始輪廓．Rana等[6]采用快速包圍盒算法選擇腫瘤區(qū)域的初始輪廓，利用水平集提取腫瘤邊界，但是錯(cuò)誤選擇初始輪廓會(huì)產(chǎn)生較大的誤差．模糊聚類法一般和均值或均值（均值是依據(jù)誤差平方和最小化的原則進(jìn)行聚類，而模糊的均值是均值聚類算法的推廣，其基本依據(jù)是加權(quán)誤差平方和最小化．兩者都是通過迭代的方法劃分類別．）聯(lián)合使用，但該方法需要明確數(shù)據(jù)分布的先驗(yàn)知識(shí)，假設(shè)的數(shù)據(jù)分布和真實(shí)數(shù)據(jù)分布接近時(shí)才可分割出魯棒性較好的結(jié)果[7,8]．傳統(tǒng)的腦瘤分割方法不僅過多地依賴醫(yī)學(xué)領(lǐng)域的先驗(yàn)知識(shí)，而且在分割過程中耗費(fèi)大量的人力和時(shí)間．而最近比較熱門的深度學(xué)習(xí)方法具有自我學(xué)習(xí)能力、通用性和高效性等特點(diǎn)，因此基于深度學(xué)習(xí)的醫(yī)學(xué)圖像自動(dòng)分割具有重要的研究?jī)r(jià)值．2006年，Hinton等[9]提出神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法并改進(jìn)后，得到大數(shù)據(jù)的支持，深度學(xué)習(xí)開始廣泛應(yīng)用于圖像、語(yǔ)音識(shí)別等領(lǐng)域．研究表明，基于深度學(xué)習(xí)的計(jì)算機(jī)輔助診斷可給醫(yī)生提供參考診斷結(jié)果，還可避免醫(yī)生在診斷中的主觀錯(cuò)誤[10-14]．目前常用基于深度學(xué)習(xí)的膠質(zhì)瘤分割方法主要是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的全自動(dòng)分割，需要大量的樣本和標(biāo)記信息訓(xùn)練網(wǎng)絡(luò)模型以提高分割精度[15]．

本文針對(duì)當(dāng)前基于深度學(xué)習(xí)的腦膠質(zhì)瘤分割方法中需要大量的訓(xùn)練樣本、計(jì)算機(jī)算力不足的問題，通過多模態(tài)數(shù)據(jù)融合減少訓(xùn)練樣本、降低內(nèi)存占用、增加網(wǎng)絡(luò)訓(xùn)練速度．同時(shí)在UNet網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建3D-UNet模型，實(shí)現(xiàn)多模態(tài)磁共振圖像腦膠質(zhì)瘤及瘤內(nèi)不同區(qū)域的分割，以提高分割精度．相比2D-UNet模型，我們采用3D圖像塊對(duì)3D體素進(jìn)行卷積和反卷積，結(jié)合3D體素的局部細(xì)節(jié)特征和全局輪廓特征生成像素級(jí)別的分割結(jié)果．并采用批量歸一化（Batch Normalization，BN），提高訓(xùn)練速度、減弱正則化[23,24]．我們選取了Brats2018（Brain Tumor Segmentation 2018）數(shù)據(jù)集分別進(jìn)行融合前和融合后的全自動(dòng)分割對(duì)比實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了定性和定量評(píng)價(jià)．

1 方法

1.1 基于小波分解的多模態(tài)圖像融合

圖像融合分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合三個(gè)層次．像素級(jí)融合是將各源圖像或其變換圖像中對(duì)應(yīng)像素點(diǎn)的灰度值進(jìn)行融合，獲取的融合結(jié)果信息最為豐富，是當(dāng)前融合的主要研究方向；特征級(jí)融合將一些關(guān)注的特征集從原始數(shù)據(jù)中抽取出來進(jìn)行融合，易丟失圖像中的重要信息，融合后圖像失真較嚴(yán)重；決策級(jí)融合是從每一份獨(dú)立的原始數(shù)據(jù)中獲取決策，再將它們合并形成一個(gè)全局性的決策，工作過程復(fù)雜且不易實(shí)現(xiàn)．而基于像素級(jí)的融合方法可以主要分為三大類：基于小波變換的融合算法，基于塔分解算法的融合方法和基于梯度場(chǎng)的融合方法．由于本文處理的是大批量數(shù)據(jù)，融合過程要求簡(jiǎn)單、快速、有效，所以采用了基于離散小波變換（Discrete Wavelet Transformation，DWT）的融合算法[25]．我們對(duì)T1、Tlce、T2、Flair四種模態(tài)的3D MRI數(shù)據(jù)直接進(jìn)行小波融合，圖1為融合流程圖．

圖1 基于小波分解的圖像融合流程

其中、、和分別是四個(gè)低頻分量的融合系數(shù)，，本文實(shí)驗(yàn)中設(shè)置、、、、．

表1 低頻分量不同的融合系數(shù)對(duì)比

圖3 不同系數(shù)的融合結(jié)果. (a) Group 1; (b) Group 2; (c) Group 3; (d) Group 4（Groups 1~4與表1相同）

最后，對(duì)融合系數(shù)進(jìn)行小波逆變換操作，重構(gòu)圖像，得到融合圖像．對(duì)融合圖像采用信息熵評(píng)價(jià)，如(4)式所示．

圖4是Brats2018數(shù)據(jù)集中Brats18_2013_10_1患者四種模態(tài)的磁共振圖像及其融合圖，F(xiàn)lair、T1、T1ce、T2圖像和融合圖的信息熵分別為5.745 9、5.550 0、5.339 7、5.738 8和5.746 1，融合圖的信息熵最大，所含信息量最大．從圖4(e)可看出，融合圖結(jié)合了四種模態(tài)磁共振圖像的有效信息，補(bǔ)充膠質(zhì)瘤病灶部分，使邊緣輪廓更加清晰，有利于進(jìn)一步的分割．

圖4 融合效果圖. (a) Flair; (b) T1; (c) T1ce; (d) T2; (e)融合圖像

1.2 模型架構(gòu)

圖5 3D-UNet架構(gòu)流程

1.3 訓(xùn)練

利用融合圖像和金標(biāo)準(zhǔn)來訓(xùn)練網(wǎng)絡(luò)，分割腦膠質(zhì)瘤及瘤內(nèi)結(jié)構(gòu)，從截?cái)嗟恼龖B(tài)分布中輸出標(biāo)準(zhǔn)偏差為0.1的隨機(jī)值來初始化權(quán)重參數(shù)．提取圖像塊時(shí)，對(duì)金標(biāo)準(zhǔn)中標(biāo)記為病變部分的所有像素進(jìn)行采樣，非病變像素在其周圍提取圖像塊，以解決醫(yī)學(xué)圖像數(shù)據(jù)類別不平衡的問題．由于最大池化僅提取了相鄰區(qū)域的最大特征，但分割需檢測(cè)圖像的細(xì)微特征，故在最大池化的感受野之間存在重疊以保持圖像細(xì)節(jié)信息．由于池化層會(huì)丟失圖像信息，降低圖像分辨率且不可逆，對(duì)圖像分割任務(wù)有影響，而上采樣可以補(bǔ)足一些圖片的信息，但是信息補(bǔ)充不夠完全，所以需要與分辨率較高的圖片拼接．隨著卷積次數(shù)增多，提取的特征也更加有效、更加抽象．為降低過擬合，在上采樣之前加入dropout正則化，丟棄率為0.5[27]．由于圖像特征分為壞死、增強(qiáng)、水腫和非膠質(zhì)瘤病灶區(qū)域，故將網(wǎng)絡(luò)輸出層設(shè)置為4通道．后處理階段使用基于連通區(qū)域的輪廓提取方法以降低假陽(yáng)性，本文提出的算法流程見圖6．

圖6 本文提出算法的流程圖

在最后一層中結(jié)合交叉熵代價(jià)函數(shù)和損失函數(shù)Softmax來更新權(quán)重參數(shù)并產(chǎn)生預(yù)測(cè)的概率分布，Softmax的定義如下：

1.4 梯度計(jì)算

2 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)

2.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

實(shí)驗(yàn)過程中，訓(xùn)練集用來擬合模型，通過設(shè)置分類器的參數(shù)訓(xùn)練分類模型．驗(yàn)證集是當(dāng)通過訓(xùn)練集訓(xùn)練出多個(gè)模型后，為了找出效果最佳的模型，使用各個(gè)模型對(duì)驗(yàn)證集數(shù)據(jù)進(jìn)行預(yù)測(cè)，并記錄準(zhǔn)確率，選出效果最佳的模型所對(duì)應(yīng)的參數(shù)，即調(diào)整模型參數(shù)．測(cè)試集是通過訓(xùn)練集和驗(yàn)證集得出最優(yōu)模型后，使用測(cè)試集進(jìn)行模型預(yù)測(cè)，用于衡量最優(yōu)模型的性能和分類能力．訓(xùn)練集、驗(yàn)證集、測(cè)試集常見的劃分方法有：留出法、交叉驗(yàn)證法和自助法．我們采用留出法來劃分，留出法常見的做法是將2/3~4/5的樣本用于訓(xùn)練．因此我們將訓(xùn)練集、驗(yàn)證集、測(cè)試集按3:1:1的比例隨機(jī)分配．

2.2 預(yù)處理

圖7 預(yù)處理效果對(duì)比圖. (a) HGG1預(yù)處理前；(b) HGG1預(yù)處理后；(c) HGG2預(yù)處理前；(d) HGG2預(yù)處理后

2.3 評(píng)價(jià)指標(biāo)

數(shù)據(jù)庫(kù)中HGG分割結(jié)果包含水腫、增強(qiáng)和壞死區(qū)域，LGG的增強(qiáng)和壞死區(qū)域較難區(qū)分，臨床中并未嚴(yán)格區(qū)分增強(qiáng)和壞死的金標(biāo)準(zhǔn)，為便于算法性能統(tǒng)一比較，將增強(qiáng)和壞死區(qū)域合并統(tǒng)計(jì)為腦膠質(zhì)瘤核心區(qū)域的分割精度．融合后圖像均為155層，最終的定量評(píng)價(jià)結(jié)果是所有層分割結(jié)果的平均值．采用Dice相似系數(shù)（Dice Similarity Coefficient，）、陽(yáng)性預(yù)測(cè)值（Positive Predictive Value，）和敏感性（Sensitivity，）作為定量評(píng)價(jià)指標(biāo)對(duì)膠質(zhì)瘤及瘤內(nèi)結(jié)構(gòu)的平均分割效果進(jìn)行客觀評(píng)價(jià)，計(jì)算方式如(15)~(17)式所示：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 結(jié)果分析

本文利用構(gòu)建的3D-UNet網(wǎng)絡(luò)實(shí)現(xiàn)腦部磁共振圖像膠質(zhì)瘤及瘤內(nèi)結(jié)構(gòu)的分割，融合前后的分割結(jié)果對(duì)比如圖8所示．圖8(a)和8(b)分別是兩例HGG[（Brats18_CBICA_AAB_1，HGG1）和（Brats18_2013_10_1，HGG2）]和兩例LGG[（Brats18_TCIA10_625_1，LGG1）和（Brats18_2013_9_1，LGG2）]病例未融合和融合后的分割對(duì)比圖．

圖8 分割結(jié)果與金標(biāo)準(zhǔn)對(duì)比. (a) HGG；(b) LGG

圖8(a)第一列為T1ce圖像；第二列為各病例的金標(biāo)準(zhǔn)，即GT；第三列為未融合的HGG分割結(jié)果；第四列為融合后的HGG分割結(jié)果．其中，灰色代表水腫區(qū)域，白色代表增強(qiáng)區(qū)域，黑色代表壞死區(qū)域．由于Flair和T1的腫瘤區(qū)域模糊不清，而T2過于明亮，不利于腫瘤區(qū)域顯示，故利用T1ce作對(duì)比．圖8(a)第一行未融合的分割結(jié)果與金標(biāo)準(zhǔn)相比，壞死區(qū)域和水腫區(qū)域邊界影像特征不明顯，增強(qiáng)區(qū)域與金標(biāo)準(zhǔn)接近，而融合后的分割結(jié)果壞死部分與金標(biāo)準(zhǔn)高度相似，提高了分割精度；第二行未融合的分割結(jié)果與金標(biāo)準(zhǔn)相比，增強(qiáng)區(qū)域和壞死區(qū)域與金標(biāo)準(zhǔn)相近，但水腫區(qū)域的邊界假陽(yáng)性較高，而融合后的水腫區(qū)域邊界更接近金標(biāo)準(zhǔn)，減少了假陽(yáng)性．

圖8(b)的第一列為T1ce圖；第二列為各病例的金標(biāo)準(zhǔn)；第三列為未融合的LGG分割結(jié)果；第四列為融合后的LGG分割結(jié)果．其中，白色代表水腫區(qū)域，灰色代表核心區(qū)域．圖8(b)第一行未融合的分割結(jié)果與金標(biāo)準(zhǔn)相比，核心區(qū)域較接近，水腫區(qū)域邊界出現(xiàn)欠分割，而融合后水腫區(qū)域邊界更接近金標(biāo)準(zhǔn)，提高了分割準(zhǔn)確率；第二行未融合的分割結(jié)果與金標(biāo)準(zhǔn)相比，水腫區(qū)域邊界和核心區(qū)域出現(xiàn)過分割，而融合后水腫區(qū)域邊界更接近金標(biāo)準(zhǔn)，提高了分割精度．可以看出本文算法分割結(jié)果與金標(biāo)準(zhǔn)相似度較高，對(duì)水腫區(qū)域基本能夠分割準(zhǔn)確，對(duì)核心區(qū)域分割略有偏差，整體分割效果較理想．

3.2 分割算法性能評(píng)價(jià)

為進(jìn)一步證明本文算法的有效性，分別選取其中10例HGG和10例LGG的水腫、核心區(qū)域和整體分割結(jié)果進(jìn)行了定量評(píng)價(jià)，從表2和表3可看出，本文算法取得了較好的分割結(jié)果．未融合HGG和LGG水腫部分的平均分別為85.52%和86.74%，而融合后分別為86.44%和89.30%；未融合HGG和LGG核心區(qū)域的平均分別為83.76%和64.71%，而融合后該部分平均分別為86.52%和74.96%；未融合HGG和LGG整體的平均分別為86.16%和88.28%，而融合后分別為89.96%和91.31%．由于HGG的增強(qiáng)和壞死部分組織差異較明顯，而LGG該影像特征不明顯，各部分組織都比較模糊，故HGG相比于LGG的核心區(qū)域分割結(jié)果相對(duì)較好．

表2 融合后和未融合HGG分割結(jié)果的DSC指標(biāo)分析

我們采用留出法隨機(jī)分配Brats2018數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并將1/5的數(shù)據(jù)作為測(cè)試集，表4定量對(duì)比了57例測(cè)試集融合后和未融合的平均分割結(jié)果，可看出融合后的分割結(jié)果明顯優(yōu)于未融合．本文算法的的平均值達(dá)到85.92%，為86.02%，為83.97%．由于腫瘤的核心區(qū)域邊界較清晰，而且融合后膠質(zhì)瘤的核心區(qū)域得到增強(qiáng)，因此該部分準(zhǔn)確率優(yōu)于水腫區(qū)域．整體的分割結(jié)果還包括分割全腦與背景區(qū)域的精度，而全腦和背景區(qū)域的灰度差別較明顯，故整體的平均高于水腫區(qū)域和核心區(qū)域．融合后的圖像在增加有效信息的同時(shí)，小部分噪聲得到了增強(qiáng)，造成膠質(zhì)瘤水腫區(qū)域出現(xiàn)邊界模糊的情況，因此和的整體分割精度差距不明顯．融合后，每例數(shù)據(jù)分割程序的平均運(yùn)行時(shí)間為348 s，未融合每例數(shù)據(jù)分割程序的平均運(yùn)行時(shí)間為399 s，平均運(yùn)行時(shí)間約減少50 s，57例測(cè)試集分割的平均運(yùn)行時(shí)間約減少2 850 s，整體運(yùn)行速度約提高20%．

表4 融合后與未融合結(jié)果性能對(duì)比

表5定量對(duì)比了后處理階段各個(gè)病變區(qū)域的平均分割結(jié)果．在實(shí)驗(yàn)的后處理階段，首先生成二值圖像，通過尋找中心像素的最大連通區(qū)域，得到每個(gè)病變的邊界框，將不同的病變分離出來．后處理后的病變輪廓更清晰，平均、和分別達(dá)到了85.92%、86.02%和83.97%，故采用基于連通區(qū)域的輪廓提取的結(jié)果優(yōu)于處理之前．

表5 后處理前后結(jié)果性能對(duì)比

4 結(jié)論

[1] MENZE B H, JAKABA, BAUER S, et al. The multimodal brain tumor image segmentation benchmark (BRATS)[J]. IEEE Trans Med Imaging, 2015, 34(10): 1993-2024.

[2] DENG A, WU J, YANG S. An image fusion algorithm based on discrete wavelet transform and canny operator[M]. Berlin Heidelberg: Springer, 2011.

[3] LEVINE M D, SHAHEEN S I. A modular computer vision system for picture segmentation and interpretation[J]. IEEE Trans Pattern Anal Mach Intell, 1981, 3(5): 540-556.

[4] SHIH F Y, CHENG S. Automatic seeded region growing for color image segmentation[M]. London: Butterworth-Heinemann, 2005.

[5] YAMASAKI T. GrowCut-based fast tumor segmentation for 3D magnetic resonance images[C]// Medical Imaging: Image Processing. San Diego, California, USA: International Society for Optics and Photonics, 2012.

[6] RANA R, BHADAURIA H S, SINGH A. Brain tumour extraction from MRI images using bounding-box with level set method[C]// Sixth International Conference on Contemporary Computing. Noida, India: IEEE, 2013.

[7] SELVAKUMAR J, LAKSHMI A, Arivoli T. Brain tumor segmentation and its area calculation in brain MR images using K-mean clustering and Fuzzy C-mean algorithm[C]// International Conference on Advances in Engineering. Singapore: IEEE, 2012.

[8] CLARKE L P, VELTHUIZEN R P, CAMACHO M A, et al. MRI segmentation: methods and applications[J]. Magn Reson Imaging, 1995, 13(3): 343-368.

[9] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[10] ZHANG W L, LI R J, DENG H T, et al. Deep convolutional neural networks for multi-modality isointense infant brain image segmentation[J]. Proc IEEE Int Symp Biomed Imaging, 2015, 108: 1342-1345.

[11] LIAO S, GAO Y Z, OTO A, et al. Representation learning: A unified deep learning framework for automatic prostate MR segmentation[J]. Med Image Comput Comput Assist Interv, 2013, 16(2): 254-261.

[12] GUO Y R, GAO Y Z, SHEN D G. Deformable MR prostate segmentation via deep feature learning and sparse patch matching[J]. IEEE Trans Med Imaging, 2016, 35(4): 1077-1089.

[13] WU G R, KIM M, WANG Q, et al. Unsupervised deep feature learning for deformable registration of MR brain images[J]. Med Image Comput Comput Assist Interv, 2013, 16(2): 649-656.

[14] XIAO Z, HUANG R H, DING Y, et al. A deep learning-based segmentation method for brain tumor in MR images[C]//2016 IEEE 6th International Conference on Computational Advances in Bio and Medical Sciences (ICCABS). Atlanta, Georgia, USA: IEEE, 2016.

[15] WANG H Z, ZHAO D, YANG L Q, et al. An approach for training data enrichment and batch labeling in AI+MRI aided diagnosis[J]. Chinese J Magn Reson, 2018(4): 447-456. 汪紅志, 趙地, 楊麗琴, 等. 基于AI+MRI的影像診斷的樣本增廣與批量標(biāo)注方法[J]. 波譜學(xué)雜志, 2018(4): 447-456.

[16] HAVAEI M, DAVY A, WARDE-FARLEY D, et al. Brain tumor segmentation with deep neural networks[J]. Med Image Anal, 2015, 35: 18-31.

[17] PEREIRA S, PINTO A, ALVES V, et al. Brain tumor segmentation using convolutional neural networks in MRI images[J]. IEEE Trans Med Imaging, 2016, 35(5): 1240-1251.

[18] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention. Munich, Germany: Springer, 2015. 9351: 234-241.

[19] KAMNITSAS K, LEDIG C, NEWCOMBE V F J, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J].Med Image Anal, 2017, 36: 61-78.

[20] CASAMITJANA A, PUCH S, ADURIZ A, et al. 3D convolutional neural networks for brain tumor segmentation: a comparison of multi-resolution architectures[C]// International Workshop on Brainlesion: Glioma. Quebec, Canada: Springer, 2017.

[21] CHEN L L, WU Y, DSOUZA A M, et al. MRI tumor segmentation with densely connected 3D CNN[C]// Medical Imaging 2018: Image Processing. Houston, Texas, United States: International Society for Optics and Photonics, 2018, 10574: 105741F.

[22] MEHTA R, ARBEL T. RS-Net: Regression-segmentation 3D CNN for synthesis of full resolution missing brain MRI in the presence of tumours[C]// International Workshop on Simulation and Synthesis in Medical Imaging. Granada, Spain: Springer, 2018.

[23] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016: 2818-2826.

[24] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. ICML, 2015.

[25] CIAMPI M. Medical image fusion for color visualization via 3D RDWT[C]// IEEE International Conference on Information Technology & Applications in Biomedicine. Corfu, Greece: IEEE, 2010.

[26] CHAI Q H, SU G Q, NIE S D. Compressive sensing low-field MRI reconstruction with dual-tree wavelet transform and wavelet tree sparsity[J]. Chinese J Magn Reson, 2018, 35(4): 486-497. 柴青煥, 蘇冠群, 聶生東. 雙樹小波變換與小波樹稀疏聯(lián)合的低場(chǎng)CS-MRI算法[J]. 波譜學(xué)雜志, 2018, 35(4): 486-497.

[27] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. J Mach Learn Res, 2014, 15(1): 1929-1958.

[28] BOCK S, GOPPOLD J, WEI M. An improvement of the convergence proof of the ADAM-optimizer[J]. Computer Science, 2018. arXiv:1804.10587

[29] TUSTION N J, AVANTS B B, COOK P A, et al. N4ITK: improved N3 bias correction[J]. IEEE Trans Med Imaging, 2010, 29(6): 1310-1320.

[30] KAO P Y, NGO T, ZHANG A, et al. Brain tumor segmentation and tractographic feature extraction from structural MR images for overall survival prediction[C]// International MICCAI Brainlesion Workshop. Granada, Spain: Springer, 2018.

[31] WENINGER L, RIPPEL O, KOPPERS S, et al. Segmentation of brain tumors and patient survival prediction: methods for the BraTS 2018 challenge[C]// International MICCAI Brainlesion Workshop. Granada, Spain: Springer, 2018.

A Method for Segmentation of Glioma on Multimodal Magnetic Resonance Images Based on Wavelet Fusion and Deep Learning

，，*

Institute of Medical Imaging Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China

An automatic algorithm based on wavelet fusion is proposed for segmenting brain glioma with blurred boundaries and complex intratumoral structures on multimodal magnetic resonance (MR) images. Firstly, the T1, T1ce, T2 and Flair MR images of brain glioma are fused with the bias field corrected. Secondly, the image blocks to be classified are extracted, and the 3D-UNet network is trained to classify the pixels in the image blocks. Finally, the trained network model is used for segmentation, and the contour extraction method based on connected regions is used to reduce false positives. The average segmentation accuracy () of the whole, core and edema parts of the tumors was found to be 90.64%, 80.74% and 86.37%, respectively. The results indicated that the accuracy of the algorithm proposed was similar with or higher than the gold standard method. Compared with the method without multimodal image fusion, the algorithm proposed not only reduced the amount of data and redundant information in the input network, but also improved the accuracy and robustness of segmentation.

glioma, multimodal magnetic resonance image, wavelet fusion,deep learning,image segmentation

TP391; O482.53

A

10.11938/cjmr20192709

2019-01-18;

2019-04-03

國(guó)家自然科學(xué)基金資助項(xiàng)目(61201067)；上海市自然科學(xué)基金資助項(xiàng)目(18ZR1426900).

* Tel: 13761603606, E-mail: yjusst@126.com.