一種基于3D-CNN的腦部多發(fā)性硬化癥病灶分割方法

劉涵 王碩 孔憲媛 黃俊輝 馬磊 相艷 邵黨國 王海東 張雄

1昆明理工大學(xué)信息工程與自動化學(xué)院650031；2昆明理工大學(xué)第一附屬醫(yī)院資產(chǎn)管理部650032

0 引 言

多發(fā)性硬化癥（multiple sclerosis，MS）是一種影響中樞神經(jīng)系統(tǒng)的常見慢性免疫介導(dǎo)的致殘性神經(jīng)系統(tǒng)疾病[1]，多數(shù)患者的病程表現(xiàn)為緩解與復(fù)發(fā)交替發(fā)生，而且不斷進展。多發(fā)性硬化癥病灶主要出現(xiàn)在腦白質(zhì)（white matter），并在空間和時間上呈現(xiàn)多發(fā)性[2]。傳統(tǒng)的MS 診斷方法主要依據(jù)患者的臨床表現(xiàn)，并輔以實驗室檢查。隨著磁共振成像（magnetic resonance imaging，MRI）技術(shù)的發(fā)展，MS診斷的準確性有了極大的提高。醫(yī)生通常會基于患者腦部MRI 圖像，進行MS 病灶的人工分割，通過分析病灶大小、位置來分析病情，制定治療方案。但是，每位患者的加權(quán)腦部MRI 圖像的數(shù)量均達數(shù)百幅，處理起來十分耗時、費力，且人工處理會產(chǎn)生很多誤差。因此，腦部MRI 圖像MS 病灶的自動分割方法對于臨床診斷具有重大意義。

近年來，許多MS 病灶的自動分割方法被提出，其中包括無監(jiān)督方法和有監(jiān)督方法。無監(jiān)督方法無須進行模型訓(xùn)練和標簽數(shù)據(jù)，認為病灶組織為數(shù)據(jù)中的異常值[3]。例如，有研究者使用聚類的方法分割健康組織和病灶組織，將病灶部分建模成一個單獨的組織[4-5]。Garcia-Lorenzo 等[6]將基于最大期望值的算法與mean shift 算法結(jié)合來分割MS 病灶。有監(jiān)督的方法則需要大量有標簽的數(shù)據(jù)進行訓(xùn)練。Jesson和Arbel[7]提出基于隨機森林方法分割MS 病灶。Wu等[8]將自動K-nearest（KNN）分割技術(shù)與模板驅(qū)動的分割方法進行組合，利用空間信息來分割MS 病灶。

隨著計算機性能的提升，深度學(xué)習(xí)技術(shù)快速發(fā)展，研究者對神經(jīng)網(wǎng)絡(luò)模型在醫(yī)學(xué)圖像分割中的應(yīng)用進行了大量研究。與傳統(tǒng)機器學(xué)習(xí)方法相比，深度神經(jīng)網(wǎng)絡(luò)不需要手動特征設(shè)置，其中卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）由于其在局部特征抽取方面的突出能力，在醫(yī)學(xué)圖像處理中，特別在組織分割和腦腫瘤分割中被廣泛應(yīng)用[9]。De Brebisson 和Montana[10]訓(xùn)練了8 個平行排列的網(wǎng)絡(luò)，每個網(wǎng)絡(luò)有7 層CNN 架構(gòu)來進行全腦解剖結(jié)構(gòu)分割。Chen 等[11]提出了一種 3D CNN 模型（VoxResNet），用來進行腦部組織分割，其是基于ResNet 網(wǎng)絡(luò)[12]的拓展，深度較淺。上述模型對于特定的醫(yī)學(xué)圖像分割任務(wù)有較好的效果，也為深度神經(jīng)網(wǎng)絡(luò)模型用于MS 病灶分割提供了借鑒。

鑒于CNN 對于圖像具有較好的特征抽取能力，以及在3D 空間上對MS 病灶進行分割對于臨床診斷有重要意義，本文中提出了一種基于兩階段3D-CNN的MS 病灶分割方法。在MICCAI 2016 公共數(shù)據(jù)集上，對所提出的方法進行了驗證，并與其他基線方法進行了比較，結(jié)果顯示所提出方法的相似性系數(shù)（dice similarity coefficient，DSC）性能優(yōu)于其他基線方法。

1 基于兩階段的3D-CNN 分割方法

基于兩階段的3D-CNN 的MS 病灶分割方法的主要流程包括：預(yù)處理、數(shù)據(jù)準備、分類器訓(xùn)練和分割。預(yù)處理包括降采樣、圖像配準、偏移場修正和去除非腦組織；數(shù)據(jù)準備包括數(shù)據(jù)擴充，將3D 數(shù)據(jù)劃分為不同的子塊；分類器訓(xùn)練包括兩階段的CNN 分類器訓(xùn)練，得到最優(yōu)的CNN 濾波器；最后，基于最優(yōu)CNN 濾波器，實現(xiàn)MS 病灶的分割。

1.1 預(yù)處理

首先，使用MATLAB 軟件中的SPM 工具將每組多模態(tài)圖像中的FLAIR 和T2 加權(quán)圖像配準到T1 空間[13]。然后，使用 Brain Extraction Tool 2.1 工具包去除所有圖像中的非腦組織，以避免腦皮層與顱骨對分割結(jié)果的影響[14]。接著，使用N3 工具進行偏移場修正[15]。最后，對所有圖像進行降采樣，將圖像尺寸從 144 px × 512 px × 512 px 減少到 72 px ×256 px×256，以達到減少參數(shù)、計算量和訓(xùn)練時間的目的，同時該操作對訓(xùn)練網(wǎng)絡(luò)中提取的特征沒有過多的影響，并且能在一定程度上防止過擬合。

金標準數(shù)據(jù)也需要降采樣到72 px × 256 px ×256，然后將金標準數(shù)據(jù)與對應(yīng)降采樣后的T1 加權(quán)圖像配準。圖像配準是為了使不同模態(tài)的MR 圖像在空間位置上達到一致。預(yù)處理前后的圖像如圖1所示，該圖像為MICCAI 2016 公共數(shù)據(jù)集[16]的Case1圖像的FLAIR 加權(quán)圖，第320 斷層。

圖1 原始圖像和預(yù)處理后的圖像

1.2 數(shù)據(jù)準備

使用圖像數(shù)據(jù)擴增方法，解決訓(xùn)練數(shù)據(jù)較少的問題。在輸入數(shù)據(jù)時，對每個圖像進行軸平面上的180°旋轉(zhuǎn)。該操作不會改變數(shù)據(jù)的特征，同時增加了訓(xùn)練數(shù)據(jù)。然后將每個3D 圖像進行灰度歸一化，并劃分為大小為 px×py×pz的 3D 子塊，其中 p 表示每個維度上的尺寸。

所有選擇的 3D 子塊組成 P=[n，c，px，py，pz]，其中n 和c 分別表示中心體素的數(shù)量和輸入模態(tài)數(shù)量。這樣，整個模型的輸入是通過對初始圖像進行采樣后，形成的多模態(tài)3D 子塊數(shù)據(jù)集合。

1.3 基于3D-CNN 的分割模型

研究結(jié)果表明，在深度學(xué)習(xí)中如果中有大量的訓(xùn)練數(shù)據(jù)可以使用，則增加CNN 層數(shù)可以提高神經(jīng)網(wǎng)絡(luò)分類任務(wù)的準確性[17]。與較淺的網(wǎng)絡(luò)相比，深層次網(wǎng)絡(luò)的參數(shù)數(shù)量會增加，也會增加訓(xùn)練的難度。在傳統(tǒng)的MS 病灶分割中，手動標注MS 病灶耗時耗力，可用的帶標簽圖像數(shù)量有限。此外，腦部MRI圖像的特性是組織變化較小，從整個可用體素的數(shù)量來看，只有極少數(shù)的病變體素（病灶體積大約為大腦總體積的1.5%），即正類樣本數(shù)量較少，訓(xùn)練樣本極不平衡。這種類型的數(shù)據(jù)更加適合較淺層的網(wǎng)絡(luò)，能夠減少過擬合。因此，使用兩階段的CNN 模型，通過對訓(xùn)練數(shù)據(jù)的充分采樣，將訓(xùn)練過程分為由粗到精的兩個階段。該模型參數(shù)較少，同時考慮了樣本的不平衡性，能防止過擬合，保證MS 病灶分割的準確性。

圖2 所示為整個3D-CNN 的框架。第一階段，向CNN1 輸入多模態(tài)圖像的采樣子塊進行訓(xùn)練，其輸出進行重采樣后作為第二階段CNN2 的輸入。每個階段由兩個卷積層（CONV） 和最大池化層（max pooling，MP）、一個全連接層（full connection，F(xiàn)C）和一個softmax 層組成。第一個卷積層有32 個濾波器，第二個卷積層有64 個濾波器，MP 之后是全連接層和softmax 層，最后輸出分割后的病灶圖像。具體分割步驟如圖2 所示。

（一）根據(jù)數(shù)據(jù)準備階段得到的子塊集P 及其對應(yīng)的金標準圖像，得到每個子塊的標簽列表Ln。該標簽列表由專家標注。當(dāng)體素n 是病灶時，Ln=1，為正類；當(dāng)體素n 不是病灶（正常組織）時，Ln=0，為負類。

（二）為了處理數(shù)據(jù)不平衡，隨機對P 中的負類體素欠采樣。訓(xùn)練集F1由隨機抽樣的正類體素和相同數(shù)量的負類體素組成。

（三）使用平衡樣本集F1訓(xùn)練第一階段的CNN1。用CNN1 模型評估P 中所有數(shù)據(jù)，輸出為每個體素n 屬于正類的概率。

（五）最后使用平衡特征集F2訓(xùn)練CNN2。CNN2的輸出是每個體素為MS 病灶的概率同樣，若某體素的則判定其為正類，即為精確篩選的病灶體素。

2 分割實驗方法

2.1 數(shù)據(jù)集

所用的實驗數(shù)據(jù)來自國際醫(yī)學(xué)圖像計算和計算機輔助干預(yù)國際會議（MICCAI 2016）。數(shù)據(jù)包括15 位患者的 MRI 圖像，包含 T1、T2、FLAIR 等多個模態(tài)，每幅圖像尺寸為144 px×512 px×512 px。圖像分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，同時給出了專家為每個患者標注出病灶的二值圖像，可作為評測模型的金標準。

2.2 分割實驗設(shè)置

使用Python 3 語言進行編程，使用了Lasagne 和keras 庫。分割實驗在一臺計算機上進行，該機系統(tǒng)內(nèi)存為32 GB，圖形處理器（graphics processing unit，GPU）型號為 NVIDIA 1070（內(nèi)含 8 GB 內(nèi)存），軟件系統(tǒng)為ubuntu 14.04。在實驗前，對輸入子塊的大小p 經(jīng)過多次驗證，最終按照經(jīng)驗，設(shè)置為p=11 px。網(wǎng)絡(luò)參數(shù)采用自適應(yīng)學(xué)習(xí)速率法進行學(xué)習(xí)，批大小為128，損失代價為分類交叉熵[18]。在FC 層前使用Dropout 為0.5 的操作[19]。經(jīng)過多次實驗，確定每個濾波器大小設(shè)置為3×3×3，此時訓(xùn)練效果最優(yōu)。

2.3 評測指標

選用相似性系數(shù)（dice similarity coefficient，DSC）、真陽性率（true positive rate，TPR）和陽性預(yù)測率（positive predictive value，PPV）作為腦部 MS 病灶分割結(jié)果的評價指標。

圖2 3D-CNN 分割模型

DSC 用于描述分割結(jié)果和金標準之間的重疊程度，表達式為

式中：TP（true positive）為真陽性，表示預(yù)測結(jié)果和金標準均為正類的樣本數(shù)；FP（false positive）為假陽性，表示預(yù)測結(jié)果正類，而金標準為負類的樣本數(shù)；FN（false negative）為假陰性，表示預(yù)測結(jié)果為負類，金標準為正類的樣本數(shù)目；TN（true negative）為真陰性，表示預(yù)測結(jié)果為負類，金標準為負類的樣本數(shù)。

真陽性率TPR 反映正類樣本的正確分類的百分比，表達式為

陽性預(yù)測率PPV 指分類出的全部陽性例數(shù)中，真陽性所占的比例，反映分類結(jié)果中患MS 的可能性。

3 分割實驗結(jié)果及分析

在15 組MRI 數(shù)據(jù)中，選擇1 組作為測試集，10組作為訓(xùn)練集，4 組作為驗證集。對15 組數(shù)據(jù)進行了分割測試，共得到15 組分割結(jié)果，具體評價指標見表1。

表1 分割實驗結(jié)果

陽性預(yù)測值（positive predictive value，PPV）＝TP/（TP＋FP）×100%

結(jié)果表明，15 組數(shù)據(jù)的DSC 均值為59.13%，TPR 均值為55.57%，PPV 均值為79.27%。其中，最高的 DSC、TPR 和 PPV 分別為 82.41%，83.21%和99.17%。此外，當(dāng)只分析病灶體積>5 cm3的10 組圖像時，DSC、TPR 和 PPV 均值可分別達 70.41%，62.85%和83.83%，基本達到人類的分類水平。當(dāng)患者MS病灶體積較小時，自動分割方法的誤差較大。實際上，對病灶體積較小的圖像進行分割，對于醫(yī)生也是非常大的挑戰(zhàn)。

本研究將取得的15 組DSC 系數(shù)的均值與參加MICCAI 2016 腦部MS 病灶挑戰(zhàn)賽的3 種基線方法[20]進行了比較，結(jié)果見表2。

表2 本文方法與其他多發(fā)性硬化癥病灶分割方法的比較

Beaumont 等[20]的方法是一個全自動分割MS 病灶的方法，主要分為3 部分：計算粗糙的總病變體素，優(yōu)化下一步參數(shù)集；通過一個魯棒性的EM 算法初始化圖像分割病灶；應(yīng)用規(guī)則去除假陽性，并調(diào)整分割的病灶輪廓。Vera-Olmos 等[21]的方法使用隨機森林分類器，其輸入經(jīng)過了基于灰質(zhì)分布的閾值過濾，并使用了幾個考慮體素和上下文信息的特性，采用馬爾可夫隨機場后處理算法，使病灶在可能的鄰域內(nèi)生長。Mahbod 等[22]的方法采用基于監(jiān)督的人工神經(jīng)網(wǎng)絡(luò)算法，利用強度特征和空間特征作為網(wǎng)絡(luò)的輸入，并取得了較為準確的結(jié)果。從表2 中可以看出，本文中提出的方法得到的DSC 值是最高的，相比 Beaumont 等[20]、Vera-Olmos 等[21]和 Mahbod等[22]的方法，相似性系數(shù)分別提高了2%、3%和4%。

4 結(jié) 論

本研究提出了一種基于3D-CNN 的MRI 腦部MS 病灶分割方法。該方法先對數(shù)據(jù)進行預(yù)處理，并將3D 圖像劃分為不同的子塊，作為第一階段CNN的輸入；第一階段的輸出為初步挑選出的病灶體素，將其與重新采樣的正常組織體素作為第二階段CNN 的輸入；第二階段CNN 的輸出即為最終分割結(jié)果。這種方法考慮了MRI 圖像的特點，MS 病灶數(shù)據(jù)與正常組織數(shù)據(jù)的樣本不平衡問題，以及神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中的過擬合問題。該分割方法采用的策略能適應(yīng)MS 病灶的差異性，并準確有效地分割腦部MS 病灶。在MICCAI 2016 公共數(shù)據(jù)集上對所提出的方法進行了分割實驗，并與3 種基線方法進行了比較。實驗結(jié)果表明，所提出的方法的相似性系數(shù)（DSC）性能優(yōu)于其他3 種方法。

所提出的方法將MS 病灶在3D 空間上進行分割，相比2D 圖像分割，對于臨床診斷更具意義。但是在分割病灶體積較小的圖像時，該方法的分割效果并不理想。在后續(xù)研究中，將會對該方法進行改進，以適應(yīng)體積較小的病灶。

利益沖突所有作者均聲明不存在利益沖突