新型乳腺磁共振增強圖像腫瘤區(qū)域的自動分割模型

馬 偉 劉鴻利 孫明建 徐 軍* 蔣燕妮*

1(南京信息工程大學 江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室，南京 210044)2(南京醫(yī)科大學第一附屬醫(yī)院放射科，南京 210029)

引言

乳腺癌作為女性發(fā)病率最高的惡性腫瘤之一，具有高度的異質(zhì)性，對人類的身心健康已經(jīng)造成巨大威脅[1-2]。臨床數(shù)據(jù)顯示，早診斷、早治療能有效地降低乳腺癌的死亡率。然而，多數(shù)患者是直到觸及乳腺腫塊才到醫(yī)院就診，只有少數(shù)患者是通過定期身體檢查才發(fā)現(xiàn)乳腺腫物或可疑病變。乳癌磁共振增強影像表現(xiàn)中，其形態(tài)學上主要分為腫塊型和非腫塊型。在臨床上，腫塊型乳腺癌一般具有較為明顯的形態(tài)特征，通常呈現(xiàn)為腫塊和結(jié)節(jié)圖像，診斷并不困難；非腫塊乳腺癌由于沒有明確的邊界，形態(tài)學差異大，因而診斷較為困難。在乳腺癌的檢測、診斷、治療過程中，各種不同的圖像模式都發(fā)揮著關鍵作用，CT圖像由于放射劑量較大等原因一般用于特殊病例的輔助診斷或了解病變的侵犯程度，PET是一種能顯示生物分子代謝活動的無創(chuàng)性影像技術(shù)，但無法精確定位，而磁共振成像(MRI)是一種從人體中利用磁共振現(xiàn)象獲得電磁信號并重建人體信息的一種斷層成像方式，由于其公認的高敏感性，對于乳腺癌的治療有著更為明顯的效果。

對于乳腺腫瘤分割這個問題，由于非腫塊型乳腺癌形態(tài)學特征較為復雜，研究人員很少針對非腫塊型乳腺癌進行相關研究，而針對腫塊型乳腺癌分割主要分為兩大類。一類是是采用傳統(tǒng)方法，主要有聚類分割、邊緣分割、形態(tài)學分割等[3-5]。形態(tài)學方法主要是依賴于閾值的選取，分割方式太單一；邊緣分割方法雖然能盡可能地保留邊緣信息，但受噪聲影響較大；聚類分割速度雖然快但同樣受噪聲影響的限制。單一分割方法自身的局限性較大，傳統(tǒng)方法中目前還比較流行采用多種算法相結(jié)合的分割方法，兩者優(yōu)勢互補來達到更好的分割效果，例如基于C-V活動輪廓模型和馬爾可夫隨機場的方法[6]、基于小波變換和模糊C均值聚類的方法[7]，這些傳統(tǒng)方法一般都需要通過形態(tài)學運算如(腐蝕和膨脹等)后處理的方式來獲得比較平滑的腫瘤邊界。另一類方法是采用深度學習的方法，如基于多層神經(jīng)網(wǎng)絡和活動輪廓模型的檢測方法[8]、基于深度神經(jīng)網(wǎng)絡和隨機森林的分割方法[9]等。

深度檢測網(wǎng)絡一般應用的領域在自然圖像如行人檢測[10]等。何等[11]創(chuàng)造性地將檢測任務和分割任務集合在單深度網(wǎng)絡中，但這種方法需要大量有標記數(shù)據(jù)支撐。在醫(yī)學圖像領域，檢測主要是運用在小目標檢測上如肺結(jié)節(jié)檢測[12]。深度模型的好壞和數(shù)據(jù)有很大的關系。由于乳腺癌腫瘤區(qū)域和背景之間差異性小、乳腺腫瘤區(qū)域相對較小，這些問題對于直接分割來說難度過大。

借鑒何的方法[25]，本研究提出了一個新思路，由于乳腺腫瘤數(shù)據(jù)對于單檢測任務來說復雜度不是很高，而YOLOv2以擬合性好以及速度著稱，所以先使用YOLOv2進行粗檢測。同時，由于乳腺數(shù)據(jù)集較少，完全根據(jù)檢測框區(qū)域來進行精分割是不現(xiàn)實的，所以需根據(jù)檢測框中心選擇更大的感興趣塊送入SegNet模型來進行精細分割。檢測和分割分離的方法不僅能在小數(shù)據(jù)集上使用，而且也為小目標難于精細分割的難題提供了一個解決思路。

1 YOLOv2+SegNet分割模型

1.1 基于YOLOv2模型的乳腺腫瘤區(qū)域粗檢測

乳腺腫瘤由于有腫塊和非腫塊之分，目標區(qū)域小等特殊性，如何有效地檢測出乳腺病灶一直是檢測領域的熱點和難點。本研究提出了粗檢測精分割(YOLOv2+SegNet)的方法來分割乳腺腫瘤，具體流程如圖1所示。YOLOv2[13]作為目前最新的檢測網(wǎng)絡，本研究將其用于在MRI乳腺增強圖像中進行檢測病灶區(qū)域。

圖1 基于YOLOv2+SegNet框架的粗檢測和細分割流程Fig.1 Rough detection and fine segmentation flow chart based on YOLOv2+SegNet framework

1.1.1MRI數(shù)據(jù)檢測預處理

本研究使用的數(shù)據(jù)是腫塊型和非腫塊型乳腺癌磁共振增強圖像。預處理方法是通過歸一化來達到統(tǒng)一數(shù)據(jù)的目的。

1.1.2MRI數(shù)據(jù)擴充

檢測網(wǎng)絡需要一定的數(shù)據(jù)量，所以進行了一定的數(shù)據(jù)擴充。主要使用了鏡像、翻轉(zhuǎn)、調(diào)整對比度、銳化等，把415張訓練圖片擴充到2 075張。

1.1.3YOLOv2粗檢測模型

YOLOv2是YOLO[14]的改進版本，在保持原有速度優(yōu)勢的基礎上，精度上得到大幅提升。YOLOv2算法首先引入了Batch Normalizatin層[15]，簡稱BN層，舍棄了drop out層來保證數(shù)據(jù)的完整性，BN層的做法是在卷積池化后，激活函數(shù)之前，對數(shù)據(jù)進行規(guī)范化。

YOLO是通過全連接層來預測邊框位置，這樣會丟失圖像位置信息，導致定位不精確，YOLOv2則借鑒了Faster-R-CNN的anchor思想[16]。anchor是RPN網(wǎng)絡中一個關鍵步驟，是在卷積特征圖上進行滑動操作，每個中心預測9種大小不同的候選框。具體操作是將全連接層和后面的池化層丟掉，將圖像輸入變成416×416，使后面產(chǎn)生的卷積特征圖寬和高為奇數(shù)，就可以產(chǎn)生中心點進而來得到候選框。

在使用anchor的時候，首先需要處理的問題是如何選取候選框的寬高比。不同于以前的手動選取，這里使用的是改進的k-means算法[17]，評判標準是IOU得分，采用的新的距離函數(shù)為

d(box,centroid)=1-IOU(box,centroid)

(1)

式中，centroid表示質(zhì)心，box表示簇，IOU表示重疊面積。

采用這種聚類方法，選取了5個最具有代表性的寬高比來加速網(wǎng)絡的收斂。同時，為了使得算法更有魯棒性，算法使用了多尺度的思想，解決辦法是每經(jīng)過10次迭代，選取不同的圖片尺寸，YOLOv2網(wǎng)絡使用的下采樣系數(shù)為32，那么就使用32的倍數(shù) (320,352,…,608)來進行下采樣,接著按照輸入尺寸調(diào)整網(wǎng)絡進行訓練。

針對乳腺腫瘤分割這個特定問題，首先在開始訓練前，先使用改進的k-means算法聚類統(tǒng)計出最具代表乳腺腫瘤的6個anchor的寬高比率，分別是1.28、1.49、2.73、3.15、4.42、5.61。訓練時，由于數(shù)據(jù)集即使數(shù)據(jù)擴充完仍然較小，直接訓練模型很容易過擬合，所以在VOC數(shù)據(jù)集上進行微調(diào)，即在VOC上使用YOLOv2先訓練一個初始模型，然后再遷移到乳腺數(shù)據(jù)集上。訓練過程中，初始學習率設置10-4，在迭代100 000和150 000次學習率每次衰減1/10，總迭代次數(shù)為200 000次。檢測框和標記框的IOU閾值設置0.6，檢測訓練時大于這個閾值就保留，反之則舍棄。

1.2 基于SegNet網(wǎng)絡乳腺腫瘤細分割模型

1.2.1MRI數(shù)據(jù)分割處理

由于本研究采用的是粗檢測精分割的思想，所以在構(gòu)建分割訓練數(shù)據(jù)集時需要特殊處理。本研究采用的是k-means算法，找到標記區(qū)域的中心點，在中心點基礎上取出144像素×144像素大小的塊，然后在原圖對應位置上取出相同大小的塊。

1.2.2傳統(tǒng)C-V模型

C-V模型[18]是基于區(qū)域的水平集方法，使用閉合曲線劃分感興趣區(qū)域和非感興趣區(qū)域，既而構(gòu)建能量泛函，將曲線C用水平集函數(shù)φ代替，再通過求解能量泛函對應的Euler-Lagrange方程獲得水平集的演化方程。

一般地，傳統(tǒng)的C-V模型的能量公式為

(2)

式中：μ、λ1和λ2是取值為正的常數(shù)，一般令λ1=λ2=1；c1和c2分別是演化曲線C內(nèi)部和外部的圖像灰度均值。

1.2.3模糊C均值聚類(fuzzy C-means，F(xiàn)CM)

模糊C均值聚類是由Mouelhi等提出的基于對目標函數(shù)的優(yōu)化基礎上的一種數(shù)據(jù)聚類方法[7]。模糊均值聚類是乳腺自動分割領域非常流行的算法。同k-means類似，F(xiàn)CM算法的思想是使得同一簇的對象之間相似度最大，不同簇之間相似度最小。

FCM的目標函數(shù)和約束條件分別為

(3)

(4)

式中，uij表示樣本j屬于某一類i的隸屬度，m是隸屬度因子，‖xj-ci‖2表示樣本點xj與聚類中心ci的距離范數(shù)。

1.2.4基于譜映射主動輪廓模型

SEAC基于譜映射主動輪廓模型是由徐軍等提出的基于主動輪廓模型的改進版本，主要是利用空間梯度關系來處理MRI乳腺腫瘤分割問題[19]。該算法主要步驟如下：

1) 在乳腺MRI圖像上運用光譜映射；

2) 基于1的張量梯度送入主動輪廓模型增強梯度關系；

3) 手動選取初始點，本文采用的是檢測中心；

4) 迭代出最終結(jié)果。

1.2.5SegNet網(wǎng)絡

SegNet[20]是逐像素分割的深度神經(jīng)網(wǎng)絡，網(wǎng)絡結(jié)構(gòu)包含非線性處理層(編碼器)，和與之對應的解碼器，最后跟隨一個像素級別的分類層，具體結(jié)構(gòu)如圖1所示。

通常，每個編碼器由卷積層、批歸一化層(batch normalization)、ReLU層[21]、最大池化層[22]組成。每個編碼器具有對應的解碼器層。解碼器由反卷積層、批歸一化層、ReLU層、上采樣層組成，在解碼完成后輸入softmax分類器來得到最終的概率圖。

卷積層是SegNet網(wǎng)絡的核心。在編碼階段，卷積的作用是利用每個卷積核提取輸入特征圖所有位置的特征，從而實現(xiàn)同一輸入特征圖的權(quán)值共享。整個網(wǎng)絡中卷積的方式是same卷積，即卷積后不改變特征圖的大小。在解碼階段，SegNet的反卷積層原理和卷積是一樣的，但反卷積的作用是為上采樣提供變大的圖像豐富信息，使得在池化層過程中丟失的信息能通過學習得到。SegNet的卷積和傳統(tǒng)的CNN的卷積沒有區(qū)別。

批歸一化層主要作用是加快學習速率，在前向傳播時，批歸一化層對卷積后的權(quán)值進行標準化但輸出不變，在后向傳播時，根據(jù)批歸一化層的均值和方差，結(jié)合每個卷積層和ReLU層進行鏈式求導，求出梯度進而計算當前的學習率。ReLU層又稱為激活函數(shù)層，ReLU是傳統(tǒng)激活函數(shù)sigmoid的改進，其公式為

f(x)=max(0,x)

(5)

池化層是一種非線性的下采樣方式，主要有最大和平均池化兩種方式。SegNet中的池化層較一般的池化層多了通過池化得到的權(quán)值在2×2的卷積核的相對位置。由于SegNet網(wǎng)絡是對稱的，編碼階段池化得到的相對位置輸出給解碼對應階段來進行上采樣。

本研究的數(shù)據(jù)是乳腺腫瘤，其目標區(qū)域本身較小。針對這個問題，在SegNet的基礎上，對于網(wǎng)絡進行了一定改動，編碼階段參數(shù)見表1。將原始網(wǎng)絡中7×7的卷積核修改成3×3的卷積核來減少局部感受野，進而讓網(wǎng)絡能學習到更小范圍的特征信息。同時為了輸入和輸出尺寸一致，pad由3修改成1。在SegNet訓練時，同樣因為乳腺數(shù)據(jù)集較小的原因，采用vgg-16模型為初始模型，初始學習率設置為0.001，總迭代次數(shù)80 000次，在30 000次時學習率衰減為初始值的1/10，momentum值設置為0.9。權(quán)重衰減系數(shù)設為0.005。

表1SegNet編碼器網(wǎng)絡結(jié)構(gòu)和參數(shù)設置

Tab.1ThestructuredetailsandparametersofSegNet′sencoder

層數(shù)操作通道數(shù)尺寸步長邊緣填充1輸入3———2～3卷積643114池化642205～6卷積1283117池化1282208～10卷積25631111池化25622012～14卷積51231115池化51222016～18卷積51231119池化512220

1.3 實驗設計

1.3.1實驗數(shù)據(jù)

本研究使用的數(shù)據(jù)由江蘇省人民醫(yī)院放射科提供，數(shù)據(jù)由兩位具有多年影像學檢查經(jīng)驗的醫(yī)生標記而來。腫塊和非腫塊的分類標準也是兩位醫(yī)生根據(jù)多年臨床經(jīng)驗分析而來。數(shù)據(jù)集共有575張乳腺MR圖像，采集儀器是Siemens Trio Tim 3.0 T超導型磁共振掃描儀(MAGNETOM Trio, Siemens, Germany)，圖片分辨率為448像素×448像素，腫瘤區(qū)域大小均大于1 cm。數(shù)據(jù)格式為DICOM格式，從中選取了415張作為訓練集，其中270例腫塊型，145例非腫塊型；145張作為測試集，其中100例腫塊型，45例非腫塊型。由于訓練集數(shù)量相對較少，在檢測部分使用了如翻轉(zhuǎn)、鏡像等方法來對數(shù)據(jù)進行擴充，最終將整個檢測訓練集擴充到2 075張。所有的實驗為了真實性，數(shù)據(jù)都是隨機選取，實驗進行了多次隨機分組實驗，結(jié)果都是多次隨機實驗平均值。為了實驗的統(tǒng)一性，所有的圖像都經(jīng)過了相應的預處理。

1.3.2實驗環(huán)境

實驗使用的硬件配置如下：處理器：Intel(R) Core(TM) i7-3770 CPU @ 4 GHz；內(nèi)存(RAM)：32.0 GB；獨立顯卡：GeForce GTX Titan X；系統(tǒng)類型：Ubuntu 14.04；開發(fā)工具：python，caffe框架；讀圖軟件：Slicer3D[23]。

1.3.3實驗設置

實驗的主要步驟如圖2所示。第1步，448×448大小的圖片送入檢測網(wǎng)絡檢測出粗略腫瘤區(qū)域；第2步，根據(jù)檢測的區(qū)域中心點取出144×144的塊，然后把144×144的塊送入分割網(wǎng)絡進行分割；最后將最終結(jié)果映射到檢測位置。

本研究主要做了5組實驗，第1組是基于檢測結(jié)果的C-V模型方法，第2組是基于檢測結(jié)果的FCM算法，第3組是基于檢測結(jié)果的SEAC算法，第4組是使用全圖分割的SegNet方法，第5組是YOLOv2+SegNet分割方法。

2 結(jié)果

將本研究的方法運用到560張乳腺MR圖像，以驗證方法的優(yōu)越性和有效性。為了說明本研究YOLOv2+SegNet方法的有效性，將本研究分割結(jié)果和C-V模型、FCM、SEAC以及直接分割的SegNet網(wǎng)絡進行了比較。具體的實驗分割結(jié)果如圖2所示，比較發(fā)現(xiàn)，對于腫塊型和非腫塊型乳腺癌來說，傳統(tǒng)C-V模型、FCM、SEAC和SegNet直接分割的多種方法的效果明顯不如本研究方法。

將所提出方法在100張乳腺腫塊測試集和45張乳腺非腫塊測試集上分別進行了分割評估，評估指標采用Dice系數(shù)[24]、特異性[25]、靈敏性[26]，具體的對比結(jié)果如表2所示。同樣地，對所有測試數(shù)據(jù)進行對比，包括傳統(tǒng)C-V模型、FCM算法、SEAC算法實驗和SegNet直接分割、DeepLab直接分割、U-net直接分割以及本研究方法，結(jié)果如表3所示。

表2 3種數(shù)據(jù)方式對比結(jié)果Tab.2 Comparison results of three data methods

表3 在所有測試集上的比較結(jié)果Tab.3 Comparison results on the whole test set

本研究提出利用YOLOv2+SegNet模型來進行腫塊型和非腫塊型乳腺腫瘤的檢測和分割。一般情況下，使用全圖來進行自動分割，但針對乳腺腫瘤分割這個問題，由于目標區(qū)域較小，非腫塊之間形態(tài)差異性大，全圖直接分割很不好。本研究先采用YOLOv2檢測網(wǎng)絡檢測出大致的腫瘤病灶，在所有測試集上，選取置信度最大框，由于本身乳腺腫瘤就較小以及后面分割模塊依據(jù)中心點選取遠大于腫瘤尺寸的144像素×144像素大小的塊，所以判定置信度最大框中心點在標記腫瘤框內(nèi)即為腫瘤檢測正確，采用這種方法的單腫瘤檢測準確率是98%。從表2看，本研究的方法不管針對腫塊或者非腫塊還是兩者混合，其結(jié)果都是遠優(yōu)于SegNet直接分割，就Dice系數(shù)、特異性以及靈敏性來說，本研究方法與SegNet方法相比平均提升大約10%。從圖2來看，傳統(tǒng)C-V模型當目標區(qū)域較小以及和背景差異性小時分割效果很一般，而針對非腫塊型C-V模型就表現(xiàn)得不錯，但是由于C-V模型是需要手動選擇初始點，人工參與過多會導致結(jié)果隨機性過大；FCM算法是一種無監(jiān)督的模糊聚類方法，當某樣本在所有類中隸屬度相對平均時效果就很差。同樣地，當目標區(qū)域較小時結(jié)果會表現(xiàn)較差，從時間成本來看，實驗中FCM處理一張圖片耗時相當長；SEAC算法是基于主動輪廓模型的改進方法，極度依賴于初始點的選擇，這里采用的是檢測中心點，所以不同圖片分割效果相差很大，由于SEAC算法本身的局限性，從結(jié)果來看，針對腫塊型乳腺癌該方法分割得很好，而針對非腫塊型乳腺癌來說，SEAC方法并不是很理想；SegNet直接分割方法能將大致區(qū)域分割出來，但是由于無用信息較多，邊界分割并沒有那么精確，尤其針對非腫塊型乳腺癌這種邊界較復雜的數(shù)據(jù)來說，分割相當不精確；本研究先采用檢測方法粗檢測出大致目標區(qū)域，由于最終分割區(qū)域已經(jīng)盡可能小，不管是腫塊型還是非腫塊型，分割結(jié)果都比前面的要好，和醫(yī)生的標記結(jié)果較為接近。從表3來看，和目前主流的深度模型U-net、DeepLab或者SegNet這些一步直接分割方法進行對比，本研究方法的Dice系數(shù)以及特異性都有著明顯的提升，靈敏性在所有方法中不是最好的，但較其他深度模型來說是最好的。

3 討論

乳腺癌是女性最常見的惡性腫瘤，近年來國內(nèi)外的研究已經(jīng)取得了長足的進展，使其早期的臨床檢出率和治愈率不斷提高，但是乳腺癌仍存在大量的難題等待解決。大家知道，早期由于技術(shù)的限制,某些非腫塊型乳腺癌病變并不能檢測出來，而且非腫塊型本身缺乏典型的腫塊特征，常導致誤檢或者漏檢。隨著計算機輔助診斷的普及和乳腺動態(tài)增強磁共振成像的廣泛應用，基于圖像的鑒別診斷正日益成熟，很多非腫塊型病變能夠被檢測出來，而準確地進行乳腺癌影像學診斷的關鍵一步則是乳腺腫瘤區(qū)域的精確分割。再從分子層面來說，根據(jù)基因圖譜，乳腺癌主要分為4種不同分子亞型：Luminal A型、Luminal B型、HER-2型、三陰性型[21-22]。不同分子亞型乳腺癌具有特定的臨床特征。所以如果能尋找到一種通用的精確分割方法無疑對于不同乳腺亞型的后續(xù)研究有著巨大幫助。

針對這些問題，本研究提出了一種先粗檢測后精確分割(YOLOv2+SegNet)的方法。本方法的研究內(nèi)容主要體現(xiàn)在兩個方面：首先，使用深度檢測網(wǎng)絡(YOLOv2)來盡可能地準確定位腫瘤的大致位置；再者，在精確定位的基礎上，搭建和完善深度分割網(wǎng)絡(SegNet)，運用深度卷積神經(jīng)網(wǎng)絡強大的特征學習能力，充分利用淺層特征和深層特征訓練出完整的分割網(wǎng)絡。一般來說，傳統(tǒng)方法如C-V、FCM、C-V等方法需要人為不斷地調(diào)整參數(shù)，主觀經(jīng)驗有時會對結(jié)果產(chǎn)生影響。本研究基于深度卷積神經(jīng)網(wǎng)絡的自動學習方法，既能更加充分利用圖像特征，又能減少主觀因素對于實驗結(jié)果的影響。從表2、3的對比結(jié)果分析來看，相比傳統(tǒng)方法，本研究提出的基于深度卷積神經(jīng)網(wǎng)絡方法(YOLOv2+SegNet)各項評估指標有著近10%的提升。從硬件來說，深度學習方法能更加充分運用硬件設備(如GPU)，分割一張圖只需要不到1 s。由此，本研究提出的先檢測后分割的方法為減少醫(yī)生工作量以及輔助醫(yī)生診斷提供了可能。

同時，在本研究提出的方法中還有許多提升的空間。在分割網(wǎng)絡中，可以調(diào)整網(wǎng)絡結(jié)構(gòu)或者更換損失函數(shù)來進一步提升分割準確率。在數(shù)據(jù)集方面，可以使用更多的數(shù)據(jù)集來加強魯棒性，使模型更加具有適用性。在數(shù)據(jù)方面，目前應用的是二維的乳腺數(shù)據(jù)，在以后的研究中，將采用同樣的想法對于三維乳腺腫瘤進行分割。

4 結(jié)論

針對腫塊型和非腫塊型乳腺癌難分割問題，本研究提出了一個粗檢測精分割(YOLOv2+SegNet)的方法，首先是對圖像進行預處理，再送入YOLOv2檢測網(wǎng)絡中檢測出腫瘤區(qū)域，選取框的中心點的144×144像素大小的塊來進行精細分割。實驗表明，本研究方法能較好地分割出腫塊型和非腫塊型乳腺癌腫瘤區(qū)域，較傳統(tǒng)C-V模型、FCM、SEAC以及深度模型的U-net、DeepLab或者SegNet直接分割的方法都有著很大的提升，這對于乳腺腫瘤的精確診斷提供了一定的參考。