基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的乳腺腫塊圖像分割

徐勝舟,程時(shí)宇

(中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 武漢 430074)

乳腺癌是全球女性最常見的惡性腫瘤[1], 也是我國增長幅度最大的惡性腫瘤之一, 堪稱“女性殺手”[2]. 目前, 早期檢查早期發(fā)現(xiàn)仍是提高乳腺癌患者生存率最有效的途徑. 乳腺X線攝影檢查是當(dāng)前最常用的乳腺癌早期診斷方法. 全世界每天都有大量的乳腺X線攝片生成. 乳腺X線攝片中腫塊的分割是對乳腺癌進(jìn)一步定量分析的關(guān)鍵. 然而, 由于乳腺X線攝片是對三維的乳腺組織進(jìn)行二維成像, 圖像中腫塊周圍可能存在具有類似于腫塊灰度分布的其他正常的致密組織, 對腫塊圖像分割造成干擾. 另外, 眾多病例中乳腺腫塊大小和形態(tài)各不相同, 形狀各異, 對比度不清晰, 這些都給腫塊圖像分割造成了困難.

學(xué)者們對乳腺腫塊圖像分割進(jìn)行了廣泛研究, 并提出了許多分割算法. 這些算法大致可以分為兩大類：傳統(tǒng)分割算法和基于深度學(xué)習(xí)的分割算法. 其中, 傳統(tǒng)算法又可以分為基于區(qū)域的算法、基于邊界的算法以及混合分割算法. 基于區(qū)域的腫塊圖像分割算法尋找適合一定條件的區(qū)域作為腫塊區(qū)域, 主要有區(qū)域增長算法[3,4]、分水嶺算法[5,6]以及形態(tài)學(xué)濾波方法[7]; 基于邊界的分割算法則是搜索一條代表腫塊輪廓的最佳路徑, 主要有基于活動(dòng)輪廓模型[8,9]和動(dòng)態(tài)規(guī)劃[10,11]的算法; 由于單一的一種算法很難取得理想的腫塊輪廓, 因此許多學(xué)者將多種分割算法結(jié)合起來應(yīng)用于腫塊圖像分割[10,12,13]. 然而, 所有這些傳統(tǒng)的圖像分割算法都依賴于腫塊圖像的某些特征, 如灰度、梯度或者形狀信息等.

近年來, 深度學(xué)習(xí)在目標(biāo)檢測、圖像識別等應(yīng)用領(lǐng)域獲得了很大進(jìn)展, 成為當(dāng)前的研究熱點(diǎn)之一. 一些學(xué)者也將深度學(xué)習(xí)運(yùn)用于乳腺腫塊圖像的分割上. Dhungel等人結(jié)合多種基于深度學(xué)習(xí)的勢函數(shù)、高斯混合模型以及腫塊形狀的先驗(yàn)信息進(jìn)行腫塊圖像分割[14], 他們還利用深度卷積和深度信任網(wǎng)絡(luò)作為勢函數(shù)以構(gòu)建腫塊的預(yù)測模型[15], 其不足之處在于分階段的訓(xùn)練過程中容易產(chǎn)生過擬合現(xiàn)象. 全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks, FCNs)能夠結(jié)合深層全局語義信息和淺層局部細(xì)節(jié)信息, 深層信息經(jīng)過多次下采樣后能夠提供分割目標(biāo)與其環(huán)境之間的關(guān)系特征. 淺層信息能夠?yàn)榉指钐峁└泳?xì)的局部特征, 如梯度等. 考慮到乳腺腫塊的形狀和外觀先驗(yàn)信息在腫塊圖像分割過程中有重要作用, Zhu等人在DDSM-BCRP[16]和INbreast[17]數(shù)據(jù)庫中分別估計(jì)了一個(gè)先驗(yàn)形狀參數(shù)并將其作為FCN網(wǎng)絡(luò)最后一層的偏置參數(shù). 但是值得注意的是, 不論DDSM-BCRP還是INbreast數(shù)據(jù)庫中, 每一個(gè)腫塊的形狀都各不相同, 通用的先驗(yàn)形狀信息并不適用于具體的腫塊個(gè)體. U-Net作為全卷積神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)型深度網(wǎng)絡(luò), 它除了繼承FCN的編碼解碼結(jié)構(gòu)之外, 更重要的是下采樣與上采樣之間的同層分辨率級聯(lián), 即兩邊的特征圖的合并, 這個(gè)操作改善了采樣信息不全的情況, 使得U-Net的效果大大增強(qiáng). 因此, U-Net一經(jīng)提出, 便在醫(yī)學(xué)圖像分割問題上表現(xiàn)出相對其他網(wǎng)絡(luò)的明顯優(yōu)勢. 本文的全卷積神經(jīng)網(wǎng)絡(luò)具有與U-Net類似的U型結(jié)構(gòu)并根據(jù)乳腺腫塊圖像分割任務(wù)的特點(diǎn)加以改進(jìn).

由于訓(xùn)練一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)是非常費(fèi)時(shí)費(fèi)力的過程, 往往需要大量的標(biāo)記過的訓(xùn)練數(shù)據(jù), 以及繁長的訓(xùn)練時(shí)間才能訓(xùn)練出一個(gè)好的模型. 如果兩個(gè)任務(wù)存在一定的相關(guān)性, 如已經(jīng)訓(xùn)練好的醫(yī)學(xué)圖像分割模型, 現(xiàn)在需要完成對乳腺腫塊圖像的分割, 則無需從頭開始訓(xùn)練新模型, 可以將原模型中的一些權(quán)值和中間層遷移到新模型中, 這樣就大大降低了人力和物力.

為進(jìn)一步提高乳腺腫塊圖像分割的精度, 本文提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的乳腺腫塊圖像分割方法.

1 腫塊圖像分割算法

1.1 算法原理

從本質(zhì)上來講, 利用全卷積神經(jīng)網(wǎng)絡(luò)對乳腺圖像中的腫塊進(jìn)行分割是一個(gè)圖像分類的過程, 其實(shí)就是對輸入的圖像進(jìn)行一系列的卷積和池化操作, 得到一幅與輸入圖像大小相同的特征圖. 該特征圖的每個(gè)坐標(biāo)位置的像素具有兩個(gè)通道, 分別代表了該位置上的像素屬于腫塊的概率以及屬于背景的概率, 以此判斷每個(gè)像素屬于腫塊或是背景區(qū)域.

通常深度學(xué)習(xí)需要在大量標(biāo)注圖像上進(jìn)行訓(xùn)練以達(dá)到理想的分割效果. 但是由于標(biāo)注好的乳腺X線攝片數(shù)量非常有限, 目前, 國內(nèi)尚無專門用于乳腺腫塊圖像分割的公用數(shù)據(jù)庫. 為全面評估腫塊圖像分割算法的性能, 本文采用美國南弗羅里達(dá)大學(xué)的The Digital Databse for Screening Mammography (DDSM)[16]. 我們從該數(shù)據(jù)庫中整理挑選出483幅包含腫塊的乳腺X線攝片. 由于其數(shù)量仍相對有限, 因此需要使用遷移學(xué)習(xí)微調(diào)已經(jīng)訓(xùn)練好的模型參數(shù), 將其用于乳腺X線攝片中腫塊圖像的分割, 這樣可以在降低訓(xùn)練代價(jià)的同時(shí)取得理想的分割結(jié)果.

1.2 算法模型

本文首先利用在子采樣后的乳腺X線攝片上進(jìn)行腫塊檢測的結(jié)果, 以檢測到的腫塊區(qū)域的重心為中心, 提取大小為128×128像素的矩形感興趣區(qū)域(Region of Interest, ROI)作為全卷積網(wǎng)絡(luò)的輸入圖像, 經(jīng)過如圖1所示的深度學(xué)習(xí)網(wǎng)絡(luò)后, 得到具有相同大小的代表腫塊圖像分割結(jié)果的二值圖像.

圖1 腫塊圖像分割網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The network structure diagram of mass image segmentation

圖1所示的乳腺腫塊圖像分割網(wǎng)絡(luò)模型由左側(cè)向下的收縮路徑和右側(cè)向上的擴(kuò)展路徑構(gòu)成, 形成一個(gè)U形的網(wǎng)絡(luò)結(jié)構(gòu). 長方條左下角的數(shù)字代表了這層特征的大小, 長方條上方的數(shù)字代表了這一層的特征(feature map)的數(shù)量, 黑色向右的箭頭代表了卷積、歸一化和(修正線性單元)激活, 灰色向右箭頭代表了信息復(fù)制, 黑色向下箭頭代表2×2的下采樣操作, 黑色向上箭頭則代表了2×2的上采樣操作, 網(wǎng)絡(luò)右半部分的白色長方條和灰色長方條的拼接是在第三維度上進(jìn)行的. 網(wǎng)絡(luò)的輸入層為128×128大小的感興趣區(qū)域單通道圖像, 網(wǎng)絡(luò)的輸出層(最后一層)的2個(gè)feature map具有相同的像素大小, 它們分別代表了圖像各像素屬于腫塊或背景的概率的大小, 如果屬于腫塊的概率大于屬于背景的概率, 則認(rèn)為該像素屬于腫塊；反之則屬于背景. 從圖1可以看出, 網(wǎng)絡(luò)的收縮路徑和擴(kuò)展路徑都由三步構(gòu)成, 在收縮路徑中, 每一步特征圖的數(shù)量會翻倍而每幅特征圖的行列數(shù)則減半；相反地, 在擴(kuò)展路徑中, 每一步的特征圖數(shù)量會減半而每幅特征圖的行列數(shù)則翻倍, 最后得到的輸出圖像與輸入圖像尺寸一致. 收縮路徑和擴(kuò)展路徑中的每一步均由兩次卷積、歸一化和修正線性單元激活組成, 其中卷積采用的卷積核大小為3×3像素, 步長和填充為1. 擴(kuò)展路徑中每次卷積之前, 現(xiàn)有的特征圖與收縮路徑中對應(yīng)特征圖在第三維度上合并形成新的特征圖(新特征圖的數(shù)量是原特征圖的2倍).

1.3 數(shù)據(jù)增強(qiáng)

與其他深度學(xué)習(xí)方法類似, 數(shù)據(jù)增強(qiáng)可以有效降低由于數(shù)據(jù)量不足而導(dǎo)致的過擬合現(xiàn)象, 還能夠有效提高模型的訓(xùn)練效果, 尤其是對于像乳腺X線攝片訓(xùn)練樣本缺乏的情況. 本文中所采取的數(shù)據(jù)增強(qiáng)策略包括對原圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)90度、旋轉(zhuǎn)180度和旋轉(zhuǎn)270度(如圖2所示). 通過這些增強(qiáng)操作后的訓(xùn)練樣本數(shù)是原樣本數(shù)的6倍.

對分割結(jié)果的評估則采取了兩類評估指標(biāo), 一類是從分割區(qū)域與醫(yī)生圈畫的金標(biāo)準(zhǔn)區(qū)域之間的重疊關(guān)系進(jìn)行度量, 主要包括Dice相似系數(shù)DSC(Dice Similarity Coefficient)、區(qū)域重疊率AOM(Area Overlap Measure)、區(qū)域欠分割率AUM(Area Under-segmentation Measure)、區(qū)域過分割率AVM(Area Over-segmentation measure); 另一類則是從分割區(qū)域的輪廓與金標(biāo)準(zhǔn)區(qū)域的輪廓之間的距離關(guān)系進(jìn)行度量, 主要包括Hausdorff距離(HD). 假設(shè)Aseg代表分割模型得到的腫塊區(qū)域, 而Ags則代表對應(yīng)的金標(biāo)準(zhǔn)區(qū)域, 即放射科醫(yī)師手工圈畫的腫塊區(qū)域, 則DSC、AOM、AUM和AVM的定義分別如下：

(1)

(2)

(3)

(4)

它們的值均介于0到1之間, 其中DSC和AOM的值越大, 說明分割結(jié)果越接近金標(biāo)準(zhǔn), 而AUM和AVM的值越小, 說明分割結(jié)果相對于金標(biāo)準(zhǔn)區(qū)域之間的差異越小. 其中DSC強(qiáng)調(diào)目標(biāo)的整體識別準(zhǔn)確率, 它被用作全卷積神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù).

圖2 數(shù)據(jù)增強(qiáng)Fig.2 Data augmentation

HD度量則是反映分割模型得到的腫塊邊界和放射科醫(yī)師手工圈畫的邊界的對應(yīng)像素點(diǎn)之間的距離情況. 假設(shè)分割算法得到的邊界由m個(gè)像素構(gòu)成, 可表示為P={p1,p2,…，pm}; 放射科醫(yī)師手工圈畫的邊界由n個(gè)像素構(gòu)成, 可表示為Q={q1,q2,…，qn};d(pi,Q)表示邊界P上任意一點(diǎn)pi到邊界Q上所有像素點(diǎn)的距離的最小值, 則HD可以定義如下：

HD(P,Q)=

(5)

2 實(shí)驗(yàn)結(jié)果及分析

本文的全卷積網(wǎng)絡(luò)模型是在Caffe上實(shí)現(xiàn)并采用隨機(jī)梯度下降優(yōu)化器進(jìn)行訓(xùn)練的. 在訓(xùn)練過程中, 動(dòng)量值、學(xué)習(xí)率、權(quán)重衰減和最大迭代次數(shù)等超參的值采用遷移學(xué)習(xí)的方法在U-Net網(wǎng)絡(luò)的參數(shù)值基礎(chǔ)上做微調(diào), 分別設(shè)置為0.9, 0.001, 0.00005和14000. 為了避免過擬合, 網(wǎng)絡(luò)中的兩個(gè)連續(xù)卷積層之間使用0.2的淘汰率. 為全面評估腫塊圖像分割算法的性能, 本文在483幅來自DDSM數(shù)據(jù)集的乳腺腫塊ROI上進(jìn)行腫塊圖像分割對比實(shí)驗(yàn). 其中400幅圖像用作訓(xùn)練樣本來訓(xùn)練全卷積網(wǎng)絡(luò)模型, 剩余的83幅圖像則作為測試圖像. 對比算法包括Xu等人的標(biāo)記控制分水嶺算法[5]以及Song等人的模板匹配和動(dòng)態(tài)規(guī)劃算法[10]. 所有算法都在相同的測試樣本上進(jìn)行測試.

圖3展示了標(biāo)記控制分水嶺算法、模板匹配和動(dòng)態(tài)規(guī)劃算法以及本文分割算法在四幅腫塊圖像上的分割結(jié)果. 其中深色線條代表放射科醫(yī)師圈畫的腫塊輪廓, 即金標(biāo)準(zhǔn)區(qū)域, 而淺色線條則是分割算法得到的分割結(jié)果. 從圖中可以明顯看出, 本文算法的分割結(jié)果更接近金標(biāo)準(zhǔn).

為了定量分析腫塊圖像分割結(jié)果, 表1給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法的各個(gè)度量值的平均值, 從表中可以看出, 本文算法的DSC、AOM值均高于另外兩種算法, 而AUM、AVM和HD值則相對較低. 因此, 本文算法的分割精度要優(yōu)于另外兩種分割算法.

圖3 腫塊圖像分割結(jié)果Fig.3 Mass image segmentation results

DSCAOMAUMAVMHD0.8220.7180.1650.10711.0400.8450.7400.1480.1339.1460.8940.8110.0870.1127.257

圖4給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法在度量值DSC上的箱形圖, 從圖中可以看出, 本文算法的上四分位數(shù)、中位數(shù)、下四分位數(shù)和下邊緣均要高于另外兩種算法. 因此, 本文算法的分割結(jié)果的整體分布要優(yōu)于另外兩種算法.

圖4 DSC值箱形圖比較Fig.4 DSC values comparison by box plot

類似地, 對于度量值A(chǔ)OM, 圖5給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法的散點(diǎn)圖, 從圖中可以看出, 在AOM值低于0.4的較差的分割結(jié)果上, 3種算法的表現(xiàn)基本相同, 但是在較好的分割結(jié)果上(如AOM值高于0.6), 本文算法分割率要明顯高于另外兩種算法.

圖5 AOM值散點(diǎn)圖比較Fig.5 AOM values comparison by scatter plot

圖4和圖5是各種算法在基于區(qū)域的度量方法上的表現(xiàn), 圖6給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法在基于邊界的度量方法HD上的表現(xiàn). 從圖中可以看出, 本文算法的上邊緣、上四分位數(shù)、中位數(shù)、下四分位數(shù)和下邊緣均要低于另外兩種算法, 即本文算法得到的腫塊輪廓整體上更接近醫(yī)生圈畫的金標(biāo)準(zhǔn)區(qū)域.

圖6 HD值箱形圖比較Fig.6 HD values comparison by box plot

3 結(jié)語

為了提高乳腺腫塊圖像分割的精度, 本文設(shè)計(jì)了一種基于全卷積網(wǎng)絡(luò)遷移學(xué)習(xí)的乳腺腫塊圖像分割模型. 首先構(gòu)造一種由收縮路徑和擴(kuò)展路徑組成的全卷積神經(jīng)網(wǎng)絡(luò), 然后利用遷移學(xué)習(xí)網(wǎng)絡(luò)模型載入?yún)?shù), 并對DDSM數(shù)據(jù)庫中的483幅圖像中的400幅圖像進(jìn)行數(shù)據(jù)增強(qiáng)后作為訓(xùn)練樣本集對分割模型進(jìn)行訓(xùn)練, 最后在訓(xùn)練好的模型上對剩余的83幅圖像進(jìn)行分割測試. 實(shí)驗(yàn)結(jié)果表明, 本文設(shè)計(jì)的基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)方法的分割效果明顯優(yōu)于傳統(tǒng)分割算法.