基于改進(jìn)級聯(lián)R-CNN的乳腺X線圖像腫塊檢測

王生生，丁雪松，陳 鵬，劉純巖

(1.吉林大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，吉林 長春 130012；2.吉林大學(xué)第二醫(yī)院，吉林 長春 130041)

0 引言

乳腺癌是影響全世界女性的最主要的癌癥之一.患有乳腺癌的女性病例占女性所有新診斷癌癥的30%[1].每年有超過457 000人死于乳腺癌，占所有女性死亡人數(shù)的1.6%以上[2].早期發(fā)現(xiàn)并且采取正確治療可以大大提高乳腺癌存活率.大多數(shù)研究表明，乳腺鉬靶X線攝影檢查可以降低乳腺癌的死亡率[3].參加乳腺癌篩查計劃的女性在確診后10年內(nèi)死于乳腺癌的風(fēng)險降低60%[4].大量研究表明，在之前的乳腺X線圖像的回顧性研究中有20%～30%的癌癥被遺漏[5-7].

為了減輕放射科醫(yī)師的繁重工作并提高臨床實(shí)踐中檢測的靈敏度，計算機(jī)輔助檢測和診斷(CAD)系統(tǒng)為放射科醫(yī)師對乳腺X線圖像的診斷給出可供參考的“第二意見”.對此，已經(jīng)有多項研究利用精心設(shè)計的手工特征來構(gòu)建CAD系統(tǒng)用于檢測識別乳腺X線圖像中的腫塊.J.Virmani等[8]提出了一種識別乳房密度的CAD系統(tǒng)，其中對紋理特征向量進(jìn)行主成分分析(PCA)以減少特征空間維度；C.Muramatsu等[9]利用紋理特征將乳腺X線圖像病變分為良性和惡性；H.X.Li等[10]構(gòu)建了基于局部輪廓特征的CAD系統(tǒng)用于良性和惡性腫塊的分類；S.A.Taghanaki等[11]提出了一種基于深度自動編碼器網(wǎng)絡(luò)的多目標(biāo)優(yōu)化方法；V.Pomponiu等[12]提出了一種基于方向梯度直方圖(HOG)描述符的CAD系統(tǒng)，使用支持向量機(jī)(SVM)對目標(biāo)進(jìn)行分類.以上CAD系統(tǒng)大多基于傳統(tǒng)的手工設(shè)計特征，手工特征的設(shè)計、提取是耗時且麻煩的手工過程，在此過程中經(jīng)常會出現(xiàn)錯誤.此外，這些CAD系統(tǒng)無法在單個框架中實(shí)現(xiàn)檢測和分類.

作為手工設(shè)計特征的傳統(tǒng)方法的替代方案，卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以從整個數(shù)據(jù)中提取更好的特征.事實(shí)證明，對于許多模式識別任務(wù)中CNN的表現(xiàn)已經(jīng)達(dá)到甚至超過人類表現(xiàn)[13-15]，這些模型在醫(yī)學(xué)圖像分析中非常有前景.2016年，Z.C.Jiao等[16]提出了一種基于深層特征的CAD系統(tǒng)用于對乳腺癌的良惡性腫塊進(jìn)行分類，利用從2個不同層提取的深層特征來訓(xùn)練模型；2016年，Q.Abbas[17]提出了一種名為DeepCAD的CAD系統(tǒng)，該系統(tǒng)利用深度學(xué)習(xí)使用其對預(yù)定義的感興趣區(qū)域的乳房進(jìn)行分類；2016年，N.Dhungel等[18]提出一個基于級聯(lián)的深度學(xué)習(xí)和隨機(jī)森林分類器的CAD系統(tǒng)；2017年，N.Dhungel等[19]設(shè)計了一種最少的用戶干預(yù)CAD系統(tǒng)用于乳腺X線圖像中乳房腫塊的分割和分類.此外，W.T.Yang等[20]在2019年提出一種基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)合乳腺X線圖像兩種視圖對病例做出一種預(yù)測，從而實(shí)現(xiàn)乳腺X線圖像分類；2019年，B.Hinton等[21]使用從ImageNet初始化的權(quán)重進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)的遷移學(xué)習(xí)以對乳房X線照片進(jìn)行分類；R.Agarwal等[22]提出一種基于CNN補(bǔ)丁方法用于全視野數(shù)字化乳腺X線圖像(FFDM)中腫塊自動檢測.以上提出的方法只能對乳腺X圖像進(jìn)行分類，分類不能定位癌癥區(qū)域，然而對癌癥區(qū)域的定位有利于對病例進(jìn)行進(jìn)一步的診斷和治療.2017年，R.Platania等[23]提出了一種基于You Only Look Once(YOLO)的稱為BC-DROID的CAD系統(tǒng)，其在檢測腫塊位置時的總體準(zhǔn)確率高達(dá)90%.2018年，M.A.Al-antari等[24]開發(fā)了一種基于深度置信網(wǎng)絡(luò)(DBN)的CAD系統(tǒng)，可自動檢測并識別乳腺腫塊區(qū)域并分類，其產(chǎn)生的識別率高達(dá)92.33%.然而，這些方法應(yīng)用到臨床實(shí)踐時仍存在遺漏和誤報等問題.

為了提高臨床實(shí)踐中對乳腺X線圖像中腫塊的檢測靈敏度，本文提出了一種基于空間約束和多特征融合的多級目標(biāo)檢測架構(gòu)(SC-FU-CS RCNN)，用于檢測乳腺X線圖像腫塊.該框架可以檢測并且定位任何包含異常的區(qū)域，并根據(jù)這些區(qū)域提供診斷.本文框架的工作流程如圖1所示，該方法可以從完整的乳腺X線圖像中實(shí)現(xiàn)檢測可疑區(qū)域并且給出相應(yīng)診斷.

圖1 SC-FU-CS RCNN檢測框架的工作流程

1 算法描述

1.1 基于深度學(xué)習(xí)的多級目標(biāo)檢測架構(gòu)

圖2 Faster R-CNN 框架

SC-FU-CS RCNN的核心是Cascade R-CNN[25].在文獻(xiàn)[25]中，擴(kuò)展了Faster R-CNN[26-27]的兩階段架構(gòu)，如圖2所示.第一階段是一個提議子網(wǎng)絡(luò)(H0)，通過訓(xùn)練生成初步檢測假設(shè)，稱為目標(biāo)提議；第二階段是這些提議對感興趣區(qū)域檢測子網(wǎng)絡(luò)(H1)的輸入，最終分類分?jǐn)?shù)(C)和邊界框(B)分配給每個目標(biāo)提議.實(shí)驗驗證了增加IoU閾值u對目標(biāo)檢測器檢測精確度的影響，實(shí)驗證明目標(biāo)提議自身閾值與檢測器訓(xùn)練閾值相近時表現(xiàn)最佳.此外，本文使用了級聯(lián)回歸的方法對樣本進(jìn)行重新采樣以解決單個IoU水平優(yōu)化的檢測器在其他水平上不一定能達(dá)到最優(yōu)表現(xiàn)的問題.框架中下一級的輸入數(shù)據(jù)被設(shè)計為上一級的輸出.這樣設(shè)計是因為實(shí)驗發(fā)現(xiàn)通過邊框回歸器輸出IoU總是比輸入IoU更好.本文采用RPN[26]獲得目標(biāo)提議.

1.1.1 多級邊框回歸

在進(jìn)行邊框回歸時，候選框被定義為向量b=(bx，by，bw，bh)，其中bx，by分別代表邊框中心點(diǎn)坐標(biāo)；bw，bh代表邊框的長和寬.使用回歸器f(x，b)將候選邊界框b向目標(biāo)邊界框g進(jìn)行回歸.其中損失函數(shù)定義為：

(1)

Lloc(yi，gi)=smoothL1(yi-gi)；

(2)

(3)

SC-FU-CS RCNN中的級聯(lián)回歸，采用一系列特定的回歸量來實(shí)現(xiàn)，公式為

f(x，b)=fT°fT-1°…°f1(x，b).

(4)

其中T是級聯(lián)階段的總數(shù)，每個fT是對對應(yīng)階段{bt}進(jìn)行回歸的.

1.1.2 分類

定義分類器函數(shù)h(x)，分類器將樣本x分類成M+1個類中的一類，其中類0包含背景和要檢測的目標(biāo).h(x)是類別后驗分布的M+1維估計，即hk(x)=p(y=k|x)，其中y是對應(yīng)的類別標(biāo)簽.給定訓(xùn)練集(xi，yi)，通過最小化分類風(fēng)險來學(xué)習(xí)，公式為

(5)

其中Lcls代表交叉熵?fù)p失函數(shù).

1.1.3 多級目標(biāo)檢測

將前一階段邊框回歸器的輸出作為下一階段的輸入，通過這種方式將連續(xù)階段的一組正樣本比例保持在大致恒定的大小.在每個階段t中，R-CNN包括分類器ht和回歸器ft，其中ut>tt-1.在此基礎(chǔ)上，將多任務(wù)損失目標(biāo)函數(shù)最小化.將目標(biāo)的損失函數(shù)定義為

L(xt，g)=Lcls(ht(xt)，yt)+λ[yt≥1]Lloc(ft(xt，bt)，g).

(6)

其中：bt=ft-1(xt-1，bt-1)，g為目標(biāo)xt的真實(shí)邊框，λ=1為權(quán)衡系數(shù)，yt為分類器得到的xt的預(yù)測標(biāo)簽.

1.2 連接Conv3和Conv5特征

SC-FU-CS RCNN的基礎(chǔ)CNN是VGG16[28]，它是一個16層深的CNN.多層特征融合是一種經(jīng)典的提高精度神經(jīng)網(wǎng)絡(luò)性能思想.受文獻(xiàn)[29]的啟發(fā)，對文獻(xiàn)[25]中的CNN中的Conv3層和Conv5層進(jìn)行連接并歸一化.在合并的特征映射張量中的每個像素內(nèi)進(jìn)行歸一化，如圖1所示.將歸一化應(yīng)用于Conv3層和Conv5層的張量，對混合特征張量中的每個像素進(jìn)行歸一化.歸一化之后，縮放單獨(dú)應(yīng)用于每個張量為：

(7)

(8)

然后將縮放因子γi應(yīng)用于每個ROI張量的每個通道，有

(9)

在訓(xùn)練過程中，縮放因子γi和輸入X通過反向傳播和鏈?zhǔn)揭?guī)則進(jìn)行更新：

(10)

(11)

(12)

其中Y=[y1，y2，…，yd]T.

1.3 基于空間約束的拓?fù)鋮^(qū)域特征提取

在CNN訓(xùn)練過程中特征提取的范圍僅限定在候選框區(qū)域.然而，病理學(xué)家根據(jù)經(jīng)驗認(rèn)為候選區(qū)域通常是主觀的甚至是不準(zhǔn)確的.因此判定癌癥還需要參考腫塊區(qū)域周圍的區(qū)域.也就是說，輸出y不僅僅依賴于輸入x，還依賴于它所在拓?fù)溆騾^(qū)域.為了從未知的周圍區(qū)域中提取特征(如圖1所示)，在輸出層之前添加空間約束層(SC).將Ω定義為輸出y所依賴的駐留區(qū)域.定義空間約束回歸模型m，有

y=m(Ω；θ(x)).

(13)

其中θ(x)是可以估計的未知參數(shù)向量.這里假設(shè)m是已知的先驗知識.如圖2所示，可以通過公式

θ(x)=FL-1(xL-2；wL-1)

(14)

估計θ(x)，其中xL-2是網(wǎng)絡(luò)的第(L-2)層的輸出.當(dāng)包含高度H、寬度W的注釋區(qū)域的圖像作為網(wǎng)絡(luò)的輸入時，y∈[0，1]H′×w′表示空間域Ω=[1，…，H′]×[1，…，W′]在y∈[0，1]上的概率圖，其中H′>W′，W′>W.第i個元素yi，i=1，…，|Ω|被定義為

(15)

其中ci表示yi的坐標(biāo)，c0表示Ω內(nèi)的病變區(qū)域的中心.將d定義為可以通過實(shí)驗估計病變區(qū)域的恒定半徑.

(16)

r=(H′-1)·sigm(wL-1，r·xL-2)+br+1；q=(W′-1)·sigm(wL-1，q·xL-2)+bq+1.

(17)

其中wL-1，r，wL-1，q表示權(quán)重向量，br，bq表示偏置，sigm(·)表示sigmoid函數(shù).為了學(xué)習(xí)網(wǎng)絡(luò)中的所有變量(即權(quán)重向量和偏差值)，使用交叉熵?fù)p失函數(shù)為

(18)

2 實(shí)驗與分析

2.1 數(shù)據(jù)集

采用DDSM中的乳腺X線圖像[30]來訓(xùn)練提出的框架模型.DDSM數(shù)據(jù)庫從被南佛羅里達(dá)大學(xué)等機(jī)構(gòu)創(chuàng)建后已廣泛用于評估和比較CAD算法的性能[16，31-35]，該數(shù)據(jù)庫于1999年秋季完成.DDSM數(shù)據(jù)集包含2 620個病例，每個病例包含乳房X線攝影篩查檢查的4個視圖.分別為每個乳房的2個視圖(medio-latral 和cranio caudal).

實(shí)驗過程中，從DDSM數(shù)據(jù)庫中隨機(jī)抽取600包含良性和惡性病例的乳腺X線圖像.為了檢測任何特定方向的病變，使用數(shù)據(jù)集增強(qiáng)技術(shù)來增加訓(xùn)練數(shù)據(jù).對于每個訓(xùn)練圖像，對乳腺X線圖像進(jìn)行了90°，180°和270°的角度旋轉(zhuǎn)，人工生成3個新的樣本.因此，訓(xùn)練集的總數(shù)是2 400.利用DDSM網(wǎng)站的校準(zhǔn)功能將無損jpg圖像轉(zhuǎn)換為png格式，并將像素值重新調(diào)整為0～255像素范圍內(nèi).乳腺X線圖像樣本如圖3所示.

圖3 DDSM數(shù)據(jù)集乳腺X線圖像示例

2.2 實(shí)驗細(xì)節(jié)

本文SC-FU-CS RCNN是在Caffe框架中構(gòu)建的[36].SC-FU-CS RCNN有4個階段，第1階段是RPN，其余3個階段用于檢測，其中U={0.5，0.6，0.7}.第1個檢測階段的采樣與文獻(xiàn)[26，37]中相同.在以下階段，通過將前一階段的回歸輸出作為下一階段的輸入來實(shí)現(xiàn)重采樣.連接Conv3和Conv5特征并對其進(jìn)行歸一化.使用原始數(shù)據(jù)集和進(jìn)行數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集分別訓(xùn)練并且測試本文框架.通過旋轉(zhuǎn)乳腺X線圖像90°，180°和270°的角度來增強(qiáng)訓(xùn)練數(shù)據(jù)集.為了驗證框架的有效性，本文采用5倍交叉驗證法進(jìn)行驗證.數(shù)據(jù)集分為20%和80%的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集.訓(xùn)練開始時學(xué)習(xí)率為0.002，在60 000和90 000次迭代時減少10倍，并在100 000次迭代時停止，每次迭代時保持4個圖像.這項工作是在PC Intel Core(TM)i5-3550上進(jìn)行的，具有16 GB RAM，時鐘速度或CPU @ 3.30 GHz的頻率，以及Nvidia GTX 1080Ti的GPU.另外，在Ubuntu 14.04的操作系統(tǒng)上使用Python 2.7.6和C++作為編程語言.

2.3 結(jié)果評估

使用受試者工作特征曲線(ROC)及其曲線下面積(AUC)來定量地顯示框架的性能.ROC的AUC顯示分類器的性能，其中AUC值越接近1.0表示分類結(jié)果的準(zhǔn)確率越高，而AUC值接近0.5表示結(jié)果不可靠.ROC曲線定義為[16，35]：

(1)

(2)

其中：TN真陰性病例，TP為真陽性病例，F(xiàn)N為假陰性病例，F(xiàn)P假陽性病例.框架整體分類準(zhǔn)確率定義為

(3)

2.4 實(shí)驗結(jié)果

2.4.1 特征融合、空間約束層

將SC-FU-CS RCNN的性能與其他深度學(xué)習(xí)CAD系統(tǒng)進(jìn)行了比較，結(jié)果見表1.表1顯示了其他工作的AUC和分類準(zhǔn)確率(X表示沒有該指標(biāo))：BC-DROID的準(zhǔn)確率達(dá)到93.5%，AUC達(dá)到92.315%.SC-FU-CS RCNN實(shí)現(xiàn)了最佳的AUC和準(zhǔn)確率.表1結(jié)果表明，本技術(shù)可用于檢測和分類乳房圖像的腫塊.腫塊區(qū)域定位效果如圖4所示.

表1 SC-FU-CS RCNN與其他工作的性能比較

圖4 SC-FU-CS RCNN腫塊定位效果

圖5 SC-FU-CS RCNN 與Cascade R-CNN在原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集上實(shí)驗結(jié)果的ROC曲線

Cascade R-CNN與SC-FU-CS RCNN比較ROC曲線見圖5，其中AUC分別為94.71%和92.72%.SC-FU-CS RCNN的平均評估指標(biāo)如表2所示.實(shí)驗表明，使用特征融合與添加空間約束層可以使SN和SP分別增加1.00%，1.57%.整體準(zhǔn)確率表現(xiàn)從92.76%增加到94.06%.從表2中可以觀察到，所提出的SC-FU-CS RCNN有明顯的效果，例如SN為95.00%，SP為93.16%，ACC為94.06%，AUC為0.947 1.

2.4.2 數(shù)據(jù)增強(qiáng)

使用原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集來訓(xùn)練和測試SC-FU-CS RCNN.原始數(shù)據(jù)集包含從DDSM數(shù)據(jù)庫中選擇的600個乳腺X線圖像.增強(qiáng)數(shù)據(jù)集包含2 400個乳腺X線圖像.為了研究數(shù)據(jù)增強(qiáng)對特異性的影響，分別計算每個數(shù)據(jù)集上的AUC.圖5中的ROC曲線顯示增強(qiáng)數(shù)據(jù)集的性能明顯提高.表2中顯示2 400個增強(qiáng)乳腺X線圖像的結(jié)果從原始數(shù)據(jù)集的91.04%增加到94.06%.使用增強(qiáng)數(shù)據(jù)集可以使SN和SP分別增加2.99%，3.92%，表明使用增強(qiáng)數(shù)據(jù)進(jìn)行訓(xùn)練可以提高乳房腫塊檢測和分類的性能.

表2 SC-FU-CS RCNN與Cascade R-CNN性能比較

3 結(jié)論

本文提出了一種基于空間約束和多特征融合的多級目標(biāo)檢測架構(gòu)用于檢測和分類乳腺X線圖像中的腫塊.給出了目標(biāo)檢測算法的實(shí)現(xiàn)和應(yīng)用場景.實(shí)驗結(jié)果表明，SC-FU-CS RCNN框架優(yōu)于其他幾種乳腺X線腫塊檢測算法，最好的分類準(zhǔn)確率達(dá)到94.71%.本文算法避免了在訓(xùn)練中過度擬合、預(yù)測過程中閾值不匹配造成的檢測效果不理想的問題，提高了對小尺寸、模糊目標(biāo)的檢測準(zhǔn)確率，實(shí)現(xiàn)了高于其他幾種算法的準(zhǔn)確率，驗證了算法的有效性，提升了乳腺X線腫塊檢測的性能.