基于FCOS 算法的乳腺癌影像病灶檢測(cè)

陳志剛

（廣州市第一人民醫(yī)院，廣州510180）

0 引言

乳腺癌是發(fā)生在乳腺組織上的惡性腫瘤。其致命之處在于，由于乳腺癌細(xì)胞喪失了正常細(xì)胞的特性，細(xì)胞間的松散連接會(huì)導(dǎo)致它們?nèi)菀酌撀?，而癌?xì)胞一旦脫落，便會(huì)隨著血液或淋巴液的循環(huán)擴(kuò)散至全身，危及生命[1]。

由于乳腺癌發(fā)病機(jī)制復(fù)雜，家族遺傳、生育狀況、月經(jīng)狀況等都可能是發(fā)病原因；而治療手段基本以手術(shù)切除為主，容易影響女性的心理健康[2]。因此，對(duì)乳腺癌的防控以預(yù)防為主，早發(fā)現(xiàn)、早診斷、早治療。通過醫(yī)學(xué)手段進(jìn)行腫瘤篩查，準(zhǔn)確檢測(cè)病灶則是預(yù)防的關(guān)鍵。

乳腺癌檢查的方法主要包括X 線、超聲、MRI 等[3]，以及基于以上單一檢測(cè)方法的聯(lián)合檢測(cè)[4-5]，盡管乳腺癌檢查方式多種多樣，但仍然面臨著篩查成本高、覆蓋人群有限等問題。因此提高篩查效率及準(zhǔn)確率仍是研究者的共同目標(biāo)。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，圖像識(shí)別技術(shù)已逐步應(yīng)用于醫(yī)療行業(yè)。針對(duì)乳腺癌圖像識(shí)別這一課題，已有部分相關(guān)研究。Filipczuk 等人對(duì)細(xì)針活檢得到的細(xì)胞病理圖片進(jìn)行分類，來分辨腫瘤類型，該算法在737 張圖像上進(jìn)行實(shí)驗(yàn)，達(dá)到了98%的準(zhǔn)確率[6]。George[7]、Zhang[8]等多個(gè)團(tuán)隊(duì)也采用多種不同的機(jī)器學(xué)習(xí)方法設(shè)計(jì)算法，在不同數(shù)據(jù)集上達(dá)到了92%及以上的高準(zhǔn)確率。然后，Spanhol 等人[9]用自己準(zhǔn)備的7909 張乳腺癌病理圖像進(jìn)行評(píng)估時(shí)，卻發(fā)現(xiàn)識(shí)別準(zhǔn)確率降至80%-85%。這是因?yàn)橹暗难芯恐惺褂玫臄?shù)據(jù)集都非常?。ú怀^1000 張），而且通過手動(dòng)設(shè)計(jì)特征進(jìn)行提取的方式魯棒性較差。而深度學(xué)習(xí)方法可以從輸入的大量樣本中自動(dòng)學(xué)習(xí)圖像特征，魯棒性良好，因此后續(xù)研究者更多采用深度學(xué)習(xí)方法設(shè)計(jì)算法。

Samala 等人[10]利用ImageNet 預(yù)訓(xùn)練深度學(xué)習(xí)模型，基于DDSM 數(shù)據(jù)集實(shí)現(xiàn)了乳腺X 線圖像的乳腺癌診斷。同樣基于此數(shù)據(jù)庫，Jain 等人[11]利用預(yù)訓(xùn)練的AlexNet 和Szegedy 等人[12]利用GoogLeNet 網(wǎng)絡(luò)對(duì)乳腺X 線攝影上的良惡性腫瘤加以區(qū)分，取得了當(dāng)時(shí)最優(yōu)結(jié)果。Han 等人[13]利用GoogLeNet 網(wǎng)絡(luò)，手動(dòng)選擇可疑病灶熱點(diǎn)區(qū)域，在7408 張乳腺超聲圖像上的數(shù)據(jù)集上進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，取得90%的準(zhǔn)確度。盡管Han實(shí)驗(yàn)取得準(zhǔn)確率較高，但卻是通過手動(dòng)選擇感興趣區(qū)域ROI，實(shí)用性較低。徐一舫[14]和陳志剛[15]分別采用Faster R-CNN 和SSD 檢測(cè)網(wǎng)絡(luò)進(jìn)行檢測(cè)，取得了較好效果。但諸如Faster R-CNN 和SSD 需依賴于預(yù)定義的anchor 框，仍存在大量的計(jì)算工作。

基于上述研究，本文提出一種基于FCOS 算法的乳腺癌病灶檢測(cè)方法[16]，F(xiàn)COS 算法相比于以往的目標(biāo)檢測(cè)算法，如：RetinaNet、SSD、YOLOv3、Faster R-CNN等具有明顯優(yōu)勢(shì)，無需依賴于預(yù)定義的anchor 框，避免了和anchor 框相關(guān)的復(fù)雜計(jì)算（如IOU 的計(jì)算），降低了計(jì)算內(nèi)存，大大提高了檢測(cè)效率。此算法中的中心度預(yù)測(cè)圖也進(jìn)一步提高了檢測(cè)精度。基于此算法構(gòu)建的乳腺癌診斷系統(tǒng)將具有更短的檢測(cè)時(shí)間和更高的檢測(cè)精度，可以加快醫(yī)院的工作效率，減輕醫(yī)護(hù)人員的工作負(fù)擔(dān)。

1 算法實(shí)現(xiàn)

本文使用FCOS 網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)，為了減少過擬合，我們?cè)趯⒂?xùn)練數(shù)據(jù)輸入網(wǎng)絡(luò)之前先進(jìn)行數(shù)據(jù)增強(qiáng)。在使用本文方法進(jìn)行目標(biāo)檢測(cè)時(shí)，首先要對(duì)模型進(jìn)行訓(xùn)練。訓(xùn)練時(shí)，圖片和對(duì)應(yīng)的目標(biāo)框輸入圖像預(yù)處理模塊，然后把預(yù)處理模塊輸出的圖像傳入FCOS中進(jìn)行訓(xùn)練。在使用的時(shí)候，直接將圖片傳入FCOS中產(chǎn)生測(cè)試結(jié)果。整個(gè)算法的流程圖如圖1。在1.1小節(jié)中我們將介紹圖像預(yù)處理模塊是如何工作的，在1.2 小節(jié)中我們將對(duì)FCOS 進(jìn)行介紹。

圖1 算法流程圖

1.1 圖像預(yù)處理

在深度學(xué)習(xí)中，模型的表達(dá)能力非常強(qiáng)，在訓(xùn)練時(shí)投入過少的數(shù)據(jù)量將會(huì)使模型學(xué)習(xí)到大量非必要的特征，造成模型的過擬合。通過數(shù)據(jù)增廣增加數(shù)據(jù)集的大小可以有效地化解過擬合[17]。本文通過對(duì)原始圖像數(shù)據(jù)進(jìn)行幾何變換，通過裁剪、翻轉(zhuǎn)和噪聲的方法來改變圖像中像素的位置，并保持特征相同，從而擴(kuò)大數(shù)據(jù)集的規(guī)模。

在臨床的診斷中，超聲波的顏色信息是較為穩(wěn)定的，通過改變顏色來對(duì)圖像進(jìn)行數(shù)據(jù)增廣將會(huì)引入大量在臨床中不會(huì)碰到的顏色特征，對(duì)于實(shí)際檢測(cè)是有害的。因此本文僅通過對(duì)數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)、尺度變換和噪聲來增加數(shù)據(jù)量的大小。在數(shù)據(jù)增廣時(shí)，首先對(duì)圖像進(jìn)行旋轉(zhuǎn)變換，圖片分別旋轉(zhuǎn)90°、180°和270°，此時(shí)數(shù)據(jù)量變?yōu)樵瓟?shù)據(jù)大小的四倍。然后對(duì)原數(shù)據(jù)進(jìn)行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)，此時(shí)數(shù)據(jù)量變?yōu)樵瓟?shù)據(jù)大小的六倍。然后通過高斯金字塔構(gòu)建多尺度空間下的尺度表示序列，在隨機(jī)選取的兩個(gè)尺度空間中對(duì)圖像進(jìn)行隨機(jī)裁剪，此時(shí)數(shù)據(jù)量大小變?yōu)樵瓟?shù)據(jù)的八倍。最后隨機(jī)為包所有圖片添加隨機(jī)方差為10，20 或30 的高斯噪聲，最后數(shù)據(jù)變?yōu)樵瓉淼?6 倍。

1.2 基于FCOS的目標(biāo)檢測(cè)

將圖像預(yù)處理后的圖片傳入FCOS 中。FCOS 使用ResNet-101[18]作為骨架網(wǎng)絡(luò)。在骨架網(wǎng)絡(luò)后使用特征金字塔提取特征圖的尺度特征，然后對(duì)于每個(gè)尺度的特征進(jìn)行分類和對(duì)目標(biāo)框回歸。

ResNet-101 由普通的卷積層和殘差模塊組成。在整個(gè)ResNet-101 模塊中，輸入圖片經(jīng)過{C1, C2, C3,C4,C5}五個(gè)卷積模塊。每經(jīng)過一個(gè)卷積模塊都會(huì)使特征圖變?yōu)樵笮〉?/2。在使用單尺度的特征圖進(jìn)行目標(biāo)檢測(cè)時(shí)，感受野受到尺度大小的影響，對(duì)于目標(biāo)尺度較大或者較小的目標(biāo)，檢出能力會(huì)減弱。為了提高目標(biāo)檢測(cè)時(shí)的尺度不變性，我們提取ResNet-101 網(wǎng)絡(luò)中C3、C4、C5 模塊的輸出特征圖，并將其傳入特征金字塔網(wǎng)絡(luò)（FPN）[19]中，特征金字塔經(jīng)過上采樣和下采樣，產(chǎn)生五個(gè)不同尺度的特征圖P3、P4、P5、P6、P7，其大小分別是輸入圖片的1/8、1/16、1/32、1/64、1/128。對(duì)于每個(gè)特征金字塔產(chǎn)生的特征圖，分為分類和回歸兩條支路，對(duì)于每條支路都進(jìn)行五次步長(zhǎng)為1 的卷積運(yùn)算。對(duì)于分類支路，最后通過一個(gè)步長(zhǎng)為1 的卷積層輸出通道數(shù)為C 的結(jié)果，C 為目標(biāo)分類的數(shù)量。對(duì)于回歸支路，最后通過一個(gè)步長(zhǎng)為1 的卷積層輸出通道數(shù)為4 的結(jié)果。四個(gè)通道分別對(duì)應(yīng)回歸坐標(biāo)點(diǎn)與目標(biāo)框四條邊的距離。在訓(xùn)練時(shí)，在分類的分支中加入一個(gè)center-ness 策略產(chǎn)生的損失。網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

我們的網(wǎng)絡(luò)輸出一系列與原圖尺寸大小的回歸圖，分別是通道數(shù)為2 的分類預(yù)測(cè)圖，4 通道的位置預(yù)測(cè)圖以及單通道的中心度預(yù)測(cè)圖。在我們的任務(wù)里，只需要判斷位置(x,y)是否為乳腺癌區(qū)域，因此分類的預(yù)測(cè)圖通道設(shè)置為2。此外，我們還將預(yù)測(cè)一個(gè)4D 的回歸偏移向量t*=(l*,t*,r*,b*) ，其中l(wèi)*,t*,r*,b*分別表示該位置到左邊界、上邊界、右邊界以及下邊界的距離。如果一個(gè)位置落于多個(gè)邊界框內(nèi)，我們則認(rèn)為它為模糊樣本，盡管這種情況出現(xiàn)的頻率比較低。假設(shè)表示第i個(gè)邊界框的左上跟右下角點(diǎn)的坐標(biāo)，那么我們的回歸任務(wù)如下：

圖2 FCOS 網(wǎng)絡(luò)的結(jié)構(gòu)流程圖虛線框中為Head 部分的具體結(jié)構(gòu)

相比于Faster R-CNN 等設(shè)計(jì)參數(shù)需要多次調(diào)整的方法，我們的網(wǎng)絡(luò)結(jié)構(gòu)是簡(jiǎn)單而有力的。同時(shí)，對(duì)每個(gè)位置的回歸還避免了復(fù)雜的IOU 計(jì)算和匹配，使得我們的網(wǎng)絡(luò)更加快速。

單通道的中心度預(yù)測(cè)圖是為了抑制低質(zhì)量的、遠(yuǎn)離目標(biāo)中心的邊界框。中心度是指像素位置到對(duì)應(yīng)邊界框的中心的距離。給定某位置(x,y)的回歸目標(biāo)l*,t*,r*,b*，我們的中心度定義如下：

因此中心度可以降低遠(yuǎn)離目標(biāo)中心邊界框的權(quán)重，進(jìn)一步說，這些低質(zhì)量的邊界框大概率會(huì)被NMS過濾掉，從而顯著提升了檢測(cè)性能。

在訓(xùn)練的時(shí)候，我們需要損失函數(shù)來優(yōu)化模型。假設(shè)Npos代表正例數(shù)量，那么我們的損失函數(shù)定義如下：

2 實(shí)驗(yàn)結(jié)果比較

本文訓(xùn)練的環(huán)境配置是Ubuntu 16.04 操作系統(tǒng)，內(nèi)存32GB DDR4，顯卡NVIDIA GeForce GTX 1080Ti。算法使用的編程語言是Python，在TensorFlow 深度學(xué)習(xí)框架上實(shí)現(xiàn)訓(xùn)練跟測(cè)試的。我們將訓(xùn)練所需要的參數(shù)設(shè)置為：批量：5，訓(xùn)練次數(shù)：30000 次，權(quán)值衰減系數(shù)：0.001，學(xué)習(xí)率：10e-5，優(yōu)化算法：隨機(jī)梯度下降法。

我們的測(cè)試結(jié)果如圖3 所示，可以看到，我們的方法在該方法能在目標(biāo)模糊、邊界難以確定的情況下保持良好的檢測(cè)效果。

圖3 檢測(cè)結(jié)果

接下來我們將與其他算法進(jìn)行性能的比較。我們采用的精度指標(biāo)平均精度均值（mAP），mAP 可以用來評(píng)估模型的分類和定位性能。我們首先計(jì)算預(yù)測(cè)邊界框和參考邊界框的交集和并集之間的比率（IoU），IoU的計(jì)算公式如下：

其中area(C)表示產(chǎn)生的候選框的面積，area(G)表示原標(biāo)記框的面積。將閾值設(shè)置為0.5，如果IoU>0.5，那么認(rèn)為這是一個(gè)正確檢測(cè)，否則認(rèn)為這是一個(gè)錯(cuò)誤檢測(cè)。我們將與Faster R-CNN、SSD 的比較結(jié)果制作成表1。

表1 Faster R-CNN、SSD 與FCOS 性能比較

3 結(jié)語

本文采用FCOS 算法對(duì)乳腺癌超聲圖像進(jìn)行病灶檢測(cè)，并與其他目標(biāo)檢測(cè)算法Faster R-CNN 和SSD 進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，F(xiàn)COS 算法具有更高的檢測(cè)精度，適合用于乳腺癌醫(yī)療輔助系統(tǒng)建設(shè)。后續(xù)研究中，將通過增加樣本數(shù)量、優(yōu)化模型，進(jìn)一步提高檢測(cè)效果。