基于難樣本挖掘和深度學(xué)習(xí)的乳腺癌檢測(cè)方法

張永梅，陳 彤，馬健喆，胡 蕾

(1.北方工業(yè)大學(xué) 信息學(xué)院，北京 100144；2.香港理工大學(xué) 電子與信息工程系，中國(guó) 香港 999077； 3.江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，江西 南昌 330022)

0 引 言

早期的乳腺癌檢測(cè)方法[1]主要結(jié)合醫(yī)學(xué)專(zhuān)業(yè)知識(shí)分析病灶特征，手工設(shè)計(jì)特征標(biāo)準(zhǔn)檢測(cè)圖像，其中大多基于傳統(tǒng)特征提取方法。如Tomislav M. STOJIC提出了一種基于多重分形圖像的增強(qiáng)方法，結(jié)合組織病變區(qū)域邊緣局部對(duì)比度進(jìn)一步提高了乳腺腫塊的區(qū)分度[2]。Suhail Z等提出一種特定鱗片化斑點(diǎn)的檢測(cè)方法，對(duì)乳腺X光影像中小尺寸的鈣化亮點(diǎn)檢測(cè)效果較好[3]。Wang等結(jié)合多尺度區(qū)域增長(zhǎng)和小波分解進(jìn)行感興趣區(qū)域定位，使乳腺癌病理圖像的檢測(cè)精度達(dá)到96.19%[4]。Spanhol等通過(guò)將組織學(xué)圖像編碼為Grassmann流形上的局部聚集描述符向量表示形式來(lái)解決浸潤(rùn)性乳腺癌的自動(dòng)分級(jí)問(wèn)題，檢測(cè)準(zhǔn)確率達(dá)到85%[5]。然而，傳統(tǒng)特征提取算法通常基于小規(guī)模數(shù)據(jù)集開(kāi)展，算法檢測(cè)結(jié)果評(píng)判標(biāo)準(zhǔn)不一，實(shí)驗(yàn)結(jié)果難以客觀比較。此外，設(shè)計(jì)特征提取標(biāo)準(zhǔn)耗時(shí)費(fèi)力，要掌握一定醫(yī)學(xué)領(lǐng)域知識(shí)，且泛化提取算法難度較大，實(shí)際應(yīng)用受限。

近年來(lái)，深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)在目標(biāo)檢測(cè)、圖像分割等領(lǐng)域已得到了廣泛應(yīng)用，為乳腺圖像檢測(cè)奠定了基礎(chǔ)[6]。其中，一階段檢測(cè)算法如YOLO[7]、SSD[8]等實(shí)時(shí)檢測(cè)框架，二階段檢測(cè)算法如Fast R-CNN[9]、提出區(qū)域建議網(wǎng)絡(luò)的Faster R-CNN[10]、通過(guò)全卷積網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行分割的Mask R-CNN[11]等，這類(lèi)算法在自然圖像中檢測(cè)效果很好，乳腺癌檢測(cè)也可充分利用算法提高檢測(cè)精度。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法能夠?qū)W習(xí)到人為設(shè)計(jì)特征以外的高層抽象特征來(lái)提升檢測(cè)結(jié)果的準(zhǔn)確性。Spanhol等提出了一種乳腺癌特征評(píng)估方法，在乳腺癌切片圖像檢測(cè)上達(dá)到了較高的檢測(cè)精度[12]。LIU Xiaoming等有效結(jié)合Gabor的毛刺特征、灰度共生矩陣特征及熵特征，利用遷移學(xué)習(xí)方法解決了結(jié)構(gòu)紊亂檢測(cè)困難的問(wèn)題[13]。Al-Masni MA等結(jié)合YOLO檢測(cè)框架優(yōu)化算法成功檢測(cè)出肌肉下的病變組織[14]。Samala RK等提出了一種分層路徑演化方法來(lái)壓縮深度卷積神經(jīng)網(wǎng)絡(luò)，提升了乳腺圖像檢測(cè)精度[15]。但基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法在著重提取紋理特征信息或語(yǔ)義特征信息時(shí)，易出現(xiàn)誤檢漏檢。針對(duì)以上問(wèn)題，本文提出了一種基于改進(jìn)Mask R-CNN的乳腺癌檢測(cè)方法，并結(jié)合難樣本挖掘以及網(wǎng)絡(luò)模型融合提取特征的多尺度信息，有效提高了乳腺癌檢測(cè)精度。

1 Mask R-CNN框架

Mask R-CNN由何愷明等在Faster R-CNN基礎(chǔ)上變化而來(lái)，通過(guò)改進(jìn)并引入一層全卷積分割分支，得到一種目標(biāo)檢測(cè)及圖像分割相結(jié)合的模型，可以高效地檢測(cè)圖像中的目標(biāo)，同時(shí)為每個(gè)目標(biāo)生成高質(zhì)量的分割結(jié)果。

網(wǎng)絡(luò)模型主體是以Faster R-CNN為基礎(chǔ)添加一個(gè)以全卷積網(wǎng)絡(luò)預(yù)測(cè)語(yǔ)義分割的部分，首先使用殘差網(wǎng)絡(luò)(ResNet)作為特征提取骨架網(wǎng)絡(luò)，結(jié)合特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)更好地利用提取圖像中多尺度信息的高層語(yǔ)義特征和低層紋理特征。同時(shí)在原始興趣感知域池化層(region of interesting Pooling，ROI Pooling)的基礎(chǔ)上，使用雙線(xiàn)性插值法解決候選框提取過(guò)程中，采樣點(diǎn)張量只能取整的問(wèn)題。感興趣區(qū)域可以與原圖像中的對(duì)應(yīng)特征區(qū)域完整對(duì)齊，保留了感興趣區(qū)域邊界張量的小數(shù)部分，解決了在ROI Pooling篩選候選框與原始目標(biāo)不匹配的問(wèn)題，提高了候選框檢測(cè)結(jié)果的精度。

Mask R-CNN處理圖像的流程為：以殘差網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，將預(yù)處理圖像輸入，提取并生成多尺度特征圖。FPN對(duì)特征圖進(jìn)行不同尺度采樣，其中自頂向下采樣路徑是從最高層開(kāi)始進(jìn)行最近鄰上采樣替代功能，該做法一方面操作較為簡(jiǎn)便，另外一方面可以減少訓(xùn)練參數(shù)；橫向連接則是將上采樣獲取到的特征圖和自底向上生成的相同大小的特征圖進(jìn)行融合，再對(duì)已融合的特征進(jìn)行一次3×3的卷積，以消除圖像混疊效應(yīng)；將結(jié)果輸入?yún)^(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)，采用3種不同尺度的橫縱比，在每個(gè)像素點(diǎn)上生成不同尺寸的候選框(anchor)，根據(jù)圖像交并比，對(duì)比預(yù)測(cè)框和真實(shí)框重復(fù)率，得出對(duì)應(yīng)比值。隨后將其與特征圖輸入興趣區(qū)域?qū)R層(region of interesting Align，ROI Align)，在這一層Mask R-CNN用ROI Align替換了Faster R-CNN中的ROI Pooling層，即不使用特征映射上四舍五入的方式，對(duì)ROI Align過(guò)程中目標(biāo)位置信息標(biāo)定更加明確。最后分別計(jì)算檢測(cè)、定位和分割3部分的損失函數(shù)，同時(shí)生成目標(biāo)檢測(cè)所映射的高質(zhì)量目標(biāo)分割結(jié)果。Mask R-CNN檢測(cè)流程如圖1所示。

圖1 Mask R-CNN檢測(cè)流程

2 基于改進(jìn)FPN結(jié)構(gòu)的Mask R-CNN框架

Mask R-CNN是現(xiàn)階段功能強(qiáng)大的目標(biāo)檢測(cè)與分割網(wǎng)絡(luò)之一，其在自然圖像的檢測(cè)分割任務(wù)中表現(xiàn)十分出色，但將Mask R-CNN直接用于乳腺癌圖像檢測(cè)仍存在以下幾個(gè)問(wèn)題。

(1)難以準(zhǔn)確定位面積較大的目標(biāo)信息，易產(chǎn)生位置偏差，且對(duì)于中、小范圍的病灶區(qū)域易產(chǎn)生誤檢漏檢；

(2)在預(yù)測(cè)過(guò)程中由于病灶區(qū)域過(guò)小或不易檢測(cè)，以及正負(fù)樣本不均衡等問(wèn)題，區(qū)域建議網(wǎng)絡(luò)產(chǎn)生較多的負(fù)樣本特征圖集合，對(duì)網(wǎng)絡(luò)整體學(xué)習(xí)率有一定影響，易降低網(wǎng)絡(luò)模型整體檢測(cè)精度；

(3)由于病灶圖像和部分隱患區(qū)域的紋理特征及顏色特征易出現(xiàn)相似現(xiàn)象，網(wǎng)絡(luò)檢測(cè)模型可能會(huì)將未患病的區(qū)域誤檢為癌癥隱患區(qū)域。

為解決以上問(wèn)題，本文在Mask R-CNN模型基礎(chǔ)上，改進(jìn)其FPN網(wǎng)絡(luò)結(jié)構(gòu)、融合難樣本挖掘算法優(yōu)化訓(xùn)練過(guò)程，對(duì)訓(xùn)練過(guò)程中產(chǎn)生的難負(fù)樣本及不易訓(xùn)練的多尺度特征信息進(jìn)行分析，提高不同目標(biāo)圖像的檢測(cè)精度、解決正負(fù)樣本不均衡等問(wèn)題，提升易誤檢區(qū)域的檢測(cè)準(zhǔn)確率。

2.1 改進(jìn)FPN結(jié)構(gòu)

FPN結(jié)構(gòu)在融合特征圖上有較好的效果。但其中特征融合過(guò)程中，側(cè)邊連接路徑是自頂向下構(gòu)成，因此導(dǎo)致特征映射結(jié)果輸入到RPN層中只利用了上一層尺寸信息，利用信息過(guò)于單一，未能充分利用其它層次信息，進(jìn)而影響后續(xù)的檢測(cè)回歸任務(wù)。該結(jié)構(gòu)主要存在如下兩個(gè)弊端。

(1)低層特征的位置信息和高層的語(yǔ)義信息結(jié)合不緊密，易出現(xiàn)檢測(cè)位置與目標(biāo)信息不匹配問(wèn)題；

(2)在FPN輸入到RPN的特征映射圖中，只包含本層和前一層特征融合信息，缺少對(duì)于其余層上特征信息的利用，沒(méi)能將其充分融合，從而導(dǎo)致最終檢測(cè)結(jié)果不理想。

為解決上述問(wèn)題，充分利用特征金字塔結(jié)構(gòu)對(duì)于低層位置信息特征和高層語(yǔ)義信息特征的融合。本文基于Mask R-CNN的前端特征金字塔結(jié)構(gòu)改進(jìn)，增加多尺度特征融合路徑。

首先采用自底向上的反向側(cè)邊連接路徑改進(jìn)FPN，對(duì)所有層次的特征映射圖進(jìn)行1×1卷積增強(qiáng)特征的非線(xiàn)性特性，將連接后的特征圖分別輸入ROI Align和RPN中，對(duì)ROI Align的輸出結(jié)果進(jìn)行檢測(cè)和回歸，充分融合目標(biāo)的空間位置和語(yǔ)義信息，使檢測(cè)模型可以更好地對(duì)輸入圖像進(jìn)行分類(lèi)定位。

如圖2所示，改進(jìn)后的FPN增加反向側(cè)邊下采樣連接的路徑。其中P2、P3、P4、P5和N2、N3、N4、N5為FPN的改進(jìn)特征映射層。在新路徑產(chǎn)生的特征圖Ni基礎(chǔ)上，使原始FPN結(jié)構(gòu)產(chǎn)生的特征圖Pi+1與之進(jìn)一步融合，生成新路徑上的特征圖Ni+1。

圖2 反向側(cè)邊下采樣融合連接

具體操作如圖3所示。Ni經(jīng)過(guò)步長(zhǎng)為2的3×3卷積層得到與Pi+1相同尺寸的特征映射圖，利用側(cè)邊連接將特征映射圖Pi+1中的每一層和下采樣特征層相加，相加后再由步長(zhǎng)為1的3×3卷積層處理新的特征融合圖，生成新的特征映射N(xiāo)i+1，再對(duì)Ni+1進(jìn)行1×1的卷積得到Nii+1，使融合后的特征圖進(jìn)一步增強(qiáng)其非線(xiàn)性特性，以此提高網(wǎng)絡(luò)模型的訓(xùn)練效果。

圖3 特征融合具體流程

2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為適應(yīng)特征提取網(wǎng)絡(luò)，首先對(duì)初始輸入圖像預(yù)處理，尺寸調(diào)整為1024×1024，在第一層輸入網(wǎng)絡(luò)后進(jìn)行一次卷積核大小為3×3卷積操作，輸出圖像尺寸為128×128，通道數(shù)為32；從第二層開(kāi)始經(jīng)由帶有殘差塊的卷積核，輸出特征圖尺寸為128×128，通道數(shù)量為128，之后同樣進(jìn)行殘差網(wǎng)絡(luò)的特征提取，輸出特征圖尺寸為64×64，通道數(shù)量為256；最終將圖像特征圖轉(zhuǎn)換為16×16×1024尺寸，具體參數(shù)見(jiàn)表1。Mask R-CNN在前5層卷積層的輸出分別對(duì)應(yīng)于每個(gè)階段的最后一個(gè)殘差網(wǎng)絡(luò)特征圖輸出。隨后在產(chǎn)生特征圖基礎(chǔ)上，構(gòu)建自頂向下的路徑，其中較高層特征進(jìn)行2倍上采樣，左側(cè)對(duì)應(yīng)的前一層進(jìn)行一次1×1的卷積，生成和后一層相同的通道數(shù)，之后對(duì)兩層特征映射進(jìn)行像素級(jí)融合。由于融合后特征圖上采樣部分和橫向連接特征圖疊加造成了特征不連續(xù)，生成特征混亂而產(chǎn)生混疊效應(yīng)，對(duì)融合特征進(jìn)行一次3×3卷積，即特征再提取，進(jìn)而保證特征穩(wěn)定性，因此，自頂向下的路徑中生成特征圖P2-P5，特征圖尺寸由16×16變?yōu)?4×64，特征通道數(shù)不變。

表1 網(wǎng)絡(luò)模型參數(shù)

本文在原始特征金字塔基礎(chǔ)上提出一種在模型內(nèi)部利用特征圖進(jìn)一步融合多尺度特征的改進(jìn)方法，即在自頂向下生成的P2-P5特征基礎(chǔ)上，結(jié)合當(dāng)前特征圖進(jìn)行3×3下采樣卷積操作，與前一層特征圖采用相同橫向連接特征融合方法生成高層特征。模型在下采樣過(guò)程中，生成了N2-N5的特征圖，尺寸為64×64到16×16，通道數(shù)仍為256，其作為下一個(gè)卷積層組的輸入，為增強(qiáng)其特征圖非線(xiàn)性特性，在此基礎(chǔ)上，對(duì)每一層特征采用1×1卷積生成新特征圖Ni2-Ni5

。

相比原Mask R-CNN檢測(cè)模型，本文改進(jìn)方法基于原有模型中的網(wǎng)絡(luò)層，生成新的特征映射圖，主要特征還是融合高層語(yǔ)義特征和低層位置信息特征。因此，本文主要進(jìn)行兩部分改進(jìn)，首先是對(duì)第一次自頂向下特征融合產(chǎn)生的特征圖采用自底向上的下采樣方法進(jìn)一步對(duì)特征進(jìn)行融合，然后，在新生成的特征基礎(chǔ)上增強(qiáng)非線(xiàn)性特性，將進(jìn)一步優(yōu)化的特征輸入RPN及ROI Align等后續(xù)網(wǎng)絡(luò)。該結(jié)構(gòu)充分融合了上下層特征，使網(wǎng)絡(luò)模型對(duì)圖像特征充分學(xué)習(xí)。

2.3 難樣本挖掘方法

在Mask R-CNN訓(xùn)練之前，特征提取網(wǎng)絡(luò)會(huì)產(chǎn)生大量候選框，每個(gè)樣本都進(jìn)行了一次測(cè)試，選擇結(jié)果中圖像特征近似，但帶有較大檢測(cè)誤差的不同樣本添加到訓(xùn)練中，重新對(duì)難樣本訓(xùn)練，增加了訓(xùn)練強(qiáng)度。

難樣本的評(píng)判需要考慮兩個(gè)因素：物體分類(lèi)誤差和邊框位置誤差。如果兩個(gè)樣本間具有較大分類(lèi)誤差，則訓(xùn)練結(jié)果中的位置檢測(cè)概率會(huì)更高，但目標(biāo)語(yǔ)義分割精度可能也會(huì)降低，出現(xiàn)誤檢。因此，在判別目標(biāo)樣本時(shí)，首先選擇特征近似率高的正負(fù)樣本進(jìn)行判別，減少誤檢率。近似率采取樣本之間目標(biāo)的位置相交率和類(lèi)別相交率，對(duì)于位置相交率高的樣本，更多傾向于類(lèi)別信息的預(yù)測(cè)，對(duì)于類(lèi)別相交率高的樣本，更傾向于位置信息的預(yù)測(cè)。判別函數(shù)見(jiàn)式(1)～式(4)

L(o,p)=LIoU(o)+Lscore(p)

(1)

(2)

Lscore=1-p

(3)

(4)

在式(1)中，LIoU為位置誤差，Lscore為類(lèi)別誤差，在式(3)中，p為類(lèi)別置信度，Lscore取總置信度與類(lèi)別置信度差值。在式(4)中，o為樣本與檢測(cè)物體真實(shí)目標(biāo)區(qū)域的交并比(IoU)，通常作為判斷候選框與真實(shí)目標(biāo)區(qū)域的近似度標(biāo)準(zhǔn)，閾值一般設(shè)為0.5，在此基礎(chǔ)上引入k作為敏感系數(shù)對(duì)IoU閾值偏差進(jìn)一步優(yōu)化，通過(guò)調(diào)整對(duì)于正負(fù)樣本的敏感程度，可以使誤差的判定更為明顯。同時(shí)，根據(jù)取值范圍大小設(shè)定目標(biāo)近似度，目標(biāo)交并比o和類(lèi)別置信度p的取值范圍一般為0-1之間。根據(jù)判別函數(shù)計(jì)算相應(yīng)判別值，L(o,p)作為最終近似度結(jié)果取類(lèi)別誤差及位置誤差代數(shù)和，該值基于預(yù)設(shè)的閾值區(qū)間判定當(dāng)前輸入樣本是否為難樣本，算法整體流程如圖4所示。

圖4 難樣本挖掘流程

該方法引入主要是在ROI Align生成樣本類(lèi)別和位置等損失值后，根據(jù)當(dāng)前損失值計(jì)算整體誤差，并根據(jù)閾值判定，當(dāng)判定當(dāng)前樣本為難樣本，則將其返回至ROI Align中進(jìn)一步參與訓(xùn)練，其主要解決在訓(xùn)練過(guò)程中損失值較大樣本對(duì)訓(xùn)練結(jié)果產(chǎn)生的影響。結(jié)合難樣本挖掘可以有效解決醫(yī)學(xué)影像數(shù)據(jù)正負(fù)樣本不均衡，數(shù)據(jù)量較少等問(wèn)題。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)硬件環(huán)境配置為采用GTX 2060顯卡預(yù)測(cè)結(jié)果，結(jié)合GTX 2080ti顯卡訓(xùn)練模型、軟件環(huán)境配置為：CUDA10及CUDNN7.3基礎(chǔ)深度神經(jīng)網(wǎng)絡(luò)庫(kù)，同時(shí)基于Tensorflow1.x版本深度學(xué)習(xí)框架，并使用python3.5編程語(yǔ)言編寫(xiě)軟件功能及界面模塊，實(shí)驗(yàn)效果及軟件界面如圖5所示。

圖5 實(shí)驗(yàn)效果

3.1 實(shí)驗(yàn)數(shù)據(jù)

乳腺癌檢測(cè)數(shù)據(jù)選取自Digital Database for Screening Mammography(DDSM)數(shù)據(jù)庫(kù)，DDSM數(shù)據(jù)庫(kù)是美國(guó)醫(yī)學(xué)機(jī)構(gòu)建立的專(zhuān)門(mén)存放大量乳腺病理標(biāo)注圖像的數(shù)據(jù)庫(kù)，包含有cancer、normal、benign等類(lèi)型數(shù)據(jù)。目前乳腺癌檢測(cè)的大量研究都采用該數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含大約2500項(xiàng)研究，每項(xiàng)研究包括每個(gè)乳腺的兩幅圖像，包含病灶區(qū)域的圖像提供了關(guān)于病灶區(qū)域的位置和類(lèi)型的像素級(jí)標(biāo)注信息，還提供了用于訪(fǎng)問(wèn)乳腺X光影像和原圖像以及計(jì)算自動(dòng)圖像分析算法性能數(shù)據(jù)的軟件。

DDSM數(shù)據(jù)集單個(gè)病例文件包含左側(cè)頭尾位、左側(cè)斜側(cè)位、右側(cè)頭尾位、右側(cè)斜側(cè)位4個(gè)方位的乳腺X光影像。每個(gè)方位的圖像若包含有病灶區(qū)域信息，則會(huì)對(duì)應(yīng)含有醫(yī)生手工標(biāo)注的患病區(qū)域形狀、輪廓和病情描述等信息的標(biāo)注文件。其中，病灶區(qū)域標(biāo)注大多為癌變腫塊，除此之外，可以進(jìn)行癌癥預(yù)測(cè)的信息還包含有鈣化點(diǎn)、增生結(jié)節(jié)等類(lèi)型區(qū)域。

本文實(shí)驗(yàn)中，針對(duì)乳腺腫塊形狀結(jié)合病癥不同嚴(yán)重程度對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，同時(shí)加入小部分正常范圍的影像數(shù)據(jù)，以及含有鈣化點(diǎn)的數(shù)據(jù)作為輔助類(lèi)別，用以和腫塊區(qū)域區(qū)分開(kāi)。乳腺腫塊按形狀可分為圓形、針葉形和不規(guī)則結(jié)構(gòu)形等，按邊界輪廓可分為毛刺狀、結(jié)構(gòu)扭曲狀和邊界模糊狀等，按腫塊密度分可分為緊密型和稀疏型。

通過(guò)DDSM數(shù)據(jù)庫(kù)提供的標(biāo)注分割實(shí)例，對(duì)原圖像中病灶區(qū)域進(jìn)行部分標(biāo)注，共包含1100個(gè)含標(biāo)記正樣本和400個(gè)含偽標(biāo)記負(fù)樣本。數(shù)據(jù)中包含有真實(shí)患病區(qū)域的圖像為正樣本，未患病區(qū)域圖像為負(fù)樣本，經(jīng)圖像幾何變化與數(shù)據(jù)增強(qiáng)之后訓(xùn)練集與測(cè)試集分別分配80%和20%。如圖6所示為部分樣本，圖6(a)為明顯含有病灶樣本，圖6(b)為含有病灶的不明顯樣本，圖6(c)為無(wú)病灶的偽正樣本。

圖6 部分乳腺樣本圖像

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

結(jié)合實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練改進(jìn)Mask R-CNN網(wǎng)絡(luò)模型，在參數(shù)選擇上，卷積層采用隨機(jī)梯度下降法優(yōu)化模型，并分別選取常用激活函數(shù)relu、tanh、elu與sigmoid進(jìn)行對(duì)比。訓(xùn)練階段，權(quán)重衰減設(shè)為0.0003，初始迭代學(xué)習(xí)率設(shè)為0.0003，迭代次數(shù)10 000時(shí)暫停訓(xùn)練，下調(diào)學(xué)習(xí)率為0.000 01，進(jìn)一步收斂損失值。批處理參數(shù)初步設(shè)為1，步長(zhǎng)系數(shù)為8，動(dòng)量因子設(shè)為0.9，最大迭代次數(shù)為20 000次，參數(shù)設(shè)置見(jiàn)表2。

表2 實(shí)驗(yàn)參數(shù)設(shè)置

根據(jù)選擇不同激活函數(shù)訓(xùn)練的實(shí)驗(yàn)結(jié)果，sigmoid，tanh效果不佳；收斂速度上elu較relu稍快，在損失值很接近的情況下，elu融合了sigmoid和relu的特點(diǎn)，具有左側(cè)軟飽性，能夠使elu對(duì)輸入變化或噪聲更具魯棒性，右側(cè)線(xiàn)性部分與relu基本相同使得elu能夠緩解梯度消失，而elu的輸出均值接近于零，相當(dāng)于relu的左側(cè)輸出全零，收斂效果更好；因此本文使用elu作為激活函數(shù)。

選取Mask R-CNN特征提取網(wǎng)絡(luò)時(shí)，分別使用ResNet-50和ResNet-101作為骨架網(wǎng)絡(luò)測(cè)試特征提取網(wǎng)絡(luò)中的檢測(cè)及訓(xùn)練結(jié)果，初步檢測(cè)結(jié)果上ResNet-101平均檢測(cè)精度相對(duì)較高，模型復(fù)雜度最為合適，同時(shí)將改進(jìn)模型與初始Mask R-CNN模型進(jìn)行對(duì)比。

3.3 乳腺癌檢測(cè)結(jié)果分析

實(shí)驗(yàn)結(jié)果檢測(cè)選取了1500幅尺寸為350×640大小的png格式數(shù)據(jù)，對(duì)原始網(wǎng)絡(luò)模型、改進(jìn)特征金字塔與難樣本挖掘算法的模型訓(xùn)練，模型測(cè)試階段選取300幅包含病灶區(qū)域及無(wú)病灶區(qū)域的數(shù)據(jù)作為正負(fù)樣本。實(shí)驗(yàn)結(jié)果評(píng)判標(biāo)準(zhǔn)采用平均準(zhǔn)確率均值(mean Average Precision，mAP)來(lái)衡量測(cè)試樣本的整體精確度。

mAP的計(jì)算涉及到很多計(jì)算參數(shù)，是深度學(xué)習(xí)中物體檢測(cè)算法準(zhǔn)確率的一個(gè)重要衡量指標(biāo)。關(guān)于mAP中的參數(shù)，在物體檢測(cè)中只有那些交并比處于閾值區(qū)間的才被認(rèn)為是正樣本，其余樣本均為負(fù)樣本。TP表示預(yù)測(cè)結(jié)果與實(shí)際標(biāo)注框保持一致的部分。FP表示預(yù)測(cè)結(jié)果與實(shí)際不符合。FN表示有多少個(gè)實(shí)際標(biāo)注框沒(méi)有被檢測(cè)到，TN表示檢測(cè)到的實(shí)際標(biāo)注。目標(biāo)精確率、預(yù)測(cè)召回率和平均準(zhǔn)確率均值的計(jì)算方法見(jiàn)式(5)～式(7)，其中n為計(jì)算樣本總量

(5)

(6)

(7)

首先，針對(duì)網(wǎng)絡(luò)模型是否可以區(qū)分患病及未患病圖像，實(shí)驗(yàn)選取兩組分別含有標(biāo)記和未含有標(biāo)記圖像進(jìn)行測(cè)試。圖7和圖8給出了正負(fù)樣本在檢測(cè)中的結(jié)果對(duì)比，圖7中對(duì)含有病灶區(qū)域圖像進(jìn)行檢測(cè)，圖7(a)為圖像目標(biāo)區(qū)域檢測(cè)為正樣本圖像及其分割結(jié)果，圖7(b)為加載原始數(shù)據(jù)集標(biāo)記后圖像。在圖8中對(duì)疑似患病但未含有病灶區(qū)域圖像進(jìn)行檢測(cè)，圖8(a)表示圖像檢測(cè)結(jié)果為負(fù)樣本圖像，圖8(b)顯示原圖像在數(shù)據(jù)集中不存在病灶標(biāo)記。實(shí)驗(yàn)結(jié)果表明，本文方法具有在區(qū)分檢測(cè)樣本是否含有明確癌癥隱患上的功能。

圖7 正樣本檢測(cè)結(jié)果對(duì)比

圖8 負(fù)樣本檢測(cè)結(jié)果對(duì)比

然后，對(duì)不同骨架網(wǎng)絡(luò)下的檢測(cè)模型及本文方法進(jìn)行對(duì)比，同樣選取兩組分別含有標(biāo)記和未含有標(biāo)記圖像進(jìn)行測(cè)試。圖9為兩個(gè)包含有病灶標(biāo)記及無(wú)病灶標(biāo)記的原圖。圖9(a)為含病灶圖像，并加載原數(shù)據(jù)集病灶標(biāo)記，圖9(b)為不含病灶圖像，表示作為模糊標(biāo)記的負(fù)樣本。圖10給出了本文方法對(duì)比不同檢測(cè)方法的對(duì)比結(jié)果，圖10(a)為骨架網(wǎng)絡(luò)為ResNet-50的結(jié)果，圖10(b)為骨架網(wǎng)絡(luò)是ResNet-101的結(jié)果，圖10(c)為本文方法的檢測(cè)結(jié)果。根據(jù)檢測(cè)結(jié)果，3種模型在大部分?jǐn)?shù)據(jù)中都可區(qū)分檢測(cè)圖像是否為患病圖像，但本文方法對(duì)于含病灶區(qū)域圖像檢測(cè)精度更高，分割結(jié)果更貼近原始數(shù)據(jù)集中標(biāo)記，可以更好地對(duì)患病區(qū)域檢測(cè)并對(duì)紋理進(jìn)行分割。

圖9 正負(fù)樣本輸入圖像對(duì)比

圖10 不同方法檢測(cè)結(jié)果對(duì)比

表3給出了結(jié)合不同骨架網(wǎng)絡(luò)實(shí)驗(yàn)方法的對(duì)比結(jié)果，實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)方法與兩個(gè)原始檢測(cè)模型相比，含病灶圖像和病灶模糊圖像的平均檢測(cè)準(zhǔn)確率提升2.18%-3.4%，與ResNet-101相比在運(yùn)行時(shí)間上相差2 s-3 s，速度有了一定提升。

表3 不同實(shí)驗(yàn)方法的對(duì)比結(jié)果

結(jié)合難樣本挖掘方法后，相同檢測(cè)模型下，檢測(cè)精度有了一定提升，如表4所示，與未采用難樣本挖掘和改進(jìn)FPN結(jié)構(gòu)相比，平均準(zhǔn)確率均值提升約3%左右，說(shuō)明引入難樣本挖掘方法可以提升檢測(cè)模型對(duì)正負(fù)樣本的檢測(cè)精度。

表4 是否采用難樣本挖掘精度對(duì)比

4 結(jié)束語(yǔ)

本文針對(duì)乳腺癌醫(yī)學(xué)影像數(shù)據(jù)正負(fù)樣本不均衡及圖像特征信息不充分的問(wèn)題，將特征金字塔結(jié)構(gòu)改進(jìn)后的Mask R-CNN模型與難樣本挖掘方法結(jié)合，使用DDSM數(shù)據(jù)集對(duì)模型訓(xùn)練。本文分別通過(guò)在FPN網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)一步融合高低層特征，并在樣本分類(lèi)階段對(duì)難樣本進(jìn)行判定，對(duì)該部分樣本進(jìn)一步訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)乳腺癌病理圖像中的患病區(qū)域和疑似患病區(qū)域檢測(cè)效果得到了較好提升，并對(duì)未含有病灶區(qū)域的模糊樣本圖像具有一定區(qū)分能力。在下一步的研究中，將會(huì)展開(kāi)其它諸如MRI乳腺癌圖像的檢測(cè)和識(shí)別工作。