基于邊緣檢測(cè)的乳腺癌細(xì)胞核分割預(yù)測(cè)圖融合算法*

閆偉鑫,呂曉琪,2,谷宇

(1.內(nèi)蒙古科技大學(xué) 信息工程學(xué)院 內(nèi)蒙古自治區(qū)模式識(shí)別與智能處理重點(diǎn)實(shí)驗(yàn)室,內(nèi)蒙古 包頭 014010;2.內(nèi)蒙古工業(yè)大學(xué) 信息工程學(xué)院,內(nèi)蒙古 呼和浩特 010051)

乳腺癌嚴(yán)重危害女性健康.隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展,很多研究者致力于對(duì)病理學(xué)圖像中的細(xì)胞核進(jìn)行分割研究并用于計(jì)算機(jī)輔助系統(tǒng)為乳腺癌分級(jí)提供依據(jù),但病理圖像背景復(fù)雜,經(jīng)常難以分割出完整的細(xì)胞核邊緣.

在傳統(tǒng)方法中,YANG等[1]人使用閾值作為分水嶺算法的輸入,用來(lái)提取細(xì)胞核實(shí)例;ZHOU等[2]人首先對(duì)研究的圖像利用自適應(yīng)閾值的局部窗口進(jìn)行二值處理,接著對(duì)細(xì)胞核進(jìn)行分水嶺分割;ZHAO等[3]人提出一種基于超像素的馬爾可夫隨機(jī)場(chǎng)分割細(xì)胞核的方法,該方法將整個(gè)圖像描述為無(wú)向概率圖形模型,然后對(duì)圖像上的顏色不重疊的超像素塊進(jìn)行分類,用于分割出細(xì)胞核,細(xì)胞質(zhì)和背景區(qū)域.但是這些方法依賴于細(xì)胞核和背景的灰度差異,因此對(duì)于比較復(fù)雜的病理學(xué)圖像經(jīng)常產(chǎn)生不可靠的結(jié)果.

在深度學(xué)習(xí)領(lǐng)域,Micro-Net[4]網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)H&E圖像中的著色變化具有魯棒性,使用多種分辨率輸入網(wǎng)絡(luò)模型分割細(xì)胞核;CIA-Net[5]網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)讓解碼器能夠協(xié)同地細(xì)化細(xì)胞核和輪廓的細(xì)節(jié)來(lái)獲取完整的細(xì)胞核邊緣;BESNet[6]網(wǎng)絡(luò)使用了2個(gè)解碼器分別增強(qiáng)細(xì)胞邊界和分割病理學(xué)圖像中的細(xì)胞核.但是這些方法都對(duì)細(xì)胞核的邊緣存在過(guò)分割或欠分割的問(wèn)題.

以上的方法都是使用單一的模型對(duì)乳腺癌細(xì)胞核進(jìn)行分割,往往無(wú)法得到完整的細(xì)胞核邊緣.針對(duì)此問(wèn)題,文中通過(guò)融合多個(gè)算法的分割預(yù)測(cè)圖分割乳腺癌細(xì)胞核,獲取光滑的細(xì)胞核邊緣.

1 研究方法

1.1 方法介紹

U-Net[7]網(wǎng)絡(luò)模型是針對(duì)醫(yī)學(xué)圖像處理的一種端到端的分割方法,對(duì)醫(yī)學(xué)圖像分割問(wèn)題十分有效.DeepLab V3[8]通過(guò)引入Multi-Grid策略,使用了不同的rate來(lái)捕獲多尺度信息,增強(qiáng)了分割準(zhǔn)確率.研究提出通過(guò)基于邊緣檢測(cè)的分割預(yù)測(cè)圖圖像融合方法的判斷規(guī)則將兩者的分割預(yù)測(cè)圖進(jìn)行融合獲取最終的乳腺癌細(xì)胞核分割結(jié)果.如圖1所示,展示了文中提出的基于邊緣檢測(cè)的分割預(yù)測(cè)圖像融合算法(UDE-M)流程.首先通過(guò)U-Net網(wǎng)絡(luò)模型和DeepLab V3網(wǎng)絡(luò)模型對(duì)乳腺癌病理學(xué)圖像進(jìn)行分割獲得各自的預(yù)測(cè)圖象;然后利用二值圖圖像邊緣檢測(cè)算法對(duì)兩個(gè)分割預(yù)測(cè)圖疊加圖像進(jìn)行分割獲得中間結(jié)果預(yù)測(cè)圖E;接著根據(jù)U-Net網(wǎng)絡(luò)模型和DeepLab V3網(wǎng)絡(luò)模型輸出的兩個(gè)分割預(yù)測(cè)圖中相同位置的像素?cái)?shù)值是否包含細(xì)胞核像素1進(jìn)行判斷,如果其中之一包含目標(biāo)像素,則輸出到中間過(guò)程結(jié)果圖L中;最后對(duì)中間過(guò)程結(jié)果圖L和中間過(guò)程結(jié)果圖E進(jìn)行重復(fù)判斷,如果相同的位置包含目標(biāo)像素1,則保存到最終的分割結(jié)果O圖中.在算法流程圖中,有兩點(diǎn)說(shuō)明,一是所謂分割結(jié)果圖在文中的實(shí)驗(yàn)研究中指通過(guò)分割獲取的二值圖像;二是0和1的意義是將需要分割的細(xì)胞核像素表示為1,其他像素表示為0.

圖2 不同方法的分割效果圖

2 結(jié)果與討論

2.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

文中研究選用了Kumar[9]數(shù)據(jù)集,該數(shù)據(jù)集中的圖像來(lái)自癌癥基因組圖譜(TGGA[10]),包含30張大小均為1 000×1 000的病理學(xué)圖像.這些病理學(xué)圖像包含了7種器官,包括乳房、肝臟、前列腺、腎臟、膀胱、結(jié)腸、胃,并且該數(shù)據(jù)集對(duì)每一張圖像中的細(xì)胞核都進(jìn)行了詳細(xì)的標(biāo)記.此數(shù)據(jù)集大多數(shù)都是針對(duì)廣泛的細(xì)胞核進(jìn)行分割研究時(shí)被使用.基于研究目的,所以主要針對(duì)其中5張乳腺癌病理學(xué)圖像進(jìn)行細(xì)胞核分割研究.

數(shù)據(jù)集數(shù)據(jù)量有限,為了避免數(shù)據(jù)出現(xiàn)過(guò)擬合現(xiàn)象,對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)充處理.如表1所示,展示了通過(guò)數(shù)據(jù)增強(qiáng)策略的數(shù)據(jù)集數(shù)量,本次研究的數(shù)據(jù)有5張乳腺癌細(xì)胞核分割圖像,原始尺寸為1 000×1 000;經(jīng)過(guò)滑動(dòng)窗口的切片操作,數(shù)據(jù)集中將有5×25=125張病理學(xué)圖像;為了進(jìn)一步增加數(shù)據(jù),采用了旋轉(zhuǎn)和鏡像的數(shù)據(jù)增強(qiáng),對(duì)這125張圖像進(jìn)行旋轉(zhuǎn)(90°,180°,270°,360°)以及鏡像操作,進(jìn)一步將數(shù)據(jù)集擴(kuò)充為125×5=625張;最后將數(shù)據(jù)集的500張圖像組成訓(xùn)練數(shù)據(jù)集,用來(lái)訓(xùn)練后續(xù)的深度學(xué)習(xí)分割網(wǎng)絡(luò),數(shù)據(jù)集的125張圖像組成測(cè)試數(shù)據(jù)集用,用來(lái)評(píng)估網(wǎng)絡(luò)的分割性能.

表1 數(shù)據(jù)集擴(kuò)充策略

為了綜合分析文中提出的模型性能,采用多個(gè)深度學(xué)習(xí)的評(píng)級(jí)指標(biāo)[11]進(jìn)行評(píng)估測(cè)試,包括準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1分?jǐn)?shù)(F1-Score),計(jì)算公式如(1)～(4)所示:

(1)

(2)

(3)

(4)

準(zhǔn)確率是指分類正確細(xì)胞核像素個(gè)數(shù)占實(shí)際像素值的比例;精確率也叫查準(zhǔn)率,精確率高表示模型進(jìn)行細(xì)胞核分割的結(jié)果中大部分像素確實(shí)是細(xì)胞核像素,只有少量不是細(xì)胞核的區(qū)域被當(dāng)成了細(xì)胞核像素;召回率高代表著模型可以分割出病理學(xué)圖像中更多的細(xì)胞核像素;F1分?jǐn)?shù)能夠兼顧精確率和召回率來(lái)對(duì)模型的性能進(jìn)行評(píng)估.

2.2 研究結(jié)果與分析

為了驗(yàn)證文中提出的基于邊緣檢測(cè)的分割預(yù)測(cè)圖融合算法的分割性能,文中研究將數(shù)據(jù)集中數(shù)據(jù)量按照80%,測(cè)試集20%的分配原則分別輸入到U-Net網(wǎng)絡(luò)模型,DeepLab V3網(wǎng)絡(luò)模型和文中算法進(jìn)行評(píng)估測(cè)試.文中算法和其他兩個(gè)網(wǎng)絡(luò)模型的分割結(jié)果如圖所示,U-Net分割效果圖中,白色表示分割出的細(xì)胞核像素,可以看出,效果圖中對(duì)于病理學(xué)圖像中背景復(fù)雜的細(xì)胞核像素分割效果存在漏檢現(xiàn)象,或者完全沒(méi)有識(shí)別到原圖中的細(xì)胞核;DeepLab V3網(wǎng)絡(luò)模型分割結(jié)果圖中,紅色表示細(xì)胞核像素,從圖中可以看出,和U-Net的分割結(jié)果相比,該模型能夠完整地分割出細(xì)胞核,不存在漏檢現(xiàn)象,但是細(xì)胞核的邊緣存在欠分割現(xiàn)象;最后一列為文中算法UDE-M模型的分割結(jié)果,用綠色代表了細(xì)胞核像素,和DeepLab V3網(wǎng)絡(luò)模型效果圖進(jìn)行比較,文中算法模型的分割結(jié)果比DeepLab V3分割出的細(xì)胞核輪廓更加完整.對(duì)于細(xì)胞核分割研究,分割的細(xì)胞核數(shù)量需要足夠多,并且每一個(gè)細(xì)胞核的邊界要足夠接近真實(shí)細(xì)胞核輪廓,通過(guò)效果圖對(duì)比,證明了文中提出的方法能夠有效分割乳腺癌細(xì)胞核.

為了進(jìn)一證明文中提出的方法的分割性能,從數(shù)據(jù)方面進(jìn)行了分析.如表2所示,為不同方法的深度學(xué)習(xí)評(píng)價(jià)指標(biāo),從準(zhǔn)確率(accuracy)的角度來(lái)分析,文中算法的準(zhǔn)確率為92.15%,比U-Net的準(zhǔn)確率高1.6%,比DeepLab V3的準(zhǔn)確率高0.6%,證明文中算法對(duì)細(xì)胞核進(jìn)行分割的時(shí)候可以分割出更多正確的細(xì)胞核像素點(diǎn).

表2 不同方法的深度學(xué)習(xí)評(píng)價(jià)指標(biāo)

從精確率(Precision),召回率(Recall)的角度進(jìn)行分析,文中算法精確率為77.3%,相比于U-Net的精確率,低了約10個(gè)百分點(diǎn),然后文中算法的召回率為83.3%,高于U-Net的召回率約20個(gè)百分點(diǎn),一個(gè)理想的結(jié)果是兩個(gè)值都應(yīng)該接近100%,但實(shí)際做不到,往往提高召回率,就會(huì)導(dǎo)致精確率降低,但是綜合考慮兩個(gè)指標(biāo),能夠說(shuō)明文中算法對(duì)于細(xì)胞核像素點(diǎn)雖然較U-Net有漏檢的現(xiàn)象,但是誤檢率低,證明文中分割結(jié)果與真實(shí)結(jié)果更加接近.文中算法比DeepLab V3的精確率低約2個(gè)百分點(diǎn),但召回率卻高了約20個(gè)百分點(diǎn),同理證明了文中算法比DeepLab V3算法分割的細(xì)胞核更加可信.

最后對(duì)于F1分?jǐn)?shù)(F1-Score)的分析,文中算法的F1分?jǐn)?shù)為80.4%,比U-Net增加了約10個(gè)百分點(diǎn),比DeepLab V3增加了約3個(gè)百分點(diǎn),F1分?jǐn)?shù)可以兼顧精確率和召回率,進(jìn)一步證明了文中算法對(duì)細(xì)胞核檢測(cè)的漏檢率和誤檢率低,能有效分割乳腺癌細(xì)胞核.

為了證明文中通過(guò)將U-Net網(wǎng)絡(luò)模型,DeepLab V3網(wǎng)絡(luò)模型進(jìn)行組合用于乳腺癌細(xì)胞核分割有較好的效果,文中將U-Net網(wǎng)絡(luò)進(jìn)行替換為FCN[12]和SegNet[13]網(wǎng)絡(luò),組成FDE-M模型和SDE-M模型,與文中提出的UDE-M模型進(jìn)行評(píng)估測(cè)試.如表3所示,為不同組合模型以及基礎(chǔ)網(wǎng)絡(luò)的深度學(xué)習(xí)評(píng)價(jià)指標(biāo),首先可以看出新組成的2種模型的指標(biāo)都優(yōu)于各自的基礎(chǔ)網(wǎng)絡(luò),證明了文中融合方法的有效性.

表3 不同組合模型的深度學(xué)習(xí)評(píng)價(jià)指標(biāo)

其次可以看出文中提出的UDE-M方法的Accuracy和F1-Score都高于其他2種組合方法的值,并且Precision和Recall進(jìn)行綜合分析也優(yōu)于其他兩種組合方法,證明文中提出的方法相比其他組合方式能夠有效分割乳腺癌細(xì)胞核.不同組合模型的分割效果如圖3所示,可以看出文中的方法分割細(xì)胞核的邊緣更加完整,進(jìn)一步通過(guò)分割效果證明了,提出的UDE-M算法對(duì)于乳腺癌細(xì)胞核分割可以獲得完整的細(xì)胞核邊緣.

圖3 不同組合模型的分割效果圖

為了進(jìn)一步證明文中提出的UDE-M算法實(shí)用性好,能夠有效分割乳腺癌細(xì)胞核的輪廓.本次研究對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)進(jìn)行了評(píng)估測(cè)試,由于醫(yī)學(xué)圖像數(shù)據(jù)涉及病人隱私,本次研究沒(méi)有獲取到醫(yī)院的數(shù)據(jù),使用TNBC[14]數(shù)據(jù)集當(dāng)做測(cè)試圖像,該數(shù)據(jù)集從11名三陰性乳腺癌患者癌變組織的不同區(qū)域提取了3到8個(gè)512×512的病理學(xué)圖像,共包含50張512×512的乳腺癌病理學(xué)圖像.根據(jù)文中的切片方法對(duì)數(shù)據(jù)處理后,輸入到由不同卷積神經(jīng)網(wǎng)絡(luò)組成的模型中進(jìn)行評(píng)估測(cè)試,如圖4所示,展示了分割效果,從分割乳腺癌細(xì)胞核的分割數(shù)量和邊緣的完整度來(lái)看,文中的算法可以有效分割未經(jīng)訓(xùn)練的乳腺癌病理學(xué)圖像中的細(xì)胞核,且優(yōu)于其他兩種方法.

圖4 不同組合模型TNBC數(shù)據(jù)集分割效果圖

3 總結(jié)

醫(yī)學(xué)圖像進(jìn)行分割是一個(gè)重要方向,文中主要研究了利用卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)乳腺癌病理學(xué)圖像中的細(xì)胞核進(jìn)行分割的問(wèn)題,提出了一種基于邊緣檢測(cè)的分割預(yù)測(cè)圖像融合方法,通過(guò)融合U-Net,DeepLab V3算法的分割預(yù)測(cè)圖像獲取最終的分割結(jié)果.該方法的核心,一是通過(guò)遍歷2個(gè)分割結(jié)果中所有細(xì)胞核的像素,提取目標(biāo)像素,增強(qiáng)了細(xì)胞核像素特征提取能力,避免了背景中噪聲的干擾;二是對(duì)疊加圖進(jìn)行邊緣檢測(cè)算法,增強(qiáng)了細(xì)胞核的邊緣特征.在今后的研究中,如果更換研究目標(biāo),文中提出的融合方法還可推廣到任何其他算法的分割預(yù)測(cè)圖的融合中.

從兩方面研究文中算法的優(yōu)劣,一是通過(guò)和單一網(wǎng)絡(luò)模型的分割效果進(jìn)行對(duì)比,二是不同組合方式的分割效果進(jìn)行對(duì)比,研究結(jié)果表明文中提出的算法能夠有效分割乳腺癌病理學(xué)圖像中的細(xì)胞核.

文中的研究也有很多可以完善的方面.首先可以通過(guò)嘗試進(jìn)一步的數(shù)據(jù)擴(kuò)充提高精度,例如通過(guò)文中使用的滑動(dòng)窗口切片操作改變步長(zhǎng)增加數(shù)據(jù)集,訓(xùn)練數(shù)據(jù)集的數(shù)量多能更大程度的提高準(zhǔn)確率;第二是可以使用多尺度的圖像數(shù)據(jù)進(jìn)行訓(xùn)練,病理學(xué)圖像背景復(fù)雜,通過(guò)對(duì)圖像尺度的改變可以尋找一個(gè)好的輸入方式增加分割精度.