邊界加權(quán)的甲狀腺癌病理圖像細(xì)胞核分割方法

韓 冰,高 路,高新波,2,陳瑋銘

(1.西安電子科技大學(xué) 電子工程學(xué)院,陜西 西安 710071;2.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 圖像認(rèn)知重慶市重點(diǎn)實(shí)驗(yàn)室,重慶 400065)

1 引 言

甲狀腺癌是實(shí)體癌中發(fā)病率增速最快的惡性腫瘤之一[1],但其治愈率也很高。如果能及早診斷,大多數(shù)甲狀腺癌都能被很好地治愈。病理學(xué)診斷是醫(yī)生診斷疾病的黃金標(biāo)準(zhǔn),受到權(quán)威機(jī)構(gòu)的廣泛認(rèn)可。病理圖像中,細(xì)胞核形態(tài)的差異是目前腫瘤診斷的主要依據(jù)。細(xì)胞核的平均大小、密度、形狀等特征關(guān)系到腫瘤的臨床診斷和后續(xù)治療。因此,對病理圖像中細(xì)胞核的精確分割是進(jìn)一步分析的基礎(chǔ)。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[2]因其優(yōu)秀的特征表示能力被廣泛應(yīng)用于圖像分割等領(lǐng)域中,尤其是應(yīng)用于自然圖像時表現(xiàn)優(yōu)異。相比于自然圖像,醫(yī)學(xué)圖像含有更多的噪聲,目標(biāo)邊界也比較模糊。因此,針對醫(yī)學(xué)圖像分割,需要設(shè)計(jì)合適的方法。2015年,RONNEBERGER等[3]提出了針對醫(yī)學(xué)圖像分割U-Net網(wǎng)絡(luò)模型,在上采樣的過程中通過跳轉(zhuǎn)鏈接逐步融合淺層特征,并在多個醫(yī)學(xué)圖像數(shù)據(jù)庫上取得了很好的分割效果,是醫(yī)學(xué)圖像分割領(lǐng)域的經(jīng)典之作,很多算法都是在U-Net的基礎(chǔ)上進(jìn)行改進(jìn)的。UNet++[4]在跳轉(zhuǎn)鏈接中添加了密集的卷積模塊,但是這種方法無法獲得足夠的全局信息。UNet 3+[5]重新設(shè)計(jì)了跳轉(zhuǎn)鏈接以融合底層和高層之間不同尺度的特征。ZHANG等[6]結(jié)合殘差模塊原理設(shè)計(jì)了ResUnet。ResUnet++[7]在ResUnet的基礎(chǔ)上整合了SE模塊[8]、特征金字塔[9]和注意力模塊。使用注意力機(jī)制來改進(jìn)U-Net也在一些其它的工作[10-12]中取得了不錯的效果。FU等[13]提出M-Net用于視杯視盤的分割,該網(wǎng)絡(luò)接受多尺度輸入,并通過深層監(jiān)督訓(xùn)練網(wǎng)絡(luò)。QIN等[14]提出了由兩層UNet嵌套組成的U2-Net,通過殘差結(jié)構(gòu)獲取不同尺度的上下文信息。UTNet[15]首次將Transformer[16]模塊融入到U-Net中以提升傳統(tǒng)U-Net網(wǎng)絡(luò)的分割效果。CGNet[17]通過設(shè)計(jì)上下文信息引導(dǎo)模塊同時學(xué)習(xí)圖像的局部特征和全局特征,獲得了較好的檢測效果。

細(xì)胞核分割是病理圖像自動分析的關(guān)鍵步驟,是醫(yī)學(xué)圖像分割任務(wù)中最為基礎(chǔ)的組成部分。與其它醫(yī)學(xué)圖像相比,病理圖像背景復(fù)雜,細(xì)胞核目標(biāo)小而密集,且形狀多變。上述方法常用于分割病灶或器官等圖像中單一且占比較大的目標(biāo),直接用于細(xì)胞核分割時,效果不好。因此,一些適用于細(xì)胞核分割的模型相繼被提出。

CHEN等[18]提出了DCAN,這是一種通過利用實(shí)例和輪廓的互補(bǔ)信息來分割細(xì)胞核的深度輪廓感知網(wǎng)絡(luò)。ZENG等[19]提出了RIC-Unet,在U-Net的基礎(chǔ)上添加了一條解碼器分支用來預(yù)測輪廓以完善分割結(jié)果。ODA等[20]提出了BESNet來進(jìn)行細(xì)胞核分割,與RIC-Unet相同,添加了一條解碼器分支用來預(yù)測輪廓,區(qū)別是BESNet中的兩個解碼器通過串聯(lián)的方式進(jìn)行特征互補(bǔ)。ZHOU等[21]提出了基于輪廓感知與信息融合的細(xì)胞核分割網(wǎng)絡(luò)CIA-Net,與BESNet一樣有一個預(yù)測輪廓的解碼分支,不同之處是該方法使用一個信息聚合模塊在上采樣的同時不斷聚合和交換兩個解碼器的特征,并使用深度監(jiān)督來加強(qiáng)網(wǎng)絡(luò)對多層次信息的學(xué)習(xí)。NAYLOR等[22]提出將分割標(biāo)簽轉(zhuǎn)化為距離熱圖,并以此訓(xùn)練細(xì)胞核分割模型。

在圖像中,細(xì)胞核的邊界只占目標(biāo)區(qū)域的一小部分。因此,當(dāng)分割算法能夠分割出目標(biāo)的大部分區(qū)域時,損失已經(jīng)很低,這時網(wǎng)絡(luò)已經(jīng)很難再優(yōu)化。換句話說,訓(xùn)練得到的網(wǎng)絡(luò)可以得到較好的客觀結(jié)果,但仍然不能有效判別目標(biāo)的邊界。所以分割任務(wù)中有一個普遍存在的現(xiàn)象,即距離邊界越近,分割精度越低,這一現(xiàn)象在文獻(xiàn)[23]中已被證明。

甲狀腺癌細(xì)胞核不同于其它類型的細(xì)胞,一般會出現(xiàn)溝壑,或有核內(nèi)假包涵體等。由于這些溝壑和包涵體的存在,容易導(dǎo)致分割結(jié)果出現(xiàn)空洞等現(xiàn)象。

針對上述問題,設(shè)計(jì)了一個邊界加權(quán)模塊為細(xì)胞核邊界附近的像素賦予不同的權(quán)重,使網(wǎng)絡(luò)在訓(xùn)練時就能夠更多關(guān)注細(xì)胞核邊界。另一方面,為了避免提出的網(wǎng)絡(luò)過分關(guān)注邊界而忽視細(xì)胞核主體部分,導(dǎo)致一些染色較淺的細(xì)胞核分割失敗,提出了前景增強(qiáng)分割網(wǎng)絡(luò);該網(wǎng)絡(luò)在上采樣的過程中通過前景增強(qiáng)模塊不斷增強(qiáng)前景并抑制背景的作用,從而實(shí)現(xiàn)甲狀腺病理圖像細(xì)胞核的精確分割。

文中的主要貢獻(xiàn)如下:

(1) 提出前景增強(qiáng)分割網(wǎng)絡(luò),在U-Net的基礎(chǔ)上,在上采樣的過程中通過前景增強(qiáng)模塊不斷增強(qiáng)前景及抑制背景的作用。

(2) 提出邊界加權(quán)模塊,使網(wǎng)絡(luò)在訓(xùn)練時就能夠更多關(guān)注細(xì)胞核邊界,提升邊界處的分割效果。

(3) 針對癌變細(xì)胞核相對正常細(xì)胞核難分割的情況,提出新的損失函數(shù)。

(4) 初步構(gòu)建了甲狀腺乳頭狀癌細(xì)胞核分割數(shù)據(jù)庫,在自建數(shù)據(jù)庫和公共數(shù)據(jù)庫上的實(shí)驗(yàn)證明了所提方法的有效性。

2 邊界加權(quán)的細(xì)胞核精準(zhǔn)分割算法

圖1 基于邊界加權(quán)的細(xì)胞核分割算法流程圖

2.1 前景增強(qiáng)分割網(wǎng)絡(luò)

眾所周知,在基于編碼器-解碼器結(jié)構(gòu)的分割網(wǎng)絡(luò)中,編碼器主要是將輸入圖像映射成高維空間中的特征,解碼器對該高維特征進(jìn)行解碼,每個像素位置的解碼結(jié)果有兩種:前景或背景,前景即為目標(biāo)。分割網(wǎng)絡(luò)的編碼和解碼能力是通過損失函數(shù)回傳梯度來訓(xùn)練的,而網(wǎng)絡(luò)本身的結(jié)構(gòu)也是決定訓(xùn)練效果的關(guān)鍵。

為了避免在訓(xùn)練過程中,算法過分關(guān)注邊界而忽視細(xì)胞核主體,從而導(dǎo)致一些染色較淺的細(xì)胞核分割失敗,文中以U-Net為基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)了前景增強(qiáng)分割網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。CB為拼接塊(Concatenate Block,CB)。編碼階段和U-Net分割網(wǎng)絡(luò)相同,使用5層上采樣拼接塊(Down-sample and Concatenate Block,DCB)編碼層。每個編碼層有兩個卷積層,每個卷積層后有一個批歸一化層(Batch Normalization,BN)和一個ReLU激活函數(shù)。編碼層之間用池化層連接,以降低輸入特征的空間尺寸,增大深層卷積的感受野。

在解碼階段,每個解碼層是常規(guī)的上采樣卷積塊,即圖2中的UCB(Upsample and Concatenate Block)。由編碼器得到的特征圖在經(jīng)過一系列上采樣卷積塊的解碼后,能夠區(qū)分圖像中的細(xì)胞核和背景。但當(dāng)細(xì)胞核和背景顏色相近時,細(xì)胞核很難從背景中有效分割。

圖2 前景增強(qiáng)分割網(wǎng)絡(luò)結(jié)構(gòu)圖

為了增大細(xì)胞核與背景之間的特征距離,使網(wǎng)絡(luò)能夠分割出染色較淺的細(xì)胞核,設(shè)計(jì)了前景增強(qiáng)模塊(Foreground Enhancement Module,FEM)。如圖2所示,它由余弦相似度計(jì)算塊(Cosine Similarity Block,CSB)和上采樣卷積塊組成。相似度計(jì)算模塊的結(jié)構(gòu)如圖3所示。

圖3 余弦相似度計(jì)算模塊結(jié)構(gòu)圖

相似度計(jì)算模塊輸入尺寸為W×H×C的特征圖F,W、H和C分別是特征圖的寬、高和通道數(shù)。特征圖F經(jīng)過全局平均池化后得到與F通道數(shù)相同的一維全局特征向量v1×1×C,通過計(jì)算特征向量v和特征圖F之間的相似性,可以得到特征圖中對應(yīng)的像素位置與全局特征向量之間的相似性。在訓(xùn)練過程中不斷優(yōu)化迭代該相似性,可將全局特征向量v更靠近細(xì)胞核特征向量而遠(yuǎn)離背景向量,從而達(dá)到增強(qiáng)前景的目的。相似度圖S的尺寸為W×H。余弦相似度計(jì)算如式(1):

(1)

其中,Sv,F(i,j)∈[-1,1]表示v和F在位置(i,j)處的相似度,F(i,j)表示特征圖F在位置(i,j)處的特征向量。利用式(2)計(jì)算相似度圖S與特征圖F的最終特征圖F*:

(2)

其中,c∈{1,2,…,C}表示特征圖通道的索引。

2.2 邊界加權(quán)模塊

為了使分割網(wǎng)絡(luò)更多地關(guān)注細(xì)胞核的邊界部分,加強(qiáng)網(wǎng)絡(luò)在細(xì)胞核邊界附近的分割能力,設(shè)計(jì)了邊界加權(quán)模塊,用于在訓(xùn)練過程中感知預(yù)測邊界與真實(shí)邊界的距離,從而更好地優(yōu)化分割網(wǎng)絡(luò)。邊界加權(quán)模塊結(jié)構(gòu)如圖1所示。

使用邊緣提取算法得到分割邊界圖Pb,筆者希望通過邊界加權(quán)后,離邊界近的位置賦予較高權(quán)重,離邊界遠(yuǎn)的位置賦予較低權(quán)重,即邊界以外位置元素的像素值是單調(diào)遞減的。 基于這個思想,設(shè)計(jì)了邊界加權(quán)模塊中的邊界加權(quán)核KBW,如圖4(a)所示。 邊界加權(quán)模塊的加權(quán)核KBW尺寸為n×n,使用圖4(a)所示加權(quán)核對邊界圖Pb進(jìn)行卷積后,邊界圖中的所有像素都會分配一個權(quán)重,距離邊界越遠(yuǎn),權(quán)重越低,距離大于(n-1)/2的像素其權(quán)重為0。 Tanh激活函數(shù)的作用是將所有權(quán)重的值映射到0到1之間,便于后續(xù)損失函數(shù)的計(jì)算。 最終得到輸入圖像的邊界權(quán)重圖。

邊界加權(quán)模塊的工作方式可以用式(3)表示:

FBW(P)=tanh(KBW*P) ,

(3)

其中,P表示邊界加權(quán)模塊的輸入,*表示卷積操作,KBW表示加權(quán)核。

(a) 加權(quán)核KBW

(b) tanh函數(shù)圖

(c) 加權(quán)操作示意圖

2.3 損失函數(shù)

在細(xì)胞核分割任務(wù)中,需要判斷每個像素屬于細(xì)胞核的概率,因此可將其視為逐像素二分類任務(wù)。二元交叉熵(Binary Cross Entropy,BCE)損失函數(shù)是二分類中最常用的損失函數(shù)。該損失函數(shù)的定義如式(4)所示:

(4)

其中,gi表示訓(xùn)練樣本標(biāo)簽g的第i個像素的值,若為正樣本,則gi取值為1,若為負(fù)樣本,則取值為0;p表示樣本預(yù)測為正的概率,pi表示p的第i個像素的值;N表示g中的像素?cái)?shù)。

針對細(xì)胞核的主體部分和邊界部分,在二元交叉熵?fù)p失函數(shù)的基礎(chǔ)上,構(gòu)建了兩個損失函數(shù)項(xiàng),一個是預(yù)測結(jié)果與真值圖之間的損失L1,通過添加權(quán)重因子的方式使訓(xùn)練傾向于難分割的部分;另一個是預(yù)測結(jié)果的邊界圖與真值圖的邊界圖之間的損失L2。 兩個損失的計(jì)算如式(5)和式(6)所示:

(5)

L2=LBCE(FBW(P),FBW(G)) ,

(6)

其中,P代表預(yù)測結(jié)果,G代表手工標(biāo)注的真值圖,FBW(·)代表邊界加權(quán)模塊。則總的損失函數(shù)可定義為

(7)

其中,α和β表示兩個損失函數(shù)的融合系數(shù)。通過設(shè)定不同的α和β,可以調(diào)節(jié)目標(biāo)的主體信息和邊界信息在監(jiān)督訓(xùn)練中的比重。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 甲狀腺癌病理圖像分割數(shù)據(jù)庫

在甲狀腺癌病理圖像分類數(shù)據(jù)庫VIP-TCHis[24]的基礎(chǔ)上,構(gòu)建了細(xì)胞核分割數(shù)據(jù)庫VIP-TCHis-Seg。構(gòu)建數(shù)據(jù)庫所用的病理圖像均來自西安西京醫(yī)院病理科,共收集了55例甲狀腺乳頭狀癌患者的病理圖像。每個病理圖像有數(shù)百萬像素,病理醫(yī)師在顯微鏡下首先標(biāo)記出癌變區(qū)域,然后在20倍放大下對影像進(jìn)行剪切,裁切后的圖像大小為512×512,數(shù)據(jù)庫統(tǒng)計(jì)結(jié)果如表1所示,共包含224幅經(jīng)過剪切后得到的病理圖像,用Labelme軟件[25]人工標(biāo)記17 013個細(xì)胞核。其中,含正常細(xì)胞的病理圖像116幅,8 093個細(xì)胞核;含甲狀腺乳頭狀癌細(xì)胞的病理圖像108幅,8 920個細(xì)胞核。

表1 VIP-TCHis-Seg數(shù)據(jù)庫統(tǒng)計(jì)

在VIP-TCHis-Seg數(shù)據(jù)庫上構(gòu)建了6組實(shí)驗(yàn)來證明所提方法的有效性,用目前細(xì)胞核分割領(lǐng)域常用的相似系數(shù)(Dice)和像素準(zhǔn)確率(PA)來評估文中的方法。實(shí)驗(yàn)在64位Ubuntu 20.04操作系統(tǒng)上使用PyTorch(版本1.1.0)深度學(xué)習(xí)框架進(jìn)行。所使用的計(jì)算機(jī)硬件配置為:Intel(R) Core(TM)i7 CPU @ 3.5 GHz,128 GB內(nèi)存和一塊顯存為12 GB的NVIDIA TITAN X GPU。所有實(shí)驗(yàn)都在同樣的配置下進(jìn)行并使用相同的訓(xùn)練參數(shù)。

圖5 VIP-TCHis-Seg數(shù)據(jù)庫樣例

3.2 參數(shù)設(shè)置實(shí)驗(yàn)

3.2.1 加權(quán)核尺寸k對分割結(jié)果的影響

在邊界加權(quán)模塊中,使用不同尺寸的加權(quán)核將得到不同寬度的邊界圖。設(shè)加權(quán)核KWB的尺寸為k∈{1,3,5,…,},k取奇數(shù)可以保證使用加權(quán)核對邊界圖進(jìn)行卷積后,邊界線兩側(cè)被加權(quán)的像素?cái)?shù)量相同,即邊界像素兩側(cè)距離為d以內(nèi)的像素會被加權(quán),d可以用k表示,即d=(k-1)/2。k越大,表示距離邊界線越遠(yuǎn),在訓(xùn)練過程中就能捕獲更多的邊界分割錯誤的情況,并以此引導(dǎo)網(wǎng)絡(luò)優(yōu)化的方向。但同時k越大,運(yùn)算復(fù)雜度也越大。

表2 使用不同尺寸的加權(quán)核的實(shí)驗(yàn)結(jié)果對比 %

為了驗(yàn)證加權(quán)核尺寸k對分割結(jié)果的影響,對不同尺寸的邊界加權(quán)核下的模型進(jìn)行訓(xùn)練,分割結(jié)果如表2所示。

從表2中可以看出,隨著加權(quán)核尺寸的增大,相似系數(shù)Dice從78.49%上升至85.26%再下降到76.86%,像素準(zhǔn)確率PA從89.11%上升至95.89%再下降至88.27%。兩個評價指標(biāo)都是在k=5時得到最優(yōu)值。當(dāng)k取值較小時,網(wǎng)絡(luò)不能有效判別邊界處的錯誤分割,因此兩個指標(biāo)結(jié)果較低;然而當(dāng)k取值持續(xù)增大,由于細(xì)胞核尺寸小、數(shù)量多,會出現(xiàn)同一像素被多次加權(quán)的情況,這使得邊界加權(quán)模塊不僅未能優(yōu)化網(wǎng)絡(luò),還造成了負(fù)面效果,即分割精度降低。

圖6給出了不同尺寸加權(quán)核實(shí)驗(yàn)對比結(jié)果。從圖中可以看出,當(dāng)兩個細(xì)胞核邊界距離較小時,k的取值過大會導(dǎo)致邊界處分割失敗。因此,在后續(xù)實(shí)驗(yàn)中,令k=5。

圖6 使用不同尺寸的加權(quán)核的實(shí)驗(yàn)結(jié)果對比

3.2.2 損失函數(shù)中α和β的取值對分割結(jié)果的影響

表3 不同融合系數(shù)對比實(shí)驗(yàn)

損失函數(shù)中α和β表示分割的主體部分和邊界部分在訓(xùn)練中的作用。設(shè)置不同α和不同β以驗(yàn)證其對分割結(jié)果的影響。其中,α∈[0,1],β∈[0,1],且α+β=1。實(shí)驗(yàn)結(jié)果如表3所示。

從表3可以看出,當(dāng)α=1,β=0時,即損失函數(shù)中只有L1起作用,相似系數(shù)Dice和像素準(zhǔn)確率PA分別為82.19%和92.07%。 隨著α減小、β增大,即損失函數(shù)中L2的作用不斷增大,即網(wǎng)絡(luò)更加關(guān)注邊界處的分割,相似系數(shù)和像素準(zhǔn)確率也不斷提升。 當(dāng)損失函數(shù)中α和β分別取0.6和0.4時,網(wǎng)絡(luò)分割效果最好,相似系數(shù)和像素準(zhǔn)確率均達(dá)到最高值,分別為85.26%和95.89%。 隨著α繼續(xù)減小和β繼續(xù)增大,相似系數(shù)和像素準(zhǔn)確率開始下降。 當(dāng)α=0,β=1.0時,即損失函數(shù)中只有L2起作用,相似系數(shù)和像素準(zhǔn)確率達(dá)到最低,分別為69.52%和82.83%。 這說明分割的主體部分在訓(xùn)練中起較大作用,邊界部分同樣影響著訓(xùn)練的效果。因此,在后續(xù)實(shí)驗(yàn)中,損失函數(shù)L1和L2的融合系數(shù)取α=0.6,β=0.4。

圖7給出不同融合系數(shù)實(shí)驗(yàn)對比結(jié)果。 當(dāng)α較大β較小時,網(wǎng)絡(luò)較多關(guān)注細(xì)胞核主體部分,雖然能分割出大部分區(qū)域,但由于甲狀腺癌細(xì)胞核會出現(xiàn)溝壑現(xiàn)象,即細(xì)胞核內(nèi)會有淺色區(qū)域而非一個完整的顏色一致的細(xì)胞,對于細(xì)胞核內(nèi)染色與背景相似的細(xì)胞核分割時會出現(xiàn)空洞現(xiàn)象。 而當(dāng)α較小β較大時,網(wǎng)絡(luò)的關(guān)注點(diǎn)集中于邊界部分,從而導(dǎo)致將細(xì)胞核內(nèi)部的溝壑也容易作為邊界被分割出來,并出現(xiàn)大面積空洞。 因此,在后續(xù)實(shí)驗(yàn)中,損失函數(shù)中L1和L2的融合系數(shù)取α=0.6,β=0.4。

圖7 使用不同融合系數(shù)的實(shí)驗(yàn)結(jié)果對比

3.3 邊界加權(quán)模塊與前景增強(qiáng)模塊效果實(shí)驗(yàn)

為了驗(yàn)證提出的邊界加權(quán)模塊的有效性與前景增強(qiáng)模塊是否能夠提高網(wǎng)絡(luò)對細(xì)胞核的分割能力,對是否添加邊界加權(quán)模塊和前景增強(qiáng)模塊的分割效果進(jìn)行了對比,實(shí)驗(yàn)結(jié)果如表4所示。

表4 使用邊界加權(quán)模塊和前景增強(qiáng)模塊與否的實(shí)驗(yàn)結(jié)果對比 %

由表4可知,添加了邊界加權(quán)模塊后,相似系數(shù)Dice提高了約1.55%,像素準(zhǔn)確率PA提高了約0.70%,說明了邊界加權(quán)模塊的有效性。添加了前景增強(qiáng)模塊后,相似系數(shù)Dice提高了約5.01%,像素準(zhǔn)確率PA提高了約5.28%。由此可知,所提出的前景增強(qiáng)模塊能夠提高網(wǎng)絡(luò)對細(xì)胞核的分割能力。

圖8展示了未使用邊界加權(quán)模塊和使用邊界加權(quán)模塊的分割效果對比。

圖8 邊界加權(quán)模塊對分割效果的影響

由圖8(c)可以看出,未使用邊界加權(quán)模塊時,細(xì)胞核邊界處的分割結(jié)果不清晰,而圖8(d)展示了文中方法可以分割出清晰的邊緣,驗(yàn)證了邊界加權(quán)模塊的有效性。

圖9為是否添加前景增強(qiáng)模塊的主觀對比實(shí)驗(yàn)結(jié)果?？梢钥闯?第1行的圖像中,細(xì)胞核飽滿,邊緣清晰,染色較深,與背景對比明顯,無論是否添加前景增強(qiáng)模塊,都能夠得到較好的分割結(jié)果。而對于染色較淺,或細(xì)胞核內(nèi)部有區(qū)域顏色與背景顏色相同的細(xì)胞核,未添加前景增強(qiáng)模塊的算法存在分割失敗的情況,而添加了前景增強(qiáng)模塊的算法能夠正確地分割這些較難分割的細(xì)胞核。從客觀評價指標(biāo)和主觀觀測結(jié)果上都驗(yàn)證了前景增強(qiáng)模塊的有效性。

圖9 前景增強(qiáng)模塊對分割效果的影響

3.4 不同損失函數(shù)的消融實(shí)驗(yàn)

針對細(xì)胞核的主體部分和邊界部分,在二元交叉熵?fù)p失函數(shù)的基礎(chǔ)上構(gòu)建了一種新的損失函數(shù)用于細(xì)胞核的精確分割。分別使用文中所提出的損失函數(shù)和二元交叉熵?fù)p失函數(shù)作為網(wǎng)絡(luò)總體損失函數(shù)進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果如表5所示。

表5 不同損失函數(shù)消融實(shí)驗(yàn) %

由表5可以看出,在使用文中所提出的損失函數(shù)進(jìn)行訓(xùn)練后,網(wǎng)絡(luò)分割效果最好,相似系數(shù)Dice和像素準(zhǔn)確率PA均為最佳,分別為85.26%和95.89%。相較于使用二元交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練,使用文中提出的損失函數(shù)在相似系數(shù)和像素準(zhǔn)確率上分別提高了約2.98%和1.99%。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提損失函數(shù)的有效性。

3.5 不同算法的分割效果對比

為了驗(yàn)證所提出方法的有效性,將文中方法與6種分割模型進(jìn)行對比實(shí)驗(yàn)。其中,U-Net[3]是生物醫(yī)學(xué)圖像分割中最經(jīng)典的全卷積架構(gòu),也是文中方法的基礎(chǔ)模型。U-Net 3+[5]在U-Net的基礎(chǔ)上引入了全尺度跳躍連接和深度監(jiān)督。CGNet[17]設(shè)計(jì)了上下文信息引導(dǎo)模塊,可以同時學(xué)習(xí)局部特征和全局特征。DCAN[18]是首先使用邊界信息來輔助細(xì)胞核分割的網(wǎng)絡(luò)。RIC-Unet[19]和BESNet[20]都使用兩個解碼路徑(邊界解碼路徑和主譯碼路徑)來增強(qiáng)邊界學(xué)習(xí)。CIA-Net[21]在兩個特定任務(wù)(語義分割和邊界檢測)的解碼器之間采用多級信息聚合模塊。UTNet[15]首次將Transformer[16]模塊融入到U-Net中以提升傳統(tǒng)U-Net網(wǎng)絡(luò)的分割效果。DCAN,RIC-Unet,BESNet和CIA-Net都使用了目標(biāo)邊界信息來幫助訓(xùn)練分割網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果如表6所示,所有算法的訓(xùn)練環(huán)境和迭代次數(shù)、批處理大小、學(xué)習(xí)率等訓(xùn)練參數(shù)設(shè)置相同,迭代次數(shù)為300輪、批處理大小為2、學(xué)習(xí)率為0.000 1。

從表6可以看出,所提出的方法在VIP-TCHis-Seg數(shù)據(jù)庫上無論是相似系數(shù)Dice還是像素準(zhǔn)確率PA,相較于對比算法都取得了最好的結(jié)果。其中,相似系數(shù)Dice比排名第二位的UTNet算法提高約1.62%;像素準(zhǔn)確率比排名第二位的U-Net 3+算法提高了約1.98%。

表6 不同方法在自建細(xì)胞核數(shù)據(jù)庫上的對比實(shí)驗(yàn) %

各算法在VIP-TCHis-Seg數(shù)據(jù)庫上的主觀對比結(jié)果如圖10所示?？梢钥闯?對于第1行和第2行細(xì)胞核比較清晰的圖像,所有算法均能夠較為準(zhǔn)確地分割出細(xì)胞核,在邊緣等細(xì)節(jié)處也處理得較好。對于第三行背景不夠清晰明確以及細(xì)胞核有重疊等較為復(fù)雜的圖像,U-Net、DCAN和RIC-Unet算法在細(xì)胞核部位都出現(xiàn)了較多空洞,如圖10(c)、10(d)和10(e)所示;BESNet、CIA-Net和UTNet算法雖然對于細(xì)胞核主體部分分割較好,沒有出現(xiàn)空洞現(xiàn)象,但是可以看出,3種算法對于邊界處的分割不是很成功,如圖10(f)、10(g)和10(h)所示。而文中的方法能夠分割出所有的細(xì)胞核,且分割結(jié)果中不存在空洞現(xiàn)象,明顯優(yōu)于其它算法。但是也會錯誤地將一些染色較深的背景區(qū)域劃歸為細(xì)胞核。分割失敗案例如圖10第4行所示,圖中細(xì)胞核染色較淺,邊界不清晰,當(dāng)內(nèi)部染色與背景相同時,需要通過肉眼仔細(xì)觀察才能分辨出細(xì)胞核,這樣的細(xì)胞核很難成功分割。

圖10 自建數(shù)據(jù)庫上不同算法的分割效果對比

3.6 在MoNuSeg數(shù)據(jù)集上的對比實(shí)驗(yàn)

在MoNuSeg細(xì)胞核分割數(shù)據(jù)集[26]上驗(yàn)證文中方法的有效性,該數(shù)據(jù)集來自于MICCAI 2018多器官細(xì)胞核分割挑戰(zhàn)賽(Multi-organ nuclei segmentation challenge),包括從18個研究所收集的7個不同器官(乳房、肝臟、腎臟、前列腺、膀胱、結(jié)腸和胃)采集的H&E染色組織圖像。數(shù)據(jù)集包括一個訓(xùn)練集和一個測試集。訓(xùn)練集包含30張圖像,測試集包含14張圖像,圖像尺寸均為1 000×1 000像素。在該數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果如表7所示,所有算法的訓(xùn)練環(huán)境和迭代次數(shù)、批處理大小、學(xué)習(xí)率等訓(xùn)練參數(shù)設(shè)置相同。

表7 不同方法在MoNuSeg細(xì)胞核分割數(shù)據(jù)集上的對比實(shí)驗(yàn) %

從表7可以看出,所提方法在MoNuSeg數(shù)據(jù)庫取得了最優(yōu)的結(jié)果。其中,相似系數(shù)Dice比排名第二位的CIA-Net算法提高了約0.42%;像素準(zhǔn)確率PA比排名第二位的CIA-Net算法提高了約0.53%。

各算法在MoNuSeg細(xì)胞核分割數(shù)據(jù)集上的主觀對比結(jié)果如圖11所示。在第1行和第2行的分割結(jié)果中,其它算法均有將背景區(qū)域識別為細(xì)胞核的情況,而文中算法并沒有發(fā)生這種錯誤。在第3行中,原圖背景染色較深且細(xì)胞核距離較近,其它算法的分割結(jié)果中均有不同程度的粘連,而文中算法不僅正確分割所有細(xì)胞核且邊緣清晰,不存在粘連情況。第4行給出在這個數(shù)據(jù)庫上分割失敗的案例,圖像中存在與背景難以區(qū)分的細(xì)胞核,即使人眼觀察仍較難區(qū)分。

圖11 MoNuSeg細(xì)胞核分割數(shù)據(jù)集上不同算法的分割效果對比

4 結(jié)束語

針對甲狀腺癌病理圖像細(xì)胞核分割任務(wù)中細(xì)胞核邊界及其附近位置難以分割的問題提出一種基于邊界加權(quán)的細(xì)胞核分割方法。首先設(shè)計(jì)了一個邊界加權(quán)模塊,該模塊能夠使網(wǎng)絡(luò)在訓(xùn)練時關(guān)注細(xì)胞核邊界特征,另一方面提出了前景增強(qiáng)分割模塊,避免網(wǎng)絡(luò)過分關(guān)注邊界而忽視細(xì)胞核主體部分,導(dǎo)致一些染色較淺的細(xì)胞核分割失敗。在已有甲狀腺病理分類數(shù)據(jù)庫的基礎(chǔ)上,構(gòu)建了甲狀腺細(xì)胞核分割數(shù)據(jù)庫VIP-TCHis-Seg。文中方法與其它的分割算法在自建數(shù)據(jù)庫VIP-TCHis-Seg和MoNuSeg數(shù)據(jù)庫上均取得了最好的結(jié)果,證明了算法的有效性。

在實(shí)際應(yīng)用中,細(xì)胞核標(biāo)注需要極大的成本,同時還有漏標(biāo)與樣本不平衡的情況,因此使用弱標(biāo)注數(shù)據(jù)進(jìn)行弱監(jiān)督訓(xùn)練是未來的工作方向。