基于全卷積網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)的宮頸癌細(xì)胞學(xué)圖像的細(xì)胞核分割

劉一鳴，張鵬程，劉 祎，桂志國(guó)

(中北大學(xué) 生物醫(yī)學(xué)成像與影像大數(shù)據(jù)山西省重點(diǎn)實(shí)驗(yàn)室，太原 030051)(*通信作者電子郵箱gzgtg@163.com)

0 引言

宮頸癌是全球女性因癌癥死亡的最重要原因之一，每年有近27萬(wàn)人死亡[1]。巴氏涂片由Papanicolaou[2]于1942年提出，是宮頸癌預(yù)防和早期檢測(cè)的最簡(jiǎn)單但是最重要的細(xì)胞學(xué)篩查手段之一[3]。

在傳統(tǒng)的宮頸癌細(xì)胞學(xué)篩查中，細(xì)胞涂片是通過(guò)細(xì)胞學(xué)家或者病理學(xué)家手動(dòng)篩查的，是高重復(fù)性、高耗時(shí)的工作，即使是最有經(jīng)驗(yàn)的細(xì)胞學(xué)家或者病理學(xué)家，在長(zhǎng)時(shí)間的篩查中也會(huì)因?yàn)槠＞牒妥⒁饬ο陆档仍蝈e(cuò)分很多細(xì)胞, 因此，宮頸癌的自動(dòng)計(jì)算機(jī)輔助細(xì)胞學(xué)篩查與診斷系統(tǒng)的發(fā)展具有重要的臨床意義。這類(lèi)系統(tǒng)的主要目的是在一張涂片中，將少量可疑的異常細(xì)胞從數(shù)千個(gè)細(xì)胞中挑選出來(lái)，供醫(yī)生進(jìn)行進(jìn)一步篩查與診斷。實(shí)際上，醫(yī)生是通過(guò)TBS(The 2001 Bethesda System)來(lái)判斷細(xì)胞是否有異常[1]，而這些異常細(xì)胞多數(shù)表現(xiàn)為細(xì)胞核的特征異常(如：形狀、顏色、尺寸等)，這些特征在醫(yī)生的決策中起到了非常重要的作用。

輔助診斷系統(tǒng)可以利用這些特征來(lái)進(jìn)行篩查, 總體上需要執(zhí)行細(xì)胞核的分割，特征提取和分類(lèi)等步驟才能將特征異常的細(xì)胞自動(dòng)篩查出來(lái); 而分割作為這些處理過(guò)程的第一步，其精確度和效率決定了異常細(xì)胞識(shí)別的準(zhǔn)確率和可實(shí)施性。但是由于涂片中細(xì)胞的不規(guī)則形狀和染色質(zhì)的不均勻分布等因素，準(zhǔn)確分割細(xì)胞核較為困難[4]。

近年來(lái)，針對(duì)分割細(xì)胞核的算法，主要基于活動(dòng)輪廓[5]、基于水平集[6]、基于分水嶺[7-8]、基于聚類(lèi)方法[9]、基于無(wú)監(jiān)督分類(lèi)[10]以及基于形狀建模[11]等方法。其中，大多數(shù)算法未用到細(xì)胞核的先驗(yàn)知識(shí)，僅運(yùn)用細(xì)胞圖像的空間域信息來(lái)進(jìn)行分割，在某些細(xì)胞核與細(xì)胞質(zhì)的不明顯過(guò)渡區(qū)域，分割精度較差，少數(shù)算法用到了細(xì)胞核的形狀等簡(jiǎn)單先驗(yàn)知識(shí)，但也因先驗(yàn)知識(shí)有限，分割結(jié)果不夠魯棒, 例如，Garcia-Gonzalez等[11]提出了一種首先運(yùn)用多尺度邊緣檢測(cè)進(jìn)行初始分割，然后運(yùn)用橢圓形狀逼近的方法。該方法在某些分割場(chǎng)景下，如異常細(xì)胞的細(xì)胞核形狀不規(guī)則時(shí)，得到的結(jié)果較差。

針對(duì)現(xiàn)有方法結(jié)合空間域信息與先驗(yàn)知識(shí)不充分而分割不夠魯棒的問(wèn)題，本文提出一種結(jié)合了全卷積網(wǎng)絡(luò)(Fully Convolutional Network, FCN)[12]和全連接條件隨機(jī)場(chǎng)(Conditional Random Field, CRF)[13]的細(xì)胞核圖像分割算法。本文先構(gòu)建符合Herlev巴氏涂片數(shù)據(jù)集的微型FCN(Tiny-FCN, T-FCN)，T-FCN以每個(gè)像素的類(lèi)別作為監(jiān)督信息，其多層網(wǎng)絡(luò)在訓(xùn)練過(guò)程中可自主學(xué)習(xí)對(duì)分割結(jié)果有利的特征，學(xué)習(xí)到的特征數(shù)量與層次都較以往的先驗(yàn)信息多。由于在經(jīng)過(guò)多個(gè)池化層后，分割精度下降，T-FCN只能得到粗分割結(jié)果，而全連接CRF可以充分運(yùn)用細(xì)胞圖像中全部像素的色彩值和位置信息[14]，因此，本文最終通過(guò)最小化全連接CRF的能量函數(shù)來(lái)最大化粗分割圖像的后驗(yàn)概率，優(yōu)化T-FCN的粗分割結(jié)果。

1 T-FCN與全連接CRF

為了有效利用空間域信息與先驗(yàn)知識(shí)，本文結(jié)合了T-FCN與全連接CRF兩種方法: T-FCN利用標(biāo)注圖像(Ground Truth, GT)的像素級(jí)先驗(yàn)知識(shí)作為監(jiān)督來(lái)訓(xùn)練模型; CRF則利用了T-FCN得到的粗分割圖像和圖像本身的空間域信息進(jìn)行優(yōu)化。

本文方法包括兩個(gè)階段，即粗分割階段和優(yōu)化階段，如圖1所示。在粗分割階段，搭建了T-FCN，訓(xùn)練該網(wǎng)絡(luò)得到用于細(xì)胞核粗分割的模型。在優(yōu)化階段，通過(guò)全連接CRF來(lái)將分割輪廓細(xì)化，并剔除較小的誤分割區(qū)域。

1.1 T-CNN

1.1.1 FCN

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)一般由輸入層、卷積層、激活層、池化層和全連接層組成: 輸入為圖像的像素值，卷積層配合池化層，從底層到高層，隨著感受野的擴(kuò)充，完成低級(jí)特征到高級(jí)特征的提取; 在全連接層，將最終得到的前向傳播運(yùn)算結(jié)果傳遞到損失層; 損失層以真實(shí)類(lèi)別作為監(jiān)督信息，以最小化分類(lèi)誤差為目標(biāo)，通過(guò)反向傳播來(lái)調(diào)整網(wǎng)絡(luò)各層的權(quán)值，完成模型的訓(xùn)練。

FCN已成功應(yīng)用于語(yǔ)義分割，F(xiàn)CN將CNN中的全連接層替換為卷積層，保留了高級(jí)特征的空間信息，再通過(guò)反卷積層將特征圖還原到原始圖像的尺寸，形成pixel-to-pixel的監(jiān)督。這就使得CNN的圖像整體分類(lèi)轉(zhuǎn)變?yōu)閳D像中所有像素的分類(lèi)，從而實(shí)現(xiàn)整幅圖像的語(yǔ)義分割[15]。

1.1.2 T-FCN

對(duì)于T-FCN而言，感受野的設(shè)定與可檢測(cè)到的目標(biāo)的尺度密切相關(guān)。感受野，即為決定某一層特征圖中一個(gè)響應(yīng)值所對(duì)應(yīng)的輸入層的區(qū)域尺寸，CNN由于全連接層的存在，感受野一定能夠包含全圖信息。FCN缺乏全連接層，因此對(duì)于特定的數(shù)據(jù)集，需要設(shè)定具有適合目標(biāo)區(qū)域感受野的網(wǎng)絡(luò)。若感受野小于目標(biāo)尺寸，則預(yù)測(cè)值只是目標(biāo)的局部響應(yīng)，此時(shí)屬于相同目標(biāo)的像素可能產(chǎn)生不連續(xù)的預(yù)測(cè)，若感受野大于目標(biāo)尺寸，則目標(biāo)可能被忽略而預(yù)測(cè)為背景[16]。以FCN-VGG16為例，運(yùn)用FCN- 8s分割的分割結(jié)果，如圖2所示。

圖2 感受野與目標(biāo)分辨率不符產(chǎn)生不良分割

現(xiàn)有的FCN一般都基于ImageNet圖像分類(lèi)競(jìng)賽著名網(wǎng)絡(luò)設(shè)計(jì)，如Alexnet[17]、VGGNet[18]和GoogLeNet[19]等網(wǎng)絡(luò)。從感受野的角度來(lái)看，大體符合ImageNet數(shù)據(jù)集中圖像目標(biāo)的分辨率，Alexnet最后一個(gè)池化層的感受野為195，VGG16最后池化層的感受野為212，GoogLeNet loss1均值池化層感受野為235。Herlev數(shù)據(jù)集中的7類(lèi)圖像，低度鱗狀上皮細(xì)胞核最小，且細(xì)胞核外接矩形短邊尺寸基本不小于30，非典型增生細(xì)胞最大，且細(xì)胞核外接矩形短邊尺寸基本不超過(guò)85。由于在臨床條件中，巴氏染色圖像的放大率保持不變，因此，本文保持了Herlev的原始放大率，即不進(jìn)行圖像的縮放。對(duì)于當(dāng)前Herlev數(shù)據(jù)集，細(xì)胞核分辨率范圍較廣，不存在可以同時(shí)良好分割出不同分辨率細(xì)胞核的感受野，這就需要確定對(duì)不同分辨率細(xì)胞核的分割優(yōu)先級(jí)。T-FCN作為粗分割，首先要求識(shí)別出所有的細(xì)胞核，因此需要先分割出小分辨率的細(xì)胞核，則感受野的設(shè)定應(yīng)當(dāng)以小分辨率細(xì)胞核外接矩形短邊尺寸為依據(jù)。即對(duì)于外接矩形短邊不小于30的細(xì)胞核分辨率，需要在分割最小細(xì)胞核的前提下盡可能提升大目標(biāo)的分割效果?？紤]到細(xì)胞核與細(xì)胞質(zhì)在圖像中的過(guò)渡區(qū)域的紋理信息約為5個(gè)像素，感受野應(yīng)增加10像素，因此確保利用所有細(xì)胞核信息的感受野尺寸不小于40。

在相同感受野條件下，小尺寸卷積核和非線(xiàn)性激活函數(shù)交替的結(jié)構(gòu)，由于可以更好地非線(xiàn)性化特征而比大尺寸卷積核表現(xiàn)更好[18]。因?yàn)樘崛∠袼匕肃徲蛐畔⒌淖钚【矸e核尺寸為3×3，本文采用3×3的卷積核與池化層構(gòu)造FCN。VGG的所有結(jié)構(gòu)可以近似為3×3卷積核CNN的一個(gè)遍歷，在這些結(jié)構(gòu)中，VGG16的C結(jié)構(gòu)pool3的感受野為36，VGG16的D結(jié)構(gòu)pool3的感受野為44。從感受野的角度來(lái)看，VGG16的D結(jié)構(gòu)中pool3層前的網(wǎng)絡(luò)構(gòu)造出的FCN可以良好分割出鱗狀上皮細(xì)胞的細(xì)胞核。因此本文在上述網(wǎng)絡(luò)結(jié)構(gòu)后添加一個(gè)卷積層和一個(gè)上采樣層作為T(mén)-FCN的初始結(jié)構(gòu)，如圖3所示。

圖3 T-FCN初始網(wǎng)絡(luò)

T-FCN的輸出類(lèi)別包括背景、正常細(xì)胞核和異常細(xì)胞核三類(lèi)，這里將正常細(xì)胞核和異常細(xì)胞核兩類(lèi)合并為細(xì)胞核一類(lèi)，得到包含細(xì)胞核區(qū)域和背景區(qū)域的預(yù)測(cè)圖像。

運(yùn)用Zhang等[20]提出的方法進(jìn)行細(xì)胞核的篩選，即選取距離圖像中心最近的輪廓區(qū)域的長(zhǎng)寬均擴(kuò)展20像素的區(qū)域與邊界的交集作為該細(xì)胞圖像的細(xì)胞核區(qū)域，其他區(qū)域均賦值為背景。因此，T-FCN最終的輸出為具有單個(gè)細(xì)胞核區(qū)域和背景區(qū)域的預(yù)測(cè)圖像。

T-FCN的下采樣，在獲取高級(jí)特征的同時(shí)也犧牲了分割精度，在不平滑的邊緣分割較為粗糙，這是所有FCN固有的缺點(diǎn)，且T-FCN由于感受野根據(jù)細(xì)胞核來(lái)設(shè)計(jì)，不能有效利用全局細(xì)胞圖像的信息，在細(xì)胞圖像中部分較小的孤立區(qū)域存在誤分割。

1.2 T-FCN-全連接CRF

1.2.1 全連接CRF

全連接 CRF考慮了細(xì)胞圖像中所有像素間的關(guān)系，以最小化包含有細(xì)胞圖像全部像素標(biāo)簽信息、位置信息和色彩值信息的能量函數(shù)為目標(biāo)，來(lái)細(xì)化T-FCN的分割邊緣，并剔除較小的誤分割區(qū)域。

像素的標(biāo)簽信息來(lái)自T-FCN最終的輸出，即包含單個(gè)細(xì)胞核區(qū)域和背景區(qū)域的預(yù)測(cè)圖像，其中每個(gè)位置的像素值都對(duì)應(yīng)標(biāo)簽集合L={l1,l2,…,lk}中的一個(gè)標(biāo)簽變量，這里k=2，即背景和細(xì)胞核，所有的變量構(gòu)成一個(gè)隨機(jī)場(chǎng)Y={Y1,Y2,…,YN}，Yj為像素點(diǎn)j對(duì)應(yīng)的類(lèi)別標(biāo)簽。在另一組變量上定義另一個(gè)隨機(jī)場(chǎng)X={X1,X2,…,XN}，N為細(xì)胞圖像的像素?cái)?shù)量，Xj代表細(xì)胞圖像像素點(diǎn)j的顏色向量。則條件隨機(jī)場(chǎng)(X,Y)可以通過(guò)一個(gè)吉布斯分布表示：

(1)

其中，Z(X)為歸一化項(xiàng)

(2)

E(Y|X)為輸入圖像像素點(diǎn)分布為X、標(biāo)簽分布為Y時(shí)的能量。條件隨機(jī)場(chǎng)的目標(biāo)即求最大后驗(yàn)概率對(duì)應(yīng)的隨機(jī)場(chǎng)y∈LN，由于以輸入圖像像素點(diǎn)分布X為固定條件，為了表示方便，后續(xù)推導(dǎo)過(guò)程中，將省略條件X的表示。則對(duì)于y∈LN分布，其對(duì)應(yīng)的吉布斯能量為：

(3)

ψu(yù)(yi)=-lnyi

(4)

ψp(yi,yj)=

(5)

式中，μ(yi,yj)為標(biāo)簽兼容性函數(shù)，這里運(yùn)用Potts模型：

(6)

括號(hào)中第一個(gè)指數(shù)函數(shù)被稱(chēng)為Appearance Kernel，第二個(gè)指數(shù)函數(shù)被稱(chēng)為Smooth Kernel，p表示像素的位置。對(duì)于RGB圖像而言，Appearance Kernel相當(dāng)于在五維空間中衡量像素的相似性，即鼓勵(lì)位置相近，顏色相似的像素具有一致的分類(lèi)，θα和θβ控制相近和相似的程度。Smooth Kernel則用于移除孤立小區(qū)域，θγ控制像素相近的程度。

1.2.2 T-FCN-全連接CRF推斷

全連接CRF的成對(duì)能量項(xiàng)數(shù)量龐大，使用傳統(tǒng)的算法推斷時(shí)間復(fù)雜度太高，因此運(yùn)用由Kr?henbühl等[13]提出的基于平均場(chǎng)近似的高效推斷方法。該方法提出了一種可以替代CRF原始分布P(y)的簡(jiǎn)單分布Q(y)，且Y在這個(gè)分布內(nèi)相互獨(dú)立：

(7)

最小化Q和P的KL(Kullback-Leibler)散度：

(8)

得到迭代更新公式：

Qi(yi=l)=

(9)

整個(gè)推斷過(guò)程，以T-CRF的最終預(yù)測(cè)圖像為輸入，以迭代結(jié)束后的y作為全連接CRF的輸出，輸出的y為了觀測(cè)方便，映射為彩色圖像，即為流程圖中的CRF優(yōu)化結(jié)果。

2 數(shù)據(jù)集及其預(yù)處理

2.1 數(shù)據(jù)集

本文方法通過(guò)一個(gè)公共數(shù)據(jù)集進(jìn)行評(píng)估，即Herlev巴氏涂片新版數(shù)據(jù)集。該數(shù)據(jù)集由海萊烏大學(xué)醫(yī)院 (Herlev University Hospital, HUH)和丹麥科技大學(xué)(Technical University of Denmark, TUD)搜集，其中包含了917個(gè)單獨(dú)的巴氏涂片細(xì)胞圖像。Herlev數(shù)據(jù)集中的圖像是在0.201 μm/pixel的放大率下得到的，平均圖像尺寸為156×140。所有圖像的長(zhǎng)寬中，最長(zhǎng)的邊為768，最短的邊為32，變化范圍大。917個(gè)細(xì)胞圖像分為7類(lèi), 如圖4所示，其中，前3類(lèi)為正常細(xì)胞，后4類(lèi)為異常細(xì)胞。每個(gè)細(xì)胞均有細(xì)胞學(xué)家和醫(yī)生手工標(biāo)注的實(shí)際細(xì)胞核、細(xì)胞質(zhì)和背景區(qū)域。7類(lèi)示例細(xì)胞及其GT圖像如圖4，為了保留圖像中細(xì)胞核的相對(duì)尺度信息，這里未統(tǒng)一示例細(xì)胞圖像尺寸，GT圖像中黑色區(qū)域內(nèi)深灰色區(qū)域代表細(xì)胞核，黑色區(qū)域代表細(xì)胞質(zhì)，淺灰區(qū)域代表主體細(xì)胞周邊背景，黑色區(qū)域外深灰區(qū)域是整幅圖像的背景，也即與主體細(xì)胞無(wú)關(guān)區(qū)域。

圖4 Herlev數(shù)據(jù)集中7類(lèi)示例圖片

Herlev數(shù)據(jù)集中917張細(xì)胞的詳細(xì)分布情況見(jiàn)表1。

表1 Herlev數(shù)據(jù)集細(xì)胞分布

2.2 細(xì)胞圖像區(qū)域提取與標(biāo)簽制作

對(duì)于宮頸細(xì)胞數(shù)據(jù)集Herlev而言，如圖4中的(b)、(c)、(f)和(g)，并不只是包含主體細(xì)胞本身，在GT圖像的黑色區(qū)域外深灰區(qū)域存在其他細(xì)胞的細(xì)胞核和細(xì)胞質(zhì)，但是并未進(jìn)行標(biāo)注。因此，以此標(biāo)注得到的標(biāo)簽作為細(xì)胞的監(jiān)督信息直接進(jìn)行訓(xùn)練，會(huì)引入較多干擾，且完全通過(guò)限制長(zhǎng)寬來(lái)分離主體細(xì)胞圖像較為困難?？紤]到FCN的訓(xùn)練存在減均值的步驟，本文將GT圖像中黑色區(qū)域外深灰區(qū)域?qū)?yīng)的細(xì)胞圖像中的區(qū)域用數(shù)據(jù)集中細(xì)胞圖像整體的均值來(lái)替代, 由此得到的圖4中細(xì)胞圖像的主體細(xì)胞區(qū)域提取結(jié)果如圖5所示。

圖5 細(xì)胞圖像區(qū)域提取

對(duì)于細(xì)胞圖像中各像素的標(biāo)簽：若像素對(duì)應(yīng)GT圖中的黑色區(qū)域外深灰區(qū)域、淺灰區(qū)域和黑色區(qū)域，賦值為0；若對(duì)應(yīng)黑色區(qū)域內(nèi)深灰色區(qū)域則根據(jù)其所屬類(lèi)別，正常細(xì)胞核賦值為1，異常細(xì)胞核賦值為2。

2.3 數(shù)據(jù)增強(qiáng)

從表1中可以看出，Herlev數(shù)據(jù)集中正常和異常細(xì)胞的數(shù)量比較失衡，從圖5中可以看出，正常細(xì)胞核的像素?cái)?shù)量也較異常細(xì)胞核的像素?cái)?shù)量少，這就使得在FCN訓(xùn)練階段，正常細(xì)胞核像素?cái)?shù)量嚴(yán)重少于異常細(xì)胞核與背景兩類(lèi)的像素?cái)?shù)量，考慮到Herlev數(shù)據(jù)集本身的圖像數(shù)量較少，本文通過(guò)增強(qiáng)訓(xùn)練集中正常細(xì)胞圖像的數(shù)量，來(lái)平衡訓(xùn)練集中正常細(xì)胞核像素和異常細(xì)胞核像素的數(shù)量。

對(duì)于訓(xùn)練集中的正常細(xì)胞圖像，增強(qiáng)的倍數(shù)應(yīng)當(dāng)至少使得正常和異常兩類(lèi)像素?cái)?shù)量基本相當(dāng)，同時(shí)需要防止因增強(qiáng)倍數(shù)太大而導(dǎo)致的模型過(guò)擬合，因此，將正常細(xì)胞核的增強(qiáng)倍數(shù)確定為3。為了確保所有的增強(qiáng)圖像有效，要求圖像中所有細(xì)胞核在增強(qiáng)后依然在圖像中，因此采用隨機(jī)水平或垂直翻轉(zhuǎn)、幅度為0.01的隨機(jī)平移抖動(dòng)的組合來(lái)進(jìn)行增強(qiáng)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)估方法

對(duì)于細(xì)胞核分割結(jié)果的評(píng)估，需要細(xì)胞核和整個(gè)細(xì)胞的GT圖。以3個(gè)像素級(jí)精度的參數(shù)作為分割結(jié)果的評(píng)價(jià)方法，分別為查準(zhǔn)率(Precision)、查全率(Recall)和Zijdenbos相似性指數(shù)(Zijdenbos Similarity Index, ZSI)[21]：

(10)

(11)

(12)

其中：TP為檢測(cè)正確的細(xì)胞核像素?cái)?shù)，F(xiàn)P為檢測(cè)為細(xì)胞核但在GT中不是細(xì)胞核的像素?cái)?shù)，F(xiàn)N為在GT中為細(xì)胞核但是未檢測(cè)到的像素?cái)?shù)。查準(zhǔn)率反映正確檢測(cè)為細(xì)胞核像素?cái)?shù)占所有檢測(cè)為細(xì)胞核像素?cái)?shù)的比例， 查全率為正確檢測(cè)為細(xì)胞核的像素?cái)?shù)占所有GT中細(xì)胞核像素?cái)?shù)的比例，查準(zhǔn)率低表明誤檢像素較多，查全率低則代表漏檢像素較多，因此一個(gè)良好的分割要求兩者均具有良好的表現(xiàn)。ZSI則綜合考慮了TP、FP和FN，根據(jù)Zijdenbos的描述[21]，檢測(cè)到分割邊界與GT在ZSI大于0.7時(shí)高度匹配。

3.2 實(shí)驗(yàn)結(jié)果與分析

本文使用第2章得到的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，在Windows 10的Caffe[22]框架上實(shí)現(xiàn)。梯度下降算法運(yùn)用隨機(jī)梯度下降法(Stochastic Gradient Descent, SGD), 批大小為4，迭代次數(shù)為100 000，動(dòng)量為0.9，學(xué)習(xí)率策略為inv，基礎(chǔ)學(xué)習(xí)率為0.001，gamma為0.000 1，power為0.75，dropout為0.5。為了評(píng)估的客觀性，采用10折交叉驗(yàn)證。

在T-FCN訓(xùn)練階段，由于感受野的限制，只截取了VGG16的D結(jié)構(gòu)的pool3層前的網(wǎng)絡(luò)，使得網(wǎng)絡(luò)提取的特征較少，因此需要充分挖掘底層的特征，本文將各卷積層的卷積核數(shù)量擴(kuò)展為原卷積核數(shù)量的2倍。

從訓(xùn)練集和測(cè)試集的角度進(jìn)行本次修改的評(píng)估。訓(xùn)練集以訓(xùn)練損失(Loss)作為評(píng)估指標(biāo)，在測(cè)試集上，由于圖像中背景比重太大，直接以全局像素精度(Overall Accuracy, OA)度量所得結(jié)果中背景部分的影響將遠(yuǎn)大于細(xì)胞核部分。平均像素精度(Mean Accuracy, MA) 是OA的一種提升，首先計(jì)算每個(gè)類(lèi)別中正確分類(lèi)像素的比例，然后求所有類(lèi)別的正確分類(lèi)像素比例的均值，可以避免某一類(lèi)像素多或少產(chǎn)生的影響。以第3折為例，評(píng)估結(jié)果如圖6。

圖6 T-FCN卷積核數(shù)量?jī)?yōu)化

圖6結(jié)果顯示，將卷積核數(shù)量擴(kuò)展為2倍，可以穩(wěn)定提升網(wǎng)絡(luò)性能，因此本文以擴(kuò)展2倍數(shù)量的卷積核得的網(wǎng)絡(luò)作為最終的T-FCN。

在FCN- 8s中，由于感受野與細(xì)胞核分辨率相差太大，導(dǎo)致網(wǎng)絡(luò)不收斂，與本文最終的T-FCN的結(jié)果對(duì)比如圖7。圖7中，在訓(xùn)練階段，T-FCN的損失下降快并收斂于0.1以下，而FCN- 8s的損失并未收斂；在測(cè)試階段，T-FCN的測(cè)試MA達(dá)到0.8，而FCN- 8s一直為0.33。模型實(shí)測(cè)圖像顯示，F(xiàn)CN- 8s將所有的像素均分為背景。實(shí)驗(yàn)結(jié)果表明，本文針對(duì)Herlev數(shù)據(jù)集修改的T-FCN可以明顯提升細(xì)胞核分割結(jié)果。對(duì)于單幅圖像的平均粗分割時(shí)間，F(xiàn)CN- 8s用時(shí)1.359 s，而T-FCN用時(shí)0.192 s，極大提升了粗分割效率，滿(mǎn)足了臨床對(duì)細(xì)胞學(xué)圖像分割實(shí)時(shí)性的需求。

圖7 T-FCN與FCN- 8s表現(xiàn)對(duì)比

在優(yōu)化階段，CRF涉及參數(shù)有θα、θβ、θγ以及迭代次數(shù)n，對(duì)于θα、θβ和θγ，經(jīng)過(guò)多次實(shí)驗(yàn)并結(jié)合文獻(xiàn)[12]，在θγ=1、θα=20和θβ=10時(shí)，實(shí)際表現(xiàn)良好。迭代次數(shù)n在高于10時(shí)，Q和P的KL散度幾乎停止下降，考慮到計(jì)算復(fù)雜度，n確定為10。

確定T-FCN與全連接CRF參數(shù)后，本文方法與幾種分割方法[9, 23-24]的對(duì)比結(jié)果見(jiàn)表2。其中，文獻(xiàn)[23]主要運(yùn)用了多尺度分水嶺與二分類(lèi)等方法，文獻(xiàn)[24]則主要運(yùn)用了放射梯度向量流(Radiating Gradient Vector Flow, RGVF)與聚類(lèi)等方法。表2中，從Herlev數(shù)據(jù)集中917張細(xì)胞學(xué)圖像的平均分割指標(biāo)來(lái)看，本文是四種算法中唯一一種在查準(zhǔn)率、查全率以及ZSI三個(gè)指標(biāo)上，均達(dá)到0.90以上的算法。

文獻(xiàn)[23]在查準(zhǔn)率與查全率上有一個(gè)較好的權(quán)衡，因此在ZSI上領(lǐng)先RGVF。RGVF則由于過(guò)度側(cè)重于查全率，導(dǎo)致其在查準(zhǔn)率上僅為0.83，表明其雖然對(duì)細(xì)胞核的漏檢較少，但是誤檢較多，因此不能為后續(xù)細(xì)胞學(xué)圖像的診斷提供較為可靠的分割結(jié)果。本文算法兼顧了查準(zhǔn)率與查全率且二者均表現(xiàn)較優(yōu)，在ZSI上表現(xiàn)最好。

對(duì)于異常細(xì)胞而言，隨著異常程度的增大，傳統(tǒng)算法很難克服染色質(zhì)分布不均勻以及細(xì)胞核形狀的高度不規(guī)則等困難，因此在查準(zhǔn)率或查全率上具有一定取舍，實(shí)驗(yàn)結(jié)果的三個(gè)指標(biāo)無(wú)法做到全部都表現(xiàn)良好。而在本文中，T-FCN對(duì)細(xì)胞核像素級(jí)先驗(yàn)知識(shí)的運(yùn)用與全連接條件隨機(jī)場(chǎng)對(duì)空域信息的運(yùn)用都非常充分，提取到不同層次不同尺度的眾多特征，因此實(shí)驗(yàn)結(jié)果的三個(gè)指標(biāo)不僅不受細(xì)胞核形狀不規(guī)則程度增大等因素的影響，反而更好。實(shí)驗(yàn)結(jié)果表明本文方法對(duì)異常細(xì)胞的篩查更加有效。

表2 4種方法分割結(jié)果對(duì)比

4 結(jié)語(yǔ)

本文根據(jù)Herlev數(shù)據(jù)集的特點(diǎn)，為了提高細(xì)胞核分割的查全率，結(jié)合VGG16的D結(jié)構(gòu)，搭建出適合Herlev數(shù)據(jù)集中較小細(xì)胞核語(yǔ)義分割的T-FCN, 但是T-FCN在分割數(shù)據(jù)集中大尺寸的細(xì)胞核時(shí)，存在將部分細(xì)胞核區(qū)域分割為背景的情況，同時(shí)可能將細(xì)胞圖像中尺寸較小的雜質(zhì)分為細(xì)胞核。對(duì)此，本文通過(guò)細(xì)胞核子圖的確定來(lái)排除部分誤分割結(jié)果，得到最終粗分割結(jié)果；將粗分割結(jié)果輸入到包含有全圖像素標(biāo)簽信息、位置信息和色彩值信息的全連接CRF中，通過(guò)最小化全連接CRF的能量函數(shù)來(lái)優(yōu)化分割結(jié)果，進(jìn)一步剔除了粗分割結(jié)果中的誤分割區(qū)域，同時(shí)細(xì)化了分割的邊界。臨床細(xì)胞圖像的采集具有固定背景、光照以及更為穩(wěn)定的蘇木精-伊紅(Hematoxylin-Eosin, HE)染色法等優(yōu)點(diǎn)，而Herlev數(shù)據(jù)集中的細(xì)胞學(xué)圖像背景復(fù)雜、對(duì)比度變化范圍較大且染色效果不夠穩(wěn)定。由于臨床數(shù)據(jù)集的缺乏，本文未能完成臨床性能的評(píng)估。但是在Herlev數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，本文提出方法的查準(zhǔn)率、查全率和ZSI三個(gè)評(píng)價(jià)指標(biāo)均超過(guò)0.9，表明細(xì)胞核分割結(jié)果與GT圖中的細(xì)胞核高度匹配，相較其他三種方法具有明顯的優(yōu)勢(shì)。本文算法表現(xiàn)出的較優(yōu)的魯棒性和較強(qiáng)的泛化能力有望在臨床取得更好的細(xì)胞核分割結(jié)果, 且本文算法對(duì)異常細(xì)胞核分割的優(yōu)秀表現(xiàn)也更加契合計(jì)算機(jī)輔助宮頸癌細(xì)胞學(xué)篩查系統(tǒng)的需求。

從最終實(shí)驗(yàn)結(jié)果來(lái)看，本文的T-FCN滿(mǎn)足了優(yōu)化階段的精度需求，極大提升了粗分割效率，且粗分割存在的問(wèn)題在全連接CRF中基本得到解決。但是T-FCN是一個(gè)相對(duì)簡(jiǎn)單的模型，如何將更加優(yōu)秀的語(yǔ)義分割技術(shù)整合進(jìn)來(lái)并提升分割精度是進(jìn)一步努力的方向。