基于雙路徑特征融合的結(jié)腸組織病理腺體分割方法

王紅玉,張墺琦,卜起榮,崔 磊, 馮 筠

(1.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710121;2.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；3.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

病理診斷中對(duì)于腺體的觀察十分重要,腺體的形態(tài)和結(jié)構(gòu)是決定腺癌分級(jí)分型的一個(gè)重要指標(biāo)。腺癌是由腺上皮引起的惡性腫瘤,其中，結(jié)腸腺癌是最常見的癌變類型之一[1]。通過從大量的切片中找到包含早期病變的微小腺體組織等,可進(jìn)行結(jié)腸腺癌的分型、分級(jí)、分類等診斷,因此,腺體的準(zhǔn)確分割對(duì)于結(jié)腸腺癌診斷至關(guān)重要[2]。結(jié)腸病理圖像的分割是病理定量分析的基礎(chǔ),也是當(dāng)前研究的熱點(diǎn)。利用機(jī)器學(xué)習(xí)算法進(jìn)行病理圖像分割可以將病理專家從枯燥的機(jī)械式工作中解放出來,也減少了不同醫(yī)生在診斷時(shí)產(chǎn)生的主觀性差異。準(zhǔn)確的分割結(jié)果可以為病理的定量分析提供精確測(cè)量數(shù)據(jù),進(jìn)一步提高病理專家的分析效率。

目前,利用機(jī)器學(xué)習(xí)進(jìn)行病理圖像分割的算法主要分為兩大類[3],一類是以傳統(tǒng)機(jī)器學(xué)習(xí)為代表的病理圖像分割算法,此類方法以先驗(yàn)知識(shí)和人工設(shè)計(jì)的特征為基礎(chǔ)進(jìn)行建模,常用的特征有顏色、形狀、大小、紋理結(jié)構(gòu)等,優(yōu)勢(shì)是可解釋性高,但存在特征不全面、泛化性能差的問題,導(dǎo)致在較為復(fù)雜的病理圖像分割任務(wù)上這類方法的分割精度不佳,且計(jì)算復(fù)雜耗時(shí)[4]。另一類算法也是目前研究的熱點(diǎn),即基于深度學(xué)習(xí)的病理圖像分割算法[5],以大量的數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),通過設(shè)置合適的訓(xùn)練策略進(jìn)行神經(jīng)網(wǎng)絡(luò)的反向傳播,對(duì)誤差進(jìn)行反復(fù)的迭代優(yōu)化來學(xué)習(xí)圖像的淺層和深層特征,不需要手工設(shè)計(jì)特定的特征。這類方法在數(shù)據(jù)樣本充足的情況下,可以學(xué)習(xí)到更加復(fù)雜的病理圖像特征,在處理圖像分割任務(wù)時(shí)相較于傳統(tǒng)方法精度更高,泛化性更好。

本文針對(duì)結(jié)腸組織病理圖像中腺體分割存在不同癌變等級(jí)腺體外觀差異大,同一模型難以同時(shí)對(duì)良性、惡性腺體進(jìn)行高精度、高形狀相似性分割的問題,利用上下文注意力機(jī)制設(shè)計(jì)了一種雙路徑特征融合的結(jié)腸組織病理腺體分割網(wǎng)絡(luò)(dual-path feature fusion based on context attention,DPFF-CA)。針對(duì)腺體形狀多變,差異大等問題,在編碼器部分設(shè)計(jì)了帶注意力的上下文特征(context attention, CA)提取路徑和空間特征(spatial path, SP)提取路徑,以獲得較大的感受野和空間信息,進(jìn)而改善分割性能,提高模型對(duì)于腺體形態(tài)學(xué)的學(xué)習(xí)能力。本文算法在Warwick-QU數(shù)據(jù)集上進(jìn)行驗(yàn)證,與目前主流的腺體分割算法相比,在良性和惡性腺體分割上均取得了較高的分割精度。

1 相關(guān)工作

組織病理圖像中對(duì)腺體的自動(dòng)化分割從傳統(tǒng)方法到基于深度學(xué)習(xí)的方法都進(jìn)行了許多嘗試和探索并取得了一定進(jìn)展。早期以傳統(tǒng)方法為主,常見的有閾值法、分水嶺方法[6]等,研究者根據(jù)腺體的特征設(shè)計(jì)手工特征描述子,提取某一類或幾類特定的特征用于分割,如Wu等人利用區(qū)域生長(zhǎng)算法進(jìn)行腺體分割,通過設(shè)置一個(gè)滑動(dòng)窗口尋找腸道內(nèi)部的大空缺區(qū)域，確定初始的播種區(qū)域后,重復(fù)應(yīng)用形態(tài)學(xué)擴(kuò)張操作擴(kuò)展種子區(qū)域[7]；Gunduz-Demir等人提出了基于圖的腺體分割方法[8]，Paul等人使用結(jié)構(gòu)信息進(jìn)行腺體分割,提出一個(gè)用于保留腺體邊界的邊緣保留過濾器,然后使用信息學(xué)形態(tài)學(xué)尺度空間對(duì)腺體進(jìn)行分割[9]。研究發(fā)現(xiàn),盡管上述方法適用于形狀規(guī)則的良性腺體,但當(dāng)切片圖像上的腺體與預(yù)測(cè)的輪廓不一致時(shí),腺體就不能被很好地分割。

為了解決這一問題,研究者開始關(guān)注對(duì)于惡性腺體的分割研究,Nguyen等人提出了基于圖論和核空間排列的腺體分割方法,通過構(gòu)建核和腔的圖,并使用歸一化切割方法將圖劃分為不同的分量,每個(gè)分量對(duì)應(yīng)一個(gè)腺體,此方法對(duì)3級(jí)和4級(jí)的惡性腺體取得了不錯(cuò)的分割效果[10]。Prabhu等人提出了基于貝葉斯推斷的隨機(jī)多邊形模型進(jìn)行結(jié)腸組織中腺體的分割，通過定義先驗(yàn)的空間連通性、相鄰上皮細(xì)胞核的排列和腺體結(jié)構(gòu)存在的可能性,對(duì)組織病理圖像中的腺體結(jié)構(gòu)進(jìn)行貝葉斯推斷,實(shí)現(xiàn)了組織學(xué)圖像中的腺體結(jié)構(gòu)提取[11]。然而,上述方法只能對(duì)某一分化級(jí)別的惡性腺體具有較好的分割效果,當(dāng)同時(shí)面對(duì)良性腺體和多個(gè)分化級(jí)惡性腺體的分割任務(wù)時(shí)效果不夠理想。

隨著深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分割領(lǐng)域的成功應(yīng)用,使用深度學(xué)習(xí)的結(jié)腸組織病理腺體分割方法成為了新的研究方向[12]。如Chen等人提出了一種深度輪廓感知網(wǎng)絡(luò)分別對(duì)腺體和輪廓進(jìn)行分割[13],并在2015年MICCAI(Medical Image Computing Computer Assisted Intervention) 舉辦的腺體分割挑戰(zhàn)賽中取得了最好的效果。Xu等人融合了復(fù)雜的多通道信息、區(qū)域和邊界特征,并對(duì)腺體組織學(xué)圖像中的側(cè)響應(yīng)進(jìn)行深度監(jiān)督和添加額外的對(duì)象框信息來提高分割性能[14]。Raza等人提出了一種多輸入多輸出網(wǎng)絡(luò),利用不同膨脹率的卷積提取全面的圖像特征,該網(wǎng)絡(luò)在一定程度上較好地提升了腺體的分割性能[15]。Graham等人使用卷積神經(jīng)網(wǎng)絡(luò)和空間金字塔池化對(duì)Warwick-QU數(shù)據(jù)集進(jìn)行實(shí)例分割,并在測(cè)試集B中取得了先進(jìn)的效果[16]。總體來說,使用深度神經(jīng)網(wǎng)絡(luò)方法可以在一定程度上實(shí)現(xiàn)不同類別、不同分級(jí)腺體的良好分割,但是腺體分割結(jié)果存在形狀相似度欠佳的問題。腺體的形狀對(duì)于腺癌的診斷分級(jí)是一個(gè)重要參考指標(biāo),因此，亟需在提高模型泛化性能的基礎(chǔ)上,同時(shí)提高腺體分割的準(zhǔn)確率。

綜上所述,基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的腺體分割方法往往存在難以適應(yīng)腺體形態(tài)多變的問題,模型泛化性較差,通常只能實(shí)現(xiàn)對(duì)形態(tài)大小較為規(guī)整且穩(wěn)定的良性腺體或形態(tài)變化微小、分化級(jí)別較低的惡性腺體的分割。而使用深度神經(jīng)網(wǎng)絡(luò)的方法,不需設(shè)計(jì)特定的特征就可以提取到更加全面的潛在特征,能適應(yīng)不同類型和分化級(jí)別的腺體分割,模型泛化性較好。

2 結(jié)腸病理圖像中的腺體分割網(wǎng)絡(luò)

2.1 腺體分割過程

結(jié)腸病理圖像腺體分割任務(wù)一般不僅要求分割出圖像上的背景和腺體,還要求對(duì)每個(gè)分割出的腺體都有相應(yīng)標(biāo)注,這是因?yàn)榉指詈蟮拿總€(gè)腺體的形態(tài)、大小對(duì)于癌癥的分級(jí)均非常重要。由此可知,腺體分割的任務(wù)其實(shí)屬于實(shí)例分割的范疇。由于依靠專家標(biāo)注的病理圖像往往存在樣本量不足的問題,若使用語(yǔ)義分割結(jié)合有監(jiān)督目標(biāo)檢測(cè)的方式進(jìn)行實(shí)例分割,則缺少目標(biāo)檢測(cè)所需的檢測(cè)框標(biāo)注,若結(jié)合無監(jiān)督的目標(biāo)檢測(cè)方法準(zhǔn)確率又得不到保證,人工標(biāo)注耗費(fèi)的人力成本較大。因此，目前常用的方式是先對(duì)腺體進(jìn)行語(yǔ)義分割,分割出腺體和背景,然后，利用閾值和求最大連通區(qū)域等傳統(tǒng)方法給每個(gè)腺體對(duì)象標(biāo)注唯一值,以區(qū)分每一個(gè)腺體,腺體分割過程如圖1所示。

圖1 語(yǔ)義分割下的腺體實(shí)例分割Fig.1 Gland instance segmentation based on semantic segmentation

2.2 算法總體框架

本文提出的基于雙路徑特征融合的結(jié)腸組織病理腺體分割網(wǎng)絡(luò)(DPFF-CA)整體結(jié)構(gòu)如圖2所示。設(shè)計(jì)帶注意力的上下文特征提取路徑用于獲得更大的感受野和全局信息,來改善結(jié)腸病理圖像腺體分割中存在的腺體尺寸變化大問題,此外,還設(shè)計(jì)了空間特征提取路徑,來獲得具有豐富空間信息的高分辨率特征,并將兩個(gè)路徑的特征進(jìn)行融合以獲得更加全面的信息。該網(wǎng)絡(luò)既改善了結(jié)腸病理圖像腺體分割過程中存在的尺度不一致問題，又改善了分割邊界的精度,使得分割結(jié)果和真實(shí)腺體相比具有更高的形狀相似度。

空間特征提取路徑包含3個(gè)卷積層以及對(duì)應(yīng)的歸一化層(由于腺體的分割屬于實(shí)例分割，因此，歸一化方法使用了在實(shí)例分割中常用的instance normalization方法)、ReLU層,通過此路徑得到的特征大小為原圖1/8高分辨率特征圖。上下文特征提取路徑以殘差網(wǎng)絡(luò)[17](residual network, ResNet)中的殘差塊為基礎(chǔ)進(jìn)行4次2倍下采樣,提取深層特征,并且在4次下采樣和8次下采樣后都使用了注意力模塊CA,以優(yōu)化上下文特征提取路徑中每一個(gè)階段的輸出特征,最后，對(duì)兩個(gè)路徑提取到的特征進(jìn)行融合和上采樣，恢復(fù)至輸入圖像大小。

2.3 空間特征提取路徑

在卷積神經(jīng)網(wǎng)絡(luò)中通常使用卷積層搭配池化層的連接方式,通過不斷縮小特征圖來減少冗余信息,在提升分類精度的同時(shí)減少網(wǎng)絡(luò)參數(shù)量。但對(duì)于分割任務(wù),這種方式會(huì)損失一部分空間信息,而這些信息對(duì)于分割目標(biāo)的邊界和細(xì)節(jié)具有十分重要的作用。

圖2 基于雙路徑特征融合的結(jié)腸病理腺體分割網(wǎng)絡(luò)Fig.2 Colonic tissue pathological gland segmentation method based on dual-path feature fusion

由于結(jié)腸病理圖像中腺體的形態(tài)、大小差異大,導(dǎo)致準(zhǔn)確分割出腺體邊界具有一定難度,而較高分辨率和豐富的空間信息有助于改善腺體分割時(shí)邊界的精度,提高分割出的腺體與真實(shí)腺體的形狀相似度,所以，設(shè)計(jì)一個(gè)既能保留圖像的高分辨率特征,又有較大的感受野的網(wǎng)絡(luò)就顯得至關(guān)重要。一些現(xiàn)有的方法試圖使用空洞卷積編碼來保持輸入圖像的分辨率，以獲得足夠的空間信息[18-19],也有一些方法嘗試用金字塔池化模塊或較大的卷積核來捕獲足夠的感受野[20-21]。上述方法表明獲得全面的空間信息和更大的感受野對(duì)于實(shí)現(xiàn)高精度分割至關(guān)重要,但要同時(shí)滿足這兩方面也存在一定的困難。

基于上述問題,本文利用空間特征提取路徑來獲得較高分辨率特征,并對(duì)空間信息進(jìn)行了較為全面的編碼。如圖2所示,空間特征提取路徑包含3個(gè)層,每層包括一個(gè)步長(zhǎng)為2,大小為3×3的卷積、歸一化和ReLU。通過此路徑可以提取到大小為原始圖像1/8的特征圖,較大的特征圖具有更豐富的空間信息,在對(duì)腺體進(jìn)行分割時(shí)，有助于確定腺體的位置與邊界,同時(shí)改善腺體邊界的分割精度。

2.4 基于注意力的上下文特征提取路徑

本文提出的空間特征提取路徑SP獲得了豐富的空間信息,接著設(shè)計(jì)了帶注意力機(jī)制的上下文特征提取路徑CA來為網(wǎng)絡(luò)提供足夠的感受野。在分割任務(wù)中,感受野對(duì)于分割性能影響很大,為了擴(kuò)大感受野,一些方法利用了金字塔網(wǎng)絡(luò)結(jié)構(gòu)[22]或大尺寸卷積核[23]，然而,這些操作對(duì)于計(jì)算機(jī)的內(nèi)存空間要求較高,非常消耗內(nèi)存和時(shí)間。

本文利用基于注意力機(jī)制的上下文特征提取路徑來獲得更大的感受野并提高計(jì)算效率。由于結(jié)腸組織病理圖像數(shù)據(jù)集小,使用層數(shù)過深的網(wǎng)絡(luò),參數(shù)將會(huì)過多,這樣容易產(chǎn)生梯度消失現(xiàn)象或過擬合問題,并且面對(duì)較小的數(shù)據(jù)集,過多的參數(shù)也難以得到有效學(xué)習(xí)。因此，上下文特征提取路徑利用深度殘差網(wǎng)絡(luò)ResNet中的殘差塊和最大池化方法快速地對(duì)特征映射進(jìn)行下采樣,以獲得大感受野,并實(shí)現(xiàn)了語(yǔ)義上下文信息編碼。

由于上下文路徑關(guān)注全局上下文信息的學(xué)習(xí),為了進(jìn)一步提高模型對(duì)于腺體結(jié)構(gòu)特征的學(xué)習(xí)能力,本文還設(shè)計(jì)了注意力模塊CA。其為補(bǔ)充通道間的語(yǔ)義響應(yīng)進(jìn)行了通道間的依賴關(guān)系建模,以獲得每個(gè)通道和其他通道間的依賴關(guān)系,進(jìn)而引導(dǎo)特征的學(xué)習(xí),并將其和具有豐富上下文信息的特征進(jìn)行加權(quán),以達(dá)到特征增強(qiáng)和互補(bǔ)的效果。具體的注意力建模過程如圖3所示,首先，對(duì)形狀為c×h×w的輸入特征X進(jìn)行變換得到Ψ、Φ、Ω這3個(gè)特征,其中：c為特征通道數(shù)；h為特征圖的高；w為特征圖的寬。Φ為對(duì)X進(jìn)行的維度變換,它的形狀為h×w×c。接著，將特征Ψ、Φ、Ω展開為二維,用Ψ左乘Φ,進(jìn)行矩陣乘法得到大小為c×c的注意力特征圖,用經(jīng)過Softmax操作后的C左乘Ω,得到大小為c×(h×w)的特征F。然后將特征F重塑為三維,即c×h×w,再和輸入特征X進(jìn)行加和,得到具有豐富通道間依賴關(guān)系的特征A。具體的計(jì)算過程如式(1)和式(2)所示,其中:c,h,w分別代表特征通道數(shù)、特征圖的高和寬;Cij表示第i個(gè)通道對(duì)第j個(gè)通道的影響;γ是尺度系數(shù),初始化為0。通過迭代學(xué)習(xí)更新權(quán)重,最終得到的輸出A是每個(gè)通道特征和原始特征的加權(quán)和,通過類內(nèi)特征響應(yīng)、類間特征抑制的方式,強(qiáng)化了網(wǎng)絡(luò)對(duì)于邊界的敏感程度。

(1)

(2)

特征融合部分受到UNet的深淺層特征跳躍連接互補(bǔ)思想的啟發(fā),將上采樣過程與特征融合相結(jié)合,如圖2所示,與UNet中的跳躍連接采用特征拼接方式不同,本文將對(duì)應(yīng)特征進(jìn)行加和,并不增加特征的通道數(shù),以此實(shí)現(xiàn)特征的融合互補(bǔ)。本文使用交叉熵作為損失函數(shù),計(jì)算公式如式(3)所示，

(3)

其中：pi表示預(yù)測(cè)結(jié)果中第i個(gè)像素的概率；gi表示金標(biāo)準(zhǔn)的第i個(gè)像素的真實(shí)類別；N表示像素?cái)?shù)量。

圖3 注意力模塊CA結(jié)構(gòu)Fig.3 Structure of the attention module CA

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

本文使用Warwick-QU數(shù)據(jù)集作為研究數(shù)據(jù)集。它包含使用Zeiss MIRAX MIDI顯微鏡獲得的165個(gè)結(jié)腸組織圖像,分辨率為0.62 μm/像素,并由醫(yī)學(xué)專家對(duì)每個(gè)圖像進(jìn)行了腺體的真實(shí)標(biāo)注。如表1所示,圖像包含從良性到惡性的組織學(xué)分級(jí),包括85幅訓(xùn)練圖像(37幅良性和48幅惡性)和80幅測(cè)試圖像(37幅良性和43幅惡性)。此外,測(cè)試圖像被分為兩個(gè)測(cè)試集:測(cè)試A(60張圖像)和測(cè)試B(20張圖像),在訓(xùn)練集中,良性樣例和惡性樣例的比例接近4∶5,比例較為均衡,然而，測(cè)試集B中良性樣例只有4例,其余的80%皆為惡性樣例。由于分化程度越高,腺體的形狀和大小差異越大,這就導(dǎo)致了在測(cè)試集B上進(jìn)行腺體分割難度要大于在測(cè)試集A上。切片圖像大部分的尺寸為775像素×522像素,有少量圖像的尺寸在(500～600)像素×(400～500)像素,結(jié)腸組織病理圖像和專家標(biāo)注如圖4所示。其中第一行為原始的結(jié)腸組織病理切片圖像,第二行為病理切片對(duì)應(yīng)的專家標(biāo)注。

如圖4所示,結(jié)腸組織病理圖像中背景由紫紅色的組織液以及普通細(xì)胞核組成,其中，腺體是由一圈黑色的細(xì)胞核圍繞著腺體基質(zhì)和透明內(nèi)腔形成的個(gè)體,其余區(qū)域?yàn)楸尘??？梢杂^察到，健康腺體和良性腺瘤形態(tài)較為規(guī)整,為橢圓形,而惡性腺體的形狀呈現(xiàn)無規(guī)律、不規(guī)則狀態(tài)。在數(shù)據(jù)集中每例結(jié)腸組織病理圖像上都會(huì)擁有幾個(gè)至二十個(gè)不等的腺體,每個(gè)腺體都由病理專家進(jìn)行了唯一標(biāo)注,良性健康腺體對(duì)應(yīng)的專家標(biāo)注中背景被標(biāo)注為0,其中的15個(gè)腺體分別用1～15中不重復(fù)的整數(shù)值進(jìn)行唯一標(biāo)注。

本文使用了與2015年MICCAI腺體分割挑戰(zhàn)賽一致的評(píng)價(jià)指標(biāo),用F1值(F1 score)評(píng)價(jià)腺體檢測(cè)的準(zhǔn)確性,用單個(gè)腺體水平Dice系數(shù)評(píng)價(jià)單個(gè)腺體和相應(yīng)專家標(biāo)注間的重合度，用單個(gè)腺體水平Hausdorff距離來評(píng)價(jià)分割出的腺體和相應(yīng)專家標(biāo)注腹體間形狀的相似性。

表1 Warwick-QU 數(shù)據(jù)集的組成Tab.1 Composition of the Warwick-QU dataset

圖4 Warwick-QU 數(shù)據(jù)集的樣例Fig.4 Samples of the Warwick-QU dataset

3.2 消融實(shí)驗(yàn)

為了驗(yàn)證設(shè)計(jì)的空間路徑和注意力模塊對(duì)于提高腺體分割精度和形狀相似性上的效果,開展了消融實(shí)驗(yàn),結(jié)果如表2所示?；A(chǔ)網(wǎng)絡(luò)使用的是用殘差塊改進(jìn)的U型卷積神經(jīng)網(wǎng)絡(luò),其中，SP代表空間特征提取路徑,基礎(chǔ)網(wǎng)絡(luò)+CA模塊即帶注意力機(jī)制的上下文特征提取路徑。從表2中可以看到, 加入注意力模塊CA對(duì)于提高腺體相似度效果明顯,這從一定程度上說明本文使用的注意力模塊有助于模型加強(qiáng)對(duì)于腺體形狀的學(xué)習(xí),改善結(jié)腸病理腺體分割中因?yàn)榱夹院蛺盒韵袤w形狀差距大問題導(dǎo)致的模型泛化性差的問題。

在不使用注意力模塊,而只使用雙路徑特征提取的結(jié)構(gòu)時(shí),可以看到空間路徑對(duì)于腺體分割的Dice系數(shù)和Hausdorff距離提升效果在測(cè)試集A和測(cè)試集B上均比較明顯,尤其是在測(cè)試集A上,但對(duì)測(cè)試集B上形狀相似度的提升效果沒有使用CA模塊明顯,這從一定程度上表明CA模塊有助于提升惡性腺體的分割形狀相似性,而空間特征提取路徑SP對(duì)腺體分割的提升比較均衡,主要因?yàn)榭臻g特征提取路徑SP學(xué)習(xí)到的特征是高分辨率、大感受野，具有豐富空間信息的特征,這提高了模型對(duì)于不同尺寸腺體的分割能力,改善了腺體分割時(shí)邊界分割的精度,同時(shí)對(duì)于腺體分割中存在腺體形狀差異大和形狀多變也非常有幫助。本文將兩個(gè)路徑結(jié)合起來的雙路徑特征提取算法,可以在對(duì)腺體分割上取得單獨(dú)使用上下文路徑或者空間特征提取路徑的平衡,即在測(cè)試集A和測(cè)試集B上的F1 score、Dice、Hausdorff均取得較好的水平,這說明使用雙路徑特征提取的結(jié)腸病理分割算法在一定程度上解決了腺體形狀多變、尺寸差異大的問題,對(duì)于良性、惡性不同分級(jí)的腺體都可以取得較高的分割精度，且與真實(shí)形狀更為接近。

表2 結(jié)腸病理腺體分割模塊消融實(shí)驗(yàn)結(jié)果Tab.2 Results of the ablation experiment of colonic pathological gland segmentation

圖5是對(duì)模塊消融實(shí)驗(yàn)的可視化展示,從整體角度看,本文提出的模塊和設(shè)計(jì)對(duì)于良性腺體和惡性不同分化程度的腺體分割結(jié)果與基礎(chǔ)網(wǎng)絡(luò)相比提升均非常明顯。局部具體來看,在圖5中,使用基礎(chǔ)網(wǎng)絡(luò)對(duì)兩例良性健康腺體圖像進(jìn)行分割得到的結(jié)果中腺體間的黏連、重疊問題比較嚴(yán)重,而在使用了空間特征提取路徑SP和帶有CA改進(jìn)的上下文提取路徑后,分割效果均得到了明顯改善。而對(duì)于惡性腺體在使用了本文提出的模塊和設(shè)計(jì)后,可以看到分割得到的腺體與專家標(biāo)注更為接近。其中,對(duì)于惡性低分化的樣例,使用帶注意力模塊的上下文提取路徑后,與基礎(chǔ)網(wǎng)絡(luò)分割結(jié)果相比,在3個(gè)指標(biāo)上均有明顯提升,尤其是在形狀的相似性上,對(duì)于惡性中分化的樣例,使用空間路徑改進(jìn)后,得到的分割結(jié)果在檢測(cè)準(zhǔn)確率和形狀相似性提高明顯。

3.3 算法對(duì)比

為了進(jìn)一步驗(yàn)證所設(shè)計(jì)模塊的有效性和先進(jìn)性,將本文算法分別與多個(gè)流行方法進(jìn)行對(duì)比,包括:用于結(jié)腸病理圖像分割的網(wǎng)絡(luò)模型DCAN[13]、深度多通道監(jiān)督網(wǎng)絡(luò)[14]、單個(gè)結(jié)腸腺語(yǔ)義分割網(wǎng)絡(luò)Res-UNet和神經(jīng)常微分方程UNode模型[24]、結(jié)合手工特征與深度網(wǎng)絡(luò)的腺體分割模型[25]，以及常用的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)FCN[26]、UNet[27]、UNet-Nested[28]、FusioNet[29]等9種算法,實(shí)驗(yàn)結(jié)果如表3和表4所示。

圖5 腺體分割模塊消融實(shí)驗(yàn)結(jié)果可視化展示Fig.5 Visualized results of the gland segmentation ablation experiment

從表3可以看出，在測(cè)試集A上，本文所提出的算法DPFF-CA的F1值0.877排名第一，Dice值0.886優(yōu)于絕大部分算法，只略小于深度多通道監(jiān)督網(wǎng)絡(luò)[14]和UNode[24]，從表4可以看出，在測(cè)試集B上，本文算法DPFF-CA在F1值排名第三，僅比排名第一的深度多通道監(jiān)督網(wǎng)絡(luò)低0.014，Dice和Hausdorff排名第一。綜合表3和表4中的數(shù)據(jù)來看,本文所提出的算法DPFF-CA綜合性能較好,在測(cè)試集A、B上均可以取得較高的性能指標(biāo),表明提出的DPFF-CA算法對(duì)于腺體形態(tài)多變性特征的學(xué)習(xí)效果較好,可以在較高分割性能的同時(shí)分割出良性、惡性腺體,這也表明DPFF-CA算法在一定程度上解決了目前基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行腺體分割存在的難以對(duì)形態(tài)多變的惡性腺體進(jìn)行較高準(zhǔn)確度分割的問題。

表3 測(cè)試集A分割結(jié)果對(duì)比Tab.3 Comparison of segmentation results of test set A

表4 測(cè)試集B分割結(jié)果對(duì)比Tab.4 Comparison of segmentation results of test set B

圖6是對(duì)比算法分割結(jié)果的可視化展示,本文算法DPFF-CA不僅對(duì)于良性的腺體可以取得較好的分割效果,而且對(duì)于不同分化水平的惡性腺體也可以取得較高的分割精度。從圖6中對(duì)于惡性中-低分化圖像的分割圖中可以非常明顯看出,本文算法DPFF-CA與其他方法相比和專家標(biāo)注更為接近。在惡性高分化的兩個(gè)樣例中,對(duì)于第1列的惡性中分化樣例,其他算法在對(duì)圖像上半部分的腺體進(jìn)行分割時(shí)，均存在較多的錯(cuò)誤分割和過度分割的情況,而DPFF-CA雖然也存在一定程度的錯(cuò)誤分割,但整體與專家標(biāo)注更為接近。通過與其他方法進(jìn)行可視化比較，總體來看，本文提出的DPFF-CA算法可以同時(shí)實(shí)現(xiàn)對(duì)于惡性腺體和良性腺體均較為準(zhǔn)確的分割效果。

圖6 結(jié)腸病理腺體分割對(duì)比實(shí)驗(yàn)結(jié)果可視化展示Fig.6 Visual experimental results of comparison of colonic pathological gland segmentation

4 結(jié)語(yǔ)

為了改進(jìn)目前結(jié)腸組織病理圖像算法因?yàn)橄袤w形狀多變、良惡腺體形狀差距大、腺體組織學(xué)結(jié)構(gòu)復(fù)雜導(dǎo)致的模型泛化性較差、分割出的腺體與真實(shí)腺體形狀相似度較低的問題,本文提出了一種基于雙路徑特征融合的結(jié)腸組織病理圖像腺體分割網(wǎng)絡(luò),此網(wǎng)絡(luò)分為空間特征提取路徑和帶注意力的上下文特征提取路徑,通過對(duì)這兩個(gè)路徑提取到的特征深層融合,獲得了豐富的空間信息和上下文語(yǔ)意信息,有效提高了模型對(duì)于腺體空間位置上的定位和邊界輪廓的精確分割。實(shí)驗(yàn)結(jié)果表明,本文算法取得了比當(dāng)前流行算法更好的腺體分割性能，其對(duì)于腺體的準(zhǔn)確定位和對(duì)它邊界輪廓的精確分割能力更強(qiáng),同時(shí)具有較強(qiáng)的泛化性。然而,本文算法也有一定局限性,存在分割出的腺體形態(tài)與真實(shí)腺體相似度欠佳的問題，這一方面還有很大的改進(jìn)空間和需求。目前，對(duì)于組織病理圖像中腺體的分割亟需設(shè)計(jì)一個(gè)擁有較好的泛化性能，可以同時(shí)實(shí)現(xiàn)對(duì)良性、惡性腺體較高像素精度的分割方法。