基于改進(jìn)U-Net的細(xì)胞核分割方法

孔德鳳 賈偉

摘要：細(xì)胞核的形狀、紋理和空間分布等信息能夠?yàn)楦黝惣膊≡\斷提供重要的參考信息，對細(xì)胞核的準(zhǔn)確分割是疾病診斷中的關(guān)鍵步驟。針對細(xì)胞核形狀多樣、邊界模糊和重疊等問題，提出一種基于改進(jìn)U-Net的細(xì)胞核分割方法。首先，利用并聯(lián)空洞卷積模塊和串聯(lián)空洞卷積模塊改進(jìn)Inception-ResNet的性能，擴(kuò)大U-Net卷積核的感受野；其次，提出一種采用全局最大池化和全局平均池化的殘差注意力機(jī)制，同時(shí)獲得局部特征和全局特征。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有細(xì)胞核分割方法相比，所提出的細(xì)胞核分割方法能夠?qū)?xì)胞核進(jìn)行準(zhǔn)確分割。

關(guān)鍵詞：Inception-ResNet;殘差注意力; U-net; 細(xì)胞核分割

中圖分類號：TP391? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）30-0004-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 概述

病理圖像中的細(xì)胞核包含著大量的重要信息，準(zhǔn)確獲取細(xì)胞核的大小、形狀、紋理和空間分布等信息能夠?yàn)槎喾N疾病提供重要的參考指標(biāo)[1]。因此，對細(xì)胞核的準(zhǔn)確分割對于各種疾病的準(zhǔn)確診斷和預(yù)后判斷具有重要意義[2]。大量的研究表明[3]，由于U-Net[4]的網(wǎng)絡(luò)結(jié)構(gòu)能夠有效利用病理圖像中的低分辨率信息和高分辨率信息，在訓(xùn)練樣本較少的情況下獲得較好的分割效果，使得基于U-Net的分割方法成為近年來細(xì)胞核分割的研究熱點(diǎn)，例如，IBTEHAZ等[5]提出一種可用于細(xì)胞核分割的多殘差塊U-Net （Multi-Residual U-Net，MU-Net） 的分割方法，該方法在U-Net中使用殘差塊，用于融合多尺度病理圖像特征，并增強(qiáng)編碼器和解碼器之間的聯(lián)系。ZHOU等[6]提出利用U-Net++分割細(xì)胞核，通過增強(qiáng)病理圖像的特征融合，提高分割準(zhǔn)確性。Li等[7]提出雙U-Net （Dual U-Net，DU-Net），并將該結(jié)構(gòu)應(yīng)用到細(xì)胞核分割中，用于提高重疊細(xì)胞核的分割效果。

由于病理切片制作技術(shù)的差異和細(xì)胞分布不均勻的影響，病理圖像中經(jīng)常出現(xiàn)細(xì)胞核邊界模糊和細(xì)胞核重疊的情況。此外，病理圖像中的細(xì)胞核存在圓形和梭形等多種形狀，這些因素導(dǎo)致現(xiàn)有的U-Net及其改進(jìn)方法無法獲取理想的分割結(jié)果。為解決上述問題，本文提出一種基于改進(jìn)U-Net的細(xì)胞核分割方法（Improved U-Net，IU-Net），該方法在U-Net中引入Inception-ResNet結(jié)構(gòu)[8]和注意力機(jī)制[9]，并利用空洞卷積[10]增強(qiáng)Inception-ResNet特征融合程度，獲取更多的細(xì)胞核特征信息。將殘差塊引入注意力機(jī)制的同時(shí)，使用最大池化和平均池化獲取更多的深層特征和淺層特征信息，進(jìn)一步提高細(xì)胞核分割的效果。

2 基于IU-Net的細(xì)胞核分割

2.1基于IU-Net的分割方法

用于細(xì)胞核分割的IRAU的結(jié)構(gòu)如圖1所示， 將改進(jìn)的Inception-ResNet（Improved Inception-ResNet，IIRN）模塊分別應(yīng)用到U-Net的編碼器、瓶頸層和解碼器中，并將基于雙池化的殘差注意力 （Residual Attention based on Double Pooling，RABD）模塊嵌入U(xiǎn)-Net的跳連接中。此外，為了更有效地提取細(xì)胞核特征和減少計(jì)算量，在瓶頸層中，先使用1×1卷積核進(jìn)行降維，再使用1×1卷積核進(jìn)行升維，并把降維前和升維后的特征信息進(jìn)行融合，把融合結(jié)果作為瓶頸層的輸出。

2.2 IIRN模塊

為擴(kuò)大U-Net的卷積層感受野和獲取更精細(xì)的細(xì)胞核圖像特征，對Inception-ResNet進(jìn)行改進(jìn)，使用并聯(lián)空洞卷積模塊和串聯(lián)空洞卷積模塊分別代替Inception-ResNet-A模塊的兩個(gè)分支中的3×3卷積，在每次卷積計(jì)算之后使用激活函數(shù)Leaky ReLU防止梯度消失并獲得更好的泛化能力，并利用批歸一化（Batch Normalization，BN）進(jìn)行歸一化處理，提高訓(xùn)練速度和精度。如圖2所示，并聯(lián)空洞卷積包括4個(gè)3×3卷積核，這4個(gè)卷積核的空洞率分別設(shè)置為1、2、4和8，并聯(lián)方式在提取到不同尺度的細(xì)胞核特征后，再進(jìn)行特征融合，有利于獲得與細(xì)胞核相關(guān)的更準(zhǔn)確的全局特征信息和局部特征信息。串聯(lián)空洞卷積包括4個(gè)3×3卷積核，這4個(gè)卷積核的空洞率分別設(shè)置為1、2、4和8，按照空洞率由小到大的順序排列，前一層提取的特征信息作為后一層的輸入，逐步提高感受野范圍，通過串聯(lián)空洞卷積具有多層不同尺度的感受野，可以獲得更多與細(xì)胞核大小和形狀相關(guān)的特征信息。

2.3 RABD模塊

為提高注意力機(jī)制的性能，獲得更準(zhǔn)確地融合細(xì)胞核的淺層特征和深層特征信息，提出使用RABD將注意力機(jī)制與殘差網(wǎng)絡(luò)相結(jié)合，并在殘差注意力機(jī)制中同時(shí)使用全局最大池化（Global Max Pooling，GMP）和全局平均池化（Global Average Pooling，GAP）對細(xì)胞核特征進(jìn)行壓縮，在使用全局最大池化獲取重要的局部特征信息的同時(shí)，使用全局平均池化獲取全局特征信息。

RABD的結(jié)構(gòu)如圖3所示，GMP和GAP分別對應(yīng)1個(gè)分支，每個(gè)分支都將U-Net在下采樣過程中獲取的病理圖像信息分別作為輸入，在得到2個(gè)分支的池化結(jié)果后，首先都要經(jīng)過1個(gè)全連接（Fully Connected，F(xiàn)C）層，在通過BN和激活函數(shù)Leaky ReLU之后，再經(jīng)過1個(gè)FC層和激活函數(shù)Sigmoid，隨后對2個(gè)分支的結(jié)果進(jìn)行加運(yùn)算，通過加運(yùn)算能夠在強(qiáng)調(diào)深層特征的同時(shí)，也強(qiáng)調(diào)淺層特征。最后將U-Net在下采樣過程中獲取的病理圖像信息與加運(yùn)算的結(jié)果進(jìn)行乘運(yùn)算，使注意力權(quán)重疊加到由編碼器輸出的病理圖像信息上。

3 實(shí)驗(yàn)分析

3.1實(shí)驗(yàn)數(shù)據(jù)與評價(jià)指標(biāo)

選用公共數(shù)據(jù)集Data Science Bowl 2018（https：//www.kaggle.com/c/data-science-bowl-2018/overview）對本文提出方法的有效性和準(zhǔn)確性進(jìn)行驗(yàn)證。為避免過度擬合，提高泛化能力，對圖像進(jìn)行預(yù)處理，通過剪裁將所有病理圖像調(diào)整為256×256×3，并利用數(shù)據(jù)增強(qiáng)技術(shù)對數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行擴(kuò)充。

實(shí)驗(yàn)中使用像素準(zhǔn)確率（Pixel Accuracy，PA）、平均交并比（Mean Intersection over Union，MIoU） 、F1-Score和Dice相似系數(shù)（Dice similarity coefficient，DSC）對分割細(xì)胞核的效果進(jìn)行評估。PA和MIoU的計(jì)算公式分別為：

[PA=e=0vpeee=0vj=0vpej]? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

[MIoU=1v+1e=0vpeej=0vpej+j=0vpje-pee]? ? ? ? ? ? ? ? ? （2）

其中，[pee]是真實(shí)像素類別為[e]的像素被預(yù)測為類別[e]的總數(shù)量，[pej]是真實(shí)像素類別為[e]的像素被預(yù)測為類別[j]的總數(shù)量，[v]是類別總數(shù)。

F1-Score的計(jì)算公式為：

[F1=2TP2TP+FP+FN]? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中，[TP]是真陽性數(shù)量，[FP]是假陽性數(shù)量，[FN]是假陰性數(shù)量。

DSC的計(jì)算公式為：

[DSC=2A?BA+B]? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

其中，[A]是使用分割方法得到的分割結(jié)果，[B]是真實(shí)分割結(jié)果，[A?B]是兩種分割結(jié)果的交集部分。

3.2結(jié)果與分析

將IU-Net與現(xiàn)有的細(xì)胞核分割方法MU-Net[5]、U-Net++[6]和DU-Net[7]進(jìn)行比較。圖4是細(xì)胞核分割結(jié)果的比較，第一列是病理圖像原圖，第二列是細(xì)胞核分割的真實(shí)標(biāo)簽，從第三列到第七列分別是細(xì)胞核分割方法MU-Net、U-Net++、DU-Net和IU-Net的細(xì)胞核分割結(jié)果。從圖4中可以看出，在細(xì)胞核較大且細(xì)胞核不重疊的情況下，MU-Net具有較好的分割效果，但是當(dāng)細(xì)胞核較小且出現(xiàn)重疊情況時(shí)，MU-Net無法進(jìn)行準(zhǔn)確分割。U-Net++對細(xì)胞核邊界模糊的細(xì)胞核分割效果較好，但是無法在較小細(xì)胞核重疊時(shí)進(jìn)行準(zhǔn)確分割。DU-Net對大部分重疊細(xì)胞核的分割效果較好，但是對梭形細(xì)胞核和部分較小重疊細(xì)胞核的分割效果不夠好。IU-Net能夠?qū)Ω鞣N形狀和各種情況下的細(xì)胞核進(jìn)行有效分割，其對細(xì)胞核分割的效果優(yōu)于現(xiàn)有的細(xì)胞核分割方法。

為客觀評價(jià)分割結(jié)果，各細(xì)胞核分割方法分別獨(dú)立執(zhí)行25次，在所有擴(kuò)充后的數(shù)據(jù)中，每次隨機(jī)選取80%的數(shù)據(jù)作為訓(xùn)練集，剩下20%的數(shù)據(jù)作為測試集，獲得的四項(xiàng)評價(jià)指標(biāo)PA、MIoU、F1-Score和DCS的平均值如表1所示。

從表1的比較結(jié)果可以看出，IU-Net在四項(xiàng)評價(jià)指標(biāo)PA、MIoU、F1-Score和DCS中的值都高于現(xiàn)有細(xì)胞核分割方法，說明IRAU在細(xì)胞核分割的整體表現(xiàn)優(yōu)于現(xiàn)有細(xì)胞核分割方法，能夠準(zhǔn)確分割細(xì)胞核。這是因?yàn)镮U-Net中的IIRN 利用空洞卷積擴(kuò)大了感受野，能夠提取更多的細(xì)胞核的淺層和深層特征信息，通過RABD將淺層特征信息與深層信息有效地融合在一起，更好地描述細(xì)胞核特征。

4 結(jié)論

本文提出的細(xì)胞核分割方法IU-Net，其通過改進(jìn)Inception-ResNet，擴(kuò)大U-Net的卷積層感受野，在提出的RABD中，將注意力機(jī)制與殘差網(wǎng)絡(luò)相結(jié)合，并采用GMP和GAP對細(xì)胞核特征進(jìn)行壓縮，從而更有效地利用細(xì)胞核的淺層特征和深層特征，使得IU-Net能夠提高分割細(xì)胞核的有效性和準(zhǔn)確性。

參考文獻(xiàn)：

[1] Nir G，Hor S，Karimi D，et al.Automatic grading of prostate cancer in digitized histopathology images：learning from multiple experts[J].Medical Image Analysis，2018，50：167-180.

[2] Veta M，Pluim J P W，van Diest P J，et al.Breast cancer histopathology image analysis：a review[J].IEEE Transactions on Biomedical Engineering，2014，61（5）：1400-1411.

[3] Liu L L，Cheng J H，Quan Q，et al.A survey on U-shaped networks in medical image segmentations[J].Neurocomputing，2020，409：244-258.

[4] Ronneberger O，F(xiàn)ischer P，Brox T.U-net：convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2015：234-241.

[5] Ibtehaz N，Rahman M S.MultiResUNet：Rethinking the U-Net architecture for multimodal biomedical image segmentation[J].Neural Networks，2020，121：74-87.

[6] Zhou Z，Siddiquee M M R，Tajbakhsh N，et al.UNet++：redesigning skip connections to exploit multiscale features in image segmentation[J].IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.

[7] Li X L，Wang Y Y，Tang Q S，et al.Dual U-net for the segmentation of overlapping glioma nuclei[J].IEEE Access，2019（7）：84040-84052.

[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence.New York：ACM，2017：4278-4284.

[9] Chen L C，Yang Y，Wang J，et al.Attention to scale：scale-aware semantic image segmentation[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition， Las Vegas， USA， 2016：3640-3649.

[10] Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

【通聯(lián)編輯：唐一東】