基于改進(jìn)ResUNet的乳腺癌細(xì)胞核圖像分割

陳 立，魏鈺欣，劉 斌，李 碩

(陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021)

0 引言

世界衛(wèi)生組織國際癌癥研究機構(gòu)發(fā)布了2020年全球最新癌癥數(shù)據(jù)，數(shù)據(jù)顯示全球新發(fā)癌癥病例達(dá)1 929萬例，其中乳腺癌新發(fā)病例高達(dá)226萬例，已經(jīng)成為全球第一大癌[1]。在癌癥的早期診斷中，細(xì)胞核的形態(tài)特征不僅有助于癌癥評級，還有助于預(yù)測治療效果[2]。因此，細(xì)胞核的精準(zhǔn)分割成為醫(yī)學(xué)圖像分析和處理的基礎(chǔ)，對病理診斷工作有十分重要的研究價值。

近年來，深度神經(jīng)網(wǎng)絡(luò)算法的崛起為細(xì)胞核分割帶來了新進(jìn)展，國內(nèi)外很多研究者們已經(jīng)在乳腺癌細(xì)胞分割領(lǐng)域做出了一系列研究。Su等[3]提出一種基于快速掃描深度卷積神經(jīng)網(wǎng)絡(luò)(Fast Scan Deep Convolution Neural Network， FSDNN)的組織病理學(xué)乳腺癌圖像區(qū)域分割方法，應(yīng)用于像素區(qū)域分割，在不犧牲性能的情況下去除原始卷積網(wǎng)絡(luò)中的冗余計算。Xu等[4]提出深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolution Neural Network， DCNN)，以端到端的特征提取方式直接在原始像素強度值中學(xué)習(xí)，用于乳腺癌圖像的上皮和間質(zhì)區(qū)域的分割。Saha等[5]針對人表皮生長因子受體乳腺癌細(xì)胞圖像提出了Her2Net分割網(wǎng)絡(luò)，但多次特征融合增大了計算復(fù)雜度和參數(shù)量。Wang等[6]提出一種基于多層次特征和級聯(lián)SVM分類的計算機輔助分級方法，用于自動區(qū)分低、中、高級別乳腺癌的組織病理圖像。與傳統(tǒng)算法相比，卷積神經(jīng)網(wǎng)絡(luò)算法效果顯著優(yōu)于人工提取特征的模型，在乳腺癌細(xì)胞的分割方面，上述分割網(wǎng)絡(luò)已經(jīng)取得較好的效果，但由于抗干擾能力不強，難以提取出更加抽象的圖像特征，對于細(xì)胞核的分割效果不夠精準(zhǔn)。

近些年，U-Net模型[7]及以U-Net為基礎(chǔ)進(jìn)行改進(jìn)的模型大范圍地用于醫(yī)學(xué)圖像的分割，但還很少將其應(yīng)用于乳腺癌細(xì)胞核圖像分割中，故本文基于ResUNet[8]模型進(jìn)行結(jié)構(gòu)改進(jìn)，使其能夠更好地對乳腺癌細(xì)胞核進(jìn)行分割。

1 ResUNet模型

ResUNet模型是在U-Net模型的基礎(chǔ)上進(jìn)行的改進(jìn)，主要改進(jìn)為在每層卷積處加入了殘差連接，ResUNet模型的結(jié)構(gòu)如圖1所示。

圖1 ResUNet模型結(jié)構(gòu)Fig.1 Structure of ResUNet model

ResUNet模型主要包括3部分：編碼器、連接橋和解碼器。編碼器、連接橋和解碼器均由如圖2所示的ResBlock組成，用來提取圖像特征。ResBlock在每層第2個卷積操作結(jié)束后添加了殘差連接，殘差連接需要和卷積層的初始輸入具有相同分辨率，通過批歸一化操作將每批輸入的樣本歸一化為標(biāo)準(zhǔn)正態(tài)分布，緩解了模型訓(xùn)練中的梯度爆炸和消失現(xiàn)象，同時加速了收斂[9]。

圖2 ResBlock結(jié)構(gòu)Fig.2 Structure of ResBlock

編碼器部分由ResBlock連續(xù)經(jīng)歷4個下采樣層組合而成，經(jīng)過連接橋的一個ResBlock后進(jìn)入解碼階段。解碼器部分由采樣層、通道連接層和ResBlock組合而成。通過上采樣層將特征通道減半，尺寸擴大為原來的2倍，然后將對應(yīng)下采樣的特征圖通過通道連接層拼接起來，再用1個ResBlock提取特征，此操作執(zhí)行4次，最后得出分割結(jié)果。

2 本文方法

2.1 殘差路徑

ResUNet模型通過通道連接層將編碼層的特征圖與解碼層的特征圖進(jìn)行拼接，通過通道連接層結(jié)合下采樣和上采樣過程中的深淺層次信息。淺層特征涵蓋了更多的空間位置信息，這些豐富的淺層特征不可忽略，有利于細(xì)胞核的定位和分割，對分割結(jié)果影響很大。

編碼器中的特征由于卷積層較淺，提取到的是淺層特征，而解碼器中對應(yīng)的特征由于卷積層更深，提取到是較深層次的特征，二者在語義上有較大差距，故本文提出了由殘差塊組成的殘差路徑(Residual Path，ResPath)。在模型的通道連接處加入ResPath，彌補編碼器卷積層空間特征和解碼器卷積層的語義特征的差距，使其在拼接前盡可能具有一致的深度，同時通過ResPath也可以更好地促進(jìn)信息傳播，保留圖像特征信息。

本文提出的ResPath由殘差塊組成，使用1個3×3卷積和1個1×1卷積組成的固定殘差塊，如圖3所示。與ResUNet中ResBlock不同的是，提出的殘差塊用1×1卷積代替了原3×3卷積作為殘差連接，用1×1卷積做通道上的信息整合，ResPath的主要作用是進(jìn)行圖像間深、淺層特征信息的融合，為防止信息損失舍去了批歸一化和ReLU激活函數(shù)[10]。

圖3 殘差塊Fig.3 Residual block

本文在ResUNet模型每個同層上的編碼器和解碼器之間的通道連接層處添加1條ResPath，通道連接層的位置見圖1。隨著卷積層的增加，逐漸減少ResPath中殘差塊的個數(shù)。原ResUNet模型中共進(jìn)行4次通道連接，實驗選定從上至下分別使用包含4，3，2，1個殘差塊的ResPath。本文選取最上層通道連接處的ResPath結(jié)構(gòu)進(jìn)行展示，即從上至下第1條ResPath，包括4個殘差塊，如4圖所示。

圖4 殘差路徑Fig.4 Residual path

2.2 改進(jìn)后ResUNet模型

改進(jìn)后的ResUNet模型整體主要包括3部分：編碼器、連接橋和解碼器，共形成了9個ResBlock和一個普通卷積。

編碼器除ResBlock(1)中最后一個卷積操作因不需要將特征圖大小減半，設(shè)置卷積步長為1，其他ResBlock最后一個卷積操作的步長均為2，以此將特征圖減小為原來的1/2。經(jīng)過4個ResBlock后通過連接橋的ResBlock(5)后進(jìn)入上采樣階段。上采樣階段首先經(jīng)過Upsample將特征圖大小擴大為原來的2倍后，將同層中編碼器輸出的特征經(jīng)過ResPath后再與Upsample后的特征進(jìn)行拼接，完成特征拼接后再進(jìn)經(jīng)過一個ResBlock，重復(fù)進(jìn)行此操作4次后，最后通過一個1×1卷積和Softmax函數(shù)輸出分割結(jié)果。

改進(jìn)后ReUNet模型結(jié)構(gòu)參數(shù)及每個步驟的輸出大小如表1所示。

表1 改進(jìn)后ResUNet模型各層參數(shù)設(shè)置Tab.1 Parameter setting of each layer of the improved ResUNet model

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

使用TensorFlow架構(gòu)來構(gòu)建模型，實驗平臺配備Inter Core i7-6700HQ CPU，NVIDIA GeForce GTX 1080Ti 8 GB顯存GPU，CUDA版本為10.0，編程語言為Python3.8。

3.2 數(shù)據(jù)集介紹

為驗證改進(jìn)后ResUNet模型的有效性，采用Naylor等[11]提供的乳腺癌數(shù)據(jù)對模型進(jìn)行訓(xùn)練、驗證和測試。該數(shù)據(jù)集選自11個病人的乳腺癌病理切片圖像，再從每個病人的病理圖中裁取了3～8幅圖像并通過ITK-snap軟件對每個細(xì)胞的細(xì)胞核核進(jìn)行標(biāo)注，共得到32幅圖像。為驗證改進(jìn)后ResUNet模型是否具有普適性，用Kaggle平臺提供的Data Science Bowl-2018公共醫(yī)學(xué)細(xì)胞核數(shù)據(jù)集，該數(shù)據(jù)集包括670幅細(xì)胞核圖像，含約29 000個細(xì)胞核。

3.3 數(shù)據(jù)預(yù)處理

為深度學(xué)習(xí)需要訓(xùn)練大量的數(shù)據(jù)來優(yōu)化模型，而Naylor等提供的實驗數(shù)據(jù)集的數(shù)量較少，故對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強，提高模型的泛化能力。采用的數(shù)據(jù)增強操作包括水平翻轉(zhuǎn)、平移縮放和隨機裁剪等操作，共得到400張圖片，按照7∶2∶1的比例隨機將這400張圖片分為訓(xùn)練集280張，驗證集80張和測試集40張。Data Science Bowl-2018數(shù)據(jù)集不進(jìn)行數(shù)據(jù)增強操作，將670張圖片分為訓(xùn)練集480張，驗證集120張和測試集70張。

考慮到特征并非總是連續(xù)值而是一些分類值[12]，對標(biāo)簽進(jìn)行One-Hot編碼，將分類映射到歐式空間，使特征之間的距離計算更加合理[13]。

3.4 損失函數(shù)

NLLLoss(Negative Log-likelihood Loss)衡量模型語義分割的精度，該損失函數(shù)表達(dá)式如式(1)所示；Dice Loss衡量分割細(xì)胞核和對應(yīng)標(biāo)注圖在形態(tài)特征方面的相似度，該函數(shù)表達(dá)式如式(2)所示：

(1)

(2)

本文按1∶1比例將NLLLoss和Dice Loss兩個損失函數(shù)搭配使用，具有以下優(yōu)點：

① Dice Loss從全局角度對分割結(jié)果進(jìn)行衡量，NLLLoss從微觀角度逐像素進(jìn)行逼近，二者衡量方式的角度互補；

② 當(dāng)出現(xiàn)圖像前后景極不均衡情況時，NLLLoss無法解決這種極度不均衡情況，但Dice Loss不受前景大小的影響；

③ 當(dāng)出現(xiàn)分割內(nèi)容不均衡時，Dice Loss會趨向于學(xué)習(xí)大的塊，而忽略小樣本，NLLLoss依舊會對小樣本進(jìn)行學(xué)習(xí)；

④ NLLLoss對Dice Loss起到引導(dǎo)作用，如果在初始化時，只有Dice Loss則無法學(xué)習(xí)到正確的梯度下降方向，加上NLLLoss可以給網(wǎng)絡(luò)一個學(xué)習(xí)的方向。

實驗結(jié)果顯示，使用NLLLoss和Dice Loss相結(jié)合的損失函數(shù)能夠取得更好的分割效果。

3.5 優(yōu)化函數(shù)

本文實驗采用Adam(Adaptive Moment Estimation)優(yōu)化函數(shù)，動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率。與其他優(yōu)化算法相比，Adam優(yōu)化函數(shù)具有計算高效、占用內(nèi)存較少等優(yōu)點。

3.6 評價指標(biāo)

為驗證本文模型對乳腺癌細(xì)胞核分割的效果，采用平均交并比(Mean Intersection over Union，MIoU)、Dice系數(shù)、準(zhǔn)確率(Accuracy，Acc)、精確率(Precision)、召回率(Recall)等評價指標(biāo)對模型的分割性能進(jìn)行評估。

MIoU表示真實值與預(yù)測值之間的交集同真實值與預(yù)測值之間并集的比值。Dice用于衡量分割結(jié)果和真實值之間的重合度。Acc表示預(yù)測結(jié)果中預(yù)測正確的比例。Precision表示正確分割的細(xì)胞核部分占預(yù)測結(jié)果為細(xì)胞核的部分的比例。Recall表示正確分割的細(xì)胞核部分占圖像中真實的細(xì)胞核部分的比例。

(3)

(4)

(5)

(6)

(7)

式中，TP為被預(yù)測為正類的正樣本；TN為被預(yù)測為負(fù)類的負(fù)樣本；FP為被預(yù)測為正類的負(fù)樣本；FN為被預(yù)測為負(fù)類的正樣本；(k+1)為類別數(shù)。

3.7 實驗過程結(jié)果及分析

實驗使用除已提到的U-Net，ResUNet模型外，還選用了SegNet[14]，F(xiàn)cn8s[15]，VggUNet[16]，DenseUNet[17]與改進(jìn)后的ResUNet模型(簡稱IResUNet模型)等7種分割模型分別在乳腺癌數(shù)據(jù)集和DSB數(shù)據(jù)集上進(jìn)行實驗，進(jìn)行分割效果對比，驗證模型的分割效果。

訓(xùn)練過程中利用Adam優(yōu)化函數(shù)對網(wǎng)絡(luò)進(jìn)行優(yōu)化，NLLLoss和Dice Loss函數(shù)共同衡量模型分割的精度，訓(xùn)練輪次數(shù)(epoch)設(shè)置為120，使用批訓(xùn)練，每批輸入的樣本數(shù)(Batch Size)設(shè)置為4，動量參數(shù)(Momentum)設(shè)置為0.9，初始學(xué)習(xí)率(Learning Rate)設(shè)置為0.000 1。用MIoU，Dice，Acc等評價指標(biāo)對分割結(jié)果進(jìn)行評判。

7種分割模型在2個數(shù)據(jù)集上訓(xùn)練過程中精度值和損失值變化情況分別如圖5和圖6所示。

(a) 各模型的精度值變化

(b) 各模型的損失值變化圖5 各模型在乳腺癌數(shù)據(jù)集訓(xùn)練過程中的精度和損失值變化Fig.5 Change of accuracy and loss values of each model during training on breast cancer datasets

(a) 各模型的精度值變化

(b) 各模型的損失值變化圖6 各模型在DSB數(shù)據(jù)集訓(xùn)練過程中的精度和損失值變化Fig.6 Change of accuracy and loss values of each model during training on DSB datasets

7種分割模型在乳腺癌數(shù)據(jù)集和DSB數(shù)據(jù)集上的分割結(jié)果圖在MIoU，Dice，Acc，Precision，Recall等評價指標(biāo)上計算得出的結(jié)果如表2和表3所示。

表2 乳腺癌數(shù)據(jù)集上的分割結(jié)果Tab.2 Segmentation results on breast cancer dataset

表3 DSB數(shù)據(jù)集上的分割結(jié)果Tab.3 Segmentation results on DSB dataset

由表2可以看出，IResUNet模型在乳腺癌細(xì)胞核數(shù)據(jù)集上分割結(jié)果的MIoU，Dice，Acc等評價指標(biāo)較ResUNet模型分別上分別提升了1.3%，1.2%，0.4%。為了更直觀地展現(xiàn)各模型的分割結(jié)果，給出了各模型的分割結(jié)果，如圖7所示。圖7(a)，(b)分別是乳腺癌細(xì)胞核的原圖、對應(yīng)標(biāo)注圖，圖7(c)～(i)分別為SegNet，F(xiàn)cn8s，VggUnet，U-Net，ResUNet，DenseUNet和IResUNet的分割結(jié)果。

(a) 乳腺癌細(xì)胞原圖

(b) 乳腺癌細(xì)胞核標(biāo)注圖

(c) SegNet

(d) Fcn8s

(e) VggUNet

(f) U-Net

(g) DenseUNet

(h) ResUNet

(i) IResUNet圖7 分割結(jié)果對比 Fig.7 Comparison of segmentation results

由表3可以看出，IResUNet模型在DSB細(xì)胞核數(shù)據(jù)集實驗結(jié)果的Miou，Dice，Acc等評價指標(biāo)較ResUNet模型分別上分別提升了0.6%，1.6%，0.4%。由于分割結(jié)果較多，僅節(jié)選IResUNet模型在DSB數(shù)據(jù)集上的分割細(xì)節(jié)，如圖8所示。圖8(a)，(b)分別表示DSB數(shù)據(jù)集上對應(yīng)的細(xì)胞核的原圖、標(biāo)注圖，圖8(c)表示IResUNet模型的分割效果圖。

(a) 細(xì)胞核原圖

(b) 標(biāo)注圖

(c) IResUNet圖8 分割結(jié)果對比Fig.8 Comparison of segmentation results

訓(xùn)練過程中發(fā)現(xiàn)，IResUNet模型在epoch 80后驗證集上的精度值和損失值趨于平穩(wěn)達(dá)到瓶頸狀態(tài)，此時進(jìn)行參數(shù)微調(diào)，導(dǎo)入保存的模型，凍結(jié)前面部分訓(xùn)練權(quán)重[18]。凍結(jié)階段模型的主干被凍結(jié)可以防止權(quán)值被破壞，特征提取網(wǎng)絡(luò)不發(fā)生改變、占用的顯存較小，僅對模型進(jìn)行微調(diào)，可以加快訓(xùn)練效率，得到更有效的特征表示。經(jīng)測試，該策略可小幅度提升模型的分割精度。訓(xùn)練過程中IResUNet模型在訓(xùn)練集和驗證集上的精度值和損失值變化情況如圖9和圖10所示。

圖9 凍結(jié)訓(xùn)練過程中IResUNet模型在乳腺癌數(shù)據(jù)集上精度值變化Fig.9 Change of accuracy values of IResUNet model on breast cancer dataset during freezing training

圖10 凍結(jié)訓(xùn)練過程中IResUNet模型在乳腺癌數(shù)據(jù)集上損失值的變化Fig.10 Change of loss values of IResUNet model on breast cancer dataset during freezing training

凍結(jié)訓(xùn)練前后IResUNet模型在乳腺癌數(shù)據(jù)集上的分割結(jié)果與未進(jìn)行凍結(jié)訓(xùn)練得到的分割結(jié)果如表4所示。由表4可以看出，使用凍結(jié)訓(xùn)練后IResUNet模型得到的預(yù)測圖在MIoU，Dice，Acc等評價指標(biāo)較未進(jìn)行凍結(jié)訓(xùn)練前分別提升了0.4%，0.9%，0.1%，證明該策略是有效的。

表4 使用凍結(jié)策略前后分割結(jié)果對比Tab.4 Comparison of segmentation results before and after using freezing strategy

從圖7和圖8可以看出，SegNet，F(xiàn)cn8s和VggUNet對于密集型細(xì)胞核圖像的中心部分分割效果較差，對于一些顏色較淺的細(xì)胞核未能識別，存在欠分割現(xiàn)象較強。邊緣細(xì)節(jié)部分的分割結(jié)果較為模糊，整體效果較差，但對于稀疏型細(xì)胞的中心部分預(yù)測效果相對較好。

U-Net對于細(xì)胞核圖像的中心部分、邊緣細(xì)節(jié)部分和較小的細(xì)胞核分割效果都比SegNet，F(xiàn)cn8s和VggUNet好，對于一些獨立的小細(xì)胞核存在過分割現(xiàn)象，對于密集型細(xì)胞核圖像的邊緣部分分割能力較差，整體效果更好。ResUNet和DenseUNet對于邊緣細(xì)節(jié)部分和較小的細(xì)胞核分割效果比U-Net好，少數(shù)細(xì)胞核圖像的中心部分分割效果不如U-Net?？傮w來說，ResUNet和DenseUNet的整體分割結(jié)果與標(biāo)注圖對比仍存在過分割和欠分割現(xiàn)象。

通過SegNet，F(xiàn)cn8s，VggUnet，U-Net，DenseUNet，ResUNet的分割結(jié)果和IResUNet模型的分割結(jié)果對比分析得出，IResUNet模型分割結(jié)果最好。對于密集型細(xì)胞核圖像的中心部分、邊緣細(xì)節(jié)部分和較小的細(xì)胞核等分割細(xì)節(jié)的分割效果比其他模型的效果好，與給定標(biāo)注圖結(jié)果最接近。由以上結(jié)果得出，各模型在2個數(shù)據(jù)集上對于稀疏型細(xì)胞核的分割結(jié)果整體效果都較為可觀，區(qū)別體現(xiàn)在對于密集型細(xì)胞核的分割。本文提出的IResUNet模型對于密集型細(xì)胞核的分割效果有明顯提升。

4 結(jié)束語

乳腺組織切片細(xì)胞的醫(yī)學(xué)圖像常常存在細(xì)胞重疊、粘連頻繁、細(xì)胞大小不一、細(xì)胞邊界模糊等問題，成為細(xì)胞分割的難點，本文提出的IResUNet模型，提升了模型對背景中干擾元素的區(qū)分能力，改善了分割結(jié)果中常出現(xiàn)干擾點的情況，對于密集型細(xì)胞核的分割效果有明顯提升，較ResUNet模型在MIoU，Dice，Acc等評價指標(biāo)分別提升了1.8%，2.1%，0.6%。在DSB數(shù)據(jù)集上進(jìn)行了驗證，結(jié)果證明IResUNet模型具有較好的網(wǎng)絡(luò)泛化能力和分割準(zhǔn)確率，能夠提高乳腺癌細(xì)胞核分割的精確度，可以更精準(zhǔn)實現(xiàn)細(xì)胞核的分割，減少影像醫(yī)師的工作負(fù)擔(dān)，有助于乳腺疾病診斷及預(yù)后。

目前醫(yī)學(xué)圖像的數(shù)據(jù)集稀缺性導(dǎo)致可訓(xùn)練的數(shù)據(jù)量較少，不同醫(yī)學(xué)中心的細(xì)胞核數(shù)據(jù)集中細(xì)胞核的形態(tài)、大小差異較大，因此如何在小數(shù)據(jù)集中防止過擬合問題的同時設(shè)計出分割精度更高的分割模型還有待研究。