用于CD56圖像分割的細(xì)胞標(biāo)注精細(xì)化與自適應(yīng)加權(quán)損失*

劉 榕,伍 欣,敖 斌,文 青,李 寬

(東莞理工學(xué)院網(wǎng)絡(luò)空間安全學(xué)院，廣東 東莞 523808)

1 引言

CD56是一種神經(jīng)細(xì)胞黏附分子，也是自然殺傷細(xì)胞的標(biāo)志物。神經(jīng)內(nèi)分泌組織及其腫瘤和少數(shù)淋巴瘤呈強(qiáng)陽性反應(yīng)，也是食管小細(xì)胞癌的陽性標(biāo)志物。計(jì)算機(jī)醫(yī)學(xué)圖像處理領(lǐng)域?qū)D56圖像的研究剛剛起步。CD56是一種褐色的物質(zhì)，它可使相關(guān)腫瘤的絕大部分癌細(xì)胞的細(xì)胞膜表現(xiàn)為陽性，醫(yī)生通過判斷某個(gè)細(xì)胞是陰性細(xì)胞還是陽性細(xì)胞，進(jìn)而推算出陰性細(xì)胞和陽性細(xì)胞的比例，以確定對(duì)癌癥患者用藥的劑量。圖1為CD56圖像，左下角為陽性細(xì)胞，右下角為陰性細(xì)胞。傳統(tǒng)的計(jì)算陰性細(xì)胞和陽性細(xì)胞比例的方法主要有：(1)醫(yī)生分別統(tǒng)計(jì)出圖像中陰性細(xì)胞和陽性細(xì)胞的具體數(shù)量，再計(jì)算出陰性細(xì)胞和陽性細(xì)胞的比例；(2)醫(yī)生根據(jù)自己的經(jīng)驗(yàn)，通過觀察圖像大致估算出陰性細(xì)胞和陽性細(xì)胞的比例。方法(1)會(huì)消耗醫(yī)生大量的時(shí)間和精力，這種重復(fù)的工作完全可以交給計(jì)算機(jī)來完成。同時(shí)，細(xì)胞分割的精度很大程度上取決于醫(yī)生的技巧和經(jīng)驗(yàn)[1]，對(duì)于同一個(gè)細(xì)胞，不同的醫(yī)生可能把它劃分為不同的類別。方法(2)容易受到醫(yī)生的主觀性、醫(yī)生的認(rèn)知差異和疲勞與分心等因素的影響。面對(duì)相同的圖像，不同醫(yī)生估算出的陰性細(xì)胞和陽性細(xì)胞的比例可能差別很大。如果用藥的劑量過大會(huì)對(duì)癌癥患者的身體造成很大的副作用，如果用藥的劑量不足會(huì)導(dǎo)致無法抑制患者病情的發(fā)展，所以準(zhǔn)確地計(jì)算出病人體內(nèi)陰性細(xì)胞和陽性細(xì)胞的比例對(duì)疾病治療是至關(guān)重要的。

Figure 1 CD56 image圖1 CD56圖像

近年來，諸如語義分割的深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像處理等領(lǐng)域獲得了很好的應(yīng)用，能夠?qū)D像中的每個(gè)像素點(diǎn)進(jìn)行分類。將語義分割技術(shù)應(yīng)用于CD56圖像，可將統(tǒng)計(jì)陰陽細(xì)胞數(shù)量的比例轉(zhuǎn)化為統(tǒng)計(jì)陰陽細(xì)胞像素點(diǎn)個(gè)數(shù)的比例，從而實(shí)現(xiàn)從人工統(tǒng)計(jì)到計(jì)算機(jī)統(tǒng)計(jì)的轉(zhuǎn)變。但是，在CD56圖像中背景、陰性細(xì)胞和陽性細(xì)胞的像素點(diǎn)個(gè)數(shù)比例失衡，這會(huì)影響語義分割模型對(duì)CD56圖像的分割效果。

本文在語義分割模型的損失函數(shù)中為不同類別的像素點(diǎn)添加不同的損失權(quán)重，并且對(duì)每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重，緩解了類別不平衡的問題。此外，由于細(xì)胞數(shù)量很多，精細(xì)標(biāo)注費(fèi)時(shí)費(fèi)力，所以通常使用一個(gè)矩形框來標(biāo)注細(xì)胞。一個(gè)矩形框的標(biāo)注不僅包含一個(gè)細(xì)胞，而且還可能包含部分背景，這些標(biāo)注框中的背景像素會(huì)對(duì)語義分割模型的訓(xùn)練造成干擾。本文使用聚類的方法，將每個(gè)標(biāo)注框中的像素聚類成2個(gè)簇，再將屬于背景的那一簇像素點(diǎn)從標(biāo)注中去除，從而實(shí)現(xiàn)標(biāo)注的精細(xì)化。

2 相關(guān)工作

CD56圖像中細(xì)胞數(shù)量很多，如果沿著細(xì)胞的邊界精細(xì)地標(biāo)注出細(xì)胞會(huì)消耗大量的時(shí)間和精力，所以研究人員通常使用一個(gè)矩形框來標(biāo)注細(xì)胞。圖2為標(biāo)注好的CD56圖像，其中,“-”代表陰性細(xì)胞，“+”代表陽性細(xì)胞。

Figure 2 Annotated CD56 image圖2 已標(biāo)注的CD56圖像

通過訓(xùn)練集矩形框的標(biāo)注來預(yù)測測試集，這就是目標(biāo)檢測的任務(wù)。關(guān)于目標(biāo)檢測的研究，目前有雙階段的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)R-CNN(Region-Convolutional Neural Network)系列[2 -4]模型，該系列模型先產(chǎn)生一些待檢測框，再對(duì)檢測框進(jìn)行分類；有單階段的YOLO(You Only Look Once)系列[5 -7]模型，該系列模型將全圖劃分為格子，如果一個(gè)物體的中心正好位于某個(gè)方格之內(nèi)，那么該方格就負(fù)責(zé)預(yù)測這個(gè)物體，并使用邊界框回歸得到檢測框的準(zhǔn)確位置和大??；有不需要錨框的CornerNet模型[8]，該模型預(yù)測目標(biāo)的左上角和右下角2個(gè)點(diǎn)，通過這2個(gè)點(diǎn)形成檢測框，從而檢測出物體。但是，在CD56圖像中，細(xì)胞面積較小，而目標(biāo)檢測模型對(duì)小目標(biāo)的檢測效果并不理想；并且細(xì)胞密集地貼在一起，甚至邊界都連在一起，這種情況下用目標(biāo)檢測無法準(zhǔn)確地檢測出細(xì)胞的個(gè)數(shù)。表1為Faster-RCNN模型、YOLOv3模型和CornerNet模型在CD56圖像數(shù)據(jù)集上的性能評(píng)估結(jié)果(表中Negative表示陰性細(xì)胞，Positive表示陽性細(xì)胞，AP50表示當(dāng)檢測框和標(biāo)注框的交并比的閾值設(shè)為0.5時(shí)，模型對(duì)目標(biāo)進(jìn)行檢測的平均精度)。圖3為經(jīng)過CD56圖像數(shù)據(jù)訓(xùn)練的YOLOv3模型對(duì)2幅CD56圖像預(yù)測的效果。從表1可以看出，目標(biāo)檢測模型對(duì)CD56圖像的檢測效果并不理想，從圖3可以看出,YOLOv3模型對(duì)CD56圖像檢測時(shí)會(huì)遺漏許多細(xì)胞。

Table 1 Performance of three object detection models on CD56 image dataset表1 3個(gè)目標(biāo)檢測模型在CD56圖像數(shù)據(jù)集上的性能

Figure 3 CD56 image detection results using YOLOv3 model圖3 YOLOv3模型對(duì)CD56圖像的檢測結(jié)果

語義分割能對(duì)圖像中的每個(gè)像素點(diǎn)進(jìn)行分類，將語義分割模型應(yīng)用于CD56圖像，能將統(tǒng)計(jì)陰陽細(xì)胞數(shù)量的比例轉(zhuǎn)化為統(tǒng)計(jì)陰陽細(xì)胞像素點(diǎn)個(gè)數(shù)的比例。2015年,Long等[9]提出了全卷積網(wǎng)絡(luò)FCN(Fully Convolutional Network)模型，該模型是一種編碼器-解碼器結(jié)構(gòu)，這是后來的語義分割模型主要采用的結(jié)構(gòu)之一。這種結(jié)構(gòu)先在編碼過程中通過卷積池化操作，獲取圖像的高維信息；再在解碼過程中通過上采樣操作，將編碼過程得到的特征圖逐步恢復(fù)到和輸入圖像相同的尺寸，從而對(duì)圖像的每個(gè)像素點(diǎn)進(jìn)行分類。為了保留圖像中的上下文空間信息，F(xiàn)CN在解碼過程中將淺層的特征圖和高層的特征圖進(jìn)行融合。同年，Ronneberger等[10]提出了U-Net模型，該模型應(yīng)用跳躍連接將編碼過程產(chǎn)生的特征圖和解碼過程產(chǎn)生的特征圖進(jìn)行拼接，使最后得到的特征圖既保留了圖像低維高分辨率的信息，又有圖像高維低分辨率的信息。U-Net被廣泛應(yīng)用于醫(yī)學(xué)圖像分割。2018年，Chen等[11]提出了DeepLabv3+模型，該模型通過條件隨機(jī)場來提高模型捕獲精細(xì)細(xì)節(jié)的能力；在最后幾個(gè)最大池化層用空洞卷積(Atrous Convolution)替代下采樣，以更高的采樣密度來計(jì)算特征圖；提出了空洞空間金字塔池化(Atrous Spatial Pyramid Pooling)結(jié)構(gòu)，對(duì)給定輸入以不同采樣率的空洞卷積進(jìn)行采樣，從而能夠抽取豐富的多尺度上下文信息。2020年，Wu等[12]提出了一種輕量化語義分割模型——上下文引導(dǎo)網(wǎng)絡(luò)CGNet(Context Guided Network)，CGNet主要由CG(Context Guided)塊構(gòu)建而成，CG塊可以學(xué)習(xí)局部特征和周圍環(huán)境上下文的聯(lián)合特征，最后通過引入全局上下文特征進(jìn)一步改善聯(lián)合特征的學(xué)習(xí)。

CD56圖像上的標(biāo)注是矩形框，每個(gè)矩形框不僅包含一個(gè)細(xì)胞，而且還可能包含部分背景像素點(diǎn)。如果將圖像和原標(biāo)注放入語義分割模型中進(jìn)行訓(xùn)練，可能會(huì)影響模型對(duì)細(xì)胞像素點(diǎn)的判斷，比如會(huì)將細(xì)胞周圍的背景像素點(diǎn)也預(yù)測為細(xì)胞像素點(diǎn)。圖4為經(jīng)過CD56圖像和原標(biāo)注訓(xùn)練的U-Net模型對(duì)CD56圖像的預(yù)測結(jié)果。從圖4中可以看出，U-Net對(duì)每個(gè)細(xì)胞的預(yù)測結(jié)果十分接近矩形，不但包含細(xì)胞，而且還包含大量的背景像素點(diǎn)，這使得計(jì)算陰陽細(xì)胞像素點(diǎn)的比例可能產(chǎn)生誤差，因此需要將一個(gè)標(biāo)注框內(nèi)的細(xì)胞像素和背景像素區(qū)分開來，即精細(xì)化細(xì)胞標(biāo)注。

Li等[13]使用設(shè)置顏色閾值的方法，將細(xì)胞圖像中處于閾值內(nèi)的像素點(diǎn)作為感興趣區(qū)域ROI(Region Of Interest)提取出來，將處于閾值外的像素點(diǎn)作為干擾因素過濾掉。這種方法對(duì)CD56圖像不可行，因?yàn)樵贑D56圖像中，判斷一個(gè)細(xì)胞是不是陽性細(xì)胞，要看藍(lán)色的細(xì)胞周圍是否有褐色的CD56黏附著，設(shè)置顏色閾值的方法無法將陽性細(xì)胞和背景區(qū)分開來。在CD56圖像中，一個(gè)標(biāo)注框主要包含一個(gè)細(xì)胞的像素點(diǎn)和背景像素點(diǎn)，細(xì)胞的像素點(diǎn)很接近，同時(shí)背景像素大多是簡單的白色，因此可以考慮用聚類的方法將每個(gè)標(biāo)注框中的細(xì)胞像素點(diǎn)和背景像素點(diǎn)聚成2個(gè)簇，從而將細(xì)胞像素點(diǎn)和背景像素點(diǎn)區(qū)分開來。

Figure 4 Prediction results of CD56 image using the U-Net model trained by original annotations圖4 使用原標(biāo)注訓(xùn)練的U-Net模型對(duì)CD56圖像的預(yù)測結(jié)果

關(guān)于不平衡樣本的研究，Lin等[14]于2017年提出了焦點(diǎn)損失(Focal Loss)，使得模型更關(guān)注難以正確分類的樣本，減少對(duì)數(shù)量眾多且容易分類的樣本的關(guān)注。Law等[8]和Zhou等[15]將Focal Loss的變體用于物體關(guān)鍵點(diǎn)的預(yù)測。本文改進(jìn)了Focal Loss，使其更適用于CD56圖像的語義分割。

3 方法描述

3.1 細(xì)胞標(biāo)注精細(xì)化

K-Means是一種實(shí)現(xiàn)簡單、效果不錯(cuò)的聚類算法，因此本文使用K-Means算法對(duì)CD56圖像數(shù)據(jù)集的標(biāo)注框中的像素點(diǎn)進(jìn)行聚類。K-Means算法的步驟如下：先將數(shù)據(jù)分為K組，隨機(jī)選取K個(gè)對(duì)象作為初始的聚類中心，然后計(jì)算每個(gè)對(duì)象與各個(gè)聚類中心之間的距離，把每個(gè)對(duì)象分配給距離它最近的聚類中心。聚類中心以及分配給它們的對(duì)象就代表一個(gè)簇，這樣就能得到的K個(gè)簇。更新得到K個(gè)簇的聚類中心，再根據(jù)K個(gè)新的聚類中心得到K個(gè)新的簇。重復(fù)以上步驟，直到算法收斂。

本文將CD56圖像訓(xùn)練集中所有圖像的所有陰性框中的像素點(diǎn)和所有陽性框中的像素點(diǎn)分別進(jìn)行聚類。在這2次聚類中，一個(gè)對(duì)象為一個(gè)像素點(diǎn)的RGB值構(gòu)成的數(shù)組，每次聚類將本次所有的對(duì)象分成2個(gè)簇。第1次聚類得到的2個(gè)簇為陰性細(xì)胞像素點(diǎn)和背景像素點(diǎn)，第2次聚類得到的2個(gè)簇為陽性細(xì)胞像素點(diǎn)和背景像素點(diǎn)，這樣就實(shí)現(xiàn)了細(xì)胞像素點(diǎn)和背景像素點(diǎn)的區(qū)分，從而實(shí)現(xiàn)細(xì)胞標(biāo)注的精細(xì)化。圖5展示了通過聚類對(duì)標(biāo)注精細(xì)化的結(jié)果。圖5a為CD56圖像原圖；圖5b為原標(biāo)注；圖5c為分別對(duì)所有陰性標(biāo)注框中的像素點(diǎn)和所有陽性標(biāo)注框中的像素點(diǎn)聚類的結(jié)果，對(duì)所有陰性標(biāo)注框中的像素點(diǎn)聚類得到的2個(gè)簇的像素點(diǎn)分別用灰度值60和120表示，對(duì)所有陽性標(biāo)注框中的像素點(diǎn)聚類得到的2個(gè)簇的像素點(diǎn)分別用灰度值180和240表示(即較暗的標(biāo)注框?yàn)殛幮约?xì)胞的標(biāo)注框，較亮的標(biāo)注框?yàn)殛栃约?xì)胞的標(biāo)注框)；圖5c中灰度值為120和240的像素點(diǎn)是背景像素點(diǎn)，灰度值為60的像素點(diǎn)是陰性細(xì)胞像素點(diǎn)，灰度值為180的像素點(diǎn)是陽性細(xì)胞像素點(diǎn)，將背景像素點(diǎn)、陰性細(xì)胞像素點(diǎn)和陽性細(xì)胞像素點(diǎn)的值分別設(shè)為0，120和240(即黑色區(qū)域?yàn)楸尘?，較暗的區(qū)域?yàn)殛幮约?xì)胞，較亮的區(qū)域?yàn)殛栃约?xì)胞)，得到圖5d，即為對(duì)細(xì)胞標(biāo)注精細(xì)化后得到的新標(biāo)注。對(duì)比圖5b和圖5d可知，經(jīng)過聚類精細(xì)化后的標(biāo)注相比原標(biāo)注少了許多背景像素，甚至能將細(xì)胞精確地標(biāo)注出來。

Figure 5 Results of annotations refined by clustering圖5 通過聚類對(duì)標(biāo)注精細(xì)化的結(jié)果

3.2 類別權(quán)重計(jì)算

Eigen等[16]針對(duì)語義分割中不同類別的像素點(diǎn)的不平衡提出了一種用類別像素點(diǎn)的頻率計(jì)算類別權(quán)重的方法，再將得到的類別權(quán)重加入交叉熵?fù)p失函數(shù)中。具體的權(quán)重計(jì)算公式如式(1)和式(2)所示：

(1)

(2)

其中，median_freq表示所有類別像素點(diǎn)頻率的中值,freq(c)表示為類別c像素點(diǎn)的頻率，sum(c)表示訓(xùn)練集中類別c像素點(diǎn)的總數(shù)，sum(Ic)表示訓(xùn)練集中所有含有類別c像素點(diǎn)的圖像的像素點(diǎn)的總數(shù)。在CD56圖像數(shù)據(jù)集中，背景和陽性細(xì)胞像素點(diǎn)的總數(shù)相差很大，用式(1)計(jì)算背景像素點(diǎn)的權(quán)重和陽性細(xì)胞像素點(diǎn)的權(quán)重也會(huì)相差很大，使得一些原本被正確預(yù)測為背景的像素點(diǎn)反而被錯(cuò)誤地預(yù)測為陽性細(xì)胞像素點(diǎn)。因此,本文用式(1)計(jì)算出類別權(quán)重之后，再對(duì)得到的類別權(quán)重開n次方根，得到最后的類別權(quán)重，如式(3)所示：

(3)

3.3 自適應(yīng)加權(quán)

本文基于Focal Loss在損失函數(shù)中對(duì)每個(gè)像素點(diǎn)添加了一個(gè)自適應(yīng)權(quán)重。在二分類任務(wù)中，每個(gè)樣本的交叉熵?fù)p失的計(jì)算公式如式(4)所示：

(4)

其中,y∈{±1}表示樣本的標(biāo)簽值，p∈[0,1]表示模型預(yù)測樣本屬于類別1的概率。為了方便起見，定義py如式(5)所示：

(5)

則CE(p,y)=CE(py)=-log(py)。

為了解決類不平衡問題，一種方法是在交叉熵?fù)p失中給類別1添加權(quán)重α∈[0,1]，給類別-1添加權(quán)重1-α，類似定義py一樣定義αy，則用α平衡的交叉熵?fù)p失如式(6)所示：

CE(py)=-αylog(py)

(6)

Focal Loss在交叉熵?fù)p失中加入了調(diào)制因子(1-py)γ：

FL(py)=-(1-py)γlog(py)

(7)

其中γ≥0是稱為聚焦參數(shù)(Focusing Parameter)的超參數(shù)。

從式(7)可以看出，模型對(duì)一個(gè)樣本預(yù)測的py越大，模型對(duì)其越容易正確預(yù)測，這時(shí)調(diào)制因子會(huì)給它賦予一個(gè)小權(quán)重，以減少模型對(duì)它的關(guān)注；反之，py越小，模型對(duì)其越難正確預(yù)測，這時(shí)調(diào)制因子會(huì)給它賦予一個(gè)大權(quán)重，以增加模型對(duì)它的關(guān)注，這樣調(diào)制因子就給樣本添加了一個(gè)自適應(yīng)的權(quán)重。本文實(shí)驗(yàn)中采用的是帶α平衡的Focal Loss的變體，如式(8)所示：

FL(py)=-αy(1-py)γlog(py)

(8)

在多分類任務(wù)中，每個(gè)樣本的交叉熵?fù)p失的計(jì)算公式如式(9)所示：

CE(py,y)=-log(py)

(9)

其中，y表示樣本的標(biāo)簽值，py∈[0,1]表示模型預(yù)測樣本屬于類別y的概率。類似式(8)可為式(9)添加自適應(yīng)權(quán)重，本文將αy替換成β，將γ的值設(shè)為1。其中，β>0不再是為了平衡調(diào)制因子(1-py)γ，而是為了控制調(diào)制因子的范圍；將γ的值設(shè)為1是因?yàn)樵趯?shí)驗(yàn)中其效果更好。故本文對(duì)CD56圖像像素點(diǎn)添加自適應(yīng)權(quán)重的公式如式(10)所示：

AWCE(py,y)=-β(1-py)log(py)

(10)

4 實(shí)驗(yàn)與結(jié)果分析

本文分別使用U-Net、DeepLabv3+和CGNet模型進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證細(xì)胞標(biāo)注精細(xì)化，對(duì)不同類別的像素點(diǎn)加權(quán)和對(duì)像素點(diǎn)自適應(yīng)加權(quán)在CD56圖像分割中的有效性。

4.1 數(shù)據(jù)集

本文使用的所有CD56圖像均來自某醫(yī)院，共有598幅圖像，原圖像的分辨率為1024×1024。將每幅圖像裁剪為4幅512×512的圖像，除去不含細(xì)胞的無效圖像，最終得到2 198幅圖像。本文實(shí)驗(yàn)采用5-折交叉驗(yàn)證，將所有圖像分成5組，前4組圖像每組包含440幅，最后一組圖像包含438幅。

4.2 訓(xùn)練參數(shù)

訓(xùn)練時(shí)采用Momentum[17]梯度下降優(yōu)化算法，初始學(xué)習(xí)率設(shè)為0.01，迭代次數(shù)設(shè)置為40 000。訓(xùn)練平臺(tái)為NVIDIA GeForce RTX 2080×1和NVIDIA GeForce RTX 3090×1，沒有經(jīng)過聚類處理的數(shù)據(jù)集在NVIDIA GeForce RTX 2080上進(jìn)行訓(xùn)練，經(jīng)過聚類處理的數(shù)據(jù)集在NVIDIA GeForce RTX 3090上進(jìn)行訓(xùn)練。

4.3 測試結(jié)果評(píng)估

4.3.1 細(xì)胞標(biāo)注精細(xì)化

這組實(shí)驗(yàn)是為了驗(yàn)證細(xì)胞標(biāo)注精細(xì)化對(duì)CD56圖像分割的有效性。將訓(xùn)練集和原標(biāo)注與訓(xùn)練集和精細(xì)化后的標(biāo)注分別使用3個(gè)模型進(jìn)行訓(xùn)練，得到的性能評(píng)估結(jié)果如表2和表3所示?？梢钥闯觯捎镁?xì)化后的標(biāo)注進(jìn)行訓(xùn)練能讓U-Net對(duì)陰陽細(xì)胞的測試Dice(Dice=(2*|X∩Y|)/(|X|+|Y|)，其中，|X|表示模型對(duì)某類物體預(yù)測的像素點(diǎn)數(shù)，|Y|表示該類物體實(shí)際標(biāo)注的像素點(diǎn)數(shù)，|X∩Y|表示模型對(duì)該類物體預(yù)測正確的像素點(diǎn)數(shù))分別提升1.62%和3.92%，DeepLabv3+對(duì)陰陽細(xì)胞的測試Dice分別下降0.13%和提升2.79%，CGNet對(duì)陰陽細(xì)胞的測試Dice分別下降3.28%和上升2.89%?？傮w來說，細(xì)胞標(biāo)注精細(xì)化對(duì)CD56圖像分割是有效的。

圖6是用原細(xì)胞標(biāo)注和用精細(xì)化后的標(biāo)注分別進(jìn)行訓(xùn)練得到的模型對(duì)CD56圖像的預(yù)測結(jié)果。圖6a是用原細(xì)胞標(biāo)注進(jìn)行訓(xùn)練得到的模型對(duì)CD56圖像的預(yù)測結(jié)果，圖6b是用精細(xì)化后的標(biāo)注進(jìn)行訓(xùn)練得到的模型對(duì)CD56圖像的預(yù)測結(jié)果。可以看出，用原細(xì)胞標(biāo)注進(jìn)行訓(xùn)練得到的模型對(duì)細(xì)胞的預(yù)測十分接近矩形，包含大量的背景像素，而用精細(xì)化后的標(biāo)注進(jìn)行訓(xùn)練得到的模型對(duì)細(xì)胞的預(yù)測很吻合細(xì)胞的真實(shí)區(qū)域。

Table 2 Performance evaluation results of models trained with original cell annotations表 2 用原細(xì)胞標(biāo)注進(jìn)行訓(xùn)練的模型性能評(píng)估結(jié)果

Table 3 Performance evaluation results of models trained with refined annotations表3 用精細(xì)化后的標(biāo)注進(jìn)行訓(xùn)練的模型性能評(píng)估結(jié)果

4.3.2 對(duì)類別添加權(quán)重

這組實(shí)驗(yàn)是為了分別找到原標(biāo)注數(shù)據(jù)集和標(biāo)注精細(xì)化后的數(shù)據(jù)集在3個(gè)模型上合適的權(quán)重，方法為根據(jù)式(3)計(jì)算獲得。對(duì)于原標(biāo)注數(shù)據(jù)集，當(dāng)式(3)中的n=1時(shí)得到類別權(quán)重比為背景∶陰性細(xì)胞∶陽性細(xì)胞=0.3405∶1∶12.9120(后面提到的類別權(quán)重比均為背景∶陰性細(xì)胞∶陽性細(xì)胞)。當(dāng)用于標(biāo)注精細(xì)化后的數(shù)據(jù)集，式(3)中的n=1時(shí)得到類別權(quán)重比為背景∶陰性細(xì)胞∶陽性細(xì)胞=0.1567∶1∶10.5778?？梢钥闯觯?dāng)式(3)中的n=1時(shí)，計(jì)算得出的背景和陽性細(xì)胞的權(quán)重相差太大，這會(huì)使得一些原本被正確預(yù)測為背景的像素點(diǎn)反而被錯(cuò)誤地預(yù)測為陽性細(xì)胞，所以本文從n=2開始計(jì)算類別權(quán)重比，n逐次加1，直到模型在數(shù)據(jù)集上的性能評(píng)估指標(biāo)下降。表4為類別權(quán)重不同時(shí)3個(gè)模型在原標(biāo)注數(shù)據(jù)集上的性能評(píng)估結(jié)果。表5為類別權(quán)重不同時(shí)3個(gè)模型在標(biāo)注精細(xì)化后的數(shù)據(jù)集上的性能評(píng)估結(jié)果。

Table 4 The performance of the three models on the original annotated dataset with different class weights表 4 類別權(quán)重不同時(shí)3個(gè)模型在原標(biāo)注數(shù)據(jù)集上的性能

從表4可知，在獲得的權(quán)重比中，原標(biāo)注數(shù)據(jù)集在3個(gè)模型上的最佳類別權(quán)重比分別為式(3)中n=3時(shí)計(jì)算的值(0.6983∶1∶2.3460)，n=4時(shí)計(jì)算的值(0.7639∶1∶1.8956)和n=5時(shí)計(jì)算的值(0.8161∶1∶1.6680)。從表5可知，在獲得的權(quán)重比中，經(jīng)過標(biāo)注精細(xì)化后的數(shù)據(jù)集在3個(gè)模型上的最佳類別權(quán)重比分別為式(3)中n=4時(shí)計(jì)算的值(0.6292∶1∶1.8034)，n=5時(shí)計(jì)算的值(0.6903∶1∶1.6028)和n=4時(shí)計(jì)算的值(0.6292∶1∶1.8034)。本文分別選取這些類別權(quán)重比進(jìn)行下一組實(shí)驗(yàn)。

Table 5 The performance of the three models on the refined annotated dataset with different class weights表5 類別權(quán)重不同時(shí)3個(gè)模型在標(biāo)注精細(xì)化后的數(shù)據(jù)集上的性能

4.3.3 對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重

這組實(shí)驗(yàn)是為了驗(yàn)證對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重對(duì)CD56圖像分割的有效性。實(shí)驗(yàn)采用原標(biāo)注數(shù)據(jù)集和經(jīng)過標(biāo)注精細(xì)化后的數(shù)據(jù)集分別在3個(gè)模型上進(jìn)行訓(xùn)練，在訓(xùn)練之前給類別添加上組實(shí)驗(yàn)中對(duì)應(yīng)的權(quán)重，對(duì)比不對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重和對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重的性能。對(duì)像素點(diǎn)添加的自適應(yīng)權(quán)重由式(10)中的β取不同值獲得，結(jié)果如表6和表7所示，表中的β是在實(shí)驗(yàn)中得到的對(duì)應(yīng)類別權(quán)重的最佳值。

從表6可以看出，在原標(biāo)注數(shù)據(jù)集上，對(duì)每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重相比不對(duì)每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重進(jìn)行訓(xùn)練，能讓U-Net對(duì)陰陽細(xì)胞的測試Dice分別提升0.07%和0.75%，DeepLabv3+對(duì)陰陽細(xì)胞的測試Dice分別提升0.27%和0.01%，CGNet對(duì)陰陽細(xì)胞的測試Dice分別下降0.18%和上升0.34%。從表7可以看出，在標(biāo)注精細(xì)化后的數(shù)據(jù)集上，對(duì)每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重比不對(duì)每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重進(jìn)行訓(xùn)練，能讓U-Net對(duì)陰陽細(xì)胞的測試Dice分別提升0.2%和1.91%，DeepLabv3+對(duì)陰陽細(xì)胞的測試Dice分別提升0.35%和0.22%，CGNet對(duì)陰陽細(xì)胞的測試Dice分別下降0.14%和上升0.58%。CGNet的CG塊不僅學(xué)習(xí)局部特征，還學(xué)習(xí)周圍環(huán)境的上下文特征；而對(duì)每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重強(qiáng)調(diào)的是局部特征，沒有涉及到上下文特征，由此可能造成CGNet對(duì)陰性細(xì)胞的測試Dice的下降。但是總體來說，給每個(gè)像素點(diǎn)添加自適應(yīng)權(quán)重對(duì)CD56圖像分割是有效的。

Table 6 Performance without or with adding adaptive weights to the pixels on the original annotated dataset表6 不對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重和對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重在原標(biāo)注數(shù)據(jù)集上的性能

Table 7 Performance without or with adding adaptive weights to the pixels on the refined annotated dataset表7 不對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重和對(duì)像素點(diǎn)添加自適應(yīng)權(quán)重在標(biāo)注精細(xì)化后的數(shù)據(jù)集上的性能

5 結(jié)束語

本文以CD56圖像為主要研究對(duì)象，基于深度學(xué)習(xí)中的語義分割技術(shù)實(shí)現(xiàn)對(duì)CD56圖像像素級(jí)別的分割，以輔助醫(yī)療診斷。本文使用聚類的方法對(duì)原CD56圖像數(shù)據(jù)集的標(biāo)注進(jìn)行精細(xì)化處理，對(duì)數(shù)據(jù)集中不同類別的像素點(diǎn)進(jìn)行加權(quán)并對(duì)數(shù)據(jù)集中所有像素點(diǎn)進(jìn)行自適應(yīng)加權(quán)，在U-Net、DeepLabv3+和CGNet 3個(gè)模型上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了方法的有效性。實(shí)驗(yàn)結(jié)果顯示，在3個(gè)模型上，使用聚類的方法對(duì)原CD56圖像數(shù)據(jù)集的標(biāo)注進(jìn)行細(xì)化、對(duì)數(shù)據(jù)集中不同類別的像素點(diǎn)進(jìn)行加權(quán)并對(duì)數(shù)據(jù)集中所有像素點(diǎn)進(jìn)行自適應(yīng)加權(quán)比原始數(shù)據(jù)集、原始模型的陰陽細(xì)胞的Dice指標(biāo)分別提升了1.94%和7.34%，0.54%和4.31%，-2.54%和3.5%。在以后的工作中，我們將獲取更多的CD56圖像，并應(yīng)用數(shù)據(jù)增強(qiáng)等技術(shù)以解決數(shù)據(jù)集規(guī)模小、數(shù)據(jù)不平衡的問題，以進(jìn)一步提高對(duì)CD56圖像的分割精度。此外，本文應(yīng)用語義分割技術(shù)實(shí)現(xiàn)對(duì)CD56圖像像素級(jí)別的分割，統(tǒng)計(jì)的是陰性細(xì)胞和陽性細(xì)胞像素點(diǎn)個(gè)數(shù)的比例，并沒有直接對(duì)細(xì)胞的個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，這也是今后工作的一個(gè)方向。