基于生成對(duì)抗網(wǎng)絡(luò)的自動(dòng)細(xì)胞核分割半監(jiān)督學(xué)習(xí)方法

程 凱，王 妍，劉劍飛

（1.安徽大學(xué)電氣工程與自動(dòng)化學(xué)院，合肥 230061；2.安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥 230061）

（*通信作者電子郵箱1259827579@qq.com）

0 引言

私人醫(yī)學(xué)［1］的關(guān)鍵是定量評(píng)估生物學(xué)個(gè)體，評(píng)估信息通常從顯微鏡圖像分析細(xì)胞形態(tài)和組織結(jié)構(gòu)中獲得。顯微鏡圖像的定量分析涉及細(xì)胞密度、形狀、大小、質(zhì)地和其他圖像屬性的測(cè)量。在顯微鏡圖像中對(duì)細(xì)胞核進(jìn)行分割是必要且重要的任務(wù)。人工測(cè)量無(wú)法滿足高通量處理顯微鏡圖像的臨床需求，因?yàn)檫@是一個(gè)需要消耗大量時(shí)間和精力的過(guò)程。另外，人工測(cè)量也是不可復(fù)現(xiàn)的，這使得難以用于縱向跟蹤疾病進(jìn)展。

自動(dòng)細(xì)胞核分割［2-3］由于可以產(chǎn)生可重復(fù)的測(cè)量結(jié)果而極具應(yīng)用價(jià)值。準(zhǔn)確地分割細(xì)胞核是計(jì)算機(jī)輔助圖像分析中至關(guān)重要的步驟，用于提取豐富的特征進(jìn)行細(xì)胞估計(jì)以及診斷和治療。然而，如圖1 所示，對(duì)顯微鏡細(xì)胞核的精準(zhǔn)分割往往存在較大的困難。一方面，是由于細(xì)胞/細(xì)胞核區(qū)域與背景之間通常存在較小的對(duì)比度，這可能是由于圖像采集過(guò)程中圖像噪聲和細(xì)胞運(yùn)動(dòng)性引起的；另一方面，由于細(xì)胞圖像的差異性，譬如細(xì)胞的形狀、大小和質(zhì)地通常會(huì)表現(xiàn)出明顯的區(qū)別。

圖1 顯微鏡圖像中細(xì)胞核的示例Fig.1 Nucleus examples in microscopic images

目前有很多基于顯微鏡圖像特征的方法來(lái)實(shí)現(xiàn)細(xì)胞核自動(dòng)分割，例如灰度閾值［4］、分水嶺［5-6］、活動(dòng)輪廓［7］，以及上述各種方法的組合，這些方法也通常輔以不同的預(yù)處理和后處理步驟。盡管在這些方法中精心設(shè)計(jì)了數(shù)學(xué)模型以適應(yīng)圖像特征，但由于顯微鏡圖像的復(fù)雜性，這些模型往往得不到比較滿意的結(jié)果。目前，最先進(jìn)的語(yǔ)義分割方法往往基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。例如，Ronneberger 等［8］提出了U-Net 分割網(wǎng)絡(luò)，以及Kraus 等［9］提出了深度多示例學(xué)習(xí)來(lái)分割顯微鏡圖像，可以直接從顯微鏡圖像建立數(shù)學(xué)模型。這些基于深度學(xué)習(xí)的方法通過(guò)利用大量標(biāo)記圖像可以實(shí)現(xiàn)精確的細(xì)胞核分割。然而，標(biāo)記顯微鏡圖像是一個(gè)非常繁瑣的過(guò)程，為大量顯微鏡圖像制作標(biāo)簽在實(shí)際臨床操作中通常不具有可行性。

標(biāo)記顯微圖像的過(guò)程繁瑣，促使我們開發(fā)一種半監(jiān)督學(xué)習(xí)策略，以減少對(duì)標(biāo)記圖像數(shù)量的依賴性。生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［10］在機(jī)器學(xué)習(xí)領(lǐng)域的成功，提示可以通過(guò)生成未標(biāo)記圖像的置信圖來(lái)增加訓(xùn)練數(shù)據(jù)?；谶@種想法，本文提出了一種新穎的基于半監(jiān)督學(xué)習(xí)細(xì)胞核分割方法。新穎的卷積神經(jīng)網(wǎng)絡(luò)可以從背景中自動(dòng)提取細(xì)胞核區(qū)域。與最新的分割網(wǎng)絡(luò)結(jié)構(gòu)相比，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)具有較少的參數(shù)，并且將特征層次結(jié)構(gòu)的各層組合在一起，從而改善了輸出概率圖的空間精度。在本文的方法中，通過(guò)應(yīng)用全卷積網(wǎng)絡(luò)生成判別器網(wǎng)絡(luò)模型的置信圖，并將對(duì)抗損失與標(biāo)準(zhǔn)交叉熵?fù)p失耦合，用于改善分割網(wǎng)絡(luò)的性能。結(jié)合標(biāo)記圖像、未標(biāo)記圖像與置信圖來(lái)訓(xùn)練分割網(wǎng)絡(luò)，最終可以識(shí)別提取的細(xì)胞區(qū)域中的單個(gè)核。本文的主要工作如下：

1）提出了一種輕型神經(jīng)網(wǎng)絡(luò)Light-Unet 識(shí)別顯微圖像中的細(xì)胞核。該網(wǎng)絡(luò)的多層上采樣網(wǎng)絡(luò)可以增強(qiáng)細(xì)胞核圖像分割中特有的邊緣信息。實(shí)驗(yàn)結(jié)果表明，Light-Unet網(wǎng)絡(luò)比現(xiàn)有的網(wǎng)絡(luò)（例如U-Net）計(jì)算速度更快、參數(shù)量更少。

2）設(shè)計(jì)了一個(gè)對(duì)抗網(wǎng)絡(luò)，通過(guò)在判別器網(wǎng)絡(luò)中采用對(duì)抗損失來(lái)進(jìn)行對(duì)抗學(xué)習(xí)以提高細(xì)胞核分割的準(zhǔn)確性，而無(wú)需在網(wǎng)絡(luò)的前向計(jì)算中增加額外的運(yùn)算量。

3）對(duì)于未標(biāo)注的圖像，利用判別器網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方案可以很好地幫助分割網(wǎng)絡(luò)的訓(xùn)練。

1 基于GAN的細(xì)胞核分割算法

本章首先提出基于生成對(duì)抗網(wǎng)絡(luò)的細(xì)胞核分割算法，然后介紹設(shè)計(jì)的分割網(wǎng)絡(luò)結(jié)構(gòu)和全卷積判別器網(wǎng)絡(luò)結(jié)構(gòu)，并給出分割網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的詳細(xì)學(xué)習(xí)方案。

1.1 框架

基于GAN 的細(xì)胞核分割算法包括一個(gè)判別器網(wǎng)絡(luò)和一個(gè)分割網(wǎng)絡(luò)。在本文中，判別器網(wǎng)絡(luò)和分割網(wǎng)絡(luò)分別用S(·)和D(·)表示，圖2 為細(xì)胞核分割算法框架。給定一個(gè)大小為H×W×3的輸入圖像，分割網(wǎng)絡(luò)會(huì)輸出大小為H×W×C的概率圖。本文中，C的值被設(shè)置為2，那么，判別器網(wǎng)絡(luò)的輸出概率圖的大小則為H×W×2。

圖2 基于生成對(duì)抗網(wǎng)絡(luò)的細(xì)胞核分割算法框架Fig.2 Nuclei segmentation algorithm framework based on generative adversarial network

1.1.1 判別器

判別器網(wǎng)絡(luò)的作用是將生成器生成的概率圖和真值標(biāo)簽圖區(qū)分開來(lái)。判別器網(wǎng)絡(luò)的輸入是來(lái)自分割網(wǎng)絡(luò)輸出的分割圖S(Xn)或來(lái)自真值標(biāo)簽，且真值標(biāo)簽需要在訓(xùn)練之前進(jìn)行一次One-hot 編碼；輸出的是空間概率圖，且圖中的每個(gè)像素值代表像素來(lái)自這些分割圖或真值標(biāo)簽的概率。典型的GAN是將固定大小的圖像作為輸入和輸出，反映了圖像是真實(shí)還是偽造的單一概率值。受全卷積網(wǎng)絡(luò)的啟發(fā)，本文使用的判別器網(wǎng)絡(luò)是一個(gè)全卷積網(wǎng)絡(luò)，能輸入任意大小的圖像并輸出概率圖，可以反映空間水平。值得注意的是，判別器網(wǎng)絡(luò)的參數(shù)僅在帶標(biāo)簽的圖像訓(xùn)練中被更新。

1.1.2 細(xì)胞分割網(wǎng)絡(luò)

對(duì)于細(xì)胞分割網(wǎng)絡(luò)，給定一個(gè)大小為H×W×3 的輸入圖像，輸出大小為H×W×2 的類別概率圖。當(dāng)訓(xùn)練帶標(biāo)簽的圖像時(shí)，通過(guò)使用真值標(biāo)簽優(yōu)化標(biāo)準(zhǔn)交叉熵?fù)p失（Lce）和使用判別器網(wǎng)絡(luò)優(yōu)化對(duì)抗損失（Ladv）來(lái)訓(xùn)練分割網(wǎng)絡(luò)，此時(shí)僅使用標(biāo)記圖像來(lái)訓(xùn)練判別器網(wǎng)絡(luò)。當(dāng)訓(xùn)練無(wú)標(biāo)簽圖像時(shí)，使用判別器網(wǎng)絡(luò)和半監(jiān)督損失訓(xùn)練具有對(duì)抗損失的分割圖。在訓(xùn)練帶標(biāo)簽圖像和無(wú)標(biāo)簽圖像時(shí)，分割網(wǎng)絡(luò)的參數(shù)均會(huì)被更新。

在訓(xùn)練過(guò)程中，在半監(jiān)督設(shè)置下同時(shí)使用帶標(biāo)簽圖像和無(wú)標(biāo)簽圖像。當(dāng)訓(xùn)練帶標(biāo)簽的圖像時(shí)，通過(guò)使用真值標(biāo)簽優(yōu)化標(biāo)準(zhǔn)交叉熵?fù)p失（Lce）和使用判別器網(wǎng)絡(luò)優(yōu)化對(duì)抗損失（Ladv）來(lái)訓(xùn)練分割網(wǎng)絡(luò)。對(duì)于無(wú)標(biāo)簽圖像，用判別器網(wǎng)絡(luò)和半監(jiān)督損失訓(xùn)練具有對(duì)抗性損失的分割網(wǎng)絡(luò)。通過(guò)經(jīng)過(guò)判別器網(wǎng)絡(luò)的初始分割圖S(Xn)獲得置信圖。置信圖像是一個(gè)指導(dǎo)者，指導(dǎo)分割網(wǎng)絡(luò)在概率圖S(Xn)中選擇置信區(qū)域，然后在置信域執(zhí)行半監(jiān)督性損失。由于對(duì)抗損失僅與判別器網(wǎng)絡(luò)有關(guān)，因此分割網(wǎng)絡(luò)始終受到對(duì)抗損失的監(jiān)督。

1.2 網(wǎng)絡(luò)框架

本節(jié)提出的分割網(wǎng)絡(luò)結(jié)構(gòu)受到U-Net的啟發(fā)，包含6個(gè)卷積層，2 個(gè)上采樣層。在每一層之后還執(zhí)行批量標(biāo)準(zhǔn)化（batch-normalization）［11］和Xavier 初始化［12］。由于提出的網(wǎng)絡(luò)參數(shù)比U-Net 少得多，因此將其命名為L(zhǎng)ight-Unet。與U-Net相似，上采樣部分具有大量特征通道，這些特征通道允許網(wǎng)絡(luò)將上下文信息傳播到更高分辨率的層。Light-Unet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，每層的參數(shù)列于表1。

圖3 Light-Unet結(jié)構(gòu)Fig.3 Structure of Light-Unet

表1 Light-Unet的相關(guān)層及其參數(shù)Tab.1 Relevant layers and their parameters of Light-Unet

對(duì)于判別器網(wǎng)絡(luò)，遵循Radford等在文獻(xiàn)［13］中使用的結(jié)構(gòu)。它包含5個(gè)具有尺寸為4×4卷積核的卷積層，步長(zhǎng)為2，通道數(shù)為{64，128，256，512，1}。此外，在每個(gè)卷積層后應(yīng)用Leaky-ReLU［14］激活函數(shù)。

1.3 訓(xùn)練

給定大小為H×W×3 的輸入圖像Xn，分割網(wǎng)絡(luò)表示為S(·)，S(·)將預(yù)測(cè)大小為H×W×2的概率圖S(Xn)。對(duì)于全卷積判別器網(wǎng)絡(luò)，將其表示為D(·)，它輸入大小為H×W×2 的概率圖并輸出大小為H×W×1的置信圖。

1.3.1 判別器網(wǎng)絡(luò)訓(xùn)練

訓(xùn)練判別器網(wǎng)絡(luò)時(shí)，使用與Goodfellow 等［10］相同的方法，利用對(duì)抗損失函數(shù)，可定義為：

其中：x表示來(lái)自未知分布Pdata的原始圖像；z是生成網(wǎng)絡(luò)G(·)的輸入噪聲；G(z)是生成網(wǎng)絡(luò)的輸出圖。判別器D(·)和生成器G(·)在利用此損失函數(shù)做最大化和最小化交替游戲。也可以將式（1）轉(zhuǎn)換為另一種形式：

其中：θdis是判別器網(wǎng)絡(luò)參數(shù)；Xn是第n個(gè)輸入圖像。當(dāng)yn=0時(shí)，表示判別器網(wǎng)絡(luò)的輸入是分割網(wǎng)絡(luò)的預(yù)測(cè)分割圖；當(dāng)yn=1 時(shí)，表示輸入圖像是從真值標(biāo)簽中采樣的。需要注意的是，真值標(biāo)簽圖像只是一個(gè)通道，需要執(zhí)行一位有效編碼（onehot decode）將真值通道轉(zhuǎn)換為與訓(xùn)練前的概率圖S(Xn)相同。

1.3.2 分割網(wǎng)絡(luò)訓(xùn)練

在此訓(xùn)練階段，本文提出一種多任務(wù)損失來(lái)優(yōu)化分割網(wǎng)絡(luò)。損失函數(shù)可以定義為：

其中：θseg是判別器網(wǎng)絡(luò)參數(shù)；Lseg、Ladv和Lsemi分別代表交叉熵?fù)p失、對(duì)抗損失和半監(jiān)督損失。此外還有兩個(gè)超參數(shù)λadv和λsemi，這些參數(shù)的作用是平衡多任務(wù)訓(xùn)練。

當(dāng)訓(xùn)練帶標(biāo)簽的圖像時(shí)，使用標(biāo)準(zhǔn)的交叉熵?fù)p失對(duì)其進(jìn)行優(yōu)化。損失定義為：

其中：S(Xn)是第n個(gè)輸入圖像的分割網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，標(biāo)準(zhǔn)的交叉熵?fù)p失Lce可以使預(yù)測(cè)的概率圖分布更加接近真值標(biāo)簽分布。通過(guò)使用對(duì)抗損失來(lái)進(jìn)行對(duì)抗學(xué)習(xí)，該損失定義為：

使用對(duì)抗性損失Ladv，可以在考慮真值分布的情況下最大限度地提高預(yù)測(cè)分割圖S(Xn)的概率。

當(dāng)訓(xùn)練無(wú)標(biāo)簽圖像時(shí)，在半監(jiān)督環(huán)境下進(jìn)行對(duì)抗訓(xùn)練。盡管Lce不適用于多任務(wù)，但Ladv仍適用，因?yàn)樗鼉H依賴于判別器網(wǎng)絡(luò)。判別器網(wǎng)絡(luò)可以生成空間概率圖，置信圖反映的是預(yù)測(cè)結(jié)果接近地面真值圖分布的概率。再通過(guò)設(shè)置閾值Tsemi對(duì)置信圖進(jìn)行二值化。最后，真值標(biāo)簽表示為結(jié)合了該二值化置信圖掩模分割預(yù)測(cè)=arg max(S(Xn))。半監(jiān)督損失定義為：

其中：I(·)是激活函數(shù)；Tsemi是控制置信區(qū)域的閾值。在訓(xùn)練過(guò)程中，已經(jīng)獲得了，可以將其視為標(biāo)準(zhǔn)的交叉熵?fù)p失。利用半監(jiān)督損失Lsemi，可以通過(guò)使用更多無(wú)標(biāo)簽圖像來(lái)增強(qiáng)分割網(wǎng)絡(luò)的性能。學(xué)習(xí)目標(biāo)是判別器網(wǎng)絡(luò)中的參數(shù)θdis和分割網(wǎng)絡(luò)中的θseg。判別器網(wǎng)絡(luò)中的θdis僅傳播帶標(biāo)簽圖像的訓(xùn)練參數(shù)，并通過(guò)自適應(yīng)矩估計(jì)（Adam）［15］進(jìn)行更新；參數(shù)θseg通過(guò)隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）來(lái)更新。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

應(yīng)用標(biāo)準(zhǔn)隨機(jī)梯度下降算法（SGD）來(lái)優(yōu)化分割網(wǎng)絡(luò)參數(shù)，其中，動(dòng)量設(shè)置為0.9，批尺寸為10，權(quán)重衰減為0.000 4，初始學(xué)習(xí)率為0.001。訓(xùn)練判別器網(wǎng)絡(luò)，采用Adam 優(yōu)化器，學(xué)習(xí)率為0.000 1，動(dòng)量設(shè)置為0.999。

對(duì)于半監(jiān)督訓(xùn)練階段，在每次迭代中隨機(jī)選擇標(biāo)記圖像和未標(biāo)記圖像。在開始半監(jiān)督學(xué)習(xí)之前，僅在實(shí)驗(yàn)中的前600 次迭代中開始使用帶標(biāo)簽的圖像進(jìn)行訓(xùn)練。由于該模型將受到初始噪聲掩膜和預(yù)測(cè)結(jié)果的影響，且經(jīng)過(guò)600 次迭代，因此分割網(wǎng)絡(luò)的初始分割圖是較精準(zhǔn)的。每次迭代過(guò)程中，當(dāng)訓(xùn)練帶標(biāo)簽圖像時(shí)，會(huì)同步更新分割網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)；當(dāng)使用無(wú)標(biāo)簽圖像進(jìn)行訓(xùn)練時(shí)，僅使用半監(jiān)督學(xué)習(xí)更新分割網(wǎng)絡(luò)。

獲得分割結(jié)果后，可進(jìn)一步利用OpenCV 庫(kù)進(jìn)行分水嶺操作，這對(duì)于分割粘連細(xì)胞核效果顯著。

2.2 數(shù)據(jù)處理

2.2.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)來(lái)自公開的競(jìng)賽數(shù)據(jù)集（2018 Data Science Bowl competition）。該數(shù)據(jù)集包含大量關(guān)于細(xì)胞核分割的圖像。圖像是在多種條件下采集的，并且包含的細(xì)胞種類、放大率和成像方式（明光與熒光）方面有所不同。如圖4 所示，此數(shù)據(jù)集包含3種不同類型的圖像。此數(shù)據(jù)集中，訓(xùn)練集有670張圖像，測(cè)試集有65 張圖像。由于圖像的大小不同，因此需要進(jìn)行預(yù)處理，實(shí)驗(yàn)中將所有圖像裁剪尺寸為256 × 256。另外，在這個(gè)公開數(shù)據(jù)集中某些細(xì)胞核圖像有一些錯(cuò)標(biāo)注。從圖5 可以看到某些細(xì)胞核圖像存在錯(cuò)誤標(biāo)注的情況，比如第一列和第二列圖像展示圖像中有明顯的核，但是人工分割可能會(huì)忽略了它。盡管在測(cè)試階段本文提出的網(wǎng)絡(luò)的預(yù)測(cè)分割圖可以輕易地發(fā)現(xiàn)它，但是人類專家很容易忽略它。圖5 中第三列的細(xì)胞圖像中某些細(xì)胞核是獨(dú)立的，而人工卻將其標(biāo)注為聚合在一起的細(xì)胞核。由于此公開數(shù)據(jù)集存在這些問(wèn)題，最后在原有的測(cè)試數(shù)據(jù)集中選擇了40 張沒(méi)有明顯此類問(wèn)題的圖像作為測(cè)試圖像。

2.2.2 數(shù)據(jù)擴(kuò)充

小數(shù)據(jù)集或復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可能會(huì)導(dǎo)致嚴(yán)重的過(guò)擬合，因此本文采用兩種數(shù)據(jù)擴(kuò)充方式對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充：一種是方式是通過(guò)水平旋轉(zhuǎn)；另一種方式是隨機(jī)裁剪。裁剪時(shí)首先將細(xì)胞核圖像縮放尺寸為331× 331，然后隨機(jī)裁剪成尺寸為256 × 256的圖像。數(shù)據(jù)增強(qiáng)操作使得提出的方法更加健壯。

2.3 評(píng)價(jià)指標(biāo)

為了評(píng)估檢測(cè)性能，采用F1來(lái)度量，定義為：

其中：P=代表精準(zhǔn)度；R=代表召回率。具體地，TP指“真正”，即模型判斷為真的正確率（True Positive）；FP為“假正”，即誤報(bào)率（False Positive）；FN為“假負(fù)”，即漏報(bào)率（False Negative）。

使用分割準(zhǔn)確率度量（SEGmentation accuracy measurement，SEG）來(lái)評(píng)估分割掩模的準(zhǔn)確性，基于Jaccard相似性。其中Jaccard 相似度的計(jì)算公式為J(G，S)=，SEG可表示為：

其中：i是第i個(gè)輸入核測(cè)試圖像；j是測(cè)試圖像中的第j個(gè)核。SEG是所有GT 核的Jaccard 相似性指數(shù)的平均值，范圍在0～1。SEG值越大，分割的輸出圖像與標(biāo)簽圖像之間的相似性就越高，表明單個(gè)核與原始人工標(biāo)注越相似。

圖4 數(shù)據(jù)集中的三種細(xì)胞核圖像示例Fig.4 Three kinds of nuclei images in dataset

圖5 數(shù)據(jù)集中具有弱標(biāo)注和錯(cuò)誤標(biāo)注的細(xì)胞核圖像示例Fig.5 Examples of nucleus images with weak labels and wrong labels in dataset

2.4 實(shí)驗(yàn)結(jié)果對(duì)比

本節(jié)展示基于GAN 的細(xì)胞核分割半監(jiān)督學(xué)習(xí)方法的實(shí)驗(yàn)結(jié)果，并將其與深度學(xué)習(xí)分割方法進(jìn)行比較，如表2 所示。其中：由Ronneberger 等［8］提出了U-Net 網(wǎng)絡(luò)能夠很好地識(shí)別細(xì)胞核，是現(xiàn)存的最先進(jìn)的分割方法之一；Deeplab-v2 網(wǎng)絡(luò)由Chen 等［16］提出，本文將其用作分割網(wǎng)絡(luò)，以在顯微鏡圖像中識(shí)別細(xì)胞核。從表2 可知，本文提出的模型比DeepLab-v2 有更好的分割結(jié)果，且與U-Net 相比具有更少的參數(shù)量，Light-Unet 與U-Net 的參數(shù)量和推斷速度的對(duì)比如表3 所示。實(shí)驗(yàn)時(shí)，Light-Unet中的參數(shù)設(shè)置為：Ladv=0.002，Lsemi=0.1，Tsemi=0.2。

為了驗(yàn)證半監(jiān)督方案，實(shí)驗(yàn)隨機(jī)選擇了訓(xùn)練集總數(shù)的1/32、1/16、1/8 張帶標(biāo)簽圖像，其余訓(xùn)練數(shù)據(jù)均無(wú)標(biāo)簽來(lái)訓(xùn)練網(wǎng)絡(luò)。通過(guò)使用對(duì)抗損失Ladv，該模型的F1 得分比基準(zhǔn)模型高約1.4%～1.9%，表明了提出的對(duì)抗損失方案可以促進(jìn)分割網(wǎng)絡(luò)從真值標(biāo)簽分布中學(xué)習(xí)結(jié)構(gòu)信息。當(dāng)同時(shí)使用對(duì)抗損失Ladv和半監(jiān)督損失Lsemi時(shí)，該模型可以比基準(zhǔn)模型再提高約2.8～3.2個(gè)百分點(diǎn)的F1得分。

表2 與其他深度學(xué)習(xí)分割方法的比較Tab.2 Comparison with other deep learning segmentation methods

表3 Light-Unet與U-Net的比較Tab.3 Comparison between Light-Unet and U-Net

當(dāng)使用DeepLab-v2 網(wǎng)絡(luò)并選擇訓(xùn)練集帶標(biāo)簽數(shù)據(jù)的1/8訓(xùn)練網(wǎng)絡(luò)時(shí)，可以獲得78.1%的最佳SEG得分。然而，分割結(jié)果需要結(jié)合SEG和F1 得分來(lái)作出準(zhǔn)確的決定。盡管該方案獲得了最高的SEG得分，但F1 得分僅為65.6%，表明圖像中的許多細(xì)胞核無(wú)法被完全識(shí)別出來(lái)。這主要有兩方面原因：首先，由于細(xì)胞圖像中的上下文特征比現(xiàn)實(shí)世界中的圖像更加簡(jiǎn)單和穩(wěn)定，因此像Deeplab-v2 這樣的更深層網(wǎng)絡(luò)會(huì)帶來(lái)更多參數(shù)，并且會(huì)在像細(xì)胞分割這樣的小數(shù)據(jù)集中引起過(guò)擬合問(wèn)題。其次，Light-Unet 采用經(jīng)典的編碼器-解碼器體系結(jié)構(gòu)，其中低級(jí)和高級(jí)特征的融合可以實(shí)現(xiàn)更精細(xì)的對(duì)象邊界恢復(fù)。

此外，還可以從表2中得知最高的F1得分僅為76.1%，意味著有大約1/4的細(xì)胞核沒(méi)有被清楚地識(shí)別出來(lái)。事實(shí)上，這是由于本文使用的數(shù)據(jù)集中一張圖像可能包含300 多個(gè)細(xì)胞核，在這種情況下，即使人類專家也無(wú)法清楚地識(shí)別全部或者大多數(shù)細(xì)胞核。不同于現(xiàn)存的大多數(shù)細(xì)胞核分割的數(shù)據(jù)集中每張圖像僅包含有約30 個(gè)細(xì)胞核，本文使用的測(cè)試集中每張測(cè)試圖像的細(xì)胞核數(shù)量從十幾個(gè)到幾百個(gè)不等。當(dāng)在每張圖像中包含少量的細(xì)胞核的數(shù)據(jù)集中測(cè)試時(shí)，本文方法測(cè)得的F1得分可以達(dá)到86.0%。

2.5 超參數(shù)分析

分割任務(wù)采用多任務(wù)學(xué)習(xí)策略來(lái)學(xué)習(xí)兩個(gè)超參數(shù)λadv和λsemi，并使用Tsemi來(lái)控制半監(jiān)督學(xué)習(xí)中的敏感度。本節(jié)通過(guò)設(shè)置不同的超參數(shù)來(lái)分析分割結(jié)果，如表4所示。

實(shí)驗(yàn)首先評(píng)估λadv的影響，注意到在沒(méi)有λadv損失的情況下，該模型獲得75.5%的F1 得分和78.1%的SEG得分。當(dāng)λadv被設(shè)置等于0.002，該模型的F1 得分將提高1.2 個(gè)百分點(diǎn)，SEG得分將提高0.2 個(gè)百分點(diǎn)。而當(dāng)λadv=0.005時(shí)，模型性能的F1得分將下降約1.5%，表明對(duì)抗損失太大。

其次，表4 還展示了使用數(shù)據(jù)總量的1/16 時(shí)，Tsemi=0.002且λadv值在不同情況下進(jìn)行的比較，以及λadv=0.002的情況下改變Tsemi值的比較。當(dāng)將Tsemi分別設(shè)置為{0.05，0.1，0.2}時(shí)，可知在僅有λadv損失的情況下，基準(zhǔn)模型能獲得70.2%的F1得分和76.1%的SEG得分。一般而言，當(dāng)Tsemi=0.1 時(shí)模型具有最佳的性能，與沒(méi)有Tsemi損失時(shí)相比，F(xiàn)1得分提高了1.8個(gè)百分點(diǎn)。

表4 超參數(shù)分析Tab.4 Hyperparameter analysis

最后，設(shè)置不同的Tsemi值進(jìn)行實(shí)驗(yàn)來(lái)對(duì)比分割結(jié)果。具體地，先設(shè)置λadv=0.002，λsemi=0.1，再將Tsemi分別設(shè)置為{0.1，0.2，0.3，0.4，1}。對(duì)于未標(biāo)記的圖像，Tsemi越高，代表著只選擇結(jié)構(gòu)相似度更接近與真值標(biāo)簽分布的真值標(biāo)簽圖。如表4 所示，Tsemi被設(shè)置為0 時(shí)F1 得分下降到69.5%，Tsemi被設(shè)置為1 時(shí)F1 得分為70%，這兩種極端情況下均未取得很好的結(jié)果。當(dāng)Tsemi的值被設(shè)置為0.2 時(shí)，該算法的效果最佳，此時(shí)F1 得分達(dá)到了72.0%，SEG得分達(dá)到75.9%。在此比較過(guò)程中，訓(xùn)練沒(méi)有對(duì)抗損失λadv和半監(jiān)督損失Tsemi的Light-Unet 作為實(shí)驗(yàn)的基準(zhǔn)模型。細(xì)胞核分割結(jié)果如圖6 所示，第一行顯示了細(xì)胞核之間分離良好，可以將這種輸入圖像成為“易分割”圖像；第三行存在許多簇細(xì)胞核，可以將稱為“難分割”圖像。對(duì)于“難分割”圖像，可以發(fā)現(xiàn)即使是人工標(biāo)注也難很好地分割出簇狀核，然而本文方法卻可以有效地分割出這些簇狀核。圖6 也展示了對(duì)分割結(jié)果進(jìn)一步進(jìn)行分水嶺操作的結(jié)果。

3 結(jié)語(yǔ)

本文提出了一種新穎的半監(jiān)督學(xué)習(xí)方法用于顯微鏡圖像的自動(dòng)細(xì)胞核分割。受生成對(duì)抗網(wǎng)絡(luò)的啟發(fā)，方法設(shè)計(jì)為由分割網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)組成。分割網(wǎng)絡(luò)通過(guò)一小部分標(biāo)記的顯微鏡圖像對(duì)模型進(jìn)行初始化。通過(guò)使用來(lái)自判別器網(wǎng)絡(luò)的置信圖將無(wú)標(biāo)簽圖像作為訓(xùn)練數(shù)據(jù)，可以不斷改善分割效果，與此同時(shí)，分割網(wǎng)絡(luò)的損失函數(shù)也隨著對(duì)抗損失而更新。實(shí)驗(yàn)結(jié)果表明本文方法在小的顯微鏡圖像數(shù)據(jù)集上實(shí)現(xiàn)了高分割精度，且與基于大量標(biāo)記圖像的現(xiàn)有方法具有可比性。

本文提出的基于半監(jiān)督學(xué)習(xí)的細(xì)胞核分割方法在實(shí)際臨床應(yīng)用中具有巨大潛力。目前大多數(shù)細(xì)胞核分割方法都需要大量標(biāo)記圖像來(lái)監(jiān)督神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，而本文方法僅需要少量具有代表性的帶標(biāo)記圖像，這對(duì)于專家建立訓(xùn)練數(shù)據(jù)來(lái)說(shuō)是可接受的；而且此方法不限于特定的細(xì)胞核類型，它可以用作于不同類型的顯微圖像上的通用分割框架。

將來(lái)，我們還需要確定標(biāo)記圖像的最小數(shù)量，以實(shí)現(xiàn)臨床上更高的分割精度。本文提出的半監(jiān)督學(xué)習(xí)方法可以使用少量標(biāo)記圖像來(lái)實(shí)現(xiàn)高分割精度，說(shuō)明了這個(gè)方法作為高通量顯微鏡圖像分析臨床工具的巨大潛力。

圖6 使用1/16訓(xùn)練數(shù)據(jù)進(jìn)行細(xì)胞核分割的結(jié)果Fig.6 Results of nuclei segmentation using 1/16 training data