基于條件生成對(duì)抗網(wǎng)絡(luò)的乳腺上皮和間質(zhì)區(qū)域自動(dòng)分割

張澤林，徐 軍

（江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室（南京信息工程大學(xué)），南京 210044）

（*通信作者電子郵箱xujung@gmail.com）

0 引言

上皮和間質(zhì)區(qū)域是病理組織圖像中的兩種基本結(jié)構(gòu)，在乳腺病理圖像中，約有80%的腫瘤起源于上皮組織［1］，并且上皮-間質(zhì)轉(zhuǎn)化（Epithelial-Mesenchymal Transition，EMT）過(guò)程參與了腫瘤的惡性進(jìn)展［2］，因此上皮和間質(zhì)區(qū)域的自動(dòng)分割對(duì)乳腺癌的診斷和預(yù)后具有重要的臨床價(jià)值。但是，在組織病理圖像中上皮和間質(zhì)組織的自動(dòng)分割具有以下的挑戰(zhàn)：1）上皮和間質(zhì)兩種組織的紋理結(jié)構(gòu)復(fù)雜，不同病理圖像之間以及不同的病理分級(jí)之間兩種組織的差異性大，因此很難提取到適應(yīng)性很強(qiáng)的組織區(qū)域識(shí)別特征；2）上皮和間質(zhì)組織區(qū)域之間沒(méi)有明顯的邊界，甚至兩種組織區(qū)域交疊在一起，所以模型對(duì)兩種區(qū)域的區(qū)分很困難；3）染色劑和掃描儀等一些外部因素造成的病理圖像之間的差異也對(duì)模型識(shí)別兩種區(qū)域帶來(lái)了挑戰(zhàn)。

傳統(tǒng)的分割方法如文獻(xiàn)［3］中使用超像素過(guò)分割的方法從病理圖像中提取小圖像塊，然后訓(xùn)練支持向量機(jī)（Support Vector Machine，SVM）［4］，最后以圖像塊分類的方式分割口腔鱗癌圖像中上皮和間質(zhì)組織；文獻(xiàn)［5］中提出了基于貝葉斯表決模型的上皮區(qū)域分割方法，該方法使用間質(zhì)區(qū)域細(xì)胞的紋理和顏色特征，通過(guò)貝葉斯投票的方式去除了間質(zhì)區(qū)域所有的細(xì)胞，從而得到了上皮區(qū)域的分割結(jié)果；文獻(xiàn)［6］使用了基于二值圖割的方法來(lái)分割牙源性囊腫圖像中的上皮和間質(zhì)區(qū)域，其中二值圖的權(quán)重大小取決于圖像中上皮和間質(zhì)區(qū)域的顏色直方圖概率；文獻(xiàn)［7］中首先用80×80 的滑動(dòng)窗提取了重疊的圖像小塊，之后提取了圖像小塊的局部二值模式（Local Binary Pattern，LBP）特征，最后用提取的小塊LBP 特征訓(xùn)練SVM分類器來(lái)分割上皮和間質(zhì)區(qū)域。

相較于傳統(tǒng)的分割模型，深度學(xué)習(xí)分割模型具有更高的分割準(zhǔn)確性和魯棒性。深度學(xué)習(xí)分割模型的分割機(jī)制一般分為基于滑動(dòng)塊分類預(yù)測(cè)的分割機(jī)制和端到端的分割機(jī)制?；诨瑒?dòng)塊分類預(yù)測(cè)的模型在分割大尺寸的病理圖像時(shí)將會(huì)花費(fèi)大量的時(shí)間。如文獻(xiàn)［8］首先根據(jù)專家標(biāo)記的上皮和間質(zhì)區(qū)域邊界線來(lái)重疊地提取兩種區(qū)域圖像塊構(gòu)建訓(xùn)練集，然后訓(xùn)練分類卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）Alexnet［9］，最后逐塊地預(yù)測(cè)上皮和間質(zhì)兩種區(qū)域；文獻(xiàn)［10］中提出了一種結(jié)合有監(jiān)督CNN 分類網(wǎng)絡(luò)和無(wú)監(jiān)督圖分割模型的方法來(lái)分割上皮和間質(zhì)區(qū)域，該方法通過(guò)結(jié)合分類識(shí)別兩種區(qū)域和定位兩種區(qū)域的邊緣，從而可以更準(zhǔn)確地分割兩種區(qū)域；文獻(xiàn)［11］分別用CNN和LBP、區(qū)域感知以及像素強(qiáng)度三種傳統(tǒng)特征的提取方式分別提取了上皮和間質(zhì)區(qū)域的2 類特征，然后用SVM 分類器對(duì)四種方式提取的特征分類來(lái)對(duì)上皮和間質(zhì)區(qū)域進(jìn)行分割，實(shí)驗(yàn)結(jié)果表明，基于CNN 深度特征的方式可以取得最好的分割性能。

和基于滑動(dòng)塊分類預(yù)測(cè)的分割模型相比，端到端的分割模型在分割效率上更高，但是端到端模型的訓(xùn)練會(huì)更加困難。因?yàn)橐话銓?duì)于分類器網(wǎng)絡(luò)，架構(gòu)都只有一個(gè)編碼器，而端到端的分割網(wǎng)絡(luò)則需要多訓(xùn)練一個(gè)解碼器，解碼器的訓(xùn)練要比編碼器的訓(xùn)練更加困難。因此基于編碼器的結(jié)構(gòu)，文獻(xiàn)［12］中提出了全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）解決了語(yǔ)義分割的問(wèn)題。FCN 相對(duì)于分類器網(wǎng)絡(luò)的主要變化是在編碼器的輸出端串聯(lián)了由一個(gè)反卷積構(gòu)成的解碼器，這樣就可以實(shí)現(xiàn)端到端的分割?；贔CN 的結(jié)構(gòu)，越來(lái)越多的端到端模型被提出并成功地運(yùn)用在醫(yī)學(xué)圖像的分割任務(wù)中。文獻(xiàn)［13］中先將免疫組織化學(xué)（ImmunoHistoChemistry，IHC）［14］染色的病理圖像和對(duì)應(yīng)的蘇木素和伊紅（Hematoxylin and Eosin，H&E）染色的病理圖像配準(zhǔn)，然后在IHC染色的病理圖像中用顏色反卷積［15］算法分離通道，并訓(xùn)練一個(gè)Unet［16］分割I(lǐng)HC 染色中上皮區(qū)域，最后用訓(xùn)練好的分割模型微調(diào)訓(xùn)練配準(zhǔn)的H&E 染色的病理圖像數(shù)據(jù)集，并在H&E 染色的病理圖像中分割上皮和間質(zhì)區(qū)域；文獻(xiàn)［17］中基于VGG（Visual Geometry Group）網(wǎng)絡(luò)［18］、殘差網(wǎng)絡(luò)（Residual Network，Resnet）［19］和預(yù)訓(xùn)練的Resnet 三種CNN 的結(jié)構(gòu)設(shè)計(jì)了三種端到端的分割模型來(lái)對(duì)乳腺H&E 染色病理圖像中的上皮和間質(zhì)區(qū)域進(jìn)行分割。

本文構(gòu)建了一種端到端的上皮間質(zhì)分割條件對(duì)抗網(wǎng)絡(luò)（EPithelium and Stroma segmentation conditional Generative Adversarial Network，EPScGAN）對(duì)上皮和間質(zhì)區(qū)域進(jìn)行自動(dòng)分割，與一般深度學(xué)習(xí)分割模型相比，EPScGAN 具有更好的分割性能。

1 EPScGAN模型

一般的深度學(xué)習(xí)模型都會(huì)用一個(gè)預(yù)定義的損失函數(shù)來(lái)計(jì)算模型輸出和標(biāo)記之間的誤差，從而監(jiān)督模型的訓(xùn)練。對(duì)于不同的模型和任務(wù)都會(huì)有不同的損失函數(shù)，因此損失函數(shù)的選擇會(huì)對(duì)網(wǎng)絡(luò)的性能產(chǎn)生較大的影響。對(duì)抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［20］提供了可訓(xùn)練的損失函數(shù)機(jī)制。因?yàn)镚AN 中的生成器可以是一個(gè)解碼器網(wǎng)絡(luò)，也可以是一個(gè)端到端的分割網(wǎng)絡(luò)，而判別器的作用是提取生成器生成圖像和標(biāo)記圖像的特征，然后在特征水平上判斷生成器的生成結(jié)果和標(biāo)記圖像之間的差距。GAN 的優(yōu)化目標(biāo)函數(shù)如式（1）：

其中：x是生成器的輸入；z是生成器的輸出；G代表生成器網(wǎng)絡(luò)；D代表判別器網(wǎng)絡(luò)。但是生成器的生成輸入都是一系列隨機(jī)的噪聲，因此生成結(jié)果無(wú)法控制。條件對(duì)抗生成網(wǎng)絡(luò)（conditional GAN，cGAN）［21］通過(guò)在生成器和判別器的輸入中添加生成條件，從而使得生成器的輸出變得可控。cGAN的優(yōu)化目標(biāo)函數(shù)如式（2）所示：

其中：y為添加的約束條件。

Pix2pix 模型［22］首次應(yīng)用cGAN 機(jī)制完美地解決了圖像翻譯問(wèn)題。Pix2pix的優(yōu)化目標(biāo)函數(shù)如式（3）：

在Pix2pix 中生成器的輸入x由隨機(jī)向量變成了圖像，判別器的輸入在原來(lái)的生成圖像z或標(biāo)記圖像y中拼接了原始輸入圖像x作為條件進(jìn)行判別。本文基于cGAN 和Pix2pix 的模型結(jié)構(gòu)，構(gòu)建了上皮和間質(zhì)組織分割模型EPScGAN，模型結(jié)構(gòu)如圖1所示。

圖1 EPScGAN模型結(jié)構(gòu)Fig.1 Structure of EPScGAN model

EPScGAN 包含1 個(gè)生成器網(wǎng)絡(luò)和1 個(gè)判別器網(wǎng)絡(luò)，生成器的主要作用是分割輸入的病理圖像并輸出分割結(jié)果，而判別器的主要作用是判別生成器生成的圖像和真實(shí)的標(biāo)記圖像之間的誤差。生成器網(wǎng)絡(luò)是一個(gè)端到端的CNN 分割模型，而判別器網(wǎng)絡(luò)是一個(gè)多層的CNN分類模型。

1.1 生成器結(jié)構(gòu)

在醫(yī)學(xué)圖像分割任務(wù)中，端到端的分割模型越來(lái)越得到了廣泛的應(yīng)用。主要過(guò)程是先用編碼器下采樣提取特征，然后再用解碼器上采樣解碼輸出分割結(jié)果。目前在醫(yī)學(xué)圖像分割中比較流行的幾個(gè)端到端分割框架有FCN、Unet 等。FCN根據(jù)其上采樣的步長(zhǎng)大小又可以分為：FCN32s、FCN16s 和FCN8s。Unet 的網(wǎng)絡(luò)結(jié)構(gòu)和FCN 類似，都是在多個(gè)尺度下將編碼器提取的深度特征和解碼器特征進(jìn)行了融合。但不同之處在于FCN 的解碼器只有一個(gè)反卷積層，因此是將其他尺度的編碼器特征上采樣后直接和解碼器特征拼接融合，而Unet采用了和編碼器相同尺度的對(duì)稱解碼器結(jié)構(gòu)，將編碼器不同尺度下的深度特征和相同尺度的解碼器特征相融合。一系列的實(shí)驗(yàn)結(jié)果表明，Unet 的這種短連接對(duì)端到端的分割網(wǎng)絡(luò)非常有效。因?yàn)榫幋a器的編碼過(guò)程會(huì)使得一些細(xì)節(jié)特征被下采樣，導(dǎo)致解碼器沒(méi)有足夠的信息來(lái)恢復(fù)細(xì)節(jié)的結(jié)構(gòu)。而短連接操作可以將原始圖像的細(xì)節(jié)信息盡可能地保留下來(lái)，從而使得網(wǎng)絡(luò)可以更精確地分割一些細(xì)小的目標(biāo)。在一定的情況下，這種結(jié)構(gòu)和Resnet 結(jié)構(gòu)非常相似。和Unet 類似，Segnet［23］也使用了這種短連接操作，與Unet 不同的是Segnet 的解碼器使用了上采樣串聯(lián)1×1 的平滑卷積來(lái)替代反卷積操作，這樣就使得解碼器的訓(xùn)練相對(duì)更加容易。但是直接采用這種跳躍式的短連接結(jié)構(gòu)存在語(yǔ)義代溝問(wèn)題。文獻(xiàn)［24］中提出的Unet++結(jié)構(gòu)，主要是解決一般Unet 網(wǎng)絡(luò)的深度和語(yǔ)義代溝問(wèn)題。因?yàn)樵赨net 中短連接操作直接把編碼器的低維特征拼接到了解碼器的高維特征中，而且編碼器層數(shù)越淺，語(yǔ)義代溝越大。所以為了避免語(yǔ)義代溝的問(wèn)題，本文使用無(wú)短連接的編碼解碼結(jié)構(gòu)，生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 EPScGAN生成器框架結(jié)構(gòu)Fig.2 Framework of EPScGAN generator

為了盡可能多地保留細(xì)節(jié)信息，本文的編碼器只使用了3 個(gè)下采樣卷積層，并且為了增加生成器網(wǎng)絡(luò)的魯棒性，本文用一系列的Resnet 模塊來(lái)增加網(wǎng)絡(luò)的參數(shù)容量。Resnet 模塊不僅能夠保留輸入圖像或特征的細(xì)節(jié)信息，而且可以有效地避免加深網(wǎng)絡(luò)導(dǎo)致的梯度消失問(wèn)題。Resnet提供了一種非常有效的深度特征融合方式，最大的特點(diǎn)是將輸入的特征圖和輸出的特征圖相加得到最終的輸出。一個(gè)Resnet模塊的輸入x和輸出y之間的關(guān)系表達(dá)如式（4）：

其中：F表示整個(gè)Resnet 模塊的運(yùn)算映射；x和Wx代表輸入和對(duì)應(yīng)輸入的卷積操作；σ表示Resnet 模塊中的激活函數(shù)。因此在加入了Resnet 連接的反向傳播中，如果對(duì)式（4）求x的偏導(dǎo)數(shù)可以得到如式（5）所示的結(jié)果：

所以當(dāng)網(wǎng)絡(luò)很深時(shí)，dF/dx有可能等于0，此時(shí)dy/dx恒等于1，對(duì)于整個(gè)網(wǎng)絡(luò)的前向傳播仍然有效。

為了方便反向傳播求梯度，EPScGAN 生成器中的激活函數(shù)均使用線性整流單元（Rectified Linear Unit，ReLU）函數(shù)，ReLU函數(shù)的計(jì)算表達(dá)式如式（6）：

從式（6）可以看出，ReLU 函數(shù)只輸出大于0 的特征，因此在反向求梯度的過(guò)程中，該激活函數(shù)對(duì)輸入x的偏導(dǎo)數(shù)恒等于1，所以使用ReLU激活函數(shù)可以加快網(wǎng)絡(luò)的訓(xùn)練。

并且為了增加網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，一般深度網(wǎng)絡(luò)中的卷積操作后會(huì)用一個(gè)標(biāo)準(zhǔn)化層對(duì)卷積的輸出進(jìn)行標(biāo)準(zhǔn)化操作。標(biāo)準(zhǔn)化層的主要作用是將網(wǎng)絡(luò)的輸出一直保持在一個(gè)相同的分布區(qū)間，同時(shí)可以避免梯度消失，正則化網(wǎng)絡(luò)和提高網(wǎng)絡(luò)的泛化能力。常用的標(biāo)準(zhǔn)化方式為批量標(biāo)準(zhǔn)化（Batch Normalization，BN）［25］，該標(biāo)準(zhǔn)化方式的計(jì)算表達(dá)式如式（7）：

其中：x代表卷積層輸出的特征張量B×C×H×W，B代表特征張量中批量樣本的數(shù)量，C代表特征張量的通道數(shù)，H×W代表特征張量中的特征圖譜；xi表示特征張量中的每個(gè)具體值；μ(x)和σ(x)為輸出特征張量的均值和標(biāo)準(zhǔn)差。批量樣本的數(shù)量會(huì)對(duì)批量標(biāo)準(zhǔn)化的效果產(chǎn)生重要的影響，但是批量樣本的數(shù)量會(huì)受限于GPU 的顯存大小。所以EPScGAN 中的所有標(biāo)準(zhǔn)化方式都采用了組標(biāo)準(zhǔn)化（Group Normalization，GN）［26］來(lái)替代BN。GN和BN的主要區(qū)別是GN首先將特征張量的通道分為許多組，然后對(duì)每一組做歸一化，即將特征張量矩陣的維度由［B，C，H，W］改變?yōu)椋跙，C/G，H，W］，然后歸一化的維度（求均值和方差的維度）為［C/G，H，W］，所以GN 的效果不會(huì)受到批量樣本數(shù)量B的影響。生成器各層的詳細(xì)結(jié)構(gòu)如圖3所示。

圖3 EPScGAN生成器模塊結(jié)構(gòu)Fig.3 Module structure of EPScGAN generator

輸入層的作用是用大卷積核的卷積操作將輸入圖像快速轉(zhuǎn)化為稀疏多通道的特征映射，而輸出層的作用是將特征反稀疏化，從而快速得到分割結(jié)果。EPScGAN 生成器的輸出層末尾使用了雙曲正切（hyperbolic Tangent，Tanh）激活函數(shù)對(duì)卷積輸出進(jìn)行激活。因?yàn)楹蜕善鞯纳顚泳矸e輸出特征相比，輸出層的卷積輸出特征圖中目標(biāo)和背景的特征差異已經(jīng)足夠明顯，并且Tanh激活函數(shù)是0均值輸出，可以增大分割結(jié)果中背景和目標(biāo)的差異性，使分割結(jié)果更加明顯。

卷積下采樣層的作用為下采樣并融合特征，同時(shí)提升輸出通道，增強(qiáng)特征的可表達(dá)性。EPScGAN 生成器的編碼器使用了3 個(gè)相同結(jié)構(gòu)的卷積下采樣層，每個(gè)下采樣層中的卷積都使用了3×3 的小卷積核，2×2 的卷積步長(zhǎng)提取特征，并且對(duì)卷積運(yùn)算前的輸入特征進(jìn)行了大小為1 的零擴(kuò)充操作，從而保證了每個(gè)下采樣層的下采樣倍數(shù)都為2。反卷積上采樣層的作用為上采樣并解碼深度特征，同時(shí)減少輸出通道，融合解碼后的特征來(lái)得到分割結(jié)果。類似于EPScGAN 生成器的編碼器，EPScGAN 生成器的解碼器使用了3 個(gè)相同結(jié)構(gòu)的反卷積上采樣層，每個(gè)上采樣層中的反卷積都使用了3×3 的小卷積，2×2 的卷積步長(zhǎng)提取特征，并且對(duì)反卷積運(yùn)算輸入特征和輸出特征都進(jìn)行了大小為1 的零擴(kuò)充操作，從而保證了每個(gè)上采樣層的上采樣倍數(shù)都為2。

Resnet模塊的作用為融合深度特征，增加網(wǎng)絡(luò)容量，提升網(wǎng)絡(luò)的魯棒性，同時(shí)可以避免梯度消失。在EPScGAN 的生成器中用6 個(gè)相同結(jié)構(gòu)的Resnet 模塊串聯(lián)融合特征，并且連接編碼器和解碼器。每個(gè)Resnet 模塊的每個(gè)卷積中都使用了3×3 的小卷積核，同時(shí)為了保證輸入和輸出特征圖的大小相等，每個(gè)卷積步長(zhǎng)的步長(zhǎng)都為1×1，并且對(duì)卷積輸出的特征進(jìn)行了大小為1的零擴(kuò)充操作。

1.2 判別器結(jié)構(gòu)

判別器的主要作用是判別生成器的生成圖像和真實(shí)的標(biāo)記圖像。在GAN 中：生成器的優(yōu)化目標(biāo)是最小化生成損失，使得判別器很難判別生成圖像和真實(shí)圖像的差異，而判別器的優(yōu)化目標(biāo)是最小化判別損失，要盡可能地找出生成圖像和真實(shí)圖像的差異；在GAN 的訓(xùn)練過(guò)程中，判別器會(huì)逐漸地提升判別能力，生成器也會(huì)提升生成能力，并且指導(dǎo)生成器訓(xùn)練的反向傳播誤差損失來(lái)源于判別器。因此判別器相當(dāng)于一個(gè)可訓(xùn)練的損失函數(shù)，它可以從深層的數(shù)據(jù)分布上計(jì)算生成器生成的結(jié)果和真實(shí)數(shù)據(jù)之間的差異，所以它可以很好地監(jiān)督生成器的訓(xùn)練。判別器網(wǎng)絡(luò)是一個(gè)編碼器結(jié)構(gòu)，因此判別器比生成器更容易訓(xùn)練。所以為了避免判別器判別能力過(guò)強(qiáng)而導(dǎo)致生成器訓(xùn)練崩潰的問(wèn)題，同時(shí)為了防止判別器過(guò)擬合，EPScGAN 的判別器由2 個(gè)下采樣層和3 個(gè)卷積過(guò)渡層構(gòu)成。EPScGAN的判別器結(jié)構(gòu)如圖4所示。

圖4 EPScGAN判別器結(jié)構(gòu)Fig.4 Structure of EPScGAN discriminator

EPScGAN 判別器的輸入為原始病理圖像級(jí)聯(lián)生成圖像或真實(shí)標(biāo)記圖像構(gòu)成的圖像對(duì)，原始病理圖像的作用是判別輸入條件。在深度圖像分類網(wǎng)絡(luò)中，編碼器的輸出特征會(huì)被扁平化為特征向量，然后連接全連接層輸出分類結(jié)果，因此分類網(wǎng)絡(luò)的輸入圖像尺寸是固定的。但在分割模型訓(xùn)練的過(guò)程中，反向傳播計(jì)算會(huì)消耗很大的GPU 內(nèi)存，所以輸入圖像的尺寸一般都比較小，但是在測(cè)試過(guò)程中可以用更大尺寸的圖像進(jìn)行測(cè)試，所以分割網(wǎng)絡(luò)的輸入圖像尺寸大小可以不固定。端到端的分割模型可以適應(yīng)不同尺度的輸入，但是GAN 中的判別器結(jié)構(gòu)為一個(gè)二分類網(wǎng)絡(luò)，所以為了能夠分割多尺寸的圖像，同時(shí)也為了穩(wěn)定生成器的訓(xùn)練，EPScGAN 的判別器采用了Pix2pix中的patch-GAN技術(shù)。該技術(shù)是去掉了判別器中的特征扁平化操作和全連接層，直接讓判別器輸出一個(gè)單通道的特征圖，然后用生成數(shù)據(jù)的判別特征和真實(shí)數(shù)據(jù)的判別特征進(jìn)行特征匹配［27］，這樣就可以通過(guò)判別器輸出特征的傳遞來(lái)更好地訓(xùn)練生成器，增強(qiáng)生成器的生成能力。常用的特征匹配損失函數(shù)為正則化損失函數(shù)l1 函數(shù)和l2 函數(shù)［28］。相對(duì)于l2損失函數(shù)，l1損失函數(shù)由于內(nèi)置特征選擇，所以有很多不確定解，因此魯棒性更高。因此，EPScGAN 的判別器中使用了l1損失函數(shù)對(duì)兩種判別特征進(jìn)行特征匹配。

EPScGAN 判別器中使用了2 個(gè)相同結(jié)構(gòu)的卷積下采樣層，每個(gè)下采樣層中的卷積都使用了4×4 的小卷積核，2×2 的卷積步長(zhǎng)提取特征，并且對(duì)卷積運(yùn)算前的輸入特征進(jìn)行了大小為2 的零擴(kuò)充操作，從而有效地融合并下采樣特征，同時(shí)稀疏化輸出特征，并且避免了過(guò)多的下采樣操作造成的細(xì)節(jié)特征丟失和過(guò)擬合問(wèn)題。同時(shí)EPScGAN 判別器還使用了3 個(gè)相同結(jié)構(gòu)的卷積過(guò)渡層，每個(gè)過(guò)渡層中的卷積都使用了4×4的小卷積，用1×1的卷積步長(zhǎng)提取特征，并且對(duì)卷積運(yùn)算前的輸入特征進(jìn)行了大小為2 的零擴(kuò)充操作。因此過(guò)渡層不改變特征的尺寸大小，并且可以有效地融合特征，并通過(guò)零填充操作有效地稀疏化特征。EPScGAN 判別器的特征輸出層為1個(gè)卷積層，該卷積層的卷積核大小為3×3，卷積步長(zhǎng)為1×1，卷積輸入零擴(kuò)充的尺寸大小為1，這樣就保證了不會(huì)對(duì)輸出特征層進(jìn)行下采樣，同時(shí)輸出的系數(shù)特征可以用l2 損失函數(shù)更好地進(jìn)行特征匹配。

EPScGAN 的判別器中所使用的激活函數(shù)均為L(zhǎng)eakyReLU。當(dāng)輸入的特征值小于零時(shí)，ReLU 函數(shù)的輸出始終為零，所以其一階導(dǎo)數(shù)也始終為零，這樣就會(huì)導(dǎo)致神經(jīng)元參數(shù)不再更新，出現(xiàn)“死神經(jīng)元”現(xiàn)象。和ReLU 函數(shù)不同，當(dāng)輸入特征張量中的值小于零時(shí)，LeakyReLU 會(huì)有一個(gè)泄露值輸出，因此使用LeakyReLU 函數(shù)可以避免判別器中出現(xiàn)“死神經(jīng)元”現(xiàn)象。LeakyReLU函數(shù)的表達(dá)式如式（8）所示。

EPScGAN 判別器中所有的LeakyReLU 激活函數(shù)泄露值ε均設(shè)置為0.2。

1.3 損失函數(shù)

EPScGAN 使用了和Pix2pix相同的損失函數(shù)。式（3）計(jì)算的是cGAN 損失，主要的優(yōu)化目標(biāo)是生成器和判別器，為了增強(qiáng)生成器的生成能力以及穩(wěn)定生成器的訓(xùn)練，損失函數(shù)部分還包括特征匹配l1 損失。l1 特征匹配的損失函數(shù)如式（9）所示：

所以EPScGAN 的最終優(yōu)化目標(biāo)損失函數(shù)的表達(dá)式如式（10）所示：

其中：λ為l1 損失的懲罰系數(shù)，通過(guò)多次實(shí)驗(yàn)發(fā)現(xiàn)，最終確定λ=10時(shí)訓(xùn)練最穩(wěn)定。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)集是由文獻(xiàn)［29］中荷蘭癌癥研究所（Netherlands Cancer Institute，NKI）和溫哥華綜合醫(yī)院（Vancouver General Hospital，VGH）兩個(gè)單位提供的總共576張像素尺寸為1 128×720 的H&E 染色乳腺癌病理圖像構(gòu)成。其中NKI 提供了248 張，VGH 提供了328 張，每張圖像都有病理專家手動(dòng)標(biāo)記的乳腺組織上皮和間質(zhì)區(qū)域。本文在原始576 張1 128×720 大小的圖像中隨機(jī)裁剪出了1 286 張像素尺寸為512×512的圖像作為最終的實(shí)驗(yàn)數(shù)據(jù)集。

2.2 實(shí)驗(yàn)結(jié)果

本文將1 286 張512×512 尺寸大小的H&E 染色病理圖像按照7∶3 的比例隨機(jī)地劃分為訓(xùn)練集（900 張）和測(cè)試集（386張）對(duì)EPScGAN 模型和目前流行的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。本文使用的實(shí)驗(yàn)平臺(tái)為Ubuntu 16.04 操作系統(tǒng)，Nvidia GTX 1080Ti 的GPU。網(wǎng)絡(luò)固定的超參數(shù)為：優(yōu)化器選用自適應(yīng)的Adam［30］，初始化學(xué)習(xí)率為0.000 2，訓(xùn)練的總迭代次數(shù)為200，深度學(xué)習(xí)框架采用Pytorch1.0。不同模型在測(cè)試集上的分割結(jié)果對(duì)比如圖5所示。

圖5 不同模型的分割結(jié)果對(duì)比Fig.5 Segmentation results comparison of different models

從圖5 所示的分割結(jié)果對(duì)比圖中可以發(fā)現(xiàn)：FCN 的解碼器比較弱而且和編碼器不對(duì)稱，所以很難準(zhǔn)確地分割出上皮和間質(zhì)組織區(qū)域；而其他4 種模型結(jié)構(gòu)都采用了對(duì)稱的編碼解碼結(jié)構(gòu)，因此整體分割的效果比較好。本文對(duì)比了4 種對(duì)稱結(jié)構(gòu)的分割結(jié)果細(xì)節(jié)，如圖6 所示，從分割結(jié)果的細(xì)節(jié)展示中可以發(fā)現(xiàn)：Segnet 和Unet++會(huì)把淋巴細(xì)胞區(qū)域誤分割為間質(zhì)組織區(qū)域（圓圈內(nèi)所示），Unet、Segnet 和Unet++都容易把一些細(xì)小的間質(zhì)區(qū)域漏掉（三角形所指和方框內(nèi)所示）。

3 結(jié)果評(píng)估分析

3.1 多類像素準(zhǔn)確率評(píng)估

為了定量的說(shuō)明模型對(duì)不同區(qū)域的分割性能，使用了像素準(zhǔn)確率（Pixel Accuracy，PA）［31］對(duì)背景，上皮組織和間質(zhì)組織區(qū)域進(jìn)行了評(píng)估，計(jì)算表達(dá)式如式（11）：

其中：TP表示分割網(wǎng)絡(luò)正確分為正樣例的像素點(diǎn)數(shù)量（True Positive）；TN表示分割網(wǎng)絡(luò)正確分為負(fù)樣本的像素點(diǎn)數(shù)量（True Negative）；FP表示分割網(wǎng)絡(luò)錯(cuò)誤分為正樣例的像素點(diǎn)數(shù)量（False Positive）；FN表示分割網(wǎng)絡(luò)錯(cuò)誤分為負(fù)樣本的像素點(diǎn)數(shù)量（False Negative）。像素準(zhǔn)確率是評(píng)估語(yǔ)義分割結(jié)果的常用指標(biāo)，反映了分割正確的像素點(diǎn)數(shù)量占所有分割像素的比例。對(duì)于每一類區(qū)域的類像素準(zhǔn)確率（Class Pixel Accuracy，CPA）的計(jì)算公式如式（12）所示，最終的評(píng)估結(jié)果如表1所示。

表1 不同模型的CPA評(píng)估結(jié)果Tab.1 CPA evaluation results of different models

從評(píng)估結(jié)果中可以看出，F(xiàn)CN 對(duì)上皮組織區(qū)域的分割準(zhǔn)確率要高于對(duì)間質(zhì)組織區(qū)域的分割準(zhǔn)確率，同時(shí)對(duì)背景區(qū)域的分割準(zhǔn)確率要遠(yuǎn)低于上皮區(qū)域。主要是因?yàn)镕CN 的網(wǎng)絡(luò)結(jié)構(gòu)中解碼器較弱，因此無(wú)法對(duì)一些細(xì)小的敏感區(qū)域進(jìn)行精準(zhǔn)分割。而Unet 對(duì)背景區(qū)域和間質(zhì)區(qū)域的分割準(zhǔn)確率較低，因?yàn)檎Z(yǔ)義代溝的問(wèn)題，所以無(wú)法很好地區(qū)分上皮和間質(zhì)區(qū)域，Segnet和Unet++則對(duì)三類的分割都比較均衡。對(duì)比其他端到端的深度學(xué)習(xí)分割模型，EPScGAN 可以在保證三類分割比較均衡的前提下，每一類的分割像素準(zhǔn)確率都達(dá)到最高。

3.2 平均交并比評(píng)估

平均交并比（mean Intersection over Union，mIoU）在深度學(xué)習(xí)圖像分割領(lǐng)域中是一個(gè)衡量圖像分割精度的重要指標(biāo)。交并比（Intersection over Union，IoU）的計(jì)算公式如式（13）所示：

所以IoU 計(jì)算了分割結(jié)果和真實(shí)標(biāo)記交集和并集的比例。先求出分割結(jié)果在每一類上的IoU 值，然后計(jì)算平均值就可以得到mIoU 值。不同模型在測(cè)試集上的mIoU 對(duì)比結(jié)果如表2所示。

表2 不同模型的mIoU評(píng)估結(jié)果 單位：%Tab.2 mIoU evaluation results of different models unit：%

從表2可以看出，本文提出的EPScGAN 模型在H&E 染色的上皮和間質(zhì)組織區(qū)域病理圖像分割任務(wù)中比其他的流行醫(yī)學(xué)圖像分割模型具有更高的分割精度。

圖6 對(duì)稱結(jié)構(gòu)分割模型的分割結(jié)果細(xì)節(jié)展示Fig.6 Detailed display of segmentation results of symmetric structure segmentation models

4 結(jié)語(yǔ)

為了有效地分割出H&E 染色病理組織圖像中的上皮和間質(zhì)區(qū)域，本文提出了基于cGAN 的分割模型EPScGAN。該模型中使用了Resnet 模塊增加網(wǎng)絡(luò)容量來(lái)提升網(wǎng)絡(luò)的魯棒性，同時(shí)使用了cGAN 中的判別機(jī)制來(lái)為生成器的訓(xùn)練提供了可訓(xùn)練的損失函數(shù)，使得網(wǎng)絡(luò)得到了充分的訓(xùn)練。對(duì)比實(shí)驗(yàn)結(jié)果表明，與一般的深度分割模型相對(duì)比，EPScGAN 模型能夠更加有效地提取上皮和間質(zhì)組織區(qū)域的語(yǔ)義特征，并且對(duì)兩種區(qū)域的多樣性識(shí)別具有更高的魯棒性。目前我們只使用了乳腺組織病理圖像中的上皮和間質(zhì)區(qū)域區(qū)域數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，因此下一步工作是把EPScGAN 模型用到其他的醫(yī)學(xué)圖像分割任務(wù)中，并和一般的深度分割模型作比較。