基于生成對(duì)抗網(wǎng)絡(luò)的腎小球病理圖像合成

蔡健，孔祥勇，吳瀅，尹梓名，王平，盧嚴(yán)磚，彭瑞陽(yáng)，孫曉晗，王鈺澤

（1.上海理工大學(xué)健康科學(xué)與工程學(xué)院，上海 200093；2.上海交通大學(xué)附屬兒童醫(yī)院，上海 200040；3.石河子大學(xué)食品學(xué)院，新疆石河子 832099）

0 引言

腎病是人類常見(jiàn)疾病，多表現(xiàn)為腎小球病變。腎小球內(nèi)的形態(tài)及結(jié)構(gòu)改變能夠提供腎臟損害的關(guān)鍵信息，因此，通過(guò)腎活檢組織病理學(xué)對(duì)腎小球形態(tài)結(jié)構(gòu)進(jìn)行分析至關(guān)重要。

隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用越來(lái)越廣泛，其中卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展尤為迅速，常用于癌癥檢測(cè)與分類，亦可用于腎小球疾病檢測(cè)與病變分類。然而，由于缺乏高質(zhì)量訓(xùn)練數(shù)據(jù)，腎小球疾病輔助診斷技術(shù)發(fā)展較為緩慢。

數(shù)據(jù)增強(qiáng)技術(shù)可用于擴(kuò)充數(shù)據(jù)量不足的數(shù)據(jù)集，成為解決數(shù)據(jù)量不足問(wèn)題的首要方法。傳統(tǒng)數(shù)據(jù)增強(qiáng)技術(shù)可通過(guò)提高圖像亮度與對(duì)比度，也可以對(duì)數(shù)據(jù)集圖像進(jìn)行平移、翻轉(zhuǎn)、裁剪和變形等幾何變換方式擴(kuò)充數(shù)據(jù)量。該種方法與原始數(shù)據(jù)息息相關(guān)，對(duì)于提高算法性能產(chǎn)生的作用十分有限，不能明顯改善模型訓(xùn)練效果。生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）具有很強(qiáng)的數(shù)據(jù)合成能力，能夠產(chǎn)生高質(zhì)量的合成數(shù)據(jù)，從而提升算法性能，因此受到研究人員的廣泛關(guān)注。

1 相關(guān)研究

GANs在圖像生成、模式轉(zhuǎn)換等計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用廣泛，例如人臉合成、風(fēng)格轉(zhuǎn)換等，其還能合成出難以獲取的醫(yī)學(xué)圖像數(shù)據(jù)。例如，Diaz等利用深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep Convolutional Generative Adversarial Networks,DCGANs）合成高質(zhì)量的視網(wǎng)膜圖像，并對(duì)青光眼視網(wǎng)膜圖像進(jìn)行了準(zhǔn)確分類；Sun等利用GANs根據(jù)異常圖像生成正常外觀的醫(yī)學(xué)圖像，不需要訓(xùn)練數(shù)據(jù)成對(duì)出現(xiàn)便可獲得質(zhì)量較好的正常及病變腦部MRI圖像。

由于醫(yī)學(xué)圖像尺寸較大、顏色信息復(fù)雜以及組織形態(tài)多樣，病理圖像合成具有較大挑戰(zhàn)性。為此，李晨等利用GANs對(duì)宮頸癌病理圖像相關(guān)數(shù)據(jù)集進(jìn)行擴(kuò)充，生成宮頸癌細(xì)胞質(zhì)部分圖像，然后利用分類模型對(duì)相關(guān)數(shù)據(jù)集進(jìn)行分類，顯著提升了低分化宮頸癌病理圖像的分類效果；楊俊豪等針對(duì)數(shù)據(jù)集中乳腺癌病理圖像各類樣本數(shù)量不均衡的問(wèn)題，提出使用GANs生成不均衡樣本，將生成數(shù)據(jù)并入訓(xùn)練集進(jìn)行訓(xùn)練，分類準(zhǔn)確率提升5%。此外，在多種常見(jiàn)癌癥病理圖像分類任務(wù)中，GANs表現(xiàn)均良好。然而，上述合成方法獲得的圖像分辨率較低，且針對(duì)腎小球病理圖像的合成研究較為缺乏。清晰的腎小球病理圖像包含很多特征細(xì)節(jié)，獲得分辨率較高的腎小球圖像對(duì)于腎病的診斷至關(guān)重要。

針對(duì)以上問(wèn)題，本文提出一種基于pix2pixHD的腎小球病理圖像合成方法，用于合成高分辨率且清晰的腎小球圖像，從而對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，提高深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率，最終提升圖像分割效果。首先利用腎小球mask掩膜作為圖像合成的約束條件，利用生成器實(shí)現(xiàn)標(biāo)簽映射向腎小球病理圖像的空間映射；然后引入標(biāo)準(zhǔn)差特征匹配損失對(duì)損失函數(shù)進(jìn)行改進(jìn)。結(jié)果表明，本文方法合成的高分辨率腎小球病理圖像可以提高模型網(wǎng)絡(luò)分割性能，相較對(duì)照?qǐng)D像合成算法具有更好的視覺(jué)效果和定量化指標(biāo)評(píng)價(jià)結(jié)果。

2 本文方法概述

本文方法流程如圖1所示，可以概括為初分割—生成—再分割的步驟。首先對(duì)原始病理圖像中的腎小球進(jìn)行分割，篩選出最優(yōu)分割模型；然后采用不同圖像生成算法對(duì)原始數(shù)據(jù)集生成腎小球病理圖像，選擇表現(xiàn)最優(yōu)的圖像生成算法。為驗(yàn)證圖像生成算法的有效性，將生成的腎小球病理圖像與原始病理圖像合并成訓(xùn)練集，對(duì)初分割中的最優(yōu)圖像分割算法進(jìn)行訓(xùn)練完成再分割，觀察圖像分割效果。

Fig.1 Flow of the method proposed圖1 本文方法流程

3 網(wǎng)絡(luò)模型建立

pix2pixHD是一個(gè)基于條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Nets，CGAN）的框架。相較于基于GAN的pix2pix，pix2pixHD具備多尺度的生成器和判別器，同時(shí)改進(jìn)了損失函數(shù)設(shè)計(jì)，能夠產(chǎn)生清晰的高分辨率圖像。pix2pixHD通過(guò)將噪聲和條件輸入到生成器G中實(shí)現(xiàn)圖像到圖像的翻譯，使用判別器D判斷生成圖像是否為真實(shí)圖像，最終目標(biāo)為尋找生成器與判別器之間的納什平衡，目標(biāo)函數(shù)表示為：

式中，

D

(

x

)表示判別器D判斷輸入數(shù)據(jù)來(lái)自真實(shí)數(shù)據(jù)的概率；

G

(

z

)表示生成器G根據(jù)數(shù)據(jù)分布生成的數(shù)據(jù)。

3.1 生成器結(jié)構(gòu)

基于pix2pixHD全局生成器構(gòu)建生成器網(wǎng)絡(luò)，該網(wǎng)絡(luò)為自編碼網(wǎng)絡(luò)的一種變體模型，通過(guò)編碼與解碼相結(jié)合的方式，根據(jù)特征圖將噪聲轉(zhuǎn)化為與真實(shí)圖像相似的圖像。生成器由下采樣、殘差塊和下采樣組成，結(jié)構(gòu)如圖2所示。

Fig.2 Generator structure圖2 生成器結(jié)構(gòu)

對(duì)pix2pixHD原有編碼器進(jìn)行改進(jìn)，將下采樣變?yōu)樽畲蟪鼗由蠚埐顗K，緩解神經(jīng)網(wǎng)絡(luò)傳播中信息丟失的問(wèn)題，同時(shí)增加卷積塊數(shù)量，使得網(wǎng)絡(luò)更深，以便提取更加深層的信息。生成器由4個(gè)下采樣、4個(gè)上采樣和9個(gè)殘差塊組成。將尺寸為256×256，通道數(shù)為3的標(biāo)簽圖像輸入網(wǎng)絡(luò)中，首先經(jīng)過(guò)卷積核為7×7，步長(zhǎng)為1的卷積層，得到尺寸為256×256，維度為64的特征圖像；然后經(jīng)過(guò)最大池化及殘差塊的4次下采樣，每經(jīng)過(guò)一次下采樣，圖像尺寸減半，維度加倍，每次卷積后都會(huì)進(jìn)行批量標(biāo)準(zhǔn)化（Batch Normalization，BN）處理，將Relu作為激活函數(shù)。將經(jīng)過(guò)下采樣的特征圖像輸入到9個(gè)殘差塊中，每個(gè)殘差塊都包含兩個(gè)卷積核為3×3，步長(zhǎng)為1的卷積層，最后得到尺寸為16×16，維度為1 024的特征圖像。特征圖像經(jīng)過(guò)4次上采樣，每次上采樣包含一個(gè)卷積核為3×3，步長(zhǎng)為2的反卷積層，反卷積后進(jìn)行BN處理，將Relu作為激活函數(shù)。此時(shí)，圖像尺寸加倍，維度減半，得到尺寸為256×256，維度為64的特征圖像。最后，將特征圖像經(jīng)過(guò)卷積核為7×7，步長(zhǎng)為1的卷積層得到生成圖像。

3.2 判別器結(jié)構(gòu)

采用pix2pixHD的多尺度判別器，分別對(duì)原圖進(jìn)行2倍和4倍的下采樣，對(duì)不同尺度的圖像進(jìn)行判別并取平均值。判別器結(jié)構(gòu)如圖3所示。

3個(gè)尺寸的判別器結(jié)構(gòu)相同，均由5個(gè)卷積層組成。對(duì)于原尺寸判別器，首先輸入大小為256×256，通道數(shù)為3的圖像，經(jīng)過(guò)3次卷積核為4×4，步長(zhǎng)為2的卷積層，圖片尺寸會(huì)相應(yīng)縮小，維度會(huì)相應(yīng)增大；然后經(jīng)過(guò)2次卷積核為4×4，步長(zhǎng)為1的卷積層。以上卷積后都會(huì)進(jìn)行BN處理，以Leaky ReLU作為激活函數(shù)。

Fig.3 Discriminator structure圖3 判別器結(jié)構(gòu)

3.3 損失函數(shù)

對(duì)原有pix2pixHD損失函數(shù)進(jìn)行改進(jìn)，為了穩(wěn)定訓(xùn)練，在原有損失函數(shù)中加入判別器的特征匹配損失。pix2pix的損失函數(shù)表示為：

判別器的特征匹配損失函數(shù)表示為：

最終損失函數(shù)為：

式中，λ表示特征匹配損失的權(quán)重。

3.4 U-Net模型構(gòu)建

采用醫(yī)學(xué)圖像分割性能良好的U-Net網(wǎng)絡(luò)作為骨干模型，使用特征提取能力強(qiáng)的VGG19小型網(wǎng)絡(luò)作為模型的編碼器，并加載在ImageNet數(shù)據(jù)集預(yù)訓(xùn)練完成的權(quán)重進(jìn)行訓(xùn)練。U-Net分割模型結(jié)構(gòu)如圖4所示。

Fig.4 U-Net network structure圖4 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)VGG19網(wǎng)絡(luò)進(jìn)行改進(jìn)，保存卷積層與池化層并且去掉全連接層。其編碼器有5個(gè)下采樣編碼塊，輸入圖片尺寸為256×256，通道數(shù)為3，每個(gè)編碼塊都采用卷積核為3×3，步長(zhǎng)為1的卷積操作，圖像尺寸不會(huì)改變。圖像到達(dá)下一個(gè)編碼塊時(shí)，會(huì)經(jīng)過(guò)卷積核為2×2，步長(zhǎng)為2的最大池化操作，圖片尺寸變?yōu)樵瓉?lái)的1/2，圖像維度會(huì)增加。不同的編碼塊會(huì)提取不同深度的圖像特征。最終，編碼器會(huì)得到尺寸為8×8，維度為512的特征圖像，然后通過(guò)卷積核為3×3，步長(zhǎng)為2的反卷積以擴(kuò)展特征圖像尺寸。每次經(jīng)過(guò)反卷積后都會(huì)與卷積過(guò)程中的相應(yīng)尺寸特征層進(jìn)行連接，此時(shí)特征層的維度會(huì)擴(kuò)大為卷積后特征維度與反卷積后特征維度之和，然后再進(jìn)行下一次反卷積，最終獲得與原圖尺寸相同的二值分割圖像。

4 實(shí)驗(yàn)方法與結(jié)果分析

4.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集包括Kaggle腎小球分割比賽數(shù)據(jù)集和上海市兒童醫(yī)院腎臟科病理圖像數(shù)據(jù)，該數(shù)據(jù)集包含30張腎臟病理圖像，其中20張圖像作為訓(xùn)練集，10張圖像作為測(cè)試集。訓(xùn)練集中包含3 000個(gè)腎小球圖像，對(duì)病理圖像中腎小球及相應(yīng)mask圖像進(jìn)行裁剪，將其縮放至256×256，以構(gòu)建腎小球數(shù)據(jù)集，用于圖像生成。部分腎小球圖像如圖5所示。

4.2 實(shí)驗(yàn)參數(shù)設(shè)置

使用3種基于GAN的方法生成腎小球病理圖像，分別為cycleGAN、pix2pix和pix2pixHD，均在Pytorch框架上使用Adam優(yōu)化器進(jìn)行訓(xùn)練，epochs為2 000，batchsize為4，初始學(xué)習(xí)率為0.000 2。對(duì)于腎小球分割實(shí)驗(yàn)，使用U-Net網(wǎng)絡(luò)，以VGG19作為編碼器，在Pytorch框架上使用Adam優(yōu)化器進(jìn)行訓(xùn)練，epochs為30，batchsize為16，初始學(xué)習(xí)率為0.000 1，并使用在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練完成的模型進(jìn)行參數(shù)初始化，損失函數(shù)為Dice loss。

Fig.5 Part of the glomerulus and itslabe lmap圖5 部分腎小球及其標(biāo)簽圖

實(shí)驗(yàn)平臺(tái)為搭載NVIDIA GeForce RTX 2080Ti GPU及32GB內(nèi)存的服務(wù)器，Linux系統(tǒng)，Python 3.6語(yǔ)言。

4.3 評(píng)價(jià)標(biāo)準(zhǔn)

采用Inception分?jǐn)?shù)（Inception Score，IS）和Fréchet Inception距離（Fréchet Inception Distance，F(xiàn)ID）評(píng)價(jià)模型性能。

IS的計(jì)算公式為：

FID的計(jì)算公式為：

式中，

X

表示實(shí)際圖像，

G

表示生成圖像，

T

表示矩陣對(duì)角線上元素的總和。FID越低說(shuō)明兩個(gè)圖像分布越接近，意味著生成圖片的質(zhì)量較高、多樣性較好。

采用Dice分?jǐn)?shù)作為語(yǔ)義分割的評(píng)價(jià)指標(biāo)，表示為：

式中，

x

為預(yù)測(cè)像素，

y

為Ground Truth。Dice分?jǐn)?shù)越高說(shuō)明分割效果越好。

4.4 實(shí)驗(yàn)結(jié)果

4.4.1 腎小球分割實(shí)驗(yàn)

在相同訓(xùn)練集下，選擇不同分割模型對(duì)腎小球圖像進(jìn)行分割。為減少訓(xùn)練集樣本較少的影響，分別對(duì)其進(jìn)行垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)90°、轉(zhuǎn)置、平移縮放旋轉(zhuǎn)、添加高斯噪聲等傳統(tǒng)數(shù)據(jù)增強(qiáng)操作，根據(jù)Dice分?jǐn)?shù)選擇最優(yōu)分割模型。

由表1可知，在相同測(cè)試集及訓(xùn)練集下，以VGG19作為編碼器的U-Net模型表現(xiàn)最佳，Dice分?jǐn)?shù)為0.882，訓(xùn)練過(guò)程也更加穩(wěn)定。VGG19作為編碼器能更好地提取病理圖像中腎小球的不同特征，因此本文選用以VGG19作為編碼器的U-Net網(wǎng)絡(luò)作為驗(yàn)證腎小球圖像生成效果的分割模型。U-Net對(duì)腎小球的分割效果如圖6所示。

Fig.6 Glomerular segmentation effect by U-Net圖6 U-Net腎小球分割效果

Table 1 Comparison of segmentation effects of different models表1 不同模型分割效果比較

4.4.2 腎小球圖像生成實(shí)驗(yàn)

比較本文模型與pix2pix、cycleGAN、pix2pixHD 3種經(jīng)典圖像生成模型的性能。圖7為在相同標(biāo)簽下各模型生成的腎小球圖像，其中pix2pix生成的圖像過(guò)于雜亂無(wú)法展示。通過(guò)對(duì)比發(fā)現(xiàn)，本文方法能夠生成更清晰的腎小球圖像。

Fig.7 Comparison of images generated by different models圖7 不同模型生成圖像比較

由表2定量評(píng)估結(jié)果可知，本文模型合成的腎小球圖像與原圖FID值更加接近，即與原圖更加相似；IS更高，說(shuō)明合成圖像質(zhì)量較好；pix2pixHD算法生成的圖像邊界較為模糊，腎小球內(nèi)部結(jié)構(gòu)不清晰，IS值較小，說(shuō)明圖像合成質(zhì)量較差；cycleGAN生成的圖像沒(méi)有清晰的輪廓，腎小球內(nèi)部雜亂無(wú)章，定量評(píng)估從側(cè)面驗(yàn)證了視覺(jué)上的判斷；pix2pix生成的圖像更加混亂，且沒(méi)有完整的腎小球形狀，定量評(píng)估指標(biāo)也與原圖指標(biāo)相差較大。

Table 2 Comparison of quantitative evaluation of images generated by different models表2 不同模型生成圖像定量評(píng)估指標(biāo)比較

4.4.3 腎小球合成圖像驗(yàn)證實(shí)驗(yàn)

使用VGG19作為編碼器的U-Net網(wǎng)絡(luò)作為分割網(wǎng)絡(luò)，同時(shí)采用本文模型生成1 000張腎小球圖像，并將生成圖像并入原始訓(xùn)練數(shù)據(jù)集，一同輸入到分割網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，然后在相同測(cè)試集中進(jìn)行測(cè)試，結(jié)果如圖8所示。在向數(shù)據(jù)集中加入生成圖像后，本文模型能更好地識(shí)別出腎小球。圖9為未分割的腎小球圖像，圖10、圖11分別為初分割和再分割的腎小球圖像?？梢钥闯?，本文模型能更加精細(xì)地分割目標(biāo)腎小球。且經(jīng)過(guò)計(jì)算，本文模型再分割的Dice分?jǐn)?shù)為92.3%，相較于不加入合成圖像的數(shù)據(jù)集，有力提升了分割網(wǎng)絡(luò)的表現(xiàn)，提升分?jǐn)?shù)為4%，說(shuō)明本文模型生成的圖像包含傳統(tǒng)數(shù)據(jù)增強(qiáng)方法所不具備的信息增益。

Fig.8 Adding synthetic glomerulus images segmentation renderings圖8 加入合成腎小球圖像的分割效果

Fig.9 Unsegmented glomerulus image圖9 腎小球未分割圖

Fig.10 Glomerular initial segmentation image圖10 腎小球初分割圖

Fig.11 Glomerularre-segmentation image圖11 腎小球再分割圖

5 結(jié)語(yǔ)

針對(duì)腎小球病理圖像數(shù)據(jù)不足的問(wèn)題，本文提出基于pix2pixHD的腎小球病理圖像合成方法，通過(guò)對(duì)生成器結(jié)構(gòu)及損失函數(shù)進(jìn)行改進(jìn)，融合更深層次的圖像特征，相較于其他經(jīng)典圖像合成模型生成的腎小球病理圖像更加清晰且多樣，能夠提供傳統(tǒng)數(shù)據(jù)增強(qiáng)算法不含有的信息增益，從而提高了腎小球圖像分割效果。然而，本文模型訓(xùn)練效率較低，需要使用的計(jì)算資源很多，下一步工作是優(yōu)化模型結(jié)構(gòu)，提升模型訓(xùn)練效率。