生成對(duì)抗網(wǎng)絡(luò)在醫(yī)學(xué)圖像處理中的應(yīng)用

李祥霞，謝 嫻，李 彬，尹 華，許 波，鄭心煒

1.廣東財(cái)經(jīng)大學(xué) 信息學(xué)院，廣州510320

2.華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣州510641

醫(yī)學(xué)圖像處理是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱門研究問題之一，醫(yī)學(xué)圖像是開展與醫(yī)學(xué)相關(guān)問題研究的基礎(chǔ)，其中對(duì)圖像數(shù)據(jù)的處理和有效分析更是直接影響到醫(yī)生對(duì)患者所患疾病的判斷和治療。近年來，隨著醫(yī)學(xué)成像技術(shù)和設(shè)備的不斷發(fā)展，大量的包含豐富病理相關(guān)影像信息的醫(yī)學(xué)數(shù)字圖像隨之產(chǎn)生，因此需要處理的數(shù)據(jù)量也越來越大。面對(duì)龐大且復(fù)雜的醫(yī)學(xué)影像數(shù)據(jù)，如何實(shí)時(shí)且有效地對(duì)醫(yī)學(xué)影像大數(shù)據(jù)做進(jìn)一步處理、分析和挖掘，如何從這些圖像中提取出潛在有用的特征，是研究者們亟待處理的問題。

傳統(tǒng)的圖像處理方法通常是通過放射科醫(yī)生從醫(yī)學(xué)圖像中手工提取有用的影像信息，這不僅耗時(shí)費(fèi)力，還有著個(gè)人主觀性，易出現(xiàn)誤診、漏診的現(xiàn)象[1]。因此，這種方式已經(jīng)不能滿足現(xiàn)階段的醫(yī)療需求，為此出現(xiàn)了大量的圖像處理的新技術(shù)。深度學(xué)習(xí)（Deep Learning，DL）近年來已經(jīng)在醫(yī)學(xué)圖像處理范疇中取得了突飛猛進(jìn)的發(fā)展[2]。從現(xiàn)階段的研究觀察到卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是應(yīng)用于圖像處理范疇上較為成功的深度學(xué)習(xí)模型之一，其通過構(gòu)造CNN，對(duì)數(shù)據(jù)采用層層訓(xùn)練，利用各層的特征表達(dá)，來自動(dòng)提取對(duì)高層特征，有效地解決了人為提取圖像特征所造成的問題，因此能夠提升診斷的效率和準(zhǔn)確率[3]。但是，CNN模型由于具有結(jié)構(gòu)復(fù)雜度高、參數(shù)規(guī)模龐大等特點(diǎn)，往往需要大量的有標(biāo)簽數(shù)據(jù)來訓(xùn)練模型，而這些標(biāo)簽數(shù)據(jù)獲取是非常耗時(shí)費(fèi)力且易產(chǎn)生誤差，同時(shí)數(shù)據(jù)又不斷進(jìn)行更新，導(dǎo)致模型出現(xiàn)過擬合或欠擬合問題[4]。在醫(yī)學(xué)影像圖像中，標(biāo)簽數(shù)據(jù)的獲取嚴(yán)重依賴于放射科醫(yī)生的主觀經(jīng)驗(yàn)、專業(yè)水平，也易受到影像質(zhì)量影響，因此有標(biāo)簽影像數(shù)據(jù)獲取更難，極易造成數(shù)據(jù)稀少、注釋稀缺和類別嚴(yán)重不平衡等問題[5]，極大地限制了其廣泛應(yīng)用，這也是醫(yī)療領(lǐng)域是否能得以發(fā)展的重要問題之一。

數(shù)據(jù)增強(qiáng)可以用來擴(kuò)大原本不足的數(shù)據(jù)集。傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法有很多，可以通過提高圖像的質(zhì)量，校正圖像的亮度或者對(duì)比度等，或是通過旋轉(zhuǎn)、縮放、變形等幾何變換方式對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，但這些方法都與原始數(shù)據(jù)密切相關(guān)，因此它們所產(chǎn)生的影響作用是非常局限的[6]。此外，還可以采用調(diào)整閾值、過采樣和欠采樣方法對(duì)不足的數(shù)據(jù)進(jìn)行擴(kuò)充。在醫(yī)學(xué)影像數(shù)據(jù)中，樣本數(shù)據(jù)本身即為小樣本數(shù)據(jù)，調(diào)整閾值方法不能起到關(guān)鍵性的作用。欠采樣是一種數(shù)據(jù)重構(gòu)方法，對(duì)數(shù)據(jù)量多的類樣本進(jìn)行裁剪，實(shí)現(xiàn)樣本的均衡，極易造成類別訓(xùn)練樣本的重要信息丟失問題。過采樣則是針對(duì)數(shù)據(jù)量較少的那類數(shù)據(jù)采用重復(fù)的采樣，最終不同標(biāo)簽的數(shù)據(jù)數(shù)量達(dá)到均衡，很容易樣本重要信息缺失或樣本空間重疊而造成嚴(yán)重的過擬合現(xiàn)象。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）因具有非常出色數(shù)據(jù)合成的能力而一直受到工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注[7]。在醫(yī)學(xué)影像領(lǐng)域中，通過使用GANs來生成醫(yī)學(xué)圖像樣本數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，可以仿真出大量的難以獲得的醫(yī)療影像數(shù)據(jù)，有效地緩解了因數(shù)據(jù)樣本稀缺而對(duì)醫(yī)學(xué)大數(shù)據(jù)分析造成的影響。雖然GANs是作為無監(jiān)督學(xué)習(xí)的生成模型，但是其在半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方面也展現(xiàn)出很大的潛力。

首先概述了GANs的基礎(chǔ)理論和組成結(jié)構(gòu)，然后分析了幾種典型的在GANs基礎(chǔ)上做出改進(jìn)的模型，闡述了GANs模型在圖像生成、圖像分割等應(yīng)用領(lǐng)域上的研究現(xiàn)狀。最后，在研究現(xiàn)狀和問題基礎(chǔ)上進(jìn)行了深入分析，進(jìn)一步總結(jié)和討論了生成對(duì)抗模型在醫(yī)學(xué)圖像處理領(lǐng)域中未來發(fā)展的趨勢(shì)和所面臨的挑戰(zhàn)。

1 生成對(duì)抗網(wǎng)絡(luò)介紹

2014年，Goodfellow等[8]提出了一個(gè)采用對(duì)抗過程估計(jì)生成模型的新網(wǎng)絡(luò)，即生成對(duì)抗網(wǎng)絡(luò)（GANs）模型，其由生成器G（Generator，G）和判別器D（Discriminator，D）組成[9]。G的目的是合成出盡量與逼真的圖像相似的數(shù)據(jù)，而D則是推斷圖像是來自生成器所產(chǎn)生的還是真實(shí)的[10]。提出模型的想法來自于博弈論中的二人零和博弈[11]，在博弈中由G和D在對(duì)抗訓(xùn)練的過程中進(jìn)行迭代優(yōu)化，不斷地更新各自網(wǎng)絡(luò)參數(shù)，最后達(dá)到納什平衡狀態(tài)[12]，GANs模型的結(jié)構(gòu)如圖1所示。

圖1 GANsFig.1 GANs

GANs的目標(biāo)函數(shù)定義為：

GANs的目標(biāo)函數(shù)優(yōu)化采用最大最小化的方式，當(dāng)G能夠完全地學(xué)習(xí)到真實(shí)圖像的近似概率分布，并能從中采樣出逼真的圖像，而判別器無法準(zhǔn)確地判別出圖像來源時(shí)，此時(shí)模型達(dá)到最優(yōu)化。生成器G接收到一個(gè)服從高斯分布的隨機(jī)噪聲z后，生成盡可能服從真實(shí)圖像x的概率分布Pdata的圖像G(z)。然后，將圖像G(z)輸入到判別器D中，經(jīng)過計(jì)算，判別器D會(huì)輸出被推斷為真實(shí)圖像的概率。概率越接近于1，則證明生成樣本G(z)越逼真于真實(shí)樣本，否則G(z)為虛假樣本[13]。

與傳統(tǒng)的生成模型相比，如變分自編碼器（Variational AutoEncoder，VAE）、自回歸模型（Autoregressive Model）等，GANs巧妙地結(jié)合了G和D，采用兩者相互的動(dòng)態(tài)對(duì)抗，達(dá)到互利共贏的特性，可以極大地去處理傳統(tǒng)的生成模型不能處理的復(fù)雜問題。GANs使用無監(jiān)督的學(xué)習(xí)方式，不需要大量的人工標(biāo)注圖像，實(shí)現(xiàn)了真正意義上的“智能”模式[14]。此外，GANs采用誤差反向傳播（Back Propagation，BP）方法進(jìn)行訓(xùn)練，不需要使用馬爾可夫鏈，因此不用對(duì)隱變量進(jìn)行推測(cè)，可以更快速地產(chǎn)生圖像。GANs不需要事先建模，而是直接對(duì)真實(shí)數(shù)據(jù)進(jìn)行采樣，因此所生成的圖像能夠更加逼真。盡管GANs有很多優(yōu)勢(shì)，但其自身也留有以下諸多缺點(diǎn)：（1）現(xiàn)實(shí)中GNAs難以維持納什平衡狀態(tài)；（2）GNAs易出現(xiàn)退化現(xiàn)象，一直生成相同的數(shù)據(jù)，無法再繼續(xù)學(xué)習(xí)，最終出現(xiàn)模式崩塌的現(xiàn)象；（3）在訓(xùn)練過程中GNAs易發(fā)生梯度消失現(xiàn)象；（4）GNAs模型自由度大，難以把控[15]。因此，GANs廣泛應(yīng)用仍存在著一定程度的局限性。

2 GANs變體模型

為了處理上述存在的缺陷，研究者們基于GANs已經(jīng)做了許多的優(yōu)化，并產(chǎn)生了一些GANs的變體模型。在基于GANs框架的基礎(chǔ)上，不斷對(duì)此進(jìn)行改進(jìn)和優(yōu)化，使得所生成的圖像細(xì)節(jié)更加完善，在圖像生成、圖像分類等圖像處理方面均有著重大的作用。本章主要介紹了幾種典型GANs的變體模型。

2.1 CGANs模型

2014年，Mirza等[16]提出了基于條件的生成式對(duì)抗網(wǎng)絡(luò)（Condition Generative Adversarial Nets，CGANs），使得GANs的無監(jiān)督的訓(xùn)練方式變成有監(jiān)督的訓(xùn)練方式。在原始GANs的基礎(chǔ)上，增加額外信息c，使得GANs可以根據(jù)圖像與對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練，并在測(cè)試訓(xùn)練階段根據(jù)給定標(biāo)簽來合成出特定圖像。圖2是CGANs模型結(jié)構(gòu)。

圖2 CGANs Fig.2 CGANs

CGANs模型的目標(biāo)函數(shù)公式為：

GANs模型未預(yù)先建模，其自由度較大，難以把控，而CGANs模型將原本無條件概率變成有條件概率，添加了“隱編碼”進(jìn)行監(jiān)督學(xué)習(xí)，從而解決了GANs自由度較大的問題，讓圖像的生成更具方向性。盡管CGANs在一定程度上增加了訓(xùn)練過程中的穩(wěn)定性，降低了模型訓(xùn)練所需要的時(shí)間，但最終生成的圖像數(shù)據(jù)質(zhì)量并不高，且由于需要大量的人工標(biāo)注的標(biāo)簽，所以CGANs需要較高的成本。

2.2 DCGANs模型

2015年，Radford等[17]提出了深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep Convolutional GANs，DCGANs），將CNN與GANs相結(jié)合，充分結(jié)合了CNN的結(jié)構(gòu)信息預(yù)測(cè)能力和GANs對(duì)抗策略優(yōu)化能力的優(yōu)勢(shì)，DCGANs模型結(jié)構(gòu)如圖3所示。

圖3 DCGANs Fig.3 DCGANs

DCGANs模型利用了CNN來替代GANs模型的多層感知機(jī)，其主要體現(xiàn)為：（1）DCGANs模型去除了池化層（Pooling Layer）和全連接層（Fully-connected layer）；（2）在生成器中采用了分?jǐn)?shù)跨步卷積來替換上采樣層，而判別器則采用了跨步卷積來替換下采樣層[18]；（3）在生成器和鑒別器中使用批量歸一化（Batch Normalization），避免初始化敏感的問題；（4）去除了全連接的隱藏層以獲得更深層次的體系結(jié)構(gòu)；（5）生成模型中輸入層和隱藏層使用ReLU激活函數(shù)，而輸出層使用tanh激活函數(shù)，在判別器中則使用LeakyReLU函數(shù)[19]，提高了訓(xùn)練的穩(wěn)定性。

DCGANs模型將CNN與GANs進(jìn)行結(jié)合，在生成器還是判別器中無論在物體的組成部分還是場(chǎng)景方面都充分地學(xué)習(xí)到了深度高級(jí)特征，能夠更豐富地表達(dá)原始數(shù)據(jù)，從而提高了最終合成出的圖片質(zhì)量。DCGANs模型具有一定的體系結(jié)構(gòu)約束，這些約束條件使它們?cè)谠S多情況下都能達(dá)到穩(wěn)定的訓(xùn)練。由于DCGANs是一種非監(jiān)督表示學(xué)習(xí)模型，不使用標(biāo)簽，因此模型訓(xùn)練的成本較低。但是，DCGANs只是改進(jìn)了原始GANs模型的結(jié)構(gòu)，并未從底層去解決GANs模型所存在的不穩(wěn)定的現(xiàn)象，且需要維持生成器和判別器的訓(xùn)練次數(shù)的均衡，極大地制約了DCGANs模型的廣泛使用。

2.3 InfoGANs模型

2016年Chen等[20]提出InfoGANs模型，通過信息最大化的GANs進(jìn)行可解釋表示的學(xué)習(xí)，類似于無監(jiān)督CGANs模型。將輸入的噪聲信息z分為兩個(gè)部分：一是不可壓縮的普通噪聲z，二是可解釋的隱變量c[21]。InfoGANs模型結(jié)構(gòu)如圖4所示。

圖4 InfoGANsFig.4 InfoGANs

通過約束c和生成數(shù)據(jù)的關(guān)系，讓c中帶有對(duì)生成數(shù)據(jù)的可解釋信息，根據(jù)最大化隱變量c與生成數(shù)據(jù)x的互信息I(c;x)來生成數(shù)據(jù)。在InfoGANs目標(biāo)函數(shù)中加入了正則項(xiàng)，如公式（3）所示：

其中，參數(shù)λ表示的是正則化的懲罰程度[22]。最大化I(c;G(z,c))是一件很難的任務(wù)，需要用到后驗(yàn)概率p(c|x),對(duì)此可以通過一個(gè)輔助分布來解決，引入q(c|x)來逼近p(c|x)，從而獲得互信息的下界，于是InfoGAN的目標(biāo)函數(shù)變?yōu)椋?/p>

傳統(tǒng)的GANs模型無約束，且對(duì)網(wǎng)絡(luò)輸入的噪聲也不好解釋，在CGAN中通過給噪聲合并一些類別數(shù)據(jù)，改變其輸出的形式，可以訓(xùn)練出指定類別的數(shù)據(jù)，具有一定程度的解釋，但是解釋性不強(qiáng)。InfoGANs讓網(wǎng)絡(luò)可以學(xué)到更多可解釋的特征，網(wǎng)絡(luò)訓(xùn)練結(jié)束之后，可以通過設(shè)定輸入生成器的隱含編碼來控制生成數(shù)據(jù)的特征，大大減少了所需成本，極大地限制了模型的自由度。但是，InfoGANs模型降低了生成數(shù)據(jù)的多樣性，并且需要和隱變量求互信息，根據(jù)互信息更新生成器和判別器，增大了計(jì)算量。

2.4 WGANs模型

GANs模型會(huì)有梯度消失、不穩(wěn)定和模式崩潰等現(xiàn)象[23]。為了解決這個(gè)問題，2017年Arjovsky等[24]提出了Wasserstein距離優(yōu)化的生成式對(duì)抗網(wǎng)絡(luò)（Wasserstein GANs，WGANs）。作者們采用Wasserstein距離來代替原來的JS距離，以此來衡量生成樣本和真實(shí)樣本二者存在的距離，通過縮小這個(gè)距離來拉近二者的分布。WGANs的目標(biāo)函數(shù)為：

對(duì)D加上了1-Lipschitz的約束，表示要求D(x)的增量不大于x增量的1倍，這可以限制D(x)的增長(zhǎng)速度，不至于過快，從而達(dá)到一個(gè)平滑的特性。相對(duì)于GANs模型，WGANs模型做了如下的改進(jìn)：（1）判別模型的輸出層不再采用sigmoid函數(shù)；（2）對(duì)于生成模型和判別模型的損失函數(shù)不使用log；（3）對(duì)于判別模型的權(quán)重更新，每次都截取到一定的范圍內(nèi)；（4）優(yōu)化算法采用RMSProp或者SGD，不采用Adam。

WGANs很大程度上解決了GANs中存在的模式崩潰，從而避免了生成數(shù)據(jù)種類較少的情況，由于采用Wasserstein距離來取代GANs的JS距離，在理論上可以解決GANs存在的梯度消失的情況。但是實(shí)際上，由于WGANs對(duì)判別模型的參數(shù)更新使用暴力的權(quán)重剪枝（weight clipping），即設(shè)置一個(gè)閾值c，將參數(shù)限制在(-c,c)之間，從而間接符合了Lipschitz條件，但會(huì)讓這些梯度都集中在邊界值上，閾值如果過大會(huì)產(chǎn)生梯度爆炸，過小會(huì)產(chǎn)生梯度消失，此外，權(quán)重剪枝的更新方法會(huì)使得訓(xùn)練模型變得困難，導(dǎo)致模型收斂變慢，甚至存在收斂失敗的風(fēng)險(xiǎn)。

2.5 WGAN-GP模型

為了避免WGANs模型中可能存在的梯度消失現(xiàn)象，Gulrajani等[25]提出了WGAN-GP模型。WGAN-GP不再使用權(quán)重剪枝方法來暴力地限制參數(shù)，而是采用更溫和的方法，即梯度懲罰（gradient penalty）來滿足Lipschitz條件[26]。WGAN-GP的目標(biāo)函數(shù)為：

梯度懲罰就是采用一個(gè)額外的懲罰項(xiàng)將梯度和Lipschitz條件中的K值進(jìn)行關(guān)聯(lián)。

WGAN-GP是WGANs的升級(jí)版，通過在原WGANs上進(jìn)行改進(jìn)，采用梯度懲罰來更新參數(shù)，解決了WGANs在實(shí)際中存在的梯度消失或梯度爆炸的問題，加快了網(wǎng)絡(luò)的收斂，從而增加了模型的穩(wěn)定性，但由于所需參數(shù)多，規(guī)模大，因此訓(xùn)練模型所消耗的成本較高。

2.6 BigGANs模型

Brock等[27]提出BigGANs（Large Scale GANs），是一個(gè)大規(guī)模的GANs，是目前生成圖片質(zhì)量最好的一個(gè)網(wǎng)絡(luò)模型。BigGANs模型主要做了如下改進(jìn)：（1）增加了2~4倍的參數(shù)量以及8倍的batch尺寸；（2）對(duì)輸入z規(guī)定一個(gè)閾值來進(jìn)行適當(dāng)?shù)慕財(cái)?，舍棄高于這個(gè)范圍的值再進(jìn)行重采樣以滿足這個(gè)范圍；（3）在生成模型和判別模型中都采用了正則化的思想。

BigGANs可以大規(guī)模地用來生成更加逼真的圖像數(shù)據(jù)，通過“截?cái)嗉记伞笨梢栽黾幽Ｐ偷挠?xùn)練穩(wěn)定性，從而生成種類繁多的圖像數(shù)據(jù)。此外，訓(xùn)練的不穩(wěn)定性還來自生成器和判別器的相互對(duì)抗過程，因此采用正則化思想也能增加模型的穩(wěn)定性。但是，由于增加了參數(shù)量和batch尺寸，使得訓(xùn)練模型的成本增加。

2.7 其他GANs變體模型

Zhang等[28]提出了StackGANs模型，由于CGANs無法生成高分辨率的圖像，StackGANs在CGANs上做出了改進(jìn)，采用分段式方法進(jìn)行訓(xùn)練：第一階段用以合成粗略的較低分辨率的圖像；第二階段把前一階段的輸出圖像數(shù)據(jù)作為輸入，對(duì)此增加更多紋理細(xì)節(jié)來生成高分辨率的圖像數(shù)據(jù)。此外，StackGANs還可以將文本的內(nèi)容轉(zhuǎn)換為圖片的形式，是一個(gè)比較新穎的突破，但StackGANs存在著生成數(shù)據(jù)失敗的風(fēng)險(xiǎn)。Zhu等[29]提出了CycleGANs模型，具有循環(huán)機(jī)制，主要的思想是將圖像從一個(gè)域變成另一個(gè)域，該模型由兩個(gè)對(duì)稱的GANs結(jié)合，從而形成一個(gè)環(huán)，每個(gè)GANs同享兩個(gè)生成模型和自身擁有一個(gè)判別模型，可以使得訓(xùn)練不依賴于一對(duì)一的成對(duì)圖像，從而具有更好的適應(yīng)性[30]。CycleGANs對(duì)訓(xùn)練的數(shù)據(jù)要求較低，由于進(jìn)行無監(jiān)督學(xué)習(xí)，所需訓(xùn)練模型的成本較低，但模型訓(xùn)練不穩(wěn)定，導(dǎo)致生成的圖像數(shù)據(jù)質(zhì)量和分辨率都較低，甚至有生成數(shù)據(jù)失敗的風(fēng)險(xiǎn)。

雖然許多改進(jìn)的GANs已經(jīng)被提出，但還沒能很好地解決GANs留有的缺點(diǎn)。表1顯示了生成對(duì)抗網(wǎng)絡(luò)模型的各種變體的對(duì)比。

表1 改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)模型的對(duì)比Table 1 Comparison of improved generative adversarial networks model

通過分析各類GANs變體模型，可以得知原始GANs一般基于以下兩點(diǎn)做出優(yōu)化：（1）損失函數(shù)；（2）網(wǎng)絡(luò)結(jié)構(gòu)。CGANs加入額外信息，很大程度解決了模型自由度大的缺點(diǎn)，但模型成本較高，如后來出現(xiàn)的ACGAN、TACGAN等模型均以CGANs為基礎(chǔ)網(wǎng)絡(luò)做出各自的改進(jìn)。DCGANs將深度學(xué)習(xí)算法引入到GANs模型中，用CNN來提取原始圖像的特征，使模型更好地進(jìn)行特征學(xué)習(xí)，采取分步幅卷積、整步幅卷積、BN層等對(duì)模型進(jìn)行改進(jìn)，使生成的圖像數(shù)據(jù)更具豐富性，但不適用于處理文本數(shù)據(jù)。InfoGANs通過信息最大化進(jìn)行學(xué)習(xí)，生成的數(shù)據(jù)具有可解釋性，訓(xùn)練成本低，但由于需要計(jì)算互信息，增大了模型的計(jì)算量。WGANs從損失函數(shù)方面對(duì)GANs進(jìn)行改進(jìn)，采取Wasserstein距離替換JS距離，理論上可以避免梯度消失或爆炸，加快模型收斂速度，但實(shí)際上由于采用權(quán)重截?cái)噙€是會(huì)有梯度消失或爆炸的現(xiàn)象。而WGAN-GP采用溫和的梯度懲罰代替WGANs的權(quán)重截?cái)?，避免?huì)出現(xiàn)梯度消失或爆炸的現(xiàn)象，模型收斂速度明顯增加，訓(xùn)練更加穩(wěn)定，但參數(shù)量大、訓(xùn)練成本較高。BigGANs是目前生成圖像數(shù)據(jù)質(zhì)量較好的模型，但模型參數(shù)量和規(guī)模較大，所需成本也比較高。StackGANs可以生成出高分辨率的圖像，還可以將文本內(nèi)容轉(zhuǎn)變成圖像數(shù)據(jù)，但會(huì)存在生成數(shù)據(jù)失敗的情況。CycleGANs通過兩個(gè)對(duì)稱的GANs形成環(huán)，可以將圖像的風(fēng)格進(jìn)行轉(zhuǎn)換，但生成的圖像數(shù)據(jù)質(zhì)量和分辨率都較低。

3 GANs在醫(yī)學(xué)圖像處理中的應(yīng)用

監(jiān)督學(xué)習(xí)是目前較為先進(jìn)的技術(shù)，但是需要大批的帶標(biāo)簽的數(shù)據(jù)集來對(duì)模型進(jìn)行訓(xùn)練，在醫(yī)學(xué)領(lǐng)域內(nèi)，由于數(shù)據(jù)的特殊性，符合不了監(jiān)督學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)集的要求，因此提出了生成對(duì)抗網(wǎng)絡(luò)模型及其變體，生成與原始數(shù)據(jù)分布一致的數(shù)據(jù)，可以有效地緩解醫(yī)學(xué)領(lǐng)域內(nèi)數(shù)據(jù)少、類別不平衡等問題。GANs自2014年第一次提出以來，就成為一個(gè)熱門話題，其在圖像生成、圖像分割等醫(yī)學(xué)圖像處理方面均取得了不錯(cuò)的效果。

3.1 圖像生成

GAN用于樣本的生成是最為廣泛的，它可以從大量的無標(biāo)簽數(shù)據(jù)中生成數(shù)據(jù)來對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充，可以很好地解決醫(yī)學(xué)圖像數(shù)據(jù)量緊缺的問題。研究者們將傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法和GANs做了對(duì)比，在對(duì)比結(jié)果中可以得知用GANs生成的醫(yī)學(xué)圖像具有很高的可信度。

Zhao等[31]提出Tub-GANs和Tub-SGANs模型來合成視網(wǎng)膜和神經(jīng)元圖像，結(jié)果表明可以從相同的管狀結(jié)構(gòu)注釋中合成各種圖像，有助于改善圖像的分割性能；Plassard等[32]提出DCGANs模型，將DCNN和GANs結(jié)合，生成了擁有高信噪比的數(shù)據(jù)；Bowles等[33]提出WGANs模型，用Wasserstein距離來替換原來的JS距離，可以減少生成圖像的錯(cuò)誤；Mok等[34]提出CBGAN模型，將生成圖像階段分為粗生成和細(xì)生成，可以生成邊界更加清晰的腦瘤圖像；Sun等[35]提出ANT-GANs模型，不僅可去除圖像中的病變區(qū)域，而且可以生成含病變區(qū)域的圖像；姚哲維等[36]基于CycleGANs做出了改進(jìn)，引入Wasserstein距離作為正則化項(xiàng)（W-CycleGANs）對(duì)血管內(nèi)超聲圖像進(jìn)行增強(qiáng)，可以加快收斂，性能明顯高于CycleGANs；Diaz-Pinto等[37]提出DCGANs模型來合成新型圖像，最終能生成逼真的視網(wǎng)膜圖像；Gihyun等[38]使用自動(dòng)編碼GAN合成3D腦MRI圖像，可以從一小組訓(xùn)練數(shù)據(jù)中成功生成各種類型和形式的3D全腦體積；Kansal等[39]利用了GAN模型生成數(shù)據(jù)集，利用這些合成數(shù)據(jù)來彌補(bǔ)訓(xùn)練數(shù)據(jù)的不足，從而進(jìn)一步提高CNN的分類性能；Baydoun等[40]結(jié)合Resnet、UNet和CGANs模型合成了胸部CT圖像，其在MAPE和均方根誤差上均有較好的結(jié)果；Hamghalam等[41]提出CycleGANs模型，擴(kuò)充了HTC MR圖像，可以更好地提高腫瘤的分割性能。生成對(duì)抗模型在圖像合成中的應(yīng)用如表2所示。

表2 生成對(duì)抗網(wǎng)絡(luò)模型在圖像合成中的應(yīng)用Table 2 Application of generative adversarial networks model in image synthesis

3.2 圖像分類

每個(gè)GANs都各自擁有判別器，GANs可以用于聯(lián)合分類，不僅可以對(duì)原始圖像分類，也可以對(duì)生成的圖像分類，因此GAN可以執(zhí)行較繁瑣的分類任務(wù)。

Joseph等[42]將CycleGANs應(yīng)用在腦圖像分類上，該模型可以生成高質(zhì)量的圖像，但是其在健康與病灶區(qū)的腦圖像分類上具有一定的誤差；劉寧等[43]提出條件深度卷積GANs（CDCGANs）對(duì)抑郁癥進(jìn)行分類，分類正確率明顯提高；商顯震等[44]將GANs和樸素貝葉斯的多分類方法結(jié)合起來對(duì)皮膚病問題進(jìn)行判斷，提高了準(zhǔn)確率和召回率；Rubin等[45]使用預(yù)訓(xùn)練的GANs（TOP-GANs）進(jìn)行無污染癌細(xì)胞的分類，通過在無污點(diǎn)成像流式細(xì)胞儀中可以實(shí)現(xiàn)快速、自動(dòng)和準(zhǔn)確的分類；劉坤等[46]采用半監(jiān)督GANs（SSGANs）對(duì)X光圖像進(jìn)行分類，與其他半監(jiān)督分類方法相比具有較優(yōu)越的性能；Das等[47]提出SGANs模型，對(duì)有限的標(biāo)記數(shù)據(jù)進(jìn)行自動(dòng)診斷，通過對(duì)抗建立通用的分類器，在臨床級(jí)OCT圖像的分類上，準(zhǔn)確度有較大的提高；Yu等[48]提出將GANs和拉曼光譜結(jié)合起來進(jìn)行分類，該方法不僅提高分類的準(zhǔn)確性，還解決了數(shù)據(jù)不足的問題；He等[49]提出帶標(biāo)簽平滑GANs（LSGANs）來對(duì)視網(wǎng)膜圖像進(jìn)行分類，在實(shí)際的OCT數(shù)據(jù)集上該方法有明顯的優(yōu)勢(shì)。Ghassemi等[50]用DCGANs來對(duì)腫瘤進(jìn)行分類，經(jīng)過驗(yàn)證，該模型獲得了較高的準(zhǔn)確率。Wang等[51]將GANs和CNN結(jié)合來對(duì)肺腺癌分類，采用GANs來擴(kuò)大數(shù)據(jù)集，使得CNN分類的準(zhǔn)確性有顯著的提高。Ma等[52]將DCGANs和ResNet結(jié)合在一起來對(duì)白細(xì)胞圖像分類，該模型有較好的分類準(zhǔn)確性。生成對(duì)抗模型在圖像分類中的應(yīng)用如表3所示。

表3 生成對(duì)抗網(wǎng)絡(luò)模型在圖像分類中的應(yīng)用Table 3 Application of generative adversarial networks model in image classification

3.3 圖像分割

圖像分割是把圖像分為多個(gè)區(qū)域，并把需要的區(qū)域從圖像中抽取出來，是圖像處理到圖像分析的關(guān)鍵一步。

蔣蕓等[53]采用條件深度卷積GANs（CDCGANs）對(duì)視網(wǎng)膜血管圖像進(jìn)行分割，在DRIVE和STARE上進(jìn)行驗(yàn)證，發(fā)現(xiàn)準(zhǔn)確率和敏感度均有所提高；何俊等[54]提出多尺度判別GANs對(duì)MRI圖像進(jìn)行分割，分割準(zhǔn)確性和魯棒性較高，達(dá)到了實(shí)時(shí)分割的要求；Shi等[55]使用DCGANs分割腦部MR圖像中的海馬體區(qū)域，與基于CNN等的其他方法相比，該方法有更好的性能；Liu等[56]采用半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)（SSGANs）進(jìn)行青光眼圖像的分割，在數(shù)據(jù)集ORIGA上所達(dá)到的效果明顯高于傳統(tǒng)模型，可以有效地輔助青光眼的診斷；Shen等[57]引入CGANs模型進(jìn)行X射線乳房腫塊分割，其分割性能有所提高。Han等[58]提出用于處理大規(guī)模乳房超聲的GAN（BUS-GANs），在內(nèi)部測(cè)試數(shù)據(jù)集和公共數(shù)據(jù)集上獲得了較高的分割精度；Rammy等[59]提出基于補(bǔ)丁的GANs模型（CPGANs），可以迭代地學(xué)習(xí)視網(wǎng)膜圖像中的粗細(xì)血管，大幅度地提高了分割的性能；Park等[60]提出M-GANs，通過堆疊的深度完全卷積網(wǎng)絡(luò)平衡損失來進(jìn)行分割，其在精度、IOU、F1和MCC上均取得較好的結(jié)果；Lei等[61]提出帶有雙重鑒別器的GANs模型，在ISIC皮膚病變挑戰(zhàn)數(shù)據(jù)集上進(jìn)行評(píng)估，獲得了較好的分割性能；Ruan等[62]通過多分支特征共享GANs（MBFSGANs）對(duì)CT圖像的腎臟腫瘤進(jìn)行分割，獲得了較高的精確度；Vivek等[63]提出基于CGANs模型，對(duì)乳腺腫瘤進(jìn)行分割，其在DICE和IOU指標(biāo)上均有所提高；Li等[64]提出GANs模型由3D U-Net和分類網(wǎng)絡(luò)組成，在BraTS2017腦腫瘤MRI圖像上進(jìn)行實(shí)驗(yàn)，獲得了較高的準(zhǔn)確性。生成對(duì)抗模型在圖像分割中的應(yīng)用如表4所示。

表4 生成對(duì)抗網(wǎng)絡(luò)模型在圖像分割中的應(yīng)用Table 4 Application of generative adversarial networks model in image segmentation

3.4 目標(biāo)檢測(cè)

在醫(yī)學(xué)領(lǐng)域，圖像目標(biāo)檢測(cè)是診斷和治療的必要條件，通過判別模型輸出的概率可以對(duì)病變等異常位置進(jìn)行一個(gè)檢測(cè)。

李明等[65]結(jié)合GANs和Faster R-CNN來對(duì)圖像進(jìn)行檢測(cè)，可提高檢測(cè)的效率；Chen等[66]提出基于GANs模型的方法，幫助計(jì)算機(jī)實(shí)現(xiàn)無監(jiān)督的方式下檢測(cè)病變區(qū)域，在AUC指標(biāo)上獲得了較高的結(jié)果；Avi等[67]將GANs和完全卷積網(wǎng)絡(luò)（FCN）結(jié)合，從而改善自動(dòng)病變檢測(cè)，在每例圖像中，平均假陽性率均有所降低；唐賢倫等[68]采用DCGANs對(duì)圖像進(jìn)行檢測(cè)，該模型可以很有效地提升檢測(cè)的精確度；張文勇等[69]提出增強(qiáng)型半監(jiān)督GANs對(duì)糖尿病視網(wǎng)膜病變進(jìn)行檢測(cè)，實(shí)現(xiàn)了更高的檢測(cè)精度和泛化能力；Schlegl等[70]提出f-AnoGANs模型能快速地進(jìn)行無監(jiān)督異常檢測(cè)，該模型有著較高的異常檢測(cè)精度；龍勝春等[71]采用GANs來檢測(cè)彩色眼底圖像硬性滲出，在e-ophtha EX和DIARETDB1數(shù)據(jù)集上的平均靈敏度等均有所提高；Bisneto等[72]提出CGANs模型來自動(dòng)地對(duì)青光眼進(jìn)行檢測(cè)，取得了較好的結(jié)果；Swiderski等[73]提出自動(dòng)編碼器GANs（AGANs）來對(duì)乳房X射線圖像的腫瘤進(jìn)行檢測(cè)，在準(zhǔn)確性、AUC等評(píng)價(jià)指標(biāo)上均獲得了較高的結(jié)果；Hai等[74]提出基于注意力編碼器和多分支結(jié)構(gòu)的GANs（AMD-GANs）對(duì)眼底疾病進(jìn)行檢測(cè)，該模型對(duì)病變區(qū)域獲得了較好的檢測(cè)性能；Zhao等[75]提出基于三方GANs（Tripartite-GANs）來改善腫瘤檢測(cè)，該模型檢出腫瘤的準(zhǔn)確性較高；Rui等[76]采用消息重要性度量（MIM）的指數(shù)形式代替原始GANs的對(duì)數(shù)形式，在異常檢測(cè)方面達(dá)到了較好的性能。生成對(duì)抗模型在圖像目標(biāo)檢測(cè)中的應(yīng)用如表5所示。

3.5 圖像超分辨率重建

圖像的超分辨率重建（Super Resolution Image Reconstruction，SRIR）的目的是恢復(fù)低分辨率（Low Resolution，LR）圖像的紋理信息或高頻信息等，從而合成出高分辨率圖像（High Resolution，HR），是目前圖像重建所研究的熱點(diǎn)，應(yīng)用范圍十分廣泛，如衛(wèi)星成像[77]、醫(yī)學(xué)圖像等多個(gè)范疇。到目前為止，有三種常用的方法用于圖像的超分辨率中：（1）基于插值[78]；（2）基于重建[79]；（3）基于學(xué)習(xí)[80]。而基于學(xué)習(xí)的方法是主流的方法。在采用GANs之前已經(jīng)出現(xiàn)了許多方法被應(yīng)用在圖像的超分辨率重建中，如Dong等[80]提出三層卷積網(wǎng)絡(luò)（SRCNN），實(shí)現(xiàn)簡(jiǎn)單，但由于模型層數(shù)不夠深，不能很好地學(xué)習(xí)到圖像紋理特征，泛化性能較差，因此不能達(dá)到很好的重建效果；Shi等[81]在模型中加入亞像素卷積層，可以減少模型的計(jì)算量，加快模型的收斂；Kim等[82]增加網(wǎng)絡(luò)層數(shù)，從而去得到較深層的圖像特征，并采用殘差網(wǎng)絡(luò)來避免梯度消失；Lim等[83]去除了BN層；由于單尺度提取特征容易遺漏一些圖像的細(xì)節(jié)且隨著網(wǎng)絡(luò)模型不斷增加容易出現(xiàn)梯度消失的情況，應(yīng)自爐等[84]提出多尺度殘差網(wǎng)絡(luò)模型，不僅可以充分學(xué)習(xí)到圖像的特征還能加強(qiáng)特征的傳播。以上基于深度卷積的方法雖有很高的峰值信噪比（Peak Signal-to-Noise Radio，PSNR），但最終的圖像質(zhì)量較低，因此，研究者開始將GANs用于圖像超分辨率重建中來。

Ledig等[85]采用GANs對(duì)圖像進(jìn)行超分辨率重建中（SRGANs），利用生成器和判別器之間的相互對(duì)抗學(xué)習(xí)方式，來對(duì)圖像進(jìn)行重建，恢復(fù)細(xì)節(jié)后的圖像在視覺上有所提升；Wang等[86]在GANs中引入殘差塊，并去除了BN操作，提出了一個(gè)增強(qiáng)型SRGANs（ESRGANs），重建后的圖像質(zhì)量明顯提高，且有著更逼真的細(xì)節(jié)紋理信息；Shamsolmoali等[87]采用漸進(jìn)式GANs（G-GANISR），判別器采用最小二乘損失函數(shù)替換交叉熵，提高訓(xùn)練的穩(wěn)定性，與原始GANs進(jìn)行比較得出，該方法在效率和穩(wěn)定性上均有所提升；Guan等[88]提出了一種新模型（SRDGANs），在GMSR數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)表明該模型可以有效地進(jìn)行細(xì)節(jié)的恢復(fù)和圖像去噪；李誠(chéng)等[89]提出殘差密集GANs來改善卷積網(wǎng)絡(luò)對(duì)于特性利用率較低的問題，該模型在Set5等數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)表明該模型可以加快收斂速度的同時(shí)提升對(duì)細(xì)節(jié)紋理的恢復(fù)和圖像的質(zhì)量；王冬冬等[90]采用一種改進(jìn)的GANs算法，利用Wasserstein距離和殘差塊，并去除BN層，在加快模型收斂的同時(shí)減少計(jì)算量，該模型在PSNR和SSIM上均有所提升；彭晏飛等[91]目標(biāo)函數(shù)采用hinge損失，Charbonnier損失替換L2損失，避免圖像產(chǎn)生偽影，去除BN層，采用譜歸一化（Spectral Normalization，SN）來減小計(jì)算量，從而減少訓(xùn)練成本，提高模型的穩(wěn)定性，實(shí)驗(yàn)證明該模型在PSNR和SSIM上都有提高，測(cè)試時(shí)間明顯降低，圖像質(zhì)量也有提高；Zhao等[92]提出拉普拉斯金字塔GANs（LSRGANs）用于圖像重建，實(shí)驗(yàn)表明，該模型可以避免產(chǎn)生的假細(xì)節(jié)，從而生成更高質(zhì)量的圖像，PSNR和SSIM上的得分都有提升。生成對(duì)抗模型在圖像超分辨率重建中的應(yīng)用如表6所示。

表6 生成對(duì)抗網(wǎng)絡(luò)模型在圖像超分辨率重建中的應(yīng)用Table 6 Application of generative adversarial networks model in super resolution image reconstruction

根據(jù)上述對(duì)GANs在各個(gè)領(lǐng)域的列舉，可以知道GANs在醫(yī)學(xué)圖像中應(yīng)用十分廣泛，特別是在圖像合成中，可以將少量的數(shù)據(jù)集進(jìn)行擴(kuò)充；由于每個(gè)GANs都自帶一個(gè)判別器，GANs可以進(jìn)行聯(lián)合分類，不僅可以將原始圖像進(jìn)行分類，生成的圖像也可以進(jìn)行分類，因此GANs也被用于圖像分類中；對(duì)于現(xiàn)有的很多分割模型，都是對(duì)每個(gè)像素進(jìn)行預(yù)測(cè)，而忽略了像素領(lǐng)域?qū)ζ涞挠绊?，這會(huì)導(dǎo)致分割精確度下降，因此可以將GANs的生成模型換成語義分割模型，分割模型與判別模型進(jìn)行對(duì)抗學(xué)習(xí)，使得空間上更具一致性，最終可以輸出分割后的圖像，此外還能降低過擬合；GANs在目標(biāo)檢測(cè)領(lǐng)域也有其優(yōu)勢(shì)，對(duì)于較小的區(qū)域，可能會(huì)存在丟失紋理信息等問題，直接進(jìn)行檢測(cè)會(huì)導(dǎo)致結(jié)果有所偏差，GANs的生成網(wǎng)絡(luò)可以將圖片進(jìn)行重建，將低分辨率的圖片變?yōu)楦叻直媛实膱D像，恢復(fù)其紋理信息，再用判別網(wǎng)絡(luò)對(duì)圖像的真假做出判斷，可以提高小目標(biāo)檢測(cè)的精確度；GANs也逐漸開始應(yīng)用在圖像超分辨率重建領(lǐng)域，可以恢復(fù)圖像的紋理細(xì)節(jié)、高頻信息等，因此該應(yīng)用可以給其他應(yīng)用做基礎(chǔ)，如為圖像分割、目標(biāo)檢測(cè)等提供一個(gè)高分辨率的圖像來作為判別網(wǎng)絡(luò)的輸入，從而提高分割、檢測(cè)的精確度。

4 總結(jié)與展望

本文首先簡(jiǎn)述了GANs模型的理論和組成結(jié)構(gòu)；然后介紹了幾種典型的變體模型，闡述了GANs模型在圖像生成、圖像分割等應(yīng)用領(lǐng)域上的研究進(jìn)展及現(xiàn)狀，并進(jìn)行了總結(jié)。最后，深入分析研究現(xiàn)狀和問題，進(jìn)一步總結(jié)和討論了深度學(xué)習(xí)在醫(yī)學(xué)圖像處理范疇中未來發(fā)展的趨勢(shì)和所面對(duì)的挑戰(zhàn)。自2014年提出GANs至今，其被廣泛地應(yīng)用在醫(yī)學(xué)圖像處理中，醫(yī)學(xué)數(shù)據(jù)十分稀缺，標(biāo)注不清晰，人工標(biāo)注會(huì)浪費(fèi)人力且容易出現(xiàn)錯(cuò)診、漏診現(xiàn)象，但用監(jiān)督學(xué)習(xí)通常需要大規(guī)模的數(shù)據(jù)集來訓(xùn)練模型，根據(jù)表2可知，GANs被廣泛地應(yīng)用在圖像合成方面，以此來彌補(bǔ)圖像不足的問題。此外GANs在圖像分類、圖像分割等方面也可以發(fā)揮很好的效果。與CNN相比之下，GANs的主要優(yōu)點(diǎn)是注重原始圖像的潛在概率密度分布，從而發(fā)現(xiàn)數(shù)據(jù)的分布信息，雖然GANs取得了一定的成果，但也暴露了許多不足之處，具體表現(xiàn)如下：

（1）生成的數(shù)據(jù)多樣性不足

GANs在醫(yī)學(xué)圖像的合成中發(fā)揮著重要的作用，原始的GANs結(jié)構(gòu)較為單一，只能學(xué)習(xí)到部分圖像特征合成出小批圖像數(shù)據(jù)，研究者們對(duì)此提出了改進(jìn)，如CGANs增加條件信息指定生成的圖像、DCGANs聯(lián)合GANs與CNN學(xué)習(xí)到更深層的特征來使得合成的數(shù)據(jù)更具豐富性。但仍受許多因素的制約，如：圖像的尺寸、加深模型帶來更多計(jì)算量問題等。此外，在實(shí)際中，生成模型和判別模型很難維持納什均衡，而一旦性能差距過大就會(huì)出現(xiàn)模型退化現(xiàn)象，生成同樣的圖像數(shù)據(jù)，造成了數(shù)據(jù)種類較少的問題。

（2）梯度消失

GANs運(yùn)用BP傳播算法，越靠近輸入層，梯度越小，越易出現(xiàn)梯度消失現(xiàn)象，WGANs利用Wasserstein距離替換JS距離，理論上可以避免梯度消失，但實(shí)際上卻做不到，而WGAN-GP采用溫和的梯度懲罰，雖然可以避免梯度消失，加快收斂，但隨之而來的是計(jì)算量大，訓(xùn)練的成本增加。

（3）模型訓(xùn)練效率過低

主要是由于模式崩潰以及模型結(jié)構(gòu)復(fù)雜所引起。由于G生成的數(shù)據(jù)給D進(jìn)行推斷的時(shí)候，如果D不能給出一個(gè)相對(duì)正確的評(píng)價(jià)，就會(huì)導(dǎo)致結(jié)果缺失了一些重要的信息，最終導(dǎo)致模式崩潰，降低模型的訓(xùn)練效率；此外，由于模型結(jié)構(gòu)過于復(fù)雜，模型訓(xùn)練時(shí)間增加也會(huì)導(dǎo)致效率過低。

（4）GANs應(yīng)用領(lǐng)域較為局限

GANs雖然在圖像生成、圖像分類等方面均有所應(yīng)用，但GANs一般只能用于圖像數(shù)據(jù)的處理中，而對(duì)于文本數(shù)據(jù)的處理則較為局限，因此GANs在自然語言處理（Natural Language Processing，NLP）等領(lǐng)域中發(fā)展較為緩慢。

（5）模型訓(xùn)練成本高

對(duì)于原始GANs，許多研究者做出了各自的改進(jìn)，雖然解決了原始GANs的一些不足之處，但隨之而來的是增大了模型的計(jì)算量，將模型結(jié)構(gòu)變得更加復(fù)雜，導(dǎo)致訓(xùn)練成本增加，如WGAN-GP、BigGANs等。

根據(jù)對(duì)GANs及其變體的分析，本文對(duì)GANs進(jìn)行總結(jié)，得出解決以下挑戰(zhàn)是GANs能夠進(jìn)一步發(fā)展的關(guān)鍵：

（1）注重算法的改進(jìn)，理論進(jìn)行突破。要避免GANs生成數(shù)據(jù)多樣性不足的問題，可以從算法進(jìn)行改進(jìn)，添加合理的約束信息，結(jié)合其他深度學(xué)習(xí)算法的優(yōu)點(diǎn)來進(jìn)行改進(jìn)，此外在實(shí)際中，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)二者難以維持納什均衡，可以從理論上進(jìn)行研究，分析二者在實(shí)際中難以維持納什均衡的原因。

（2）從算法進(jìn)行突破，增大GANs的應(yīng)用范圍。GANs對(duì)連續(xù)型數(shù)據(jù)的處理有著較高效的算法，但對(duì)于離散型數(shù)據(jù)的算法性能卻較低，因此可以對(duì)算法進(jìn)行改進(jìn)，讓GANs也能高效地處理離散型數(shù)據(jù)，從而廣泛地應(yīng)用在其他領(lǐng)域中。

（3）探索GANs底層傳播機(jī)制。梯度消失、模型訓(xùn)練效率過低很大程度上會(huì)阻止GANs很好地應(yīng)用在醫(yī)學(xué)圖像領(lǐng)域，導(dǎo)致GANs對(duì)數(shù)據(jù)的處理速度過慢甚至是失敗，因此可以合理地借助工具去了解GANs的底層BP傳播機(jī)制，從而對(duì)GANs進(jìn)行改進(jìn)。

（4）維持GANs能和成本相對(duì)平衡。雖然有些GANs變體模型可以生成高質(zhì)量的圖像數(shù)據(jù)，如BigGANs，但該模型需要多個(gè)GPU進(jìn)行訓(xùn)練，計(jì)算量大，因此成本相對(duì)較高，增大模型的訓(xùn)練時(shí)間，降低效率。能夠維持GANs性能和成本的平衡，是將模型更好地應(yīng)用在醫(yī)學(xué)圖像處理的關(guān)鍵一步。

將GANs模型應(yīng)用在醫(yī)學(xué)領(lǐng)域是目前研究的熱點(diǎn)，許多高性能的優(yōu)化模型也相繼提出，相信在未來，GANs模型可以更廣泛地應(yīng)用在醫(yī)學(xué)圖像處理中。