生成對抗網(wǎng)絡(luò)在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的應用

常 曉，蔡 昕，楊 光，聶生東*

生成對抗網(wǎng)絡(luò)在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的應用

常 曉1，蔡 昕1，楊 光2，聶生東1*

1. 上海理工大學醫(yī)學影像工程研究所，上海 200082；2. 華東師范大學 物理與電子科學學院，上海 200062

近年來，生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）以其獨特的對抗訓練機制引起廣泛的關(guān)注，應用場景也逐漸延伸到醫(yī)學圖像領(lǐng)域，先后出現(xiàn)了眾多優(yōu)秀的研究成果．本文首先介紹了GAN的理論背景及衍生出的典型變體，特別是多種用于醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的基礎(chǔ)GAN模型．隨后從多種不同的目標任務(wù)和訓練方式出發(fā)，對前人的研究成果進行了歸納總結(jié)，并對優(yōu)缺點進行了分析．最后就目前GAN在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域存在的不足以及未來的發(fā)展方向進行了細致討論．

生成對抗網(wǎng)絡(luò)（GAN）；醫(yī)學影像；圖像轉(zhuǎn)換；多模態(tài)；深度學習

引 言

生成對抗網(wǎng)絡(luò)[1]（Generative Adversarial Network，GAN）自2014年被提出后就廣受關(guān)注，并因新穎的訓練方式率先在計算機視覺領(lǐng)域大放異彩，而后被引入圖像轉(zhuǎn)換（Image Translation）領(lǐng)域[2-7].其目的是使一幅圖像在保留自身核心內(nèi)容的前提下，攜帶上另一個圖像數(shù)據(jù)集或者圖像樣本的部分屬性，并完成轉(zhuǎn)換．

GAN的這一思想恰好滿足了臨床醫(yī)學圖像領(lǐng)域的多種需求[8,9]．首先，臨床影像學檢查包含多種成像方法，它們各有優(yōu)缺點．譬如，計算機斷層掃描（Computed Tomography，CT）和正電子發(fā)射斷層掃描（Positron Emission Computed Tomography，PET）成像方式方便快捷，但有一定的輻射，且不適合孕婦和新生兒；而磁共振成像（Magnetic Resonance Imaging，MRI）掃描的優(yōu)勢之一便是無電離輻射．如果能由磁共振圖像估計出對應的CT/PET圖像，或者由低劑量CT/PET圖像估計高劑量CT/PET圖像，那么將大大擴展影像學的應用范圍．其次，為實現(xiàn)精準診療，醫(yī)學圖像的去噪尤為重要．GAN的出現(xiàn)為醫(yī)學圖像去噪提供了全新的思路，可通過網(wǎng)絡(luò)學習含噪圖像到去噪圖像的映射進而實現(xiàn)圖像去噪．然后，對于目前亟待解決的圖像超分辨問題（例如將厚層CT圖像轉(zhuǎn)換成薄層CT圖像、將低分辨率磁共振圖像轉(zhuǎn)換到高分辨率磁共振圖像），以及某些醫(yī)學領(lǐng)域中特殊的圖像轉(zhuǎn)換問題（例如將小樣本數(shù)據(jù)轉(zhuǎn)換為大樣本數(shù)據(jù)），GAN也會發(fā)揮一定功能．

除了GAN應用于醫(yī)學圖像轉(zhuǎn)換領(lǐng)域時臨床目標的區(qū)別，由于醫(yī)用數(shù)據(jù)收集的特殊性（比如難以收集海量的醫(yī)學數(shù)據(jù)，各家醫(yī)療機構(gòu)的數(shù)據(jù)難以互通，共享困難；醫(yī)療領(lǐng)域本身具有極強專業(yè)性和敏感性，企業(yè)想要得到高質(zhì)量的醫(yī)療數(shù)據(jù)往往需要付出更高的成本；醫(yī)生勾畫的金標準數(shù)據(jù)比較難以獲得），GAN在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的研究中采用的網(wǎng)絡(luò)訓練方式也有所區(qū)別，主要集中在以下三種：監(jiān)督式訓練、半監(jiān)督式訓練與無監(jiān)督式訓練．其中，后兩者在實際臨床應用中更加廣泛，而這也與GAN開發(fā)中的無監(jiān)督或者弱監(jiān)督屬性不謀而合．為便于從事該領(lǐng)域的研究人員根據(jù)自身數(shù)據(jù)集的特點，尋適合適的訓練方式，我們對于這部分的文獻也進行了梳理總結(jié)，盡量涵蓋多種成像手段，這也是我們有別于其他同類綜述的新穎之處．

本文主要針對GAN在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的熱門研究進行綜述：第一部分介紹了原始GAN模型與文獻中多有涉及的幾種典型變體，以及常用于醫(yī)學圖像轉(zhuǎn)換的基礎(chǔ)GAN模型；第二、第三部分分別從目標任務(wù)、訓練方式的角度系統(tǒng)梳理了近年來GAN在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的應用；第四部分在對文獻總結(jié)分析的基礎(chǔ)上，詳細討論了目前存在的問題與未來的發(fā)展方向．

1 GAN及其改進模型

1.1 原始GAN模型及典型變體

2014年，Goodfellow等[1]提出了最初的GAN模型，它是一種無監(jiān)督機器學習框架．完整的GAN模型由生成器G和鑒別器D組成：G負責捕捉數(shù)據(jù)的分布，并學習如何生成相同分布的數(shù)據(jù)；D是一個二元分類器，負責評估該分布來自真實分布的概率，整個訓練就是一個對抗模式，如圖1所示．

但隨著研究的深入，原始GAN存在的問題逐漸暴露，具體表現(xiàn)為：（1）訓練結(jié)果不穩(wěn)定；（2）生成目標不明確，可控性不強；（3）生成器和鑒別器之間的訓練難以平衡；（4）生成圖像效果不理想且收斂速度慢；（5）出現(xiàn)模式坍塌現(xiàn)象，生成的樣本嚴重缺乏多樣性．針對這些問題，眾多優(yōu)秀的改進GAN模型相繼出現(xiàn)（圖2），改進策略主要集中在兩個方面：損失函數(shù)層面、網(wǎng)絡(luò)結(jié)構(gòu)層面. 對損失函數(shù)進行改進的模型包括：對抗損失依據(jù)條件概率優(yōu)化的條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Networks，CGAN）模型[10]、用最小二乘對抗損失替換交叉熵對抗損失的最小二乘生成對抗網(wǎng)絡(luò)（Least Squares Generative Adversarial Networks，LSGAN）模型[11]、用Wasserstein 距離替代JS距離（Jensen-Shannon distance）來定義目標函數(shù)的Wasserstein GAN（WGAN）模型[12]，以及含梯度懲罰項的Wasserstein GAN with Gradient Penalty（WGAN-GP）模型[13]等．典型的對網(wǎng)絡(luò)結(jié)構(gòu)改進的模型包括融入卷積神經(jīng)網(wǎng)絡(luò)的深度卷積生成對抗網(wǎng)絡(luò)（Deep Convolution Generative Adversarial Networks，DCGAN）模型、將CGAN網(wǎng)絡(luò)和拉普拉斯金字塔網(wǎng)絡(luò)（Laplacian Pyramid Network）相結(jié)合的拉普拉斯生成對抗網(wǎng)絡(luò)（Laplacian Generative Adversarial Network，LAPGAN）模型[14]、對生成圖像進行精細化鑒別的PatchGAN模型[15]、生成高分辨率圖像的漸進生長式生成對抗網(wǎng)絡(luò)（Progressive Growing of GANs，PGGAN）模型[16]等．

圖1 生成對抗網(wǎng)絡(luò)中生成器G與鑒別器D之間的對抗模式[1]

圖2 醫(yī)學圖像轉(zhuǎn)換領(lǐng)域的常用GAN模型. (a)按改進策略分類；(b)按訓練方式分類

1.2 半監(jiān)督式與無監(jiān)督式GAN模型

本文將結(jié)合目前的文獻信息，介紹幾種常用于醫(yī)學圖像轉(zhuǎn)換領(lǐng)域中的半監(jiān)督式訓練與無監(jiān)督式訓練的GAN模型：Pix2Pix[15]、Pix2PixHD[2]、CycleGAN[3]．前兩者適用于配對數(shù)據(jù)集的圖像轉(zhuǎn)換，而后者則可以用在非配對數(shù)據(jù)集上．Pix2Pix是基于CGAN進行圖像轉(zhuǎn)換的條件GAN模型，選用U-Net[17]作為生成器架構(gòu)以共享底層圖像信息，選用PatchGAN作為鑒別器架構(gòu)以恢復圖像的高頻部分，目標函數(shù)包含對抗損失與L1損失以完整恢復出圖像的高低頻信息．Pix2PixHD是Pix2Pix的重要升級，生成器和鑒別器的設(shè)計都采用類似LAPGAN的思路，以支持高分辨率圖像的生成．但它們都在非配對數(shù)據(jù)集上表現(xiàn)不佳．CycleGAN的出現(xiàn)為非配對數(shù)據(jù)集的圖像轉(zhuǎn)換提供了思路．它通過訓練兩對生成器-鑒別器，實現(xiàn)圖像在兩個域之間的無監(jiān)督轉(zhuǎn)換. 它的特別之處在于引入了循環(huán)一致性約束，使得風格轉(zhuǎn)換后的圖像在反向轉(zhuǎn)換后可以回到轉(zhuǎn)換前的狀態(tài). 類似的還有DualGAN[18]和DiscoGAN[19]．

2 GAN在不同目標任務(wù)下的應用

2.1 含噪圖像轉(zhuǎn)化為去噪圖像

一直以來，醫(yī)學圖像的去噪都是一個重要的研究課題. GAN的出現(xiàn)為由含噪圖像生成去噪圖像提供了一個新思路．在CT領(lǐng)域，GAN主要應用于如何去除低劑量CT（Low-Dose CT，LDCT）圖像所含噪聲．2018年，Yang等[20]提出了一種融入感知相似度的WGAN模型，引入了人類的視覺感知概念．它能更好地保留去噪后圖像的細節(jié)特征，但拋棄了3D空間信息．隨后，Shan等[21]在Yang等[20]的基礎(chǔ)上，搭建了2D和3D相結(jié)合的基于輸送路徑的卷積編碼器（Conveying Path-based Convolutional Encoder-decoder，CPCE）．它彌補了前者浪費空間信息的不足，實現(xiàn)了更加快速的3D圖像去噪．Liao等[22]同樣受到Y(jié)ang等[20]工作的啟發(fā)，通過感知損失[20]來減少稀疏重建的錐束CT（Cone-Beam CT，CBCT）圖像的偽影．生成器選用LSGAN模型，鑒別器結(jié)合了PatchGAN模型和LAPGAN模型，很好地解決了跨尺度出現(xiàn)的條紋偽影. 該方法可以極大地校正使用1/3投影重建的臨床CBCT圖像中出現(xiàn)的錐束偽影．但它的不足之處在于對訓練數(shù)據(jù)要求較高，文中采用的是用67張投影圖重建的稀疏（sparse-view）圖像和200張投影圖重建的稠密（dense-view）圖像組成的配對數(shù)據(jù). 但上述GAN模型的損失函數(shù)容易引發(fā)梯度消失現(xiàn)象．為此，WGAN模型及其變體的應用研究開始受到了研究者們的關(guān)注[23,24]．針對人體不同部位解剖結(jié)構(gòu)的差異性與共通性，Huang等[25]借鑒條件GAN的思想，將解剖部位標簽融入WGAN網(wǎng)絡(luò)，充分利用解剖先驗信息，自適應地生成高分辨率的CT圖像．在磁共振領(lǐng)域，Ran等[26]提出一種端到端的基于WGAN的3D去噪模型，如圖3所示．不僅在生成器中加入了殘差塊來實現(xiàn)深層的圖像特征學習，更通過修改對抗損失提升噪聲抑制和結(jié)構(gòu)保持能力．

圖3 (a)加入殘差塊的生成器G的網(wǎng)絡(luò)框架[26]；(b)所用鑒別器D的網(wǎng)絡(luò)框架[26]

2.2 低分辨率圖像轉(zhuǎn)換為高分辨率圖像

高分辨率的影像數(shù)據(jù)可以為醫(yī)生提供更加準確、豐富的診斷信息．在將GAN與多種影像數(shù)據(jù)結(jié)合的研究中，大多要求低分辨率影像數(shù)據(jù)和對應的高分辨率影像數(shù)據(jù)配對出現(xiàn)．2018年，Chen等[27]在GAN的基礎(chǔ)上構(gòu)建了多層密集連接超分辨率網(wǎng)絡(luò)（multi-level Densely ConnectedSuper-Resolution Network，mDCSRN），用以實現(xiàn)從低分辨率3D磁共振圖像中恢復高分辨率細節(jié)．該研究的難點在于血管的生成，而該文章所生成圖像中的血管不僅維持了與金標準相同的形狀和大小，并且與灰質(zhì)之間的間隙也更加清晰．2020年，Sun等[28]通過結(jié)合GAN與單圖像超分辨率（Single Image Super-Resolution，SISR）技術(shù)，高質(zhì)量完成了動態(tài)對比度增強的乳腺磁共振圖像的超分辨任務(wù)[圖4(a)]．這項研究表明基于SISR，磁共振檢查的時間可以大大縮短，但該研究的不足之處在于數(shù)據(jù)量較小、缺乏多中心的數(shù)據(jù)和對局部特征的關(guān)注，并且沒有與其他自動化方法進行對比．不同于大多數(shù)超分辨研究需建立在配對數(shù)據(jù)集上的要求，2021年，Xie等[29]提出可以利用CycleGAN從不配對的磁共振圖像中，沿不同成像方位生成高分辨率的磁共振圖像，最后通過圖像融合達到超分辨目的．因為輻射劑量的關(guān)系，低劑量CT/PET圖像的超分辨率研究也相當重要．2018年，Wang等[30]基于3D CGAN從低劑量PET圖像中估計全劑量PET圖像[圖4(b)]．但該工作的完成極大依賴于配對數(shù)據(jù)的參與，且目前還只局限在腦部PET圖像．2019年，Kudo等[31]結(jié)合CGAN從厚層CT圖像中重建出薄層CT圖像[圖4(c)]．生成的CT圖像可以高分辨率準確再現(xiàn)主要解剖結(jié)構(gòu)，獲得了最佳的峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structure Similarity Index Measure/Mean Structure Similarity Index Measure，SSIM/MSSIM）和視覺圖靈測試結(jié)果，但目前只局限于正常組織圖像，未對病灶圖像進行深入研究．上述兩項工作的不足之處都是沒有結(jié)合多模態(tài)影像信息．2021年，De Farias等[32]利用帶有金字塔結(jié)構(gòu)的GAN模型生成超分辨率的CT圖像，大幅度增加了組學特征的數(shù)量，從而提升了基于特征建模的組學模型的診斷準確率．但該研究主要集中于病灶區(qū)域，尤其是病灶內(nèi)的影像特征，對全局圖像的一致性要求相對寬松（PSNR/SSIM都沒有顯著提高），但局限性在于必須提供勾畫好感興趣區(qū)域（Region of Interest，ROI）的影像數(shù)據(jù)．

2.3 模態(tài)轉(zhuǎn)換

在醫(yī)學圖像領(lǐng)域，影像數(shù)據(jù)間的轉(zhuǎn)換通常是作為一種輔助手段來提升影像診斷準確性，這里盡量涵蓋不同領(lǐng)域運用GAN進行模態(tài)轉(zhuǎn)換的研究成果．在多序列磁共振領(lǐng)域，2018年，Yu等[33]利用CGAN模型實現(xiàn)了從1加權(quán)磁共振圖像合成液體衰減反轉(zhuǎn)恢復（Fluid Attenuated Inversion Recovery，F(xiàn)LAIR）磁共振圖像，以改善由單一1加權(quán)圖像進行腦腫瘤分割的結(jié)果. 該方法對于不同外觀、不同大小、不同位置的腦腫瘤，均表現(xiàn)出很好的分割效果，但生成圖像的邊緣信息較為模糊．此后，該團隊又提出了一種邊緣感知3D-CGAN模型[34]以挖掘跨模態(tài)高質(zhì)量磁共振圖像合成中的更多可能性．其中的Sobel濾波器可以更好地恢復圖像邊緣信息，但該研究沒有基于驗證集進行最優(yōu)參數(shù)的選擇，且數(shù)據(jù)集必須配對收集，限制了其臨床應用．為避免輻射，由磁共振圖像估計CT圖像也是當下一大熱點，而這部分研究也要求數(shù)據(jù)集是配對收集的．例如，2017年，Nie等[35]就曾利用DCGAN模型，在給定磁共振圖像塊的情況下生成對應的CT圖像塊[圖5(a)]．該方法通過對損失函數(shù)進行修改，克服了圖像塊訓練中上下文信息丟失的問題．而Zhao等[36]也基于相似思路，利用由磁共振圖像中生成的CT圖像進行骨結(jié)構(gòu)分割．利用GAN既生成了CT圖像，又基于生成的CT圖像進一步生成了分割結(jié)果，充分體現(xiàn)了GAN網(wǎng)絡(luò)強大的域適應能力[圖5(b)]．特別地，這兩個研究[35,36]所用的數(shù)據(jù)高度重合. 為能夠進行僅MR引導的放射治療，Maspero等[37]集中評估了多種GAN模型快速合成CT圖像的表現(xiàn)，以及將其集成至MR引導的放射治療中的可行性. 這項研究通過融合多模態(tài)磁共振圖像來豐富圖像信息，解決了生成的CT圖像上氣腔（Air Pockets）位置與磁共振圖像不一致的問題，如圖5(c)中preparation所示．另外，還有不少從現(xiàn)有影像數(shù)據(jù)估計缺省影像數(shù)據(jù)的研究．2017年，Bi等[38]利用有監(jiān)督的方式通過多通道GAN（M-GAN）模型從CT數(shù)據(jù)合成了PET數(shù)據(jù)．2018年，Pan等[39]利用CycleGAN模型從MRI數(shù)據(jù)估計PET數(shù)據(jù)，從而借助完整的MRI和PET數(shù)據(jù)對阿茲海默癥進行診斷. 2020年，Wei等[40]利用加入注意力機制的CGAN，從多序列磁共振圖像估計出PET圖像，并進一步用于多發(fā)性硬化癥的個體縱向分析．2021年，Lewis等[41]在研究結(jié)核病時，利用GAN網(wǎng)絡(luò)實現(xiàn)X射線圖像到CT圖像的轉(zhuǎn)換，從而解決面臨資源匱乏型環(huán)境或危重患者時CT不可用的困境，依靠綜合生成的CT圖像將結(jié)核病識別率提高了7.50%．這些研究通過現(xiàn)有影像數(shù)據(jù)完成對缺省影像數(shù)據(jù)的估計，大大擴展了計算機輔助診斷的應用場景．它們的關(guān)鍵之處都在于生成圖像是否逼真，關(guān)于這一點，不僅要依賴于肉眼觀測，更要依靠諸如PSNR、MSE、FID（Fréchet Inception Distance）距離在內(nèi)的量化指標進行綜合考量．下游任務(wù)的表現(xiàn)性能也可以用來衡量生成結(jié)果的有效性．

(a) (b) (c)

圖5 三項針對磁共振圖像轉(zhuǎn)換為CT圖像的研究. (a)基于DCGAN，數(shù)據(jù)包括來自ADNI的大腦公開數(shù)據(jù)和自己獲取的骨盆數(shù)據(jù)[35]；(b)分割任務(wù)與圖像轉(zhuǎn)換任務(wù)依靠GAN網(wǎng)絡(luò)實現(xiàn)結(jié)合，數(shù)據(jù)也來自ADNI的大腦公開數(shù)據(jù)[36]；(c)僅MR引導的放射治療[37]

2.4 小樣本轉(zhuǎn)換為大樣本

目前，很多醫(yī)學圖像獲取的途徑較少，且存在各種困難，導致收集到的數(shù)據(jù)規(guī)模較?。虼?，如何對樣本數(shù)據(jù)進行有效增廣成為了研究熱點．在磁共振領(lǐng)域，2017年，Calimeri等[42]利用GAN網(wǎng)絡(luò)實現(xiàn)了人大腦磁共振圖像數(shù)據(jù)的擴充，有效提升了診斷算法的泛化能力，但僅能生成2D圖像，且質(zhì)量有待進一步提高，同時缺乏與其他GAN模型的結(jié)果對比. 隨后，Han等利用GAN實現(xiàn)了對多序列腦磁共振圖像的數(shù)據(jù)增廣[43]，利用條件PGGAN實現(xiàn)了轉(zhuǎn)移性腦瘤檢測任務(wù)中的數(shù)據(jù)增廣[44]，利用PGGAN來生成有腫瘤/無腫瘤的腦磁共振圖像以提高腫瘤檢測任務(wù)的敏感性[45]，分別如圖6(a)～(c)所示．這些工作大大減少了包括檢測、分割、分類等在內(nèi)的多種影像任務(wù)所需的標注數(shù)據(jù)量，能更精準地恢復圖像的細節(jié)信息，但不能實現(xiàn)端到端．2019年，Hassan Dar等[46]基于CGAN模型，通過合成多個具有不同對比度的相同解剖結(jié)構(gòu)的磁共振圖像來豐富可用的診斷信息．針對已配準的圖像，他們采取像素級損失和感知損失，而對于未配準的圖像則采用循環(huán)一致性損失．此方法可以實現(xiàn)端到端地圖像合成，能適應多種數(shù)據(jù)集類型．Appan等[47]和Iqbal等[48]均利用GAN進行視網(wǎng)膜病理圖像的擴充，分別提升了出血任務(wù)的自動檢測性能和視網(wǎng)膜血管的分割性能，解決了模型在小樣本數(shù)據(jù)集上表現(xiàn)不佳的問題. 利用GAN進行心電圖數(shù)據(jù)擴充可以解決數(shù)據(jù)集不平衡的問題[49-51]，消除數(shù)據(jù)稀缺的影響，提高心律失常分類模型的檢測靈敏度和精度．Madani等[52]將GAN網(wǎng)絡(luò)用于心血管異常分類任務(wù)中胸部X射線圖像數(shù)據(jù)的擴充．Bailo等[53]將Pix2PixHD模型應用到紅細胞分割任務(wù)的圖像擴充．Hallaji等[54]基于GAN提出一種對抗性插補分類網(wǎng)絡(luò)，以預測當數(shù)據(jù)中存在缺失值和類別不平衡時肝移植患者的生存機會．總而言之，利用GAN進行數(shù)據(jù)擴充的應用領(lǐng)域十分廣泛，具有很大的發(fā)展?jié)摿Γ?/p>

圖6 (a)利用GAN進行大腦磁共振圖像的增廣[43]；(b)腦腫瘤檢測中基于條件PGGAN的磁共振數(shù)據(jù)增廣[44]；(c)腦腫瘤檢測中融合了噪聲-圖像GAN和圖像-圖像GAN的磁共振數(shù)據(jù)增廣[45]

3 不同訓練方式下的GAN應用

不同的網(wǎng)絡(luò)訓練方式是為了滿足不同的數(shù)據(jù)集類型：包括全部為配對數(shù)據(jù)的數(shù)據(jù)集、全部為非配對數(shù)據(jù)的數(shù)據(jù)集和既有配對數(shù)據(jù)又有非配對數(shù)據(jù)的數(shù)據(jù)集．在上述應用場景中，多數(shù)任務(wù)的訓練采用有監(jiān)督方式進行，其好處是可以通過加入醫(yī)學先驗知識獲得準確性較高的結(jié)果. 但不少醫(yī)學圖像存在部分模態(tài)數(shù)據(jù)缺失或無標記數(shù)據(jù)的情況，另外兩種訓練方式得以衍生：半監(jiān)督式訓練和無監(jiān)督式訓練. 前者旨在使用少量的標記數(shù)據(jù)和大量的無標記數(shù)據(jù)進行模型訓練；而后者情況相對更加復雜，包括無標記數(shù)據(jù)和無配對數(shù)據(jù)兩種情況. 不同的GAN模型通過不同的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計以及不同的損失函數(shù)設(shè)計適應于不同的訓練模式．下文將介紹半監(jiān)督式和無監(jiān)督式訓練時的GAN應用.

3.1 半監(jiān)督的訓練方式

半監(jiān)督學習介于監(jiān)督學習和無監(jiān)督學習之間，可以在減少人力成本和時間成本的前提下獲得準確的診斷結(jié)果. 尤其對于小批量樣本來說，半監(jiān)督學習還有助于避免過擬合．2017年，Alex等[55]基于GAN模型先利用大量未標記的腦部病變磁共振圖像進行了預訓練，再通過提取少量標記患者的病灶區(qū)域?qū)W(wǎng)絡(luò)進行了微調(diào). 該方法大大減少了所需標記樣本的數(shù)量，減輕了臨床醫(yī)生的標記工作量，并且模型表現(xiàn)出很好的泛化能力．2018年，Madani等[56]在對胸部X光片進行心臟異常分類任務(wù)中，利用GAN實現(xiàn)心臟數(shù)據(jù)的增廣，證明了與傳統(tǒng)的監(jiān)督式卷積神經(jīng)網(wǎng)絡(luò)相比，半監(jiān)督學習的GAN模型達到同樣準確率所需的數(shù)據(jù)量減少了一個數(shù)量級．但該工作并未對多標簽疾病分類進行更多研究．Jiang等[57]通過GAN由大量的CT圖像合成磁共振圖像，再結(jié)合原始數(shù)量有限的磁共振圖像實現(xiàn)了半監(jiān)督的腫瘤分割任務(wù)，有效提高了腫瘤分割的準確性，如圖7(a)所示．2020年，You等[58]將半監(jiān)督學習框架與WGAN模型相結(jié)合，高效且魯棒地從低分辨率CT圖像中恢復準確的高分辨率CT圖像．但所提方法訓練時間較長，細微信息不能全部很好地恢復．Wang等[59]使用包括成對和不成對的表觀彌散系數(shù)（Apparent Diffusion Coefficient，ADC）-2加權(quán)磁共振圖像，利用多個GAN網(wǎng)絡(luò)實現(xiàn)多參數(shù)磁共振圖像合成的任務(wù)，如圖7(b)所示．該方法通過多個GAN網(wǎng)絡(luò)的搭建，巧妙地化解了全尺寸圖像生成的難度，將生成全尺寸圖像的任務(wù)分解為幾個生成子圖像的簡單任務(wù)，再利用StitchLayer以隔行掃描的方式將子圖像無縫融合，最終形成全尺寸的ADC-2加權(quán)圖像．2022年，Li等[60]利用LAPGAN生成大規(guī)模逼真的組織病理圖像及其掩膜，實現(xiàn)了針對組織病理圖像的半監(jiān)督分割. 但生成的部分圖像存在偽影，解決策略或許需要來自病理學家的先驗知識．

3.2 無監(jiān)督的訓練方式

醫(yī)學影像中包含很多無標記或非配對的數(shù)據(jù)，無監(jiān)督GAN模型的出現(xiàn)，為利用這些數(shù)據(jù)提供了途徑．基于CGAN模型，Zhang等[61]實現(xiàn)了基于無標記腺體顯微鏡圖像的準確分割．而Wolterink等[62]實現(xiàn)了從低劑量CT圖像到高質(zhì)量的常規(guī)劑量CT圖像的非配對合成．該研究的最大優(yōu)勢在于處理速度快，處理512 × 512 × 90的CT數(shù)據(jù)用時不超過10 s，但缺乏對全身不同部位CT圖像以及對于兒童的研究. 基于CycleGAN模型，Chartsias等[63]實現(xiàn)了不成對的人體心臟CT圖像到磁共振圖像的轉(zhuǎn)換. 生成圖像可以直接用于擴展某個給定任務(wù)的可用訓練集數(shù)據(jù)量．Wolterink等[64]基于CycleGAN模型，利用不成對的磁共振圖像與CT圖像實現(xiàn)磁共振圖像到CT圖像的轉(zhuǎn)換. 該研究為僅基于MRI的放療計劃提供了技術(shù)支持．Yang等[65]在Wolterink等[64]工作的基礎(chǔ)上，在輸入的磁共振圖像與合成的CT圖像間加入結(jié)構(gòu)的直接約束項，解決了部分實驗結(jié)果的結(jié)構(gòu)不一致問題，如圖8(a)所示．Bermudez等[66]通過對528個二維軸向腦部磁共振切片的學習，實現(xiàn)了基于GAN網(wǎng)絡(luò)進行1加權(quán)腦部磁共振圖像的無監(jiān)督合成，如圖8(b)所示．在兩名成像專家的盲法評估下，合成圖像的質(zhì)量得分與真實圖像的質(zhì)量得分基本重疊. 該項研究為大腦的結(jié)構(gòu)變化提供了定量框架．上述方法都是通過學習真實圖像的分布，來生成接近真實圖像的圖像. 而Mahmood等[67]設(shè)計了一種“反其道而行之”的無監(jiān)督學習算法，讓真實的醫(yī)學圖像分布逼近生成的醫(yī)學圖像分布，從而使這些經(jīng)過域適應的真實圖像數(shù)據(jù)可以用于那些利用合成數(shù)據(jù)訓練的網(wǎng)絡(luò). 該研究目前已被應用于內(nèi)窺鏡檢查中．2021年，Li等[68]利用無監(jiān)督GAN模型實現(xiàn)了光學顯微成像中的染色過程，可以在不需要配對訓練數(shù)據(jù)的情況下學習兩個圖像域之間的映射．該方法在不同的成像條件和成像模式下實現(xiàn)了穩(wěn)定和高保真度的圖像轉(zhuǎn)換，可以避免收集配對樣本時破壞樣本的問題．

(a) (b)

圖8 (a)使用結(jié)構(gòu)約束的cycleGAN進行非配對大腦磁共振數(shù)據(jù)-大腦CT數(shù)據(jù)的合成[65]；(b)用于合成T1加權(quán)磁共振圖像的GAN網(wǎng)絡(luò)架構(gòu)[66]

4 總結(jié)與展望

本文對基于GAN的醫(yī)學圖像轉(zhuǎn)換研究進行了總結(jié)，時間跨度為2017～2022年（表1）．由表1可以看出應用于磁共振圖像模態(tài)轉(zhuǎn)換的GAN研究最為普遍，主要是基于以下原因：MRI涉及眾多序列，成像時間相對較長，圖像轉(zhuǎn)換有助于減少時間成本；MRI具有較多的公共數(shù)據(jù)集，為模型訓練的研究提供了眾多樣本來源．另外，Pix2Pix模型在含噪圖像轉(zhuǎn)換至去噪圖像的任務(wù)中廣泛應用，但它要求數(shù)據(jù)必須配對出現(xiàn)，這就意味著所用損失函數(shù)中很有可能包含L1損失或者L2損失，用以保證結(jié)構(gòu)一致性．目前較為通用的三種模型性能評價指標包括均方誤差（Mean Square Error，MSE）、PSNR和SSIM，也可以結(jié)合任務(wù)需求通過在下游任務(wù)的表現(xiàn)來評價．

盡管GAN被越來越多地應用于醫(yī)學圖像轉(zhuǎn)換領(lǐng)域，但也存在一定局限．1）目前醫(yī)學領(lǐng)域的圖像-圖像轉(zhuǎn)換任務(wù)能實現(xiàn)的圖像尺寸大小有限，多數(shù)為256×256，甚至更小，因此不可避免的要裁剪掉一部分圖像才能適應網(wǎng)絡(luò)的需求．如果使用整幅圖像進行網(wǎng)絡(luò)訓練，必然能提供更多的有用信息，但也有可能削弱病灶處包含的圖像信息，影響最終決策．2）目前，含噪圖像至去噪圖像的轉(zhuǎn)換任務(wù)中大多只會模擬滿足某種特定分布的噪聲，這無疑會降低模型的魯棒性．當面對不同數(shù)據(jù)時，需要對模型重新進行訓練優(yōu)化．特別是在加入Wasserstein距離度量損失的模型中，當輸入數(shù)據(jù)和目標數(shù)據(jù)的分布發(fā)生變化時，就必須針對新的數(shù)據(jù)集重新調(diào)整訓練參數(shù)．3）采用GAN進行低分辨率圖像至高分辨率圖像的轉(zhuǎn)換或者模態(tài)轉(zhuǎn)換的任務(wù)時，對解剖結(jié)構(gòu)的一致性有嚴格限制．

表1 基于GAN的醫(yī)學圖像轉(zhuǎn)換研究

+表示在原來的模型上進行了改進；→表示單向轉(zhuǎn)換；LGAN表示生成對抗損失；Limage表示圖像域的元素級損失（像素級損失）；Lgradient表示梯度域的元素級損失；Lperceptual表示特征域的元素級損失；Lcycle表示循環(huán)一致性損失；LWGAN表示推土機距離損失；LSSIM表示結(jié)構(gòu)相似性損失；L1表示L1范數(shù)損失；Lfrequency表示頻率損失；LWGAN-GP表示加入梯度懲罰的推土機距離損失；Lseg表示分割圖中的像素級損失；Ledge表示類似于Lgradient，但加入了梯度特征圖作為圖像像素的權(quán)重；M1表示人眼觀察；M2表示核密度函數(shù)（Kernel density function）；M3表示IS（Inception Score，一種評價GAN模型的量化指標）；M4表示Qv（一種眼底圖像質(zhì)量的評價指標）；M5表示感知損失；M6表示紋理損失；M7表示均方根誤差（Root Mean Square Error，RMSE）/ 歸一化均方誤差（Normalized Mean Squared Error，NMSE）/ 平均絕對誤差（Mean Absolute Error，MAE）/ 均方誤差（Mean Square Error，MSE）；M8表示峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）；M9表示結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）；M10表示病變顯眼評分（Lesion conspicuity scores）；M11表示專家對于圖像質(zhì)量的打分；M12表示T-SNE（T-distributed Stochastic Neighbor Embedding，一種數(shù)據(jù)的降維與可視化方法）；M13表示視覺圖靈測試（Visual Turing test）；M14表示噪聲水平；M15～17均表示下游任務(wù)：M15表示分類任務(wù)，M16表示檢測任務(wù)，M17表示分割任務(wù)；?表示對應研究論文中未提及.

正是由于上述的局限性，GAN在醫(yī)學圖像轉(zhuǎn)換領(lǐng)域還具有廣泛的研究前景．1）目前的許多任務(wù)都是直接套用現(xiàn)有的GAN網(wǎng)絡(luò)，缺乏臨床知識的限定，未來可以將臨床的先驗知識加入網(wǎng)絡(luò)框架中；2）由于血管分割精細度的問題，GAN在這方面的應用目前還不多．3）2D訓練網(wǎng)絡(luò)和3D訓練網(wǎng)絡(luò)之間的聯(lián)動，以及如何將前者訓練得到的結(jié)果遷移到后者，還有待進一步研究．這不僅可以提高2D網(wǎng)絡(luò)的泛化能力，更可以促進3D網(wǎng)絡(luò)的初始化效果. 例如，可以分別訓練橫斷面、矢狀面、冠狀面的三個2D網(wǎng)絡(luò)，然后利用訓練好的2D網(wǎng)絡(luò)初始化3D模型．4）可利用集成學習來提高GAN模型性能．5）目前許多GAN模型在訓練時都融合多個損失函數(shù)，如何給不同損失函數(shù)設(shè)置權(quán)重以適應任務(wù)需求也是未來研究方向之一．6）在含噪圖像轉(zhuǎn)換至去噪圖像的過程中，可以考慮直接由原始的投影數(shù)據(jù)映射到目標圖像，避免在學習含噪圖像到去噪圖像的映射過程中一并學習噪聲特征．

無

[1] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Nets[C]. Advances in Neural Information Processing Systems, 2014: 2672-2680 .

[2] WANG T C, LIU M Y, ZHU J Y, et al. High-resolution image synthesis and semantic manipulation with conditional gans[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 8798-8807.

[3] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// Proceedings of the IEEE international conference on computer vision, 2017: 2223-2232.

[4] LI P L, LIANG X D, JIA D Y, et al. Semantic-aware grad-gan for virtual-to-real urban scene adaption[J]. 2018. arXiv:1801.01726.

[5] CHEN Y, LAI Y K, LIU Y J. Cartoongan: Generative adversarial networks for photo cartoonization[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 9465-9474.

[6] YI R, LIU Y J, LAI Y K, et al. Apdrawinggan: Generating artistic portrait drawings from face photos with hierarchical gans[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 10743-10752.

[7] PARK T, LIU M Y, WANG T C, et al. GauGAN: semantic image synthesis with spatially adaptive normalization[C]// ACM SIGGRAPH 2019 Real-Time Live! 2019.

[8] QIU Y, NIE S D, WEI L. Segmentation of breast tumors based on full convolutional network and dynamic contrast enhanced magnetic resonance image[J]. Chinese J Magn Reson, 2022, 39(2): 196-207.

邱玥, 聶生東,魏瓏. 基于全卷積網(wǎng)絡(luò)的乳腺腫瘤動態(tài)增強磁共振圖像分割[J]. 波譜學雜志, 2022, 39(2): 196-207.

[9] HU Y, WANG L J, NIE S D. Fine brain functional parcellation based on t-distribution stochastic neighbor embedding and automatic spectral clustering[J]. Chinese J Magn Reson, 2021, 38(3): 392-402.

胡穎, 王麗嘉, 聶生東. 融合t-分布隨機鄰域嵌入與自動譜聚類的腦功能精細分區(qū)方法[J]. 波譜學雜志, 2021, 38(3): 392-402.

[10] MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. 2014. arXiv:1411.1784.

[11] MAO X D, LI Q, XIE H R, et al. Least squares generative adversarial networks[C]// Proceedings of the IEEE international conference on computer vision, 2017: 2794-2802.

[12] ADLER J, LUNZ S. Banach wasserstein GAN[C]// Proceedings of the 32nd international conference on Neural Information Processing Systems, 2018: 6755-6764.

[13] GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of wasserstein gans[C]// Proceedings of the 31st international conference on Neural Information Processing Systems, 2017: 5769-5779.

[14] DENTON E L, CHINTALA S, SZLAM A, et al. Deep generative image models using a Laplacian pyramid of adversarial networks[C]// NIPS, 2015.

[15] ISOLA P, ZHU J Y, ZHOU T H, et al. Image-to-image translation with conditional adversarial networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 5967-5976.

[16] KARRAS T, AILA T, LAINE S, et al. Progressive growing of gans for improved quality, stability, and variation[J]. 2017, arXiv:1710.10196.

[17] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241.

[18] YI Z L, ZHANG H, TAN P, et al. Dualgan: Unsupervised dual learning for image-to-image translation[C]// Proceedings of the IEEE international conference on computer vision, 2017: 2849-2857.

[19] KIM T, CHA M, KIM H, et al. Learning to discover cross-domain relations with generative adversarial networks[C]// International Conference on Machine Learning, 2017: 1857-1865.

[20] YANG Q S, YAN P K, ZHANG Y B, et al. Low-dose CT image denoising using a generative adversarial network with wasserstein distance and perceptual loss[J]. IEEE T Med Imaging, 2018, 37(6): 1348-1357.

[21] SHAN H M, ZHANG Y, YANG Q S, et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network[J]. IEEE T Med Imaging, 2018, 37(6): 1522-1534.

[22] LIAO H, HUO Z, SEHNERT W J, et al. Adversarial sparse-view CBCT artifact reduction[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 154-162.

[23] ZHANG Y K, HU D J, ZHAO Q L, et al. CLEAR: comprehensive learning enabled adversarial reconstruction for subtle structure enhanced low-dose CT imaging[J]. IEEE T Med Imaging, 2021, 40(11): 3089-3101.

[24] ZHANG X, FENG C L, WANG A H, et al. CT super-resolution using multiple dense residual block based GAN[J]. Signal Image Video P, 2021, 15(4): 725-733.

[25] HUANG Z X, LIU X F, WANG R P, et al. Considering anatomical prior information for low-dose CT image enhancement using attribute-augmented Wasserstein generative adversarial networks[J]. Neurocomputing, 2021, 428: 104-115.

[26] RAN M S, HU J R, CHEN Y, et al. Denoising of 3D magnetic resonance images using a residual encoder-decoder Wasserstein generative adversarial network[J]. Med Image Anal, 2019, 55: 165-180.

[27] CHEN Y, SHI F, CHRISTODOULOU A G, et al. Efficient and accurate MRI super-resolution using a generative adversarial network and 3D multi-level densely connected network[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 91-99.

[28] SUN K, QU L Q, LIAN C F, et al. High-resolution breast MRI reconstruction using a deep convolutional generative adversarial network[J]. J Magn Reson Imaging, 2020, 52(6): 1852-1858.

[29] XIE H Q, LEI Y, WANG T H, et al. Synthesizing high-resolution MRI using parallel cycle-consistent generative adversarial networks for fast MR imaging[J]. Med Phys, 2021, 49(1): 357-369.

[30] WANG Y, YU B T, WANG L, et al. 3D conditional generative adversarial networks for high-quality PET image estimation at low dose[J]. Neuroimage, 2018, 174: 550-562.

[31] KUDO A, KITAMURA Y, LI Y, et al. Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval[C]// International Workshop on Machine Learning for Medical Image Reconstruction, 2019: 91-100.

[32] DE FARIAS E C, DI NOIA C, HAN C, et al. Impact of GAN-based lesion-focused medical image super-resolution on the robustness of radiomic features[J]. Sci Rep, 2021, 11(1): 1-12.

[33] YU B T, ZHOU L P, WANG L, et al. 3D CGAN based cross-modality MR image synthesis for brain tumor segmentation[C]// 2018 IEEE 15th International Symposium on Biomedical Imaging. 2018: 626-630.

[34] YU B T, ZHOU L P, WANG L, et al. Ea-GANs: edge-aware generative adversarial networks for cross-modality MR image synthesis[J]. IEEE T Med Imaging, 2019, 38(7): 1750-1762.

[35] NIE D, TRULLO R, LIAN J, et al. Medical image synthesis with context-aware generative adversarial networks[C]// International conference on medical image computing and computer-assisted intervention, 2017: 417-425.

[36] ZHAO M Y, WANG L, CHEN J W, et al. Craniomaxillofacial bony structures segmentation from MRI with deep-supervision adversarial learning[C]// International conference on medical image computing and computer-assisted intervention, 2018: 720-727.

[37] MASPERO M, SAVENIJE M H F, DINKLA A M, et al. Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy[J]. Phys Med Biol, 2018, 63(18): 185001.

[38] BI L, KIM J, KUMAR A, et al. Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs)[M]// Springer: Molecular imaging, reconstruction and analysis of moving body organs, and stroke imaging and treatment. 2017: 43-51.

[39] PAN Y S, LIU M X, LIAN C F, et al. Synthesizing missing PET from MRI with cycle-consistent generative adversarial networks for Alzheimer’s disease diagnosis[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 455-463.

[40] WEI W, POIRION E, BODINI B, et al. Predicting PET-derived myelin content from multisequence MRI for individual longitudinal analysis in multiple sclerosis[J]. NeuroImage, 2020, 223: 117308.

[41] LEWIS A, MAHMOODI E, ZHOU Y, et al. Improving tuberculosis (TB) prediction using synthetically generated computed tomography (CT) images[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 3265-3273.

[42] CALIMERI F, MARZULLO A, STAMILE C, et al. Biomedical data augmentation using generative adversarial neural networks[C]// International conference on artificial neural networks, 2017, 626-634.

[43] HAN C, HAYASHI H, RUNDO L, et al. GAN-based synthetic brain MR image generation[C]// 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018), 2018: 734-738.

[44] HAN C, MURAO K, NOGUCHI T, et al. Learning more with less: Conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images[C]// Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019: 119-127.

[45] HAN C, RUNDO L, ARAKI R, et al. Combining noise-to-image and image-to-image GANs: Brain MR image augmentation for tumor detection[J]. IEEE Access, 2019, 7: 156966-156977.

[46] HASSAN DAR S U I, YURT M, KARACAN L, et al. Image synthesis in multi-contrast MRI with conditional generative adversarial networks[J]. IEEE T Med Imaging, 2019, 38(10): 2375-2388.

[47] APPAN K P, SIVASWAMY J. Retinal image synthesis for CAD development[C]// International Conference Image Analysis and Recognition, 2018: 613-621.

[48] IQBAL T, ALI H. Generative adversarial network for medical images (MI-GAN)[J]. J Med Syst, 2018, 42(11): 231.

[49] SHAKER A M, TANTAWI M, SHEDEED H A, et al. Generalization of convolutional neural networks for ECG classification using generative adversarial networks[J]. IEEE Access, 2020, 8: 35592-35605.

[50] YANG H X, LIU J H, ZHANG L H, et al. ProEGAN-MS: A progressive growing generative adversarial networks for electrocardiogram generation[J]. IEEE Access, 2021, 9: 52089-52100.

[51] WANG Y L, SUN L, SUBRAMANI S. CAB: Classifying arrhythmias based on imbalanced sensor data[J]. KSII Transactions on Internet and Information Systems, 2021, 15(7): 2304-2320.

[52] MADANI A, MORADI M, KARARGYRIS A, et al. Chest X-ray generation and data augmentation for cardiovascular abnormality classification[C]// Medical Imaging 2018: Image Processing, 2018, 10574105741M.

[53] BAILO O, HAM D, MIN SHIN Y. Red blood cell image generation for data augmentation using conditional generative adversarial networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2019, 1039-1048.

[54] HALLAJI E, RAZAVI-FAR R, PALADE V, et al. Adversarial learning on incomplete and imbalanced medical data for robust survival prediction of liver transplant patients[J]. IEEE Access, 2021, 9: 73641-73650.

[55] ALEX V, VAIDHYA K, THIRUNAVUKKARASU S, et al. Semisupervised learning using denoising autoencoders for brain lesion detection and segmentation[J]. J Med Imaging, 2017, 4(4): 041311.

[56] MADANI A, MORADI M, KARARGYRIS A, et al. Semi-supervised learning with generative adversarial networks for chest X-ray classification with ability of data domain adaptation[C]// 2018 IEEE 15th International symposium on biomedical imaging (ISBI 2018), 2018: 1038-1042.

[57] JIANG J, HU Y C, TYAGI N, et al. Tumor-aware, adversarial domain adaptation from ct to mri for lung cancer segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 777-785.

[58] YOU C Y, LI G, ZHANG Y, et al. CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE)[J]. IEEE T Med Imaging, 2020, 39(1): 188-203.

[59] WANG Z W, LIN Y, CHENG K T T, et al. Semi-supervised mp-MRI data synthesis with StitchLayer and auxiliary distance maximization[J]. Med Image Anal, 2020, 59: 101565.

[60] LI W Y, LI J Y, POLSON J, et al. High resolution histopathology image generation and segmentation through adversarial training[J]. Med Image Anal, 2022, 75: 102251.

[61] ZHANG Y Z, YANG L, CHEN J X, et al. Deep adversarial networks for biomedical image segmentation utilizing unannotated images[C]// International conference on medical image computing and computer-assisted intervention, 2017: 408-416.

[62] WOLTERINK J M, LEINER T, VIERGEVER M A, et al. Generative adversarial networks for noise reduction in low-dose CT[J]. IEEE T Med Imaging, 2017, 36(12): 2536-2545.

[63] CHARTSIAS A, JOYCE T, DHARMAKUMAR R, et al. Adversarial image synthesis for unpaired multi-modal cardiac data[C]// International workshop on simulation and synthesis in medical imaging, 2017: 3-13.

[64] WOLTERINK J M, DINKLA A M, SAVENIJE M H, et al. Deep MR to CT synthesis using unpaired data[C]// International workshop on simulation and synthesis in medical imaging, 2017: 14-23.

[65] YANG H, SUN J, CARASS A, et al. Unpaired brain MR-to-CT synthesis using a structure-constrained CycleGAN[M]// Springer: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. 2018: 174-182.

[66] BERMUDEZ C, PLASSARD A J, DAVIS L T, et al. Learning implicit brain MRI manifolds with deep learning[C]// Medical Imaging 2018: Image Processing, 2018: 10574105741L.

[67] MAHMOOD F, CHEN R, DURR N J. Unsupervised reverse domain adaptation for synthetic medical images via adversarial training[J]. IEEE T Med Imaging, 2018, 37(12): 2572-2581.

[68] LI X Y, ZHANG G X, QIAO H, et al. Unsupervised content-preserving transformation for optical microscopy[J]. Light-Sci Appl, 2021, 10(1): 44.

Applications of Generative Adversarial Networks in Medical Image Translation

1，1，2，-1*

1. Institute of Medical Imaging Engineering, University of Shanghai for Science and Technology, Shanghai 200082, China; 2. School of Physics and Electronic Science, East China Normal University, Shanghai 200062, China

In recent years, the generative adversarial network (GAN) has attracted widespread attention with its unique adversarial training mechanism. Its applications have gradually extended to the field of medical imaging, and much excellent research has emerged. This paper reviews the research progress of the popular application for GAN in medical image translation. It starts with an introduction to the basic concepts of GAN and its typical variants, emphasizing on several GANs related to medical image translation. Then, the recent progress is summarized and analyzed from the perspectives of different target tasks and training modes. Finally, the remaining challenges of GAN in medical image translation and the directions of future development are discussed.

generative adversarial network (GAN),medical image,image translation,multimodal,deep learning

O482.53

A

10.11938/cjmr20212962

2021-12-06;

2022-02-18

國家自然科學基金資助項目(81830052)；上海市分子影像重點實驗室資助項目(18DZ2260400).

* Tel:18930490962, E-mail: nsd4647@163.com.