基于改進CycleGAN的非配對CMR圖像增強

DOI：10.3969/j.issn.10001565.2025.02.011

摘" 要：心臟磁共振成像（cardiac magnetic resonance，CMR）過程中患者誤動、異常幅度的呼吸運動、心律失常會造成CMR圖像質(zhì)量下降，為解決現(xiàn)有的CMR圖像增強網(wǎng)絡需要人為制作配對數(shù)據(jù)，且圖像增強后部分組織紋理細節(jié)丟失的問題，提出了基于空頻域特征學習的循環(huán)一致性生成對抗網(wǎng)絡（cycle-consistent generative adversavial network based on spatial-frequency domain feature learning，SFFL-CycleGAN）. 研究結(jié)果表明，該網(wǎng)絡無須人為制作配對數(shù)據(jù)集，增強后的CMR圖像組織紋理細節(jié)豐富，在結(jié)構(gòu)相似度（structural similarity，SSIM）和峰值信噪比（peak signal to noise ratio，PSNR）等方面均優(yōu)于現(xiàn)有的配對訓練網(wǎng)絡以及原始的CycleGAN網(wǎng)絡，圖像增強效果好，有效助力病情診斷.

關鍵詞：心臟磁共振成像；圖像增強；空頻域特征；循環(huán)一致性生成對抗網(wǎng)絡

中圖分類號：TP391.9""" 文獻標志碼：A""" 文章編號：10001565（2025）02020412

Non paired CMR image enhancement based on improved CycleGAN

ZHENG Wei1， WU Yubo1， FENG Xiaomeng1， MA Zepeng2，SONG Tierui1

（1.College of Electronic Information Engineering， Hebei University， Baoding 071002， China;

2.Department of Radiology， Affiliated Hospital of Hebei University， Baoding 071000， China）

Abstract： During the process of cardiac magnetic resonance imaging （CMR）， patient misoperation， respiratory movement， and arrhythmia can cause a decrease in CMR image quality. To solve the problem of manually creating paired data and losing some tissue texture details after image enhancement in existing CMR image enhancement networks This paper proposes a cycle consistent generative adversarial network based on spatial frequency domain feature learning （SFFL CycleGAN）. The research results show that this network does not require manually creating paired datasets， and the enhanced CMR images have rich texture details. It is superior to existing paired training networks and the original CycleGAN network in terms of Structural Similarity （SSIM） and Peak Signal to Noise Ratio （PSNR）. The image enhancement effect is good and effectively assists in disease diagnosis.

Key words： cardiac magnetic resonance; image enhancement; spatial-frequency domain feature; cycle-consistent generative adversarial network

收稿日期：20240920;修回日期：20241224

基金項目：

河北省自然科學基金資助項目（F2020201025; H2020201021）;河北省高等學校科學技術(shù)研究項目（BJ2020030）；河北大學附屬醫(yī)院青年科研基金資助項目（2021Q021）；河北大學醫(yī)學學科培育項目（2023B03）；河北省衛(wèi)生健康委醫(yī)學科學研究課題計劃項目（20231477）；保定市科技計劃項目（2241ZF298）

第一作者：鄭偉 （1972—），女，河北大學教授，博士，主要從事圖像處理與分析、圖像安全通信、圖像加密和隱藏方向研究. E-mail：147685650@qq.com

通信作者：宋鐵銳（1977—），男，河北大學講師，主要從事圖像處理與分析、高速數(shù)據(jù)編碼、高速數(shù)據(jù)通信方向研究. E-mail：5607724@qq.com

國家心血管病中心2022年發(fā)布的最新報告［1］顯示，中國心血管疾病的患病人數(shù)已達3.3億，約占中國總?cè)藬?shù)的1/4，農(nóng)村和城市的死亡人數(shù)中源于心血管疾病的比例分別占到了48%和45.86%，高居死亡率疾病首位，

且該比例自2012年逐年上升，心血管疾病患病人數(shù)呈現(xiàn)出總量大、占比高、發(fā)展態(tài)勢不良的特點. 現(xiàn)階段由

于心臟磁共振成像（CMR）較高的準確性且無電離輻射，通常將CMR圖像作為心臟圖像診斷的標準. 但CMR圖像在成像過程中由于掃描時間過長，患者的誤動、異常幅度的呼吸運動、心律失常會對成像結(jié)果造成影響，導致心臟的部分生理組織信息在信號采集過程中重疊在其他的生理組織信息上，產(chǎn)生了CMR圖像的運動偽影. 相較于清晰的CMR圖像，存在運動偽影的CMR圖像邊緣較為模糊，局部亮度異常，組織紋理細節(jié)丟失，圖像質(zhì)量下降，因此通過去除CMR圖像運動偽影即可實現(xiàn)CMR圖像增強，提升圖像質(zhì)量.

針對CMR圖像的增強方法可以分為傳統(tǒng)算法和深度學習2類，傳統(tǒng)算法受限于模型假設，特征提取依賴手工，圖像增強效果有限. 深度學習方法具有靈活性高、能夠自動學習、圖像增強效果好的優(yōu)點，因此現(xiàn)階段通常采用深度學習網(wǎng)絡來實現(xiàn)CMR圖像增強. Zhang等［2］討論了運動模糊消除與CMR運動偽影校正間的聯(lián)系，將殘差網(wǎng)絡（residual network，ResNet）和生成對抗網(wǎng)絡［3］（GAN）相結(jié)合，使用深度殘差網(wǎng)絡作為框架，以對抗的方式訓練模型用于CMR圖像增強. Park等［4］使用循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN）用于漸進式非均勻圖像增強，采用多時序代替多尺度的方法，提出了具有循環(huán)特征圖的多時序循環(huán)神經(jīng)網(wǎng)絡. Cho等［5］采用由粗到細的策略，提出了多輸入多輸出的U-net架構(gòu)用于圖像增強. Zamir等［6］將Transformer應用到圖像增強領域提出了Restormer模型. Tsai等［7］堆疊了多層模糊感知塊，用于解開不同方向和幅度的模糊，并聚合多尺度特征實現(xiàn)了準確高效的動態(tài)場景圖像增強. Zhu等［8］把超像素分割和池化引入到GAN網(wǎng)絡的生成器和判別器中用于CMR圖像去偽影，從而將圖像的生成和判別細化到超像素水平，能夠更準確地控制增強圖像的邊緣紋理和細節(jié). 上述方法中GAN網(wǎng)絡生成的圖像分辨率高，能夠保留較高的紋理細節(jié)和結(jié)構(gòu)，而CMR圖像本身有著較高的分辨率且紋理細節(jié)豐富，因此，GAN網(wǎng)絡更適用于CMR的圖像增強. 以GAN網(wǎng)絡為基礎的DeblurGAN［9］、DeblurGAN-v2［10］、Ghost-DeblurGAN［11］等網(wǎng)絡，對配對數(shù)據(jù)有著較為嚴格的要求，在進行網(wǎng)絡訓練時需要相位完全一致的低質(zhì)量圖像和高質(zhì)量圖像對，而采集CMR圖像存在著難以獲取成對的相位完全一致的無偽影心臟磁共振圖像（no artifacts cardiac magnetic resonance，CMR-NA）和有偽影心臟磁共振圖像（artifacts cardiac magnetic resonance，CMR-A）的問題，即便是在很短時間內(nèi)采集的前后2幀CMR圖像，仍然會存在微小的相位差，因此通常需要對真實的CMR-NA圖像人為添加偽影制作配對數(shù)據(jù)，人為添加的偽影和真實情況存在一定差距，實際應用效果有限. 而同樣以GAN網(wǎng)絡為基礎的循環(huán)一致性生成對抗網(wǎng)絡（cycle-consistent generative adversarial network，CycleGAN）［12］有著可以進行非配對訓練的優(yōu)勢. 本文使用CycleGAN網(wǎng)絡進行非配對CMR圖像增強，并針對CycleGAN網(wǎng)絡進行CMR圖像增強后組織細節(jié)和生理結(jié)構(gòu)有所丟失的問題，提出了基于改進CycleGAN的非配對CMR圖像增強方法.

根據(jù)CycleGAN網(wǎng)絡通過非配對訓練可實現(xiàn)圖像風格轉(zhuǎn)換的特性，把CMR-A和CMR-NA看作2個不同的圖像域，將偽影域轉(zhuǎn)換到無偽影域視為圖像風格轉(zhuǎn)換的特例，以此實現(xiàn)非配對訓練的CMR圖像增強.根據(jù)CMR偽影產(chǎn)生的原理，設計了空頻域特征學習塊（space frequency domain feature learning block， SFFL），將該模塊引入CycleGAN網(wǎng)絡從而提出了基于空頻域特征學習的循環(huán)一致性生成對抗網(wǎng)絡（cycle-consistent generative adversarial network based on spatial-frequency domain feature learning，SFFL-CycleGAN）. 該網(wǎng)絡能夠充分利用圖像特征的空間域和頻域信息，去偽影后的增強圖像有著更加豐富的組織細節(jié)，無參考的評價指標和有參考的評價指標均有所提升.

1" 基本理論

1.1" CMR偽影產(chǎn)生原理

人體主要由水、脂肪和蛋白質(zhì)3種成分組成，均包含豐富的氫原子，且3種成分磁共振強度明顯不同，氫原子可作為磁共振的信號源［13］. 氫原子本身處于無序自旋狀態(tài)，通過外加強磁場，氫原子核由無序自旋狀態(tài)轉(zhuǎn)變?yōu)橛行蜃孕隣顟B(tài)，此時施加射頻脈沖，氫原子核發(fā)生共振，停止施加射頻脈沖，氫原子核便停止共振回到有序自旋的狀態(tài)，這個過程稱為弛豫. 弛豫的過程會釋放能量成為射電信號，射電信號經(jīng)過二維快速傅里葉變換（two-dimensional fast Fourier transform，2D-FFT）填充到K空間的對應位置上，隨后將處于頻域的K空間通過二維快速傅里葉反變換（two-dimensional inverse fast Fourier transform，2D-IFFT）轉(zhuǎn)換到空間域，可得到所需的CMR圖像［14］．由于CMR成像很難在1個心動周期內(nèi)完成全部信號的采集，通常需要采集多個心動周期信號. 如圖1所示，CMR成像過程中采集了α個心動周期信號，每個心動周期劃分為β個時間段，每個時間段用不同的顏色加以區(qū)分，不同心動周期內(nèi)相同的顏色代表了不同周期內(nèi)相同的時間段．

α個心動周期信號在填充K空間時，若患者保持靜止、屏住呼吸，且心臟未發(fā)生心律失常，射電信號經(jīng)過2D-FFT變換后合成的K空間便不會發(fā)生組織信號的重疊，正常K空間經(jīng)過2D-IFFT變換得到的是不存在偽影的高質(zhì)量圖像CMR-NA；在α個心動周期信號內(nèi)若發(fā)生了患者的誤動、異常幅度的呼吸運動、心律失常，射電信號經(jīng)過2D-FFT變換后合成的K空間便發(fā)生了組織信號的重疊，異常K空間經(jīng)過2D-IFFT變換得到的是存在偽影的低質(zhì)量圖像CMR-A，基于此原理提出后續(xù)配對數(shù)據(jù)集的制作以及針對CycleGAN網(wǎng)絡進行圖像增強的改進策略.

1.2" 循環(huán)一致性生成對抗網(wǎng)絡的基本原理

1.2.1" GAN網(wǎng)絡的基本原理

GAN網(wǎng)絡由生成器和判別器組成，如圖2所示．生成器G將輸入的隨機噪聲轉(zhuǎn)換為虛假圖像G（z），判別器D用于區(qū)分是真實圖像r還是生成器生成的虛假圖像G（z），二者相互對抗，生成器盡可能生成接近真實圖像的虛假圖像，判別器盡可能將真實圖像和虛假圖像加以區(qū)分，2個網(wǎng)絡相互促進，直至判別器無法區(qū)分出真假，所得到的生成器即可生成以假亂真的圖像［15］．

GAN網(wǎng)絡的生成器和判別器之間的對抗損失函數(shù)為

minGmaxDV（D，G）=Er～pdata（r）［logD（r）］+Ez～pz（z）［log（1-D（G（z）））］，（１）

其中：G為生成器；D為判別器；V（D，G）為真實樣本和生成樣本的差異程度；r為真實樣本；z為輸入噪聲；pdata（r）為真實圖像數(shù)據(jù)集；pz（z）為隨機噪聲數(shù)據(jù)集合．

優(yōu)化損失函數(shù)時，首先固定生成器G，優(yōu)化判別器D，最大化判別器函數(shù)，盡可能讓判別器最大化地判別樣本來自真實數(shù)據(jù)還是生成的數(shù)據(jù)；隨后固定判別器，最小化真實樣本與生成樣本間的差異，通過不斷重復上述對抗優(yōu)化過程，直至判別器輸出的二分類概率逼近0.5，無法區(qū)分出真實還是虛假，即可得到生成分布擬合真實分布的生成器．

該類型的GAN網(wǎng)絡只包含1個生成器和1個判別器，這種單一的模型在非配對訓練時由于缺少目標域的相應約束，可能會出現(xiàn)映射組合的不確定性，導致目標域中的單一圖像與源域產(chǎn)生聯(lián)系，生成的圖像始終是同一風格的同一張圖像，從而失去了源域圖像的基本結(jié)構(gòu)，無法有效地應對非配對訓練情況．

1.2.2" CycleGAN網(wǎng)絡的基本原理

CycleGAN網(wǎng)絡最初是為圖像風格轉(zhuǎn)化提出的網(wǎng)絡模型，該網(wǎng)絡為實現(xiàn)圖像風格轉(zhuǎn)換的非配對訓練，在網(wǎng)絡的正向循環(huán)和反向循環(huán)中均使用了2個結(jié)構(gòu)相同的生成器和2個結(jié)構(gòu)相同的判別器，具體結(jié)構(gòu)如圖3所示．

圖3左側(cè)為CycleGAN的正向循環(huán)，右側(cè)為反向循環(huán)，正向循環(huán)和反向循環(huán)的a部分是循環(huán)的具體流程，b部分對循環(huán)過程中所用到的循環(huán)一致性損失做出直觀說明，G1和G2是實現(xiàn)域間轉(zhuǎn)換的生成器，Dx和Dy是判別圖像是否屬于該域的判別器，X和Y是2個不同的真實圖像域，X*和Y*是生成器生成的與真實X域和Y域圖像對應的虛假圖像．CycleGAN網(wǎng)絡以循環(huán)一致性損失加以約束，確保圖像在域間轉(zhuǎn)換的同時不丟失原本的結(jié)構(gòu)，在正向循環(huán)中，真實的X域圖像經(jīng)過生成器G1生成虛假的Y域圖像Y*，隨后Y*經(jīng)過生成器G2再返回X域得到X*，利用循環(huán)一致性損失對真實的X域圖像和經(jīng)過循環(huán)后的X*圖像加以約束，為確保循環(huán)一致性損失盡可能縮小，CycleGAN網(wǎng)絡會在風格轉(zhuǎn)換的同時盡可能維持圖像自身結(jié)構(gòu)不發(fā)生變化；反向循環(huán)與正向循環(huán)結(jié)構(gòu)相同，方向相反，用循環(huán)一致性損失對真實的Y域圖像和循環(huán)后的Y*圖像加以約束，以此實現(xiàn)了非配對訓練的圖像風格轉(zhuǎn)換．

進行域間轉(zhuǎn)換的2個生成器G1和G2使用相同的結(jié)構(gòu)，如圖4所示．首先對輸入像素512×512的單通道灰度圖像使用步長為1、大小為7×7、個數(shù)為64的卷積核提取圖像特征，編碼部分經(jīng)過2個步長為2、大小為3×3、數(shù)目分別為128和256的卷積核進行上采樣，中間瓶頸部分通過9個基礎殘差塊來增加網(wǎng)絡的深度，解碼部分通過2個步長為2、大小為3×3、數(shù)目分別為128和64的反卷積核完成解碼，最終通過1個步長為1、大小為7×7、數(shù)目為1的卷積核恢復出圖像，并利用tanh激活函數(shù)對輸出圖像的像素值加以約束，確保像素值在合理范圍內(nèi)．

判別圖像是否屬于該域的判別器Dx和Dy均使用了馬爾可夫判別器，馬爾可夫判別器由大小為4×4的卷積層構(gòu)成，如圖5所示. 首先輸入像素大小為512×512的圖像經(jīng)過3個步長為2、卷積核數(shù)目為64、128和256的4×4卷積，隨后經(jīng)過2個步長為1、卷積核數(shù)目為512和1的4×4卷積，各卷積層中間添加歸一化層以及LeakyReLU激活函數(shù)層，避免了神經(jīng)元死亡，提高了表達能力，最后輸出1個大小為k×k的二維矩陣（輸出矩陣的大小隨著輸入圖像的尺寸變化，當輸入圖像像素為512×512時，輸出矩陣為62×62），取輸出矩陣的均值作為真實和虛假值的輸出，二維矩陣中的每一個輸出都代表了原始圖像中的一個感受野，對應著輸入圖像中的一片區(qū)域，實現(xiàn)了對圖像局部區(qū)域的判別．

1.3" CMR數(shù)據(jù)集來源及配對數(shù)據(jù)預處理

實驗所需圖像數(shù)據(jù)由河北大學附屬醫(yī)院放射科提供，由GE Healthcare公司的discovery MR 750（3.0 T）掃描儀采集，從37個病例采集的6 734張CMR心臟短軸位亮血電影序列圖像篩選出質(zhì)量較好的無偽影CMR圖像1 574張以及非配對真實偽影圖像1 574張，共計3 148張圖像. 由于CMR圖像本身并不包含顏色信息，因此對3 148張圖像加以處理，確保圖像均為512×512、位深為8、格式為JPEG的單通道灰度圖像. 為了驗證CycleGAN網(wǎng)絡進行非配對訓練所學習到的偽影是否比人為添加的偽影更加貼近真實情況，制作了人為混疊K空間降低圖像質(zhì)量的配對數(shù)據(jù)集加以對比分析.

根據(jù)Amirrajab等［16］提出的方法，從圖像的頻域入手，組合CMR圖像相鄰幀的K空間來添加運動偽影，如圖6所示．首先對1幀高質(zhì)量CMR-NA圖像進行重采樣，模擬具有輕微位移的相鄰幀圖像，隨后對多幀圖像經(jīng)過2D-FFT變換將空間域圖像轉(zhuǎn)換到頻域，通過掩模對多個K空間進行組合后經(jīng)過2D-IFFT變換由頻域返回空間域，得到混疊了K空間的低質(zhì)量CMR-A圖像.

２" 基于空頻域特征學習塊的CycleGAN非配對CMR圖像增強

2.1" CycleGAN圖像增強的非配對訓練及可行性驗證

CycleGAN可實現(xiàn)非配對訓練的圖像域間風格轉(zhuǎn)換，若將所有存在偽影的低質(zhì)量圖像CMR-A看作CMR-A域，所有不存在偽影的高質(zhì)量CMR-NA圖像看作CMR-NA域.如圖7所示， GA-NA和GNA-A為進行域間轉(zhuǎn)換的生成器，DA和DNA為判別圖像真假的判別器，CMR-A和CMR-NA為真實圖像域，CMR-A*和CMR-NA*為生成器生成的與真實圖像域所對應的虛假圖像，通過使用CycleGAN網(wǎng)絡的正向循環(huán)和反向循環(huán)將圖像風格轉(zhuǎn)換的非配對訓練方法應用到CMR圖像增強上，實現(xiàn)CMR圖像增強的非配對訓練．

在CycleGAN網(wǎng)絡的正向循環(huán)中，將真實的低質(zhì)量CMR-A圖像經(jīng)過生成器GA-NA由低質(zhì)量偽影域轉(zhuǎn)換到高質(zhì)量的無偽影域，得到虛假的CMR-NA*圖像，并利用判別器DNA對CMR-NA*加以判別用于區(qū)分真假，判別后的CMR-NA*送入第2個生成器GNA-A，將高質(zhì)量的無偽影域圖像再轉(zhuǎn)換回低質(zhì)量的偽影域得到CMR-A*，使用循環(huán)一致性損失對CMR-A和CMR-A*進行約束，盡可能維持循環(huán)前后圖像的一致性. CycleGAN網(wǎng)絡的反向循環(huán)與正向循環(huán)結(jié)構(gòu)相同、方向相反，將真實的高質(zhì)量CMR-NA圖像經(jīng)過生成器GNA-A由高質(zhì)量的無偽影域圖像轉(zhuǎn)換到低質(zhì)量的偽影域，得到虛假的CMR-A*圖像，并利用判別器DA對CMR-A*加以判別用于區(qū)分真假，判別后的CMR-A*送入第2個生成器GA-NA，將生成出的低質(zhì)量偽影圖像再轉(zhuǎn)換回無偽影域得到高質(zhì)量的CMR-NA*，同樣使用循環(huán)一致性損失對循環(huán)前后圖像CMR-NA和CMR-NA*加以約束，以此實現(xiàn)CycleGAN網(wǎng)絡進行圖像增強的非配對訓練.

CycleGAN網(wǎng)絡為實現(xiàn)非配對的訓練還使用了包括上述循環(huán)一致性損失在內(nèi)的3種損失函數(shù)，分別是生成對抗損失LGAN、循環(huán)一致性損失Lc和身份損失Li，如式（2）所示.

L=LGAN+λLc+μLi，（2）

其中：λ和μ為循環(huán)一致性損失和身份損失的權(quán)重系數(shù).生成對抗損失LGAN如式（3）所示.

LGAN=LGAN（GA-NA，DNA，x0，y0）+LGAN（GNA-ADA，y0，x0），（3）

LGAN（GNA-A，DA，y0，x0）=Ex0～pdata（A）［log DA（x0）］+Ey0～pdata（NA［log（1-DA（GNA-A（y0）））］，

LGAN（GNA-A，DNA，x0，y0）=Ey0～pdata（NA）［log DNA（y0）］+Ex0～pdata（A［log（1-DNA（GNA-A（x0）））］，

其中：G為生成器；D為判別器；A和NA分別為偽影域和無偽影域；x0和y0分別為偽影域和無偽影域內(nèi)的真實圖像，生成對抗損失用于促進生成器和判別器之間的相互對抗;pdata（A）為有偽影的低質(zhì)量數(shù)據(jù)集;pdata（NA）為無偽影的高質(zhì)量數(shù)據(jù)集.

循環(huán)一致性損失Lcycle如式（4）所示，用于約束圖像在域間風格轉(zhuǎn)換的同時盡可能維持自身結(jié)構(gòu)不發(fā)生變化.

Lcycle=Ex0～pdata（A）［‖GNA-A（GA-NA（x0））-x0‖1］+Ey0～pdata（NA）［‖GNA-A（GNA-A（y0））-y0‖1］.（4）

身份損失Lidentity如式（5）所示，用于確保生成器真正理解高質(zhì)量CMR-NA域和低質(zhì)量CMR-A域，高質(zhì)量無偽影圖像經(jīng)過去偽影的生成器GA-NA維持自身不變，低質(zhì)量有偽影圖像經(jīng)過添加偽影的生成器GNA-A維持自身不變.

Lidentity=Ex0～pdata（A）［‖GNA-A（x0）-x0‖1］+Ey0～pdata（NA）［‖GA-NA（y0）-y0‖1］.（5）

通過上述3種損失函數(shù)的使用，可利用CycleGAN網(wǎng)絡在CMR-A域和CMR-NA域之間實現(xiàn)非配對數(shù)據(jù)訓練，促使網(wǎng)絡根據(jù)非配對的訓練數(shù)據(jù)學習到與高質(zhì)量無偽影圖像配對的低質(zhì)量有偽影圖像，為驗證CycleGAN網(wǎng)絡學習到的偽影是否比人為添加的偽影更接近真實情況，將CycleGAN網(wǎng)絡的生成器GNA-A所生成的低質(zhì)量有偽影圖像CMR-A*和原始高質(zhì)量無偽影圖像CMR-NA制作成配對數(shù)據(jù)集，分別用該配對數(shù)據(jù)集和從K空間生成偽影的數(shù)據(jù)集訓練圖像增強的常用網(wǎng)絡DeblurGAN-v2和BANet，分別訓練完成后使用存在真實偽影的CMR-A圖像對2種數(shù)據(jù)集訓練得到的網(wǎng)絡進行測試，并利用無參考的評價指標Tenengrad對圖像梯度信息加以計算，用于評估無參考圖像的清晰度，測試結(jié)果如表1所示.

表1表明，相同網(wǎng)絡模型使用CycleGAN網(wǎng)絡生成的配對數(shù)據(jù)進行訓練后，對真實CMR偽影圖像進行圖像增強后的Tenengrad值更高. 其可視化結(jié)果如圖8所示，圖8a和圖8d是同一張CMR偽影圖像，圖8b和圖8e分別為該張圖像經(jīng)過K空間數(shù)據(jù)集訓練的DeblurGAN-v2網(wǎng)絡和BANet網(wǎng)絡的圖像增強效果，圖8c和圖8f分別為該張圖像經(jīng)過CycleGAN數(shù)據(jù)集訓練的DeblurGAN-v2網(wǎng)絡和BANet網(wǎng)絡的圖像增強效果，視覺直觀感受上是CycleGAN網(wǎng)絡生成的配對數(shù)據(jù)進行訓練后，上述2種網(wǎng)絡在測試真實偽影圖像時均能獲得更好的圖像增強效果，生成的圖像清晰度更好，驗證了非配對訓練的CycleGAN網(wǎng)絡所學習到的偽影比人為添加的偽影更加貼近真實情況，訓練后的網(wǎng)絡可以更好地面對真實情況出現(xiàn)的圖像質(zhì)量退化.

另外，使用該配對數(shù)據(jù)對近年來常用的配對訓練的圖像增強網(wǎng)絡進行訓練，并利用有參考的評價指標PSNR和SSIM對圖像的峰值信噪比和結(jié)構(gòu)相似度加以評價，各個網(wǎng)絡訓練后的測試結(jié)果如表2所示.

表2表明，使用相同數(shù)據(jù)集訓練的不同網(wǎng)絡模型在面對相同的測試數(shù)據(jù)時，CycleGAN網(wǎng)絡所得到的增強圖像與真實清晰圖像間的PSNR指標最高，SSIM指標略低于Restormer網(wǎng)絡，說明CycleGAN網(wǎng)絡增強后的CMR圖像與真實的清晰CMR圖像間的結(jié)構(gòu)相似程度要略低于Restormer網(wǎng)絡增強后的CMR圖像，丟失了更多的組織細節(jié)和生理結(jié)構(gòu)，本文將充分利用CMR圖像的空間域特征和頻域特征對基礎CycleGAN網(wǎng)絡加以改進，確保增強后的CMR圖像有著更高的組織細節(jié)保留程度.

2.2" 基于空頻域特征學習的CycleGAN非配對圖像增強

2.2.1" 快速傅里葉變換殘差塊

二維離散傅里葉變換（two-dimensional discrete Fourier transform，2D-DFT）和二維離散傅里葉反變換（two-dimensional inverse discrete Fourier transform，2D-IDFT），2D-DFT將二維的空間域信號轉(zhuǎn)換到頻域，2D-IDFT將頻域信號轉(zhuǎn)換到二維的空間域. 2D-DFT和2D-IDFT的表達式如式（6）和（7）所示.

F（u，v）=∑M-1x=0∑N-1y=0S（x，y）e-j2πuxM+vyN，（6）

S（x，y）=1MN∑M-1u=0∑N-1v=0F（u，v）ej2πuxM+vyN，（7）

其中：M和N分別為二維信號的總行數(shù)和總列數(shù);S（x，y）為行和列索引為x和y的空間域信號;F（u，v）為行和列索引為u和v的頻域信號.

2D-DFT和2D-IDFT的快速算法即2D-FFT和2D-IFFT. 二者為互逆關系，通過2D-FFT和2D-IFFT" 2種變換的配合使用可以實現(xiàn)空間域和頻域之間的快速轉(zhuǎn)換.

以2D-FFT和2D-IFFT為基礎的快速傅里葉變換殘差塊能夠在空間域和頻域上對特征信息進行同時學習，充分利用空間域和頻域的雙域特征，其結(jié)構(gòu)如圖9所示. 圖9a為基礎殘差塊，包含2個支路，分別是包含2個3×3卷積層和ReLU激活函數(shù)層的空間域處理分支以及跳躍連接分支，S（x，y）是輸入特征，Sres（x，y）是空間域支路的輸出，S′（x，y）是結(jié)合跳躍連接支路和空間域支路的總輸出；圖9b為使用R-FFT2d變換塊和R-IFFT2d變換塊（圖10）的快速傅里葉變化殘差塊，該模塊在基礎殘差塊的基礎上，添加了頻域分支［17］，形成了三分支的殘差塊，S（x，y）是輸入特征，Sres（x，y）是空間域支路的輸出，Sfft（x，y）是頻域支路的輸出，S′（x，y）是結(jié)合了空間域、頻域和跳躍連接支路的總輸出.

在快速傅里葉變換殘差塊的頻域分支首先獲取空間域特征圖的高度和寬度，以便后續(xù)恢復出與輸入形狀相同的空間域特征圖，隨后經(jīng)過2D-FFT變換將空間域信息轉(zhuǎn)換到頻域，提取出頻域數(shù)據(jù)中各復數(shù)的實部（RE）和虛部（IM），RE是空間域的振幅信息，IM是空間域的相位信息，在通道維度上對RE和IM進行拼接，如式（8）所示.

f（u，v）=RE［F（u，v）］⊙c IM［F（u，v）］，（8）

其中：⊙c是在通道維度上進行級聯(lián).對拼接后的f（u，v）使用2個1×1卷積層中間添加ReLU激活函數(shù)層的方式進行頻域特征學習，中間ReLU層用于頻率的選擇，兩端的1×1卷積θ（1）和θ（2）用于靈活調(diào)整頻率選擇的閾值，以此實現(xiàn)從頻域的實部和虛部中學習偽影大小和方向的目的

f′（u，v）=ReLU［f（u，v）×θ（1）］×θ（2）.（9）

完成頻率選擇后拆分通道，對分離出的RE和IM進行復數(shù)的重組

F′（u，v）=f′（u，v）RE+jf′（u，v）IM.（10）

將重組后的復數(shù)特征經(jīng)過2D-IFFT變換轉(zhuǎn)換回空間域

Sfft（x，y）=1MN∑M-1u=0∑N-1v=0F′（u，v）ej2πuxM+vyN.（11）

在快速傅里葉變換殘差塊的空間域分支，空間域特征圖S（x，y）通過2個3×3卷積層δ（1）和δ（2）中間添加ReLU激活函數(shù)層的方式進行空間域上的特征學習

Sres（x，y）=ReLU［S（x，y）×δ（1）］×δ（2）.（12）

將頻域分支、空間域分支和跳躍連接分支加以融合，如式（13）所示，可得到同時利用空間域信息和頻域信息的快速傅里葉變換殘差塊

S′（x，y）=Sfft（x，y）+Sres（x，y）+S（x，y）.（13）

2.2.2" 快速傅里葉變換頻域自注意求解器

快速傅里葉變換頻域自注意求解器［18］同樣使用2D-FFT和2D-IFFT變換進行空間域和頻域間的快速轉(zhuǎn)換，將空間域特征轉(zhuǎn)換到頻域上進行自注意求解，其結(jié)構(gòu)如圖11所示.S′（x，y）是輸入特征，Q、K和V分別是注意力機制中的查詢、鍵和值，S′A（x，y）是頻域自注意求解后的輸出，SA（x，y）是聚合特征后的輸出.

在快速傅里葉變換頻域自注意求解器中首先通過1×1的逐點卷積和3×3的深度卷積，沿通道劃分為Q、K和V 3部分，Q和K通過2D-FFT變換由空間域轉(zhuǎn)換到頻域，計算頻域的相關性并經(jīng)過2D-IFFT變換轉(zhuǎn)換回空間域，

A=F-1（F（Q）F（K））.（14）

對計算頻域相關性后的結(jié)果進行聚合特征后輸出，如式（15）所示，其中L（·）用于對A進行歸一化.

SA（x，y）=Conv1×1L（A）V+S′（x，y）=S′A（x，y）+S′（x，y）.（15）

通過使用快速傅里葉變換頻域自注意求解器可以實現(xiàn)頻域信息的進一步利用，將空間相關性轉(zhuǎn)化為頻率相關性，對于捕捉特征圖中的長距離依賴關系更加有效.

2.2.3" 基于空頻域特征學習的CycleGAN生成器

原始CycleGAN網(wǎng)絡的生成器采用在步長為2的下采樣和上采樣之間添加9個基礎殘差塊的方式進行連接，通過堆疊多個基礎殘差塊增加了網(wǎng)絡深度，增強了模型的表達能力，能夠有效地利用輸入特征，但由于CMR圖像質(zhì)量下降來源于頻域的K空間，而基礎的殘差塊只利用了空間域信息，缺乏對頻域信息的充分利用. 因此本文設計了空頻域特征學習塊SFFL，該模塊針對性地使用了快速傅里葉變換殘差塊代替了基礎的殘差塊，并在9個快速傅里葉變換殘差塊后串聯(lián)了快速傅里葉變換頻域自注意求解器，充分利用了頻域和空間域的雙域信息，如圖12所示.

將SFFL模塊引入到CycleGAN網(wǎng)絡的生成器中，提出了基于空頻域特征學習的循環(huán)一致性生成對抗網(wǎng)絡SFFL-CycleGAN，該網(wǎng)絡的生成器結(jié)構(gòu)如圖13所示. 該種結(jié)構(gòu)的生成器可以有效地利用特征圖的空間域和頻域信息，對建模輸入特征之間的相互依賴關系，捕捉遠距離的全局相關性提供幫助，同時為后續(xù)解碼部分提供更加有效的空頻域信息. 另外，改進后的SFFL-CycleGAN網(wǎng)絡仍使用馬爾可夫判別器以及循環(huán)一致性損失等原有損失函數(shù).

3" 實驗結(jié)果

所有實驗數(shù)據(jù)均在以下環(huán)境中運行：操作系統(tǒng)為Windows 10 專業(yè)版64位，內(nèi)存64 GB，GPU為NVIDIA GeForce RTX 2080Ti，python版本3.8.3，深度學習框架為Pytorch 1.8.0+cu101，CUDA版本為10.1.

在相同的訓練和測試數(shù)據(jù)下CycleGAN網(wǎng)絡和SFFL-CycleGAN網(wǎng)絡的Tenengrad值分別為10.02和13.09，在無參考評價指標方面，SFFL-CycleGAN網(wǎng)絡的性能表現(xiàn)優(yōu)于CycleGAN網(wǎng)絡.

由表3可知，各個使用配對數(shù)據(jù)訓練的網(wǎng)絡在使用SFFL-CycleGAN網(wǎng)絡學習到的低質(zhì)量CMR偽影圖像再次制作的配對數(shù)據(jù)集進行訓練時，保證了訓練數(shù)據(jù)一致性的前提下SFFL-CycleGAN網(wǎng)絡的無參考評價指標PSNR和SSIM均優(yōu)于基礎的CycleGAN網(wǎng)絡以及其他配對訓練的網(wǎng)絡模型， 其可視化結(jié)果如圖14所示.經(jīng)過SFFL-CycleGAN網(wǎng)絡增強后的CMR圖像更加接近真實的原始清晰CMR圖像，保留了更加豐富的真實組織紋理和結(jié)構(gòu)細節(jié).

4" 結(jié)論

本文提出的SFFL-CycleGAN網(wǎng)絡同時利用了CMR圖像的空間域和頻域特征，實現(xiàn)了CMR圖像增強的非配對訓練，降低了CMR圖像增強網(wǎng)絡對訓練數(shù)據(jù)要求的同時，面對真實的低質(zhì)量CMR偽影圖像有著更加良好的圖像增強效果，具有更強的現(xiàn)實意義. 另外經(jīng)過該網(wǎng)絡增強后的CMR圖像，真實生理組織的結(jié)構(gòu)細節(jié)保留程度更高，為提高心血管疾病診斷的準確性提供了助力，對后續(xù)CMR圖像的配準、分割和特征提取也具有重要意義.

參" 考" 文" 獻：

［1］" 《中國心血管健康與疾病報告》編寫組.《中國心血管健康與疾病報告2022》要點解讀［J］.中國心血管雜志， 2023， 28（4）： 297-312. DOI：10.3969/j.issn.1007-5410.2023.04.001.

［2］" ZHANG Y X， ZHANG W L， ZHANG Q Y， et al. CMR motion artifact correction using generative adversarial nets［EB/OL］. 2019： 1902.11121. https：//arxiv.org/abs/1902.11121v1.

［3］" GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［EB/OL］. 2014： 1406.2661. https：//arxiv.org/abs/1406.2661v1.

［4］" PARK D， KANG D U， KIM J， et al. Multi-temporal recurrent neural networks for progressive non-uniform single image deblurring with incremental temporal training［M］//Computer Vision-ECCV 2020. Cham： Springer International Publishing， 2020： 327-343. DOI：10.1007/978-3-030-58539-6_20.

［5］" CHO S J， JI S W， HONG J P， et al. Rethinking coarse-to-fine approach in single image deblurring［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. October 10-17， 2021， Montreal， QC， Canada. IEEE， 2021： 4621-4630. DOI：10.1109/ICCV48922.2021.00460.

［6］" ZAMIR S W， ARORA A， KHAN S， et al. Restormer： efficient transformer for high-resolution image restoration［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 18-24， 2022， New Orleans， LA， USA. IEEE， 2022： 5718-5729. DOI：10.1109/CVPR52688.2022.00564.

［7］" TSAI F J， PENG Y T， TSAI C C， et al. BANet： a blur-aware attention network for dynamic scene deblurring［J］. IEEE Trans Image Process， 2022， 31： 6789-6799. DOI：10.1109/TIP.2022.3216216.

［8］" ZHU Y M， ZHENG W， MA Z P. Superpixel conditional generation adversarial network for CMR artifact correction［J］. Image Vis Comput， 2024， 149： 105112. DOI：10.1016/j.imavis.2024.105112.

［9］" KUPYN O， BUDZAN V， MYKHAILYCH M， et al. DeblurGAN： blind motion deblurring using conditional adversarial networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23， 2018， Salt Lake City， UT， USA. IEEE， 2018： 8183-8192. DOI：10.1109/CVPR.2018.00854.

［10］" KUPYN O， MARTYNIUK T， WU J R， et al. DeblurGAN-v2： deblurring （orders-of-magnitude） faster and better［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2， 2019， Seoul， Korea （South）. IEEE， 2019： 8877-8886. DOI：10.1109/ICCV.2019.00897.

［11］" LIU Y B， HARIDEVAN A， SCHOFIELD H， et al. Application of ghost-DeblurGAN to fiducial marker detection［C］//2022 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. October 23-27， 2022， Kyoto， Japan. IEEE， 2022： 6827-6832. DOI：10.1109/IROS47612.2022.9981701.

［12］" ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］//2017 IEEE International Conference on Computer Vision （ICCV）. October 22-29， 2017， Venice， Italy. IEEE， 2017： 2242-2251. DOI：10.1109/ICCV.2017.244.

［13］" 劉勇.心血管核磁共振技術(shù)原理及應用進展［J］.現(xiàn)代醫(yī)藥衛(wèi)生， 2017， 33（2）： 174-176. DOI：10.3969/j.issn.1009-5519.2017.02.004.

［14］" 曲源，路青，蔣杰.磁共振成像運動偽影控制方法及技術(shù)進展［J］.中國醫(yī)療設備， 2022， 37（11）： 164-169. DOI：10.3969/j.issn.1674-1633.2022.11.035.

［15］" GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［J］. Commun ACM， 2020， 63（11）： 139-144. DOI：10.1145/3422622.

［16］" AMIRRAJAB S， AL KHALIL Y， PLUIM J， et al. Cardiac MR image segmentation and quality control in the presence of respiratory motion artifacts using simulated data［M］//Statistical Atlases and Computational Models of the Heart. Regular and CMRxMotion Challenge Papers. Cham： Springer Nature Switzerland， 2022： 466-475. DOI：10.1007/978-3-031-23443-9_44.

［17］" MAO X T， LIU Y M， LIU F Z， et al. Intriguing findings of frequency selection for image deblurring［J］. Proc AAAI Conf Artif Intell， 2023， 37（2）： 1905-1913. DOI：10.1609/aaai.v37i2.25281.

［18］" KONG L S， DONG J X， GE J J， et al. Efficient frequency domain-based transformers for high-quality image deblurring［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 17-24， 2023， Vancouver， BC， Canada. IEEE， 2023： 5886-5895. DOI：10.1109/CVPR52729.2023.00570.

（責任編輯：王蘭英）