利用自相似性實現(xiàn)醫(yī)學圖像合成的生成對抗網(wǎng)絡

李帥先，譚桂梅，劉汝璇，唐奇伶

（中南民族大學 生物醫(yī)學工程學院，武漢 430074）

醫(yī)學圖像在臨床診斷中起著至關(guān)重要的作用，它為醫(yī)生提供了非侵入性的方法，幫助醫(yī)生觀察和分析病人體內(nèi)的內(nèi)部結(jié)構(gòu)，更準確地診斷疾?。?-3］.然而，由于技術(shù)、設備、成本和患者安全等因素的限制，有時并不能獲得所需的醫(yī)學圖像［4］.醫(yī)學圖像合成技術(shù)可以根據(jù)已有的圖像數(shù)據(jù)，通過計算機算法和人工智能技術(shù)生成逼真的醫(yī)學圖像，有效地解決數(shù)據(jù)不足、成本高昂等問題.

在從核磁共振成像（Magnetic Resonance Imaging，MRI）的T1 加權(quán)圖像合成T2 加權(quán)圖像中，T1 加權(quán)腦圖像可以清晰地顯示灰質(zhì)和白質(zhì)組織，而T2加權(quán)腦圖像可以描繪皮層組織中的流體，兩種圖像組合可以幫助醫(yī)生更準確地識別異常病變組織，更準確地診斷疾病.在從MRI 的3T 圖像合成7T 圖像中，由于3T 圖像的空間分辨率受到限制，很難觀察到較小的大腦結(jié)構(gòu)，如海馬體等.但是，7T 圖像可以提供更高質(zhì)量的圖像.由于7T 圖像的成本相對較高且不普及［5］，但醫(yī)學圖像合成技術(shù)可以用來生成近似于7T的高質(zhì)量圖像，為醫(yī)生提供更準確、全面的診斷依據(jù).

近年來，深度學習在醫(yī)學圖像合成領域取得了實質(zhì)性的突破［6-8］.基于深度學習的圖像合成方法共享一個通用框架，該框架使用數(shù)據(jù)驅(qū)動的方法進行圖像強度映射.工作流程通常包括一個網(wǎng)絡訓練階段，用于學習輸入與其目標之間的映射，以及一個預測階段，用于從輸入中合成目標圖像.相比于傳統(tǒng)的基于地圖集、字典學習等方法，基于深度學習的方法更具有普適性，可以更好地解決醫(yī)學圖像合成問題［9］.

GAO 等［10］基于深度卷積神經(jīng)網(wǎng)絡（Deep Convolutional Neural Networks，DCNN），即編碼器-解碼器神經(jīng)網(wǎng)絡架構(gòu)，以學習源圖像和目標圖像之間的非線性映射，實現(xiàn)圖像合成.LI 等［11］使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）從相應的MRI 數(shù)據(jù)中估計缺失的正電子發(fā)射斷層掃描（PET）數(shù)據(jù).QU等［12］通過在UNet網(wǎng)絡中加入來自空間域和小波域的互補信息，實現(xiàn)了從3T MRI 合成7T MRI 圖像的任務.CHARTSIAS 等［13］提出了一種用于MRI 圖像生成的網(wǎng)絡結(jié)構(gòu)，能夠自動用現(xiàn)有的模態(tài)圖像還原缺失的模態(tài)圖像.ZHANG 等［14］提出了一種雙域CNN 框架，該框架分別在空間域和頻域中使用兩個并行的CNN，通過傅里葉變換相互交互，從3TMRI合成7T MRI圖像.

基于生成對抗網(wǎng)絡（Generative Adversarial Networks，GAN）的醫(yī)學圖像合成是近年來備受關(guān)注的研究熱點之一［15-18］.NIE 等［5］將GAN 結(jié)合自動上下文模型和全卷積神經(jīng)網(wǎng)絡，從MRI 圖像合成CT 圖像、3T MRI 合成7T MRI 圖像.WOLTERINK 等［19］使用GAN 將低劑量CT 圖像轉(zhuǎn)換為常規(guī)劑量CT 圖像.KAWAHARA 等［20］基于具有兩個卷積神經(jīng)網(wǎng)絡的GAN 預測框架，實現(xiàn)T1 加權(quán)的MRI 圖像和T2 加權(quán)的MRI 圖像的相互生成.YANG 等［21］基于循環(huán)一致性生成對抗網(wǎng)絡（Cycle Consistent GAN，CycleGAN）模型用于非成對的MR 圖像到CT 圖像的合成.YANG 等［22］通過利用條件生成式對抗網(wǎng)絡（Conditional GAN，CGAN）的深度學習模型，實現(xiàn)T1加權(quán)和T2加權(quán)的MRI圖像的互轉(zhuǎn).

當前利用卷積神經(jīng)網(wǎng)絡處理醫(yī)學圖像合成任務中，通常依靠堆疊大量卷積層來增加網(wǎng)絡的深度或?qū)挾龋愿玫財M合非線性關(guān)系.此外，一些網(wǎng)絡結(jié)構(gòu)如殘差結(jié)構(gòu)、U-Net 結(jié)構(gòu)也被廣泛應用于醫(yī)學圖像合成，以提高性能和改善效果.然而，很少有工作專注于醫(yī)學圖像本身的特點，缺乏對其特有特征的考慮，導致網(wǎng)絡在深層特征提取的能力和表征方面存在不足.

醫(yī)學圖像中存在大量特征相似性較高的圖像塊.圖1呈現(xiàn)了不同患者的7T MRI腦圖像（Sample1、Sample2、Sample3），其中相似的圖像塊可能在同一張切片內(nèi)不同位置之間（綠色框），或者在連續(xù)的切片中同一位置之間（紅色框）.醫(yī)學圖像具有自相似性特點，即重要的結(jié)構(gòu)和特征在不同空間位置上以相似的方式出現(xiàn).

圖1 7T MRI圖像在不同樣本下的內(nèi)部切片示例Fig.1 Internal slice examples of 7T MRI images in different samples

為此，本文提出了兩種注意力塊.首先，圖結(jié)構(gòu)方法可以模擬不同CT 切片之間的結(jié)構(gòu)連續(xù)性和相互作用［16］.本文在圖像的連續(xù)切片下構(gòu)建了以圖像塊（patch）為單位的拓撲結(jié)構(gòu)，通過圖注意力捕捉醫(yī)學圖像連續(xù)切片的關(guān)聯(lián)性，使網(wǎng)絡在不同切片之間共享和傳遞信息，提高特征的學習能力.該方法通過圖注意力塊（Graph Attention Block，GAB）實現(xiàn).其次，本文同樣構(gòu)建以圖像塊為單位的全局塊注意力塊（Global Patch Attention Block，GPAB）來捕捉同切片下的非局部相似性，建立全局的相互關(guān)系，使網(wǎng)絡更好地理解同一切片中不同區(qū)域之間的關(guān)聯(lián)性，并通過設計一個并行的特征提取單元，該單元通過將GAB和GPAB結(jié)合，來進行深度特征提取.

與自然語言序列中的位置信息類似，圖像中不同像素之間的位置關(guān)系也可以提供重要的上下文信息（黃色框、黃線），對這些位置關(guān)系進行位置編碼可為網(wǎng)絡提供更多的語義信息.此外，在不同樣本下的相同位置的切片中（黃色框、紫線），也存在相似的空間結(jié)構(gòu)和位置關(guān)系，通過加入位置編碼使網(wǎng)絡進一步提高對數(shù)據(jù)特征關(guān)系的理解和學習能力.

本文在GAN 框架下，提出了基于圖注意力塊和全局塊注意力塊的生成對抗網(wǎng)絡（Graph Attention Block and Global Patch Attention Block Generative Adversarial Networks，GGPA-GAN），在生成器加入GAB 和GPAB 以及二維位置編碼，豐富語義信息和提升特征表達能力，提高圖像合成的精確度.

1 方法

為了更好地實現(xiàn)源圖像到目標圖像的合成，本文使用生成對抗網(wǎng)絡作為框架進行學習.如圖2所示，GGPA-GAN由兩部分組成：生成器（G）和判別器（D）.生成器由編碼器、深層特征提取單元和解碼器組成，目的在于生成與真實目標圖像相似的合成目標圖像.判別器由卷積神經(jīng)網(wǎng)絡和全連接層組成.判別器的任務是評估生成器生成的合成目標圖像是否與真實目標圖像足夠相似.在訓練過程中，生成器會不斷優(yōu)化自己的參數(shù)，最小化其生成的圖像與真實圖像之間的差異.同時，由于判別器的存在，生成器也會受到來自判別器的反饋，不斷改進自己的生成策略，以盡可能地欺騙判別器.通過這種對抗訓練方式，生成器和判別器可以互相協(xié)作，不斷提高網(wǎng)絡的性能，最終生成高質(zhì)量的圖像.

圖2 GGPA-GAN的內(nèi)部結(jié)構(gòu)Fig.2 Internal structure of GGPA-GAN

1.1 生成器網(wǎng)絡結(jié)構(gòu)

生成器可以分為3 個階段，第一個階段是編碼階段，編碼器通過逐層的卷積操作實現(xiàn)下采樣來捕捉圖像不同層次的特征.第二個階段是深層特征提取階段，通過由GAB 和GPAB 構(gòu)建的深層特征提取單元加強網(wǎng)絡對圖像特征的感知和提取.第三個階段是解碼階段，對各層特征圖進行整合后使用解碼器實現(xiàn)上采樣，最后經(jīng)過1 × 1 的卷積進行通道降維，完成輸出.這個階段是對前面階段提取的特征進行重建和還原.生成器的結(jié)構(gòu)采用了逐層提取、加強感知能力、逐層重建的策略，通過多層次的處理來捕捉圖像的不同特征，以合成高質(zhì)量的圖像輸出.如圖3 所示為生成器網(wǎng)絡內(nèi)部結(jié)構(gòu).

圖3 生成器網(wǎng)絡內(nèi)部結(jié)構(gòu)Fig.3 Internal structure of the generator network

1.1.1 編碼器與解碼器

圖4 為生成器網(wǎng)絡中的編碼器內(nèi)部結(jié)構(gòu)，編碼器包括卷積層、激活層、池化層和位置編碼.在每個卷積層中，輸入圖像會與一組內(nèi)核進行卷積運算，每個內(nèi)核可以捕捉圖像的局部特征，使網(wǎng)絡能夠有效地學習圖像的特征表示.激活層使用整流線性單元（ReLU 激活函數(shù)）為神經(jīng)網(wǎng)絡增加非線性運算，其將負輸入替換為零，并保持正輸入不變.池化層使用最大化池化（MaxPool）用來提取特征圖中的最顯著的特征，并降低特征映射的維度.位置編碼可為網(wǎng)絡提供位置信息，該方法將在下文進行介紹.此外，引入殘差連接可以使網(wǎng)絡更容易學習恒等映射，提高網(wǎng)絡性能和訓練效率.該網(wǎng)絡使用三個卷積層（Conv1、Conv2 和Conv3）以增加網(wǎng)絡深度.其中，Conv1 和Conv2 是一個3 × 3 內(nèi)核大小、填充為1、步長為1 的卷積層.Conv2 的卷積核數(shù)量是Conv1 的兩倍，以使特征通道數(shù)增加.通過卷積核大小為2 ×2，步長為2 的MaxPool 使特征圖大小縮小一半.本文中，編碼器和解碼器具有相同的網(wǎng)絡結(jié)構(gòu)和層數(shù)，唯一區(qū)別在于解碼器將編碼器中的池化層替換為反卷積層，用于將低維特征圖恢復為高維特征圖.解碼器中的反卷積層使用的卷積核大小為2 × 2、步長為2.本文中的生成器網(wǎng)絡包含4個編碼器和4個解碼器.

圖4 生成器網(wǎng)絡中的編碼器內(nèi)部結(jié)構(gòu)Fig.4 Internal structure of the encoder in a generator network

1.1.2 深層特征提取單元

本文的深層特征提取單元位于圖3 藍色框區(qū)域.該單元將GAB 和GPAB 相結(jié)合，其中GAB 用于捕捉切片之間的相似性，而GPAB 用于捕捉切片內(nèi)不同圖像塊的相似性.同時，通過引入殘差連接來保留圖像的細節(jié)信息.原始特征圖經(jīng)過這兩種塊并行處理后，再將它們的輸出進行通道連接.最后，使用卷積核大小為1 × 1 的卷積操作，將通道數(shù)恢復為原始的通道數(shù).

1.2 判別器網(wǎng)絡結(jié)構(gòu)

判別器包括3 個卷積核大小依次為8 × 8，4 × 4，4 × 4的卷積層、批量歸一化層（BN）、ReLU 激活函數(shù)層，緊接著還有3個全連接層將數(shù)據(jù)扁平化，卷積層的卷積核數(shù)量依次為8、64、256，全連接層中輸出節(jié)點數(shù)為256、64和1.在最后一層，利用tanh 激活函數(shù)作為評估器，得出輸入圖像是真實圖像的概率.圖5為判別器網(wǎng)絡內(nèi)部結(jié)構(gòu).

圖5 判別器網(wǎng)絡內(nèi)部結(jié)構(gòu)Fig.5 Internal structure of the discriminator network

1.3 位置編碼

對于醫(yī)學圖像合成，醫(yī)學圖像通常具有較高的空間分辨率和較復雜的結(jié)構(gòu).因此在醫(yī)學圖像合成中準確地捕捉到這些空間位置信息對于合成圖像的質(zhì)量至關(guān)重要.位置編碼是一種將空間位置信息嵌入到特征表示中的方法，通過位置編碼學習到圖像中不同位置的特征和相對位置之間的關(guān)系，從而提高模型的空間感知能力.

如圖6 所示為本文的位置編碼內(nèi)部結(jié)構(gòu)，H、W、D分別為特征圖的高度、寬度和通道數(shù).本文將Transformer 模型［23］中提出的1D 位置編碼技術(shù)調(diào)整為2D，公式如（1）～（4）所示：

圖6 二維位置編碼內(nèi)部結(jié)構(gòu)Fig.6 Internal structure of the two-dimensional position encoding

式中：x和y指定為水平和垂直位置坐標值，即(x，y)為二維空間的一個坐標點；i，j是[0，D/4)中的整數(shù).位置編碼得到的位置信息圖具有與特征圖相同的大小和維度.位置編碼的每個維度都由特定頻率和相位的正弦信號組成，表示水平方向或垂直方向.本文使用的時間范圍從1到10000.不同的時間尺度等于D/4，對應于不同的頻率.對于每個頻率，在水平/垂直方向上生成正弦/余弦信號.所有這些信號被串聯(lián)成D個維度，前一半維度為水平位置的編碼，后一半維度為垂直位置的編碼.最后將位置信息和特征圖相加，作為輸出.該位置編碼具有不向神經(jīng)網(wǎng)絡添加新的可訓練參數(shù)的優(yōu)點.

1.4 圖注意力塊（GAB）

在圖注意力塊中，將圖像數(shù)據(jù)轉(zhuǎn)換成一張圖結(jié)構(gòu)，將不同的圖像塊作為圖中的節(jié)點，節(jié)點之間的關(guān)系構(gòu)成了圖中的邊.通過連接不同切片中相同坐標位置的圖像塊起來，構(gòu)建出一張具有結(jié)構(gòu)連續(xù)性的圖.選取其中一切片內(nèi)的圖像塊作為中心節(jié)點，將其相鄰兩個切片同坐標位置的圖像塊作為鄰居節(jié)點與其關(guān)聯(lián).這些圖像塊間存在著不同細節(jié)的信息，導致它們之間存在差異.故在中心節(jié)點附近選取了若干個節(jié)點作為補充.這一點在于圖像的任何一個圖像塊并不是單獨存在，圖像塊會與周圍數(shù)個像素信息相關(guān)聯(lián)，使中心節(jié)點與鄰居節(jié)點進行相互交互的同時，中心節(jié)點可以從周圍像素組中彌補缺失.

圖注意力網(wǎng)絡（Graph Attention Networks，GAT）既能充分結(jié)合局部特征又能保留整體的結(jié)構(gòu)信息［24-25］.本文構(gòu)建以圖像塊作為節(jié)點的圖結(jié)構(gòu).其中圖像塊的大小為h×w，相鄰切片的同位置共有n1個圖像塊相連接，輸入維度為［h×w，n1］.其中的中間切片的圖像塊與周圍相鄰的k個像素相連接，將k個元素重塑為一個矩陣，使輸入維度為［h×w，n2］.最終，特征向量的總輸入維度為［h×w，n］，其中，n=n1+n2.

以圖7為例，不同顏色的方塊代表著一個像素，圖中以2 × 2 個像素大小為一圖像塊，首先將相鄰三切片提取的三個圖像塊（3 × 2 × 2個像素）重塑為4 ×3 的矩陣，然后將與中間切片的圖像塊相關(guān)聯(lián)的12個像素重塑為4 × 3 的矩陣，將所有矩陣拼接后可得到4 × 6 大小的特征矩陣.特征矩陣的每一列可以被視為該圖的一個節(jié)點，每對列之間相似性可以視為圖的一條邊.根據(jù)特征矩陣與構(gòu)建的拓撲結(jié)構(gòu)，得到鄰接矩陣，來描述圖中節(jié)點之間的連接關(guān)系.在鄰接矩陣中，如果節(jié)點i和節(jié)點j之間有連接，則鄰接矩陣的第i行第j列和第j行第i列的元素值為1，否則為0.最后，通過同時輸入鄰接矩陣和特征矩陣到GAT 層進行計算，完成對圖數(shù)據(jù)的處理.對于特征圖X∈RH×W×C（H、W、C分別為特征圖的高度、寬度和通道數(shù)），圖像塊的大小為H/n×W/n，其中n為尺度因子，使圖像塊能夠與特征圖的尺寸相匹配.

圖7 圖注意力塊（GAB）的內(nèi)部結(jié)構(gòu)Fig.7 Internal structure of the Graph Attention Module（GAM）

如圖8（a）所示，該圖以第i個節(jié)點的節(jié)點特征，以及相關(guān)聯(lián)的5 個節(jié)點為例描述GAT 層的計算過程.圖注意力層的輸入是一組節(jié)點特征，h=，通過利用相鄰節(jié)點的相似性，得到一組新的節(jié)點特征為了更新特征，一個可學習的共享線性變換權(quán)重矩陣W將應用于每個節(jié)點，以生成更深層的特征.然后在節(jié)點上執(zhí)行一個共享的自注意機制e，e：Rd×Rd→R，eij為每條邊(i，j)的注意力分數(shù)，表示為相鄰節(jié)點j對節(jié)點i的重要性.

圖8 圖注意力層流程圖與多頭圖注意力機制Fig.8 Process diagram of the Graph Attention Layer and the Multi-head Graph Attention Mechanism

式中：a∈R2d′，W∈Rd′×d被學習，||表示向量串聯(lián).LeakyReLU 為一個非線性激活函數(shù).這些注意力分數(shù)在所有鄰居j∈Ni中經(jīng)過Softmax 標準化，注意力函數(shù)定義為：

通過標準化注意系數(shù)計算相鄰節(jié)點變換特征的加權(quán)平均值（σ是非線性函數(shù)），作為節(jié)點的新表達形式：

多頭注意力機制是提取深層特征的有效擴展方式.在圖8（b）中，紅色圓圈和藍色圓圈分別代表第i個節(jié)點及其最近的5個相鄰節(jié)點.不同顏色箭頭表示獨立的注意力計算，圖中展示了3 個注意力頭.假設對于每張圖結(jié)構(gòu)均使用M個獨立的注意力機制，每個注意力機制都能夠使用公式（7）來獲取第i個節(jié)點的更新特征.將M個獨立的注意力機制更新后的特征向量連接在一起，進行平均處理，得到最終的節(jié)點特征.這個過程可以從不同的注意力機制中獲取更加豐富和準確的特征信息，提高模型的性能.此過程如下所示：

1.5 全局塊注意力塊（GPAB）

為探索醫(yī)學圖像同切片內(nèi)的特征相似性，本文提出在圖像切片內(nèi)基于圖像塊的全局塊注意力塊（GPAB），該塊可以通過從全局范圍內(nèi)獲取圖像中的信息，因此能夠更好地捕捉長距離依賴關(guān)系，增強局部特征.如圖9 所示為GPAB 的內(nèi)部結(jié)構(gòu).該塊以圖像塊為單位進行相似度匹配，將每個圖像塊的特征作為全局特征的一部分，并通過在全局特征中計算相似度矩陣來衡量每個圖像塊與全局特征關(guān)系，此相似度矩陣是多維度的.對多維相似度矩陣進行Softmax函數(shù)運算，得到一組注意力權(quán)重.最后，每個圖像塊與全局特征按照對應注意力權(quán)重通過哈達瑪運算進行加權(quán)求和，得到該圖像塊的最終表示.給定圖像特征圖X，該注意力定義為：

圖9 GPAB的內(nèi)部結(jié)構(gòu)Fig.9 Internal structure of GPAB

式中：（i，j）、（g，h）和（u，v）是特征圖X的坐標元組，φ(·，·)為相似性函數(shù)，被定義為：

式中：θ(X)、δ(X)、ψ(X)是特征表達函數(shù)，通過1 × 1的卷積實現(xiàn).θ(X)=WθX，φ(X)=WφX，ψ(X)=WψX，其中，Wθ，Wφ，Wψ為可學習的參數(shù)；Xi，j，Xg，h，Xu，v為大小、維度相等的圖像塊.GAB 與GPAB 相同，圖像塊的大小設置為H/n×W/n，其中n為尺度因子.

1.6 基于對抗性學習下的損失函數(shù)

本文將對抗性損失應用于生成器網(wǎng)絡及其判別器網(wǎng)絡.對抗性損失函數(shù)可以定義為：

式中：G表示生成器，D表示判別器，IX表示輸入圖像，IY表示相應的真實圖像.訓練中，生成器G試圖生成與真實圖像IY相比足夠逼真的合成圖像G(IX).判別器D的任務是區(qū)分真實的醫(yī)學圖像IY和合成的醫(yī)學圖像G(IX).生成器G試圖最小化該損失函數(shù)，而判別器D則試圖最大化該損失函數(shù)，即：G*=argminGmaxDLGAN(G，D).

除了對抗性損失函數(shù)外，生成器的損失函數(shù)還包括L1損失來引導生成器生成高質(zhì)量的圖像.生成器G的L1損失項：

GGPA-GAN網(wǎng)絡的整體損失函數(shù)為：

式中，λ用于控制L1 損失函數(shù)和對抗性損失函數(shù)之間的權(quán)重分配.

2 實驗

2.1 數(shù)據(jù)集

本文的3T-7T MRI合成任務使用的圖像數(shù)據(jù)來自HCP 數(shù)據(jù)集［26］（Human Connectome Project，人類連接組項目）.本文的T1-T2 MRI合成任務使用的圖像數(shù)據(jù)來自ADNI 數(shù)據(jù)集［27］（Alzheimer′s Disease Neuroimaging Initiative，阿爾茨海默癥神經(jīng)影像學倡議）.針對3T-7T MRI 任務，本文使用80 例成對的3T MRI 和7T MRI 圖像，并對所有3T MRI 和7T MRI 圖像進行尺寸固定，空間分辨率為180 × 256 ×256，體素分辨率為1.0 mm × 0.8 mm × 0.7 mm.針對T1-T2 MRI任務，本文同樣使用80例成對的T1 MRI和T2 MRI 圖像，并將所有T1、T2 MRI 的空間分辨率固定為180 × 256 × 256，體素分辨率為0.9 mm ×0.9 mm × 3 mm.所有采集圖像均為具有清晰腦部紋理、豐富細節(jié)特征的高質(zhì)量數(shù)據(jù)，且均經(jīng)過類間、類內(nèi)的剛性配準，以保證嚴格對齊.對于每例數(shù)據(jù)，將原始強度值線性縮放到[-1，1].將所有數(shù)據(jù)分為訓練集與測試集，每個任務隨機選取62例用于網(wǎng)絡訓練的訓練集圖像，18 例用于測試網(wǎng)絡泛化性能的測試集圖像.測試集與訓練集不重疊，以確保模型的泛化性能和可靠性.

2.2 實驗環(huán)境

硬件設備：CPU：Intel Xeon Gold 6240@2.60 GHz × 72；GPU：NVIDIA TITAN RTX 24 G × 2；內(nèi)存：64 G；軟件配置：操作系統(tǒng)為64 位Ubuntu18.04.6 LTS；Python 3.7；Pytorch 1.6.0.

2.3 實驗參數(shù)設置

在訓練過程中，Batch-size 設置為32，每個批次大小為16 × 256 × 256.使用ADAM 優(yōu)化器實現(xiàn)網(wǎng)絡參數(shù)優(yōu)化，網(wǎng)絡總輪數(shù)設置為300輪.初始學習率0.0002，動量參數(shù)為0.9，權(quán)重衰減為0.005.

2.4 評價指標

本文采用峰值信噪比（Peak Signal-to-noise Ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（Structural Similarity Index，SSIM）以及平均絕對誤差（Mean Absolute Error，MAE）三種指標來評估合成圖像的質(zhì)量.其中，PSNR是一種廣泛應用于評估圖像清晰度的指標，它基于像素點之間的誤差來衡量合成圖像與真實圖像之間的差異.在計算PSNR 時，均方誤差（Mean Squared Error，MSE）越小則PSNR 越大，代表著合成圖像的效果越好.峰值信噪比PSNR的計算公式如下：

式中：I（i）表示真實圖像中某個像素點的像素值，Syn（I（i））表示在體素空間中合成圖像相應像素點的像素值.

SSIM 從3 個方面評價合成圖像與真實圖像的差距：亮度、對比度和結(jié)構(gòu)，值的范圍在(0，1)，值越大表示兩張圖像越相似.結(jié)構(gòu)相似性指數(shù)SSIM的計算如下所示：

式中：μR和μS分別表示真實圖像和合成圖像的均值，σR、σS為真實圖像和合成圖像的協(xié)方差.c1=(k1L)2，c2=(k2L)2為常數(shù)，L是像素值的動態(tài)范圍，在本文中L=7，k1=0.01，k2=0.03.

MAE 是計算每個像素值之間的絕對差異，再取平均值，因此是一種評估兩個圖像之間平均差異的方法.MAE 越小，兩張圖像越相似.平均絕對誤差MAE的計算如下：

式中：H和W分別表示圖像的高度和寬度，X和Y分別表示合成圖像和原始真實圖像.

2.5 對比實驗及分析

為了驗證本文提出的模型性能，本文將其與4 種現(xiàn)有模型進行比較，它們分別是UNet++［28］、TransUNet［29］、Pix2pix［16］和CycleGAN［21］.其中，分別將AttentionUNet 和TransUNet 作為生成器網(wǎng)絡嵌入到本文的GAN 架構(gòu)中作為對比，以證明本文生成器網(wǎng)絡在深層特征提取方面卓越的成效.

UNet++網(wǎng)絡在UNet 基礎上進行升級，該網(wǎng)絡加入了深度監(jiān)督機制，將跳躍連接改進為密集的短連接，可以抓取不同層次的特征，并將它們通過疊加的方式進行整合.TransUNet同時具有Transformers和U-Net 的優(yōu)點，相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡，TransUNet使用了Transformer結(jié)構(gòu)，使得模型可以自適應地學習到圖像中的全局和局部特征.Pix2pix 與CycleGAN 為如今主流的醫(yī)學圖像合成方法.Pix2pix是一種基于條件生成對抗網(wǎng)絡（CGAN）的方法，通過專注于保持逐像素的強度相似性來合成整個圖像.CycleGAN 是使用對抗性損失函數(shù)合成圖像，同時通過一個循環(huán)一致性損失函數(shù)保持圖像的原始語義信息.

2.5.1 定性評估

對3T-7T MRI 和T1-T2 MRI 兩個任務進行了定性比較實驗，圖10 為本文方法與4 種對比方法在相同測試圖像下的矢狀面和軸位面上進行3T-7T MRI任務測試的定性比較結(jié)果.可見大多數(shù)對比方法不能很好地恢復圖像細節(jié).如CycleGAN 的局部放大結(jié)果整體非常模糊，而本文方法合成的圖像比對比方法擁有更清晰的細節(jié).圖11 所示為本文方法與4 種對比方法在矢狀面和軸位面上進行T1-T2 任務中的定性比較結(jié)果圖.可見與3T-7T任務相比，T1與T2圖像具有邊界模糊、噪聲、對比度差的特點，本文在任務中能較為清晰地還原圖像的輪廓與細節(jié)特征，邊緣也較為平滑.綜上，本文方法的合成效果優(yōu)于其他4種對比的合成方法.

圖10 本文方法與 4種對比方法在 3T合成7T MRI任務中的定性比較結(jié)果Fig.10 Qualitative comparison results of the proposed algorithm and four comparison algorithms in the 3T to 7T MRI synthesis task

圖11 本文方法與 4種對比方法在 T1合成T2 MRI任務中的定性比較結(jié)果Fig.11 Qualitative comparison results of the proposed algorithm and four comparison algorithms in the T1 to T2 MRI synthesis task

2.5.2 定量評估

實驗利用PSNR、SSIM、MAE 客觀評價指標在3T-7T MRI、T1-T2 MRI 兩個任務中測試了18 例MRI圖像，本文方法的表現(xiàn)均優(yōu)于對比的4種合成方法，本文方法及4 種對比合成方法在PSNR、SSIM、MAE的測試結(jié)果折線圖分別如圖12-13 所示，其中綠色折線表示本文方法的客觀評價結(jié)果，評價結(jié)果平均值如表1所示.

表1 客觀評價指標平均值Tab.1 Average value of objective evaluation metrics

圖12 本文方法與4種對比方法在3T合成7T MRI任務中的定量結(jié)果Fig.12 Quantitative results of the proposed algorithm and four comparison algorithms in the 3T to 7T MRI synthesis task

圖13 本文方法與4 種對比方法在T1合成T2 MRI任務中的定量結(jié)果Fig.13 Quantitative results of the proposed algorithm and four comparison algorithms in the T1 to T2 MRI synthesis task

由表1 可知，利用本文方法進行合成可以獲得各項指標的最大均值.在T1-T2 MRI圖像實驗中，合成具有較高質(zhì)量和真實感的合成圖像是一項具有難度的任務，任務對于網(wǎng)絡的非線性擬合的要求更高，本文的取得的成績更為顯著.

2.6 消融實驗

2.6.1 多種方法組合下的消融實驗

本文所提出的生成器網(wǎng)絡包含3 個核心組件，即圖注意力塊（GAB）、全局塊注意力塊（GPAB）和位置編碼，實驗通過不同的組合來研究它們的影響，從圖像視覺效果和定量結(jié)果兩方面進行對比實驗.表2顯示了HCP數(shù)據(jù)集上關(guān)于這些組合的消融實驗的結(jié)果，圖14 展示了消融實驗的視覺效果比較.視覺效果通過差值圖的方式呈現(xiàn).差值圖通過將合成圖像與真實圖像相減得到，用于表示兩個圖像之間的差異.通過比較差值圖的特征，可以對不同方法的表現(xiàn)進行評估和比較.

表2 在HCP數(shù)據(jù)集中關(guān)于不同方法組合的消融實驗的定量結(jié)果Tab.2 Quantitative results of the differential ablation experiments on different combinations of methods in the HCP dataset

圖14 在HCP數(shù)據(jù)集中關(guān)于不同方法組合的消融實驗差值圖Fig.14 Differential plot of ablation experiments on different combinations of methods in the HCP dataset

2.6.2 關(guān)于尺度因子n的消融實驗

在圖注意力塊和全局塊注意力塊中，本文以圖像塊作為計算單位.尺度因子n越大，表示圖像塊的尺寸越小.因此，本文研究了尺度因子n對網(wǎng)絡效果的影響，如表3所示，基于HCP數(shù)據(jù)集進行了尺度因子n的消融實驗.尺度因子n分別設置為12、8、4，其中n=12時取得了更好的效果，說明較小的圖像塊可以作為計算單位進行計算.使用較大的圖像塊尺寸時，模型的性能會受到一定的影響，由于較大的圖像塊意味著對圖像塊之間的相似性有更高的要求.在實際實驗中，本文沒有將n設置為12，而選擇了n=8，原因是當n過大時，計算量也會增加，導致網(wǎng)絡在測試時耗時較長，而帶來的性能提升相對較小，得不償失.綜上，選擇將n設置為8.

表3 不同尺度因子n的大小的消融實驗客觀評價指標Tab.3 Objective evaluation metrics for the ablation experiment of different scale factors n

2.6.3 關(guān)于GAB中多頭注意力機制的消融實驗

GAB 使用多頭注意力機制，增加注意力頭的數(shù)目可以增加模型的表達能力，過高會導致過擬合問題.本節(jié)中對比了不同頭數(shù)的多頭注意力機制對模型性能影響，表4 展示了使用不同頭數(shù)的多頭注意力機制的最終結(jié)果，可見當使用8頭注意力機制時，模型達到了最好的性能.

表4 多頭注意力機制的消融實驗客觀評價指標Tab.4 Objective evaluation metrics for the ablation experiments of multi-head attention mechanism

3 結(jié)語

經(jīng)過研究和實驗驗證，本文提出的自相似增強特征生成對抗網(wǎng)絡（GGPA-GAN）在跨模態(tài)醫(yī)學圖像合成任務中展現(xiàn)出卓越的性能.與現(xiàn)有方法相比，GGPA-GAN 利用圖注意力塊和全局塊注意力塊捕捉醫(yī)學圖像切片間和切片內(nèi)的自相似性，并通過二維位置編碼增強了語義信息的表達能力.在HCP_S1200 數(shù)據(jù)集和ADNI 數(shù)據(jù)集上的實驗結(jié)果表明，GGPA-GAN 在合成3T-7T、T1-T2 腦部MRI 圖像任務中達到了最優(yōu)水平.該研究的成功應用為臨床診斷提供了有力的支持，為深入探索醫(yī)學圖像合成領域開辟了新的方向.