一種多尺度GAN的低劑量CT超分辨率重建方法

須 穎，劉 帥，邵 萌，岳國棟，安 冬

(1.沈陽建筑大學(xué) 機械工程學(xué)院，遼寧 沈陽 110168；2.廣東工業(yè)大學(xué) 機電工程學(xué)院，廣東 廣州 510006)

X射線成像是目前應(yīng)用最廣泛，成本最低的醫(yī)療診斷技術(shù)之一。CT掃描過程中的高劑量輻射會對人體產(chǎn)生傷害，考慮到不同人群的耐受能力，低劑量CT被廣泛應(yīng)用在醫(yī)學(xué)領(lǐng)域以減少對人體的傷害；通過改變CT的掃描參數(shù)，如管電壓、管電流、掃描時間等都可以降低對患者的輻射劑量。降低輻射劑量，分辨率會降低，產(chǎn)生條紋偽影等，圖像質(zhì)量較差，影響診斷性能。為了保證圖像質(zhì)量來滿足臨床診斷需求，從低分辨率圖像(LR)中重建高分辨率圖像(HR)，可以有效地幫助醫(yī)生觀察醫(yī)學(xué)病變圖像的細(xì)節(jié)，增加疾病的確診和治療的可能性。因此，超分辨率重建(SR)對醫(yī)學(xué)圖像處理具有重要意義，與自然圖像超分辨率重建不同，低劑量CT圖像紋理更復(fù)雜，細(xì)節(jié)更豐富，視覺辨識度不如彩色圖像，所以保證病理不變性，紋理細(xì)節(jié)不丟失是低劑量CT圖像超分辨率重建的關(guān)鍵。

近年來，基于深度學(xué)習(xí)的超分辨率重建技術(shù)取得了突破性的進展，大致包括基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)、基于殘差網(wǎng)絡(luò)(ResNet)和基于生成對抗網(wǎng)絡(luò)(GAN)的超分辨率重建。對于基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建，文獻[1]首先提出了一種超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)，它是一種簡單的三層網(wǎng)絡(luò)，雖與傳統(tǒng)方法相比取得了令人滿意的結(jié)果，但引入了不必要的噪聲與重影且收斂速度較慢。文獻[2]提出了一種基于像素重排的亞像素卷積神經(jīng)網(wǎng)絡(luò)模型，為圖像超分辨率重建提供了一種靈活調(diào)節(jié)放大倍數(shù)的重構(gòu)政策。對于基于殘差網(wǎng)絡(luò)的超分辨率重建，文獻[3]提出了一種非常深的卷積超分辨率網(wǎng)絡(luò)(VDSR)，將差值后的低分辨率圖像加入到網(wǎng)絡(luò)，重構(gòu)效果優(yōu)于SRCNN，然而VDSR模型僅使用一個跳躍連接，并沒有很有效地減輕梯度消失的問題。文獻[4]提出了一種對稱的編解碼網(wǎng)絡(luò)結(jié)構(gòu)用于圖像復(fù)原技術(shù)，引入密集跳躍連接，有效緩解了梯度消失問題。文獻[5]提出了多尺度殘差網(wǎng)絡(luò)模型，該模型從不同的卷積核尺度提取不同的特征，通過像素重排方法實現(xiàn)不同放大倍數(shù)的重構(gòu)圖片。最近，隨著生成對抗網(wǎng)絡(luò)的流行，基于生成對抗網(wǎng)絡(luò)的超分辨率重建很好地解決了基于卷積神經(jīng)網(wǎng)絡(luò)和ResNet的超分辨率重建結(jié)果過于平滑，邊緣輪廓細(xì)節(jié)不夠清晰的問題。文獻[6]提出的一種基于生成對抗網(wǎng)絡(luò)的單張圖片超分辨率重構(gòu)模型，使得重構(gòu)圖像盡可能與高分辨率圖像相似。文獻[7]提出利用兩個生成對抗網(wǎng)絡(luò)來進行人臉超分辨率重構(gòu)，將真實圖片的降質(zhì)過程作為圖像超分辨率重構(gòu)的一部分，提高圖像超分辨率重構(gòu)的實際應(yīng)用價值。文獻[8]提出了一種基于生成對抗網(wǎng)絡(luò)(SRGAN)的實景單幅圖像超分辨方法，利用對抗損失使結(jié)果更接近真實圖像。文獻[9]提出了一種用于醫(yī)學(xué)病變分類的生成對抗網(wǎng)絡(luò)，采用圖像增強提高網(wǎng)絡(luò)性能。文獻[10]提出生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)采用完全對稱的編解碼器結(jié)構(gòu)，通過增加更多的網(wǎng)絡(luò)節(jié)點來穩(wěn)定網(wǎng)絡(luò)訓(xùn)練。上述研究顯示了生成對抗網(wǎng)絡(luò)在圖像超分辨率重建中更有優(yōu)勢，使訓(xùn)練結(jié)果更加逼近原始高分辨率圖像，產(chǎn)生視覺效果更好的高頻細(xì)節(jié)信息。

針對醫(yī)學(xué)圖像對邊緣輪廓、紋理細(xì)節(jié)的高要求，筆者提出一種基于多尺度殘差生成對抗網(wǎng)絡(luò)的低劑量CT圖像超分辨率重建算法，旨在實現(xiàn)高質(zhì)量、高效的圖像重建。主要貢獻如下：

(1) 設(shè)計多尺度殘差生成模型，能充分檢測不同卷積核的圖像特征，建立不同尺度特征間相互依賴的關(guān)系，并自適應(yīng)地校準(zhǔn)特征，增強特征的提取和表達(dá)；

(2) 將對抗損失和內(nèi)容損失相結(jié)合，兼顧紋理細(xì)節(jié)和邊緣信息等多方面，提高圖像質(zhì)量。

1 基于MSRGAN的超分辨率重建

筆者提出一個多尺度殘差生成對抗網(wǎng)絡(luò)(MSRGAN)框架，由一個生成模型G和一個判別模型D組成。生成模型G捕捉樣本數(shù)據(jù)的分布，將低分辨率圖像ILR轉(zhuǎn)換成一個類似真實數(shù)據(jù)的超分辨率圖像ISR，效果越接近真實樣本越好；判別模型D是一個二分類器，學(xué)習(xí)高分辨率圖像IHR和重構(gòu)圖像ISR之間的差異，并輸出輸入圖像來自高分辨率圖像的概率，輸入樣本越接近真實樣本，概率越大。筆者的目標(biāo)是訓(xùn)練生成模型G盡可能生成與真實的高分辨率圖像相似的圖像，最小化lb{1-D[G(ILR)]}，同時訓(xùn)練D最大化判別正確率，數(shù)學(xué)表達(dá)式為

(1)

其中，D(IHR)為高分辨率圖像通過判別模型被判斷為真實樣本的概率，G(ILR)為生成網(wǎng)絡(luò)G生成的樣本，D[G(ILR)]為生成的樣本通過判別模型后，輸出其為真實樣本的概率，D[G(ILR)]越接近1越好。判別模型的目標(biāo)是讓D(IHR)接近1，D[G(ILR)]接近0。當(dāng)D(IHR)接近1/2時，生成模型產(chǎn)生接近高分辨率圖像的超分辨率圖像，欺騙判別模型D，使D無法分辨出圖像的真實來源。

1.1 MSRGAN生成模型

在神經(jīng)網(wǎng)絡(luò)中，深度越深，表達(dá)的特征越豐富，擁有的性能越出色。然而梯度本身是一個很小的值，隨著深度的增加，梯度越來越小，就會出現(xiàn)梯度消失的現(xiàn)象，導(dǎo)致深層神經(jīng)網(wǎng)絡(luò)無法訓(xùn)練。因此提出一種多尺度殘差生成網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由conv+ReLU層，多尺度殘差連接模塊和亞像素卷積層組成。

圖1 MSRGAN生成網(wǎng)絡(luò)結(jié)構(gòu)圖

由于采用多尺度殘差連接(MSR)，在相同卷積層時本網(wǎng)絡(luò)的連接數(shù)遠(yuǎn)遠(yuǎn)超過直接或簡單跳躍連接的生成對抗網(wǎng)絡(luò)，因此本網(wǎng)絡(luò)對于高細(xì)節(jié)紋理要求、內(nèi)容復(fù)雜不均勻的低劑量CT圖像的特征提取提供了更多的可能性，在不深化網(wǎng)絡(luò)的情況下生成大量連接節(jié)點，避免了網(wǎng)絡(luò)太深無法訓(xùn)練的問題，并且殘差連接可以增強信息共享能力，使參數(shù)更有效。

1.1.1 多尺度殘差連接模塊

圖2 殘差網(wǎng)絡(luò)示意圖

殘差學(xué)習(xí)網(wǎng)絡(luò)(ResNet)在解決網(wǎng)絡(luò)過擬合和欠擬合問題上有很好的效果，解決了網(wǎng)絡(luò)深度變深以后的性能退化問題，殘差網(wǎng)絡(luò)如圖2所示。

由于豐富映射節(jié)點可以更好地表達(dá)特征，所以將原本殘差網(wǎng)絡(luò)的一維結(jié)構(gòu)進行改進，設(shè)計3種不同尺寸的卷積核并行連接，形成多尺度殘差模塊，利用尺度殘差模塊來提取局部和全局的特征。具體結(jié)構(gòu)如圖3所示。多尺度殘差連接由1×1、3×3、5×5這3種不同尺寸的卷積核并行連接，不同于殘差網(wǎng)絡(luò)[11]中原來的一維結(jié)構(gòu)，從而可以提取到更多不同的細(xì)節(jié)信息，在相同的卷積層的情況下，多尺度殘差連接包含的路徑約是常規(guī)一維網(wǎng)絡(luò)的3倍，因此可以表達(dá)更豐富的局部特征。不同尺寸卷積核作卷積運算能夠提取到不同尺度的特征，除了最后1×1的卷積層，多尺度殘差連接每一個卷積層后都添加批量歸一化(Batch Normalization，BN)和ReLU函數(shù)，并且使用一個長跳躍連接豐富上下文信息。

對于第1部分，具體由式(2)～(4)實現(xiàn)：

(2)

(3)

(4)

其中，W和b分別代表每個神經(jīng)元的權(quán)重和偏置；*代表卷積算子；下角標(biāo)代表卷積核大小，上角標(biāo)代表不同層的位置；Mn-1代表多尺度殘差連接模塊的輸入；U代表每個分支的輸出結(jié)果；σ為ReLU激活函數(shù)，表示為

σ(x)=max(0，x) 。

(5)

同樣，第2、3部分如式(6)～(15)所描述：

C21=C22=C23=[U11，U12，U13] ，

(6)

(7)

(8)

(9)

C31=[U21，U22，U23] ，

(10)

C32=[U21，U22，U23] ，

(11)

C33=[U21，U22，U23] ，

(12)

(13)

(14)

(15)

其中，C代表全連接特征，式(6)與式(10)～(12)表示全連接運算。

第4部分的實現(xiàn)如下：

C4=[U31，U32，U33] ，

(16)

(17)

其中，C和U與前三部分代表的含義相同，S表示1×1卷積后的輸出，沒有激活函數(shù)層。

圖3 多尺度殘差模塊(MSR)結(jié)構(gòu)圖

1.1.2 亞像素卷積

重建過程主要對非線性映射層獲得的特征進行上采樣和聚合，使用亞像素卷積來代替反卷積對特征圖片進行上采樣。文獻[12]已經(jīng)驗證反卷積會對生成的圖像產(chǎn)生棋盤效應(yīng)，影響生成圖像質(zhì)量，然而文獻[13]提出的亞像素卷積能很好解決這個問題。若放大因子為r，卷積核數(shù)則為r2，將特征圖像每個像素的r2個通道重新排列成一個r×r的區(qū)域，對應(yīng)高分辨率圖像中一個r×r大小的子塊，從而大小為r2×H×W的特征圖像被重新排列成1×rH×rW的高分辨率圖像。亞像素卷積的卷積部分在低分辨率圖像上進行，可用較小尺寸的卷積，因此卷積運算的效率會較高。所以，筆者使用亞像素卷積來進行像素重排。

1.2 MSRGAN判別模型

由于判別網(wǎng)絡(luò)只需要標(biāo)記生成圖片的真?zhèn)危虼丝梢詫⑴袆e網(wǎng)絡(luò)看成一個可以進行特征提取和線性分類的二元分類器。受文獻[14]基于卷積神經(jīng)網(wǎng)絡(luò)的判別模型啟發(fā)，判別網(wǎng)絡(luò)由卷積層、激活層、金字塔池化層(SPP)交替組成，如圖4所示。第一個卷積層的卷積核為5×5，步長為2，其他卷積層卷積核都為3×3，步長都為1，金字塔池化不僅對輸入尺寸沒有要求，而且能夠得到更豐富的圖像特征，最后利用全連接層[15]和sigmoid函數(shù)[16]將卷積層提取到的圖像特征進行分類組合，獲得樣本分類概率。

圖4 MSRGAN判別網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 損失函數(shù)

在醫(yī)學(xué)圖像領(lǐng)域，基于生成對抗網(wǎng)絡(luò)的超分辨率重建方法顯示出巨大潛力[17]。為提高網(wǎng)絡(luò)性能，基于生成對抗網(wǎng)絡(luò)的超分辨率重建損失函數(shù)如下：

(18)

對抗損失促使生成網(wǎng)絡(luò)生成紋理細(xì)節(jié)豐富的醫(yī)學(xué)圖像，而且能夠約束特征的生成，避免圖像發(fā)生病態(tài)變化，對抗損失公式如下：

(19)

內(nèi)容損失通常是為了提高超分辨率圖像的感知質(zhì)量而設(shè)計的。定義內(nèi)容損失包括3個部分：基于均方差損失(MSE)，感知VGG損失和距離變換損失。

對于圖像超分辨率重建應(yīng)用最廣泛的就是像素方面基于MSE的損失函數(shù)，它反映原圖像與超分辨圖像之間的均方誤差。值越小，與原圖像的相似度越高，基于MSE損失函數(shù)的定義如下：

(20)

其中，ILR代表尺寸為H×W×C的低分辨率圖像，IHR代表尺寸為rH×rW×C的高分辨率圖像，r代表比例系數(shù)。

基于MSE的優(yōu)化方案能獲得較高的峰值信噪比(PSNR)，但缺乏高頻細(xì)節(jié)而導(dǎo)致紋理過于平滑，得不到良好的感知效果。因此，使用VGG損失函數(shù)來保持感知相似性，可以表示為

(21)

其中，φi，j(x)表示圖像經(jīng)過微調(diào)的VGG網(wǎng)絡(luò)第i個池化層后第j個卷積層的激活值，IHR代表高分辨率圖像，G(ILR)表示生成的超分辨率圖，Wi，j和Hi，j為經(jīng)過微調(diào)的VGG網(wǎng)絡(luò)特征圖尺寸。

距離變換損失(Tra)通過計算圖像中像素點到最近零像素點的距離來細(xì)化輪廓、尋找質(zhì)心，可以增強目標(biāo)區(qū)域并且對非目標(biāo)區(qū)域不做任何改變，這樣既不產(chǎn)生額外特征又能細(xì)化邊緣信息，如下所示：

(22)

綜上所述，總損失函數(shù)被定義為

(23)

其中，α，β，λ代表權(quán)重系數(shù)。

2 實驗結(jié)果與分析

文中的對比算法包括CTF[18]，F(xiàn)SRCNN[19]，RDN[20]，SRGAN，GAN-CIRCLE[21]。CTF為基于模型的超分辨率重建算法；FSRCNN和RDN為基于深度學(xué)習(xí)的超分辨率重建算法；SRGAN和GAN-CIRCLE可以看做是有代表性的基于生成對抗網(wǎng)絡(luò)的超分辨率重建算法。

2.1 實驗數(shù)據(jù)及仿真環(huán)境

選取2 000張不同患者的肺部CT作為訓(xùn)練數(shù)據(jù)，500張作為測試數(shù)據(jù)，圖像尺寸為512×512像素，CT圖像來自廣州醫(yī)科大學(xué)附屬第一醫(yī)院。為生成訓(xùn)練數(shù)據(jù)，對高分辨率圖像下采樣得到低分辨率圖像數(shù)據(jù)集，下采樣因子為4。優(yōu)化過程選取β1=0.9，β2=0.999的Adam算法，學(xué)習(xí)速率為10-4，迭代次數(shù)為1.5×106。

選用帶有Intel Core i7-9700K CPU @ 3.60 GHz，64 GB RAM和Nvidia GeForce RTX 2080 Ti的Windows工作站來訓(xùn)練和評估模型。

2.2 評價指標(biāo)

采用主觀和客觀兩種評價標(biāo)準(zhǔn)對結(jié)果進行評價。主觀評價為主觀視覺效果。客觀評價指標(biāo)首先包括結(jié)構(gòu)相似性(SSIM)、特征相似性(FSIM)和峰值信噪比(PSNR)。結(jié)構(gòu)相似性是從亮度、對比度和結(jié)構(gòu)3方面衡量兩幅圖的相似程度，范圍為0～1，值越大，兩幅圖越相似；特征相似性是用來衡量兩幅圖的特征相似性，值越大，重建效果越好；峰值信噪比是一種基于像素間誤差敏感性的圖像質(zhì)量評價指標(biāo)，值越大，圖像失真越小。

為進一步驗證基于GAN的超分辨率重建的有效性，額外引入Sliced Wasserstein distance (SWD)，Inception Score (IS)，F(xiàn)rechet Inception Distance (FID)，3種指標(biāo)對SRGAN、GAN-CIRCLE和文中算法進行比較。IS是GAN中最常出現(xiàn)的評價指標(biāo)，在一定程度上反映生成圖片的質(zhì)量和多樣性，IS值越高越好。為了更好地評價生成網(wǎng)絡(luò)，引入FID指標(biāo)，能有效地計算真實分布與生成樣本之間的距離，F(xiàn)ID越小，重建效果越好。SWD是用來衡量兩個分部之間的相似性，距離越小，分布越相近。

2.3 實驗結(jié)果分析

主觀分析主要是利用目測法從圖像的紋理細(xì)節(jié)和整體感觀來觀察圖像的形態(tài)問題。圖5為6種方法重建結(jié)果，可以看出CTF算法得到的圖像比較模糊，細(xì)節(jié)過度平滑；相比之下，基于卷積神經(jīng)網(wǎng)絡(luò)和基于GAN的算法在感知上比基于模型的算法更有說服力。FSRCNN和RDN在圖像銳度方面有很大的提升，但還是產(chǎn)生少量偽影，在細(xì)節(jié)紋理方面的處理仍顯不足。SRGAN和GAN-CIRCLE在圖像銳度和視覺效果方面都有較好的表現(xiàn)，主觀感受和MSRGAN不相上下，但在表2客觀評價指標(biāo)方面略遜色文中算法。

圖5 重建結(jié)果對比圖

圖6 局部重建結(jié)果對比圖

圖6為對圖5的HR圖像中圈框部分進行放大得到的對比圖。圖像放大時會丟失部分細(xì)節(jié)信息，這是醫(yī)學(xué)診斷中需要克服的一大問題。從圖6可以看出，使用GAN-CIRCLE和MSRGAN算法的結(jié)果比其他結(jié)果邊緣信息更豐富，紋理細(xì)節(jié)更清楚。

為了進一步驗證文中算法的準(zhǔn)確性和可用性，邀請了8名平均臨床經(jīng)驗超過5年的放射學(xué)醫(yī)師對20組重建圖像進行分析。從邊緣和圖像銳度、紋理細(xì)節(jié)、病理不變性等多方面進行綜合評價，評分從1到5，1表示最差，5表示最好。表1是對20幅圖像評價的平均值，可以看出8名醫(yī)師都證實MSRGAN的重建效果最好，平均比CTF約高0.556 3，比FSRCNN約高0.401 3，比RDN約高0.310 0，比SRGAN約高0.195 0，比GAN-CIRCLE約高0.051 3。綜上所述，筆者提出的算法在圖像重建方面有一定的價值。

表1 不同醫(yī)師對重建圖像評價對比

客觀分析首先從結(jié)構(gòu)相似性(SSIM)、特征相似性(FSIM)和峰值信噪比(PSNR)方面進行評價，并記錄各算法的耗時，對圖5各算法超分辨率重建之后的圖像進行計算，如表2所示。

表2 超分辨重建算法結(jié)果對比

由表2實驗數(shù)據(jù)可以看出，MSRGAN在3項指標(biāo)中都有較高的得分，耗時也控制在1.5 s以內(nèi)?；谏疃葘W(xué)習(xí)的超分辨率重建算法比基于模型的超分辨率重建效果整體更好，MSRGAN算法在SSIM指標(biāo)上平均提高約0.047 0，在FSIM指標(biāo)上平均提高約0.022 8，在PSNR指標(biāo)上平均提高約1.962 0。

另外，為了驗證基于GAN算法的有效性，文中利用IS，SWD，F(xiàn)ID對SRGAN，GAN-CIRCLE和MSRGAN這3種算法進行評估，如表3所示。MSRGAN在IS指標(biāo)上比SRGAN高1.27，比GAN-CIRCLE高0.21，最接近真實圖像；在FID指標(biāo)上平均提高約3.48；SWD指標(biāo)略優(yōu)于其他算法。由此可見，文中算法不論在主觀視覺效果還是客觀指標(biāo)上都具有一定的優(yōu)勢。

為了驗證內(nèi)容損失的有效性，研究了3種MSRGAN的變化模型：① MSRGAN-m是沒有MSE損失的變體；② MSRGAN-v是沒有感知VGG損失的變體；③ MSRGAN-d是沒有距離變換損失的變體。對比結(jié)果如表4所示，MSRGAN相對其變化模型有一定的優(yōu)勢，SSIM指標(biāo)平均高出約4.0%，F(xiàn)SIM指標(biāo)平均高出約3.1%，PSNR指標(biāo)平均高出約17.4%，說明了文中損失函數(shù)能夠提高超分辨率圖像的感知質(zhì)量。

表3 基于GAN模型實驗結(jié)果對比

表4 MSRGAN變化模型對比結(jié)果

3 結(jié)束語

筆者提出利用多尺度殘差連接改進生成對抗網(wǎng)絡(luò)框架，旨在從低分辨率CT圖像中重建出清晰的高分辨率CT圖像。文中引入多尺度殘差模塊，提取圖像多種特征，增強特征的提取和表達(dá)，恢復(fù)圖像高頻紋理信息；此外，訓(xùn)練過程中將對抗損失和內(nèi)容損失相結(jié)合，銳化邊緣信息，增強紋理結(jié)構(gòu)的表達(dá)，提高圖像質(zhì)量。解決了醫(yī)療診斷中圖像細(xì)節(jié)不清晰的問題；通過實驗，進一步驗證了文中方法在恢復(fù)重建圖像的感知質(zhì)量方面的良好性能。

下一步將在保證精度的同時簡化模型，降低運行時間。