一種基于CycleGAN改進(jìn)的低劑量CT圖像增強(qiáng)網(wǎng)絡(luò)

廖仕敏，劉仰川，朱葉晨，王艷玲，高 欣

一種基于CycleGAN改進(jìn)的低劑量CT圖像增強(qiáng)網(wǎng)絡(luò)

廖仕敏1,2，劉仰川2，朱葉晨2，王艷玲3，高 欣1,2

(1. 徐州醫(yī)科大學(xué)醫(yī)學(xué)影像學(xué)院，江蘇 徐州 221004；2. 中國科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所醫(yī)學(xué)影像技術(shù)研究室，江蘇 蘇州 215163；3. 蘇州高新區(qū)人民醫(yī)院放射科，江蘇 蘇州 215129)

低劑量CT是一種有效且相對安全的胸腹部疾病篩查手段，但圖像中的偽影和噪聲會嚴(yán)重影響醫(yī)生的診斷?；谏疃葘W(xué)習(xí)的圖像增強(qiáng)方法中網(wǎng)絡(luò)訓(xùn)練大多依賴于難以獲取的配對數(shù)據(jù)，即同一患者相同部位像素級匹配的低劑量和常規(guī)劑量CT圖像。針對非配對數(shù)據(jù)，提出了一種基于循環(huán)一致性生成對抗網(wǎng)絡(luò)(CycleGAN)改進(jìn)的低劑量CT圖像增強(qiáng)網(wǎng)絡(luò)，在生成器前添加淺層特征預(yù)提取模塊，增強(qiáng)對CT圖像特征的提取能力；并利用深度可分離卷積替換生成器中的部分普通卷積，減少網(wǎng)絡(luò)參數(shù)和顯存占用。該網(wǎng)絡(luò)使用3 275張低劑量CT圖像和2 790張非配對常規(guī)劑量CT圖像進(jìn)行訓(xùn)練，另外1 716張低劑量CT圖像進(jìn)行測試。結(jié)果表明，該網(wǎng)絡(luò)生成的CT圖像的平均感知圖像質(zhì)量評價(jià)指標(biāo)(PIQE)為45.53，比CycleGAN的結(jié)果降低了8.3%，更遠(yuǎn)低于三維塊匹配濾波(BM3D) 31.9%、無監(jiān)督圖像轉(zhuǎn)換網(wǎng)絡(luò)(UNIT) 20.9%，且在結(jié)構(gòu)細(xì)節(jié)保持、噪聲和偽影抑制方面均獲得了更好的主觀視覺效果，是一種具有潛在臨床應(yīng)用前景的低劑量CT圖像增強(qiáng)方法。

低劑量CT；圖像增強(qiáng)；深度學(xué)習(xí)；非配對數(shù)據(jù)；循環(huán)一致性生成對抗網(wǎng)絡(luò)

計(jì)算機(jī)斷層成像(computed tomography，CT)是一種通過無損方式獲取人體內(nèi)部解剖信息的成像技術(shù)，具有掃描時間短、圖像分辨率高等特點(diǎn)。然而，CT掃描過程中較高的輻射劑量會損害患者健康，甚至誘發(fā)癌變。相比于常規(guī)劑量CT，低劑量CT在掃描中可有效降低患者所受的輻射劑量，因而廣泛應(yīng)用于胸腹部(特別是肺部)疾病篩查領(lǐng)域。目前臨床上通常采用降低射線源的管電流或管電壓的方式實(shí)現(xiàn)低劑量CT掃描，由此探測器檢測到的光子數(shù)也相應(yīng)變少，投影數(shù)據(jù)的信噪比降低，導(dǎo)致重建圖像中出現(xiàn)大量的噪聲和偽影，嚴(yán)重影響醫(yī)生的準(zhǔn)確診斷。因此，有效抑制低劑量CT圖像中的噪聲和偽影，提高圖像質(zhì)量，具有重要的臨床意義。

傳統(tǒng)低劑量CT圖像增強(qiáng)方法可分為基于投影域數(shù)據(jù)和基于圖像域數(shù)據(jù)2類，前者可細(xì)分為投影域處理方法[1-3]和迭代重建方法[4-5]。投影域處理方法對探測器接收到的投影數(shù)據(jù)進(jìn)行濾波去噪，計(jì)算過程簡單、耗時短，但容易引起數(shù)據(jù)過校正，導(dǎo)致重建圖像引入新的偽影。迭代重建方法通過引入先驗(yàn)知識和約束條件來構(gòu)建具備特定優(yōu)化效果的目標(biāo)函數(shù)，并借助迭代最優(yōu)化方法求解得到高質(zhì)量CT圖像，但迭代過程計(jì)算復(fù)雜度高、耗時嚴(yán)重，且依賴于優(yōu)化準(zhǔn)則，臨床應(yīng)用價(jià)值受限。此外，投影數(shù)據(jù)涉及CT機(jī)的部分核心技術(shù)，因此廠家一般不提供投影數(shù)據(jù)獲取權(quán)限。基于圖像域數(shù)據(jù)的方法[6]則不依賴投影數(shù)據(jù)，直接對重建圖像進(jìn)行增強(qiáng)，具有一定的去噪、去偽影效果，但容易引起圖像過度平滑、細(xì)節(jié)信息丟失等問題，如三維塊匹配濾波(block-matching and 3D filtering，BM3D)[7]。近年來，隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在計(jì)算機(jī)視覺領(lǐng)域[8-11]的應(yīng)用愈加廣泛。劑量感知網(wǎng)絡(luò)(dose aware network，DAN)[12]，基于殘差編解碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)(residual encoder- decoder CNN，REDCNN)[13]，自注意卷積神經(jīng)網(wǎng)絡(luò)(self-attention CNN，SACNN)[14]憑借各自強(qiáng)大的特征提取能力，在低劑量CT圖像去噪、偽影抑制和結(jié)構(gòu)保持方面，表現(xiàn)出比傳統(tǒng)方法更大的優(yōu)勢。上述網(wǎng)絡(luò)均屬于監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，依賴于臨床上難以獲取的配對數(shù)據(jù)，即同一患者相同部位像素級匹配的低劑量和常規(guī)劑量CT圖像。部分研究[15]通過仿真獲取配對的CT圖像，但因仿真成像與真實(shí)物理成像在射線透射與散射、旋轉(zhuǎn)掃描、人體模型等方面存在差距，應(yīng)用價(jià)值受限。

近幾年，研究人員提出了多種使用非配對數(shù)據(jù)進(jìn)行訓(xùn)練的無監(jiān)督網(wǎng)絡(luò)，如無監(jiān)督圖像到圖像轉(zhuǎn)換網(wǎng)絡(luò)(unsupervised image-to-image translation network，UNIT)[16]、循環(huán)一致性生成對抗網(wǎng)絡(luò)(cycle-consistent generative adversarial network，CycleGAN)[17]、通過解耦表征的多樣化圖像到圖像轉(zhuǎn)換網(wǎng)絡(luò)(diverse image-to-image translation network via disentangled representations，DRIT)[18]、多模態(tài)無監(jiān)督圖像到圖像轉(zhuǎn)換網(wǎng)絡(luò)(multimodal unsupervised image-to-image translation network，MUNIT)[19]等。其中CycleGAN作為最經(jīng)典的無監(jiān)督網(wǎng)絡(luò)，被廣泛應(yīng)用于圖像生成任務(wù)，也將其應(yīng)用于低劑量CT圖像增強(qiáng)。朱斯琪等[20]將CycleGAN生成器中特征轉(zhuǎn)換模塊的殘差連接替換為稠密殘差連接，增強(qiáng)了網(wǎng)絡(luò)層間的聯(lián)系；TANG等[21]將BM3D增強(qiáng)后的低劑量CT圖像作為先驗(yàn)信息，進(jìn)一步約束網(wǎng)絡(luò)的訓(xùn)練過程，2個改進(jìn)網(wǎng)絡(luò)均取得了較好的結(jié)果。然而，前者采用的心臟CT數(shù)據(jù)集因人工截取感興趣區(qū)域(region of interest，ROI)導(dǎo)致其缺乏完整性；后者采用的死豬CT數(shù)據(jù)集缺乏生理運(yùn)動信息且與人體解剖結(jié)構(gòu)相差較大。本文以非配對臨床胸腹部常規(guī)、低劑量CT圖像作為數(shù)據(jù)集，借助淺層特征預(yù)提取模塊和深度可分離卷積(depthwise separable convolution，DSC)[22]改進(jìn)CycleGAN，并與傳統(tǒng)增強(qiáng)方法BM3D、深度學(xué)習(xí)網(wǎng)絡(luò)UNIT和CycleGAN做對比，驗(yàn)證改進(jìn)后的CycleGAN在低劑量CT圖像增強(qiáng)方面的效果。

1 材料和方法

1.1 數(shù)據(jù)和預(yù)處理

本研究所用臨床胸腹部CT影像數(shù)據(jù)由第四屆圖像計(jì)算與數(shù)字醫(yī)學(xué)國際研討會(ISICDM 2020)主辦方提供，訓(xùn)練集包含10例受試者的低劑量CT圖像3 275張和另外10例受試者的常規(guī)劑量CT圖像2 790張，測試集包含另外5例受試者的低劑量CT圖像1 716張，圖像尺寸是512×512。此外，為加快網(wǎng)絡(luò)收斂并考慮到人體組織的CT值存在負(fù)值，將數(shù)據(jù)歸一化到[-1, 1]。

1.2 基礎(chǔ)網(wǎng)絡(luò)

1.2.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)是CycleGAN[17]的基礎(chǔ)，包含一個生成器和一個鑒別器，生成器的目標(biāo)是生成能最大程度還原捕捉到的訓(xùn)練集特征的圖像；鑒別器的作用則是正確區(qū)分訓(xùn)練集中的真實(shí)圖像和生成器生成的假圖像，并將分類結(jié)果反饋給生成器，使生成器生成更接近真實(shí)數(shù)據(jù)的圖像，由此構(gòu)成博弈。GAN的對抗損失函數(shù)可表示為一個最小-最大化問題，即

其中，為數(shù)學(xué)期望函數(shù)；為真實(shí)數(shù)據(jù)；為隨機(jī)噪聲；()為真實(shí)數(shù)據(jù)分布；()為用于隨機(jī)噪聲采樣的先驗(yàn)分布；為生成器；為鑒別器。生成器和鑒別器在博弈過程中，不斷提升自身性能，直至達(dá)到納什平衡，即生成器無法再提高生成圖像的逼真程度，鑒別器無法區(qū)分真實(shí)圖像和生成圖像。

1.2.2 循環(huán)一致性生成對抗網(wǎng)絡(luò)

在GAN中，生成器為生成逼真的圖像，常常會忽略輸入變量間的差異性，導(dǎo)致模式崩潰，即源域中的不同圖像被生成器轉(zhuǎn)換成目標(biāo)域中同一圖像。CycleGAN通過引入循環(huán)一致性損失，同時訓(xùn)練生成器和，確保轉(zhuǎn)換到目標(biāo)域中的圖像經(jīng)生成器可轉(zhuǎn)換回與原始圖像近似的圖像，從而避免上述問題，如圖1所示。

圖1 CycleGAN原理示意圖

圖1中，和為鑒別器，分別鑒別生成器和生成的圖像是否足夠接近真實(shí)圖像。CycleGAN的生成器主要由編碼器、特征轉(zhuǎn)換模塊和解碼器3部分組成，如圖2所示。

圖2 生成器結(jié)構(gòu)

編碼器包含2層步幅為2的跨步卷積，特征轉(zhuǎn)換模塊包含9個殘差塊，每個殘差塊由2層普通卷積組成，解碼器包含2層步幅為2的反卷積。

輸入圖像尺寸為1×256×256 (通道數(shù)為1，長和寬均為256)，經(jīng)普通卷積后，得到尺寸為64×256×256的特征圖。再依次由編碼器下采樣，經(jīng)特征轉(zhuǎn)換模塊轉(zhuǎn)換特征，解碼器上采樣，普通卷積融合通道，最終輸出尺寸為1×256×256的圖像。

此外，為進(jìn)一步約束生成器的訓(xùn)練過程，CycleGAN還引入了一致性損失，將目標(biāo)域或源域中的圖像分別輸入生成器或中，生成器輸出的圖像應(yīng)保持不變。

CycleGAN的損失函數(shù)包含循環(huán)一致性損失函數(shù)L、對抗損失函數(shù)L(CycleGAN的對抗損失函數(shù)為最小二乘損失)和一致性損失函數(shù)L的3部分，即

其中

其中，()為目標(biāo)域中的數(shù)據(jù)分布；和為權(quán)重系數(shù)，平衡網(wǎng)絡(luò)的循環(huán)一致性損失、對抗損失和一致?lián)p失，值分別為10和5。

1.3 改進(jìn)網(wǎng)絡(luò)

為有效抑制低劑量CT圖像中的噪聲和偽影，并保留圖像中的結(jié)構(gòu)細(xì)節(jié)信息，本文對CycleGAN做如下改進(jìn)和調(diào)整。

1.3.1 深度可分離卷積

生成器由大量的卷積層堆疊而成，因此網(wǎng)絡(luò)參數(shù)極多，大量參數(shù)不僅會降低網(wǎng)絡(luò)的訓(xùn)練速度而且易導(dǎo)致網(wǎng)絡(luò)過擬合。使用DSC[22]替換CycleGAN生成器中的部分普通卷積可減少網(wǎng)絡(luò)參數(shù)，降低訓(xùn)練過程中顯存的占用。

DSC是文獻(xiàn)[22]在2017年提出的一種應(yīng)用于移動端視覺的卷積方法，該方法將普通卷積分解為逐通道卷積和逐點(diǎn)卷積，如圖3所示。

輸入特征圖的尺寸為in×in×in，且in，in，in分別為特征圖的寬、高和通道數(shù)。DSC首先對輸入特征圖進(jìn)行逐通道分離，對分離出的通道使用in個尺寸為W×H×1的卷積核進(jìn)行逐通道卷積，得到尺寸為××的中間輸出，W，H和，分別為卷積核的寬、高和中間輸出的寬、高。最后使用個尺寸為1×1×in的卷積核對中間輸出進(jìn)行逐點(diǎn)卷積，最終輸出特征圖的尺寸為××。

圖3 深度可分離卷積

不考慮偏置的情況下，上述普通卷積、逐通道卷積和逐點(diǎn)卷積的參數(shù)計(jì)算公式分別為W×H×in×，W×H×in×1和1×1×in×，因此DSC的參數(shù)計(jì)算式為W×H×in×1+1×1×in×。

在輸入(in)和輸出通道數(shù)()都很大的情況下，DSC的參數(shù)量遠(yuǎn)小于普通卷積。因此利用其可得到一個參數(shù)量更小、訓(xùn)練速度更快的神經(jīng)網(wǎng)絡(luò)。

1.3.2 淺層特征預(yù)提取模塊

通常情況下，自然圖像的數(shù)據(jù)類型為8位無符號整型，而醫(yī)學(xué)CT圖像的數(shù)據(jù)類型為16位有符號整型(數(shù)據(jù)預(yù)處理后為32位有符號浮點(diǎn)型)。面向自然圖像的CycleGAN直接用于醫(yī)學(xué)CT圖像增強(qiáng)，會因?yàn)榫W(wǎng)絡(luò)提取的醫(yī)學(xué)影像特征不足，導(dǎo)致丟失反應(yīng)病灶細(xì)節(jié)的部分信息。淺層特征預(yù)提取模塊(shallow feature pre-extraction module，SFEM)可提取含有豐富語義信息的圖像特征，在生成常規(guī)劑量CT圖像的生成器前添加該模塊，可增強(qiáng)網(wǎng)絡(luò)對CT圖像特征的提取能力，保留圖像中反應(yīng)結(jié)構(gòu)細(xì)節(jié)的信息。

淺層特征預(yù)提取模塊由7條卷積核尺寸(逐通道卷積中卷積核的尺寸)和卷積層數(shù)目均不相同的DSC支路，及2條不同的池化支路組成，為避免網(wǎng)絡(luò)深度增加導(dǎo)致梯度消失，除第1條以外的其余6條DSC支路中采用殘差連接。將各支路提取到的多層次淺層特征在通道維度上連接并進(jìn)行信息融合，最終輸入CycleGAN的生成器，如圖4所示。

1.3.3 激活函數(shù)調(diào)整

原生成器中的部分激活函數(shù)是ReLu (圖5(a))，會導(dǎo)致值域?yàn)?-1,0)的數(shù)據(jù)丟失。因此，本文將原網(wǎng)絡(luò)中的ReLu激活函數(shù)均替換成Tanh激活函數(shù)(圖5(b))。

圖4 淺層特征預(yù)提取模塊

圖5 ReLu激活函數(shù)曲線和Tanh激活函數(shù)曲線((a) ReLu激活函數(shù)曲線；(b) Tanh激活函數(shù)曲線)

1.4 圖像質(zhì)量評價(jià)指標(biāo)

通常情況下，生成圖像的質(zhì)量評價(jià)指標(biāo)是峰值信噪比(peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似度(structural similarity，SSIM)，但二者均依賴配對數(shù)據(jù)進(jìn)行計(jì)算，不適用于本研究中非配對數(shù)據(jù)的生成圖像評價(jià)。感知圖像質(zhì)量評價(jià)指標(biāo)(perception-based image quality evaluator，PIQE)是VENKATANATH等[23]提出的一種基于人類視覺的無參考自然圖像評價(jià)指標(biāo)，其充分考慮了局部噪聲和顯著失真對整體圖像質(zhì)量的影響，具有客觀性強(qiáng)、適應(yīng)性好等優(yōu)點(diǎn)。而CT圖像中的局部噪聲和偽影有時會嚴(yán)重影響臨床醫(yī)生的準(zhǔn)確診斷，因此本研究引入PIQE定量評估生成CT圖像質(zhì)量，其計(jì)算過程可分為6步：

(1) 計(jì)算亮度圖像的去均值對比度歸一化(mean subtracted contrast normalized，MSCN)系數(shù)矩陣，即

其中

式(6)中，(,)為自然圖像對應(yīng)的亮度圖像；C為常數(shù)1；(,)和(,)分別為亮度圖像(,)經(jīng)高斯濾波后得到的加權(quán)均值圖像和加權(quán)標(biāo)準(zhǔn)差圖像。式(7)中，，和分別代表自然圖像紅、綠、藍(lán)3通道。式(8)和式(9)中，K和L均為常數(shù)3；為濾波核為7×7像素的高斯濾波函數(shù)。由于CT圖像為灰度圖像，故PIQE計(jì)算過程中所涉及到圖像的亮度值均由灰度值代替。

(2) 將圖像尺寸分為16×16像素的多個不重疊塊，每個塊在MSCN系數(shù)矩陣上對應(yīng)相同尺寸的區(qū)域記為B，如圖6所示。

圖6 多個不重疊塊((a)圖像；(b) MSCN系數(shù)矩陣)

塊可分為均勻(uniform，U)塊或空間活躍(spatially active，SA)塊，即

其中，為塊的類別；TU為常數(shù)0.1；為塊在MSCN系數(shù)矩陣上對應(yīng)區(qū)域B的方差。

(3) 判斷塊是否存在顯著失真。塊對應(yīng)的B的4條邊(L;?1,2,3,4)均被錯位分成11段(a1,a2,a3,···;?1,2,3,4)，每段長度均為6個像素，彼此錯位1個像素，如圖7所示。

如果B的4條邊中存在任何一段的標(biāo)準(zhǔn)差小于閾值0.1，則表明該B對應(yīng)的塊存在顯著失真，即

(4) 判斷塊是否存在噪聲。塊對應(yīng)的B以中心線對稱，尺寸為2×16像素的中心區(qū)域(S)和尺寸為14×16像素的外圍區(qū)域(S)，如圖8所示。

圖7 判斷空間活躍塊是否存在顯著失真((a) BK和BK的4條邊；(b)將每條邊錯位分成11段)

圖8 BK的中心區(qū)域和外圍區(qū)域

計(jì)算整體區(qū)域B、中心區(qū)域S、外圍區(qū)域S之間數(shù)據(jù)分布的相似程度為

(5) 根據(jù)的失真類型(顯著失真和噪聲)，計(jì)算其質(zhì)量分?jǐn)?shù)為

(6) 通過所有的質(zhì)量分?jǐn)?shù)D，評估整張圖像的質(zhì)量，即

其中，C1為常數(shù)1；N為的數(shù)量。值越大為圖像質(zhì)量越差。

2 實(shí)驗(yàn)和結(jié)果

2.1 實(shí)現(xiàn)環(huán)境及參數(shù)設(shè)置

使用深度學(xué)習(xí)框架PyTorch實(shí)現(xiàn)所提出的網(wǎng)絡(luò)架構(gòu)。實(shí)驗(yàn)設(shè)備為裝有Nvidia GeForce 2080Ti GPU的Dell P5820X工作站，操作系統(tǒng)為Ubuntu 16.04 LTS。

2.2 實(shí)驗(yàn)結(jié)果

2.2.1 定量評價(jià)

分別采用傳統(tǒng)方法BM3D、深度學(xué)習(xí)方法UNIT，CycleGAN和改進(jìn)后的CycleGAN對測試集中5位受試者的1 716張低劑量CT圖像進(jìn)行增強(qiáng)(深度學(xué)習(xí)網(wǎng)絡(luò)生成的常規(guī)劑量CT圖像視為增強(qiáng)結(jié)果)，并計(jì)算各增強(qiáng)后圖像的PIQE。此后，以受試者為單位求平均PIQE，結(jié)果見表1。

表1 低劑量CT圖像增強(qiáng)前后的平均PIQE

注：加粗?jǐn)?shù)據(jù)為同行中最小的PIQE

表1中，與原圖像相比，經(jīng)BM3D增強(qiáng)后，受試者1～4的平均PIQE均大幅減小，但受試者5的平均PIQE小幅增大。這表明，傳統(tǒng)方法BM3D對低劑量CT圖像具有一定的增強(qiáng)效果，但穩(wěn)定性較差。經(jīng)UNIT，CycleGAN和改進(jìn)后的CycleGAN增強(qiáng)后，所有受試者的平均PIQE均大幅減小，且減小幅度依次提升。這表明，深度學(xué)習(xí)方法UNIT，CycleGAN和改進(jìn)后的CycleGAN對低劑量CT圖像的增強(qiáng)效果均優(yōu)于傳統(tǒng)方法BM3D且性能依次提高，穩(wěn)定性好。此外，在整個測試集上，改進(jìn)后的CycleGAN的平均PIQE由CycleGAN的49.65降低為45.53，降幅達(dá)8.3%，更遠(yuǎn)低于BM3D的31.9%和UNIT的20.9%，驗(yàn)證了本文改進(jìn)方法的有效性。

2.2.2 定性評價(jià)

觀察4種方法增強(qiáng)結(jié)果后發(fā)現(xiàn)，雖然原圖像中的噪聲和偽影得到了抑制，但是部分圖像存在新偽影引入、結(jié)構(gòu)細(xì)節(jié)丟失和灰度值改變的問題。為此，本文采用主觀對比方式對增強(qiáng)圖像進(jìn)行定性評價(jià)。由于骨組織、肺組織、軟組織是胸腹部CT篩查的重要依據(jù)，因此從偽影抑制、結(jié)構(gòu)完整性、灰度值保持3個方面，重點(diǎn)考察增強(qiáng)圖像中這3類組織的增強(qiáng)效果，從而主觀評價(jià)各方法的性能。圖9為選取的3張可顯著表現(xiàn)這3種組織的對比圖像。

圖9(a)為骨組織，BM3D的增強(qiáng)圖像中，下側(cè)骨組織周圍仍存在大量條紋狀偽影(黃箭)。UNIT的增強(qiáng)圖像中，骨組織周圍出現(xiàn)了大量白色斑狀偽影(綠框)；胸廓上側(cè)出現(xiàn)了帶狀偽影(綠箭)。CycleGAN的增強(qiáng)圖像中，部分骨組織灰度值降低甚至難以識別(紅箭)。改進(jìn)后的CycleGAN的增強(qiáng)圖像中，骨組織灰度值雖然輕微降低，但是結(jié)構(gòu)完整且邊界清晰(藍(lán)箭)。

圖9(b)為肺組織，BM3D中的肺組織結(jié)構(gòu)丟失嚴(yán)重(黃框)。UNIT中的肺腔下側(cè)出現(xiàn)了2個扁圓狀偽影、胸廓上側(cè)出現(xiàn)了帶狀偽影(綠箭)。CycleGAN中的肺組織結(jié)構(gòu)完整(紅框)，但位于肺腔上側(cè)的軟組織丟失了少量結(jié)構(gòu)信息并且胸廓兩側(cè)出現(xiàn)了條狀偽影(紅箭)。改進(jìn)后的CycleGAN中的肺組織增強(qiáng)效果顯著(藍(lán)框)。

圖9(c)為軟組織，BM3D中的軟組織平滑嚴(yán)重，紋理丟失(黃箭)。UNIT中的軟組織中出現(xiàn)了多個暗色偽影、胸廓上側(cè)出現(xiàn)帶狀偽影(綠箭)。CycleGAN中的軟組織偽影抑制良好，但部分空洞丟失(紅框)。改進(jìn)后的CycleGAN的軟組織空洞保持完整(藍(lán)框)。

主觀對比所有受試者的測試結(jié)果發(fā)現(xiàn)，BM3D過度平滑了圖像，導(dǎo)致結(jié)構(gòu)和紋理丟失，有時不能完全去除原始圖像中條紋狀偽影；UNIT則引入了大量偽影；CycleGAN雖然對各組織均有增強(qiáng)效果，但是會降低部分骨組織灰度值、丟失部分軟組織信息、在圖像邊緣引入少量偽影；改進(jìn)后的CycleGAN對各組織均有顯著增強(qiáng)效果，在偽影抑制、結(jié)構(gòu)完整性、灰度值保持3方面均有所提升。

圖9 4種低劑量CT圖像增強(qiáng)方法效果對比((a)骨組織；(b)肺組織；(c)軟組織)

2.2.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文改進(jìn)網(wǎng)絡(luò)的有效性，分別對淺層特征預(yù)提取模塊和深度可分離卷積進(jìn)行消融實(shí)驗(yàn)。將CycleGAN記為Base，CycleGAN生成器中添加淺層特征預(yù)提取模塊記為Base+SFEM，CycleGAN生成器中部分普通卷積替換為DSC記為Base+DSC，CycleGAN生成器中添加淺層特征預(yù)提取模塊且部分普通卷積替換為DSC記為Base+SFEM+DSC (即本文改進(jìn)網(wǎng)絡(luò))。

采用與上文中相同的數(shù)據(jù)和參數(shù)對4種網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，在訓(xùn)練階段記錄生成器的參數(shù)量，并在測試后計(jì)算增強(qiáng)圖像的平均PIQE，結(jié)果見表2。

表2 4種網(wǎng)絡(luò)增強(qiáng)效果定量比較

注：Base=CycleGAN；SFEM=淺層特征預(yù)提取模塊；DSC=深度可分離卷積；M=百萬

表2中，與Base相比，Base+SFEM的生成器參數(shù)量有所增加，增強(qiáng)圖像的平均PIQE增大，表明生成器添加SFEM會引入額外的參數(shù)量，不利于網(wǎng)絡(luò)訓(xùn)練，降低了網(wǎng)絡(luò)對低劑量CT圖像中噪聲及偽影的抑制能力。Base+DSC的生成器參數(shù)量大幅減少，但增強(qiáng)圖像的平均PIQE依舊增大，說明DSC可有效降低生成器參數(shù)量，便于網(wǎng)絡(luò)訓(xùn)練，但由于其在空間和通道上的交互更為稀疏，使網(wǎng)絡(luò)對圖像的特征提取能力不強(qiáng)，限制了網(wǎng)絡(luò)對低劑量CT圖像中噪聲及偽影的抑制效果。Base+ SFEM+DSC的參數(shù)量減少，增強(qiáng)圖像的平均PIQE減小，表明SFEM與DSC相結(jié)合，在提取豐富語義信息的同時有效降低網(wǎng)絡(luò)參數(shù)量，進(jìn)而提升網(wǎng)絡(luò)對低劑量CT圖像噪聲及偽影的抑制能力。

為了直觀說明SFEM和DSC相結(jié)合的必要性，從實(shí)驗(yàn)結(jié)果中選取3張分別對應(yīng)骨組織(第1，2行)、肺組織(第3，4行)和軟組織(第5，6行)的切片及其ROI放大圖，如圖10所示，主觀評價(jià)基礎(chǔ)網(wǎng)絡(luò)及模塊組合網(wǎng)絡(luò)對低劑量CT圖像的增強(qiáng)效果。

圖10中，4種網(wǎng)絡(luò)對低劑量CT圖像中的噪聲均有較好的抑制效果，但在骨組織、肺組織及軟組織保持方面存在差異。與原圖相比，Base的增強(qiáng)圖像中部分骨組織丟失，肺組織灰度值下降，軟組織空洞對比度降低或丟失，表明Base對3種組織的特征提取能力不足；與Base結(jié)果相比，Base+SFEM的增強(qiáng)圖像中骨組織、肺組織及軟組織空洞的對比度及輪廓均保持較好，僅部分骨組織周圍仍存在偽影，如圖10(c)綠框所示，表明SFEM增強(qiáng)了Base架構(gòu)保持組織結(jié)構(gòu)細(xì)節(jié)的能力，但降低了其抑制偽影的能力；而Base+DSC的增強(qiáng)圖像中骨組織丟失嚴(yán)重，肺組織灰度值下降明顯，軟組織空洞對比度上升，以上表明DSC減弱了網(wǎng)絡(luò)對骨組織及肺組織的特征提取能力；相比上述3種網(wǎng)絡(luò)，Base+SFEM+DSC的增強(qiáng)圖像中骨組織、肺組織、軟組織結(jié)構(gòu)均保持完整，未發(fā)生組織信息丟失，且骨組織周圍偽影抑制效果較好，表明SFEM和DSC相結(jié)合的策略在組織結(jié)構(gòu)細(xì)節(jié)保持和偽影抑制兩方面做到了較好的平衡。

以上消融實(shí)驗(yàn)結(jié)果表明，SFEM雖然能增強(qiáng)網(wǎng)絡(luò)對骨、肺及其軟組織的保持能力，但會限制網(wǎng)絡(luò)的去偽影效果。DSC雖然能降低網(wǎng)絡(luò)的參數(shù)量，但相比普通卷積，對圖像的特征提取能力不足，導(dǎo)致網(wǎng)絡(luò)對圖像中的骨、肺及其軟組織的保持能力下降。單獨(dú)使用SFEM和DSC均不能有效保留圖像中的結(jié)構(gòu)細(xì)節(jié)信息，而SFEM和DSC的結(jié)合，可在提取豐富語義信息的同時，有效降低網(wǎng)絡(luò)參數(shù)量，提升網(wǎng)絡(luò)對醫(yī)學(xué)圖像的特征提取能力，從而增強(qiáng)網(wǎng)絡(luò)對低劑量CT圖像中偽影和噪聲的抑制能力，并保留圖中的結(jié)構(gòu)細(xì)節(jié)信息。

圖10 基礎(chǔ)網(wǎng)絡(luò)及模塊組合網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果主觀對比

3 結(jié) 論

本文基于CycleGAN改進(jìn)的低劑量CT圖像增強(qiáng)網(wǎng)絡(luò)，利用DSC替換CycleGAN生成器中部分普通卷積，減少網(wǎng)絡(luò)參數(shù)，降低訓(xùn)練過程中的顯存占用，并在生成常規(guī)劑量CT圖像的生成器中添加SFEM，利用不同的支路提取不同的淺層特征信息，并進(jìn)行融合，以此增強(qiáng)生成器對CT圖像特征的提取能力，從而生成高質(zhì)量的CT圖像。實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)在骨組織灰度值保持、肺組織信號增強(qiáng)、偽影抑制等方面的主觀評價(jià)均優(yōu)于BM3D，UNIT和CycleGAN，并且該網(wǎng)絡(luò)生成的常規(guī)劑量CT圖像的平均PIQE下降到了45.53，而其余3種方法中增強(qiáng)效果最好的CycleGAN生成的常規(guī)劑量CT圖像的平均PIQE僅下降到了49.65，因此本文網(wǎng)絡(luò)是一種性能優(yōu)越，具有潛在臨床應(yīng)用前景的低劑量CT圖像增強(qiáng)網(wǎng)絡(luò)。

[1] MANDUCA A, YU L F, TRZASKO J D, et al. Projection space denoising with bilateral filtering and CT noise modeling for dose reduction in CT[J]. Medical Physics, 2009, 36(11): 4911-4919.

[2] HSIEH J. Adaptive streak artifact reduction in computed tomography resulting from excessive X-ray photon noise[J]. Medical Physics, 1998, 25(11): 2139-2147.

[3] KACHELRIESS M, WATZKE O, KALENDER W A. Generalized multi-dimensional adaptive filtering for conventional and spiral single-slice, multi-slice, and cone-beam CT[J]. Medical Physics, 2001, 28(4): 475-490.

[4] XU Q, YU H Y, MOU X Q, et al. Low-dose X-ray CT reconstruction via dictionary learning[J]. IEEE Transactions on Medical Imaging, 2012, 31(9): 1682-1697.

[5] ZHANG Y, ZHANG W H, LEI Y J, et al. Few-view image reconstruction with fractional-order total variation[J]. Journal of the Optical Society of America A, 2014, 31(5): 981-995.

[6] ZHANG H, ZENG D, ZHANG H, et al. Applications of nonlocal means algorithm in low-dose X-ray CT image processing and reconstruction: a review[J]. Medical Physics, 2017, 44(3): 1168-1185.

[7] ZHAO T T, HOFFMAN J, MCNITT-GRAY M, et al. Ultra-low-dose CT image denoising using modified BM3D scheme tailored to data statistics[J]. Medical Physics, 2019, 46(1): 190-198.

[8] 黃凱奇, 趙鑫, 李喬哲, 等. 視覺圖靈: 從人機(jī)對抗看計(jì)算機(jī)視覺下一步發(fā)展[J]. 圖學(xué)學(xué)報(bào), 2021, 42(3): 339-348.

HUANG K Q, ZHAO X, LI Q Z, et al. Visual Turing: the next development of computer vision in the view of human-computer gaming[J]. Journal of Graphics, 2021, 42(3): 339-348 (in Chinese).

[9] 林曉, 屈時操, 黃偉, 等. 顯著區(qū)域保留的圖像風(fēng)格遷移算法[J]. 圖學(xué)學(xué)報(bào), 2021, 42(2): 190-197.

LIN X, QU S C, HUANG W, et al. Style transfer algorithm for salient region preservation[J]. Journal of Graphics, 2021, 42(2): 190-197 (in Chinese).

[10] 任好盼, 王文明, 危德健, 等. 基于高分辨率網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法[J]. 圖學(xué)學(xué)報(bào), 2021, 42(3): 432-438.

REN H P, WANG W M, WEI D J, et al. Human pose estimation based on high-resolution net[J]. Journal of Graphics, 2021, 42(3): 432-438 (in Chinese).

[11] 李彬, 王平, 趙思逸. 基于雙重注意力機(jī)制的圖像超分辨重建算法[J]. 圖學(xué)學(xué)報(bào), 2021, 42(2): 206-215.

LI B, WANG P, ZHAO S Y. Image super-resolution reconstruction based on dual attention mechanism[J]. Journal of Graphics, 2021, 42(2): 206-215 (in Chinese).

[12] HUANG Z X, CHEN Z X, CHEN J C, et al. DaNet: dose-aware network embedded with dose-level estimation for low-dose CT imaging[J]. Physics in Medicine and Biology, 2021, 66(1): 015005.

[13] CHEN H, ZHANG Y, KALRA M K, et al. Low-dose CT with a residual encoder-decoder convolutional neural network[J]. IEEE Transactions on Medical Imaging, 2017, 36(12): 2524-2535.

[14] LI M, HSU W, XIE X D, et al. SACNN: self-attention convolutional neural network for low-dose CT denoising with self-supervised perceptual loss network[J]. IEEE Transactions on Medical Imaging, 2020, 39(7): 2289-2301.

[15] 周博超, 韓雨男, 桂志國, 等. 基于VGG網(wǎng)絡(luò)和深層字典的低劑量CT圖像去噪算法[EB/OL]. [2022-02-10]. http:// www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060582.

ZHOU B C, HAN Y N, GUI Z G, et al. Low-dose CT image denoising algorithm based on VGG network and deep dictionary[EB/OL]. [2022-02-10]. http://www.ecice06.com/ CN/10.19678/j.issn.1000-3428.0060582 (in Chinese).

[16] LIU M Y, BREUEL T, KAUTZ J. Unsupervised image- to-image translation networks[EB/OL]. [2022-01-10]. https:// arxiv.org/abs/1703.00848v1.

[17] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// 2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2223-2232.

[18] LEE H Y, TSENG H Y, MAO Q, et al. DRIT++: diverse image-to-image translation via disentangled representations[J]. International Journal of Computer Vision, 2020, 128(10-11): 2402-2417.

[19] HUANG X, LIU M Y, BELONGIE S, et al. Multimodal unsupervised image-to-image translation[C]//The 15th European Conference on Computer Vision. Heidelberg: Springer, 2018: 172-189.

[20] 朱斯琪, 王玨, 蔡玉芳. 基于改進(jìn)型循環(huán)一致性生成對抗網(wǎng)絡(luò)的低劑量CT去噪算法[J]. 光學(xué)學(xué)報(bào), 2020, 40(22): 70-78.

ZHU S Q, WANG J, CAI Y F. Low-dose CT denoising algorithm based on improved Cycle GAN[J]. Acta Optica Sinica, 2020, 40(22): 70-78 (in Chinese).

[21] TANG C, LI J, WANG L Y, et al. Unpaired low-dose CT denoising network based on cycle-consistent generative adversarial network with prior image information[J]. Computational and Mathematical Methods in Medicine, 2019(12): 1-11.

[22] HOWARD A G, ZHU M L, CHEN B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2021-12-20]. https://arxiv.org/abs/1704. 04861.

[23] VENKATANATH N, PRANEETH D, BH M C, et al. Blind image quality evaluation using perception based features[C]// 2015 21st National Conference on Communications. New York: IEEE Press, 2015: 1-6.

An improved low-dose CT image enhancement network based on CycleGAN

LIAO Shi-min1,2, LIU Yang-chuan2, ZHU Ye-chen2, WANG Yan-ling3, GAO Xin1,2

(1. School of Medical Imaging, Xuzhou Medical University, Xuzhou Jiangsu 221004, China; 2. Medical Imaging Department, Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou Jiangsu 215163, China; 3.Department of Radiology, the People’s Hospital of Suzhou New District, Suzhou Jiangsu 215129, China)

Low-dose CT is an effective and relatively safe screening method for thoracic and abdominal diseases, but the artifacts and noise in the image will seriously affect the doctor’s diagnosis. Network training in image enhancement methods based on deep learning mostly relies on paired data that is pixel-level matched low-dose and conventional-dose CT images at the same site of the same patient. An improved low-dose CT image enhancement network based on the cycle-consistent generative adversarial network (CycleGAN) was proposed for unpaired data. A shallow feature pre-extraction module was added in front of the generator to enhance the capability to extract CT images features. In addition, the depthwise separable convolution was used to replace some common convolutions in the generator to decrease network parameters and reduce GPU memory usage. In the proposed network, a total of 3 275 two-dimensional low-dose CT slices and a total of 2 790 two-dimensional unpaired conventional-dose CT slices were used for training, and a total of 1 716 two-dimensional low-dose CT slices were employed for testing. The results show that the averaged perception-based image quality evaluator (PIQE) of CT images generated by the network is 45.53, which is 8.3% lower than that of CycleGAN, 31.9% lower than that of Block-Matching and 3D filtering (BM3D), and 20.9% lower than that of unsupervised image translation network (UNIT). Moreover, the proposed network can produce better subjective visual effects in terms of structural detail preservation, noise and artifact suppression. This shows that the network is a low-dose CT image enhancement method with potential clinical prospects.

low-dose CT; image enhancement; deep learning; unpaired data; cycle-consistent generative adversarial network

30 December，2021；

National Natural Science Foundation of China (81871439, 61801475); Suzhou Institute of Biomedical Engineering and Technology (CAS) Planned Project (Y95K091K05)

LIAO Shi-min (1997–), master student. His main research interest covers medical image processing. E-mail：1255567784@qq.com

TP 391

10.11996/JG.j.2095-302X.2022040570

A

2095-302X(2022)04-0570-10

2021-12-30；

2022-02-16

16 February，2022

國家自然科學(xué)基金項(xiàng)目(81871439，61801475)；中科院蘇州醫(yī)工所自主部署項(xiàng)目(Y95K091K05)

廖仕敏(1997–)，男，碩士研究生。主要研究方向?yàn)獒t(yī)學(xué)圖像處理。E-mail：1255567784@qq.com

高 欣(1975–)，男，研究員，博士。主要研究方向?yàn)榈蛣┝垮F束CT、基于智能計(jì)算的精準(zhǔn)醫(yī)療、手術(shù)導(dǎo)航及機(jī)器人。E-mail：xingaosam@163.com

GAO Xin (1975–), researcher, Ph.D. His main research interests cover low-dose cone-beam CT, precision medicine based on intelligent computing, surgical navigation and robot. E-mail：xingaosam@163.com