用于CT稀疏重建的對(duì)抗式多殘差深度神經(jīng)網(wǎng)絡(luò)改進(jìn)方法

杜聰聰， 喬志偉， 張艷嬌， 蘆 陽(yáng)

(山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院， 山西 太原 030006)

0 引言

計(jì)算機(jī)斷層成像(CT)是應(yīng)用最為廣泛的醫(yī)學(xué)成像模態(tài)，其過(guò)高的X射線輻射劑量可能存在終身誘發(fā)癌癥的風(fēng)險(xiǎn)。因此，低劑量CT成為當(dāng)前研究的熱點(diǎn)。目前，低劑量CT有兩種實(shí)現(xiàn)方法。一種是降低每個(gè)投影角度下的輻射劑量，另一種是在稀疏角度下減少投影個(gè)數(shù)。在稀疏投影角度下重建的圖像就是稀疏重建。其中以濾波反投影(Filtered Back Projection，F(xiàn)BP)[1]算法為代表的解析法是一類(lèi)經(jīng)典的CT圖像重建算法。然而FBP算法稀疏重建的圖像產(chǎn)生嚴(yán)重的條狀偽影，可能導(dǎo)致出現(xiàn)錯(cuò)誤的疾病判讀。由此，研究者們開(kāi)始設(shè)計(jì)新的高精度稀疏重建算法，以壓制條狀偽影。

CT稀疏重建方法大致分為兩類(lèi)。

一類(lèi)方法是基于壓縮感知Compressed Sensing，CS)[2]的迭代法，2006年，Sidky等提出了扇束和錐束CT的總變差(Total Variation，TV)最小算法，實(shí)現(xiàn)了高精度CT稀疏重建[3-4]。隨后，研究者們?cè)赥V算法的基礎(chǔ)上，提出了自適應(yīng)加權(quán)TV(Adaptive-weighted Total Variation，awTV)[5]、保邊TV(Edge-preserving TV，EPTV)[6]、各向異性TV(Anisotropic TV，aTV)[3,7]、高階TV(High Order TV，HOTV)[8]、非局部TV(Non-local TV，NLTV)[9]及TpV(Total p-Variation)[10]等算法，進(jìn)一步提高了重建精度，有力地推動(dòng)了CT稀疏重建的發(fā)展。此外，其他基于壓縮感知的重建算法也得到了深入研究，如基于字典學(xué)習(xí)的方法[11]和基于秩最小的方法[12]。

另一類(lèi)方法是深度學(xué)習(xí)法。Chen等提出的Red-CNN網(wǎng)絡(luò)，結(jié)合了反卷積[13]和殘差學(xué)習(xí)[14]，在CT稀疏重建方面取得了不錯(cuò)的效果[15]。Wolterink等使用生成式對(duì)抗網(wǎng)絡(luò)( Generative Adversarial Networks，GAN)[16]在CT稀疏重建問(wèn)題上也獲得了很大的提升[17]。Han等證明學(xué)習(xí)條狀偽影比學(xué)習(xí)原始信號(hào)更加簡(jiǎn)單，并提出了基于Unet網(wǎng)絡(luò)[18]的深度殘差學(xué)習(xí)方法來(lái)估計(jì)條狀偽影，然后通過(guò)輸入的含條狀偽影的CT圖像減去估計(jì)的條狀偽影來(lái)獲得高質(zhì)量的CT圖像[19]。Jin等提出的FBPConvNet網(wǎng)絡(luò)將殘差UNet網(wǎng)絡(luò)和FBP算法結(jié)合起來(lái)解決稀疏重建中出現(xiàn)的條形偽影問(wèn)題，并將該方法與傳統(tǒng)的TV 方法進(jìn)行對(duì)比，取得了不錯(cuò)的效果[20]。

Zhang等提出的DD-Net網(wǎng)絡(luò)結(jié)合密集連接[21]和反卷積，通過(guò)特征復(fù)用克服了梯度消失和梯度爆炸以及模型參數(shù)大小增加等問(wèn)題，讓網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步的壓縮從而更容易訓(xùn)練，提高了網(wǎng)絡(luò)訓(xùn)練的性能[22]。Han等揭示了Unet網(wǎng)絡(luò)可能會(huì)產(chǎn)生模糊邊緣的缺陷，提出了基于UNet的多分辨率深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)：多級(jí)結(jié)構(gòu)UNets和輕量級(jí)結(jié)構(gòu)UNets，增強(qiáng)了圖像的高頻特征，并論證了該網(wǎng)絡(luò)壓制偽影的性能優(yōu)于傳統(tǒng)的TV算法[23]。Steven等提出的FD-UNet網(wǎng)絡(luò)在UNet網(wǎng)絡(luò)的收縮和擴(kuò)展路徑中均引入密集連接來(lái)抑制條狀偽影，進(jìn)一步實(shí)現(xiàn)高精度稀疏重建[24]。

在這些利用深度學(xué)習(xí)的圖像處理中，ResNet網(wǎng)絡(luò)中殘差連接可以在訓(xùn)練更深網(wǎng)絡(luò)的同時(shí)，又能保證良好的性能。一定程度上解決了深度神經(jīng)網(wǎng)絡(luò)存在的退化、梯度消失和梯度爆炸的問(wèn)題[14]。對(duì)抗機(jī)制通過(guò)兩個(gè)不同網(wǎng)絡(luò)的博弈達(dá)到納什均衡，在計(jì)算機(jī)視覺(jué)方面取得了良好的效果[16]。

本文擬在經(jīng)典UNet網(wǎng)絡(luò)的基礎(chǔ)上，引入多殘差連接和對(duì)抗機(jī)制，提出一種對(duì)抗式多殘差深度神經(jīng)網(wǎng)絡(luò)，用于壓制由解析法FBP稀疏重建產(chǎn)生的條狀偽影，從而進(jìn)一步提高CT稀疏重建的精度。

1 相關(guān)工作

1.1 GAN模型

圖1 對(duì)抗式網(wǎng)絡(luò)框架

1.2 馬爾科夫判別器PatchGAN

馬爾科夫判別器PatchGAN[25]基于原始GAN將判別器進(jìn)行了改進(jìn)。原始GAN網(wǎng)絡(luò)中判別器輸出的是一個(gè)概率值，判斷輸入圖像的真假。而PatchGAN判別器輸出的是一個(gè)矩陣，該矩陣中的每一個(gè)元素，代表著原圖中的一個(gè)比較大的感受野，也就是對(duì)應(yīng)著原圖中的一個(gè)補(bǔ)丁塊。該判別器可以用來(lái)判別感受野是N×N的局部補(bǔ)丁塊的真假。假若判別器的輸出矩陣大小是30×30，其中的每個(gè)像素感受野對(duì)應(yīng)的是原圖中70×70的補(bǔ)丁塊，該判別器用來(lái)判斷對(duì)應(yīng)輸入判別器圖像的900個(gè)70×70的補(bǔ)丁塊的真假。

1.3 ASD-POCS算法

基于CS的TV重建算法[4]可以從稀疏投影中高精度重建CT圖像，其原理是在數(shù)據(jù)保真的約束下使圖像的TV最小。TV重建模型如下：

(1)

ASD-POCS(Adaptive Steepest Descent-Projection Onto Convex Sets)算法是一種高效的TV模型求解算法。本文將以此算法作為對(duì)比算法之一。

2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

2.1 去偽影網(wǎng)絡(luò)結(jié)構(gòu)

去偽影網(wǎng)絡(luò)原理是將FBP算法稀疏重建的含條狀偽影的CT圖像作為輸入，經(jīng)過(guò)去偽影網(wǎng)絡(luò)訓(xùn)練后，得到高精度CT圖像。去偽影網(wǎng)絡(luò)基于經(jīng)典UNet進(jìn)行了改進(jìn)，其結(jié)構(gòu)如圖2所示，網(wǎng)絡(luò)結(jié)構(gòu)以大小為256×256的CT圖像作為輸入，卷積操作都是使用3×3大小的卷積核，之后連接了批量歸一化層和ReLU激活函數(shù)，卷積通道數(shù)分別設(shè)置為32，64，128，256，512，1024，最后一層卷積層將通道數(shù)轉(zhuǎn)換為1，得到大小為256×256的生成圖像。該網(wǎng)絡(luò)在每?jī)蓪泳矸e操作之間加入一個(gè)殘差連接，可以提取到更多的圖像特征。圖中n64代表卷積層的卷積核的數(shù)量為64。

圖2 多殘差生成網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 判別器結(jié)構(gòu)

判別器網(wǎng)絡(luò)如圖3所示。受PatchGAN網(wǎng)絡(luò)的啟發(fā)，判別器使用了全卷積網(wǎng)絡(luò)，判別網(wǎng)絡(luò)采用5個(gè)卷積層，將大小為256×256的高精度CT圖像和去偽影網(wǎng)絡(luò)重建的CT圖像作為網(wǎng)絡(luò)的輸入，輸出大小為16×16的矩陣。首先，將去偽影網(wǎng)絡(luò)重建的CT圖像和高精度CT圖像拼接；然后，進(jìn)行5個(gè)卷積操作，前四個(gè)卷積操作使用4×4大小的卷積核，步長(zhǎng)為2；最后，一個(gè)卷積操作卷積核大小為4×4，步長(zhǎng)為1，將通道數(shù)轉(zhuǎn)換為1，得到大小為16×16的輸出。矩陣中的每一個(gè)像素點(diǎn)，實(shí)際上代表著輸入圖像中的一個(gè)94×94大小的局部感受野，這樣訓(xùn)練的時(shí)候可以獲取到更多的圖像細(xì)節(jié)。圖中n64s2代表卷積層的卷積核的數(shù)量為64 ，步長(zhǎng)為2。

圖3 判別網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 損失函數(shù)

3 結(jié)果

本節(jié)主要介紹數(shù)據(jù)集、網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)定以及實(shí)驗(yàn)對(duì)比分析。實(shí)驗(yàn)選取傳統(tǒng)的TV算法、具有代表性的FBPConvNet和原始GAN三種算法作為稀疏重建的算法，與本文算法進(jìn)行對(duì)比。

3.1 數(shù)據(jù)集的構(gòu)建

本文選取了2015幅不同的CT圖像進(jìn)行訓(xùn)練，來(lái)自TCIA數(shù)據(jù)集(https://www.cancerimagingarchive.net/)，其中50幅為測(cè)試集，50幅為驗(yàn)證集。圖像大小為256×256像素。含條狀偽影的CT圖像通過(guò)對(duì)高精度CT圖像進(jìn)行radon變換得到相對(duì)應(yīng)的稀疏投影圖像，其中每幅CT圖像選擇60個(gè)投影進(jìn)行稀疏重建。

3.2 網(wǎng)絡(luò)訓(xùn)練超參數(shù)設(shè)定

在實(shí)驗(yàn)中，TV算法進(jìn)行了500次迭代，使其結(jié)果充分收斂。原始GAN網(wǎng)絡(luò)使用交叉熵二分類(lèi)。 FBPConvNet網(wǎng)絡(luò)使用l2損失函數(shù)。本文提出的對(duì)抗式多殘差網(wǎng)絡(luò)使用l2損失與l1損失函數(shù)加權(quán)，其他參數(shù)保持一致。其中，所有的網(wǎng)絡(luò)都使用Adam優(yōu)化器，epoch為60，學(xué)習(xí)率為0.0002，batch_size為12。所有的卷積和反卷積濾波器都以均值為零、標(biāo)準(zhǔn)差為0.01的隨機(jī)高斯分布初始化。

3.3 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)配置CPU為Inter(R) Xeon(R) CPU E5-2620 v4 @ 2.10 GHz，GPU為NVIDIA Geforce GTX 1080 Ti，使用Keras庫(kù)在Python上進(jìn)行訓(xùn)練，訓(xùn)練時(shí)間約為4小時(shí)。

3.4 實(shí)驗(yàn)結(jié)果及分析

3.4.1 稀疏重建算法對(duì)比分析

該實(shí)驗(yàn)中，輸入是在[0,π]范圍內(nèi)等間隔采集60個(gè)角度下的投影數(shù)據(jù)進(jìn)行稀疏重建的CT圖像。在測(cè)試集中分別選取腹部和頭部CT圖像不同算法測(cè)試結(jié)果如圖4～圖9所示，將本文提出的方法與傳統(tǒng)的TV算法、原始GAN和FBPConvNet三種算法進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，F(xiàn)BP稀疏重建的CT圖像具有明顯的條狀偽影，其他三種經(jīng)典稀疏重建算法都有效地壓制了條狀偽影，并取得了較好的效果，但圖像中仍然存在一些明顯的條狀偽影，而本文提出的對(duì)抗式多殘差網(wǎng)絡(luò)重建圖像較為清晰，在去掉條狀偽影的同時(shí)保留了更多的圖像細(xì)節(jié)。

圖4 CT圖像

圖5 FBP算法

圖6 TV算法

圖7 原始GAN方法

圖8 FBPConvNet方法

圖9 本文方法

對(duì)于定量分析，本文采用峰值信噪比(PSNR)、均方根誤差(RMSE)和結(jié)構(gòu)相似性(SSIM)作為CT圖像稀疏重建效果的評(píng)價(jià)指標(biāo)，其結(jié)果如表1所示。本文方法與傳統(tǒng)的TV算法、原始GAN和FBPConvNet三種方法相比：第一幅CT圖像PSNR 高出 FBPConvNet網(wǎng)絡(luò)大概 2.3 dB，RMSE降低了將近0.0027，與FBPConvNet 相比，SSIM略微領(lǐng)先。其余兩幅CT圖像中本文方法指標(biāo)也優(yōu)于其他的稀疏重建方法。實(shí)驗(yàn)結(jié)果表明，本文提出的方法與傳統(tǒng)的TV、原始GAN和FBPConvNet三種算法相比，該方法保留的細(xì)節(jié)信息更多，重建出的CT圖像精度更高。

表1 稀疏重建實(shí)驗(yàn)對(duì)比結(jié)果

3.4.2 本文算法在不同稀疏情形下的性能分析

為了探索本文提出的對(duì)抗式多殘差網(wǎng)絡(luò)在不同稀疏情形下的重建圖像算法的性能，在[0,π]范圍內(nèi)等間隔分別采集15個(gè)、30個(gè)、90個(gè)角度下的投影數(shù)據(jù)進(jìn)行稀疏重建的CT圖像作為本文算法的輸入進(jìn)行訓(xùn)練，并進(jìn)行了定性和定量分析。

實(shí)驗(yàn)結(jié)果如圖10所示，在稀疏度為15時(shí)，GAN網(wǎng)絡(luò)稀疏重建的CT圖像效果最差，稀疏度為30時(shí)重建的圖像仍然存在明顯的條狀偽影；稀疏度為60時(shí)，保留的細(xì)節(jié)信息明顯增加，從子圖(i)可以看出，90個(gè)投影角度下保留的細(xì)節(jié)信息更多，紋理結(jié)構(gòu)更加明顯。為了更直觀地觀察不同網(wǎng)絡(luò)稀疏重建的效果，圖11(a)～(d)為圖10紅色框內(nèi)局部區(qū)域的放大圖像，從圖中可以看到，90個(gè)稀疏角度下重建的圖像紋理結(jié)構(gòu)更加明顯。對(duì)于定量分析，比較結(jié)果如表2所示，在90個(gè)稀疏角度下重建出的CT圖像PSNR比60個(gè)稀疏度下重建的CT圖像高出將近0.36 dB，RMSE降低了0.0006，SSIM的值也有所提高。實(shí)驗(yàn)結(jié)果表明，在深度學(xué)習(xí)去條狀偽影過(guò)程中，稀疏角度越多的CT圖像，在該網(wǎng)絡(luò)中越容易訓(xùn)練出高精度CT圖像。

圖10 不同稀疏情形下的重建圖像對(duì)比圖

圖11 不同稀疏度下的重建圖像放大對(duì)比圖

表2 不同稀疏度下重建圖像的PSNR值、SSIM值、RMSE值

4 結(jié)論

在本文提出的對(duì)抗式多殘差網(wǎng)絡(luò)中，將去偽影網(wǎng)絡(luò)基于經(jīng)典UNet進(jìn)行了改進(jìn)，判別網(wǎng)絡(luò)通過(guò)輸出矩陣來(lái)判斷補(bǔ)丁塊的真假，增加了神經(jīng)網(wǎng)絡(luò)的深度，提高了網(wǎng)絡(luò)的表達(dá)能力。與傳統(tǒng)的TV算法、原始GAN 和FBPConvNet三種稀疏重建算法相比，該算法能夠有效地恢復(fù)圖像細(xì)節(jié)，且重建出的CT圖像精度更高。同時(shí)，稀疏角度越多，該網(wǎng)絡(luò)越容易訓(xùn)練出高精度CT圖像。說(shuō)明該網(wǎng)絡(luò)在提高CT圖像高精度稀疏重建方面具有很大的潛力。未來(lái)的研究方向?qū)⒒诖司W(wǎng)絡(luò)架構(gòu)的壓制條狀偽影網(wǎng)絡(luò)進(jìn)行改進(jìn)，進(jìn)一步提高CT圖像稀疏重建的精度。目前，我們正將此網(wǎng)絡(luò)應(yīng)用于電子順磁共振稀疏重建中，評(píng)估其在此成像模態(tài)下的性能。