基于多殘差UNet的CT圖像高精度稀疏重建

張艷嬌，喬志偉

（山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，太原 030006）

0 引言

計(jì)算機(jī)斷層成像（Computed Tomography，CT）的出現(xiàn)，極大地促進(jìn)了醫(yī)學(xué)影像學(xué)的發(fā)展，對(duì)于各種疾病的診斷也有重要的意義。CT 圖像重建算法主要有兩種：一種是以濾波反投影（Filtered Back Projection，F(xiàn)BP）［1-2］算法為代表的解析重建算法；另一種是基于壓縮感知（Compressed Sensing，CS）［3-4］的迭代重建算法。解析法［5］因其重建速度快而成為了目前商用CT 機(jī)的主流算法。因X 射線(xiàn)對(duì)人體有潛在的致病危險(xiǎn)，低劑量CT 成為了當(dāng)前研究的熱點(diǎn)。稀疏重建即從稀疏角度下采集的投影重建圖像，是實(shí)現(xiàn)低劑量CT的有效方法；然而，解析法稀疏重建的圖像中往往包含嚴(yán)重的條狀偽影，導(dǎo)致無(wú)法進(jìn)行正確的疾病判讀，為此，研究者開(kāi)始設(shè)計(jì)新型的重建算法，以壓制條狀偽影。

芝加哥大學(xué)Pan 等［6-7］分別于2006 年及2008 年提出了扇束和錐束CT 的總變差（Total Variation，TV）最小化算法，實(shí)現(xiàn)了高精度稀疏重建。其后，人們提出了很多改進(jìn)的TV 模型，以進(jìn)一步提高重建精度，如保邊TV（Edge-Preserving TV，EPTV）模型［8］、自適應(yīng)加權(quán)TV（Adaptive-weighted TV，AwTV）模型［9］、高階TV（High-Order TV，HOTV）模型［10］、非局部TV（Non-Local TV，NLTV）模 型［11］及TpV（Total p-Variation）模型［12］等。同時(shí)，研究者也提出了基于字典學(xué)習(xí)［13］和秩最?。?4］的稀疏重建算法，這些基于壓縮感知的重建算法有力地推動(dòng)了高精度稀疏重建的發(fā)展；然而，該類(lèi)算法的迭代過(guò)程耗時(shí)較長(zhǎng)，影響了其在商用CT機(jī)中的產(chǎn)業(yè)化進(jìn)程。

2006 年以來(lái)，深度學(xué)習(xí)技術(shù)由于大數(shù)據(jù)、大網(wǎng)絡(luò)和大算力的結(jié)合，在工業(yè)界和學(xué)術(shù)界成為了最熱門(mén)的機(jī)器學(xué)習(xí)技術(shù)。它已經(jīng)在人機(jī)對(duì)弈、機(jī)器翻譯、智能問(wèn)答及計(jì)算機(jī)視覺(jué)等領(lǐng)域展現(xiàn)了其強(qiáng)大的、優(yōu)于傳統(tǒng)方法的性能。同樣，基于深度學(xué)習(xí)的圖像處理也得到了深入研究，如深度學(xué)習(xí)圖像識(shí)別［15-16］、目標(biāo)檢測(cè)［17］、圖像分割［18-19］、圖像去噪［20-21］以及超分辨率［22］等。

圖像去條狀偽影也是一個(gè)經(jīng)典的圖像處理問(wèn)題，自然也可以采用深度學(xué)習(xí)的方法來(lái)處理。Han 等［23］基于一種新穎的持久同源分析，表明條狀偽影的流形在拓?fù)渖媳仍嫉母?jiǎn)單，并設(shè)計(jì)了一種深度殘差學(xué)習(xí)體系結(jié)構(gòu)來(lái)估計(jì)條狀偽影，通過(guò)從輸入圖像中減去條狀偽影來(lái)獲得無(wú)條狀偽影圖像，實(shí)驗(yàn)結(jié)果表明，該深度殘差學(xué)習(xí)方法可以有效地抑制條狀偽影；Han 等［24］基于UNet 提出了Framing U-Net，實(shí)驗(yàn)結(jié)果表明，其提出的Framing U-Net 比UNet 能更好地恢復(fù)稀疏圖像中的高頻邊緣；Jin等［25］提出了FBPConvNet結(jié)構(gòu)，將殘差UNet和傳統(tǒng)的FBP 算法相結(jié)合來(lái)解決CT 圖像稀疏重建中出現(xiàn)的條狀偽影問(wèn)題；Xie 等［26］提出了GoogLeNet 結(jié)構(gòu)，同時(shí)運(yùn)用殘差學(xué)習(xí)機(jī)制來(lái)去除稀疏重建中條狀偽影；Zhang 等［27］針對(duì)稀疏重建產(chǎn)生條形偽影的問(wèn)題，提出了稠密網(wǎng)絡(luò)和反卷積結(jié)合的DDNet（DenseNet and Deconvolution）網(wǎng)絡(luò)結(jié)構(gòu)；Guan 等［28］結(jié)合Dense 網(wǎng)絡(luò)與UNet 提出FD-UNet（Fully Dense UNet）架構(gòu)，用于去除從稀疏數(shù)據(jù)重構(gòu)的二維光聲層析成像（PhotoAcoustic Tomography，PAT）圖像中的偽影，實(shí)驗(yàn)結(jié)果表明，F(xiàn)D-UNet 在去除圖像偽影方面有很好的性能，同時(shí)也被證明是更好和更緊湊的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。

經(jīng)典的UNet 只包含1 個(gè)從輸入到輸出的整體殘差，而在網(wǎng)絡(luò)內(nèi)部沒(méi)有殘差元素。He 等［16］提出的ResNet 則是將很多殘差塊堆疊在一起，并發(fā)現(xiàn)使用殘差塊能訓(xùn)練更深的網(wǎng)絡(luò)，有助于解決梯度消失和梯度爆炸問(wèn)題，在訓(xùn)練更深網(wǎng)絡(luò)的同時(shí)，又能保證良好的性能。鑒于此，本文擬在UNet 的基礎(chǔ)上，提出一種基于多殘差網(wǎng)絡(luò)（Multiply residual UNet，Mr-UNet）結(jié)構(gòu)的CT圖像高精度稀疏重建模型，以解決由解析法稀疏重建產(chǎn)生的條狀偽影問(wèn)題。

1 本文方法

近年來(lái)，CNN在圖像處理方面取得了很大的成功，本文將深度學(xué)習(xí)的方法應(yīng)用于醫(yī)學(xué)CT圖像稀疏重建中，以解決稀疏重建過(guò)程中產(chǎn)生條狀偽影的問(wèn)題，得到高精度重建圖像。為此，本文設(shè)計(jì)了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)Mr-UNet，對(duì)解析法重建后的低質(zhì)量圖像進(jìn)行圖像后處理來(lái)去除條形偽影。

1.1 基于CNN的高精度稀疏重建的原理

CNN 是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，基礎(chǔ)的CNN 是由卷積、激活、池化三部分構(gòu)成，其本質(zhì)上是一種輸入到輸出的映射。它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，而不需要得到它們之間精確的數(shù)學(xué)表達(dá)式，直接以原始圖像作為輸入，內(nèi)部所有參數(shù)一起訓(xùn)練，以最終回歸問(wèn)題的結(jié)果為輸出。

如圖1 所示，基于CNN 的稀疏重建模型是將FBP 稀疏重建得到的含條狀偽影圖像作為輸入，將與其對(duì)應(yīng)的高精度圖像作為標(biāo)簽來(lái)學(xué)習(xí)條狀偽影壓制方法。

圖1 基于CNN的稀疏重建框架Fig.1 Sparse reconstruction framework based on CNN

1.2 Mr-UNet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)的深度與網(wǎng)絡(luò)結(jié)構(gòu)的性能好壞有很大的關(guān)系，網(wǎng)絡(luò)越深，能獲取的信息越多，提取的特征也越豐富，更利于圖像的恢復(fù)，但是過(guò)深的網(wǎng)絡(luò)層數(shù)會(huì)造成梯度消失和梯度爆炸。基于此，本文提出的Mr-UNet 結(jié)構(gòu)在UNet 的基礎(chǔ)上將原先UNet四層下采樣的結(jié)構(gòu)加深到五層，還在每一個(gè)卷積單元（這里將每次下采樣后到下一次下采樣之前的兩次卷積操作稱(chēng)作一個(gè)卷積單元）中引入殘差學(xué)習(xí)機(jī)制，期望能提取到更多的圖像特征，避免因網(wǎng)絡(luò)過(guò)深造成的梯度消失和梯度爆炸問(wèn)題。

Mr-UNet 結(jié)構(gòu)如圖2 所示，該網(wǎng)絡(luò)結(jié)構(gòu)包括5 個(gè)池化和上采樣操作，以提取到更多的圖像細(xì)節(jié)信息。網(wǎng)絡(luò)結(jié)構(gòu)的輸入是大小為256×256 的CT 稀疏重建圖像，每個(gè)卷積單元中都包含兩層卷積操作，其中所有的卷積操作都是使用3×3 大小的卷積核，在卷積操作之后均連接了批量歸一化層和修正線(xiàn)性單元（Rectified Linear Unit，ReLU）激活函數(shù)，并在每個(gè)卷積單元內(nèi)的兩個(gè)卷積操作結(jié)果中加入了殘差學(xué)習(xí)機(jī)制。將每個(gè)卷積單元的卷積通道數(shù)分別設(shè)置為32、64、128、256、512、1 024。在左側(cè)收縮路徑中使用最大池化對(duì)特征圖進(jìn)行下采樣，使得特征圖的維度降為原先的一半，在右側(cè)的擴(kuò)張路徑中使用反卷積操作進(jìn)行上采樣，同時(shí)在擴(kuò)張路徑中將每次上采樣操作的特征圖與收縮路徑上相同大小的池化后的特征圖進(jìn)行通道拼接，以便可以在上采樣過(guò)程中使用先前在網(wǎng)絡(luò)中學(xué)習(xí)到的更高分辨率的特征。最后一層卷積層則是1×1 的卷積操作，且將通道數(shù)轉(zhuǎn)換為1，與輸入圖像做殘差操作并輸出結(jié)果圖像。

圖2 Mr-UNet結(jié)構(gòu)Fig.2 Architecture of Mr-UNet

1.3 數(shù)據(jù)集的構(gòu)建

實(shí)驗(yàn)過(guò)程中用到的數(shù)據(jù)集包含2 000 張從TCIA 數(shù)據(jù)集（https：//www.cancerimagingarchive.net/）中下載的大小為256×256的正常CT圖像，包括頭部、胸腔和腹腔等部位的CT圖像，然后對(duì)其進(jìn)行radon 變換得到相對(duì)應(yīng)的稀疏投影圖像，將其結(jié)果用濾波反投影（FBP）算法在60個(gè)投影角度下稀疏重建為含條形偽影的圖像。

在這2 000 張大小為256×256 CT 圖像對(duì)中，將1 900 對(duì)圖像對(duì)作為訓(xùn)練集，50對(duì)作為驗(yàn)證集，剩余的50對(duì)作為測(cè)試集，輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 網(wǎng)絡(luò)訓(xùn)練方法及超參數(shù)設(shè)定

Mr-UNet 結(jié)構(gòu)訓(xùn)練時(shí)使用隨機(jī)梯度下降法（Stochastic Gradient Descent with Momentum，SGDM）最小化損失函數(shù)，Momentum 參數(shù)為0.9，Epsilon 為1E-8，初始學(xué)習(xí)率為0.1。網(wǎng)絡(luò)共訓(xùn)練了100個(gè)epoch，批量大小為16。

本文網(wǎng)絡(luò)訓(xùn)練的環(huán)境是Matalb 2020a deep learning toolbox，CPU 是Inter Xeon CPU E5-2620 v4 2.10 GHz，GPU 是NVIDIA Geforce GTX 1080 Ti。

2.2 對(duì)比算法

在稀釋重建的過(guò)程中，迭代重建算法構(gòu)建的線(xiàn)性方程組是欠定的，使得該線(xiàn)性方程組有無(wú)窮多個(gè)解，而TV 算法就是從無(wú)窮多個(gè)解中選擇TV最小的解。基于壓縮感知的TV重建算法可以使用稀疏投影來(lái)高精度重建CT圖像，其實(shí)現(xiàn)策略是在數(shù)據(jù)保真的約束下，使圖像的稀疏變換的?1范數(shù)最小。在FBP 稀疏重建過(guò)程中會(huì)產(chǎn)生條狀偽影，TV 算法通過(guò)對(duì)這種高頻噪聲進(jìn)行低通濾波，去除了條狀偽影，達(dá)到高精度重建。而自適應(yīng)最速下降-投影到凸集（Adaptive Steepest Descent-Projection Onto Convex Sets，ASD-POCS）算法作為一種求解TV 的最優(yōu)化算法，在估計(jì)投影數(shù)據(jù)在可用數(shù)據(jù)的指定公差范圍內(nèi)且圖像像素值為非負(fù)的約束下，使得圖像的TV 最小化。TV重建模型如下：

其中：‖Af-g‖≤ε為數(shù)據(jù)保真項(xiàng)，表示重建結(jié)果圖像和真實(shí)圖像之間的誤差值需限制在ε 以?xún)?nèi)，保證了數(shù)據(jù)的一致性；‖f‖TV是正則項(xiàng)，這里指的是圖像的TV范數(shù)。

本文用到的TV算法以平行束方式采集投影數(shù)據(jù)，輸入圖像大小為［256，256］，旋轉(zhuǎn)中心為［90，90］，探測(cè)器探元個(gè)數(shù)為256，圖像像素大小和探測(cè)器探元大小均為1，在［0，π］范圍內(nèi)等間隔采集60 個(gè)角度下的投影數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。更為詳細(xì)的TV算法偽代碼及相關(guān)參數(shù)參考文獻(xiàn)［7］。

2.3 圖像質(zhì)量評(píng)價(jià)指標(biāo)

為了更加清楚地描述不同算法的處理結(jié)果，本文采用結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）、均方根誤差（Root Mean Square Error，RMSE）等評(píng)價(jià)標(biāo)準(zhǔn)對(duì)各算法進(jìn)行定量描述，其中SSIM、RMSE的定義如下：

其中：x表示含條形偽影的圖像；y表示標(biāo)準(zhǔn)的圖像；N2是圖像像素總數(shù)；μx是x的平均值；μy是y的平均值；是x的方差；是y的方差；σxy是x和y的協(xié)方差；c1、c2是常數(shù)。均方根誤差是用來(lái)衡量?jī)蓮垐D像之間的偏差，取值越接近0，說(shuō)明兩張圖像越相似；結(jié)構(gòu)相似性是一種衡量?jī)蓮垐D像相似度的指標(biāo)，取值范圍為0～1，取值越接近1，說(shuō)明兩張圖像越相似。

2.4 各種算法的重建比較

為驗(yàn)證本文Mr-UNet 模型的有效性，選取了兩張不同的CT圖像進(jìn)行測(cè)試。本次實(shí)驗(yàn)用到的CT圖像是在60個(gè)稀疏角度下重建出來(lái)的圖像，在訓(xùn)練過(guò)程中，將其作為輸入，分別用TV 算法、UNet 模型以及Mr-UNet 模型對(duì)其進(jìn)行處理，實(shí)驗(yàn)中TV 算法進(jìn)行了500 次迭代，使其結(jié)果充分收斂，大概需運(yùn)行5 h。UNet 及Mr-UNet 運(yùn)行了100 個(gè)epoch，分別需要約5 h、3.5 h運(yùn)行時(shí)間，可得出，Mr-UNet在運(yùn)行效率上略?xún)?yōu)于其他兩種算法，節(jié)省了大量的時(shí)間。除此之外，在實(shí)驗(yàn)過(guò)程中，UNet和Mr-UNet模型所用到的參數(shù)始終保持一致。

算法對(duì)比的實(shí)驗(yàn)結(jié)果如圖3～4 所示。不難看出，F(xiàn)BP 算法在稀疏重建過(guò)程中產(chǎn)生了嚴(yán)重的條形偽影。從示例1 可以看出，TV 算法表現(xiàn)較好，在局部放大圖中也可以看出，Mr-UNet 比UNet 重建的細(xì)節(jié)更加完善，但不如TV 算法，但是就圖像整體而言，TV 算法重建圖像下才有較明顯的未去除的條狀偽影。對(duì)示例2 來(lái)說(shuō)，可以明顯看出Mr-UNet 是最好的，無(wú)論圖像整體效果還是局部放大圖中細(xì)節(jié)信息，都可以看出Mr-UNet 要比UNet 和TV 算法效果更好，表現(xiàn)最優(yōu)?？傮w來(lái)說(shuō)，Mr-UNet 在抑制偽影的同時(shí)有效保留了圖像細(xì)節(jié)信息，重建圖像更為清晰。所以，從視覺(jué)效果來(lái)看，本文所提Mr-UNet的重建圖像精度更高。

圖3 各種算法的重建結(jié)果Fig.3 Reconstruction results of various algorithms

表1 是用客觀(guān)評(píng)價(jià)指標(biāo)來(lái)量化比較各方法的重建結(jié)果。由表1 可知，在兩幅圖像中，Mr-UNet 重建結(jié)果與標(biāo)準(zhǔn)UNet 相比，SSIM 值都有所提高，RMSE 值也都有所降低。與傳統(tǒng)TV算法相比，某些圖像重建結(jié)果的定量指標(biāo)表明TV 算法的SSIM 值比Mr-UNet要高一些，這是因?yàn)門(mén)V算法更適合處理平滑區(qū)域較多的圖像，而示例1 的腹部CT 圖像很明顯具有此特征；但是從重建圖像來(lái)看，其處理效果并不比TV 算法差。從圖4局部放大圖中也可以得出上述結(jié)論。

圖4 各種算法重建結(jié)果的局部放大圖Fig.4 Local enlarged images of reconstruction results of various algorithms

表1 各算法重建結(jié)果的比較Tab.1 Comparison of reconstruction results of various algorithms

2.5 各種稀疏度情形下網(wǎng)絡(luò)性能演變規(guī)律

為了比較不同稀疏度下Mr-UNet 結(jié)構(gòu)的抑制條狀偽影的性能演變規(guī)律，實(shí)驗(yàn)分別在[0，π]范圍內(nèi)分別均勻地選取了15、30、60、90 個(gè)稀疏度進(jìn)行比較。圖5 是腹部CT 圖像稀疏圖像和經(jīng)過(guò)Mr-UNet 結(jié)構(gòu)處理的重建結(jié)果。從圖中定性分析可知，隨著投影角度的增多，Mr-UNet 重建圖像中條形偽影越來(lái)越少。

表2 是不同稀疏角度下Mr-UNet 的重建圖像的RMSE 值和SSIM 值。在表2 中，當(dāng)訓(xùn)練結(jié)束后，會(huì)發(fā)現(xiàn)相較于15、30、60 的稀疏角度的重建圖像，Mr-UNet 在90 個(gè)稀疏度下的重建圖像其RMSE值更低，SSIM值也更趨近于1。

表2 不同稀疏度下Mr-UNet和UNet重建圖像的SSIM值和RMSE值Tab.2 SSIM values and RMSE values of Mr-UNet and UNet reconstructed images under different sparsity

圖5 給出了在不同稀疏度下Mr-UNet 的重建結(jié)果。由圖5 可看出，對(duì)于真實(shí)CT 圖像模體，如箭頭所指方向可以看出，90 個(gè)稀疏度下的重建圖像精度更高，圖像結(jié)構(gòu)清晰且保留了更多的細(xì)節(jié)信息，而15和30個(gè)稀疏度的重建圖像明顯地看出有多處條形偽影。而在實(shí)際重建條件下，根據(jù)物體復(fù)雜程度的不同，憑經(jīng)驗(yàn)選取稀疏度。

圖5 不同稀疏度下的稀疏圖像及Mr-UNet重建圖像Fig.5 Sparse images and Mr-UNet reconstruction images under different sparsity

同時(shí)，為了與Mr-UNet 在不同角度下的性能演變規(guī)律比較，本文還探索了UNet不同角度下的抑制條狀偽影的規(guī)律演變。同樣地，在[0，π]范圍內(nèi)均勻地選取15、30、60、90 個(gè)角度。

圖6 是不同角度的稀疏圖以及UNet 處理之后的重建圖像，而表2則是UNet處理結(jié)果的定量表示。從該實(shí)驗(yàn)結(jié)果中也可以得出上述結(jié)論：隨著投影角度的增多，網(wǎng)絡(luò)抑制條狀偽影的能力越強(qiáng)，重建圖像的精度更高。而與Mr-UNet的實(shí)驗(yàn)結(jié)果進(jìn)行比較，可以得出：本文所提Mr-UNet 方法在較少角度下的重建效果略不如UNet，但是在投影個(gè)數(shù)較多的情況下，本文算法的結(jié)果比UNet的效果要好。經(jīng)過(guò)實(shí)驗(yàn)表明，在絕大多數(shù)含條狀偽影的CT 圖像中，Mr-UNet 抑制條狀偽影的性能比UNet和TV算法效果更明顯，重建精度更高，更有利于醫(yī)生的診斷。

圖6 不同稀疏度下的稀疏圖像及UNet重建圖像Fig.6 Sparse images and UNet reconstruction images under different sparsity

3 結(jié)語(yǔ)

本文提出的Mr-UNet：一方面加深了網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)的表征能力和擬合能力，使網(wǎng)絡(luò)抑制條狀偽影的效果有一定的提升；另一方面，在每個(gè)卷積單元中引入了殘差學(xué)習(xí)機(jī)制，有效避免了因網(wǎng)絡(luò)加深而帶來(lái)的梯度消失和梯度爆炸問(wèn)題。將Mr-UNet 與傳統(tǒng)的解析法結(jié)合，解決了解析法稀疏重建中產(chǎn)生條形偽影的問(wèn)題。將Mr-UNet 與UNet、TV 算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，在真實(shí)CT 圖像中，所提網(wǎng)絡(luò)結(jié)構(gòu)重建的圖像很好地抑制了條狀偽影，更好地保留了圖像紋理和細(xì)節(jié)信息，解決了解析法必須獲得完備投影數(shù)據(jù)的問(wèn)題，減少了患者檢查時(shí)接受的輻射劑量，具有一定的實(shí)際應(yīng)用價(jià)值。但是今后仍需要在該研究的基礎(chǔ)上，引入更多的新思想，以此來(lái)提高CT 圖像稀疏重建的精度。此外，本文算法以及今后所做的改進(jìn)將會(huì)應(yīng)用于更多的醫(yī)學(xué)圖像領(lǐng)域，比如醫(yī)學(xué)圖像分割、醫(yī)學(xué)圖像去噪等。