基于全卷積金字塔殘差網(wǎng)絡的能譜CT圖像降噪研究

任學智， 何 鵬,*， 龍鄒榮， 郭曉東， 安 康， 呂小杰， 魏 彪,， 馮 鵬,*

1. 重慶大學光電技術(shù)及系統(tǒng)教育部重點實驗室， 重慶 400044 2. 重慶大學工業(yè)CT無損檢測教育部工程研究中心， 重慶 400044

引 言

傳統(tǒng)CT(computed tomography)通過能量積分式探測器將不同能量的X射線光子整合接收， 反映了X射線的平均衰減特性[1]， 導致圖像中密度相近物質(zhì)的成像對比度差異小， 難以區(qū)分微小的組織結(jié)構(gòu)[2]。 基于光子計數(shù)探測器的能譜CT(spectral CT)通過探測器設定能量選通閾值能夠采集不同能量范圍的X射線光子， 可以有效抑制射線束硬化偽影、 提高密度相近物質(zhì)的成像對比度[3]。 而能譜CT在特定能量范圍內(nèi)探測的X射線光子數(shù)有限， 致使投影數(shù)據(jù)中含有較多的量子噪聲， 重建的能譜CT圖像信噪比較低。

在能譜CT圖像降噪研究方面， 現(xiàn)多采用迭代重建算法對投影數(shù)據(jù)進行重建以抑制噪聲。 例如Clark等[4]結(jié)合圖像的稀疏特性和能譜CT圖像相關(guān)性以構(gòu)建重建目標函數(shù)， 提高了能譜CT圖像重建效果。 Rigie和Riviere等[5]提出了一種基于矢量全變分(TV)的能譜CT重建算法。 上述圖像重建降噪算法可以較好的抑制能譜CT重建圖像中的噪聲， 但算法復雜度較高、 計算時間較長。 近年來， 深度學習在CT圖像降噪領域中得到了廣泛應用[6-7]。 神經(jīng)網(wǎng)絡可以直接提取圖像中噪聲的特征信息， 進而通過與標準圖像作對比抑制訓練圖像中的噪聲。 例如Chen等[8]研究一種CT圖像去噪的淺層卷積神經(jīng)網(wǎng)絡模型， 基于該網(wǎng)絡提出了殘差編碼器-解碼器卷積神經(jīng)網(wǎng)絡， 并使用反卷積網(wǎng)絡和快捷連接以增強網(wǎng)絡降噪性能。

本文提出一種基于全卷積金字塔殘差網(wǎng)絡(fully convolutional pyramidal residual network， FCPRN)的能譜CT圖像降噪方法。 利用能譜CT獲取的圖像數(shù)據(jù)訓練全卷積金字塔殘差網(wǎng)絡， 訓練后的網(wǎng)絡模型可以有效的抑制能譜CT圖像中的噪聲。 與常用的CT圖像降噪網(wǎng)絡相比， 本文提出的全卷積金字塔殘差網(wǎng)絡具有更好的圖像降噪效果。

1 基于深度學習的能譜CT圖像降噪方法

1.1 方法原理

為開展基于深度學習的能譜CT圖像降噪方法研究， 我們搭建了能譜CT系統(tǒng)并在多個能量范圍掃描一個小鼠樣本， 分別用Feldkamp(FDK)算法[9]和SplitBregman算法[10]重建不同能量范圍的CT圖像。 FDK算法重建效率高， 但重建效果差， 重建圖像中含有較多的噪聲。 Split Bregman重建算法相對復雜， 但重建效果好， 能夠有效抑制重建圖像中的噪聲。 兩種算法重建的圖像對比， 其結(jié)構(gòu)信息大致相同， 主要區(qū)別在于噪聲水平不同。 將Split Bregman算法重建圖像作為標簽數(shù)據(jù)x， 不同類型的噪聲的集合設為v， FDK算法重建圖像作為訓練數(shù)據(jù)y， 訓練數(shù)據(jù)和標簽數(shù)據(jù)相對應， 則有y=x+v。 在訓練神經(jīng)網(wǎng)絡時， 我們設定殘差學習公式訓練殘差映射R(y)≈v， 最后通過x=y-R(y)得到抑制噪聲后的圖像。 期望殘差圖像與輸入估計殘差圖像之間的均方誤差為

式(1)中， N為圖像數(shù)量， xi和yi代表圖像中的像素值。 將均方誤差作為損失函數(shù)， 使用數(shù)據(jù)集訓練FCPRN。 訓練模型能提取不同能量范圍的CT圖像噪聲， 利用輸入圖像減去噪聲得到輸出圖像， 即降噪后的圖像。 在對FDK算法重建的能譜CT圖像降噪時， 調(diào)用該網(wǎng)絡模型可直接對圖像進行校正， 能夠有效的提高能譜CT圖像的重建質(zhì)量和重建效率。

1.2 全卷積金字塔殘差網(wǎng)絡

基于FCPRN實現(xiàn)降噪的， 該網(wǎng)絡由全卷積網(wǎng)絡(fullyconvolutionalnetwork)[11]和金字塔殘差網(wǎng)絡(pyramidalresidualnetwork)[12]組合而成， 網(wǎng)絡結(jié)構(gòu)示意圖如圖1所示， 主要分為上采樣路徑和下采樣路徑兩部分。 在下采樣路徑中， 使用3×3卷積(convolution：Conv)提取圖像的特征信息， 后利用多個金字塔殘差模塊(pyramidresidualblocks，PR-blocks)提取圖像的特征信息，PR-blocks主要包括批量歸一化(batchnormalization，BN)， 修正線性單元(rectifiedlinearunit，ReLU)， 3×3Conv和零填充(zeropadding)等結(jié)構(gòu)。 零填充可保證輸出圖像的尺寸與輸入圖像一致。PR-blocks組輸出的圖像維度可以表示為

圖1 FCPRN結(jié)構(gòu)圖Fig.1 FCPRN structure

式(2)中， Din和Dk分別代表第k層PR-blocks的輸入圖像維度和輸出圖像維度。 j代表PR-blocks組中殘差模塊的數(shù)量，F(xiàn)CPRN中每個金字塔殘差模塊組中包含4個金字塔殘差模塊。PR-blocks組中特征圖的維度是按照固定值n增長的， 有利于防止特征維度爆炸， 便于設計更加深層的網(wǎng)絡結(jié)構(gòu)。 下采樣路徑使用下采樣模塊(transitiondown，TD)降低特征圖的分辨率， 下采樣路徑共包含四個金字塔殘差模塊組和4個下采樣模塊。 在下采樣中， 使用了池化層提取圖像的特征， 為了減少信息損失， 本文使用跳躍連接(skipconnection)將下采樣模塊和上采樣模塊(transitionup，TU)連接在一起， 將淺層網(wǎng)絡的圖像信息傳送到深層網(wǎng)絡中。 與此同時， 在上采樣路徑和下采樣路徑之間使用瓶頸結(jié)構(gòu)[13](bottleneck)以避免維度爆炸和梯度消失問題。

在上采樣路徑中， 使用轉(zhuǎn)置卷積(transposition convolution)恢復圖像特征圖。 然后使用多個PR-blocks降低特征圖的維度， 上采樣路徑共有四個金字塔殘差組和四個上采樣模塊， 最后使用3×3 Conv將圖像的特征維度恢復到與輸入圖像相同。 在實驗中， 輸出圖像即為預測的噪聲圖像， 使用輸入圖像減輸出圖像得到噪聲抑制后的圖像， 由此， 可以訓練出提取圖像噪聲信息的神經(jīng)網(wǎng)絡模型， 我們設計的FCPRN結(jié)構(gòu)參數(shù)如表1所示。

表1 FCPRN的結(jié)構(gòu)參數(shù)表Table 1 The structure and parameters of FCPRN

FCPRN使用跳躍連接將淺層網(wǎng)絡中的圖像信息傳遞到深層網(wǎng)絡中， 能夠有效的減少圖像信息損失， 結(jié)合全卷積可以精確地識別圖像中的每個像素， 有助于提取圖像特征信息。 FCPRN依據(jù)殘差學習的方法， 將圖像中的特征信息——噪聲作為學習對象， 可以提高神經(jīng)網(wǎng)絡的學習效率。

2 實驗及結(jié)果討論

2.1 數(shù)據(jù)采集與處理

實驗數(shù)據(jù)是通過自主搭建的能譜CT獲取的， 該系統(tǒng)實物圖如圖2所示。 探測器為DECTRIS公司生產(chǎn)的SANTIS 0804光子計數(shù)探測器， 有效探測面積為1 024×256像素尺寸為150 μm。 檢測對象為一個小鼠樣本， 體長約10 cm， 體重在150～180 g之間， 使用氨基甲酸乙酯麻醉后放置在塑料瓶中進行掃描。 數(shù)據(jù)采集系統(tǒng)的幾何參數(shù)是根據(jù)小鼠的規(guī)格進行設置的， 源到探測器的距離為350 mm， 源到探測物體的距離為210 mm， 系統(tǒng)的管電壓為90 kVp， 管電流為200 μA， 實驗共設置25～90,30～90,35～90,40～90,45～90和50～90 keV六個能量范圍進行數(shù)據(jù)采集， 每個能量范圍內(nèi)360°等角度掃描獲取250組投影。

圖2 能譜CT數(shù)據(jù)采集實物圖Fig.2 Spectral CT system based on photon-counting detector

獲取能譜CT投影數(shù)據(jù)后， 首先使用FDK算法對不同能量范圍內(nèi)的數(shù)據(jù)進行三維重建， 并將其作為訓練數(shù)據(jù)， 共重建了六個能量段的小鼠圖像， 某一切片的訓練數(shù)據(jù)如圖3。 然后使用Split-Bregman算法[14]進行三維重建， 并作為標簽數(shù)據(jù)。 標簽數(shù)據(jù)和訓練數(shù)據(jù)層層對應， 同一切片標簽數(shù)據(jù)和訓練數(shù)據(jù)的主要區(qū)別在于圖像噪聲水平不同。 與訓練數(shù)據(jù)對應的某一切片的在不同能量范圍內(nèi)的標簽數(shù)據(jù)如圖4所示。

圖3 六個能量段某一切面的能譜CT圖像訓練數(shù)據(jù)圖

圖4 六個能量段某一切面能譜CT圖像標簽數(shù)據(jù)圖

在每個能量段重建256個切面圖像， 因此六個能量段共有1 536個切面圖像， 為了使FDK算法重建的圖像與Split-Bregman算法重建的圖像相匹配， 實驗將三維數(shù)據(jù)等間隔劃分為256個切片圖像。 此外， 為了提高訓練模型的泛化能力， 將這些能譜CT圖像按照1∶1∶5的比例隨機劃分為驗證集、 測試集和訓練集。

2.2 實驗結(jié)果

我們實驗分析并對比了在低劑量CT降噪中表現(xiàn)較好的REDCNN[8]和廣泛用于圖像降噪的DNCNN[15]。 DNCNN主要包含三類網(wǎng)絡層： 第一類即第一層包含3×3×nConv和ReLu； 第二類包括含3×3 Conv、 BN以及ReLu， 此類作為中間層， 共有17層； 第三類即最后一層包含3×3 Conv和ReLu。 其中每一層都包含zero padding， 使得每一層的輸入、 輸出尺寸保持一致。 REDCNN使用卷積層進行編碼， 使用反卷積層進行解碼， 并借助跳躍結(jié)構(gòu)進行連接， 減少信息損耗。 在對三種網(wǎng)絡進行訓練時， 所使用的數(shù)據(jù)和訓練條件完全相同， 其中DNCNN和FCPRN使用殘差學習的方式進行訓練， 網(wǎng)絡學習圖像中噪聲的特征信息， 而REDCNN學習整個圖像特征信息， 由此最大限度的發(fā)揮三種網(wǎng)絡的性能。 網(wǎng)絡訓練的初始學習率為0.001， 每訓練一次學習效率變?yōu)橹暗?5%， 損失函數(shù)為均方誤差(mean squared error， MSE)， 使用Adam (adaptive moment estimation)算法進行優(yōu)化。 訓練模型所使用的計算機軟硬件配置如下： TITAN XP顯卡， 顯存為12G， Intel i7-8700KCPU， 16G計算機內(nèi)存， Ubuntu16.04系統(tǒng)， 神經(jīng)網(wǎng)絡框架及版本為Pythorch 0.4.0。 訓練結(jié)束后得到的網(wǎng)絡模型可以對FDK重建算法得出的數(shù)據(jù)進行降噪。 我們選擇了25～90,35～90和45～90 keV三個能量段的某一切面進行對比， 如圖5所示。 可以看出， 由DNCNN和REDCNN模型輸出的能譜CT圖像的噪聲相對明顯， FCPRN模型對圖像中噪聲的抑制效果較好， 由此可以推斷本文提出的FCPRN有較好的降噪性能。 為了更好地展示降噪細節(jié)， 我們放大顯示降噪后圖像的部分區(qū)域， 如圖6所示， 可以看出， FCPRN的降噪性能優(yōu)于DNCNN和REDCNN， FCPRN輸出圖像中不同組織之間的對比度相對較好， 信噪比較高。

圖5 三種網(wǎng)絡對不同能量范圍能譜CT圖像降噪效果圖

圖6 三種網(wǎng)絡對不同能量范圍能譜CT圖像降噪效果放大示意圖第一列為訓練圖像， 第二列為訓練圖像選定區(qū)域放大圖， 第三列至第五列為DNCNN， REDCNN和FCPRN的降噪圖像選定區(qū)域放大圖；第一行至第三行對應25～90,35～90和45～90 keV三個能量范圍的圖像Fig.6 Details of denoising based on DNCNN， REDCNN and FCPRN in the three energy bins (25～90, 35～90 and 45～90 keV)

為了量化不同網(wǎng)絡的降噪性能， 此處計算測試集的輸出圖像與標簽圖像之間的相似性參數(shù)如均方根誤差(root mean squared error， RMSE)， 峰值信噪比 (peak signal to noise ratio， PSNR)和結(jié)構(gòu)相似度(structural similarity， SSIM)進行對比。 訓練模型的輸出圖像與標簽圖像的RMSE可以表示為

第一列為訓練圖像， 第二列至第四列為DNCNN、 REDCNN和FCPRN的降噪結(jié)果； 第一行至第三行為25～90,35～90和45～90 keV三個能量范圍的圖像

(RMSE(x,y))2=MSE(x,y)=

式(3)中， x和y代表兩幅圖像， m和n代表圖像的邊界尺寸，MSE代表均方誤差。

假設MAXI是圖像中的最大像素值， 則網(wǎng)絡模型的輸出圖像與標簽圖像之間的PSNR可以表示為

網(wǎng)絡模型輸出圖像和標簽圖像的SSIM可以表示為

式(5)中， μ， σ和σxy分別代表圖像的均值， 方差以及協(xié)方差， c1=(k1L)2和c2=(k2L)2是兩個用于避免計算錯誤的常數(shù)， L是像素值的變化范圍。 具體結(jié)果如表2所示， 表中所列參數(shù)值為測試集中不同能量段所有圖像的相似性參數(shù)平均值， 可以較好的反映模型的降噪效果。 可知FCPRN輸出圖像與標簽圖像之間的PSNR值和SSIM值高于其他網(wǎng)絡， RMSE值低于其他網(wǎng)絡， 這表明FCPRN的降噪性能高于DNCNN和REDCNN。

表2 不同網(wǎng)絡的去噪結(jié)果量化示意表Table 2 Quantitative results of different networks

3 結(jié) 論

為抑制能譜CT圖像中的噪聲， 本文提出了一種基于全卷積金字塔殘差網(wǎng)絡(FCPRN)的能譜CT圖像降噪方法， 并實驗驗證了方法的可行性。 由文中表2可知， FCPRN能夠有效的抑制能譜CT圖像中的噪聲， 但其在不同能量段內(nèi)的降噪效果不同， 這與標簽數(shù)據(jù)的制作水平以及窄能段內(nèi)能譜CT圖像中的噪聲水平較高有關(guān)， 本文將基于Split-Bregman算法重建的圖像作為標簽數(shù)據(jù)， 但其中的噪聲并沒有被完全去除， 訓練模型輸出的圖像只能盡可能的逼近標簽而不可能超越標簽， 我們會在后續(xù)的工作中使用含有加性高斯噪聲的仿真圖像和真實圖像聯(lián)合訓練神經(jīng)網(wǎng)絡以提高模型的降噪能力。 此外， 因光子計數(shù)探測器探測單元一致性差等因素的影響， 致使不同能量段內(nèi)的重建能譜CT圖像出現(xiàn)了環(huán)形偽影。 在后續(xù)的研究工作中， 我們會對環(huán)形偽影去除做進一步研究， 驗證能否使用神經(jīng)網(wǎng)絡同時抑制能譜CT圖像中的噪聲和偽影。

本文提出了一種基于深度學習的能譜CT降噪方法， 實驗結(jié)果表明該方法可以有效的抑制不同能量段內(nèi)能譜CT圖像中的噪聲， 使用的全卷積金字塔殘差網(wǎng)絡的降噪性能也優(yōu)于文中提到的常用降噪網(wǎng)絡DNCNN和REDCNN。