基于對抗訓(xùn)練的U-Net神經(jīng)網(wǎng)絡(luò)在稀疏投影CT圖像增強(qiáng)的應(yīng)用

黃錦威，蕭文鵬，朱思婷，丘皓怡，陳星宇，劉深泉

1.華南理工大學(xué)數(shù)學(xué)學(xué)院，廣東廣州510640；2.華南理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院，廣東廣州510006；3.華南理工大學(xué)電力學(xué)院，廣東廣州510641

前言

X 射線CT 技術(shù)是一種無損檢測技術(shù)，廣泛應(yīng)用于醫(yī)療檢查和工業(yè)物品檢測等領(lǐng)域［1］。由于X 射線的輻射性，所以在醫(yī)療診斷中，對特殊受檢者要適當(dāng)降低X射線劑量或減少探測次數(shù)，從而降低檢測過程中輻射的影響，但低劑量的X射線投影過程容易受到噪聲干擾，而稀疏投影會使探測得到的信息量減少，導(dǎo)致重建的CT 圖像帶有偽影，影響進(jìn)一步的醫(yī)療診斷。

傳統(tǒng)的CT 圖像降噪常用濾波函數(shù)對圖像進(jìn)行全局濾波平滑，但這種無差別的平滑處理可能丟失CT圖像的部分細(xì)節(jié)信息。而近年來基于神經(jīng)網(wǎng)絡(luò)模型的圖像處理技術(shù)得到廣泛研究應(yīng)用，如圖像分類［2］、物體檢測［3］、圖像超分辨率化［4-6］、圖像風(fēng)格化［7-8］等，在圖像數(shù)據(jù)集測試中取得優(yōu)于傳統(tǒng)方法的效果。Chen 等［9］提出殘差編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)（Residual Encoder-Decoder Convolutional Neural Network,RED-CNN）模型用于低劑量CT 圖像增強(qiáng)，本研究基于RED-CNN 模型，提出一種基于對抗訓(xùn)練的U-Net神經(jīng)網(wǎng)絡(luò)，用于稀疏投影CT圖像增強(qiáng)。

1 CT重建算法

CT 圖像的重建算法主要分為兩類：一類是基于Radon 變換［10-11］的解析類重建算法，另一類是以解方程為主要思想的代數(shù)重建算法［12］。

解析類重建算法又可分為濾波反投影法算法［11,13］和直接傅里葉變換重建算法［14］。其中，濾波反投影算法基于反投影法，在其基礎(chǔ)上增加卷積濾波過程，具有重建速度快、空間和密度分辨率高等優(yōu)點(diǎn)，在實(shí)際中得到廣泛應(yīng)用；直接傅里葉變換重建算法由于其頻域插值計算復(fù)雜度較高，在實(shí)際應(yīng)用中常采用重建質(zhì)量高的濾波反投影法算法［15］。代數(shù)重建法是利用投影數(shù)據(jù)構(gòu)建一組線性方程，通過求解線性方程組進(jìn)行圖像重建。但是代數(shù)重建法計算量大、重建時間長，因此在一定程度上限制了其應(yīng)用［16］。

由于濾波反投影算法在實(shí)際應(yīng)用中占有重要地位，本研究將對平行束投影的濾波反投影算法的基本原理以及該算法對稀疏投影的重建圖像附帶偽影的現(xiàn)象進(jìn)行介紹。

反投影算法的基本思想是：待重建圖像中某個位置的像素值，可以通過計算所有經(jīng)過這一點(diǎn)的投影值的平均值近似得到［13］。以3×3 大小的圖像投影為例，原圖像中有9 個像素X1,X2,…,X9，分別從0°、45°、90°和135°這4 個方向進(jìn)行投影，得到投影值P1,P2,…,P16（圖1）。投影值Pi(1 ≤i≤16) 和像素值Xj(1 ≤j≤9 )的關(guān)系如方程組（1）所示。

基于方程組（1）得到反投影計算式（2）。

圖1 3×3圖像在4個不同角度的投影Fig.1 Projection of a 3×3 image at 4 different angles

以上示例僅采用4個不同角度進(jìn)行投影，當(dāng)圖像像素比較多時，為得到高質(zhì)量的重建圖像，需要選取更密集的投影角度，一般是取值跨度180°的多個均勻分布的投影角度。由反投影計算的原理可知，該算法的重建結(jié)果是近似的。從圖2可以看出由于中心像素的像素值1的影響，使得周圍的像素值在重建后變大了。這種在反投影重建中由一個位置的像素值影響其周圍位置像素值產(chǎn)生的差異稱為星狀偽影。產(chǎn)生星狀偽影的原因是反投影重建是將一個投影值均勻地反投影到其投影路徑的每個像素上，因此當(dāng)該投影路徑上各點(diǎn)的像素值并非均勻分布時，其像素值較大的位置的值會被“分?jǐn)偂钡较袼刂递^小的位置上［17］。星狀偽影可以通過增加投影角度或?qū)ν队皵?shù)據(jù)進(jìn)行濾波得到減輕或者去除，由于濾波反投影算法在反投影算法上加入了卷積濾波過程，因而重建效果更好。常用的濾波函數(shù)有Hamming、Hanning、R-L、S-L、Cosine等。但在稀疏投影的情況下，即使對投影數(shù)據(jù)進(jìn)行了濾波，其反投影結(jié)果依然會帶有明顯偽影和噪點(diǎn)。

圖2 3×3圖像與反投影計算結(jié)果比較Fig.2 Comparison of a 3×3 image and the result of its backprojection calculation

2 基于對抗訓(xùn)練的U-Net神經(jīng)網(wǎng)絡(luò)

U-Net 模型由Ronneberger 等［18］首次提出并用于解決醫(yī)學(xué)圖像分割的任務(wù)，通過低層信息往高層補(bǔ)充，使模型能夠處理醫(yī)學(xué)圖像的細(xì)節(jié)。近年來，對抗生成網(wǎng)絡(luò)GAN［19］被廣泛應(yīng)用于圖像的生成與轉(zhuǎn)換，通過內(nèi)部生成器與鑒別器的對抗、博弈，在對抗過程中生成器不斷提高生成更真實(shí)目標(biāo)圖像的能力，鑒別器則不斷增強(qiáng)自己的鑒別能力，以區(qū)分輸入圖像的真?zhèn)?。鑒別器直接區(qū)分“模糊的、有噪聲的CT 圖像與清晰、高質(zhì)量的CT 圖像”的能力對于增強(qiáng)模型的性能有引導(dǎo)作用。

2.1 模型與原理

基于對抗訓(xùn)練的U-Net神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示，模型以稀疏投影數(shù)據(jù)經(jīng)過濾波反投影算法重建得到的帶噪聲和偽影的CT 圖像Input（I）作為輸入，經(jīng)過增強(qiáng)模型G（一個淺層的U-Net）處理，輸出增強(qiáng)后的CT 圖像Output（O）。將輸出圖像O 與對應(yīng)的目標(biāo)圖像GT 分別輸入鑒別器Decoder（D），鑒別器D對輸入進(jìn)行判斷，如果輸入是GT，則D傾向于判斷為True；如果輸入是圖像O，則D 傾向于判斷為False。鑒別器D 由連續(xù)的4 層卷積操作與最后的全連接層FC構(gòu)成，結(jié)構(gòu)如圖4所示。

圖3 基于對抗訓(xùn)練的U-Net神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of U-Net neural network based on adversarial training

圖4 鑒別器結(jié)構(gòu)模型Fig.4 Structure of the decoder

2.2 目標(biāo)函數(shù)選取

2.2.1 增強(qiáng)網(wǎng)絡(luò)的目標(biāo)函數(shù)模型采用逐像素的均方差（Mean Square Error）：

其中，H、W分別指圖像的高度與寬度。

定義G的對抗損失為：

G的損失函數(shù)為：

其中，λ是一個超參數(shù)，在本模型實(shí)驗(yàn)中取λ=10。

2.2.2 鑒別器的目標(biāo)函數(shù)鑒別器D 的目標(biāo)函數(shù)定義式（6）。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集選取和處理

模型的訓(xùn)練與測試使用公開數(shù)據(jù)集TCGACESC 癌癥CT 影像中的數(shù)據(jù)，其中包含2 900 組來自人體不同部位的CT 圖片數(shù)據(jù)。篩選出大小適宜的圖片數(shù)據(jù)1 942組，從中隨機(jī)選擇72組數(shù)據(jù)作為測試集，其余1 870組數(shù)據(jù)作為訓(xùn)練集。

將每組CT 圖像數(shù)據(jù)讀取為二維矩陣GT∈RH×W。假設(shè)CT 掃描在不同角度進(jìn)行探測時設(shè)備參數(shù)條件相同，利用Radon變換模擬X 射線投影過程，獲取圖像在180個角度（相隔1°進(jìn)行一次投影）的投影數(shù)據(jù)，經(jīng)過濾波反投影重建，得到有噪聲和偽影的CT 圖像矩陣I∈RH×W。將每個GT 與其對應(yīng)的I稱為一組數(shù)據(jù)。由于整體訓(xùn)練樣本偏少，因此將1 870組訓(xùn)練數(shù)據(jù)進(jìn)行裁剪，每組裁剪得到不同位置的5組圖像數(shù)據(jù)，將裁剪得到的9 350 組數(shù)據(jù)作為訓(xùn)練集用于模型的訓(xùn)練。

3.2 評價指標(biāo)

本文采用3種典型的圖像質(zhì)量評估指標(biāo)。

（1）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指的是峰值信號的能量與噪聲的能量的均值之比。

其中，MSE 為均方差，計算式如式（3）；MAX 為圖像的灰度級，一般取MAX=255。PSNR 值越大，說明兩張圖像相似度越高。

（2）結(jié)構(gòu)相似性（Structural Similarity,SSIM）是基于兩張圖像的亮度、對比度與結(jié)構(gòu)這3個方面衡量兩者相似度的方法，SSIM值越高，說明兩張圖像相似度越高［20］。

（3）均方根誤差（Root-Mean-Square Error,RMSE）計算式見式（8），用于衡量兩組數(shù)據(jù)的偏差。RMSE值越小，說明兩張圖像相似度越高。

3.3 實(shí)驗(yàn)細(xì)節(jié)

模型的訓(xùn)練和測試在一臺CPU 核為i7、內(nèi)存32G、內(nèi)置1080Ti GPU 的服務(wù)器上完成，使用的圖像分辨率為384×384。測試階段，無GPU驅(qū)動下單張圖像的處理時間為（0.353±0.010）s；1080Ti GPU驅(qū)動下單張圖像的處理時間為（3.406±0.350）ms。

3.4 實(shí)驗(yàn)結(jié)果

將模型輸入圖像I和最終輸出圖像O 分別與數(shù)據(jù)集中原始圖像GT 進(jìn)行比較，并計算PSNR、SSIM和RMSE，兩張圖像相似度越高表明圖像質(zhì)量越高。

3.4.1 基于測試集的單樣本分析從測試集中隨機(jī)選擇一個樣本，本研究提出的模型得到的結(jié)果見圖5和圖6。

圖5 模型輸出結(jié)果與輸入樣本的比較Fig.5 Comparison of the input and the output of one sample

由圖5可知，模型輸出圖像的3 項(xiàng)評價指標(biāo)均優(yōu)于所選的輸入樣本圖像。從圖6可以明顯發(fā)現(xiàn)模型輸出圖像相比輸入樣本圖像有更少的偽影和噪聲以及更清晰的邊緣輪廓，細(xì)節(jié)上更接近原始圖像。

3.4.2 基于測試集的總體分析基于測試集中數(shù)據(jù)，統(tǒng)計本研究提出的模型對測試圖像在3 個指標(biāo)中的表現(xiàn)，結(jié)果見表1。其中，提升數(shù)值表示模型處理結(jié)果相對于未處理圖像在相應(yīng)指標(biāo)上提升的數(shù)值，PSNR 和SSIM 指標(biāo)的提升數(shù)值為模型處理結(jié)果的指標(biāo)值減去未處理圖像的指標(biāo)值，PMSE 指標(biāo)的提升數(shù)值為未處理圖像的指標(biāo)值減去模型處理結(jié)果的指標(biāo)值。提升百分比為指標(biāo)提升數(shù)值與未處理圖像相應(yīng)指標(biāo)的比值。

圖6 圖5中圖片的局部放大Fig.6 Partial magnification of Fig.5

本研究提出的模型是基于RED-CNN 上的創(chuàng)新，將本研究提出的模型與RED-CNN 的處理結(jié)果進(jìn)行比較，各項(xiàng)評價指標(biāo)對比如表2所示。

表1 本文模型在測試集上的提升效果Tab.1 Enhancement effects of the proposed model on the test set

表2 本文模型與RED-CNN在測試集上的處理結(jié)果比較Tab.2 Comparison of the results of the proposed network with RED-CNN on the test set

從表1的提升數(shù)據(jù)可知，在平均意義下，本研究提出的模型的處理結(jié)果相比于未處理的圖像有較大提升，其中SSIM 和RMSE 的平均提升百分比均超過35%。同時某些測試圖像的模型處理結(jié)果在評價指標(biāo)意義下差于未處理圖像，在72 組測試集中有2 組數(shù)據(jù)出現(xiàn)負(fù)提升，圖7為其中一組出現(xiàn)負(fù)提升的樣本。經(jīng)人工對比分析，發(fā)現(xiàn)這兩幅圖像在數(shù)據(jù)集TCGA-CESC 中的原圖有較多噪點(diǎn)，而模型處理后減少了圖像的噪點(diǎn)，處理后圖像更加平滑（圖8），因此在基于原圖比對的指標(biāo)下出現(xiàn)了負(fù)提升現(xiàn)象。

從表2的對比數(shù)據(jù)可知，在3 種評價指標(biāo)下本研究提出的模型的結(jié)果與RED-CNN 比較接近，相較于處理前的圖像（Input）有明顯的提升。本研究提出的模型與RED-CNN 相比，PSNR 得分的極差分別為16.508 4 與16.938 0，RMSE 得分的極差分別為12.768 6與13.106 5，SSIM 得分的極差分別為0.151 8與0.150 0，在評價指標(biāo)極差意義下本研究提出的模型更穩(wěn)定。

為了進(jìn)一步說明模型對稀疏投影重建圖像的提升效果，將本研究提出的模型對180次探測（1°/次）重建圖像的處理結(jié)果與180 次探測（1°/次）、360 次探測（0.5°/次）、720次探測（0.25°/次）和1 800次探測（0.1°/次）的未經(jīng)本模型增強(qiáng)的重建圖像進(jìn)行比較。圖9中3項(xiàng)評價指標(biāo)的數(shù)值為測試集的評價結(jié)果的均值歸一化，可以看出本文模型相比180次探測的重建圖像在3個指標(biāo)上均有明顯提升，PSNR和RMSE指標(biāo)與360次探測、720 次探測和1 800 次探測的重建結(jié)果接近，SSIM 指標(biāo)則優(yōu)于1 800 探測的重建結(jié)果。說明本文模型對稀疏探測重建的CT 圖像確有提升作用。此外，360 次探測、720 次探測和1 800 次探測的重建結(jié)果指標(biāo)上接近，這是因?yàn)楫?dāng)探測密度增加到一定程度時，繼續(xù)增加探測密度對重建圖像的質(zhì)量提升作用并不顯著。

圖7 出現(xiàn)負(fù)提升現(xiàn)象的一組數(shù)據(jù)的模型輸出結(jié)果與輸入樣本比較Fig.7 Comparison of the input with the output of one sample with negative enhancement

圖8 圖7中圖像的局部放大Fig.8 Partial magnification of Fig.7

圖9 本文模型結(jié)果與不同探測密度的重建圖像比較Fig.9 Comparison of the results obtained by the proposed network and reconstructed images with different detection densities

4 結(jié)論

本研究提出了基于對抗訓(xùn)練的U-Net 神經(jīng)網(wǎng)絡(luò)模型，并基于公開數(shù)據(jù)集TCGA-CESC 癌癥CT 影像通過實(shí)驗(yàn)計算證明該模型對稀疏投影重建后帶偽影的CT 圖像有明顯的增強(qiáng)效果。在180 次探測測試中，在均值意義下SSIM 指標(biāo)和RMSE 指標(biāo)的提升超過35%，且本研究模型對180 次探測重建圖像的處理結(jié)果在PSNR 和SSIM 指標(biāo)下優(yōu)于1 800 次探測的重建圖像。說明本研究模型對稀疏探測的條件下的重建圖像進(jìn)行增強(qiáng)，其圖像質(zhì)量接近甚至優(yōu)于密集探測條件下重建的CT 圖像?；谏鲜鲅芯拷Y(jié)果，進(jìn)一步可以研究模型的穩(wěn)定性，以及如何通過改良模型框架和調(diào)整必要參數(shù)使模型有更好的表現(xiàn)。