基于生成對抗網(wǎng)絡(luò)的CT圖像金屬偽影校正

姜世博， 孫躍文， 許碩， 吳志芳

(清華大學(xué) 核能與新能源技術(shù)研究院， 北京 100084)

隨著計算機(jī)技術(shù)和圖像處理技術(shù)的發(fā)展，CT在無損檢測、逆向工程等工業(yè)領(lǐng)域中取得了廣泛的應(yīng)用。然而在實際應(yīng)用過程中，由于射束硬化、散射、噪聲和容積效應(yīng)等因素存在，實際的CT系統(tǒng)和理想的CT系統(tǒng)總是存在一定的誤差，主要體現(xiàn)在獲取的投影數(shù)據(jù)上。利用這些投影數(shù)據(jù)重建得到的CT圖像可能會存在硬化偽影、運動偽影、金屬偽影等各種偽影和噪聲等，嚴(yán)重影響成像質(zhì)量和后續(xù)應(yīng)用。金屬偽影主要表現(xiàn)為金屬區(qū)域周圍的黑色帶狀和明亮的放射性條紋狀偽影[1]，金屬偽影的存在會嚴(yán)重影響圖像質(zhì)量和審圖判斷。在X-CT檢測中，重建算法要求射線的衰減嚴(yán)格遵循Lambert-Beer定律。然而能譜射線與金屬等高密度物質(zhì)作用時，會產(chǎn)生射線硬化、散射光子占總輸入光子的比例增多、統(tǒng)計噪聲增大等現(xiàn)象，破壞投影數(shù)據(jù)和物體線衰減積分長度之間的線性關(guān)系，從而在重建圖像中引入嚴(yán)重的金屬偽影。

為了改善圖像質(zhì)量和便于后續(xù)應(yīng)用，工業(yè)CT圖像金屬偽影校正研究成為了輻射成像領(lǐng)域中重要的研究方向?，F(xiàn)有的工業(yè)CT圖像金屬偽影校正方法主要分為投影域校正法和圖像域校正法[2]。投影域校正法是對投影數(shù)據(jù)進(jìn)行校正，主要利用插值等方法，避免金屬區(qū)域的投影數(shù)據(jù)發(fā)生突變，從而達(dá)到去除金屬偽影的效果。圖像域校正方法是對重建得到的CT圖像進(jìn)行后處理，如閾值法、聚類法、區(qū)域生長法等，從而確定CT圖像金屬區(qū)域的邊界。隨著對于金屬偽影校正要求的提升，基于投影域和圖像域混合校正算法也被提出。Meyer等[3]提出歸一化金屬偽影校正方法，先通過均值聚類分割方法獲取先驗?zāi)Ｐ?，再進(jìn)行插值，提出了對先驗投影數(shù)據(jù)進(jìn)行歸一化處理的校正方法，能夠較好的消除金屬邊界的次級偽影。Bannas等[4]利用迭代壓縮感知重建技術(shù)得到先驗圖像，通過先驗圖像約束估計缺失信息，提升了圖像質(zhì)量。采用插值校正投影值通常能在一定程度上去除金屬偽影，但是通常只能對局部投影值進(jìn)項補償校正，對于金屬區(qū)域分割精度要求高的情況，投影域校正法容易引入其他偽影[5]，整體的校正效果不夠理想。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于CT圖像降噪、超分辨率重建等圖像復(fù)原任務(wù)。Gjesteby等[6]將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)引入金屬偽影校正領(lǐng)域，取得了視覺上的理想校正效果。Koike[7]提出一種基于循環(huán)一致對抗網(wǎng)絡(luò)(cycle-consistent adversarial network，CAN)的金屬偽影校正方法，有效抑制了金屬偽影效果。憑借強大的特征學(xué)習(xí)和映射能力，深度學(xué)習(xí)方法在CT圖像后處理中展示出了巨大的潛力和優(yōu)勢。因此，本文通過對工業(yè)CT圖像中金屬偽影的產(chǎn)生原理和特征分析，仿真生成了大批工業(yè)CT金屬偽影數(shù)據(jù)集，提出了一種基于生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)的工業(yè)CT圖像金屬偽影校正方法，在較好地去除復(fù)雜金屬構(gòu)件CT圖像金屬偽影的同時還較好地保留了CT圖像的尺寸、邊界等特征信息，驗證了基于深度學(xué)習(xí)的方法在CT圖像金屬偽影校正中有著獨特的優(yōu)勢和應(yīng)用前景。

1 基于生成對抗網(wǎng)絡(luò)的CT圖像偽影校正

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)是一種可以直接以原始圖像樣本作為輸入的深度學(xué)習(xí)模型，能夠自行學(xué)習(xí)圖像中復(fù)雜的深度特征[8]。典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)包含卷積層、池化層和全連接層[9]。通過卷積操作可以逐層地提取圖像特征，獲取多種層次的特征信息。

池化層將特征圖的臨近區(qū)域進(jìn)行合并，減小特征圖分辨率，降低計算量，有效地抑制過擬合問題，常用的池化操作主要是最大池化法和平均池化法[10]。全連接層將卷積層提取的特征圖組合為一維向量，通過全局連接的方式將上一層的特征信息系匯總[11]。由于卷積操作為線性變換，為了使神經(jīng)網(wǎng)絡(luò)具有表征非線性系統(tǒng)的能力，需要引入非線性函數(shù)即激活函數(shù)。目前，常用的激活函數(shù)有sigmoid 函數(shù)，tanh函數(shù)和線性整流函數(shù)(rectified linear unit, ReLU)等[12]。卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)權(quán)值在訓(xùn)練中不斷通過誤差反傳算法更新，使特征提取朝著有利于誤差減小的方向進(jìn)行[13]。

1.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)包含生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)2個部分，生成網(wǎng)絡(luò)用來不斷的學(xué)習(xí)輸入樣本的特征，生成盡可能接近真實的樣本。判別網(wǎng)絡(luò)用來鑒別樣本是來自真實還是生成網(wǎng)絡(luò)輸出。在訓(xùn)練過程中生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)進(jìn)行一個動態(tài)的博弈，最終達(dá)到判別網(wǎng)絡(luò)無法鑒別生成網(wǎng)絡(luò)的輸出是否為真實的樣本，同時也得到了一個理想的生成網(wǎng)絡(luò)。

1.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文采用的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，通過全監(jiān)督的學(xué)習(xí)方式完成從含有金屬偽影圖像到無偽影的CT圖像的端到端的映射。其中判別網(wǎng)絡(luò)是由多層卷積層和反卷積層構(gòu)成，負(fù)責(zé)特征提取，對金屬偽影精細(xì)化估計，獲取圖像多層次的特征信息。判斷輸入CT圖像中是否含有典型的金屬偽影。相對應(yīng)的，生成網(wǎng)絡(luò)中也采取了卷積層和反卷積層用來提取金屬偽影特征并消除金屬偽影。除此之外，網(wǎng)絡(luò)中還加入了殘差網(wǎng)絡(luò)。通過向模型輸入一個帶有金屬偽影的CT圖片，在生成網(wǎng)絡(luò)輸出端給模型沒有金屬偽影的圖片，讓模型通過卷積自編碼器去學(xué)習(xí)去除金屬偽影的過程。

在判別網(wǎng)絡(luò)中，卷積層的特征圖和與其對應(yīng)的反卷積層特征圖進(jìn)行跳躍連接。對應(yīng)像素直接相加后經(jīng)過非線性函數(shù)激活層，輸出到下一層。這種跳躍連接加快了網(wǎng)絡(luò)的訓(xùn)練過程，使反向傳播的梯度更大[14]。在生成對抗網(wǎng)絡(luò)中，CT圖像中的金屬偽影被逐層校正消除，得益于判別網(wǎng)絡(luò)的存在，在消除金屬偽影的同時也能較好的保留圖像細(xì)節(jié)特征[14]。

在確定網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，損失函數(shù)的設(shè)計對最后的重建質(zhì)量有著至關(guān)重要的作用。為了得到更加貼近主觀感知的重建圖像，通過S-MAR方法設(shè)計了基于圖像感官質(zhì)量的損失函數(shù)。該損失函數(shù)由3個部分組成，即灰度損失、對抗損失[15]、總變分損失。

灰度損失LMSE，即生成樣本與真實樣本之間的均方誤差，使生成樣本圖像的像素值盡可能貼近真實樣本的像素值：

(1)

式中：Np為訓(xùn)練集中樣本圖像對數(shù)；Aw,bX表示重建圖像；Y表示真實樣本圖像。

圖1 生成對抗網(wǎng)絡(luò)的架構(gòu)Fig.1 Structure of generative adversarial networks

對抗損失LADV，即由上述鑒別網(wǎng)絡(luò)輸出的樣本分類錯誤的概率為：

(2)

式中：Np為訓(xùn)練集中樣本圖像對數(shù)；D(Aw,bX)為鑒別網(wǎng)絡(luò)判斷重建圖像為真實樣本圖像的概率。對抗損失可以對生成網(wǎng)絡(luò)G進(jìn)行約束，使生成圖像具有更多高頻信息，使其更難以被鑒別網(wǎng)絡(luò)D鑒別，從而使生成圖像在感官上更貼近于真實圖像。

總變分損失LTV，即圖像中梯度值的積分為：

(3)

2 CT仿真實驗結(jié)果分析

2.1 實驗數(shù)據(jù)集

本文采用解析的仿真方法獲取一系列不同材質(zhì)不同工件的含有金屬偽影的CT圖像和原始圖像。原理為對于可以在宏觀上描述或者近似解析的物理性質(zhì)，可以用簡單的公式表示問題的本質(zhì)。具有能譜Ω(E)的多色X射線可以根據(jù)能量大小分為不同的小能區(qū)，小能區(qū)內(nèi)的光子都具有相近的能量，近似遵守Lambert-Beer定律。材料對于多色X射線的響應(yīng)是所有能區(qū)響應(yīng)的積分，如果X射線的能譜和衰減系數(shù)μE,S是已知的，那么入射X射線強度Io和出射射線強度I的關(guān)系為：

(4)

本文獲取了如圖2所示160 kV下X射線光管的能譜。將能量分為100個區(qū)間，針對不同模體的不同切片，采用扇形束投影得到一系列投影數(shù)據(jù)，在進(jìn)行CT仿真過程中需要設(shè)置源到探測器距離等7個重要參數(shù)，參數(shù)設(shè)置如表1所示。

圖2 模擬X射線能譜Fig.2 X-ray energy spectrum obtained by simulation

通過濾波反投影重建，得到3 980組不同材質(zhì)不同類型的含有典型金屬偽影的CT圖像。同時對這些模體的不同切片進(jìn)行單色光投影，得到理想的投影數(shù)據(jù)，通過濾波反投影重建得到無偽影的理想CT圖像，數(shù)據(jù)集中部分圖像如圖3所示，第1行為帶偽影的CT圖像，第2行為對應(yīng)的理想CT圖像。其中3 960組用于網(wǎng)絡(luò)訓(xùn)練，20組用于測試網(wǎng)絡(luò)性能。測試集除了用于測試網(wǎng)絡(luò)性能的20組CT圖片外，還包含了10組應(yīng)用工業(yè)錐束CT掃描齒輪、軸承、寶劍等金屬構(gòu)件，獲取的含有金屬偽影的真實CT切片，部分圖像如圖4所示，用于驗證網(wǎng)絡(luò)在校正實際工業(yè)CT圖像金屬偽影方面的性能。

表1 仿真CT系統(tǒng)參數(shù)Table 1 Parameters of simulation CT system

圖3 仿真CT圖像與對應(yīng)的理想CT圖像Fig.3 Simulated CT images and corresponding ideal CT images

圖4 含有金屬偽影的工業(yè)CT圖像Fig.4 Industrial CT images with metal artifacts

2.2 實驗環(huán)境及參數(shù)

本文采用生成對抗網(wǎng)絡(luò)模型，其生成網(wǎng)絡(luò)用來恢復(fù)圖像的細(xì)節(jié)特征，精細(xì)化金屬偽影的特征，并消除金屬偽影。判別網(wǎng)絡(luò)用來提取圖像特征，獲取圖像的特征細(xì)節(jié)和抽象信息。在網(wǎng)絡(luò)模型輸入端輸入含有金屬偽影的CT圖像切片，輸出端給與不含金屬偽影的CT圖像切片，引入殘差網(wǎng)絡(luò)，網(wǎng)絡(luò)模型可以通過卷積自編碼學(xué)習(xí)校正金屬偽影的過程。由LMSE、LADV和LTV組成的基于圖像感官質(zhì)量的損失函數(shù)，可以獲取更貼近主觀感知的重建圖像，利用上述網(wǎng)絡(luò)對仿真得到的含金屬偽影CT圖像和真實含金屬偽影的工業(yè)錐束CT圖像進(jìn)行金屬偽影校正處理。

網(wǎng)絡(luò)訓(xùn)練過程采用Pytorch工具包，迭代訓(xùn)練次數(shù)為900次，批處理尺寸batch_size=16，初始學(xué)習(xí)率設(shè)置為0.001。實驗環(huán)境為GPU：NVIDIA GeForce RTX3060；CPU：12th Gen Intel(R) Core(TM) i7-10700F 2.10 GHz。

2.3 實驗結(jié)果評價指標(biāo)

峰值信噪比(peak signal to noise ratio，PSNR)是衡量圖像是否失真或噪聲水平的定量指標(biāo)，數(shù)值越高說明待測圖像失真越小。MSE是待測圖像x與標(biāo)簽圖像y的均方誤差，分別為：

(5)

式中：i,j為像素點；H、W分別為圖像的高、寬；n是單個像素的比特數(shù)，數(shù)值越高說明待測圖像失真越小。

結(jié)構(gòu)相似性指數(shù)(structural similarity index measurement，SSIM)由5個參數(shù)來決定，用來衡量兩幅圖像結(jié)構(gòu)相似度，SSIM(x,y)衡量待測圖像x與標(biāo)簽圖像y的相似性，越接近1說明結(jié)構(gòu)相識度越高：

(6)

式中：μx、μy為亮度均值；σx、σy為μx、μy的標(biāo)準(zhǔn)方差；C1和C2為對比度。

特征相似指數(shù)(feature similarity index measurement，F(xiàn)SIM)用來衡量兩幅圖像特征相似度，F(xiàn)SIM越接近1表明兩幅圖像的特征(如邊緣等)的相似度越高：

(7)

式中Ω代表整張圖像的像素域。

2.4 實驗結(jié)果對比分析

經(jīng)過900次訓(xùn)練，采用20張仿真得到的測試CT圖像和10張未知材質(zhì)的不同工件的實際工業(yè)錐束CT圖像進(jìn)行測試，得到30組金屬偽影校正圖像，部分測試結(jié)果與含金屬偽影圖像對比如圖5、6所示，其中第1行為輸入的帶金屬偽影的CT圖像，第2行為對應(yīng)的輸出校正結(jié)果。

為了定量分析CT圖像的金屬偽影校正指標(biāo)，本文采用峰值信噪比(PSNR)、結(jié)構(gòu)相似性指數(shù)(SSIM)和特征相似指數(shù)(FSIM)作為金屬偽影校正的定量分析指標(biāo)，相應(yīng)結(jié)果如表2所示。并將工件4的校正效果與采用基于重投影的多項式擬合的金屬偽影校正方法做對比，如圖7所示，本文提出方法相比于基于投影域的重投影多項式擬合方法校正的效果有明顯提升。從相應(yīng)的定量分析指標(biāo)和針對實際工業(yè)錐束CT圖像的校正結(jié)果可以看出，基于生成對抗網(wǎng)絡(luò)的工業(yè)CT圖像金屬偽影校正方法達(dá)到了十分可觀的金屬偽影校正效果。

圖5 仿真CT圖像金屬偽影校正效果Fig.5 Metal artifact correction results of simulated CT images

圖6 實際工業(yè)CT圖像金屬偽影校正效果Fig.6 Metal artifact correction results of industrial CT images

表2 金屬偽影校正效果定量分析指標(biāo)Table 2 Quantitative analysis index of metal artifact correction results

圖7 與基于重投影的多項式擬合方法校正結(jié)果的對比Fig.7 Comparison of correction results with polynomial fitting method based on reprojection

3 結(jié)論

1)本文提出的基于生成對抗網(wǎng)絡(luò)的去金屬偽影方法經(jīng)過仿真和實際掃描的CT數(shù)據(jù)集實驗驗證，能夠較好地去除不同金屬材質(zhì)工件CT圖像的金屬偽影，無論是從視覺感觀角度還是從定量分析指標(biāo)數(shù)據(jù)上，都達(dá)到了較為理想的校正效果。

2)與基于重投影的多項式擬合方法校正結(jié)果對比，本文提出的方法在各種定量分析指標(biāo)數(shù)據(jù)上都有明顯的提升。

3)本方法還可以通過豐富數(shù)據(jù)集中CT圖像的種類進(jìn)一步提升本方法的泛化能力和校正效果。后續(xù)若將經(jīng)過本方法處理的CT圖像用于后續(xù)的CT圖像分割中，相比于傳統(tǒng)校正方法，將明顯提升CT圖像分割質(zhì)量。