基于圖像邊緣約束cGAN的稀疏角度錐束乳腺CT重建

【作者】仰云煥，方程一絕，朱磊

中國科學技術(shù)大學 工程與應用物理系，合肥市，230026

0 引言

乳腺癌發(fā)病率和死亡率分別位列我國女性惡性腫瘤的第1位和第4位，且呈逐年上升趨勢[1]。醫(yī)學影像對乳腺癌的篩查診斷具有重大意義。目前乳腺X射線影像的兩個主流模態(tài)是鉬靶攝影（mammography）和斷層攝影（tomosynthesis）。與這兩個影像模態(tài)相比，錐束乳腺CT（cone-beam breast CT,CBBCT）不僅不需要壓縮乳房，有更高的病人舒適度，而且還能提供真正的3D信息、更高的分辨率和更高的圖像質(zhì)量。隨之而來的是更多的掃描，即意味著更高的輻射劑量和更長的掃描時間，這兩者是限制CBBCT在臨床上廣泛應用的主要阻礙。本研究通過減少CBBCT的投影數(shù)，將輻射劑量和掃描時間降低到原來的三分之一或四分之一，并提出一種新的深度學習算法將稀疏角度CBBCT圖像的質(zhì)量提高到和全角度CBBCT的圖像質(zhì)量相匹配。

輻射劑量是限制CBBCT在臨床廣泛應用的一個主要障礙。女性的乳房對輻射非常敏感，美國的FDA對用于乳腺癌篩查檢測的mammography設置的輻射界限是6 mGy[2]。文獻[3]報道乳腺在CBBCT掃描中平均所受的劑量為4～12.8 mGy。與mammography、tomosynthesis相比，CBBCT另一個劣勢在于相對長的時間，CBBCT的掃描時間主要受限于探測器的采集速度。前兩種成像模態(tài)的平均掃描時間分別為6 s[4]和3.7 s[5]左右，而CBBCT的掃描時間為10 s[3]左右，增加的時間可能會引起運動偽影。一個可以同時降低劑量、減少時間的掃描方式是減少采集投影數(shù)即稀疏角度CBBCT。

稀疏角度CT在過去一段時間內(nèi)被大量研究[6-9]。利用濾波反投影（filtered back projection,FBP）直接重建稀疏角度CT時會產(chǎn)生混疊偽影（view-aliasing artifact）。一種主流的解決方法是迭代重建，包括基于正則化的算法[9-10]和基于壓縮感知的優(yōu)化算法[7,11]，其中代表性的算法就是基于全變分（total variation，TV）的迭代重建[7]。最近研究者也提出了將大量的深度學習算法用于稀疏角度CT，主要是在圖像域進行后處理[12-14]，也有在投影域[15]前處理，及投影域圖像域聯(lián)合處理[16]，以及投影域直接到圖像域的重建[17]。受限于CBCT的大數(shù)據(jù)量和訓練的難度，稀疏角度CBCT重建常用圖像域后處理，一種代表性的深度學習算法是基于FBPConvNet的圖像后處理[14]。

本研究發(fā)現(xiàn)將先進的迭代算法TV重建[7]和基于U-net結(jié)合殘差學習的深度學習算法FBPConvNet[14]直接用于稀疏角度CBBCT，會導致微小的組織結(jié)構(gòu)丟失，正如后面結(jié)果圖的展示。主要原因在于CBBCT的掃描劑量相對身體其他部位的掃描劑量更低，導致CBBCT數(shù)據(jù)噪聲較大，同時乳腺有非常多樣復雜又細小的結(jié)構(gòu)，圖像具有對比度低（＜150 Hu）、分辨率高（＜0.5 mm）的特點。這給基于圖像稀疏性的TV重建和數(shù)據(jù)驅(qū)動的FBPConvNet算法帶來了巨大的挑戰(zhàn)。對早期乳腺癌篩查來說，細小組織結(jié)構(gòu)的保留非常重要。這就要求算法能更好地捕捉提取錐束乳腺CT圖的特征，能有效保留低對比度區(qū)域的細節(jié)信息。

在本研究中，我們提出一種新的基于條件生成對抗網(wǎng)絡（cGAN）[18]加入圖像邊緣約束的算法——ECGAN，用ECGAN后處理FBP直接重建得到的充滿偽影的稀疏角度CBBCT圖。ECGAN主要包括兩個部分的創(chuàng)新，一個是cGAN的應用引入了對抗損失函數(shù)，另一個是邊緣圖像被加入cGAN的生成器和判別器這兩個部分。對抗損失函數(shù)可以在一定程度上減輕均方誤差函數(shù)（mean square error,MSE）帶來的過光滑及模糊問題，而邊緣圖像的引入則可進一步提高圖像對比度，提高圖像邊緣銳利程度，能保留低對比度區(qū)域中微小的潛在病變。具體來說，ECGAN的生成器部分是改進后的U-net，本研究改進了U-net的主要部分——下采樣和上采樣，以此來保留更多的細節(jié)。對于判別器，我們采用patchGAN[19]和最小二乘損失函數(shù)LSGAN[20]結(jié)合的方式來保留高頻信息，提高訓練穩(wěn)定度。對于邊緣約束，用梯度可自動反向傳播的卷積層，從去除偽影后的CBBCT圖和全角度圖中提取邊緣，再反饋到生成器的損失函數(shù)和判別器的輸入中。ECGAN的效果在20組包含原始投影圖的臨床數(shù)據(jù)上得到了驗證，并且效果優(yōu)于兩種主流方法——基于TV的迭代重建[7]和基于U-net的后處理FBPConvNet[14]。最后通過消融對比試驗（ablation study），觀察驗證了對抗損失函數(shù)及圖像邊緣所起到的作用。

1 方法

稀疏角度CBBCT的重建分為兩步，先從稀疏角度投影圖FBP重建得到有嚴重混疊偽影的稀疏角度重建圖，再用ECGAN模型去除稀疏角度CT圖中的偽影，同時最大限度保留圖像的細小結(jié)構(gòu)信息。重建方法的總體示意，如圖1所示。設X代表有偽影的稀疏角度CBBCT圖，Y為全角度的CBBCT圖。本研究的目標是通過神經(jīng)網(wǎng)絡學習找到一個函數(shù)f，將X映射為Y：Y=f(X)。利用神經(jīng)網(wǎng)絡的萬能近似原理，當把X作為輸入，Y作為對應的真值時，可以訓練神經(jīng)網(wǎng)絡來近似得到f。本研究發(fā)現(xiàn)，在醫(yī)學圖像中有廣泛應用的U-net結(jié)合常用的均方誤差MSE損失函數(shù)時，輸出的圖像會有過光滑和丟失細節(jié)的問題。而本研究提出的ECGAN可得到能更佳地保留細節(jié)的函數(shù)f，ECGAN的網(wǎng)絡結(jié)構(gòu)，如圖2所示。ECGAN主要包括兩個部分的創(chuàng)新，一個是cGAN的應用引入了對抗損失函數(shù)，另一個是邊緣圖像的引入，這兩個因素讓輸出圖像盡可能地接近真值，并著重關(guān)注細小結(jié)構(gòu)的保留。

圖1 稀疏角度CBBCT重建方法的總體示意圖Fig.1 Framework of the proposed sparse-view CBBCT reconstruction method

圖2 算法模型ECGAN網(wǎng)絡結(jié)構(gòu)Fig.2 The architecture of the proposed method ECGAN

cGAN包括兩個網(wǎng)絡，一個是生成器G用來去除CBBCT圖中的偽影，即G就是想要的f，另一個是判別器D判斷輸入圖是去除偽影后的CBBCT圖還是真實的CBBCT圖。只有當G去除偽影的同時能最大限度地保留原圖的結(jié)構(gòu)信息，不丟失細微結(jié)構(gòu)不讓CBBCT模糊，讓判別器判斷正確的概率為0.5時，訓練才達到收斂。對于條件生成對抗網(wǎng)絡，為了保證輸出的圖像與輸入一一對應，結(jié)構(gòu)不會被改變，生成器G的輸入X也被輸入判別器D中，即判別器不僅需要判斷G生成圖片的質(zhì)量，還需判斷G的輸出CT圖結(jié)構(gòu)是否與輸入X的結(jié)構(gòu)一致。cGAN的損失函數(shù)如下：

為了降低訓練難度，提高收斂性，并保持約束圖像內(nèi)容不變，cGAN的生成器損失函數(shù)中應該加入傳統(tǒng)的衡量圖像相似性的損失函數(shù)，如L2損失函數(shù)，如式(3)所示，總的損失如式(4)所示，其中G(x)是生成器的輸出，即去除偽影后的圖像。

在醫(yī)學圖像處理中廣為應用的神經(jīng)網(wǎng)絡模型U-net在被改進后用作cGAN的生成器。U-net的主要結(jié)構(gòu)是下采樣、上采樣和跳躍連接。原始下采樣采用最大化池化，本研究改為參數(shù)可學習的卷積下采樣，用步長為2的卷積去學習下采樣的過程，以此保留更多細節(jié)。原始的上采樣采用的是反卷積，會產(chǎn)生棋盤狀偽影，本研究將其改為線性插值加卷積，以便得到更清晰的圖像。為了加快收斂和防止梯度消失或爆炸，在生成器和判別器中都采用了實例標準化（instance normalization，IN）。IN可以比批標準化（batch normalization，BN）更好地進行類似風格遷移的操作，尤其是在圖像尺寸大批量規(guī)模（batch size）受限的情況下。

對于判別器的要求是能提取高頻信息，所以判別器的特征提取應該集中在圖像塊上，讓判別器去判斷CT圖中小的圖像塊是真實圖還是去除偽影后的圖。本研究采用了patchGAN[19]的判別器，patchGAN與原始GAN輸出一個數(shù)值不同，patchGAN判斷圖像塊輸出的是一個矩陣或向量，矩陣的每個元素對應輸入圖像中的圖像塊是真實值的概率。對于patchGAN判斷圖像塊大小的選擇，根據(jù)實驗結(jié)果，選擇讓pathGAN的感受野是70×70，即判別器輸出矩陣的一個元素代表的是輸入圖中70×70的圖像塊為真實值的概率。GAN的訓練往往是困難和不穩(wěn)定的，為此引入了最新的GAN的訓練策略LSGAN[20]，將原始帶負log的似然函數(shù)改為最小二乘損失函數(shù)，即判別器的損失函數(shù)從式(2)變?yōu)槿缦拢?/p>

雖然LSGAN的改動較小，但其帶來的巨大改進在文獻[20]中已論述，我們不再贅述。判別器的結(jié)構(gòu)是簡單的串聯(lián)型，如下：

C代表的是卷積、IN和leakyReLU激活函數(shù)（斜率為0.2），數(shù)字表示的是每層的特征圖數(shù)。在最后一層，數(shù)據(jù)被卷積為一維并計算最小二乘損失函數(shù)。

本研究觀察到在乳腺CT圖中低對比度區(qū)域圖像有較大概率發(fā)生模糊和丟失細節(jié)的問題。為了在處理時進一步保留低對比度區(qū)域的小的鈣化點和潛在病變結(jié)構(gòu)，去偽影后的圖像的邊緣被提取出來和真實圖的邊緣圖做比較，同時被作為一層通道圖輸入判別器的網(wǎng)絡當中。圖像邊緣的單獨計算加重了神經(jīng)網(wǎng)絡對這部分的計算權(quán)重，讓低對比度區(qū)域的特征更容易學習。圖像邊緣由可自動求導梯度、可反向傳播的卷積層得到，這個卷積層代表的操作就是Sobel算子（SF）。例如X方向邊緣提取Sobel算子如下：

將Sobel算子應用在水平、豎直和兩個對角線方向，得到四個方向的邊緣圖都被一起輸入G和D中。在生成器中，它們增加了一個L2項

對于判別器，四張圖像邊緣生成器的輸出作為一個輸入的不同通道圖，一起被輸入判別器。這樣判別器能判斷輸入圖的邊緣圖與真實圖的邊緣圖的相似程度，進一步地讓判別器著重低對比度區(qū)域細節(jié)的學習。判別器的損失函數(shù)從式(5)變?yōu)槭?8)，即：

總的來說，生成器總的目標函數(shù)可以寫成如下：

2 實驗和結(jié)果

2.1 數(shù)據(jù)集準備和模型訓練

20組臨床數(shù)據(jù)被用來訓練和評估，每組數(shù)據(jù)包含均勻分布在360°內(nèi)的300個角度的完整原始投影圖。通常，在用深度學習去除稀疏角度CT圖偽影的論文中，因為缺少臨床原始投影數(shù)據(jù)，所用的訓練數(shù)據(jù)中的稀疏角度CT圖一般是通過模擬前向投影，然后降采樣再重建產(chǎn)生。本研究則直接對原始投影數(shù)據(jù)圖（光子強度圖）進行操作。臨床原始投影圖預處理后直接重建得到全角度重建圖，對投影圖降采樣到100或75個角度的再重建得到對應的稀疏角度CBBCT圖，對應的輻射劑量和掃描時間減少為全角度的三分之一或四分之一。重建得到的全角度和稀疏角度的2D數(shù)據(jù)是6200張512×512尺寸的重建圖，其中 4800張圖像用于訓練，1400張用于驗證和測試。為了獲得更多的訓練數(shù)據(jù)，對訓練數(shù)據(jù)做數(shù)據(jù)增廣，通過翻轉(zhuǎn)和重建時旋轉(zhuǎn)，總共有9600張圖片用于訓練。對于損失函數(shù)中的λ，本研究選擇讓圖像邊緣產(chǎn)生的損失比均方誤差小一個數(shù)量級，對抗損失和生成器的損失則是同一個量級。算法用PyTorch框架實現(xiàn)，用Adam優(yōu)化器進行訓練，學習率起始設置為0.0002，再分段式衰減至1×10-5，運行在英偉達Tesla K80的GPU上。

2.2 實驗結(jié)果

為了驗證ECGAN的效果，將該算法結(jié)果和基于TV的迭代重建[7]結(jié)果及基于U-net結(jié)合殘差學習的FBPConvNet[14]后處理的結(jié)果進行對比。圖3上面一行展示了100個角度下的稀疏角度CBBCT重建結(jié)果對比圖，窗寬設置為[0.2,0.3]cm-1。視覺上可以直觀地看到ECGAN在保留結(jié)構(gòu)細節(jié)和去除偽影兩方面都比另外兩個對比方法出色。因為CBBCT細節(jié)多、對比度低、劑量低等特點，基于圖像稀疏性的TV迭代重建的圖像過于平滑，結(jié)構(gòu)信息丟失非常嚴重。FBPConvNet并沒能完全去除偽影，而且圖像同時出現(xiàn)了過光滑的問題，一些潛在的病變因為亮度降低可能會消失或被當成正常組織。關(guān)于TV和FBPConvNet過光滑的問題在圖3下面一行的放大圖中可以很容易看到。而ECGAN首先很好地去除了偽影，而且圖像細節(jié)保留完整，與全角度圖相比幾乎沒有區(qū)別。

圖3 不同方法重建CBBCT結(jié)果圖（100個角度）Fig.3 Reconstruction of CBBCT results by different methods(100 views)

峰值信噪比和結(jié)構(gòu)相似度SSIM[21]是兩個常用來衡量兩張圖像之間相似程度的量化指標。其中SSIM的計算公式如下：

其中：σ代表方差，u代表均值，C1、C2為常數(shù)。表1展示的是測試集上的量化指標的平均值，ECGAN在兩項指標上均取得最高的量化分數(shù)，人眼的視覺評判結(jié)果與量化指標的結(jié)果是一致的，顯示了ECGAN的良好效果。限于篇幅我們沒有展示75個投影下與TV、FBPConvNet對比結(jié)果，各算法的表現(xiàn)與100個投影上的表現(xiàn)一致。在下面的消融對比實驗中，展示了75個角度下的ECGAN的優(yōu)秀效果。

表1 ECGAN、U-net、TV的峰值信噪比和結(jié)構(gòu)相似度Tab.1 PSNR and SSIM of ECGAN,TV,U-net and 100 views

為了進一步研究ECGAN的兩個主要部分對抗損失和邊緣約束的作用，進行消融對比試驗。通過控制網(wǎng)絡組成，訓練不同的網(wǎng)絡來對比它們的表現(xiàn)，包括修改后的U-net（下文直接稱為U-net）結(jié)合均方誤差訓練，記為Unet-MSE。U-net作為生成器的cGAN,記為CGAN，最后提出ECGAN。圖4展示了在75個角度四分之一劑量下的代表性結(jié)果，其中窗寬為[0.2,0.3]cm-1?？梢钥吹郊词乖?5個角度下，三個網(wǎng)絡都能很好地去除偽影，但由于偽影非常嚴重，Unet-MSE恢復圖像的能力較弱，導致圖像較暗。在避免圖像過光滑方面，CGAN和ECGAN結(jié)果的邊緣銳利程度和對比度比Unet-MSE高。這說明對抗損失是可以很好地保留高頻信息，避免圖像變模糊。進一步地對比CGAN和ECGAN的結(jié)果，可以看到ECGAN在保留微小結(jié)構(gòu)方面更優(yōu)。這些對比結(jié)果在圖4第二行放大的結(jié)果圖中可以更容易被觀察到。同時比較圖4的方框中的小鈣化點和周圍組織的對比度，結(jié)果分別是0.025、0.039、0.063、0.081 cm-1，ECGAN獲得了最高的數(shù)值。

圖4 不同方法重建CBBCT結(jié)果圖（75個角度）Fig.4 Reconstruction of CBBCT results by different methods(75 views)

3 結(jié)論和討論

我們提出了一種新的深度學習算法ECGAN，用于降低錐束乳腺CT的掃描劑量和時間，提高稀疏角度CBBCT的圖像質(zhì)量。設計網(wǎng)絡時結(jié)合CBBCT圖微小結(jié)構(gòu)多、低對比度等特點，針對深度學習中的過光滑和丟失細節(jié)等問題，提出對抗損失函數(shù)和邊緣約束來解決。在原始臨床數(shù)據(jù)上，和基于全變分迭代重建、FBPConvNet后處理的對比結(jié)果顯示，無論是視覺上還是量化指標上，ECGAN都具有更好的表現(xiàn)。進一步設計的實驗顯示兩個最重要的改進都提高了圖像質(zhì)量。結(jié)果表明ECGAN算法可以在保證稀疏角度CBBCT圖像質(zhì)量的前提下，有效地降低CBBCT掃描的劑量和時間。所以ECGAN有望應用于臨床CBBCT上，讓CBBCT更多地被應用在乳腺癌篩查上。

在未來的工作中，計劃在ECGAN中引入從投影圖到CT圖的重建過程，以此來進一步提高CBBCT的重建質(zhì)量。

致謝：

我們感謝Andrew Karellas、Srinivasan Vedantham、Linxi Shi三位博士提供數(shù)據(jù)，中國科學技術(shù)大學楊益東教授提出建設性意見。