摘要:目的 提出一種基于改進可微分域轉換的雙域錐束計算機斷層掃描(CBCT)重建框架DualCBR-Net用于錐角偽影校正。方法 所提出的雙域CBCT重建框架DualCBR-Net包含3個模塊:投影域預處理、可微分域轉換和圖像后處理。投影域預處理模塊首先對投影數(shù)據(jù)進行排方向擴充,使被掃描物體能夠被X射線完全覆蓋??晌⒎钟蜣D換模塊引入重建和前投影算子去完成雙域網(wǎng)絡的前向和梯度回傳過程,其中幾何參數(shù)對應擴大的數(shù)據(jù)維度,擴大幾何在網(wǎng)絡前向過程中提供了重要先驗信息,在反向過程中保證了回傳梯度的精度,使得錐角區(qū)域的數(shù)據(jù)學習更為精準。圖像域后處理模塊對域轉換后的圖像進一步微調以去除殘留偽影和噪聲。結果 在Mayo公開的胸部數(shù)據(jù)集上進行的驗證實驗結果顯示,本研究提出的DualCBR-Net在偽影去除和結構細節(jié)保持方面均優(yōu)于其他競爭方法;定量上,這種DualCBR-Net 方法在PSNR和SSIM上相對于最新方法分別提高了0.6479和0.0074。結論 本研究提出的基于改進可微分域轉換的雙域CBCT重建框架DualCBR-Net用于錐角偽影校正方法使有效聯(lián)合訓練CBCT雙域網(wǎng)絡成為可能,尤其是對于大錐角區(qū)域。。
關鍵詞:CBCT;錐角偽影;可微分域轉換
平板探測器的技術進步使錐束計算機斷層掃描(CBCT)系統(tǒng)能夠在單臺旋轉中實現(xiàn)大體積覆蓋,可以滿足各種診斷成像任務,如圖像引導放射治療[1],心臟成像[2]和牙科成像[3]。在CBCT中,F(xiàn)DK算法[4]是最主流的重建算法。而隨著錐角的增加,重建圖像縱向距離也隨之增加,F(xiàn)DK重建算法產(chǎn)生的錐角偽影也隨之加劇。受平板探測器尺寸的限制,掃描物體一般無法被X射線完全覆蓋,導致獲得的投影數(shù)據(jù)欠采樣,其有效重建體素主要集中在360度全掃描區(qū)域,掃描不足360度的區(qū)域無法被準確重建。位于離圓源軌跡中心平面較遠的切片通常表現(xiàn)為強度下降,受到錐角偽影的嚴重影響。錐角過大給CBCT系統(tǒng)帶來的問題主要是由于不滿足Tuy數(shù)據(jù)充分性條件[5]而在高衰減物質周圍產(chǎn)生條狀錐角偽影,以及由于探測器排方向欠采樣導致縱向有效重建體素不足,兩端圖像反投影值累加不足而引起的陰影狀錐角偽影。
既往研究提出各種方法來解決錐角偽影問題,包括解析重建方法[6-9]、估計缺失數(shù)據(jù)方法[10, 11]和迭代估計方法[12, 13],但均都無法在影去除效果和節(jié)省內存開銷之間保持平衡。近年來,深度學習技術在醫(yī)學成像方面應用廣泛,其中包括錐角偽影校正技術。然而,現(xiàn)有的用于錐角偽影校正的深度學習方法大多是基于圖像后處理[14, 15],沒有考慮投影數(shù)據(jù)到圖像數(shù)據(jù)的重建過程,導致很難兼顧偽影去除和圖像細節(jié)結構保持,尤其是對于重建過程中丟失的信息。因此必須考慮雙域重建網(wǎng)絡,同時處理投影域和圖像域數(shù)據(jù),以去除錐角偽影。
在設計雙域重建網(wǎng)絡時,投影域和圖像域之間的梯度回傳精度是個需要重點考慮的問題。主流的CT域轉換策略可以分為兩類[16]:一類是學習型域轉換[17, 18],通過學習雙域之間端到端的映射參數(shù),能夠保證梯度回傳的準確度,但當適配到CBCT重建問題時,學習型域轉換需要學習的參數(shù)量非常龐大,因此難以應用于CBCT的域轉換場景;另一類策略是依賴物理成像過程指導的傳統(tǒng)型域轉換[19-21],它固定雙域間的映射參數(shù),引入重建算子和前投影算子來分別實時計算前向和反向過程,從而構建一種可微分的域轉換模塊。傳統(tǒng)型域轉換策略不需要學習雙域之間的映射參數(shù),需要更新的參數(shù)集中在雙域子網(wǎng)絡中,因此適用于CBCT的域轉換問題。但由于探測器尺寸的限制,在掃描過程中錐束X射線無法完全覆蓋目標區(qū)域,這將導致使用傳統(tǒng)型域轉換方式時雙域網(wǎng)絡參數(shù)學習會產(chǎn)生較大誤差,從而降低了模型的魯棒性,限制了其進一步應用。
針對上述問題,本研究提出一種基于改進可微分域轉換的雙域CBCT重建框架DualCBR-Net,旨在解決由于投影數(shù)據(jù)在探測器排方向欠采樣導致的錐角偽影問題,從而擴大圖像在縱向的重建體素范圍,有效提高劑量利用率。本研究為該領域內首次提出用于CBCT的雙域聯(lián)合學習框架,未來可在此框架的基礎上開展對CBCT成像的其他相關研究,現(xiàn)報道如下。
1 材料和方法
1.1 總體框架
由于實際應用中CBCT探測器排數(shù)的限制,一般被掃描物體不能完全被X射線所覆蓋,探測器因此采集得到欠采樣的投影數(shù)據(jù),導致使用FDK重建算法得到的圖像中遠離中心平面的圖層因反投影值累加不足而形成錐角偽影。在錐束掃描過程中,粉紅色區(qū)域中的每個像素始終在360°范圍內被照射,這也是可以被FDK算法重建且無圖像強度下降的區(qū)域,而綠色區(qū)域中的像素被照射范圍不足360°,不滿足數(shù)據(jù)完備性的要求,無法被準確重建,導致對應兩端圖像出現(xiàn)錐角偽影(圖1)。針對錐角偽影問題,本文提出了一種基于改進可微分域轉換的雙域CBCT重建框架DualCBR-Net。該雙域CBCT重建框架DualCBR-Net 的結構由投影域前處理模塊、可微分域轉換模塊和圖像域后處理模塊組成(圖2)。
1.1.1 投影域前處理模塊
投影域前處理模塊包含2個子網(wǎng)絡,分別是投影外擴網(wǎng)絡(PENet)和投影恢復網(wǎng)絡(PRNet)。給定投影數(shù)據(jù)P ∈ RM × C × A,其中M是初始投影數(shù)據(jù)的排數(shù),C是探測器通道數(shù),A 是掃描角度數(shù),PENet旨在插值出投影排方向兩端的m排像素,從而得到外擴后的投影數(shù)據(jù)P? ∈ R(M + 2m) × C × A。對于PENet,本研究采用文獻[22]中的WGAN-VGG生成對抗網(wǎng)絡模型,其中生成器的目標是學習原始排數(shù)的2D 投影圖像P2D ∈ RM × C到多排2D投影圖像P2D + ∈ R(M + 2m) × C的生成過程,判別器的任務是用來評估生成器所生成圖像的質量和逼真度,以指導生成器達到更好的外擴圖像預測性能。通過整合所有角度下生成的2D 投影圖像{ P12D +,P22D +,…,PA2D +},最終得到完整的3D外擴投影圖像P?。通過投影外擴,CBCT成像幾何在數(shù)據(jù)層面上進行了擴展(圖1A~B)。PENet的目標函數(shù)是最小化預測的多排投影數(shù)據(jù)和真值多排投影數(shù)據(jù)之間的誤差損失,其中損失函數(shù)和超參數(shù)設置與原始工作保持一致。對于PENet,本研究使用了預訓練策略,在整體框架DualCBR-Net訓練過程中凍結其網(wǎng)絡參數(shù)。
本研究在PENet之后還設計了一個投影恢復網(wǎng)絡PRNet,其以2.5D UNet[23]作為骨干網(wǎng)絡,以提高外擴投影的預測精度,提升模型的去偽影性能。由于錐束幾何形狀的特殊性,為了完成后續(xù)的重建,在批處理時需要保留CBCT投影數(shù)據(jù)的原始尺寸。本研究在PRNet中分別引入了空間注意模塊和通道注意模塊[24]??臻g注意模塊通過學習空間權值來關注CBCT投影數(shù)據(jù)中的重要區(qū)域。通道關注模塊通過學習通道間的權值,使網(wǎng)絡自動選擇并關注最有價值的通道信息來進行圖像恢復任務,減少冗余信息的處理,提高網(wǎng)絡的學習效率,從而提高模型的性能。
經(jīng)過PENet外擴后的投影數(shù)據(jù)P?輸入PRNet得到進一步恢復,得到恢復后的外擴投影數(shù)據(jù)P?。本研究將投影域前處理模塊表示為fproj,fproj的目標是學習原始投影數(shù)據(jù)到多排投影數(shù)據(jù)之間的映射,該過程可表示為:
P? = fproj (P) (1)
1.1.2 可微分域轉換模塊
本研究設計了一種改進的可微分域轉換模塊來完成投影域到圖像域的轉換。對于錐束幾何,常見的重建算法是FDK算法,該算法通過假設目標物體在z方向上有不變性,擴展了二維扇形束濾波反投影算法。FDK算法可以表示為:
I * = AT?C?Wcos (P? ) (2)
其中Wcos表示投影數(shù)據(jù)P?根據(jù)當前射線與主射線之間夾角的二維余弦加權函數(shù),C表示濾波算子,AT為具有距離加權函數(shù)的三維反投影算子,該三維反投影算子的轉置就是前投影算子A。重建算子和前投影算子可以完全表示為離散線性代數(shù),重建算子映射到域轉換模塊即對應模型的前向過程,利用前投影算子計算對輸入的導數(shù),完成梯度回傳過程,從而使得雙域網(wǎng)絡模型在深度學習框架中能夠通過標準的反向傳播算法直接優(yōu)化雙域子網(wǎng)絡的參數(shù)。本研究將來自圖像域的梯度表示為Gradout,回傳到投影域的梯度表示為Gradin,二者之間的轉換過程可以表示為:
Gradin = A?Gradout (3)
通過設計可微分域轉換模塊,一個完全端到端可訓練的CBCT雙域網(wǎng)絡得以實現(xiàn),且無需存儲大量可學習參數(shù)。該可微分域轉換模塊中使用的幾何參數(shù)對應于外擴后的數(shù)據(jù)維度,這保證了目標區(qū)域對應的梯度在反向傳播時的準確性。得益于外擴后的投影數(shù)據(jù)中重要的先驗知識,網(wǎng)絡可以在前向過程中重建出質量更好的圖像(圖1B)。在反向過程中,因有足夠的錐束幾何數(shù)據(jù),回傳梯度的精度大大提高,特別是對于大錐角區(qū)域?;诟倪M的可微分域轉換模塊,所提出的DualCBR-Net可以準確地更新雙域子網(wǎng)絡中的參數(shù),這對CBCT錐角偽影校正問題至關重要。
1.1.3 圖像域后處理模塊
對于重建的CBCT圖像I *,希望通過將I *輸入到圖像域后處理模塊,進一步去除殘留的噪聲和偽影,本研究在圖像域后處理模塊中設計了一個基于2.5D UNet 骨干網(wǎng)絡的圖像恢復網(wǎng)絡(IRNet),在批處理過程中,未將所有的CBCT圖像軸向切片都輸入到IRNet中,而是在每次迭代中隨機選擇一部分連續(xù)的2D切片來輸入,通過不停地迭代訓練,網(wǎng)絡能夠間接地接觸到整個3D圖像數(shù)據(jù)的特征,這里只考慮掃描至少180°范圍的區(qū)域,即理論上能夠被恢復的區(qū)域(圖1B紅色虛線框范圍)。將圖像后處理模塊表示為fimg,fimg 的目標是學習重建圖像I * 到參考高質量CBCT圖像Igt之間的函數(shù)映射,得到模型去偽影后的圖像Idual。該過程可以表示為:
Idual = fimg(I * ) (4)
1.1.4 損失函數(shù)
DualCBR-Net的整體框架可以用公式表示為:
Idual = fimg( fIDT( fproj (P) )) (5)
其中,fIDT 表示改進的可微分域轉換模塊。DualCBRNet框架中需要學習的網(wǎng)絡參數(shù)集中在fproj和fimg中。像素級的均方差損失Limg,圖像結構相似度損失Lssim和3D圖像總變分正則化項Ltv 構成DualCBR-Net 的聯(lián)合損失函數(shù):
Ltotal = Limg + α × Lssim + β × Ltv (6)
其中Limg和Lssim在模型輸出的去偽影的圖像Idual和干凈無偽影的圖像Igt之間進行計算,Ltv是在Idual上計算的正則化項,具體地:
Limg = || I "dual - Igt||11(7)
其中μ表示均值,σ表示方差,?Ii表示圖像在第i個維度上的梯度,ε1和ε2為超參數(shù),這里我們分別設置為10-4和4×10-4。Lssim是基于一個11×11的窗進行計算的。超參數(shù)α和β用來平衡不同損失函數(shù)之間的權重,經(jīng)過擴充驗證實驗,設置α=0.5,β=0.1。
1.2 實驗設計
1.2.1 數(shù)據(jù)集
本研究使用了來自Mayo 公開數(shù)據(jù)集Low Dose CT Image and Projection[25]中的胸部數(shù)據(jù)來進行實驗,該數(shù)據(jù)是使用西門子醫(yī)療公司的SomatomDefinition AS+CT 系統(tǒng)在120 kVp 和200 mAs 下掃描獲得的。與文獻[14]的數(shù)據(jù)仿真策略類似,本研究使用胸部數(shù)據(jù)的全劑量圖像作為真值圖像進行錐束仿真,每個患者的圖像尺寸為512×512×300,圖像像素為0.75 mm×0.75 mm,層厚為1.5 mm,層數(shù)為300。探測器陣列規(guī)格為400×512,每個探測器單元大小為1.5 mm×1.5 mm,排數(shù)為400,通道數(shù)為512。曝光角度設置為360度,射線源到中心的距離為768 mm,射線源到探測器的距離為1280 mm。上述的幾何參數(shù)在本工作中對應于擴大后的幾何,原始幾何中的探測器排數(shù)為240,重建圖像層數(shù)為180。另外,仿真所用的真值圖像層數(shù)為300,最終目標重建層數(shù)為180,這對應于前文的Z(圖1B),剩余的120層不參與網(wǎng)絡訓練,只在可微分域轉換模塊中起過渡作用。本研究共選取了50套患者數(shù)據(jù),其中40套作為訓練集,10套作為測試集。
1.2.2 實驗配套
本實驗是在配備有2.10 GHz InterXeon E5-2683 CPU和1塊48 GB顯存的NVIDIA GPURTX A6000 顯卡上進行的。Python 版本為3.8.15,CUDA 版本為12.0,基于1.13.0 版本的Pytorch 框架。其他依賴包均在以上環(huán)境下進行安裝配置。
本研究中的PRNet在批處理時需要處理全角度的多排投影數(shù)據(jù),以便在接下來的域轉換模塊中完成錐束圖像重建。為減輕顯存壓力以及防止信息丟失,本研究將整體3D投影數(shù)據(jù)重組為幾個圖像塊并同時輸入到網(wǎng)絡,在批處理過程中,1 例胸部投影數(shù)據(jù)的尺寸為1×360×512×400,隨后將其重組為尺寸為10×36×512×400的圖像塊,其中10和36分別對應網(wǎng)絡中的batch size和通道。可微分域轉換模塊中的重建算子和前投影算子分別對應網(wǎng)絡的前向過程和梯度反向傳播過程,本研究使用ASTRA-Toolbox[26]來實施這兩個算子。在IRNet中,采用隨機選取連續(xù)層的策略,設置每次迭代選取的連續(xù)層數(shù)為8。采用Adam[27]優(yōu)化器來執(zhí)行優(yōu)化過程,其中動量設置為0.9??傆柧気啍?shù)為500,batch size 設置為1,即1例病人的投影-圖像配對數(shù)據(jù)。初始學習率設置為2×10-4,每50 個epoch 下降為原來的一半,當下降到1×10-6時不再變化。
1.2.3 對比方法與評估指標
本研究選取WCF方法[11]和WCF-PRNet方法進行對比。WCF為線性插值方法,利用水柱形狀,將缺失的投影排方向數(shù)據(jù)進行插值擬合;WCF-PRNet 方法以WCF 方法插值的數(shù)據(jù)作為初值,以實現(xiàn)與目標外擴數(shù)據(jù)在空間維度上的對齊,再利用本文中PRNet的網(wǎng)絡結構來實現(xiàn)外擴。
本研究選取經(jīng)典方法FDK[4]、CWFDK[8]、WCF[11]以及基于深度學習的錐角偽影校正方法FDK-Net[28]、DBP-Net[14]、GADR-Net[15]進行對比,以評估所提出的DualCBR-Net 方法在成像上的性能。CWFDK算法考慮掃描角度和錐束幾何之間的關系,利用Parker加權短掃描重建拼接策略[29]獲得完整圖像,本研究選取的短掃描角度為20°。WCF方法直接利用FDK算法對插值后的投影進行重建。FDK-Net是一個端到端的去偽影模型,利用FDK算法重建的圖像與真值圖像進行配對訓練。DBP-Net在差分反投影域上解決問題,以執(zhí)行與希爾伯特變換相關的不適定反卷積問題的數(shù)據(jù)驅動反演,并使用冠狀面和矢狀面圖像進行訓練,最終利用光譜混合技術整合冠狀面和矢狀面的結果以獲得重建圖像。GADR-Net利用錐角分布和旋轉幾何之間的關系,并使用從CBCT徑向采樣的圖像切片來訓練網(wǎng)絡。上述基于深度學習的對比方法均參照原文中的參數(shù)設置進行訓練和測試。
本研究選取峰值信噪比(PSNR)、結構相似度指數(shù)(SSIM)和均方根誤差(RMSE)3 個指標對所提出方法的性能進行定量評估。PSNR用來對被測量圖像進行噪聲評估,SSIM用來評估被測試圖像與真值圖像之間的紋理相似度,RMSE用來評估被測試圖像與真值圖像之間的誤差。上述3個指標的計算公式為:
其中,Igtmax表示Igt中的最大值,R為圖像中的總像素數(shù),SSIM中的定義與公式(8)類似。
2 結果
2.1 不同方法投影外擴的結果
WCF 方法得到的結果與真實數(shù)據(jù)存在明顯偏差(圖3)。WCF-PRNet方法得到的結果與真實投影數(shù)據(jù)的相似度有所提高,但是存在過模糊等現(xiàn)象。本研究提出的PE-PRNet方法的外擴數(shù)據(jù)結果獲得了與真實投影數(shù)據(jù)最接近的分布,尤其是在細節(jié)紋理和整體真實感上。各個方法在投影外擴結果與真實數(shù)據(jù)之間的定量指標顯示,本研究的方法在PSNR、SSIM和RMSE上均為最優(yōu)(表1)。
2.2 重建結果分析
DualCBR-Net 得到的軸向、冠狀和矢狀平面切片的重建結果顯示,F(xiàn)DK方法的重建圖像在縱向兩端區(qū)域的質量因錐角影響而嚴重受損,細節(jié)結構丟失。CWFDK方法可以恢復部分圖像強度,但在短掃描重建拼接處引入了二次偽影。WCF方法的重建圖像中細節(jié)結構不真實,引入了本不存在的紋理信息。FDK-Net方法的重建圖像仍然存在殘留偽影,且丟失了部分細節(jié)結構和紋理信息。DBP-Net方法的重建圖像較為模糊,細節(jié)結構丟失較嚴重。GADR-Net方法取得了較好的重建效果,但在保留圖像結構和紋理方面仍然不夠出色。與上述方法相比,本研究所提出的DualCBR-Net 方法在去除偽影的同時,還能有效保留圖像中的細節(jié)結果和紋理信息(圖4~6)。
重建結果(圖5)中綠色直線標記位置的水平剖面線顯示,與對比方法相比,本研究所提出的 DualCBRNet方法的重建結果更接近真值圖像(圖7)。定量評價結果顯示所提出的DualCBR-Net方法取得了最高的 PSNR指標(36.9515±1.6658)、最高的SSIM 指標(0.8945±0.0280)和最低的 RMSE指標(3.6882±0.6994,表2)。
2.3 消融實驗結果
2.3.1 投影外擴策略驗證
在沒有使用投影外擴策略的重建結果中,無論是冠狀面還是矢狀面,都有殘留的錐角偽影,且圖像細節(jié)丟失嚴重(圖8)。通過引入投影外擴策略,目標區(qū)域的圖像得到了很好的恢復,在錐角偽影去除的同時還保留了細節(jié)結構信息。
2.3.2 模型組件消融學習
DualCBR-Net中的模型組件消融實驗定量比較結果顯示,所提出的DualCBR-Net總是取得了比其他消融模塊更好的結果(表3)。
3 討論
針對CBCT探測器尺寸限制而導致的圖像縱向有效重建體素不足,軸向兩端出現(xiàn)錐角偽影的問題,本研究提出了一種基于改進可微分域轉換的雙域 CBCT 重建框架DualCBR-Net,來進行錐角偽影校正。DualCBR-Net 由3 個模塊組成:投影域預處理、可微分域轉換和圖像域后處理。投影域預處理模塊由投影外擴網(wǎng)絡PENet和投影恢復網(wǎng)絡PRNet組成,它將原始投影數(shù)據(jù)在探測器排方向上進行外擴,使掃描物體能夠完全被X射線覆蓋。然后,可微分域轉換模塊引入FDK重建和前向投影算子來完成前向過程和梯度反向傳播,其中使用的幾何參數(shù)對應于擴大的數(shù)據(jù)維度,擴大幾何在網(wǎng)絡前向過程中提供了重要先驗信息,在反向過程中保證了回傳梯度的精度,使得錐角區(qū)域的數(shù)據(jù)學習更為精準。圖像后處理模塊包含一個圖像恢復網(wǎng)絡IRNet,以進一步微調域轉換后的圖像以去除殘留偽影和噪聲。像素級的均方差損失,圖像結構相似度損失和3D圖像總變分正則化項構成DualCBR-Net 的聯(lián)合損失函數(shù),使得模型在去除錐角偽影的同時能夠保留圖像細節(jié)結構信息,從而重建出無錐角偽影的高質量CBCT圖像。
本研究在Mayo 公開的胸部數(shù)據(jù)集上驗證和評估了所提出的DualCBR-Net方法,從重建結果來看,加權解析重建方法CWFDK無法平衡計算成本與重建效果,且容易導致圖像中出現(xiàn)二次偽影;此外,該方法還因需要多次短掃描重建操作而受到進一步限制。參考簡單水柱形狀作為先驗知識來擴充投影數(shù)據(jù)的WCF方法無法準確獲得真實的投影結構分布信息,會在重建圖像中引入本不存在的結構。FDK-Net重建結果出現(xiàn)過模糊,且出現(xiàn)殘留偽影,這是因為僅使用像素級均方差損失是很難學習從解析重建結果到真實圖像間的映射的。DBP-Net重建結果與原文差異較大,其原因可能是由于錐角過大導致差分反投影域中存在過多缺失數(shù)據(jù)所致,在訓練網(wǎng)絡時下降的圖像強度對模型學習產(chǎn)生了負面影響。GADR-Net可以去除大部分偽影,但是在細節(jié)結構保持方面仍然不夠出色。與上述方法相比,無論是定性還是定量方面,所提出的 DualCBR-Net 方法在偽影去除和結構細節(jié)保留方面均要更為優(yōu)異。在消融實驗結果中,沒有投影外擴策略意味著,域轉換模塊中使用的前反投影算子都是基于原始幾何,因此在前反投影過程中都存在著欠采樣數(shù)據(jù)導致域轉換精度下降的問題。在驗證結果中可以觀察發(fā)現(xiàn),沒有使用該策略的結果中都都有殘留的偽影,且圖像細節(jié)丟失嚴重,通過引入投影外擴策略,網(wǎng)絡的前向過程可以基于外擴的投影數(shù)據(jù)更好地重建圖像,反向過程由于使用了擴大幾何,目標區(qū)域對應的回傳梯度更為精準,因此雙域網(wǎng)絡在目標函數(shù)的約束下能夠更好地學習,模型的去偽影性能也會更好,這證明了所提出的投影外擴策略對于模型的前向和反向過程都是有益的。模型組件消融實驗定量結果中,所提出的方法總是取得比其他模塊更好的指標,因此模型各個組成部分及其參數(shù)設置都是合理且最優(yōu)的。
對于CBCT錐角偽影問題,現(xiàn)有的基于深度學習的解決方法大多是圖像后處理[14,15],這主要受限于3D成像幾何的復雜性帶來的高昂的計算成本。與僅在圖像域做圖像恢復的方法相比,雙域網(wǎng)絡方法可以充分利用投影域的信息,并發(fā)揮圖像域先驗知識的作用,在恢復細微結構和減少偽影方面相較于單域處理展現(xiàn)了更卓越的性能[30,31],因此更適合CBCT錐角偽影校正問題。有學者曾提出適用于CBCT的雙域成像模型DualCNN,該模型分別在投影域進行插值以及在圖像域進行恢復,域轉換使用了FDK算法,但是該設計中域轉換是不可微的,投影域和圖像域的數(shù)據(jù)分離處理,通過級聯(lián)方式構成了雙域網(wǎng)絡,因而在深度學習框架中無法通過標準的反向傳播算法直接優(yōu)化雙域子網(wǎng)絡的參數(shù),構建成一種“偽”雙域網(wǎng)絡[32]。考慮到復雜度與計算成本問題,本研究引入了傳統(tǒng)型域轉換方式,使得CBCT雙域網(wǎng)絡聯(lián)合訓練,同步更新參數(shù)成為可能,而針對CBCT傳統(tǒng)型雙域轉換梯度回傳不準確的問題,本研究提出了一種基于改進可微域變換的雙域CBCT 重建框架DualCBRNet,有效提高了雙域網(wǎng)絡的學習精度,為關于CBCT雙域網(wǎng)絡的其他研究提供了思路。DualCBR-Net中關鍵的一點是投影外擴操作,通過在投影排方向插值處理,使得目標重建區(qū)域在數(shù)據(jù)維度上能夠被X射線完全覆蓋,這對于依賴物理成像模型的傳統(tǒng)型域轉換方法是至關重要的。
本研究的優(yōu)勢在于:提出了適用于CBCT的雙域重建框架DualCBR-Net,該框架使用了傳統(tǒng)型域轉換,其中改進的可微分域轉換策略能夠有效克服因為成像系統(tǒng)限制導致的域轉換精度下降問題,使得CBCT雙域網(wǎng)絡的聯(lián)合訓練和參數(shù)的同步更新成為可能;研究領域內首次進行投影數(shù)據(jù)排方向外擴任務,這在先驗知識有限的條件下具有一定的價值,為域轉換模塊提供了重要信息;引入像素級的均方差損失,圖像結構相似度損失和3D圖像總變分正則化項構成DualCBR-Net的聯(lián)合損失函數(shù),其中圖像結構相似度損失能夠更好地指導縱向兩端強度下降的圖像進行偽影恢復。
本研究在未來的工作可從以下方面開展:首先,受限于硬件條件,DualCBR-Net中的投影外擴網(wǎng)絡PENet是離線預訓練的,即在單角度2D投影數(shù)據(jù)上逐個進行,這必然會導致投影外擴網(wǎng)絡的學習精度降低,因為難以利用相鄰角度投影數(shù)據(jù)之間的結構信息。因此,需要設計一種更加輕量級、高效、能夠支持在線訓練的投影外擴模塊。其次,DualCBR-Net為監(jiān)督學習方法,非常依賴于高質量的投影圖像配對數(shù)據(jù),而在真實的臨床場景中,獲得高質量的CBCT圖像數(shù)據(jù)是非常困難的,其一方面出于成像系統(tǒng)技術難度,另一方面也受倫理道德的約束。在這種情況下,需要探索無監(jiān)督或半監(jiān)督學習方法,來克服標簽圖像的約束。近年來,等變成像(EI)方法[33, 34]已廣泛應用于未知真值圖像的醫(yī)學成像問題,可以用于解決標簽數(shù)據(jù)不足的問題,這恰好為未知真值標簽的CBCT成像問題提供了思路。EI假設在成像逆問題中,測量數(shù)據(jù)對應的待重建的原始信號普遍存在低維模型,這些低維模型具有群不變性,從而使得由重建算子和前投影算子構成的整個成像系統(tǒng)具有等變性,因此可以利用這些成像系統(tǒng)中的等變性,來直接從測量數(shù)據(jù)中學習成像模型中的重建函數(shù)。對應到本文中的CBCT成像任務中,即利用等變特性來構建自監(jiān)督約束,來代替監(jiān)督學習目標函數(shù)中的保真項以及正則化項。這里給出一般監(jiān)督學習CT成像框架下的目標函數(shù):
Lsup = ||"I "dual - Igt||11+ α × Lregularization (13)
其由保真項和正則化項構成,并由超參數(shù)α控制不同損失項的權重。在該監(jiān)督學習框架下,最重要的是保真項的約束,因此標簽圖像Igt直接決定了監(jiān)督成像模型的質量。通過引入等變學習EI方法,可以構建如下的目標函數(shù):
其中,Pm為測量數(shù)據(jù)(這里可以理解為欠采樣的投影數(shù)據(jù)),fθ為無監(jiān)督EI成像模型,θ為模型參數(shù),G EI為具有等變性的操作集合,A為前投影算子,AT 為重建算子。通過引入等變學習框架,利用成像系統(tǒng)自身的物理特性和成像過程中的一致性約束,可以克服監(jiān)督學習方法對高質量標簽圖像的依賴[35, 36],從而在常見的無醫(yī)學圖像標簽數(shù)據(jù)的情況下發(fā)揮作用。后續(xù)研究中也將致力于研究等變學習與CBCT成像的結合,探索無監(jiān)督學習成像新方法。
綜上所述,本研究提出了一種基于改進可微分域轉換的雙域 CBCT 重建框架 DualCBR-Net,來進行錐角偽影校正。該方法采用了一種依賴物理成像過程指導的傳統(tǒng)型域轉換方式,并聚焦于錐束成像系統(tǒng)限制而導致的域轉換精度下降問題,分別在投影域進行插值,在圖像域進行恢復,改進可微分域轉換模塊利用擴展的數(shù)據(jù)維度,這不僅在網(wǎng)絡前向過程中提供了重要的先驗信息,也在反向過程中保證了回傳梯度的精度,使得錐角區(qū)域的數(shù)據(jù)學習更為精準。實驗結果表明所提出的方法在偽影消除和細節(jié)保持方面優(yōu)于其他競爭方法,具有良好臨床應用潛力。
參考文獻:
[1] Jaffray DA, Siewerdsen JH, Wong JW, et al. Flat-panel cone-beamcomputed tomography for image-guided radiation therapy[J]. Int JRadiat Oncol Biol Phys, 2002, 53(5): 1337-49.
[2] Wang G, Zhao SY, Heuscher D. A knowledge-based cone-beam XrayCT algorithm for dynamic volumetric cardiac imaging[J]. MedPhys, 2002, 29(8): 1807-22.
[3] Pauwels R, Araki K, Siewerdsen JH, et al. Technical aspects ofdental CBCT: state of the art[J]. Dentomaxillofac Radiol, 2015, 44(1): 20140224.
[4] Feldkamp LA, Davis LC, Kress JW. Practical cone-beam algorithm[J]. J Opt Soc Am A, 1984, 1(6): 612.
[5] Tuy HK. An inversion formula for cone-beam reconstruction[J].SIAM J Appl Math, 1983, 43(3): 546-52.
[6] Grass M, K?hler T, Proksa R. Angular weighted hybrid cone-beamCT reconstruction for circular trajectories[J]. Phys Med Biol, 2001,46(6): 1595-610.
[7] Tang X, Hsieh J, Nilsen RA, et al. A three-dimensional-weightedcone beam filtered backprojection (CB-FBP) algorithm for imagereconstruction in volumetric CT-helical scanning[J]. Phys MedBiol, 2006, 51(4): 855-74.
[8] Mori S, Endo M, Komatsu S, et al. A combination-weightedFeldkamp-based reconstruction algorithm for cone-beam CT[J].Phys Med Biol, 2006, 51(16): 3953-65.
[9] Grimmer R, Oelhafen M, Elstr?m U, et al. Cone-beam CT imagereconstruction with extended z range[J]. Med Phys, 2009, 36(7):3363-70.
[10]Zhu L, Starman J, Fahrig R. An efficient estimation method forreducing the axial intensity drop in circular cone-beam CT[J]. Int JBiomed Imaging, 2008: 242841.
[11]Hsieh J, Chao E, Thibault J, et al. A novel reconstruction algorithmto extend the CT scan field-of-view[J]. Med Phys, 2004, 31(9):2385-91.
[12]Hsieh J. Two-pass algorithm for cone-beam reconstruction[C]. SanDiego: Medical Imaging 2000: Image Processing, 2000: 533-40.
[13]Han C, Baek J. Multi-pass approach to reduce cone-beam artifacts ina circular orbit cone-beam CT system[J]. Opt Express, 2019, 27(7):10108-26.
[14]Han Y, Kim J, Ye JC. Differentiated backprojection domain deeplearning for conebeam artifact removal[J]. IEEE Trans MedImaging, 2020, 39(11): 3571-82.
[15]Minnema J, van Eijnatten M, der Sarkissian H, et al. Efficient highcone-angle artifact reduction in circular cone-beam CT using deeplearning with geometry-aware dimension reduction[J]. Phys MedBiol, 2021, 66(13): 135015.
[16]Xia WJ, Shan HM, Wang G, et al. Physics-/ Model-Based and Data-Driven Methods for Low-Dose Computed Tomography: a survey[J]. IEEE Signal Process Mag, 2023, 40(2): 89-100.
[17]He J, Wang YB, Ma JH. Radon inversion via deep learning[J]. IEEETrans Med Imaging, 2020, 39(6): 2076-87.
[18]He J, Chen SL, Zhang H, et al. Downsampled imaging geometricmodeling for accurate CT reconstruction via deep learning[J]. IEEETrans Med Imaging, 2021, 40(11): 2976-85.
[19]Würfl T, Hoffmann M, Christlein V, et al. Deep learning computedtomography: learning projection-domain weights from imagedomain in limited angle problems[J]. IEEE Trans Med Imag, 2018,37(6): 1454-63.
[20]Hu DL, Liu J, Lv TL, et al. Hybrid-domain neural networkprocessing for sparse-view CT reconstruction[J]. IEEE TransRadiat Plasma Med Sci, 2021, 5(1): 88-98.
[21]Zhang YK, Hu DL, Zhao QL, et al. CLEAR: comprehensivelearning enabled adversarial reconstruction for subtle structureenhanced low-dose CT imaging[J]. IEEE Trans Med Imag, 2021, 40(11): 3089-101.
[22]Yang QS, Yan PK, Zhang YB, et al. Low-dose CT image denoisingusing a generative adversarial network with Wasserstein distanceand perceptual loss[J]. IEEE Trans Med Imaging, 2018, 37(6):1348-57.
[23]Ronneberger O, Fischer P, Brox T. U-net: convolutional networksfor biomedical image segmentation[EB/OL]. [2015-05-18]. https://arxiv.org/abs/1505.04597.
[24]Guo MH, Xu TX, Liu JJ, et al. Attention mechanisms in computervision: a survey[J]. Comput Vis Medium, 2022, 8(3): 331-68.
[25]Moen TR, Chen BY, Holmes DR 3rd, et al. Low-dose CT image andprojection dataset[J]. Med Phys, 2021, 48(2): 902-11.
[26] van Aarle W, Palenstijn WJ, De Beenhouwer J, et al. The ASTRAToolbox: a platform for advanced algorithm development in electrontomography[J]. Ultramicroscopy, 2015, 157: 35-47.
[27]Kingma DP, Ba J. Adam: a method for stochastic optimization[EB/OL]. [2014-12-22]. http://arxiv.org/abs/1412.6980
[28] Jin KH, McCann MT, Froustey E, et al. Deep convolutional neuralnetwork for inverse problems in imaging[J]. IEEE Trans ImageProcess, 2017, 26(9): 4509-22.
[29]Parker DL. Optimal short scan convolution reconstruction forfanbeam CT[J]. Med Phys, 1982, 9(2): 254-7.
[30]Lee D, Choi S, Kim HJ. High quality imaging from sparsely sampledcomputed tomography data with deep learning and wavelettransform in various domains[J]. Med Phys, 2019, 46(1): 104-15.
[31]Zhou B, Chen XC, Zhou SK, et al. DuDoDR-Net: dual-domain dataconsistent recurrent network for simultaneous sparse view and metalartifact reduction in computed tomography[J]. Med Image Anal,2022, 75: 102289.
[32]Chao LY, Wang ZW, Zhang HB, et al. Sparse-view cone beam CTreconstruction using dual CNNs in projection domain and imagedomain[J]. Neurocomputing, 2022, 493(7): 536-47.
[33]Chen DD, Tachella J, Davies ME. Equivariant imaging: learningbeyond the range space[C]. Montreal: 2021 IEEE/CVFInternational Conference on Computer Vision, 2021: 4359-68.
[34]Chen DD, Tachella J, Davies ME. Robust Equivariant Imaging: afully unsupervised framework for learning to image from noisy andpartial measurements[C]. New Orleans, 2022 IEEE/CVFConference on Computer Vision and Pattern Recognition, 2022:5637-46.
[35]Peng SW, Liao JY, Li DY, et al. Noise-conscious explicit weightingnetwork for robust low-dose CT imaging[C]. San Diego: MedicalImaging 2023: Physics of Medical Imaging, 2023: 711-8.
[36]Chen J, Zhang R, Yu T, et al. Label-retrieval-augmented diffusionmodels for learning from noisy labels[J]. Adv Neural Inf ProcessSyst, 2024, 36. doi: 10.48550/arXiv.2305.19518
(編輯:郎 朗)
基金項目:國家自然科學基金(U21A6005)