周仲興,郭司琪,賈夢宇,張 林,吳 越
基于分組注意力殘差網(wǎng)絡(luò)的錐束XLCT成像
周仲興1, 2,郭司琪1, 2,賈夢宇1, 2,張 林2,吳 越2
(1. 天津大學(xué)精密儀器與光電子工程學(xué)院,天津 300072;2. 天津市生物醫(yī)學(xué)檢測技術(shù)與儀器重點實驗室,天津300072)
錐束X射線磷光斷層成像(cone-beam X-ray luminescence computed tomography,CB-XLCT)作為一種新興的混合成像技術(shù)可同時獲得解剖結(jié)構(gòu)信息和功能代謝信息,在疾病的早期診斷和靶向治療上具有廣泛發(fā)展前景.然而,由于錐束XLCT成像過程中的高度不適定性,重建結(jié)果的空間分辨率較低.針對該問題,提出了一種基于分組注意力殘差網(wǎng)絡(luò)的錐束XLCT定量磷光分布重建方法.該方法采用注意力機制優(yōu)化光子密度特征通道的權(quán)重系數(shù),并結(jié)合近似域約束損失函數(shù),從而改善殘差網(wǎng)絡(luò)的特征表達過程,提高圖像重建精度和模型穩(wěn)健性.結(jié)果表明:所提出的方法在仿真實驗中可清晰分辨并重建出靶心距離為7mm的雙目標體,位置誤差(LE)約為0.37mm,戴斯相似性指數(shù)(Dice)達到了84%.在仿體實驗中,LE約為0.48mm,Dice達到了79%.因此,分組注意力殘差網(wǎng)絡(luò)方法能夠有效在定位精度、空間分辨率、穩(wěn)健性等多方面提高圖像重建質(zhì)量.
錐束XLCT;深度學(xué)習(xí);分組注意力;圖像重建
X射線激發(fā)傳感和光學(xué)分子傳感是利用兩種不同的相互作用方式和傳感方法激發(fā)生物組織中的納米分子探針,并對信號發(fā)射位置進行檢測和定位的成像技術(shù).基于X射線的激發(fā)傳感技術(shù)在近十年時間內(nèi)發(fā)展迅速,為深入開展組織生理學(xué)及病理生理學(xué)研究奠定了基礎(chǔ)[1].X射線作為探針激發(fā)源的優(yōu)勢在于穿透性強并且具有廣泛的生物醫(yī)學(xué)成像場景.但X射線成像通?;诠怆娦?yīng),峰值衰減在keV能量范圍內(nèi),分子敏感性較低[2].相比而言,光學(xué)分子傳感成像提供了優(yōu)越的分子靈敏度.目前,隨著探測器和傳感器在探測范圍和光子靈敏度等方面的不斷發(fā)展,提高了光學(xué)傳感器件在信號檢測、采集方面的能力,為X射線在分子成像領(lǐng)域的應(yīng)用奠定了基礎(chǔ)[3].
為進一步提高分子敏感性,X射線磷光斷層成像(X-ray luminescence computed tomography,XLCT)作為一種混合成像模態(tài),通過使用傳統(tǒng)X射線的組織感知力和光學(xué)分子成像的對比能力,在深度外顯率和空間分辨率方面呈現(xiàn)出潛在優(yōu)勢[4].該技術(shù)通過X射線激發(fā)生物組織體內(nèi)的磷光探針產(chǎn)生可見光或近紅外,而后利用光敏探測器接收光學(xué)信號,最后通過圖像重建方法恢復(fù)出測量組織中磷光探針空間分布.目前,XLCT成像系統(tǒng)根據(jù)激發(fā)模式的不同主要分為窄束XLCT和錐束XLCT,兩類系統(tǒng)具有不同的硬件設(shè)計和成像性能[5].窄束XLCT通?;谟邢抟暯浅上窦夹g(shù),需要按照特定的順序激發(fā)X射線并獲取測量結(jié)果,具有一定的采樣復(fù)雜度.錐束XLCT基于全域激發(fā)可實現(xiàn)快速測量,因此在X射線利用率與數(shù)據(jù)采集模式上具有較大優(yōu)勢.然而,由于XLCT成像過程中的高度不適定性,重建圖像質(zhì)量相對較低.此外,錐束XLCT缺乏窄束XLCT中的X射線位置信息,進一步加劇了成像目標重建難度.目前,錐束XLCT成像仍存在空間分辨率不佳、重建精度受限等問題,從而限制了其面向高質(zhì)量快速組織體成像的應(yīng)用[6].因此,進一步研究錐束XLCT圖像質(zhì)量的改善方法對于活體生物和生化過程的無創(chuàng)成像至關(guān)重要.
目前,用于改善錐束XLCT成像不適定性的重建方法可分為兩類:一類為基于光學(xué)傳輸方程構(gòu)建代數(shù)迭代的傳統(tǒng)重建方法,以得到測量值與估計值之間的最佳匹配,如L1正則化、L2正則化方法等[7].該類算法通常具有嚴謹?shù)臄?shù)學(xué)理論支撐,并能得到穩(wěn)定且有效的解.然而,這類方法過度依賴于逆向問題求解模型的設(shè)計,且不同成像樣本也面臨反復(fù)調(diào)節(jié)參數(shù)以優(yōu)化重建結(jié)果的問題,重建效果受主觀因素影響較大,圖像重建質(zhì)量受限[8].另一類方法為深度學(xué)習(xí)重建方法,其核心思想為通過大型數(shù)據(jù)集學(xué)習(xí)逆問題的未知解,建立更符合實際環(huán)境的非線性模型.與傳統(tǒng)方法相比,深度學(xué)習(xí)方可有效避免研究學(xué)者將精力放在特征提取上,解決了人工提取特征不完整的問題[9].此外,隨著近年來大數(shù)據(jù)時代的到來及人工智能技術(shù)的發(fā)展,深度學(xué)習(xí)技術(shù)在光學(xué)分子成像領(lǐng)域發(fā)展如火如荼.如Gao等[10]提出了基于多層感知機的生物發(fā)光斷層成像(bioluminescence tomography,BLT)逆問題模擬方法,采用神經(jīng)網(wǎng)絡(luò)擬合組織表面光子密度與組織體內(nèi)發(fā)光源之間的非線性關(guān)系,實驗結(jié)果表明該方法顯著提高了BLT在活體腫瘤中的重建質(zhì)量.Lun等[11]使用殘差網(wǎng)絡(luò)(ResNet)實現(xiàn)了多個投影角度下的聚焦X射線磷光斷層成像,有效驗證了深度學(xué)習(xí)方法應(yīng)用于窄束XLCT重建的可行性.綜上所述,傳統(tǒng)方法通常存在模型精度誤差,且由于逆問題的嚴重病態(tài)性導(dǎo)致求解不穩(wěn)定,圖像重建的空間分辨率和量化度較差.深度學(xué)習(xí)方法發(fā)展迅速,具有廣泛的應(yīng)用潛力,但對于不同類型的光學(xué)成像技術(shù)需設(shè)計出符合實際需求的個性化網(wǎng)絡(luò).
因此,為進一步改善錐束XLCT圖像重建質(zhì)量,本文基于深度學(xué)習(xí)框架的自適應(yīng)參數(shù)學(xué)習(xí)特性,構(gòu)建了一種用于錐束XLCT定量磷光分布的分組注意力殘差網(wǎng)絡(luò)重建方法,該方法僅需通過簡單的訓(xùn)練、優(yōu)化,便可得到成像物體表面光子密度與內(nèi)部磷光探針濃度分布間的非線性映射.
具體來說,該方法通過在殘差網(wǎng)絡(luò)中融合注意力機制,實現(xiàn)從錐束XLCT光學(xué)信號中高效學(xué)習(xí)到有助于目標光源重建的有效特征表示,快速逼近成像過程中的近紅外光傳播函數(shù).此外,本文將磷光探針的濃度分布范圍作為錐束XLCT的先驗知識集成到網(wǎng)絡(luò)的損失函數(shù)中,使得從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的模型符合可接受的領(lǐng)域規(guī)則,增強網(wǎng)絡(luò)模型的魯棒性.最后通過仿真實驗及仿體實驗驗證了本文方法的可行性和有效性.
一般來說,錐束X射線激發(fā)發(fā)光在生物組織 中的傳播可以描述為3個過程:X射線在生物組織 體內(nèi)的傳播模型、X射線激發(fā)磷光納米粒子產(chǎn)生近 紅外光子模型以及近紅外光子在生物組織體內(nèi)的傳播模型.
首先,高能X射線源發(fā)射錐形X射線束并穿透生物組織.根據(jù)朗伯比爾定律,X射線在組織體內(nèi)的傳播模型[12]為
其次,深埋在成像物體內(nèi)的磷光探針與X射線相互作用,受激產(chǎn)生的近紅外光強度為
最后,近紅外光與組織體發(fā)生吸收、散射等相互作用后的能量變化可以用輻射傳輸方程(radiative transfer equation,RTE)描述[13].由于RTE方程求解較為復(fù)雜,光在高散射弱吸收組織中的傳輸過程通常近似為擴散方程(diffusion equation,DE)來表示,即
根據(jù)微分方程理論,求解擴散方程需具備合適的邊界條件.本文采用羅賓邊界條件進行補充[14],即
1.2.1 分組注意力殘差網(wǎng)絡(luò)
鑒于本文需對多個不同投影特征通道間的依賴關(guān)系進行重要性解析.因此本文使用簡潔而有效的通道注意力機制(channel attention,CA)作為信息增強模塊[20],并根據(jù)錐束XLCT圖像重建特點,對注意力機制的作用域按照錐束XLCT測量模式進行設(shè)計和優(yōu)化,進一步處理RB單元中卷積模塊的輸出.如圖1(c)所示,CA作用于特征圖時,首先輸入維度為××的特征圖(為特征圖的高度,為特征圖的寬度,為特征圖的通道數(shù)),之后以兩種不同的池化形式充分提取通道信息,將各通道表示為最大池化特征和平均池化特征,得到兩個大小為1×1×的一維通道描述矢量.其次,將兩個一維矢量傳入卷積核數(shù)分別為/(為通道縮減率)和、卷積核大小為 1×1的兩層卷積層,學(xué)習(xí)各通道的依賴程度,分別生成兩個大小為1×1×的通道注意力特征向量.最后將向量對應(yīng)元素求和,使用Sigmoid激活函數(shù)生成數(shù)值介于0~1之間的通道注意力權(quán)重.將通道注意力權(quán)重值逐一加權(quán)到原特征通道上,根據(jù)依賴程度的不同更新各通道的特征權(quán)重,實現(xiàn)自適應(yīng)特征細化,增強特征的可分辨性,加權(quán)圖大小與原輸入特征圖大小保持一致.此外,本文采用基于多頭輸入的分組卷積[21]提取注意力信息,有效降低計算復(fù)雜度并擴大通道注意力范圍,學(xué)習(xí)更為豐富的信息表示.如圖1(b)所示,將通道注意力的單輸入按通道維度方向進行平均拆分,形成多組并行的4個輸入后分別進行CA操作.最后,將處理后的分組特征按照通道維度連接(concatenate).此外,由于分組設(shè)計會帶來各組間信息孤立問題[22],本文在通道維度連接后引入卷積尺寸為1×1的卷積操作,避免引入過多參數(shù)的同時促進組間信息流通與組內(nèi)信息融合.最后,將分組CA模塊嵌入RB中構(gòu)成RB+CA單元.與RB單元共同作為分組注意力殘差網(wǎng)絡(luò)中的基本單元(圖1(b)).因此,RB+CA單元可在網(wǎng)絡(luò)訓(xùn)練過程中實現(xiàn)對隱含在特征空間不同感知野范圍下的錐束XLCT光子密度信息進行綜合挖掘,獲得各層次下對重建結(jié)果具有關(guān)鍵性影響的特征通道并進行優(yōu)選,從而實現(xiàn)對于錐束XLCT四角度投影測量結(jié)果中有效部分的自動注意.
圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖及通道注意力模塊
如圖1(a)所示,分組注意力殘差網(wǎng)絡(luò)主要由3個部分組成.首先將每個成像樣本在4個投影角度下所測量的光子密度信息作為網(wǎng)絡(luò)輸入,依次通過殘差基本單元RB及RB+CA組合基本單元,由淺至深進行特征提取并捕獲關(guān)鍵信息通道.其次,從第2組RB單元開始,由于降維卷積的使用,特征圖每經(jīng)過一組RB單元,圖像大小減半,通道數(shù)為之前的2倍.最后,在一系列的特征提取后,連接1層用于緩解過擬合的全局池化層和1層用于生成重建仿體內(nèi)各個節(jié)點處磷光分布的全連接層.因本文所用仿體剖分后的節(jié)點數(shù)為9446個,因此全連接層所連接神經(jīng)元數(shù)量為9446.基于上述對于分組注意力殘差網(wǎng)絡(luò)的描述,本文通過此架構(gòu)以網(wǎng)絡(luò)的形式將給定數(shù)據(jù)集轉(zhuǎn)換為具有一系列網(wǎng)絡(luò)參數(shù)的非線性映射并動態(tài)學(xué)習(xí)映射內(nèi)各項參數(shù),完成從錐束XLCT測量光子信息中識別及提取有效特征表示并最終實現(xiàn)磷光探針分布重建的過程.
1.2.2 領(lǐng)域知識損失函數(shù)
為使得模型在弱信號、高噪聲的情況下也能產(chǎn)生良好的重建性能,提高模型的泛化能力及魯棒性,本文采用領(lǐng)域知識損失函數(shù)作為網(wǎng)絡(luò)訓(xùn)練過程中的損失函數(shù)[23],其主要原理為在TensorFlow庫中的平滑平均絕對誤差(Huber loss)基礎(chǔ)上引入近似域約束損失函數(shù),即將結(jié)果變量的定量范圍(磷光探針的濃度值分布范圍)作為自適應(yīng)領(lǐng)域知識,將其結(jié)合到深度前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)中,與Huber loss共同作用于網(wǎng)絡(luò)的權(quán)值參數(shù)更新過程.領(lǐng)域知識損失函數(shù)計算公式為
1.2.3 數(shù)據(jù)準備與網(wǎng)絡(luò)訓(xùn)練
通過計算機仿真模擬實際實驗獲取訓(xùn)練及測試數(shù)據(jù)集.本文采用由南加州大學(xué)與UCLA醫(yī)學(xué)院聯(lián)合開發(fā)的標準數(shù)字鼠模型[24]制作實驗所用仿體,該標準數(shù)字鼠橫斷面的最大直徑約為33mm,總長度大約為87.2mm.由于此標準數(shù)字鼠的結(jié)構(gòu)較為復(fù)雜,因此本文在此基礎(chǔ)上對數(shù)字鼠模型進行一定的簡化處理,即僅研究軀干部分的幾個主要器官區(qū)域,例如心臟、肺部、肝臟、腎臟等.
如圖2所示,本文設(shè)計了一個高為30mm、半徑為15mm的空心圓柱,并將數(shù)字鼠軀干簡化部分嵌入圓柱體成像腔內(nèi),構(gòu)建數(shù)字鼠軀干仿體.另外,在數(shù)字鼠軀干仿體與空心圓柱的縫隙區(qū)域,其光學(xué)參數(shù)被設(shè)定為與肌肉組織相同[25-26].采用有限元剖分軟件COMSOLTM將模型離散為9446個節(jié)點與51594個四面體.隨著血液循環(huán),磷光納米探針通常會在肝臟腫瘤中積聚.因此,在仿真實驗中,本文以肝臟區(qū)域的200個隨機點作為光源中心,構(gòu)造半徑為1.5~2.5mm,高為1mm的圓柱形光源.接下來,將單光源進行兩兩組合,使得雙光源位置中心距離在7~9mm內(nèi)隨機變化.共構(gòu)建18850組雙目標數(shù)據(jù)集.仿體內(nèi)光源區(qū)域磷光探針濃度隨機設(shè)置為1~3mg/mL,仿體內(nèi)非光源區(qū)域磷光探針濃度設(shè)置為0,根據(jù)上述雙光源特征進行錐束XLCT前向仿真.其中,仿體內(nèi)不同器官光學(xué)特性參數(shù)如表1所示.
圖2 數(shù)字鼠仿體
表1 不同器官光學(xué)特性參數(shù)
實驗硬件平臺采用Intel(R)Xeon(R)CPU E5-2650 v4 @2.20GHz處理器,NVIDIA GTX 1070 Ti顯卡(可使用CUDA加速模塊),深度學(xué)習(xí)框架采用基于Python的TensorFLow開源框架,Python版本為3.6.2,Tensorflow版本為2.3.0.
為了對圖像重建結(jié)果做出客觀公正的評價,本文實驗采用位置誤差(location error,LE)[27]、均方誤差(mean square error,MSE)[28]、戴斯相似性指數(shù)Dice[29]進行定量分析,計算公式如下.
LE用于評估圖像內(nèi)光源位置準確度.LE值越小,表明重建目標體的幾何中心與真實目標體的幾何中心差異越小,其表達式為
MSE用于評估圖像重建精度.MSE越小,表明重建的圖像更接近真實圖像.MSE的表達式為
Dice用于衡量重建圖像與真實圖像的相似度.當Dice為100%時,表示相同的圖像.其表達式為
2.2.1 不同靶心距下重建性能比較
實驗將設(shè)置7mm和9mm兩種靶心距測試不同方法重建精度,兩種情況對應(yīng)的雙光源的位置中心坐標分別為(-5mm,0,14.5mm)、(2mm,0,14.5mm)和(-4mm,0,14.5mm)、(5mm,0,14.5mm).雙目標體半徑均為2.5mm,磷光探針的真實濃度為1mg/mL.圖3 ART方法、ISPR-ART方法、Tikhonov方法、ResNet18方法、分組注意力殘差方法在=14.5mm切片處重建結(jié)果的二維截面圖.其中,黑色圓圈代表真實的納米發(fā)光目標所在區(qū)域,紅色區(qū)域代表重建的納米發(fā)光目標,目標體顏色越紅,表示重建得到的節(jié)點處磷光探針濃度值越高.從圖3中可以看出,傳統(tǒng)方法中的ART、Tikhonov幾乎無法清晰分辨雙目標體,重建效果較差.ISPR-ART通過將可行性區(qū)域進行迭代收縮,基本上可以重建出目標體的濃度及位置,明顯改善了圖像重建質(zhì)量.但在靶心距為7mm時,ISPR-ART出現(xiàn)了一定的目標黏連,即使在靶心距為9mm仍無法有效分離雙目標體.
相比3種傳統(tǒng)方法,ResNet18及分組注意力殘差網(wǎng)絡(luò)方法對于相鄰靶目標的參數(shù)恢復(fù)準確度有了較大提升,能夠明顯區(qū)分雙目標體并重建出其位置及濃度,同時在視覺上保持了一個較好的目標形狀.然而,ResNet18模型在靶心距為7mm時出現(xiàn)了一側(cè)目標重建區(qū)域明顯偏離真實目標區(qū)域的情況,很大程度上是由于ResNet18模型僅使用殘差單元無法充分聚焦局部關(guān)鍵特征,因此在重建質(zhì)量方面的性能受限,對于復(fù)雜雙目標的模型收斂結(jié)果不如分組注意力殘差網(wǎng)絡(luò).
圖4為不同靶心距下各方法在=0mm處的濃度曲線.可以看出,無論在何種靶心距時,傳統(tǒng)方法中僅ISPR-ART可以基本恢復(fù)出雙磷光靶體濃度,但在非目標靶體區(qū)域的重建濃度與真實濃度誤差較大.其次,分組注意力殘差網(wǎng)絡(luò)的預(yù)測濃度值明顯優(yōu)于ResNet18網(wǎng)絡(luò)重建結(jié)果,與真實濃度間差異較?。硗?,本文提出的方法重建結(jié)果始終保持在合理的濃度約束范圍之內(nèi),充分驗證了本文在損失函數(shù)中加入近似域約束將重建結(jié)果限制在定量范圍的有效性,具有更為穩(wěn)定的重建性能.
由表2可得,傳統(tǒng)方法中的ART算法、Tikhonov方法各項指標相對較低.兩種深度學(xué)習(xí)方法與傳統(tǒng)方法相比,可以得到較為理想的定量指標結(jié)果.在靶心距為7mm和9mm兩種情況下,采用分組注意力殘差網(wǎng)絡(luò)方法重建位置誤差最小,LE分別為0.37mm和0.30mm,均小于0.38mm,明顯優(yōu)于傳統(tǒng)重建方法和ResNet18.這說明分組注意力殘差方法可以在保證獲得復(fù)雜分類特征的同時,提高了細節(jié)特征提取能力,同時這也是其他算法無法比擬的優(yōu)勢.
圖3 不同靶心距雙目標重建結(jié)果剖面圖(z=14.5mm)
圖4 不同靶心距各方法的重建濃度曲線比較
表2 不同靶心距各方法量化重建結(jié)果
2.2.2 不同噪聲水平下重建性能比較
為評估本文方法在不同信噪比環(huán)境下的魯棒性,本組實驗分別在信噪比(SNR)為30dB、40dB、50dB 3種噪聲水平下測試,靶心距為9mm,目標體半徑從2.5mm縮小至2.0mm,加大重建難度,光源的真實濃度為1mg/mL.雙目標的中心坐標分別為(4mm,0,14.5mm)和(5mm,0,14.5mm).圖5為不同信噪比下ResNet18及分組注意力殘差網(wǎng)絡(luò)在=14.5mm切片處重建得到的二維截面圖,圖6為信噪比為30dB時兩種深度學(xué)習(xí)方法的重建濃度曲線比較.結(jié)合圖5的定量重建結(jié)果及圖6的各方法重建濃度曲線可以得出:在靶目標尺寸縮小的情況下,ResNet18網(wǎng)絡(luò)重建結(jié)果出現(xiàn)濃度預(yù)測值與真實濃度值偏差過大、不能均勻預(yù)測左側(cè)和右側(cè)目標體的濃度等結(jié)果,磷光濃度分布重建能力較弱;而集成了注意力模塊的殘差網(wǎng)絡(luò),重建目標的大小、濃度分布也更加均勻,對半徑為2.0mm的目標依然可以得到清晰的磷光分布圖像.
圖5 不同信噪比各方法重建結(jié)果剖面圖(z=14.5mm)
圖6 信噪比為30dB時重建濃度曲線比較
表3展示了不同信噪比環(huán)境下兩種深度學(xué)習(xí)方法的量化重建結(jié)果,可以得出,盡管隨著噪聲的增加會使得重建問題的病態(tài)性加重,但兩種深度學(xué)習(xí)算法的定量重建結(jié)果如LE、MSE等仍相對穩(wěn)定,進一步突出了模型的魯棒性.其中,分組注意力殘差網(wǎng)絡(luò)的位置誤差相比于ResNet18網(wǎng)絡(luò)下降了約0.04mm,Dice提升了4%左右.由此可見,單一的堆疊殘差基本單元并不能較為有效地提升模型性能,在ResNet18主干網(wǎng)絡(luò)的基礎(chǔ)上加入分組注意力模塊增強了模型對于目標的感知能力,尤其是小目標體的磷光探針濃度分布恢復(fù)上.此外,將此組實驗結(jié)果與圖3中半徑為2.5mm的目標重建實驗對比也可以得出,目標體尺寸越大,位置定位越準確,濃度恢復(fù)程度越高.
仿真實驗表明,分組注意力殘差方法能夠有效分辨距離較近的靶目標.與ResNet18網(wǎng)絡(luò)重建結(jié)果相比,該方法增強了對于小目標的感知能力,可以更為精確地恢復(fù)出磷光探針的空間分布,具有更好的指標量化結(jié)果.此外,與傳統(tǒng)方法相比,該方法在定位精度、空間分辨率、穩(wěn)健性等多方面顯著提高了雙目標光源成像質(zhì)量.
表3 不同噪聲水平各方法量化重建結(jié)果
為進一步驗證本文方法的有效性和穩(wěn)健性,本文設(shè)計了一種圓柱形聚甲醛仿體(如圖7所示),該仿體的直徑為20mm,高為40mm,仿體對于近紅外光子的吸收系數(shù)為0.0072mm-1,散射系數(shù)約為0.72mm-1.使用注射器將由1%的脂肪乳、2%的瓊脂以及Gd2O2S:Eu3+配置而成的2mg/mL目標溶液置入外徑為5mm的試管中,溶液深度為5mm.將試管嵌入仿體內(nèi),以仿體底面圓心為坐標原點,雙目標仿體中心位置坐標分別為(-4.5mm,0,27.5mm)和(5.5mm,0,27.5mm).成像系統(tǒng)采用錐束XLCT成像系統(tǒng).X射線源的工作電壓為50kV,工作電流為1mA.CCD相機作為光學(xué)檢測儀器用于測量仿體在0°(初始位置設(shè)為0°)、90°、180°、270° 4個投影角度下的表面光子密度信息,用于后續(xù)的圖像重建.每次掃描CCD相機的曝光時間設(shè)置為2s,增益為260.
圖7 仿體結(jié)構(gòu)示意
圖8為分別采用ART、ISPR-ART、Tikhonov、ResNet18、分組注意力殘差網(wǎng)絡(luò)在=27.5mm處的重建剖面圖.圖9為仿體實驗各方法重建濃度曲線比較,結(jié)合二者可以看出,3種傳統(tǒng)重建算法在4個投影角度下的重建圖像對實驗環(huán)境中的測量噪聲敏感,重建目標邊界模糊,無法準確定位目標體位置及恢復(fù)目標體濃度,且濃度預(yù)測值相較于正確濃度存在較大差距.此外,因仿體實驗所用目標體尺寸較大,所以在濃度恢復(fù)上兩類殘差模型都表現(xiàn)出了相對良好的重建精度,但ResNet18出現(xiàn)了雙目標重建區(qū)域明顯超出真實光源區(qū)域的情況.
圖8 仿體實驗各方法重建結(jié)果剖面圖(z=27.5mm)
圖9 仿體實驗各方法重建濃度曲線比較
結(jié)合表4可知,相較于ResNet18,分組注意力殘差方法重建光源中心更接近光源中心,其LE為0.48mm,明顯小于ResNet18的0.52mm.此外,混合了分組注意力機制的殘差網(wǎng)絡(luò)重建信號對比度明顯,MSE、Dice等量化指標相比ResNet18均有一定的改善,更好地反映了目標準確收斂的特性.
仿體實驗結(jié)果表明,相較于其他重建方法,分組注意力殘差網(wǎng)絡(luò)在恢復(fù)目標體的中心位置、相似度上具有非常大的優(yōu)勢.面對實際實驗中不確定的噪聲,LE低至0.48mm且Dice仍能保持在79%的水平以上,驗證了本文所提出方法的泛化能力以及穩(wěn)健性.
表4 仿體實驗量化重建結(jié)果
本文針對錐束XLCT圖像空間分辨率不高、傳統(tǒng)模型過度依賴于輻射傳輸方程的問題,提出了一種基于分組注意力殘差網(wǎng)絡(luò)的重建策略.相較于傳統(tǒng)殘差網(wǎng)絡(luò)ResNet18而言,該網(wǎng)絡(luò)可實現(xiàn)跨通道維度的有效特征識別及關(guān)鍵信息捕捉,作為一種高效的信息增強機制改善學(xué)習(xí)過程并提升網(wǎng)絡(luò)表達能力,為解決逆問題提供了一種更為精確的重建方法.結(jié)果表明,本文提出的方法在雙目標數(shù)字鼠仿真實驗中,可清晰分辨半徑為2.0mm的小目標體,LE均小于0.37mm,Dice可達到82%左右,且在不同噪聲水平下重建結(jié)果較為穩(wěn)定.綜上所述,本文方法相較于其他方法而言,可以精確、穩(wěn)健地重建出目標體的形狀、大小、位置及濃度,具有優(yōu)異的圖像重建性能.
雖然本文提出的重建方法在一定程度上提高了錐束XLCT的圖像質(zhì)量.但是,新的方法也面臨著新的挑戰(zhàn).在未來將關(guān)注以下挑戰(zhàn):首先,在網(wǎng)絡(luò)的架構(gòu)設(shè)計方面.現(xiàn)階段網(wǎng)絡(luò)可實現(xiàn)雙目標光源重建任務(wù),考慮到未來臨床研究中腫瘤等病變部位數(shù)量及位置的不確定性、測量誤差及環(huán)境干擾等問題.因此從實際應(yīng)用角度出發(fā),未來將基于分組注意力殘差方法設(shè)計錐束XLCT多目標成像方案,進一步證明本文方法的有效性.同時,對于復(fù)雜目標的重建研究也將有助于探索精細化的模型體系及加速收斂的優(yōu)化技巧,提高解決重建任務(wù)的能力.另外,在數(shù)據(jù)集的構(gòu)建方法上.現(xiàn)階段數(shù)據(jù)集無法窮盡所有目標狀態(tài),即不同的成像對象需要根據(jù)相應(yīng)的輪廓建立不同的訓(xùn)練數(shù)據(jù)集,但真實人體內(nèi)病變目標具有不同的大小和形狀,較難獲得足夠數(shù)量的病灶數(shù)據(jù),且仿真數(shù)據(jù)與實驗數(shù)據(jù)之間差異不可忽略.未來將采用從具有已知光學(xué)特性的病灶幾何形狀創(chuàng)建訓(xùn)練數(shù)據(jù)對,真實數(shù)據(jù)用于評估的數(shù)據(jù)集構(gòu)建策略,縮小仿真數(shù)據(jù)和實驗數(shù)據(jù)之間的差異性.最后,基于錐束XLCT成像在提高腫瘤檢測精度方面的臨床應(yīng)用價值.未來將基于本文方法開展大量生物分布成像研究如小鼠原位膠質(zhì)瘤實驗.通過在體實驗發(fā)現(xiàn)問題、解決問題,推動錐束XLCT在腫瘤早期檢測中的發(fā)展.
[1] Bradley W G. History of medical imaging[J]. Proceed-ings of the American Philosophical Society,2008,152(3):349-361.
[2] Ginat D T,Gupta R. Advances in computed tomography imaging technology[J]. Annual Review of Biomedical Engineering,2014,16(1):431-453.
[3] Jaffer F A. Molecular imaging in the clinical arena[J]. JAMA,2005,293(7):855-862.
[4] Pratx G,Carpenter C M,Sun C,et al. Tomographic molecular imaging of X-ray-excitable nanoparticles[J]. Optics Letters,2010,35(20):3345-3347.
[5] 束月霞,趙麗麗,蔣皆恢,等. X射線發(fā)光光學(xué)斷層成像的研究進展[J]. 科學(xué)通報,2017,62(33):3838-3850.
Shu Yuexia,Zhao Lili,Jiang Jiehui,et al. Research progress of X-ray luminescence optical tomography[J]. Science Bulletin,2017,62(33):3838-3850(in Chi-nese).
[6] Chen D,Zhu S,Yi H,et al. Cone beam X-ray lumi-nescence computed tomography:A feasibility study[J]. Medical Physics,2013,40(3):031111.
[7] Zhao J,Guo H,Yu J,et al. A robust elastic net-l112 reconstruction method for X-ray luminescence computed tomography[J]. Physics in Medicine and Biology,2021,66(19):195005.
[8] Arridge S R,Schotland J C. Optical tomography:Forward and inverse problems[J]. Inverse Problems,2009,25(12):1541-1548.
[9] Lucas A,Iliadis M,Molina R,et al. Using deep neural networks for inverse problems in imaging:Beyond ana-lytical methods[J]. IEEE Signal Processing Magazine,2018,35(1):20-36.
[10] Gao Y,Wang K,An Y,et al. Nonmodel-based bioluminescence tomography using a machine-learning reconstruction strategy[J]. Optica,2018,5(11):1451-1454.
[11] Lun M C,Cong W,Arifuzzaman M,et al. Focused X-ray luminescence imaging system for small animals based on a rotary gantry[J]. Journal of Biomedical Op-tics,2021,26(3):036004.
[12] 王正坤,王 鵬,徐昊昊. CT系統(tǒng)成像原理[J]. 信息記錄材料,2018,19(2):86-88.
Wang Zhengkun,Wang Peng,Xu Haohao. Imaging principle of CT system[J]. Information Recording Mate-rials,2018,19(2):86-88(in Chinese).
[13] 徐可欣,高 峰,趙會娟. 生物醫(yī)學(xué)光子學(xué)[M]. 北京:科學(xué)出版社,2011.
Xu Kexin,Gao Feng,Zhao Huijuan. Biomedical Photonics[M]. Beijing:Science Press,2011(in Chi-nese).
[14] Klose A D,Larsen E W. Light transport in biological tissue based on the simplified spherical harmonics equa-tions[J]. Journal of Computational Physics,2006,220(1):441-470.
[15] Zhang Y,Lun M C,Li C,et al. Method for improving the spatial resolution of narrow X-ray beam based X-ray luminescence computed tomography imaging[J]. Journal of Biomedical Optics,2019,24(8):1-11.
[16] 董 芳,侯榆青,余景景,等. 結(jié)合區(qū)域收縮和貪婪策略的熒光分子斷層成像[J]. 激光與光電子學(xué)進展,2016,53(1):175-181.
Dong Fang,Hou Yuqing,Yu Jingjing,et al. Fluores-cence molecular tomography combined with region con-traction and greedy strategy[J]. Progress in Laser and Optoelectronics,2016,53(1):175-181(in Chinese).
[17] Zhang G,Liu F,Liu J,et al. Cone beam X-ray lumi-nescence computed tomography based on Bayesian method[J]. IEEE Transactions on Medical Imaging,2017,36(1):225-235.
[18] He K,Zhang X,Ren S,et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Las Vegas,USA,2016:770-778.
[19] He K,Zhang X,Ren S,et al. Identity mappings in deep residual networks[C]// European Conference on Computer Vision. Amsterdam,the Netherlands,2016:630-645.
[20] Woo S,Park J,Lee J Y,et al. CBAM:Convolutional block attention module[C]// European Conference on Computer Vision,Glasgow. Munich,Germany,2018:3-19.
[21] Krizhevsky A,Sutskever I,Hinton G. ImageNet classi-fication with deep convolutional neural networks[J]. Communications of the ACM,2017,60(6):84-90.
[22] Zhang T,Qi G,Xiao B,et al. Interleaved group con-volutions for deep neural networks[C]// International Conference on Computer Vision. Venice,Italy,2017:4373-4382.
[23] Muralidhar N,Islam M R,Marwah M,et al. Incorporating prior domain knowledge into deep neural networks[C]// 2018 IEEE International Conference on Big Data. Seattle,USA,2018:36-45.
[24] Dogdas B,Stout D,Chatziioannou A F,et al. Digimouse:A 3D whole body mouse atlas from CT and cryosection data[J]. Physics in Medicine and Biology,2007,52(3):577-587.
[25] Liu X,Liao Q,Wang H. Fast X-ray luminescence com-puted tomography imaging[J]. IEEE Transactions on Bio-medical Engineering,2014,61(6):1621-1627.
[26] 侯榆青,賈 濤,易黃建,等. 基于改進譜投影梯度算法的X射線發(fā)光斷層成像[J]. 光學(xué)精密工程,2017,25(1):42-49.
Hou Yuqing,Jia Tao,Yi Huangjian,et al. X-ray lumi-nescence tomography based on improved spectral projection gradient algorithm[J]. Optical Precision Engineer-ing,2017,25(1):42-49(in Chinese).
[27] Gao P,Rong J,Pu H,et al. Sparse view cone beam X-ray luminescence tomography based on truncated singular value decomposition[J]. Optics Express,2018,26(18):23233-23250.
[28] Feng J,Sun Q,Li Z,et al. Back-propagation neural network based reconstruction algorithm for diffuse optical tomography[J]. Journal of Biomedical Optics,2018,24(5):1-12.
[29] Zhang W,Zhu D,Lun M,et al. Multiple pinhole collimator based X-ray luminescence computed tomography[J]. Biomedical Optics Express,2016,7(7):2506.
A Group Attention Residual Network for Image Reconstruction in Cone-Beam XLCT
Zhou Zhongxing1, 2,Guo Siqi1, 2,Jia Mengyu1, 2,Zhang Lin2,Wu Yue2
(1. School of Precision Instruments and Optoelectronics Engineering,Tianjin 300072,China;2. Tianjin Key Laboratory of Biomedical Detection Technology and Instrument,Tianjin 300072,China)
Cone-beam X-ray luminescence computed tomography(CB-XLCT)is an emerging hybrid imaging modality that can simultaneously obtain both anatomical structure information and functional metabolism information,providing good prospects for the early diagnosis and targeted treatment of diseases. However,CB-XLCT generally suffers from high ill-posedness during image reconstruction,severely deteriorating the spatial resolution. To solve this problem,a quantitative phosphorescence distribution reconstruction method for CB-XLCT based on a group attention residual network is proposed. In this method,the attention module is used to optimize the weight of each photon density feature channel,which is combined with the approximate domain constraint loss function to improve the feature expression process and enhance the reconstruction accuracy and model robustness. Results show that the proposed method can clearly distinguish and reconstruct two targets with the target center distance of 7mm,yielding approximately 0.37mm location error(LE)and 84% Dice similarity index in the simulation experiment. In the phantom experiment,the LE is approximately 0.48mm,and the Dice reaches 79%. Therefore,the group attention residual network method can effectively improve the quality of image reconstruction in LE,spatial resolution,and robustness.
cone-beam X-ray luminescence computed tomography(CB-XLCT);deep learning;group attention;image reconstruction
TK448.21
A
0493-2137(2022)10-1082-11
10.11784/tdxbz202108051
2021-08-21;
2021-12-23.
周仲興(1979— ),男,博士,副教授.
周仲興,zhouzhongxing@tju.edu.cn.
國家自然科學(xué)基金資助項目(81971656,62175183);天津市自然科學(xué)基金資助項目(19JCYBJC28600).
the National Natural Science Foundation of China(No. 81971656,No. 62175183),the Natural Science Foundation of Tianjin,China(No. 19JCYBJC28600).
(責(zé)任編輯:孫立華)