急性缺血性腦卒中CT生成MRI算法
——基于影像組學(xué)的邊緣感知擴(kuò)散GAN

張美美,秦品樂,柴 銳,曾建潮,翟雙姣

(中北大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030051)

0 引 言

腦卒中是一種高發(fā)病率、高死亡率和高致殘率的腦血管疾病[1-2]。急性缺血性腦卒中,又被稱為腦梗塞,其病變在CT上不明顯,需要進(jìn)一步通過核磁共振成像(MRI)進(jìn)行確診[3]。然而,當(dāng)患者體內(nèi)存在金屬物品或患有幽閉恐懼癥等特殊情況時,患者無法進(jìn)行MRI檢查,這會影響醫(yī)生的診斷和患者的預(yù)后效果。若能從患者的CT轉(zhuǎn)換為MRI,通過生成的MRI與原始CT的結(jié)合,將有望幫助醫(yī)生更準(zhǔn)確地評估患者的病情,為制定個體化治療方案提供更多的參考依據(jù)。

隨著深度學(xué)習(xí)的發(fā)展,醫(yī)學(xué)跨模態(tài)圖像生成取得顯著效果。Li等[4]利用多種深度學(xué)習(xí)方法從腦部CT生成MRI。Hu等[5]用急性缺血性腦卒中患者的醫(yī)學(xué)影像建立了從CT生成MRI的生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN),并利用生成的MRI完成后續(xù)病灶檢測任務(wù)。Jin等[6]通過CycleGAN實現(xiàn)了未配對數(shù)據(jù)集從CT到MRI的跨模態(tài)生成。Yu等[7]通過改進(jìn)生成器與鑒別器實現(xiàn)MRI的生成。然而,GAN訓(xùn)練不穩(wěn)定,容易模式崩潰。最近提出的擴(kuò)散模型在醫(yī)學(xué)影像跨模態(tài)領(lǐng)域中可以生成與GAN接近的高質(zhì)量圖像。Lyu等[8]通過擴(kuò)散模型實現(xiàn)了從MRI到CT的模態(tài)轉(zhuǎn)換。Meng等[9]基于SDE提出UMM-CSGM,生成缺失模態(tài)的醫(yī)學(xué)圖像。然而,擴(kuò)散模型采樣速度慢。Wang等[10]將擴(kuò)散模型與GAN相結(jié)合,同時解決了兩者面臨的問題。目前擴(kuò)散GAN在醫(yī)學(xué)圖像跨模態(tài)轉(zhuǎn)換中也有了初步的應(yīng)用。?zbey等[11]基于擴(kuò)散GAN提出了一種對抗擴(kuò)散模型Syndiff,實現(xiàn)多模態(tài)醫(yī)學(xué)影像轉(zhuǎn)換。由于MRI對腦部軟組織表現(xiàn)更為敏感,因此在MRI中邊緣反映了局部強(qiáng)度的變化,顯示了不同組織之間的界限,為臨床診斷提供了重要信息。在急性缺血性腦卒中患者的MRI中,邊緣信息對于區(qū)分病變與正常組織至關(guān)重要,有助于更準(zhǔn)確地描繪異常區(qū)域的輪廓。

此外,急性缺血性腦卒中CT中缺少病灶信息,從CT生成MRI為從低信息量圖像生成高信息量圖像問題;研究表明[12-13],影像組學(xué)可以區(qū)分急性缺血性腦卒中CT上的病灶與其對稱區(qū)域,因此通過影像組學(xué)在CT上劃分病灶輔助MRI的生成是可行的。然而,僅將單個特征作為在患者CT上劃分病灶的依據(jù)不具備魯棒性。

受擴(kuò)散GAN在醫(yī)學(xué)圖像合成中取得成功的啟發(fā),該文提出基于影像組學(xué)的邊緣感知擴(kuò)散GAN,急性缺血性腦卒中CT生成MRI算法。針對邊緣不清晰問題,提出邊緣感知擴(kuò)散GAN。針對單個特征不具備魯棒性的問題,通過組學(xué)模塊引入基坐標(biāo)從患者CT的病灶上提取多維影像組學(xué)特征。通過實驗分析,該方法生成的MRI在病灶定位和圖像質(zhì)量方面優(yōu)于現(xiàn)有方法。

主要貢獻(xiàn)總結(jié)如下：

(1)提出了基于影像組學(xué)的邊緣感知擴(kuò)散GAN急性缺血性腦卒中CT生成MRI算法,解決了CT生成的MRI缺乏病灶信息以及邊緣不清晰等問題。

(2)引入基坐標(biāo)從患者CT的病灶上提取多維影像組學(xué)特征,解決了單個特征缺乏魯棒性的問題;同時,提出基于擴(kuò)散GAN的邊緣感知擴(kuò)散GAN模型,分別從圖像紋理與邊緣約束生成MRI,提升了生成MRI的主觀效果。

(3)在ISLE2018挑戰(zhàn)賽數(shù)據(jù)集上的實驗結(jié)果表明,生成的MRI在PSNR、SSIM和PCC等指標(biāo)上都優(yōu)于Syndiff、CycleGAN、Respix2pix等醫(yī)學(xué)圖像跨模態(tài)方法。

1 相關(guān)工作

1.1 影像組學(xué)

影像組學(xué)是由荷蘭學(xué)者Lambin于2012年提出的一種計算機(jī)輔助過程,從醫(yī)學(xué)圖像中提取大量包括形狀、強(qiáng)度和紋理的定量特征[14],其中對高階紋理特征的研究最為廣泛[15-16]。

影像組學(xué)在腦卒中診斷、治療和預(yù)后方面有廣泛的應(yīng)用。急性缺血性腦卒中在CT上缺乏明顯的表征,但通過影像組學(xué)能發(fā)現(xiàn)梗死區(qū)域與正常組織之間的差異。Sikio等[17]發(fā)現(xiàn)提取影像組學(xué)特征,可以揭示缺血性病變的結(jié)構(gòu)變化。通過對老年人的腦組織數(shù)據(jù)進(jìn)行影像組學(xué)特征分析,能夠識別既往腦卒中病變,相關(guān)模型的AUC超過0.7[18]。

1.2 擴(kuò)散生成對抗網(wǎng)絡(luò)

目前,基于GANs與擴(kuò)散模型在醫(yī)學(xué)圖像生成領(lǐng)域得到了廣泛應(yīng)用。Nie等[19]提出了基于GANs的3DGAN,能夠從MRI生成CT圖像。曹國剛等[20]實現(xiàn)了在未配對數(shù)據(jù)集上從MRI生成CT,但生成的CT存在偏差。侯冰震等[21]在CycleGAN的基礎(chǔ)上同時引入了邊緣感知損失函數(shù)和密集網(wǎng)絡(luò),實現(xiàn)了MRI到CT的合成。Ben-Cohen等[22]將cGANs與全卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,從CT生成PET,降低了漏檢率。Armanious等[23]將對抗網(wǎng)絡(luò)與非對抗損失相結(jié)合提出了MedGAN,用于CT和PET的相互轉(zhuǎn)換。Pinaya等[24]基于擴(kuò)散模型生成具有特定條件的MRI,從中檢測并分割大腦中的異常區(qū)域。然而,多數(shù)研究集中在從高信息圖像到低信息圖像的生成。

1.3 影像組學(xué)與生成模型結(jié)合的應(yīng)用

目前已有部分研究將影像組學(xué)與GAN結(jié)合以解決醫(yī)學(xué)領(lǐng)域中的難題。馮二燕等[13]將CT上提取的組學(xué)特征作為先驗輸入到GAN中,實現(xiàn)了從CT到MRI的模態(tài)轉(zhuǎn)換。Duan等[25]在肝硬化患者分級任務(wù)中使用了結(jié)合GAN模型和影像組學(xué)的方法,其AUC大于0.8。Pan等[26]在GAN的中間步驟引入了影像組學(xué)特征,使生成的數(shù)據(jù)更接近真實肺部病變。Chen等[27]從原始CT和生成CT中提取組學(xué)特征,建立生成全劑量CT圖像的模型,用于肺癌診斷與生存預(yù)測。

2 文中方法

擴(kuò)散模型前向過程加入噪聲的過程容易破壞圖像的結(jié)構(gòu)信息。同時,急性缺血性腦卒中CT病灶不明顯,從CT生成MRI具有挑戰(zhàn)性。因此,該文提出一種急性缺血性腦卒中CT到MRI的跨模態(tài)生成算法,基于組學(xué)的邊緣感知擴(kuò)散GAN。

文中算法的總體結(jié)構(gòu)如圖1所示,由影像組學(xué)模塊(圖1(a))和邊緣感知擴(kuò)散GAN模塊(圖1(b))組成。首先,在已知病灶的CT/MRI數(shù)據(jù)集的CT病灶部位提取多維組學(xué)特征組。然后,在邊緣感知擴(kuò)散GAN中通過多維組學(xué)特征在CT上劃分病灶候選區(qū)。最后將病灶候選區(qū)可視化的特征圖與CT結(jié)合輸入生成器,兩個鑒別器約束生成器,使模型生成的MRI更加真實。

圖1 總體結(jié)構(gòu)

2.1 組學(xué)模塊

急性缺血性腦卒中病灶在CT上的病灶無法利用組學(xué)特征準(zhǔn)確地分割出來。但對比CT上不同區(qū)域的組學(xué)特征值差異可得出病灶的位置[13]。然而,利用單個組學(xué)特征來劃分病灶缺乏魯棒性。因此,文中組學(xué)模塊首先將真實病灶作為ROI在CT上提取特征,再將特征映射到特征空間,篩選出多維影像組學(xué)特征組,最后在生成MRI時利用這組特征在CT上選擇出病灶候選區(qū)域。

2.1.1 特征提取

將真實病灶作為ROI在CT上使用PyRadiomics (version 3.0.1, https：//pyradiomics.readthedocs.io/)提取影像組學(xué)特征。共提取出病灶的組學(xué)特征1 325個,去除無用特征,最終得到1 288個特征。

2.1.2 特征篩選

在坐標(biāo)系中,“基坐標(biāo)”代表其他點或向量。該文將所有特征映射到一個坐標(biāo)系下,通過特征分析,提取出能表示其他特征的多維影像組學(xué)特征組。首先,通過信息增益篩選出重要特征;其次,計算剩余特征的相關(guān)性并分組;最后,每組選一個特征,組成多維影像組學(xué)特征組。

信息增益篩選：分別計算提取到的所有組學(xué)特征的信息增益,即在給定組學(xué)特征時,不確定性減少的值。組學(xué)特征的信息增益越大表示特征越重要。其中,信息增益大于0.4的組學(xué)特征共有10個,如表1所示。

相關(guān)性分析：通過篩選后,計算剩余特征兩兩間的皮爾遜相關(guān)系數(shù),篩選出線性相關(guān)性最弱的特征作為在CT上選擇候選區(qū)域的依據(jù)。相關(guān)系數(shù)的計算公式如下：

(1)

圖2 組學(xué)特征相關(guān)性熱力圖

多維影像組學(xué)特征組選?。旱谝唤M中F1的信息增益最大,因此從第一組中選擇F1;第二組中ρF1F6=0.22,相關(guān)性極弱,因此從第二組中選擇F6;第三組中選擇F10;最終選擇這三個特征作為多維影像組學(xué)特征組。

2.1.3 病灶候選區(qū)

影像組學(xué)特征在患者的CT上病灶與非病灶位置有明顯差異,通過多尺度錨框的方法在CT上可以劃分病灶候選區(qū)域。將CT分為四個區(qū)域,分別提取對應(yīng)區(qū)域的組學(xué)特征,并計算區(qū)域?qū)?yīng)的特征值Fvalue,公式如下所示：

Fvalue=αF1+βF6+γF10

(2)

其中,α,β和γ為比例系數(shù),由多維組學(xué)特征對應(yīng)的信息增益歸一化后得出。由于病灶與正常組織在CT上的差異明顯,因此當(dāng)某區(qū)域特征值與其他三個區(qū)域差異明顯時表示該區(qū)域內(nèi)包含病灶。在該區(qū)域內(nèi)生成多個尺度在0.15～0.8之間的錨框,分別計算各個錨框的特征值,并計算各個錨框特征值的差異,選出差異最大的錨框作為病灶候選區(qū)。區(qū)域之間的特征差異性使用方差進(jìn)行量化。

2.2 邊緣感知擴(kuò)散GAN

邊緣感知擴(kuò)散GAN模塊中包括1個生成器和2個鑒別器。鑒別器D為生成圖像與真實圖像中加入隨機(jī)噪聲,穩(wěn)定模型訓(xùn)練。加噪過程如圖1(b)的Forward Process。鑒別器DEdge獲取真實邊緣圖與生成邊緣圖,約束生成圖像的邊緣。

2.2.1 生成器

利用多維組學(xué)特征組從CT上劃分病灶候選區(qū)并可視化后得到病灶特征圖fmap。生成器將CT和特征圖fmap作為輸入,生成sMRI0,用公式表達(dá)為：

sMRI0=G(MRIt,fmap,CT,t)

(3)

其中,MRIt表示第t步帶噪MRI,fmap表示病灶候選區(qū)域可視化的特征圖,CT為源圖像,t為時間指數(shù)。生成器使用UNet[28]結(jié)構(gòu),由6個下采樣塊與6個上采樣塊組成。如圖1(b)所示,下采樣塊由3個殘差塊與1個3×3卷積塊組成,上采樣塊則由4個殘差塊組成;時間t通過32維正弦位置編碼(Time embedding)[29]后經(jīng)過兩層全連接(linear)層[30]后加入到殘差塊中。

2.2.2 鑒別器

鑒別器D區(qū)分sMRIt-k與MRIt-k。公式表達(dá)為：D({sMRIt-k|MRIt-k},MRIt,t),其中輸入為時間指數(shù)t,真實MRI在t-k步的MRIt-k,如圖1(b)前向過程所示,生成MRI在t-k步的sMRIt-k～q(sMRIt-k|MRIt,sMRI0)。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1(b)中D所示,由6個下采樣塊組成。

2.2.3 邊緣感知鑒別器

通過對圖像進(jìn)行卷積,得到邊緣圖sMRIEdge與MRIEdge。kx與ky分別檢測圖像中的水平與垂直邊緣,對圖像卷積后生成對應(yīng)x方向和y方向的邊緣映射。最后將兩個邊緣映射合并為最終的邊緣圖S(Image),用×表示卷積操作,公式如下：

(4)

邊緣感知鑒別器區(qū)分sMRIEdge與MRIEdge,公式化為：DEdge(S(sMRI0)|S(MRI))。網(wǎng)絡(luò)結(jié)構(gòu)如圖1(b)中D_Edge所示,由一層卷積網(wǎng)絡(luò)以及6個下采樣塊組成。

2.3 損失函數(shù)

該文提出邊緣感知擴(kuò)散GAN,模型總體損失函數(shù)Ltotal如式12所示,由對抗損失與非對抗損失組成,其中對抗損失如式9所示：

LG=EsMRIt-k～q(sMRIt-k)log[1-D(sMRIt-k)]

(5)

LD=-EMRIt-k～q(MRIt-k)logD(MRIt-k)-
EsMRIt-k～q(sMRIt-k)log[1-D(sMRIt-k)]

(6)

(7)

(8)

(9)

其中,G表示生成器,D表示鑒別器,DEdge表示邊緣感知鑒別器,E表示隨機(jī)變量概率分布的期望,t～U({0,k,…,T}),λEdge為邊緣感知鑒別器損失的平衡系數(shù)。為了讓生成MRI與真實MRI更接近,引入L1損失約束圖像像素。L1損失如下：

L1=EMRI,sMRI0～q(MRI,sMRI0)‖MRI-sMRI0‖1

(10)

其中,‖·‖1表示l1范數(shù)。為了學(xué)習(xí)到MRI圖像上更多的邊緣信息,使生成的MRI在邊緣上更加接近于真實MRI,引入梯度損失LGDL。公式如下：

LGDL=EMRI,sMRI0～q(MRI,sMRI0)‖?MRI-?sMRI0‖1

(11)

其中,?MRI與?sMRI0分別表示真實MRI與生成MRI的梯度信息。

模型總體損失函數(shù)Ltotal由對抗損失函數(shù)LAdv、全局損失函數(shù)L1以及梯度損失函數(shù)LGDL組成。定義如下：

Ltotal=LAdv+λ1L1+λ2LGDL

(12)

其中,λ1,λ2為損失函數(shù)的加權(quán)系數(shù)。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與實驗設(shè)置

在ISLES2018數(shù)據(jù)集上進(jìn)行實驗,包括103例急性腦卒中患者的信息?；颊哂谌毖阅X卒中發(fā)作后8小時內(nèi)接受CT灌注成像(CTP)和3小時內(nèi)的彌散加權(quán)成像(DWI)模態(tài)的MRI檢查。訓(xùn)練集包含63個病例,包括原始CT、4張CTP參數(shù)圖、DWI及醫(yī)生標(biāo)記的病變標(biāo)簽。測試集包含40例患者,無DWI和病變標(biāo)簽。實驗使用CT和MRI配對數(shù)據(jù)及專家標(biāo)記的病灶,按6∶2∶2比例分為訓(xùn)練集、驗證集和測試集。

實驗基于Python 3.8.10和PyTorch 1.12.1框架進(jìn)行,在一臺配備有Intel Xeon E5 2620 v4處理器、128 GB內(nèi)存和4臺Tesla V100顯卡(每個顯卡有32 GB顯存)的64位Ubuntu NVIDIA Station服務(wù)器上進(jìn)行了模型訓(xùn)練。模型訓(xùn)練500個epoch,輸入輸出圖像的大小為256×256,采用Adam優(yōu)化器,學(xué)習(xí)率設(shè)置為10-4,其中T為1 000,步長k為250,噪聲方差的上下界分別為0.1和20。

3.2 評價指標(biāo)

為了定量評估算法生成的圖像質(zhì)量,采用峰值信噪比(PSNR)、結(jié)構(gòu)相似性指數(shù)(SSIM)和Pearson相關(guān)系數(shù)(PCC)。PSNR通過比較生成圖像和真實圖像之間的像素誤差的全局大小來度量圖像質(zhì)量。SSIM是反映了生成MRI圖像與真實MRI的結(jié)構(gòu)相似性程度。最后,PCC用于衡量生成MRI與真實MRI之間的相關(guān)性。

3.3 對比實驗

本節(jié)評估了急性缺血性腦卒中CT生成MRI算法的性能,對Syndiff[11]、CycleGAN[6]、Respix2pix[13]與文中方法進(jìn)行定量實驗,如表2所示。文中方法在圖像質(zhì)量和腦部結(jié)構(gòu)相似度方面表現(xiàn)優(yōu)秀。圖3將生成的結(jié)果、對應(yīng)的邊緣圖與差異圖作為可視化結(jié)果進(jìn)行定性實驗。圖3顯示Ours-sMRI與Respix2pix-sMRI均包含病灶高亮細(xì)節(jié),但Respix2pix中存在錯誤邊緣,表明文中方法能夠生成高質(zhì)量的MRI圖像,并具有優(yōu)秀的細(xì)節(jié)表現(xiàn)。

表2 對比實驗定量分析

圖3 對比實驗可視化結(jié)果

為了驗證文中方法在病灶上的優(yōu)勢,分別比較Respix2pix-sMRI與Ours-sMRI的病灶區(qū)域,三名影像科醫(yī)生標(biāo)記Ours-sMRI與Respix2pix-sMRI的病灶,圖4為分割結(jié)果。其中,Ours-sMRI的表現(xiàn)最優(yōu),對應(yīng)的DICE系數(shù)比Respix2pix-sMRI的高。

圖4 病灶區(qū)域繪制

綜上所述,文中方法生成的MRI經(jīng)過定量與定性分析均獲得了最佳的結(jié)果。表明文中方法生成MRI不僅在關(guān)鍵病理信息上有優(yōu)秀的表現(xiàn),同時生成圖像的結(jié)構(gòu)信息與邊緣上也與真實MRI更為近似。

3.4 消融實驗

本節(jié)分別通過定量分析與定性分析,驗證組學(xué)模塊和邊緣感知鑒別器的有效性。定量評估結(jié)果如表3所示,Without D and R表示去除邊緣感知鑒別器與組學(xué)模塊后的模型;Without R表示去除組學(xué)模塊后的模型;Without D表示去除邊緣感知鑒別器后的模型;Ours表示文中方法的模型。定性分析結(jié)果如圖5所示,分別展示了四種方法對應(yīng)的sMRI及其病灶區(qū)域細(xì)節(jié)放大圖,方框表示病灶區(qū)域。

表3 消融實驗定量分析

圖5 消融實驗可視化結(jié)果

3.4.1 影像組學(xué)模塊有效性驗證

組學(xué)模塊作為本模型中提供病灶先驗的模塊,加入組學(xué)模塊后生成的MRI中應(yīng)該顯示病灶。圖5中Without R-sMRI的方框內(nèi)沒有病灶,而Without D-sMRI與Ours-sMRI的方框內(nèi)均有明顯高亮。生成的MRI中有高亮病灶,且位置正確。同時,在定量實驗中,當(dāng)去掉組學(xué)模塊后,PCC指數(shù)有明顯下降,表示生成MRI與真實MRI之間的相關(guān)性下降。

3.4.2 邊緣感知鑒別器的有效性驗證

邊緣感知鑒別器主要對生成圖像的邊緣梯度進(jìn)行約束,使生成的MRI有更真實的邊緣梯度。圖5中,Without D-sMRI中雖然有明顯的病灶信息,但是出現(xiàn)了不正確的邊緣,圖像存在偽影;加入邊緣感知鑒別器后的圖像則展現(xiàn)出了自然的梯度,整體圖像更加真實。

綜上所述,文中模型生成的圖像與真實MRI差異很小,病灶明顯,病灶位置正確,病灶形狀相似,這是由于組學(xué)模塊與邊緣感知鑒別器分別突出病灶區(qū)域和生成MRI的邊緣梯度,使生成MRI與真實MRI相似。

3.5 醫(yī)生陽性/陰性鑒別

三名分別有10年、5年和3年的放射科經(jīng)驗的醫(yī)生分別對五種情況進(jìn)行陽性/陰性鑒別。陽性表示發(fā)現(xiàn)腦卒中病變,陰性表示未發(fā)現(xiàn)腦卒中病變。使用Accuracy公式計算在三種情況下的準(zhǔn)確率。

(13)

其中,TP與TN表示陽性陰性分類正確的樣本個數(shù),FP與FN表示陽性陰性分類錯誤的樣本個數(shù)。醫(yī)生判斷得出的準(zhǔn)確率如表4所示,文中生成的MRI與CT結(jié)合后急性缺血性腦卒中檢出率有了明顯提升。

表4 陽性/陰性判別準(zhǔn)確率 %

4 結(jié)束語

該文提出了基于影像組學(xué)的邊緣感知擴(kuò)散GAN,旨在解決急性缺血性腦卒中CT到MRI的跨模態(tài)生成問題。該算法提取CT中的組學(xué)特征,并在病灶候選區(qū)域進(jìn)行可視化輔助患者的CT生成MRI,為不適用的MRI患者提供新的診斷方法。實驗結(jié)果表明,加入邊緣感知鑒別器,使生成的MRI整體邊緣過渡更為自然。生成的MRI能夠清晰顯示病變,為醫(yī)生的診斷治療提供了有力參考。然而,由于急性缺血性腦卒中數(shù)據(jù)有限,需要進(jìn)一步測試模型的有效性和魯棒性。