面向急性缺血性腦卒中CT到MRI的圖像生成

馮二燕,秦品樂,柴 銳,曾建朝,孟延鋒

(1.山西省醫(yī)學(xué)影像與數(shù)據(jù)分析工程研究中心(中北大學(xué)),山西 太原 030051;2.中北大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030051;3.山西醫(yī)科大學(xué) 附屬太原中心醫(yī)院,山西 太原 030009)

0 引 言

急性缺血性腦卒中是因血管堵塞造成大腦缺血而引起的腦組織病變,且發(fā)病癥狀較為平緩,不容易引起人們的注意,因此對急性缺血性腦卒中患者及早的治療和診斷是至關(guān)重要的。計(jì)算機(jī)斷層掃描(Computed Tomography,CT)是疑似腦卒中排除顱內(nèi)出血的首選方法[1]。且CT檢查快,十幾秒就可完成。但CT對于急性缺血性腦卒中敏感度極低,病灶成像不明顯,需要做進(jìn)一步的磁共振成像(Magnetic Resonance Imaging,MRI)檢查。彌散加權(quán)成像(Diffusion Weighted Imaging,DWI) MRI對急性缺血性腦卒中的病灶極其敏感,特別是對小梗死病灶,可在數(shù)分鐘內(nèi)發(fā)現(xiàn)缺血灶[2]。但MRI價(jià)格貴,檢查時(shí)間長,并且對于一些特殊人群使用受限,如有金屬植入物的病人,這導(dǎo)致醫(yī)生不能及時(shí)地做出影像診斷[1-3]。針對為急性缺血性腦卒中患者贏得救治黃金時(shí)間問題,目前研究的熱點(diǎn)主要集中在以下兩個(gè)方面:(1)利用影像組學(xué)在CT影像上確定急性缺血性腦卒中病灶位置;(2)通過生成對抗網(wǎng)絡(luò)由CT生成MRI,可在生成的MRI上獲得病灶信息。這兩種方法都在試圖通過CT做出診斷,避免做進(jìn)一步的MRI檢查,為患者贏得搶救時(shí)間。

就第一個(gè)問題而言,通常醫(yī)生無法通過CT影像確定病灶位置及范圍,但研究表明,CT上病灶組織與正常組織存在肉眼不易察覺的差異性[4-5]。Guan等[6]利用影像組學(xué)證明了急性缺血性腦卒中病灶在CT上是可分的,且病灶區(qū)域與正常區(qū)域的影像組學(xué)特征差異明顯。這些方法驗(yàn)證了在CT上病變組織的可分性,但需要依據(jù)真實(shí)的MRI手動分割病灶,這使得僅從CT上確定病灶位置成為一大難題。

另一方面,現(xiàn)多數(shù)研究致力于通過生成對抗網(wǎng)絡(luò)建立CT到MRI之間的映射關(guān)系,進(jìn)而實(shí)現(xiàn)CT到MRI的跨模態(tài)圖像生成[7]。Zhang等[8]在pix2pix的生成器U-Net網(wǎng)絡(luò)的下采樣后引入殘差塊,加深網(wǎng)絡(luò)提取高級特征但不會引起網(wǎng)絡(luò)退化問題,以此來實(shí)現(xiàn)腦腫瘤的CT到MRI的跨模態(tài)圖像生成。但腦腫瘤在CT和MRI上都清晰可見,二者信息量基本對等。Li等[9]利用多種深度學(xué)習(xí)方法從腦部CT生成MRI,最終證明有監(jiān)督的U-Net[10]生成的MRI更具有臨床意義。對于未配對的數(shù)據(jù),CycleGAN[11]利用雙循環(huán)一致性找到CT和MRI之間的對應(yīng)關(guān)系,但該模型在配對數(shù)據(jù)上生成的圖像分辨率有限。這些生成算法都是在CT和MRI復(fù)雜性相當(dāng)?shù)那闆r下進(jìn)行的,當(dāng)二者的信息量不平衡,例如對于急性缺血性腦卒中,CT對缺血灶不敏感,而病灶在MRI上表現(xiàn)為高信號區(qū)域,CT包含的信息量比MRI少,從CT生成MRI就會出現(xiàn)以下問題:(1)生成的圖像質(zhì)量差:因?yàn)樯善魇且詮?fù)雜度低的CT輸入而生成復(fù)雜度高的MRI,導(dǎo)致生成的MRI上無病灶出現(xiàn)甚至出現(xiàn)錯誤病灶。(2)映射關(guān)系混亂:從信息量少的CT生成信息量多的MRI,二者對應(yīng)關(guān)系變化大,導(dǎo)致模型對輸入的變化極其敏感。

為解決上述問題,該文首先提取CT病灶區(qū)域的影像組學(xué)特征來平衡信息量,再結(jié)合生成對抗網(wǎng)絡(luò)從CT生成MRI,提出一種面向急性缺血性腦卒中的CT到MRI的跨模態(tài)圖像生成算法,主要工作有:

(1)基于影像組學(xué)的CT病灶檢測。根據(jù)影像組學(xué)在病灶區(qū)域與正常區(qū)域提取的特征差異明顯,將多個(gè)不同大小的錨框作為感興趣區(qū)域,選擇影像組學(xué)特征差異最大的錨框作為病灶候選區(qū)域。然后,提取病灶候選區(qū)域的影像組學(xué)特征,從而獲取到CT上的隱藏特征,豐富CT的信息量。

(2)融合影像組學(xué)特征的CT到MRI的跨模態(tài)圖像生成。在病灶候選區(qū)域提取的影像組學(xué)特征中篩選出信息增益最大特征可視化為特征圖,將特征圖與真實(shí)CT圖像作為兩個(gè)通道輸入生成對抗網(wǎng)絡(luò)中。生成對抗網(wǎng)絡(luò)采用pix2pix網(wǎng)絡(luò),生成器引入殘差模塊,鑒別器采用PatchGAN。

(3)引入病灶特征相似性損失函數(shù)。為促使影像組學(xué)在生成的MRI病灶區(qū)域提取的特征與真實(shí)病灶特征相一致,該文引入病灶特征相似性損失函數(shù)。在生成的MRI和真實(shí)的MRI上提取病灶區(qū)域影像組學(xué)特征,減小二者的特征差異性,以便生成器將更多的注意力集中在病變部位,從而提高生成圖像的真實(shí)性。

1 相關(guān)工作

1.1 影像組學(xué)

影像組學(xué)特征可代表一定的生物學(xué)特征,并可作為對患者診斷、治療和預(yù)后的依據(jù)[12]。例如,影像組學(xué)提取的乳房紋理特征已被證明與乳腺癌高度相關(guān),且與乳房密度相結(jié)合可以進(jìn)一步提高預(yù)測乳腺癌的準(zhǔn)確率[13]。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的發(fā)展,影像組學(xué)已廣泛應(yīng)用于腦卒中的預(yù)測和診療中。通常醫(yī)生在急性缺血性腦卒中的CT中無明顯發(fā)現(xiàn),但利用影像組學(xué)可檢測出梗死組織與正常組織的差異。Hofmeister等[14]在急性缺血性腦卒中梗死區(qū)域提取特征,且利用提取的特征預(yù)測溶栓的成功率,AUC達(dá)到了0.88。眾所周知,高危頸動脈斑塊可增加腦梗死的風(fēng)險(xiǎn),Zhang等[15]利用影像組學(xué)提取特征,建立機(jī)器學(xué)習(xí)模型區(qū)分有癥狀的斑塊和無癥狀的斑塊,AUC達(dá)到了0.98,而醫(yī)生的傳統(tǒng)檢測方法AUC僅達(dá)到0.80。這些研究旨在說明影像組學(xué)可以發(fā)現(xiàn)病變區(qū)域與正常區(qū)域的差異,而這些差異在視覺上難以察覺,且所提取的影像組學(xué)特征對輔助臨床診斷具有很大的意義。

1.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[16]已廣泛應(yīng)用于醫(yī)學(xué)圖像生成。GAN網(wǎng)絡(luò)的輸入是隨機(jī)噪聲,網(wǎng)絡(luò)生成的模式無法控制,因此CGAN[17]在GAN網(wǎng)絡(luò)的基礎(chǔ)上,輸入添加了條件圖像,使生成的圖像與條件圖像之間有對應(yīng)關(guān)系。Nie等[18]提出一種3D GAN網(wǎng)絡(luò),實(shí)現(xiàn)由MR圖像生成CT圖像。Ben-Cohen等[19]提出將全卷積網(wǎng)絡(luò)(FCN)與條件生成對抗網(wǎng)絡(luò)(CGAN)相結(jié)合的算法,由CT生成PET圖像,生成的PET圖像可以減少病變檢測中的假陽性。pix2pix[20]網(wǎng)絡(luò)將輸入圖像作為條件圖像和隨機(jī)噪聲的統(tǒng)一,實(shí)現(xiàn)了端到端的圖像生成。而pix2pix需要嚴(yán)格配對的數(shù)據(jù),對于醫(yī)學(xué)圖像,配對數(shù)據(jù)較難獲得。Cao等[21]將密集網(wǎng)絡(luò)引入CycleGAN,通過不配對數(shù)據(jù)實(shí)現(xiàn)了MRI到CT的生成,加強(qiáng)了特征的傳遞,避免了梯度消失問題,但生成的CT在骨骼和組織處不清晰甚至有偏差。Armaniou等[22]將對抗網(wǎng)絡(luò)與非對抗損失相結(jié)合提出MedGAN網(wǎng)絡(luò),并應(yīng)用在PET圖像與CT圖像的相互轉(zhuǎn)化中。但MedGAN僅考慮了單通道問題,這會影響CT中運(yùn)動偽影的矯正,相對位置變化導(dǎo)致在訓(xùn)練不穩(wěn)定。對于急性缺血性腦卒中實(shí)現(xiàn)CT到MRI的跨模態(tài)圖像生成,文獻(xiàn)[23]提出了一個(gè)3D-GAN網(wǎng)絡(luò)從CT生成MRI,可以幫助檢測疑似腦卒中患者。但它生成的MRI與真實(shí)的MRI不太相似,雖然可以在生成的MRI上看到病灶,用來檢測疑似腦卒中患者,但是病灶的位置和大小與真正的MRI有很大不同。文獻(xiàn)[24]訓(xùn)練了一個(gè)改進(jìn)的CGAN網(wǎng)絡(luò)以從CTP生成MRI DWI。而CTP比CT包含更多的病灶信息。但CT對急性缺血性腦卒中病灶不敏感,在生成過程中無法提供更多的病灶信息,因此,該文引入了病灶的影像組學(xué)特征來輔助生成。考慮到所使用的數(shù)據(jù)集是配對的,且需要多通道輸入,采用需要配對數(shù)據(jù)的pix2pix網(wǎng)絡(luò)并加以改進(jìn),在生成器中加入殘差模塊,獲取CT和MRI之間更深層次的聯(lián)系又不會引起網(wǎng)絡(luò)退化問題,從而提高生成圖像的質(zhì)量。

2 文中算法

面向急性缺血性腦卒中CT到MRI的跨模態(tài)圖像生成算法整體結(jié)構(gòu)如圖1所示。

圖1 算法整體結(jié)構(gòu)

2.1 基于影像組學(xué)的CT病灶檢測

如前所述,急性缺血性腦卒中CT上的信息量少于MRI,因此添加CT病灶區(qū)域的影像組學(xué)特征來平衡信息量。但急性缺血性腦卒中病灶在CT上不明顯,無法將病灶在CT上分割出來,且病灶在CT上的具體位置是不可知的。所以使用不同尺度的錨框作為感興趣區(qū)域。所謂錨框,是指在目標(biāo)檢測算法中以像素點(diǎn)為中心生成多個(gè)不同大小和寬高比的邊界框[25]。研究證明CT上病灶區(qū)域與正常區(qū)域的影像組學(xué)特征差異較大[4-6]。若某個(gè)錨框與其他錨框的影像組學(xué)特征差異最大,則這個(gè)錨框中包含病灶,將這個(gè)錨框作為病灶候選區(qū)域。若在整幅圖像中生成錨框,則錨框的數(shù)量過大,降低了病灶的檢測效率,因此縮小搜索的范圍,將CT的掩模圖像(mask)等分為四部分,如圖1(a)所示,作為四個(gè)感興趣區(qū)域,分別提取四個(gè)感興趣區(qū)域的影像組學(xué)特征,并比較特征值的差異,若某個(gè)區(qū)域與其他區(qū)域之間特征值的差異最大,則該區(qū)域中包含病灶。然后在該區(qū)域中繼續(xù)生成錨框,尋找病灶區(qū)域,直到找到該區(qū)域中影像組學(xué)特征值差異最大的錨框,將這個(gè)錨框作為病灶候選區(qū)域。

某一病例的病灶檢測結(jié)果如圖2所示。圖2(c)即為檢測出的該病例的病灶候選區(qū)域。

圖2 病灶檢測結(jié)果

利用影像組學(xué)在確定的病灶候選區(qū)域提取影像組學(xué)特征,然后從大量的影像組學(xué)特征中篩選出有效特征。急性缺血性腦卒中病灶區(qū)域與其他區(qū)域不易區(qū)分,且CT到MRI的生成過程需要特征的參與,因此該文使用過濾式特征選擇法。信息增益是過濾式特征選擇的常用指標(biāo),代表了在一定條件下,信息不確定性的減少程度,即信息增益越大,該特征就越重要[6]。該文使用以下公式計(jì)算每個(gè)特征的信息增益:

(1)

(2)

IG(Xi,Y)=H(Y)-H(Y|Xi)

(3)

其中,Xi表示特征值,Y表示是否是腦卒中的隨機(jī)變量,IG表示信息增益,即在該特征下,事件Y的不確定性的減少程度。

2.2 融合影像組學(xué)特征的CT到MRI的跨模態(tài)圖像生成

通過影像組學(xué)提取病灶影像組學(xué)特征,共提取1 325個(gè)特征,去除無用特征,最終提取到1 283個(gè)特征。計(jì)算每個(gè)特征的信息增益,在CT上信息增益不同閾值下篩選的特征數(shù)如表1所示。信息增益越大,代表特征越重要,取信息增益最大的特征“wavelet-LLH glrlm RunLengthNonUniformity”,將該特征可視化為特征圖F,將F與真實(shí)的CT圖像一同輸入到生成器G中,即輸入為兩個(gè)通道,生成器G可表示為:

表1 信息增益不同閾值下篩選的特征數(shù)

S_MR=G(I_CT,F)

(4)

其中,S_MR表示生成的MRI,I_CT表示真實(shí)的CT,F表示特征圖,G表示生成器。

生成對抗網(wǎng)絡(luò)采用pix2pix網(wǎng)絡(luò)[20],并增加一個(gè)輸入通道,且將殘差模塊引入生成器,構(gòu)建了Res_pix2pix,網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,包括生成器(G)和鑒別器(D)。生成器的目的是讓生成的圖像盡可能地接近真實(shí)圖像從而欺騙鑒別器。I_CT表示真實(shí)的CT,F表示可視化后的影像組學(xué)特征圖,S_MR為生成的MRI。鑒別器的目的是盡可能地區(qū)分生成器生成的圖片與真實(shí)的圖片。鑒別器仍采用PatchGAN[18],即把圖像分為若干個(gè)N×N的塊,分別鑒別每個(gè)塊的真假,再取平均,增強(qiáng)生成圖像的低頻部分。

圖3 Res_pix2pix網(wǎng)絡(luò)結(jié)構(gòu)

在醫(yī)學(xué)圖像生成領(lǐng)域,將U-Net作為生成器實(shí)現(xiàn)端到端的圖像生成越來越受歡迎。但U-Net作為生成器在訓(xùn)練過程中網(wǎng)絡(luò)深度不好把握,若網(wǎng)絡(luò)層數(shù)太淺,則獲得的語義信息不足,若網(wǎng)絡(luò)層數(shù)太深,則會丟失細(xì)節(jié)信息。且輸入圖像與輸出圖像外表大不相同但可能存在潛在的聯(lián)系,因此,該文采用對稱的Encoding-Transformation-Decoding網(wǎng)絡(luò)結(jié)構(gòu),如圖1(c)所示?！癐nput layer”表示輸入層,使用7×7的卷積核,將輸入圖像快速轉(zhuǎn)換為特征映射。在編碼和解碼階段分別采用3×3下采樣卷積層和3×3上采樣反卷積層,從輸入CT中提取特征并生成MRI,激活函數(shù)均使用LReLU。為保留更多的細(xì)節(jié)特征,編碼階段只采用了兩層下采樣層。然后在編碼之后引入九個(gè)殘差模塊[26],殘差塊使用3×3的卷積核,步長為2。殘差塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,F(x)是兩層之間的映射函數(shù),F(x)+x得到該殘差塊的輸入。引入殘差既加深了網(wǎng)絡(luò)層次,獲得了更多的特征信息,增強(qiáng)生成圖像的質(zhì)量,又避免了梯度消失問題,使訓(xùn)練更加穩(wěn)定,增強(qiáng)了模型的魯棒性。最后在輸出層使用7×7的卷積核,將特征映射快速轉(zhuǎn)換為生成圖像。

圖4 殘差塊結(jié)構(gòu)

而文獻(xiàn)[27]采用了“U-Net+殘差塊”的生成器結(jié)構(gòu),為定量對比文中算法與文獻(xiàn)[27]所提算法的模型參數(shù)量,分別計(jì)算兩種算法的生成器模型參數(shù)量,如表2所示。其中,文中算法與文獻(xiàn)[27]的殘差塊單元數(shù)量一致,輸入輸出通道數(shù)一致。由表2可得,文中算法的生成器網(wǎng)絡(luò)參數(shù)量比文獻(xiàn)[27]降低了79.23%,文中算法更加輕量級。

表2 生成器網(wǎng)絡(luò)參數(shù)量對比

2.3 目標(biāo)函數(shù)

Res_pix2pix采用了與CGAN相同的對抗損失函數(shù),然后pix2pix添加L1損失進(jìn)行全局約束,該文引入病灶特征相似性損失函數(shù)進(jìn)行局部約束。對抗損失如式(5)所示:

LCGAN(G,D)=EICT,IMR[logD(ICT,IMR)]+EICT,z[log(1-D(ICT,G(ICT,Z)))]

(5)

其中,G為生成網(wǎng)絡(luò),D為鑒別網(wǎng)絡(luò),E表示隨機(jī)變量服從概率分布的期望,ICT表示真實(shí)的CT圖像,IMR表示真實(shí)的MR圖像,D(ICT,IMR)表示鑒別器D鑒別真實(shí)的圖像是否為真的概率,G(ICT,Z)表示真實(shí)的CT圖像與隨機(jī)噪聲輸入生成器G中生成的MRI,D(ICT,G(ICT,Z))表示鑒別器D鑒別生成的圖像是否為真的概率。

為使生成的圖像更接近于真實(shí)圖像,pix2pix在CGAN的基礎(chǔ)上,增加了L1loss,對生成的圖像有一個(gè)全局的約束,L1loss定義如下:

L1(G)=EICT,IMR,Z[‖IMR-G(ICT,Z)‖1]

(6)

為使生成的MRI與真實(shí)的MRI在病灶區(qū)域保持一致,該文引入病灶特征相似性損失函數(shù)(Lf),即減小影像組學(xué)在真實(shí)的MRI與生成的MRI上提取的病灶特征的差異性,Lf定義如下:

Lf(G)=EICT,IMR,Z[‖F(xiàn)IMR-FG(ICT,Z)‖1]

(7)

其中,FIMR表示影像組學(xué)在真實(shí)的MRI上提取的病灶影像組學(xué)特征值,FG(ICT,Z)表示影像組學(xué)在生成的MRI上提取的病灶影像組學(xué)特征值。由于數(shù)據(jù)集中CT與MRI是配準(zhǔn)的,因此利用影像組學(xué)在CT上確定的病灶候選區(qū)域也是MRI的病灶候選區(qū)域,同樣提取真實(shí)MRI的病灶影像組學(xué)特征,篩選信息增益最大的特征,減小該特征的特征值在真實(shí)的MRI與生成的MRI上的差異性,使網(wǎng)絡(luò)更加關(guān)注于生成圖像與真實(shí)圖像病灶區(qū)域的一致性。

該文的目標(biāo)函數(shù)是多個(gè)損失函數(shù)的線性組合,即:

(8)

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

該文使用的實(shí)驗(yàn)數(shù)據(jù)集來自于ISLES2018挑戰(zhàn)賽(https://www.smir.ch/ISLES/Start2018),該挑戰(zhàn)賽的目的是實(shí)現(xiàn)在CT上自動分割急性缺血性腦卒中病灶。數(shù)據(jù)集包含103名急性缺血性腦卒中患者,這些患者在發(fā)病8小時(shí)內(nèi)就診并在CT灌注成像(CT Perfusion imaging,CTP)檢查三小時(shí)后進(jìn)行DWI模態(tài)的MRI檢查。其中訓(xùn)練集有63名患者,每個(gè)患者都有原始CT、四個(gè)CT灌注參數(shù)圖、DWI和由醫(yī)生手動勾畫的病灶區(qū)域的標(biāo)簽;測試集有40名患者,未提供DWI和病灶區(qū)域的標(biāo)簽。因該文研究的是CT到MRI的跨模態(tài)生成,需要配對的CT和MRI,所以只使用了訓(xùn)練集63個(gè)病例共438個(gè)樣本,去除不包含病灶的切片后,剩余281個(gè)樣本參與訓(xùn)練,且該文只使用了CT和MRI。

實(shí)驗(yàn)開發(fā)環(huán)境為基于python3.7.10的深度學(xué)習(xí)框架pytorch1.2.0,訓(xùn)練模型使用的是系統(tǒng)為Ubuntu16.10 64位的NVIDIA Station服務(wù)器,配置了Intel Xeon E5 2620 v4處理器,內(nèi)存為128 GB,4個(gè)Tesla V100顯卡,每個(gè)顯卡顯存32 GB。實(shí)驗(yàn)訓(xùn)練400個(gè)epoch,優(yōu)化器使用Adam優(yōu)化器,交替訓(xùn)練生成器G和判別器D,初始學(xué)習(xí)率為0.000 2,batchsize為8,輸入圖像大小為256×256,輸出圖像大小為256×256。

3.2 評估指標(biāo)

生成的MRI是否可以幫助醫(yī)生做出診斷,需要經(jīng)驗(yàn)豐富的放射科醫(yī)生根據(jù)累積的臨床經(jīng)驗(yàn)進(jìn)行主觀評價(jià)。實(shí)驗(yàn)結(jié)果經(jīng)兩名太原市中心醫(yī)院經(jīng)驗(yàn)豐富的放射科醫(yī)生在生成的MRI上確定病灶并進(jìn)行正誤分類。除此之外,還使用了定量評估指標(biāo):平均絕對誤差(Mean Absolute Error,MAE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、結(jié)構(gòu)相似性(Structural Similarity,SSIM)、皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient,PCC)。評估指標(biāo)定義如下[9]:

(9)

(10)

(11)

(12)

其中,xi和yi表示真實(shí)的MRI和生成的MRI。MAX表示真實(shí)MRI和生成MRI的最大像素值。在SSIM中,μx和μy表示真實(shí)MRI的平均像素和生成MRI的平均像素。σx和σy表示真實(shí)MRI的像素標(biāo)準(zhǔn)差和生成MRI的像素標(biāo)準(zhǔn)差。c1=(k1L)2,c2=(k2L)2,k1=0.01,k2=0.03,L是像素值的動態(tài)范圍。

平均絕對誤差是所有誤差的平均值,數(shù)值越小表示失真越小;峰值信噪比表示生成圖像與真實(shí)圖像的相似性,數(shù)值越大表示相似性越高;結(jié)構(gòu)相似性是一種全局的圖像相似性評價(jià)指標(biāo),數(shù)值越大表示相似性越高;皮爾遜相關(guān)系數(shù)表示生成圖像與真實(shí)圖像的相關(guān)性,其值的絕對值大于0.8的話可認(rèn)為二者高度相關(guān)。

3.3 對比實(shí)驗(yàn)

首先,將文中算法與pix2pix、CycleGAN、MedGAN、PRGAN[8]、RegGAN[28]進(jìn)行性能比較。其中PRGAN是應(yīng)用在腦腫瘤上CT到MRI的跨模態(tài)圖像生成,RegGAN是添加了一個(gè)額外的配準(zhǔn)網(wǎng)絡(luò)來訓(xùn)練生成器,并很好地應(yīng)用于醫(yī)學(xué)圖像生成。生成指標(biāo)對比如表3所示,生成結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果表明,各個(gè)評價(jià)指標(biāo)在文中算法中均較優(yōu),且其他算法在生成的MRI上均無病灶信息,而文中算法生成的MRI中病灶位置正確,形狀與真實(shí)的MRI相似。對于其他算法,盡管其在跨模態(tài)醫(yī)學(xué)圖像生成中表現(xiàn)良好,但對于急性缺血性腦卒中,生成網(wǎng)絡(luò)并沒有提取到病灶信息,在生成的圖像上也沒有正確的病灶位置及范圍。

表3 不同算法的客觀評價(jià)指標(biāo)

圖5 不同算法生成結(jié)果對比

3.4 消融實(shí)驗(yàn)

通過五組消融實(shí)驗(yàn)驗(yàn)證影像組學(xué)特征與病灶特征相似性損失函數(shù)對生成圖像的有效性,評價(jià)指標(biāo)如表4所示,生成結(jié)果如圖6所示。其中,算法1表示在Res_pix2pix生成器中用相同數(shù)量的卷積層替換殘差塊,算法2表示在Res_pix2pix網(wǎng)絡(luò)的輸入中增加病灶影像組學(xué)特征圖,算法3表示在Res_pix2pix基礎(chǔ)上,在網(wǎng)絡(luò)損失函數(shù)中加入病灶特征相似性損失函數(shù)。

表4 消融實(shí)驗(yàn)的結(jié)果

圖6 消融實(shí)驗(yàn)生成結(jié)果對比

為驗(yàn)證Res_pix2pix在生成器中引入殘差模塊的有效性,用相同數(shù)量的卷積層替換殘差塊(即算法1),如表4和圖6(e)所示,引入殘差模塊大幅提高了生成圖像的質(zhì)量,生成的MRI在形態(tài)與輪廓上更接近真實(shí)的MRI,但病灶并未出現(xiàn)在生成的MRI上。

為進(jìn)一步驗(yàn)證病灶影像組學(xué)特征的作用,在Res_pix2pix網(wǎng)絡(luò)的輸入中增加病灶影像組學(xué)特征圖(即算法2),由表4可知,加入病灶影像組學(xué)特征生成的圖像各項(xiàng)指標(biāo)均優(yōu)于Res_pix2pix。生成結(jié)果如圖6(f)所示。實(shí)驗(yàn)結(jié)果可得,加入病灶影像組學(xué)特征,病灶在生成的MRI上有所體現(xiàn)但不明顯。

為驗(yàn)證病灶特征相似性損失函數(shù)的作用,在Res_pix2pix基礎(chǔ)上,僅在網(wǎng)絡(luò)損失函數(shù)中加入病灶特征相似性損失函數(shù)(即算法3),由表4可知,僅加入病灶特征相似性損失函數(shù),生成的圖像在各項(xiàng)指標(biāo)上均與Res_pix2pix不相上下,且不如只加入病灶影像組學(xué)特征。生成結(jié)果如圖6(g)所示,加入病灶特征相似性損失函數(shù)病灶并未在生成的MRI上體現(xiàn),且生成的結(jié)果與Res_pix2pix的生成結(jié)果差異不大。結(jié)果表明若在CT上未確定病灶區(qū)域,則很難在生成的MRI上呈現(xiàn)病灶信息。

為驗(yàn)證病灶影像組學(xué)特征和病灶特征相似性損失函數(shù)同時(shí)作用的效果,在Res_pix2pix基礎(chǔ)上加入病灶影像組學(xué)特征和病灶特征相似性損失函數(shù)(即文中算法),由表4可得,生成圖像在各項(xiàng)指標(biāo)中表現(xiàn)較好。生成結(jié)果如圖6(h)所示。病灶在生成的MRI上表現(xiàn)明顯,位置正確,形狀與真實(shí)的MRI病灶相似,可作為醫(yī)生診斷的參考。且經(jīng)兩名太原市中心醫(yī)院經(jīng)驗(yàn)豐富的放射科醫(yī)生在生成的MRI上確定病灶并進(jìn)行正誤分類,其中病灶明顯占比94.9%,病灶不明顯的占比5.1%,在不明顯的病灶錯誤病灶占比1.2%,在病灶明顯中無錯誤病灶生成。

綜上可得,加入病灶候選區(qū)域的影像組學(xué)特征可生成帶病灶的MRI,同時(shí)加入病灶特征相似性損失函數(shù)后,各項(xiàng)評價(jià)指標(biāo)達(dá)到較優(yōu),其中平均絕對誤差達(dá)到0.034,峰值信噪比達(dá)到70.803,結(jié)構(gòu)相似性達(dá)到0.783,皮爾遜相關(guān)系數(shù)達(dá)到0.986。

4 結(jié)束語

相較于CT,MRI對急性缺血性腦卒中病灶更加敏感,成像更加清晰,但MRI耗時(shí)耗力且受限較多。為此,結(jié)合影像組學(xué)與生成對抗網(wǎng)絡(luò),該文提出一種面向急性缺血性腦卒中CT到MRI的跨模態(tài)圖像生成算法。首先,選擇在CT上不同尺度下影像組學(xué)差異最大的錨框作為病灶候選區(qū)域,提取病灶候選區(qū)域的影像組學(xué)特征,篩選出信息增益最大的特征并可視化為特征圖。將特征圖與CT一同輸入生成對抗網(wǎng)絡(luò),在生成器中加入殘差模塊,既能加深網(wǎng)絡(luò),又不會引起退化問題。同時(shí)引入病灶特征相似性損失函數(shù),在整體約束下加入病灶區(qū)域局部約束。實(shí)驗(yàn)結(jié)果由兩名經(jīng)驗(yàn)豐富的放射科醫(yī)生做出正誤分類并進(jìn)行了客觀指標(biāo)評價(jià),證明生成的MRI接近于真實(shí)的MRI,可通過生成的MRI輔助診斷,具有臨床意義。但是由于醫(yī)學(xué)數(shù)據(jù)獲取困難,該文只對40名患者進(jìn)行測試,為確保該算法的有效性和魯棒性,下一步仍需要更多的患者進(jìn)行測試。