面向急性缺血性腦卒中的CT 生成MRI 算法

張美美，秦品樂(lè)，柴銳，曾建潮，翟雙姣，閆俊義，馮二燕

（中北大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030051）

0 引言

腦卒中也稱為中風(fēng)，是一種腦血管疾病，具有較高的發(fā)病率、死亡率和致殘率［1］，其中急性出血性腦卒中（腦溢血）病灶在計(jì)算機(jī)斷層掃描（CT）上可以明顯看出病灶，疾病檢出率在85%以上［2］，而對(duì)于急性缺血性腦卒中（腦梗塞）病灶在CT 上幾乎不可見(jiàn)，臨床醫(yī)生需要進(jìn)一步進(jìn)行核磁共振成像（MRI）檢測(cè)。然而，許多患者由于體內(nèi)植入金屬等原因無(wú)法進(jìn)行MRI 檢測(cè)，且獲得MRI 費(fèi)用高昂、耗時(shí)長(zhǎng)，容易使患者錯(cuò)過(guò)最佳治療時(shí)間，影響預(yù)后生存質(zhì)量。在這種情況下，若能使用患者的CT 影像生成MRI 影像，將在急性缺血性腦卒中的及時(shí)診斷和治療中起到至關(guān)重要的作用。

隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的方法在CT 到MRI 跨模態(tài)圖像生成方面取得了較好的效果。文獻(xiàn)［3］利用多種深度學(xué)習(xí)方法從腦部CT 生成MRI，并發(fā)現(xiàn)有監(jiān)督的U-Net 網(wǎng)絡(luò)生成MRI 更具有臨床意義。文獻(xiàn)［4］利用深度學(xué)習(xí)從CT 灌注（CTP）成像中提取特征生成MR 圖像，并在生成的MR 圖像上分割病灶，分割結(jié)果在ISLES2018 挑戰(zhàn)賽達(dá)到最優(yōu)。文獻(xiàn)［5］用急性缺血性腦卒中患者的醫(yī)學(xué)影像建立了從CT 生成MRI 的生成對(duì)抗網(wǎng)絡(luò)（GAN），并利用生成MRI 完成后續(xù)病灶檢測(cè)任務(wù)。文獻(xiàn)［6］則將影像組學(xué)與GAN 相結(jié)合，將病灶和CT 圖像串聯(lián)輸入生成器，生成與真實(shí)MRI 相似的圖像，用于急性缺血性腦卒中的病灶檢測(cè)。盡管GAN 模型在醫(yī)學(xué)跨模態(tài)中有良好的表現(xiàn)，但GAN 本身可解釋性很差并且訓(xùn)練不穩(wěn)定。最近提出的擴(kuò)散模型不存在GAN 網(wǎng)絡(luò)的可解釋性差與訓(xùn)練不穩(wěn)定的問(wèn)題，且在醫(yī)學(xué)影像跨模態(tài)生成中也有了初步的應(yīng)用。文獻(xiàn)［7］通過(guò)擴(kuò)散模型實(shí)現(xiàn)了從MRI 到CT 兩種模態(tài)的轉(zhuǎn)換問(wèn)題。隨后，文獻(xiàn)［8］基于SDE 提出一種統(tǒng)一的多模態(tài)條件評(píng)分生成方法（UMM-CSGM），將MRI 剩余模態(tài)作為條件，生成具有更高保真度和腦組織結(jié)構(gòu)信息的缺失模態(tài)圖像。文獻(xiàn)［9］提出一種對(duì)抗擴(kuò)散模型Syndiff 實(shí)現(xiàn)多模態(tài)醫(yī)學(xué)影像轉(zhuǎn)換，基于對(duì)抗擴(kuò)散模型，引入周期一致性體系結(jié)構(gòu)，實(shí)現(xiàn)在未配對(duì)數(shù)據(jù)集上的醫(yī)學(xué)影像多模態(tài)轉(zhuǎn)換。而對(duì)于急性缺血性腦卒中CT 生成MRI依然有以下2 個(gè)問(wèn)題：1）急性缺血性腦卒中病灶在CT上的病灶信息遠(yuǎn)少于MRI，因此急性缺血性腦卒中CT 生成MRI為從低信息量圖像生成高信息量圖像的無(wú)約束問(wèn)題；2）由于CT 圖像自身存在對(duì)比度低、邊緣模糊以及紋理結(jié)構(gòu)不清晰等問(wèn)題，使得在提取特征時(shí)難以提取到弱邊緣與弱紋理信息，導(dǎo)致生成MRI 的邊界模糊。

為了解決上述問(wèn)題，本文提出基于影像組學(xué)和擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)的急性缺血性腦卒中CT 生成MRI算法，在擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)中通過(guò)組學(xué)模塊在CT 上劃分病灶候選區(qū)，定位病灶，使模型更關(guān)注病灶部位。針對(duì)圖像邊緣模糊問(wèn)題，引入梯度損失增加邊緣感知約束，使生成的MRI 邊緣清晰，主觀效果更好。首先在CT/MRI 配對(duì)的數(shù)據(jù)集上，使用CT 在病灶位置提取組學(xué)特征，篩選出一組相關(guān)性較弱的影像組學(xué)特征。然后在實(shí)際使用中利用這組特征在病灶未知的CT 上通過(guò)多尺度錨框的方式，選擇特征差異最大的一個(gè)錨框，作為病灶候選區(qū)域并生成特征圖，將特征圖與CT 共同輸入模型。最后將梯度損失引入到對(duì)抗擴(kuò)散模型的生成器中，從圖像邊緣上約束生成的MRI，提升生成的MRI的圖像質(zhì)量。

本文的主要貢獻(xiàn)總結(jié)如下：

1）提出基于影像組學(xué)與擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)的急性缺血性腦卒中CT 生成MRI 算法，以解決CT 生成MRI 缺乏病灶信息以及邊界模糊問(wèn)題。

2）通過(guò)多維影像組學(xué)特征從急性缺血性腦卒中患者的CT 上準(zhǔn)確定位病灶，解決生成MRI 的病灶信息不可見(jiàn)問(wèn)題；引入梯度損失增強(qiáng)生成MRI 的邊緣，使生成的MRI 主觀效果更好。

1 相關(guān)研究

1.1 影像組學(xué)

影像組學(xué)由文獻(xiàn)［10］提出，是一種計(jì)算機(jī)輔助的過(guò)程，能夠以客觀、可重復(fù)和高通量的方式從醫(yī)學(xué)圖像中提取大量的定量特征，如形狀、強(qiáng)度和紋理。影像組學(xué)的工作流程包括4 個(gè)步驟，即選取數(shù)據(jù)以確定問(wèn)題、獲取感興趣的區(qū)域（ROI）、提取特征和選擇特征并建立模型。提取的特征通常分為4 個(gè)類別，即形狀、一階、二階和高階特征，其中形狀、一階、二階特征分別對(duì)ROI 從形態(tài)特征、像素灰度分布、紋理特征3 個(gè)方面提取不同的組學(xué)特征；高階特征表示將空間信息轉(zhuǎn)換為小波特征方向的頻率和尺度信息后再提取組學(xué)特征。其中紋理特征是影像組學(xué)中使用最廣泛的特征［11］。為了防止特征之間相互冗余導(dǎo)致模型泛化性和魯棒性降低，通常使用ICC/CCC和Pearson/Spearman 相關(guān)系數(shù)來(lái)過(guò)濾重復(fù)冗余的組學(xué)特征［12］。

隨著深度學(xué)習(xí)和影像組學(xué)的發(fā)展，影像組學(xué)在腦卒中診斷、治療和預(yù)后3 個(gè)方面有廣泛的應(yīng)用。急性缺血性腦卒中在CT 上缺血區(qū)域的變化無(wú)明顯表征，但通過(guò)影像組學(xué)方法可以發(fā)現(xiàn)梗死區(qū)域與正常組織的差異。文獻(xiàn)［13］發(fā)現(xiàn)通過(guò)提取影像組學(xué)紋理特征能夠揭示缺血性病變的結(jié)構(gòu)變化，并得出紋理分析是輔助檢測(cè)慢性缺血性病變的有效工具。文獻(xiàn)［14］通過(guò)100 名老年人的不同腦組織數(shù)據(jù)，根據(jù)影像組學(xué)特征可以識(shí)別既往腦卒中病變，得到模型的曲線下面積（AUC）大于0.7。文獻(xiàn)［15］提取了急性缺血性腦卒中病變區(qū)域的組學(xué)特征，并預(yù)測(cè)了溶栓的難度。此外，提取的9 個(gè)特征可以預(yù)測(cè)溶栓的成功率，AUC 為0.88。文獻(xiàn)［16］利用影像組學(xué)從CT 中提取急性缺血性腦卒中病灶的特征，并建立了10 個(gè)機(jī)器分類模型來(lái)驗(yàn)證所提取特征的有效性。他們證實(shí)CT 可檢測(cè)出急性缺血性腦卒中病灶，病變區(qū)與正常區(qū)在組學(xué)特征上有明顯差異。因此，通過(guò)影像組學(xué)對(duì)急性缺血性腦卒中患者的CT 進(jìn)行紋理分析，可以確認(rèn)病灶的位置信息。

1.2 擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)

目前，基于GAN 與擴(kuò)散模型在醫(yī)學(xué)圖像生成上有大量應(yīng)用。文獻(xiàn)［17］基于GAN 提出3DGAN 從MRI 生成CT，解決了圖像錯(cuò)位的問(wèn)題，但需要大量很難獲得的MRI/CT 配對(duì)數(shù)據(jù)集。文獻(xiàn)［18］對(duì)生成圖像與輸入圖像的結(jié)構(gòu)一致性進(jìn)行計(jì)算，引入結(jié)構(gòu)一致性損失函數(shù)，提出sc-CycleGAN，利用未配對(duì)數(shù)據(jù)集從MRI 生成CT，得到的生成CT 在相似性與視覺(jué)質(zhì)量上均高于其他方法。文獻(xiàn)［19］將條件生成對(duì)抗網(wǎng)絡(luò)（cGAN）與全卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合從CT 生成正電子發(fā)射型斷層掃描（PET），降低病變檢測(cè)的漏報(bào)率。文獻(xiàn)［20］將對(duì)抗網(wǎng)絡(luò)與非對(duì)抗損失相結(jié)合提出MedGAN，應(yīng)用于CT 和PET 的相互轉(zhuǎn)換。文獻(xiàn)［21］基于生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)乳腺M(fèi)RI的圖像生成，使得生成的MRI 包含更清晰的病灶細(xì)節(jié)全局圖。文獻(xiàn)［22］針對(duì)醫(yī)學(xué)圖像數(shù)據(jù)集少的問(wèn)題，通過(guò)改善判別器魯棒性提出一個(gè)基于魯棒條件生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像生成模型。文獻(xiàn)［7］利用擴(kuò)散模型實(shí)現(xiàn)從MRI 到CT兩種模態(tài)的轉(zhuǎn)換，得到的結(jié)果在結(jié)構(gòu)準(zhǔn)確性與視覺(jué)質(zhì)量方面優(yōu)于CNN 和基于GAN 的方法。文獻(xiàn)［8］基于擴(kuò)散模型將部分模態(tài)作為條件生成缺失模態(tài)，該模型可以生成具有高保真度、準(zhǔn)確的腦組織結(jié)構(gòu)信息的缺失模態(tài)圖像。文獻(xiàn)［23］基于擴(kuò)散模型生成具有特定條件的MRI，并從生成的MRI中檢測(cè)并分割大腦中的異常區(qū)域。文獻(xiàn)［9］提出一種對(duì)抗擴(kuò)散模型SynDiff實(shí)現(xiàn)多模態(tài)醫(yī)學(xué)影像轉(zhuǎn)換，將對(duì)抗擴(kuò)散模型應(yīng)用于醫(yī)學(xué)影像多模態(tài)轉(zhuǎn)換，為了加快采樣速度，在反向過(guò)程中使用GAN 模型來(lái)估計(jì)每個(gè)步驟的去噪圖像并引入一種周期一致的體系結(jié)構(gòu)，允許在未配對(duì)數(shù)據(jù)集上進(jìn)行訓(xùn)練。然而，以上研究多數(shù)為高信息量圖像生成低信息量圖像的算法。因此，本文在擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)現(xiàn)急性缺血性腦卒中從低信息量CT 生成高信息量MRI的無(wú)約束模態(tài)轉(zhuǎn)換。

1.3 影像組學(xué)與生成模型相結(jié)合的應(yīng)用

目前，一些研究將影像組學(xué)與GAN 相結(jié)合來(lái)解決醫(yī)學(xué)領(lǐng)域中的難題。影像組學(xué)特征可以作為GAN 的先驗(yàn)來(lái)提高生成圖像的真實(shí)感。文獻(xiàn)［6］將影像組學(xué)與GAN 相結(jié)合，對(duì)急性腦卒中CT 病灶區(qū)域提取組學(xué)特征，將其作為先驗(yàn)輸入到GAN 網(wǎng)絡(luò)中實(shí)現(xiàn)CT 到MRI 的模態(tài)轉(zhuǎn)換。文獻(xiàn)［24］使用GAN 模型與影像組學(xué)相結(jié)合的方法實(shí)現(xiàn)多任務(wù)，對(duì)肝硬化患者分級(jí)任務(wù)是否為AUC 大于0.8 來(lái)鑒別肝硬化，最終結(jié)果為AUC 大于0.86。文獻(xiàn)［25］在GAN 中間步驟引入影像組學(xué)特征，保證生成的病變與真實(shí)病變之間紋理一致性，有助于生成接近真實(shí)肺部病變的數(shù)據(jù)。生成對(duì)抗網(wǎng)絡(luò)可以作為預(yù)處理步驟，提升影像組學(xué)特征在不同任務(wù)下的表現(xiàn)。文獻(xiàn)［26］為了提高低劑量CT 在不同任務(wù)中的性能，將cGAN 作為生成模型，生成全劑量CT 圖像，分別從原始CT 與生成CT 中提取組學(xué)特征建立模型，用于肺癌診斷與生存預(yù)測(cè)。

2 本文方法

對(duì)抗擴(kuò)散模型［9］將擴(kuò)散模型與GAN 相結(jié)合應(yīng)用于醫(yī)學(xué)影像MRI 之間模態(tài)轉(zhuǎn)換。但是，MRI 之間包含的信息量近似相等，而CT 生成MRI 是從低信息量圖像生成高信息量圖像問(wèn)題，因此使用CT 生成MRI更具有挑戰(zhàn)性。通過(guò)影像組學(xué)在CT 上定位病灶作為CT 生成MRI 的信息補(bǔ)充，有助于提升生成MRI病灶區(qū)域的準(zhǔn)確性［6］。因此，本文提出一種基于影像組學(xué)和擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)的急性缺血性腦卒中CT 到MRI 跨模態(tài)生成算法。

本文算法的總體結(jié)構(gòu)如圖1 所示（彩圖效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版，下同），主要由兩部分組成：組學(xué)模塊［見(jiàn)圖1（a）］和擴(kuò)散生成對(duì)抗模塊［見(jiàn)圖1（b）］。組學(xué)模塊對(duì)CT/MRI配對(duì)數(shù)據(jù)集的CT 腦卒中病灶部位提取組學(xué)特征后篩選獲得多維組學(xué)特征組，利用多維組學(xué)特征組在病灶未知的CT上獲得病灶候選區(qū)。擴(kuò)散生成對(duì)抗模塊將病灶候選區(qū)可視化的特征圖與CT相結(jié)合生成有病灶信息的MRI。

圖1 本文算法總體結(jié)構(gòu)Fig.1 Overall structure of algorithm in this paper

2.1 組學(xué)模塊

急性缺血性腦卒中病灶在CT 上表現(xiàn)不明顯。研究表明，病灶組織與正常組織的組學(xué)特征有明顯差異，但是CT 上的病灶位置是未知的，無(wú)法在CT 上通過(guò)影像組學(xué)準(zhǔn)確地將病灶分割出來(lái)。但是，使用多尺度錨框的方法，通過(guò)CT 上錨框之間組學(xué)特征的差異劃分出一個(gè)病灶候選區(qū)是可行的［6］。因此，本文首先將真實(shí)病灶作為ROI 在CT 上提取影像組學(xué)特征，通過(guò)特征選擇得到一組最能代表病灶位置的特征，最后利用未知病灶的CT 錨框間的特征差異選擇出一個(gè)病灶候選區(qū)域，如圖1（a）所示的組學(xué)模塊。

2.1.1 特征提取

將真實(shí)病灶作為ROI 在CT 上使用PyRadiomics提取影像組學(xué)特征，共提取出病灶的組學(xué)特征1 325 個(gè)，去除無(wú)用特征，最終得到1 283 個(gè)特征。

2.1.2 特征篩選

信息熵是篩選特征的常用指標(biāo)，表示在一定條件下不確定性的遞減。特征包含信息量越大，特征越重要。計(jì)算特征信息量的方法如下：

其中：X表示特征值；Y表示隨機(jī)變量是否為病灶；IIG(Xi，Y)表示信息增益（IG）在特征X的情況下事件Y的不確定性降低的程度。分別計(jì)算每個(gè)特征對(duì)應(yīng)的信息增益，通過(guò)不同的閾值選擇的特征個(gè)數(shù)如表1所示。信息增益大于0.4 的組學(xué)特征共有10 個(gè)，如表2 所示。通過(guò)初步篩選后，計(jì)算這10 個(gè)特征兩兩間的皮爾遜相關(guān)系數(shù)，篩選出線性相關(guān)性最弱的特征作為在CT 上選擇候選區(qū)域的依據(jù)，圖2 所示為特征相關(guān)性的熱力圖。

表1 信息增益閾值篩選組學(xué)特征 Table 1 Information gain threshold filter radiomics features

表2 信息增益大于0.4 的組學(xué)特征 Table 2 Radiomics features with information gain greater than 0.4

圖2 組學(xué)特征相關(guān)性熱力圖Fig.2 Correlation heat map of radiomics feature

相關(guān)系數(shù)的計(jì)算公式如下：

其中：X和Y表示特征；xi和yi表示特征值；表示特征的均值。一般地，認(rèn)為當(dāng)相關(guān)系數(shù)|r| ≥0.8 時(shí)，表示2 個(gè)變量之間高度相關(guān)。組學(xué)特征相關(guān)性系數(shù)大于0.8 的特征對(duì)分別為：ρF4F5=1，ρF3F6=0.98，ρF4F7=0.97，ρF5F7=0.97，ρF8F9=0.94，ρF2F9=0.88，ρF2F8=0.83，ρF2F7=0.82，ρF1F9=0.81。綜上，可以將所有特征分為3 組：F1，F(xiàn)2，F(xiàn)4，F(xiàn)5，F(xiàn)7，F(xiàn)8，F(xiàn)9；F3，F(xiàn)6；F10。第1 組 中F1的信息增益最大，因此從第1 組中選擇F1；第2 組中ρF1F6=0.22，相關(guān)性極弱，因此從第2 組中選擇F6；第3 組中選擇F10。最終選擇F1、F6和F103 個(gè)特征作為多維影像組學(xué)特征組。

2.1.3 病灶檢測(cè)

影像組學(xué)特征在腦卒中患者CT 病灶上有明顯差異，但由于病灶位置未知，因此通過(guò)多尺度錨框的方法在CT 上劃分病灶候選區(qū)域。為了提升病灶檢測(cè)效率，將病灶未知的CT 分為4 個(gè)區(qū)域，分別對(duì)4 個(gè)區(qū)域提取組學(xué)特征計(jì)算區(qū)域?qū)?yīng)的特征值Fvalue。Fvalue計(jì)算公式如式（5）所示：

其中：α、β和γ為比例系數(shù)，由表2 中F1、F6和F10對(duì)應(yīng)的信息增益歸一化后得出。由于病灶與正常組織在CT 上的差異較為明顯，因此當(dāng)4 個(gè)區(qū)域內(nèi)某區(qū)域特征值與其他3 個(gè)區(qū)域差異明顯時(shí)表示該區(qū)域內(nèi)包含病灶。區(qū)域之間的特征差異性使用方差進(jìn)行量化，方差公式如式（6）所示：

其中：i表示區(qū)域序號(hào)；n表示區(qū)域個(gè)數(shù)；表示除i區(qū)域外其余區(qū)域的特征均值；xj表示j區(qū)域內(nèi)的特征值。當(dāng)Di(X)最小時(shí)說(shuō)明i區(qū)域?yàn)樘卣鞑町愖畲蟮膮^(qū)域，表示當(dāng)前i區(qū)域內(nèi)包含病灶。在i區(qū)域內(nèi)生成多個(gè)尺度在0.15～0.8 之間的錨框，分別計(jì)算各個(gè)錨框的特征值，并計(jì)算各個(gè)錨框特征值的差異，選出差異最大的錨框作為病灶候選區(qū)。

2.2 擴(kuò)散生成對(duì)抗模塊

擴(kuò)散生成對(duì)抗模塊由前向過(guò)程與反向過(guò)程組成。為了加快擴(kuò)散模型的采樣速度，在前向過(guò)程的中大步長(zhǎng)中加入噪聲。

前向過(guò)程：在輸入圖像x0～q(x0)上重復(fù)T步，添加步長(zhǎng)為k的高斯噪聲，第t步的圖像樣本表示為xt～q(xt|xt-k)。用公式可以表示為［9］：

其中：γt表示噪聲方差；k表示步長(zhǎng)；T表示添加噪聲的步數(shù)表示噪聲方差指數(shù)的上界和下界。真實(shí)MRI 的前向過(guò)程如圖1（b）中的前向過(guò)程所示，其中第t步的 MRI 分布表示為：

生成器（G）的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。輸入圖像與輸出圖像之間雖然表達(dá)的信息不同但存在潛在的關(guān)系，因此，生成 器網(wǎng)絡(luò)使 用UNet［27］網(wǎng)絡(luò)，增加跳躍連接獲得高級(jí)語(yǔ)義信息，從而提高生成圖像的質(zhì)量。生成器共由6 個(gè)下采樣塊（DownSample Block）與6 個(gè)上采樣塊（UpSample Block）組成。如圖4（a）所示，下采樣塊由3 個(gè)殘差塊與1 個(gè)3×3 卷積塊組成；上采樣塊則由4 個(gè)殘差塊組成，如圖4（b）所示；殘差塊［28］（ResBlock）結(jié)構(gòu)如圖4（c）所示，其中Sample 表示采樣，當(dāng)ResBlock 處于下采樣塊中時(shí)表示為下采樣操作，當(dāng)處于上采樣塊中時(shí)表示為上采樣操作；時(shí)間塊（Time Block）表示時(shí)間t通過(guò)32 維正弦位置編碼（Time embedding）后經(jīng)過(guò)兩層全連接（linear）層［29］，得到時(shí)間嵌入（temb），再通過(guò)全連接（linear）將temb 與殘差 塊（ResBlock）特征圖的通道、分辨率匹配，最后將temb 加入到殘差塊中，如圖4（d）所示。鑒別器網(wǎng)絡(luò)結(jié)構(gòu)由6 個(gè)下采樣塊的卷積主干組成。每個(gè)下采樣塊由2 個(gè)殘差塊組成，并將特征圖分辨率減少1/2。時(shí)間嵌入的方法與生成器的嵌入方法相同。

圖3 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of generator

圖4 生成器部分模塊結(jié)構(gòu)Fig.4 Structure of generator partial module

2.3 損失函數(shù)

本文將擴(kuò)散模型的前向加噪過(guò)程加入到GAN 網(wǎng)絡(luò)中，生成器生成經(jīng)過(guò)加噪擴(kuò)散過(guò)程后得第t-k步的MRI分布為真實(shí)的 MRI 擴(kuò)散第t-k步 的 MRI 分布為模型的損失函數(shù)如下：

其中：G 表示生成器；D 表示鑒別器；E表示隨機(jī)變量概率分布的期望，t～U({0，k，…，T})；表示真實(shí)MRI加噪第t步的圖 像樣本；代表鑒別器鑒別真實(shí)圖像為真的概率；代表鑒別器鑒別生成圖像為真的概率。

為了讓生成MRI 與真實(shí)MRI 更接近，在GAN 網(wǎng)絡(luò)對(duì)抗損失的基礎(chǔ)上加入L1損失，從像素上對(duì)圖像全局進(jìn)行約束。L1損失如下：

其中：‖ ‖·1表示L1 范數(shù)。為了學(xué)習(xí)到MRI 圖像上更多的邊緣信息，使生成的MRI 在邊緣上更加接近于真實(shí)MRI，于是引入梯度損失LGDL，公式如下：

模型總體損失函數(shù)Ltotal由LGLD對(duì)抗損失函數(shù)、L1全局損失函數(shù)以及LGDL梯度損失函數(shù)組成。Ltotal定義如下：

其中：λ1、λ2為損失函數(shù)的加權(quán)系數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)在ISLES2018 數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本文方法的有效性。本節(jié)主要分為以下4 個(gè)部分：數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置，評(píng)價(jià)指標(biāo)，模型評(píng)估以及消融實(shí)驗(yàn)。

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文數(shù)據(jù)集來(lái)自ISLES2018 挑戰(zhàn)賽，包含有103 例急性腦卒中患者的數(shù)據(jù)，這些患者在急性缺血性腦卒中發(fā)作后8 h 內(nèi)就診，并在CTP 成像后3 h 內(nèi)接受MRI（DWI）。訓(xùn)練集中有63 例病例，每個(gè)病例均有原始CT、4 張CTP 參數(shù)圖、DWI 和1個(gè)由醫(yī)生手工劃定的病變區(qū)域標(biāo)簽。測(cè)試集包含40 例患者，不包括DWI 與病變區(qū)域標(biāo)簽。本文實(shí)驗(yàn)中只用到了訓(xùn)練集中CT 與MRI 2 個(gè)模態(tài)的配準(zhǔn)數(shù)據(jù)，以及超過(guò)10 年經(jīng)驗(yàn)的中風(fēng)專家手工劃定的病灶。去除訓(xùn)練集中無(wú)病灶的數(shù)據(jù)后，共211 個(gè)樣本，以6∶2∶2 的比例分割數(shù)據(jù)，分別作為本模型的訓(xùn)練集、驗(yàn)證集與測(cè)試集。

本文的實(shí)驗(yàn)基于Tython3.8.10 的深度學(xué)習(xí)工具PyTorch1.12.1 開(kāi)發(fā)。模型訓(xùn)練使用Ubuntu 64 bit NVIDIA Station 服務(wù)器，配備了Intel Xeon E5 2620 v4處理器，128 GB 內(nèi)存以及4 臺(tái)Tesla V100 顯卡，每個(gè)顯卡有32 GB 顯存。模型訓(xùn)練生成器G 和鑒別器D 訓(xùn)練450 個(gè)epoch，輸入輸出圖像大小為256×256 像素，優(yōu)化器使用Adam，學(xué)習(xí)率為10-4，T為1 000，步長(zhǎng)k為250，則總共有，噪聲方 差上下界為

3.2 評(píng)價(jià)指標(biāo)

急性缺血性腦卒中CT 生成MRI 要與真實(shí)MRI比較，定量分析生成MRI 的圖像質(zhì)量。本文使用峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）、Pearson相關(guān)系數(shù)（PCC）3 個(gè)指標(biāo)評(píng)價(jià)生成的MRI。為了評(píng)估生成的MRI 中病灶的準(zhǔn)確性，還對(duì)生成MRI 中病灶部位與真實(shí)病灶部位使用互信息（MI）評(píng)價(jià)生成病灶的真實(shí)性。

PSNR 通過(guò)計(jì)算生成圖像與真實(shí)圖像之間像素誤差的全局大小來(lái)衡量圖像質(zhì)量好壞，生成圖像質(zhì)量越好，值越大。SSIM 表示相鄰像素之間的關(guān)聯(lián)性，是全局的圖像相似性的評(píng)價(jià)指標(biāo)，圖像相似度越高，值越大。PCC 表示生成MRI 與真實(shí)MRI 之間的相關(guān)性，如果兩者之間相關(guān)性的絕對(duì)值大于0.8，則認(rèn)為兩者高度相關(guān)。

這些評(píng)價(jià)指標(biāo)廣泛應(yīng)用于CT 到MRI 轉(zhuǎn)換的任務(wù)，定義如下：

其中：n表示圖像像素總數(shù)；MMAX表示真實(shí)MRI 與生成MRI 之 間最大的像素 值；μx和μy表示真 實(shí)MRI 與生成MRI 像素值的均值；表示真實(shí)MRI 與生成MRI 像素值的方差；c1與c2為兩個(gè)穩(wěn)定算法的常數(shù)；ρXY中的X和Y表示真實(shí)MRI 與生成MRI；xi和yi表示真實(shí)MRI 與生成MRI 的像素值；-X和-Y表示像素的均值。

同時(shí)為了驗(yàn)證生成MRI 與真實(shí)MRI 在病灶區(qū)域內(nèi)的相似性，本文引入MI 評(píng)價(jià)生成MRI 的病灶區(qū)域的真實(shí)性。MI表示生成MRI病灶區(qū)域內(nèi)的病灶信息與真實(shí)MRI 病灶區(qū)域內(nèi)的病灶信息的相似性，MI 越大表示真實(shí)病灶區(qū)域與生成病灶區(qū)域越接近，相似性越高，生成的病灶越真實(shí)。定義如下：

其中：MMIX，Y表示生成MRI病灶區(qū)域與真實(shí)MRI 的病灶區(qū)域之間的互信息；pX，Y(x，y)表 示2 個(gè)區(qū)域 之間像素的聯(lián)合分布；pX(x)、pY(y)分別表示生成MRI的病灶區(qū)域與真實(shí)MRI 的病灶區(qū)域像素的邊緣分布。

3.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文急性缺血性腦卒中算法的性能，選取3 種當(dāng)前流行的MRI 生成網(wǎng)絡(luò)Syndiff［9］、CycleGAN 和Pix2pixRes［6］與本文方法進(jìn)行比較。本文將組學(xué)獲得的病灶候選區(qū)作為先驗(yàn)信息輸入模型，從而使生成的MRI 中呈現(xiàn)病灶，同時(shí)利用梯度損失函數(shù)對(duì)生成的MRI 進(jìn)行整體約束，使其邊緣細(xì)節(jié)更接近真實(shí)圖像。評(píng)估指標(biāo)結(jié)果如表3 所示，其中，表3 分別對(duì)生成MRI 全圖（ALL MRI）和病灶區(qū)域（Lesion area）進(jìn)行評(píng)估。此外，生成結(jié)果可視化如圖5 所示，使用差異圖和病灶細(xì)節(jié)圖作為輔助信息，直觀地顯示了真實(shí)MRI 與生成MRI 之間的差異。在所有方法中，本文方法對(duì)生成MRI 圖像整體與病灶區(qū)域的評(píng)估指標(biāo)均為最佳，這表明生成MRI 的圖像質(zhì)量以及病灶區(qū)域與真實(shí)病灶區(qū)域相似度均有優(yōu)秀的表現(xiàn)。此外，本文方法生成的MRI 差異圖顏色最淺，表明本文方法生成的結(jié)果與真實(shí)結(jié)果高度相似，優(yōu)于其他方法。

表3 對(duì)比實(shí)驗(yàn)定量分析 Table 3 Comparative experiment quantitative analysis

圖5 對(duì)比實(shí)驗(yàn)可視化結(jié)果Fig.5 Visualization results of comparative experiments

3.4 消融實(shí)驗(yàn)

本文通過(guò)3 組消融實(shí)驗(yàn)和1 組可視化對(duì)比實(shí)驗(yàn)，驗(yàn)證組學(xué)模塊在CT 上定位病灶候選區(qū)域（組學(xué)特征圖fmap）和梯度損失LGDL的有效性。評(píng)估指標(biāo)結(jié)果如表4所示，表中包括對(duì)MRI 整體（ALL MRI）以及病灶區(qū)域（Lesion area）的評(píng)估，其中，+GDL 表示在DiffusionGAN 的模型上加入梯度損失，+fmap表示在DiffusionGAN 的模型上加入病灶特征圖，可視化對(duì)比實(shí)驗(yàn)結(jié)果如圖6 所示，圖中奇數(shù)行每列分別表示CT、fmap、RealMRI以及DiffusionGAN、加入梯度損失、加入特征圖和兩者全部加入生成MRI，偶數(shù)行表示對(duì)應(yīng)方法生成MRI與真實(shí)MRI之間的差異圖。

表4 消融實(shí)驗(yàn)定量分析 Table 4 Ablation experiment quantitative analysis

圖6 消融實(shí)驗(yàn)可視化結(jié)果Fig.6 Visualization results of ablation experiment

1）組學(xué)模塊病灶特征圖有效性驗(yàn)證。將組學(xué)模塊得出的fmap作為通道與CT 輸入模型，指導(dǎo)CT 生成MRI，使模型更關(guān)注病灶部位。為驗(yàn)證組學(xué)模塊得出的組學(xué)特征圖fmap的效果，將fmap添加到DiffusionGAN 中。從表4可以得出，此時(shí)病灶部位的指標(biāo)MI 有明顯提升，從圖6（f）與圖6（d）可以看出，加入fmap后生成的結(jié)果中病灶位置正確，病變明顯且差異圖的病灶區(qū)域顏色明顯變淺，表明加入特征圖后生成圖像的病灶部位與真實(shí)病灶部位接近。

2）梯度損失的有效性驗(yàn)證。梯度損失LGDL的引入使生成MRI 邊緣更接近真實(shí)MRI。如表4所示，引入LGDL后生成MRI 的結(jié)構(gòu)相似性指標(biāo)SSIM有明顯提升。由圖6（e）與圖6（d）可以看出，生成的MRI 的邊緣部位更加清晰，差異圖中邊緣部位的顏色明顯變淺表示生成MRI 與真實(shí)MRI 更為相似。

3）組學(xué)特征圖fmap與梯度損失LGDL同時(shí)作用的效果驗(yàn)證。為驗(yàn)證組學(xué)特征圖fmap與梯度損失LGDL同時(shí)作用的效果，將兩者都添加到DiffusionGAN中。從圖7 損失函數(shù)可以看出，將兩者同時(shí)加入模型可以加速模型收斂。

圖7 損失曲線Fig.7 Loss curve

從表4 可以看出生成MRI 在整體上和病灶部分均為最優(yōu)。生成MRI 可視化結(jié)果如圖6（g）所示，生成的圖像與真實(shí)MRI 差異很小，病灶明顯，病灶位置正確，病灶形狀相似，可作為醫(yī)生診斷的參考。

綜上所述，本文方法在保證生成MRI 圖像質(zhì)量的同時(shí)，有目的地突出病灶區(qū)域的特征和MRI 圖像邊緣的保留，使生成MRI 與真實(shí)MRI 相似，這得益于組學(xué)模塊與梯度損失函數(shù)的設(shè)計(jì)。

3.5 醫(yī)生陽(yáng)性/陰性鑒別

通過(guò)3 名放射科醫(yī)生分別對(duì)測(cè)試集上CT、生成MRI（S_MRI）、CT 與S_MRI 相結(jié)合3 種情況做出陽(yáng)性/陰性診斷。陽(yáng)性表示發(fā)現(xiàn)腦卒中病變，陰性表示未發(fā)現(xiàn)腦卒中病變。3 名醫(yī)生來(lái)自太原市中心醫(yī)院，分別有10 年、5 年和3 年的放射科經(jīng)驗(yàn)。3 種情況下的準(zhǔn)確率如式（21）所示：

其中：TTP與TTN表示陽(yáng)性/陰性分類正確的樣本個(gè)數(shù)；FFP與FFN表示陽(yáng)性/陰性分類錯(cuò)誤的樣本個(gè)數(shù)。醫(yī)生珍斷得出的準(zhǔn)確率如表5 所示，在加入特征圖以及梯度損失后本文生成的MRI 與CT 相結(jié)合后腦卒中的檢出率與準(zhǔn)確率有了明顯提升，表明本文方法生成MRI 可以提高診斷準(zhǔn)確率。

表5 陽(yáng)性/陰性診斷的準(zhǔn)確率Table 5 Accuracy of positive/negative judgment %

4 結(jié)束語(yǔ)

急性缺血性腦卒中病灶在MRI 上較CT 更加敏感，多數(shù)病灶可在MRI 上清晰呈現(xiàn)。然而由于MRI的耗時(shí)性以及其特殊場(chǎng)景的不可獲得性（患者體內(nèi)有金屬植入物等），使得MRI 的應(yīng)用受到了很大限制。本文將擴(kuò)散模型與GAN 相結(jié)合并引入影像組學(xué)，提出基于影像組學(xué)與擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)的急性缺血性腦卒中CT 生成MRI 的算法。從CT 中獲得急性缺血性腦卒中病變的組學(xué)特征，通過(guò)特征篩選得到一組特征線性無(wú)關(guān)組表示這一病變的組學(xué)特征。根據(jù)特征線性無(wú)關(guān)組在CT 上使用多尺度錨框的方式選擇病灶候選區(qū)域，提取病灶候選區(qū)的組學(xué)特征作為特征圖與CT 輸入到擴(kuò)散生成對(duì)抗網(wǎng)絡(luò)中。在生成器中引入梯度損失函數(shù)，在全局上約束生成MRI 保留真實(shí)MRI 的紋理細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明，生成的MRI 上可以明顯看到病變，能夠?yàn)獒t(yī)生的診斷治療提供參考。然而受限于設(shè)備成本、病人隱私等，急性缺血性腦卒中數(shù)據(jù)很少，因此需要更多患者對(duì)模型進(jìn)行測(cè)試，以驗(yàn)證模型的有效性與魯棒性。下一步可將患者的臨床診斷信息與影像信息相結(jié)合，從而提升組學(xué)模塊對(duì)病灶定位的準(zhǔn)確性。在臨床中，急性缺血性腦卒中的病灶由中心壞死區(qū)與半暗帶組成，及時(shí)進(jìn)行保護(hù)有可能使半暗帶區(qū)域存活下來(lái)，未來(lái)將通過(guò)生成MRI 將病灶區(qū)域準(zhǔn)確分割，區(qū)分壞死區(qū)與半暗帶區(qū)域。