基于并行雙域級聯(lián)卷積網(wǎng)絡(luò)的磁共振圖像重建

袁針云 冉茂松 劉松

（四川大學(xué)計(jì)算機(jī)學(xué)院 四川省成都市 610065）

1 引言

磁共振成像(Magnetic Resonance Imaging, MRI)是一種利用核磁共振原理的廣泛應(yīng)用于臨床的診斷技術(shù)，揭示人體內(nèi)部結(jié)構(gòu)和生理功能，對實(shí)質(zhì)器官、心臟和血管有絕佳的成像效果，與其他檢查方法相比具有多參數(shù)、高質(zhì)量、高分辨率、非侵入等特點(diǎn)。但核磁共振成像技術(shù)在捕獲快速變化的信號上表現(xiàn)乏力，成像時(shí)間長成為影響該技術(shù)發(fā)展的主要瓶頸，是學(xué)者立志突破的關(guān)鍵技術(shù)點(diǎn)。數(shù)據(jù)采集過程的空間有限和時(shí)間冗長，都讓患者感到不適難以維持靜態(tài)，造成更多的復(fù)雜的運(yùn)動(dòng)偽影。因此，縮短核磁共振成像時(shí)間至關(guān)重要。

改變硬件結(jié)構(gòu)和基于壓縮感知理論是兩種傳統(tǒng)的減少成像時(shí)間的方法。其中改變硬件結(jié)構(gòu)主要使用基于多線圈的并行成像技術(shù)[1-2]，該技術(shù)利用包含信號源和空間位置信息的多線圈的敏感度信息加快梯度場編碼。但多線圈受物理制造技術(shù)限制且成本昂貴，易刺激病患神經(jīng)和干擾心腦電。

近幾年來，深度學(xué)習(xí)在核磁共振重建上取得了良好的性能和突破性的進(jìn)展，受到人們的廣泛關(guān)注，是該領(lǐng)域的熱門研究方法?；谏疃葘W(xué)習(xí)的核磁共振圖像重建可以概括為四大類，如圖1。

本文的主要貢獻(xiàn)如下：

（1）與大多數(shù)現(xiàn)有的單域的重建方法不同，我們提出了一種新的醫(yī)學(xué)圖像重建框架，使用并行雙域數(shù)據(jù)來重建圖像。

（2）我們的模型用特征提取網(wǎng)絡(luò)捕獲特征，并利用圖像域和頻域之間的相關(guān)性將不同域的特征進(jìn)行融合。

（3）提出了一種新的融合模塊，有效地提高了融合性能。

本文結(jié)構(gòu)組織如下：第二節(jié)中，我們將詳細(xì)描述所提出的方法。第三節(jié)介紹實(shí)驗(yàn)結(jié)果以及與其他方法的性能比較。最后，在第四節(jié)中進(jìn)行總結(jié)。

2 方法

2.1 基于壓縮感知的圖像重建

圖像重建或者恢復(fù)的正演模型是典型的求解逆問題，目的是從y 重建出x，如下：

其中x∈CN表示要重建的2D 目標(biāo)圖像，由個(gè)像素點(diǎn)構(gòu)成。Fu∈CM×N(M?N)表示欠采樣的傅里葉編碼矩陣。ε 表示獲取產(chǎn)生的噪聲。最后，y∈CM表示k 空間的欠采樣測量。

基于傳統(tǒng)的壓縮感知的圖像重建方法利用x 的先驗(yàn)信息把公式（1）中的不適應(yīng)問題轉(zhuǎn)化為無約束優(yōu)化問題：

公式（2）的左邊部分是數(shù)據(jù)保真項(xiàng)，右邊部分是正則項(xiàng)。其中λ 表示正則參數(shù)，R 通常使用L0或者L1范數(shù)。

深度學(xué)習(xí)在許多領(lǐng)域都表現(xiàn)出了良好性能?；谏疃葘W(xué)習(xí)的問題公式化表達(dá)如下：

圖1：基于深度學(xué)習(xí)的核磁共振圖像重建

2.2 提出的方法

網(wǎng)絡(luò)整體的結(jié)構(gòu)示意圖如圖2(a)所示，欠采樣頻域和欠采樣圖像域數(shù)據(jù)作為輸入，重建圖作為輸出。整體分為五個(gè)階段，其中階段1~4 結(jié)構(gòu)完全相同，作用于偽影減少和細(xì)節(jié)恢復(fù)，階段5 在融合模塊的輸入和輸出上略微不同。箭頭表示數(shù)據(jù)流方向，雙域數(shù)據(jù)進(jìn)行并行處理。不同域所用模塊結(jié)構(gòu)相同，但不共享參數(shù)。

特征提取器的展開結(jié)構(gòu)圖，如圖2(b)所示。特征提取器采用殘差結(jié)構(gòu)，由4 個(gè)卷積層、批量標(biāo)準(zhǔn)化層和激活層構(gòu)成。卷積層的卷積核大小為3×3，步長為1，填充為1，通道從左往右依次為32，64，32，2，LeakyRelu 作為激活函數(shù)。由于核磁共振圖像數(shù)據(jù)通常為復(fù)值，由實(shí)部和虛部兩部分構(gòu)成，所以輸入通道數(shù)為2。輸入和其經(jīng)過特征提取器后的輸出，圖像尺寸和通道數(shù)均不變。

數(shù)據(jù)一致性層又稱DC 層的公式如（4）所示，x 是上層特征提取器的輸出，也是該數(shù)據(jù)一致性層的輸入。其中，DC(x)表示數(shù)據(jù)一致性層的輸出，λ=0.1 表示超參，y 表示K 空間的欠采樣測量，F(xiàn)表示傅里葉變換，IF 表示傅里葉逆變換，最后M 表示采樣掩碼，是由01 構(gòu)成的二維矩陣。DC 層公式的大體部分是相同的，主要區(qū)別在于x 為頻域還是圖像域。當(dāng)x 為頻域時(shí)，直接帶入公式；當(dāng)x為圖像域時(shí)，需要先對x 做傅里葉變換再帶入公式，以及最后做傅里葉逆變換。

圖2：整體結(jié)構(gòu)圖

融合模塊的展開結(jié)構(gòu)圖，如圖2(c)所示。為了結(jié)構(gòu)圖簡單明了，圖中省略了傅里葉變換和傅里葉逆變換的操作。若融合模塊的目標(biāo)是融合后的輸出是頻域數(shù)據(jù)，則輸入中的圖像域數(shù)據(jù)要先經(jīng)過傅里葉變換到頻域。同理，若融合模塊的目標(biāo)是融合后的輸出是圖像域數(shù)據(jù)，則輸入中的頻域數(shù)據(jù)要先經(jīng)過傅里葉逆變換到圖像域。輸入數(shù)據(jù)的通道數(shù)2 分別表示復(fù)值數(shù)據(jù)的實(shí)部和虛部，拼接后的雙域數(shù)據(jù)通道數(shù)為4，再由基于通道注意力機(jī)制的模塊進(jìn)行處理，處理前后的數(shù)據(jù)尺寸和通道數(shù)均不變。通道注意力機(jī)制自適應(yīng)選擇權(quán)重，能讓網(wǎng)絡(luò)學(xué)習(xí)更為重要的部分，有利于雙域數(shù)據(jù)融合成單域。之后再把對應(yīng)的實(shí)部和虛部數(shù)據(jù)進(jìn)行相加，相加后的實(shí)部和虛部進(jìn)行拼接作為整個(gè)融合模塊的輸出。

為了提高重建質(zhì)量，損失函數(shù)由三部分構(gòu)成除了對應(yīng)頻域和圖像域的均方誤差（mean-square error, MSE）外，還有感知VGG 損失，見公式（7）。公式（5）為圖像域的均方誤差，其中xt表示原圖的圖像域數(shù)據(jù)，為重建圖的圖像域數(shù)據(jù)。公式（6）為頻域的均方誤差，其中yt和分別對應(yīng)xt和的頻域。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集和訓(xùn)練設(shè)置

本文使用公共腦部數(shù)據(jù)集(https://sites.google.com/view/calgarycampinas-dataset/home/mr-reconstruction-challenge) 來訓(xùn)練和測試網(wǎng)絡(luò)。預(yù)處理時(shí)對數(shù)據(jù)進(jìn)行了歸一化，數(shù)值范圍0~255，圖像尺寸255*255。網(wǎng)絡(luò)的訓(xùn)練使用了來自25 個(gè)病人的4254 張2D 圖片，而測試使用了來自10 個(gè)病人的1700 張2D 圖片。

Adam 作為優(yōu)化器，學(xué)習(xí)率為5e-5，提出的模型的所有實(shí)驗(yàn)基于PyTorch 框架，在擁有一張GPU（GTX2080）的Windows 操作系統(tǒng)上進(jìn)行。

為了評估所提方法的性能，所提方法與其他三種先進(jìn)的方法進(jìn)行了對比實(shí)驗(yàn)。定量指標(biāo)采用了峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity ，SSIM）。U-Nets[14]是一種用于單線圈和多線圈的級聯(lián)神經(jīng)網(wǎng)絡(luò)。ADMM-CSNet[15]是一種傳統(tǒng)的基于壓縮感知的迭代方法。FusionNet[16]是一種基于深度學(xué)習(xí)和壓縮感知的雙域方法。

3.2 對比實(shí)驗(yàn)

本節(jié)主要描述提出的方法和其他先進(jìn)的方法進(jìn)行對比實(shí)驗(yàn)的過程和結(jié)果，驗(yàn)證所提出的網(wǎng)絡(luò)的視覺性能和定量指標(biāo)，后文將提出的并行雙域級聯(lián)卷積網(wǎng)絡(luò)簡稱為PDNet。實(shí)驗(yàn)中所用的M 采樣掩碼有兩種采樣模式（笛卡爾和徑向）和兩種采樣率（10%和20%）。所有方法都有良好的去偽影效果，其中提出的PDNet 在細(xì)節(jié)之處更能保持特征、減少誤差。

定量指標(biāo)使用了峰值信噪比和結(jié)構(gòu)相似性度量。與級聯(lián)神經(jīng)網(wǎng)絡(luò)U-Nets 和傳統(tǒng)的迭代方法ADMM-CSNet 相比，雙域網(wǎng)絡(luò)利用了頻域和圖像域之間的相關(guān)性對細(xì)節(jié)有更精準(zhǔn)的重建效果。與FusionNet 同為雙域數(shù)據(jù)處理的PDNet 采用了具有注意力機(jī)制的融合模塊能有效提取感興趣的部分，得到更好的融合效果。PDNet 在不同的采樣策略中獲得了最高的指標(biāo)分?jǐn)?shù)，這說明提出的方法具有良好的泛化能力。

4 總結(jié)

總而言之，本文提出了一種新的基于深度學(xué)習(xí)和壓縮感知的并行雙域級聯(lián)卷積網(wǎng)絡(luò)用于核磁共振快速重建。該網(wǎng)絡(luò)并行處理頻域和圖像域的數(shù)據(jù)且交叉融合，采用具有注意力機(jī)制的融合模塊。實(shí)驗(yàn)結(jié)果表明，該方法在不同的采樣方法和采樣率上能有效抑制偽影，降低復(fù)雜度，保留細(xì)節(jié)，具有更強(qiáng)的泛化能力。未來的工作將拓展更多的采樣策略和對比方法，注重于動(dòng)態(tài)的核磁共振圖像重建。