基于梯度域的多對(duì)比度磁共振成像重建

劉且根，鄧 濤，官 瑜

(南昌大學(xué)信息工程學(xué)院，江西 南昌 330031)

多對(duì)比度磁共振成像是磁共振成像技術(shù)的重要增強(qiáng)技術(shù)，它在更好地為臨床診斷服務(wù)的同時(shí)具有清晰的解剖結(jié)構(gòu)可視圖[1]。然而，多對(duì)比度磁共振成像需要采集不同對(duì)比度下的多幅圖像，且參數(shù)成像對(duì)生理運(yùn)動(dòng)更為敏感，因此導(dǎo)致掃描時(shí)間較長(zhǎng)。同時(shí)，多對(duì)比度磁共振成像速度過(guò)慢影響了臨床吞吐量，也給患者帶來(lái)不適。綜上所述，解決多對(duì)比度磁共振成像重建時(shí)間長(zhǎng)、重建質(zhì)量下降等問(wèn)題迫在眉睫。

在過(guò)去的十年里，加速多對(duì)比度磁共振成像越來(lái)越受到人們的關(guān)注，并在各種不同的場(chǎng)景下進(jìn)行了深入研究[1-5]。解決方法主要分為兩類，即經(jīng)典的迭代方法和深度學(xué)習(xí)方法。在經(jīng)典的迭代方法中，許多形式的先驗(yàn)信息被提出用于多對(duì)比度磁共振成像重建，如小波先驗(yàn)信息、全局或局部尺度先驗(yàn)信息和字典學(xué)習(xí)先驗(yàn)信息。文獻(xiàn)[6]研究了基于圖像塊的冗余小波變換下的多對(duì)比度磁共振圖像的聯(lián)合稀疏性，實(shí)現(xiàn)了多對(duì)比度磁共振圖像的聯(lián)合稀疏重構(gòu)。同時(shí)，文獻(xiàn)[7]利用高冗余信息聯(lián)合重建了多對(duì)比度磁共振圖像，結(jié)合了基于塊的良好表示性能并充分利用了高階張量分解重建低秩圖像的潛力。類似地，文獻(xiàn)[8]提出了一種基于塊的非局部算子，該算子利用多對(duì)比度磁共振圖像之間和圖像內(nèi)部的相似性。此外，文獻(xiàn)[9]提出了一種基于耦合字典學(xué)習(xí)的多對(duì)比度磁共振成像重建方法，通過(guò)利用不同對(duì)比度之間的依賴相關(guān)性，進(jìn)而從欠采樣K空間數(shù)據(jù)中進(jìn)行引導(dǎo)或聯(lián)合重建。

深度學(xué)習(xí)作為當(dāng)下獲取圖像先驗(yàn)信息的一種普遍方法，如今也被用來(lái)進(jìn)一步加速多對(duì)比度磁共振成像速度[10,11]。例如，文獻(xiàn)[12]提出的用于多對(duì)比度磁共振成像重建的深度學(xué)習(xí)網(wǎng)絡(luò)模型通過(guò)特征共享單元來(lái)實(shí)現(xiàn)圖像先驗(yàn)信息共享。文獻(xiàn)[13]引入了一種深殘差網(wǎng)絡(luò)X-net和Y-net，其目的是將兩幅不同對(duì)比度圖像的信息同時(shí)作為輸入，最終通過(guò)欠采樣圖像重建出全采樣圖像。文獻(xiàn)[14]提出了一種基于條件生成對(duì)抗網(wǎng)絡(luò)的多對(duì)比度磁共振成像重建合成方法。該方法通過(guò)采用配準(zhǔn)多對(duì)比度圖像的像素塊損失和未配準(zhǔn)的多對(duì)比度圖像的周期一致性損失提高了合成性能。雖然上述的端對(duì)端有監(jiān)督深度學(xué)習(xí)已經(jīng)取得了令人滿意的結(jié)果，但它需要大量的成對(duì)多對(duì)比度磁共振圖像。更具體地說(shuō)，在網(wǎng)絡(luò)訓(xùn)練和測(cè)試過(guò)程中，經(jīng)常要求多對(duì)比度圖像的數(shù)量和類型是相同的。在現(xiàn)實(shí)臨床應(yīng)用中無(wú)疑是一種弊端。為了緩解有監(jiān)督深度學(xué)習(xí)靈活性和泛化能量的不足，無(wú)監(jiān)督深度學(xué)習(xí)的引入是一種很好的策略。

在本文中，我們避免了有監(jiān)督深度學(xué)習(xí)的缺陷，提出了一種新的無(wú)監(jiān)督深度學(xué)習(xí)方法用于多對(duì)比度磁共振成像重建，被稱為UDLGD。該方法的核心思想在于結(jié)合梯度域自適應(yīng)變換的有效泛化能力和無(wú)監(jiān)督深度學(xué)習(xí)的魯棒性[15-16]。這是第一個(gè)在梯度域中采用無(wú)監(jiān)督深度學(xué)習(xí)方式進(jìn)行多對(duì)比磁共振成像重建的工作。進(jìn)一步詳細(xì)說(shuō)明，UDLGD方法有三個(gè)關(guān)鍵特征：首先，考慮到多對(duì)比度圖像在梯度域中具有潛在的相似結(jié)構(gòu)，因此僅需通過(guò)不同的對(duì)比度圖像數(shù)量和采樣模式的設(shè)置，使用單對(duì)比度圖像訓(xùn)練所獲取的先驗(yàn)信息就可以應(yīng)用于多對(duì)比度圖像的重建過(guò)程。其次，分?jǐn)?shù)匹配網(wǎng)絡(luò)的訓(xùn)練不是在圖像域中進(jìn)行，而是分別取圖像的水平梯度圖和垂直梯度圖用于分?jǐn)?shù)匹配網(wǎng)絡(luò)的訓(xùn)練。采取這樣的訓(xùn)練方式的好處在于多對(duì)比度圖像的梯度域信息具備更好壓縮、更稀疏的特性，因此在一定程度上降低了分?jǐn)?shù)匹配網(wǎng)絡(luò)中參數(shù)的計(jì)算復(fù)雜度。最后由于先驗(yàn)信息是從單對(duì)比度圖像中訓(xùn)練獲取并應(yīng)用于多對(duì)比度圖像當(dāng)中，因此在重建過(guò)程中對(duì)輸入圖像的維數(shù)沒(méi)有限制。

1 主要算法和概念

下面介紹本文的主要算法和概念，主要包括研究動(dòng)機(jī)、梯度域中的分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型和重建算法。其基本步驟和原理如下：

1.1 所提算法理論背景

本文致力于在梯度域中估計(jì)無(wú)監(jiān)督深度學(xué)習(xí)先驗(yàn)來(lái)處理多對(duì)比度磁共振成像重建問(wèn)題。相應(yīng)地，這個(gè)估計(jì)問(wèn)題從數(shù)學(xué)角度可以被描述為：

s.t.yi=FΩixi

(1)

其中?表示梯度算子，而i則表示多對(duì)比度磁共振圖像的不同對(duì)比度圖像，最終待重建的多對(duì)比度圖像xi∈N×1則可以通過(guò)最小化公式(2)得到重建：

(2)

通過(guò)引入輔助變量ui，其中ui表示第i個(gè)對(duì)比度磁共振圖像的梯度圖，則最大后驗(yàn)重建就等效于解決公式(3)中最小化問(wèn)題：

(3)

在本文我們通過(guò)變量分離技術(shù)進(jìn)一步迭代更新求解公式(3)，最終最小化問(wèn)題被分解為兩個(gè)可迭代更替的子迭代步驟如下:

(4)高耦合度—低經(jīng)濟(jì)發(fā)展水平型。晉安區(qū)、福清市、閩侯縣和平潭縣，市轄區(qū)經(jīng)濟(jì)發(fā)展與縣域經(jīng)濟(jì)發(fā)展的耦合度較高，但其地區(qū)經(jīng)濟(jì)發(fā)展水平有待提高，地區(qū)產(chǎn)業(yè)結(jié)構(gòu)和資源要素開(kāi)發(fā)都需要進(jìn)一步加強(qiáng)。在此種情況下市轄區(qū)經(jīng)濟(jì)與縣域經(jīng)濟(jì)之間出現(xiàn)明顯的拮抗特征，在區(qū)域相互協(xié)調(diào)發(fā)展時(shí)，更需要注重自身經(jīng)濟(jì)水平的提高。

(4)

(5)

1.2 梯度域中的分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型

到目前為止，有很多方法采用生成模型來(lái)求解公式(4)。例如文獻(xiàn)[17]在原始的去噪分?jǐn)?shù)匹配方法中引入數(shù)據(jù)擾動(dòng)和退火朗之萬(wàn)動(dòng)力學(xué)，從而直接從數(shù)據(jù)分布估計(jì)先驗(yàn)。

(6)

(7)

其中λ(σl)>0是一個(gè)取決于σl的系數(shù)函數(shù)。

由于實(shí)際情況中的磁共振圖像都是復(fù)數(shù)的，因此我們需要在水平方向和垂直方向分別對(duì)實(shí)部和虛部進(jìn)行梯度運(yùn)算[18-19]。圖1中的訓(xùn)練過(guò)程詳細(xì)地展示了樣本數(shù)據(jù)的梯度域變換，以T1和T2兩種對(duì)比度磁共振圖像為例，我們正是以一個(gè)四通道變量作為分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型的輸入。同時(shí)值得注意的是，該網(wǎng)絡(luò)模型是直接由單模態(tài)圖像數(shù)據(jù)集訓(xùn)練出來(lái)的，這與時(shí)下最先進(jìn)的深度學(xué)習(xí)方法截然不同。

圖1 UDLGD算法用于多對(duì)比度磁共振成像重建流程圖Fig.1 Diagram of unsupervised deep learning in gradient domain (UDLGD) for multi-contrast MRI reconstruction

1.3 多對(duì)比度磁共振成像重建

當(dāng)單模態(tài)圖像數(shù)據(jù)分布的梯度先驗(yàn)信息被分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型在梯度域?qū)W習(xí)獲取到時(shí)，我們進(jìn)一步將該梯度先驗(yàn)以迭代更新和退火朗之萬(wàn)動(dòng)力學(xué)的方式融入到多對(duì)比磁共振成像重建中。

(8)

(9)

其中I表示全部的迭代步長(zhǎng)，?xxi和?yxi分別表示圖像的橫向梯度和縱向梯度。根據(jù)帕塞瓦爾定理F(?xxi)=(1-e-2πjω/m)Xi可得最終的K空間求解目標(biāo)函數(shù)為：

(10)

(11)

2 數(shù)據(jù)實(shí)驗(yàn)

在本次實(shí)驗(yàn)中，所提算法在PyTorch框架中使用Python語(yǔ)言實(shí)現(xiàn)。實(shí)驗(yàn)設(shè)備平臺(tái)配置如下：其中CPU為Intel(R) Core(TM) i7-4790K 4.00GHz；GPU為NVIDIA GTX1080，內(nèi)存為8G。為了驗(yàn)證算法的有效性和網(wǎng)絡(luò)模型的泛化能力，本實(shí)驗(yàn)分別和貝葉斯壓縮感知算法(BCS)[5]、GSMRI算法[20]以及FCSA-MT[21]算法等3種不同類型的算法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果與分析將在下文詳細(xì)說(shuō)明。

2.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)采用文獻(xiàn)[21]和文獻(xiàn)[5]中的活體T1和T2加權(quán)軸向腦部數(shù)據(jù)集進(jìn)行比較。該開(kāi)源數(shù)據(jù)集通過(guò)使用TSE切片在兩種不同TE設(shè)置下獲得：像素分辨率為128×128的38個(gè)切塊，2×2 mm面內(nèi)空間分辨率以及3 mm厚連續(xù)切片，像素分辨率為256×256的38個(gè)切塊，1×1 min面內(nèi)空間分辨率以及3厚連續(xù)切片。此外，我們還利用視野大小為21 cm、切片厚度為2.0 mm、矩陣大小為256×256的PD、T1和T2對(duì)比度體內(nèi)矢狀腦部數(shù)據(jù)集進(jìn)一步驗(yàn)證算法的性能。

2.2 活體數(shù)據(jù)集實(shí)驗(yàn)結(jié)果：快速自旋回波(TSE)

為了評(píng)價(jià)本文方法的性能，我們首先采用活體磁共振圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，重建圖像的峰值信噪比(PSNR)、信噪比(SNR)和均方根誤差(RMSE)指標(biāo)值如表1所示。在相同的加速因子下，BCS方法的RMSE結(jié)果為19.96%，而GSMRI和FCSA-MT方法的RMSE值分別為17.35%和18.41%。由表1中列出的重建結(jié)果表明，雖然相對(duì)于其他方法而言本方法在RMSE上略占劣勢(shì)，這是因?yàn)镽MSE實(shí)際上描述的是一種離散程度，即分?jǐn)?shù)匹配網(wǎng)絡(luò)的穩(wěn)定性相對(duì)而言不足，但是本文方法在測(cè)試數(shù)據(jù)集上獲得了最高的PSNR，進(jìn)一步證明了梯度域中的配分生成網(wǎng)絡(luò)模型優(yōu)異的重構(gòu)能力。

表1 加速因子為R=2的笛卡爾采樣下4種方法的 PSNR，RMSE和SNRTab.1 PSNR/SNR/RMSE using the four algorithms on cartesian under-sampling with acceleration factor R=2

同時(shí)，圖2還展示了不同方法的多對(duì)比度磁共振圖像的重建結(jié)果可視化圖，以此突出說(shuō)明UDLGD方法的有效性和可行性。從圖中可以看到BCS方法的重建結(jié)果效果圖邊緣十分模糊，出現(xiàn)這種現(xiàn)象的原因之一在于貝葉斯壓縮網(wǎng)絡(luò)框架存在固有的缺陷，因?yàn)闃闼刎惾~斯有分布獨(dú)立的假設(shè)前提，而現(xiàn)實(shí)生活中這些假設(shè)很難是完全獨(dú)立的。此外，在GSMRI方法的重建結(jié)果中還可以發(fā)現(xiàn)細(xì)微可見(jiàn)的偽影。由此可見(jiàn)這兩種算法在重建過(guò)程中都失去了圖像本身的一些微小結(jié)構(gòu)，相應(yīng)的細(xì)節(jié)紋理也可能會(huì)被平滑掉。雖然FCSA-MT方法在本次實(shí)驗(yàn)中的重建效果優(yōu)于其他兩種方法，但就從誤差圖而言該方法的重建精度是較低的。綜上所述，所提出的UDLGD方法無(wú)論是在指標(biāo)評(píng)判還是在可視化圖展示當(dāng)中都優(yōu)于其他算法，從重構(gòu)誤差圖來(lái)看，該方法在邊緣結(jié)構(gòu)和細(xì)節(jié)紋理保持方面與其他方法相比具有更好的重構(gòu)精度。

圖2 加速因子為R=2的TSE重建結(jié)果視覺(jué)比較Fig.2 Visual comparison of TSE reconstructions using same sampling schemes with acceleration R=2

2.3 活體數(shù)據(jù)集實(shí)驗(yàn)結(jié)果：采樣軌跡和對(duì)比度分析

本節(jié)實(shí)驗(yàn)采用TSE_axi和TSE_sag兩種切片數(shù)據(jù)進(jìn)行，分別研究比較了3種實(shí)驗(yàn)設(shè)置對(duì)梯度域中分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型的影響：不同的采樣模式、不同的加速因子以及不同加權(quán)類型的對(duì)比度磁共振圖像。

我們分別應(yīng)用3種采樣模式(徑向、笛卡爾和隨機(jī))和3種欠采樣加速度因子(R=2，R=3和R=4)的組合來(lái)獲取部分傅里葉觀測(cè)數(shù)據(jù)。其中笛卡爾采樣即線性空間編碼，線性填充k空間，常用的采樣大部分都是線性的；而隨機(jī)采樣即按隨機(jī)性原則，從總體單位中抽取部分單位作為樣本進(jìn)行調(diào)查，以其結(jié)果推斷總體有關(guān)指標(biāo)。表2為測(cè)試圖像進(jìn)行重建的PSNR、SNR和RMSE的平均值。總的來(lái)說(shuō)，表2的定量分析表明了在大多數(shù)指定的欠采樣率和采樣軌跡下，UDLGD方法較BCS方法、GSMRI方法和FCSA-MT方法而言具有更高的PSNR值和更精確的重建結(jié)果。同時(shí)，正如網(wǎng)絡(luò)模型預(yù)期的那樣，當(dāng)采樣軌跡為隨機(jī)采樣且欠采樣率趨于較低時(shí)，我們的算法可以獲得較好的結(jié)果。出現(xiàn)這樣的結(jié)果主要原因在于隨機(jī)采樣矩陣具有不連貫性。事實(shí)上，通過(guò)表2的定量指標(biāo)也能看出我們的分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型在較高的采樣率下效果也明顯優(yōu)于其他方法，并且總是能保持良好的性能。

表2 不同采樣軌跡下四種算法兩個(gè)TSE數(shù)據(jù)集的定量重建結(jié)果(PSNR/SNR/RMSE)總結(jié)Tab.2 Summary of quantitative reconstruction results (PSNR/SNR/RMSE) on two TSE datasets using four algorithms after retrospective under-sampling with various patterns and acceleration factors

為了將上述結(jié)果可視化，圖3展示了笛卡爾采樣軌跡下TSE_axi切片的重建結(jié)果圖，此外，TSE_sag切片的重建結(jié)果如圖4所示。從圖中可以明確地看出BCS方法和GSMRI方法的重建結(jié)果圖都存在明顯的偽影，同時(shí)丟失了圖像的結(jié)構(gòu)細(xì)節(jié)和紋理信息。雖然FCSA-MT方法在一定程度上恢復(fù)了圖像細(xì)節(jié)信息，但是在高倍加速因子下依然存在一定的模糊性，且傾向于平滑紋理和邊緣。本文UDLGD方法有其自身的優(yōu)勢(shì)，可以有效降低偽影的同時(shí)邊緣細(xì)節(jié)保留較為完整，圖中腦部溝狀回路更加清晰保，進(jìn)一步驗(yàn)證了該算法的魯棒性和穩(wěn)定性。

圖3 笛卡爾采樣下加速因子為R=2的TSE_axi重建結(jié)果視覺(jué)比較Fig.3 Visual comparison of TSE-axi reconstructions using cartesian sampling pattern with acceleration R=2

圖4 笛卡爾采樣下加速因子為R=4的TSE-sag重建結(jié)果視覺(jué)比較Fig.4 Visual comparison of TSE-sag reconstructions using cartesian sampling pattern with acceleration R=4

為了進(jìn)一步體現(xiàn)實(shí)際重建圖像差異，圖3和圖4還給出了相應(yīng)的殘差圖展示。圖像殘差值越大，對(duì)應(yīng)殘差圖的亮度區(qū)域則越明顯，也意味著重建圖像中相應(yīng)區(qū)域的實(shí)際視覺(jué)差異越大。從圖中可以看出對(duì)比方法的重建圖像殘差在邊緣部分表現(xiàn)明顯，整體細(xì)節(jié)區(qū)域存在較為明顯的斑駁偽跡。然而UDLGD方法殘差圖明顯更接近于零值，反映出該方法具有更小的整體結(jié)構(gòu)差異。

3 結(jié)論

本文提出了一種高效的無(wú)監(jiān)督深度學(xué)習(xí)方法用于多對(duì)比度磁共振成像重建。該方法的核心思想在于利用分?jǐn)?shù)匹配生成網(wǎng)絡(luò)模型和多對(duì)比度圖像之間具有相似性的優(yōu)勢(shì)，進(jìn)而在梯度域中進(jìn)行自適應(yīng)變換以獲取數(shù)據(jù)分布的梯度先驗(yàn)信息，最終實(shí)現(xiàn)高質(zhì)量和高精度的重建。與此次同時(shí)，該方法不僅利用了不同對(duì)比度的磁共振圖像之間在梯度域中的結(jié)構(gòu)相似性，還結(jié)合了圖像之間的組合稀疏性，該組合稀疏性是指多對(duì)比度磁共振圖像在梯度域中的組合信息。大量實(shí)驗(yàn)結(jié)果表明，本文所提方法不論從圖像細(xì)節(jié)恢復(fù)方面還是從圖像重建指標(biāo)方面都有較大的改善。