基于卷積神經網絡的欠采樣腦部核磁共振圖像重建方法

杜年茂，徐佳陳，肖志勇

（江南大學人工智能與計算機學院，江蘇無錫 214122）

（*通信作者電子郵箱zhiyong.xiao@jiangnan.edu.cn）

0 引言

核磁共振成像（Magnetic Resonance Imaging，MRI）是一種非侵入式的活體成像技術，它具有無輻射、對比度高等特點，被廣泛應用于腦部組織的成像。腦部核磁共振檢查較計算機斷層掃描（Computed Tomography，CT）與超聲更為敏感，具有多方向切層、多參數成像的特點；MRI能更精確地顯示病變位置、范圍大小及組織學特性，是發(fā)現腦內部結構病變的首選方法。但是MRI 速度較慢，很容易超過30 min［1］。長時間的數據采集不僅會使得病人感到不舒服（如幽閉恐懼癥），而且成像過程中頭部的蠕動會帶來嚴重的運動偽影。數據采集時間過長也是MRI 診斷昂貴的原因之一，因此縮短MRI 時間具有很大的臨床與經濟意義。

MRI 數據采集自k-空間（圖像的傅里葉空間），并且是一個點接著一個點的順序采集的，這是MRI耗時的主要原因［2］。盡管硬件上的改進已經在一定程度上減少了MRI的數據采集時間，如Echo Planar［3］與Parallel Imaging［4］，但是MRI 依然很耗時［2］。根據壓縮感知（Compressed Sensing，CS）理論［5-7］，完全采樣的MRI 數據是冗余的，因此k-空間欠采樣可以加速MRI。由于低于Nyquist 采樣頻率對數據進行采集會造成混疊偽影，許多組結構將變得模糊無法查看。因此基于欠采樣的MRI重建研究主要集中于如何去除圖像偽影上。早期的重建方法主要是基于CS理論，這些方法利用MRI在特定域的稀疏性，如全變分（Total Variation，TV）［8-9］、離散余弦變換域［10］、剪切波域［11］、小波變換域［12］等。這些方法相對簡單快速，但是會在重建圖像中引入階梯偽影［13］。字典學習方法［14］依靠局部塊字典來提高重建精度，非局部方法［15］使用多組相似的局部面片進行聯合重建以更好地保留圖像細節(jié)，這兩種方法能產生出較高質量的重建結果，但是也有重建時間長以及正則化方程和超參數選擇困難的問題［16-17］。

近年來，深度學習尤其是深度卷積神經網絡在欠采樣MRI 重建領域引起了很大的關注。與傳統(tǒng)方法不同，基于深度學習的方法通過訓練，可以學習數據的抽象表示并以此取代傳統(tǒng)的手工特征選擇?，F有的研究表明，基于深度學習方法在重建精度以及速度上超越傳統(tǒng)的基于CS、字典學習以及非局部方法。如Schlemper 等［18］提出了一個深度級聯神經網絡，他將傳統(tǒng)的迭代優(yōu)化問題展開為深層級聯網絡，并使用數據一致性模塊（Data Consistency，DC）來保障數據的保真度。Yang 等［17］提出了一種深度去混疊生成性對抗網絡，該網絡使用殘差U-net作為生成器，并結合了圖像域、頻域、感知和對抗信息作為損失函數。Wang等［19］提出了復數卷積神經網絡，該網絡使用了復數卷積核來處理復數數據。除了圖像域的卷積，Eo 等［2］與Souza 等［20］研究了混合域卷積神經網絡，即在圖像域與k-空間混合卷積。

盡管上述基于深度學習的方法相對于傳統(tǒng)方法都取得了顯著改進效果，但是這些方法都只針對單幅MRI的重建，沒有將相鄰切片間的聯系考慮在內。人體腦部MRI通常是多切片的并且相鄰切片間存在著冗余關系?；诖?，本文提出了一個能夠同時學習切片內與切片間冗余關系的深度級聯卷積神經網絡，用來提高欠采樣腦部MRI 的質量。本文將欠采樣的MRI 重建視為圖像域的去混疊問題，并以迭代的方式進行重建。在每次迭代中首先使用三維（three-Dimensional，3D）卷積模塊來捕獲相鄰切片間的冗余關系，然后使用二維卷積（two-Dimensional，2D）卷積模塊來進行單幅切片的重建。此外，該網絡還使用了長跳躍連接來輔助網絡信息流動，使得網絡專注于高頻信息的學習［21］。最后使用DC 模塊來提高k-空間的數據保真度。由于本文提出的模型屬于級聯卷積神經網絡，并且使用了兩種卷積核，故以下簡稱為混合級聯卷積神經網 絡（Hybrid-Cascade Convolutional Neural Network，HCCNN）。

1 問題建模

MRI 數據采集自k-空間信號，對采集到的數據進行反傅里葉變換便可以得到人體組織的圖像。這一過程可以用式（1）描述：

其中：y是檢測到的MRI 電流信號；x是需要重建的目標圖像；下標t表示MRI 切片的編號。在實際情況中采樣點是有限且離散的，式（1）經過離散化后的方程如下：

其中：x∈CT*N是復數值的MRI，圖像尺寸是，序列長度是T；y∈CT×M是包含了所有的k-空間測量數據的觀測矩陣；Fu∈CM×N是欠采樣的傅里葉編碼矩陣，其中包含采樣軌跡；ε是觀測噪聲。欠采樣的MRI 的重建任務就是從部分觀測數據y中恢復真實圖像x。由于欠采樣往往會低于Nyquist采樣頻率（M＜＜N），這使得矩陣Fu變得線性相關，從而使得公式的反轉成為病態(tài)問題。為了解決這一問題，必須利用數據本身具有的先驗知識。圖像x的重建可以轉化為一個無約束優(yōu)化問題來解決：

其中：λ是平衡數據保真度與先驗知識的平衡因子；R表示正則化項，對于傳統(tǒng)的方法來說，R通常是x在特定變換域（如圖像梯度或者小波變換）的l0或l1范式。同樣的R也可以泛化為具有高度抽象能力的深度學習模型［17-18］：

其中：fcnn表示前向映射的卷積神經網絡；θ是網絡參數；xu=表示k-空間的零填充重建圖像。由于低于Nyquist 采樣頻率，xu包含了嚴重的混疊偽影，因此公式基于卷積神經網絡的重建可以視作圖像域的去混疊問題。

深度卷積神經網絡以數據驅動的特征提取方式取代了傳統(tǒng)的手工特征，并且網絡參數可以通過目標函數反向傳播來優(yōu)化。這一過程可以被描述為：

近年來的基于深度學習的方法都是基于式（4）及其泛化版本，如文獻［2，16-20］。但是這些方法都是針對單幅MRI的重建，即

序列間的關聯沒有被探索。但是腦部MRI 通常是多切片的，不僅每幅圖像內部數據有冗余，圖像間也存在著相關性［16，22］。與式（7）不同的是，本文的方法將一個MRI 序列視為一個整體，在網絡中處理切片間的數據冗余，最后輸出整個MRI序列：

2 本文方法的網絡結構

2.1 整體架構

本文方法整體流程如下：1）首先，對采集到的k-空間數據進行0 均值標準化得到y(tǒng)；2）然后，對y進行反傅里葉變換，得到零填充的重建圖像x0；3）最后，將y與x0作為本文所提出網絡的輸入，經過網絡若干次迭代后產生重建結果。本文所提出的網絡整體架構如圖1所示。

整體來說HC-CNN 以迭代的方式對欠采樣的MRI序列進行重建，迭代展開在深度卷積網絡中的表現形式為級聯。這一過程可以被描述如下：

其中：I是總的迭代次數；θi(i∈[1，I])是每次迭代過程中的網絡參數；x0=xu。對于第i次迭代，網絡對輸入xi使用兩種不同的卷積核進行優(yōu)化，之后產生本次迭代的輸出xi+1。

1）3D卷積。

首先，網絡使用3D 卷積模塊來提取輸入x中的冗余。這一過程可以用式（10）描述：

其中：ksize表示卷積核的大小。例如當S=5 時，感受野的大小為11，這意味著網絡可以學習到相鄰的10張MRI切片上的信息以及平面內11× 11的感受野。

2）2D卷積。

與上述3D 卷積模塊操作相同，只是將卷積核換成2D。過程可以被描述如下：

此處使用2D卷積模組的原因有兩點：一是進一步探索平面內的冗余關系；二是防止3D卷積模組從相鄰切片上學習到有害的信息。

圖1 本文網絡整體結構Fig.1 Overall architecture of proposed network

2.2 數據一致性

DC 是用于維持k-空間數據的保真度的，該方法最早被Schlemper 等［18］應用在欠采樣的MRI中。其原理是：既然已經知道了部分k-空間的數據，那么就應該抑制卷積神經網絡修改已知的數據。DC項可以用作先驗知識來指導網絡的學習。具體做法是對網絡輸出的圖像進行傅里葉變換，然后使用原始的k-空間數據來取代預測的數據。該過程的公式描述如下：

3 隨機欠采樣

MRI 欠采樣通常是在相位方向，如圖2 所示，相位方向的若干線條被省略。這是因為頻率方向的編碼速度較快，而相位編碼的速度較慢［17］。此外現代大多數的商用MRI掃描儀都是使用Cartesian采樣軌跡［1，23］。在欠采樣時，需要保留一定比例的低頻數據ACL（Autocalibration Line）用于維持圖像的基礎結構，因此需要進行變密度隨機欠采樣（variable-density cartesian undersampling）。

本文實驗主要使用兩種加速因子（Acceleration Factor，AF）的欠采樣掩膜（mask）來驗證本文方法的性能，它們分別是AF=4 和AF=6。圖2 顯示了這兩種加速模式下k-空間數據可視化與其相對應的零填充重建圖。兩種加速模式各自保留了8%和4%的ACL?？梢钥吹接捎谘刂辔环较蜻M行欠采樣，圖像在該方向上出現了大量的混疊偽影，并且隨著加速因子的提高，混疊偽影的嚴重程度也隨之提高。高倍加速因子不僅使得腦部組織結構變得模糊難以分辨，也為圖像的重建帶來了更大的挑戰(zhàn)。

圖2 不同采樣率的k-空間數據與對應的重建圖像的可視化Fig.2 Visualization of k-space data and corresponding reconstructed images at different sampling rates

4 實驗與結果分析

4.1 實驗設置

4.1.1 實驗數據與處理

本文實驗使用的數據為Calgary-Campinas數據集［1，24］。該數據集提供了35 個T1 加權單線圈腦部MRI 樣本。數據集中每張切片尺寸為256×256 大小，切片厚度為1 mm，成像方向為矢狀方向。

以下實驗除非特別說明，均使用三折交叉驗證：對于其中的兩折本文使用23 個樣本用于訓練，然后12 個樣本用于測試；對于剩余的一折，本文使用24個樣本用于訓練，11個樣本用于測試。數據在被送入網絡前先進行欠采樣，然后被歸一化為均值0 與方差1。在經過網絡重建后又被重新恢復至原始的數據分布。

4.1.2 實驗環(huán)境與超參數設置

實驗環(huán)境：實驗通過1.1.0版本的Pytorch實現代碼模型；訓練時在Google Colab上進行，顯卡型號為Tesla P100。

超參數設置：網絡總的迭代次數設置為I=5，每次迭代中堆疊的3D 網絡與2D 網絡的層數設置為S=5。網絡中所有的卷積核大小設置為3，步長為1，膨脹系數設置為1。除了輸出層外所有的卷積層的通道數為32，輸出層的通道數為2（對應復數的實部與虛部）。本文采用的激活函數為泄漏整流器線性單元（Leaky Rectifier Linear Units，LReLU），α值設置為0.1。這是因為復數值沒有正負數之分，而且LReLU允許負信號通過。訓練時使用Adam 優(yōu)化器，初始學習率為1E-3，訓練輪次為200，并且學習率在170 輪衰減到1E-4。訓練和測試時的單個序列長度為32。在訓練時序列是被隨機截取的，這樣做既能減少顯存占用，同樣也能起到數據增強的效果。

4.1.3 評價指標

本文采用三個常用的圖像質量評價指標來評估模型性能。它們分別是標準化均方誤差（Normalized Mean Squared Error，NMSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）與結構相似度（Structural SIMilarity，SSIM）。選擇這些比較方法是為了對重建結果進行互補評估。NMSE 和PSNR是基于誤差敏感的圖像質量評價，強調整體重建精度，SSIM強調圖像質量的感知。

樣本最大值的選擇將會導致PSNR和SSIM在數值上的波動。為了消除差異，本文使用完全采樣的圖像重建的最大值。除此之外，測試時完全隨機地采樣mask 測試結果的波動，針對這種情況，本文在測試時固定了隨機數種子，以確保在不同方法時生成相同的mask。

4.2 實驗結果

4.2.1 不同優(yōu)化方法的比較

為了驗證方法的有效性，本文選擇與如下三種不同的重建方法進行對比：①深度級聯卷積神經網絡（Deep Cascade Convolutional Neural Network，DC-MR）［18］，該方法將傳統(tǒng)的MRI 迭代重建問題拓展到深度學習中的級聯卷積學習模型。該模型在實驗上驗證了深度學習方法的重建精度優(yōu)于傳統(tǒng)的方法。②混合卷積神經網絡（Hybrid Convolutional Neural Network，H-CNN）［20］，該方法也是基于DC-CNN 的架構，但是該方法采取了k-空間與圖像域的混合卷積，并且僅使用了2D卷積。本文方法與之不同的地方在于，本文使用的是3D 和2D 在圖像域混合卷積。③循環(huán)卷積神經網（Convolutional Recurrent Neural Network，CRNN）［13］，該網絡是用于動態(tài)成像的研究。CRNN 使用的是雙向循環(huán)卷積神經網絡來探索切片間的冗余關系，然后使用2D網絡來優(yōu)化單幅切片。雖然動態(tài)MRI 序列數據與MRI 數據有所不同，但是在本文的實驗結果中可以看到CRNN 在腦部MRI序列上的重建任務上也能取得較好的精度（對比結果見表1）。本文使用該方法的目的是為了對比本文所提出網絡在學習腦部MRI序列切片間與切片內冗余關系的能力。

實驗結果如表1 所示，可以看出：本文方法在兩種加速模式下的三個評價指標都優(yōu)于其他方法。相較于H-CNN與DCCNN，本文方法使用了腦部MRI切片間的關聯作為先驗知識，能夠使用相鄰切片上的信息進行互補重建，因此在高倍欠采樣模式下的優(yōu)勢更加明顯。如當AF=4 時，HC-CNN 相對于DC-CNN 在PSNR 上的提升為1.75 dB；當AF=6 時，這一提升變?yōu)?.57 dB。CRNN 也利用了相鄰切片間的關聯作為先驗知識，在重建精度上優(yōu)于H-CNN 與DC-CNN。如在AF=4 時，CRNN 在PSNR 上比DC-CNN 高0.43 dB；在AF=6 時，這一提升增大到了1.53 dB。由此可見，利用相鄰切片之間的相關性可以達到更好的重建結果。但是，從HC-CNN 與CRNN 的提升對比中可以得出，本文方法在提取腦部MRI 序列中相鄰切片間與切片內部冗余的優(yōu)勢更加明顯。

表1 4種方法在四倍降采樣率下的精度比較Tab.1 Accuracy comparison of four methods under 4x undersampling rate

圖3（a）、（b）分別展示了4種方法在兩種加速模式下重建出來的圖像以及誤差圖。H-CNN 與DC-CNN 的重建結果相較于全采樣的重建圖像丟失了大量的邊緣細節(jié)。如在AF=4時，H-CNN 與DC-CNN 能恢復出小腦區(qū)域的少量邊緣細節(jié)，但是當AF=6 時，兩種方法小腦區(qū)域的重建出現了模糊，并且H-CNN 相較于DC-CNN 更為嚴重。CRNN 的重建圖像的視覺效果好于H-CNN 與DC-CNN，能在AF=6時保留少量的組織細節(jié)。與CRNN 相比，本文方法能夠重建出更多更清晰的邊緣細節(jié)。此外，從CRNN 與本文方法重建的誤差圖中可以看出，本文方法的誤差更小。從重建的結果可以看出，相較于其他方法，本文方法的重建結果更接近于完全采樣的MRI；從重建誤差圖及其下面的彩色刻度條可以看出本文方法重建的圖像更為精確。

表2 為4 種方法在模型容量與重建時間的比較。H-CNN主體結構與DC-CNN 相同，但是其網絡容量較小，因此運行速度最快，每張約13.9 ms。CRNN 在迭代重建中共享了網絡參數，網絡大小不會隨著迭代次數的增大而增大，因此模型容量最??；但是CRNN 重建速度是最慢的。這是因為CRNN 使用的是雙向循環(huán)卷積神經網絡的結構來處理MRI 序列的重建，并且在迭代過程中需要保存大量的中間變量。本文使用的是3D 卷積模塊來處理切片間的數據冗余，可以有效地處理序列數據，無需遞歸，也不需要保存中間變量，因此重建速度快于CRNN，硬件資源的需求上也小于CRNN。本文網絡在重建速度上也與DC-CNN 相當，約每分鐘65 張。此外，本文網絡是3D網絡，但是其模型容量與2D網絡DC-CNN相當。由以上對比分析可以看到，本文方法不僅具有較高的重建精度，而且在重建速度與硬件資源需求上都具有優(yōu)勢。

4.2.2 2D卷積與3D卷積

為了進一步對2D 卷積模塊與3D 卷積模塊進行定性研究，本文對HC-CNN 的結構變體進行了實驗。實驗采用三折交叉驗證，為簡化訓練過程，下列所有模型的訓練輪次設置為100，學習率衰減輪次設置為80，迭代次數I設置為3；并且實驗是在4 倍加速因子的模式下進行的，其余超參數設置保持相同。

該部分主要本文所提出網絡的四個變體進行對比實驗：1）僅使用2D 卷積模塊；2）僅使用3D 卷積模塊；3）先使用2D卷積模塊后使用3D 卷積模塊；4）先使用3D 卷積模塊后使用2D卷積模塊（即本文的網絡結構）。

圖3 不同方法的重建結果與誤差對比Fig.3 Comparison of reconstruction result and error of different methods

表2 4種方法模型容量與重建效率比較Tab.2 Comparison of model capacity and reconstruction efficiency of four methods

實驗結果如表3 所示。從對比實驗1 和實驗2 的結果可以看出，2D 卷積的重建結果高于3D 卷積。這是因為3D 卷積核感受野是固定的，它在切片方向與平面內部的權重是一致的，然而MRI切片間的冗余關系弱于切片內部。只用3D卷積會使得網絡從相鄰切片上學習到有害的信息，因此有必要在3D 卷積之后使用2D 卷積來強調單幅切片的重建。對比實驗3 與實驗4 的結果可以看出先3D 卷積后2D 卷積的必要性。除了重建精度上的差異外，圖4還展示了4種變體在重建圖像的差異?？梢悦黠@地看到，僅用3D卷積模塊重建出來的圖像仍含有垂直方向的條狀混疊偽影。這一現象也發(fā)生在先2D后3D的重建圖像上，但偽影較為輕微。與之相比，僅用2D卷積模塊或者先3D 后2D 的網絡結構重建出來的圖像在去除混疊偽影方面表現更優(yōu)。此外由于使用了切片間的關系作為先驗知識，先3D 后2D 的網絡結構重建出來的圖像的組織結構比僅用2D 卷積模塊的網絡結構在視覺上更加清晰，如圖4中小腦部位（矩形）。

表3 本文方法4種變體的重建精度比較Tab.3 Comparison of reconstruction accuracy of four variants of proposed method

圖4 4種變體重建圖像比較Fig.4 Comparison of four variants on reconstruction image

5 結語

本文提出了一種欠采樣腦部MRI 的重建方法，該方法通過3D 與2D 混合卷積來探索MRI序列在切片內與切片間的冗余關系，從而提高了重建精度。與沒有利用相鄰切片聯系的方法相比，該方法能夠重建出更高質量的MRI，恢復更多細胞組織結構。此外本文方法在高倍加速模式下的重建精度優(yōu)勢更為明顯。與使用到相鄰切片聯系的方法相比，該方法具有更強的提取能力。

本文的實驗是建立在單線圈的成像場景，在未來的工作中，可以結合并行成像來對MRI序列進行重建，以達到更高的加速因子與重建質量。此外，本文僅研究了變密度的Cartesian 采樣軌跡，以后的研究應該考慮采用其他的采樣軌跡如放射型軌跡與螺旋形軌跡。