定量磁化率成像中磁化率重建偽影的清除：基于多通道輸入的卷積神經(jīng)網(wǎng)絡(luò)方法

斯文彬，馮衍秋

1南方醫(yī)科大學生物醫(yī)學工程學院，廣東 廣州 510515；2醫(yī)學圖像處理廣東省重點實驗室與醫(yī)學成像診斷技術(shù)廣東省工程實驗室，廣東 廣州 510515

磁化率是描述物質(zhì)被外部磁場磁化程度的物理屬性。定量磁化率成像（QSM）能夠根據(jù)掃描物體對磁場均勻性的改變來定量磁化率空間分布。而對磁場均勻性改變有貢獻的物質(zhì)包括鐵［1-3］、鈣、脂質(zhì)與髓磷脂等。而在人體內(nèi)這些物質(zhì)的不正常變化，往往和疾病的進程相關(guān)。所以磁化率值的改變可以作為疾病診斷的依據(jù)。

盡管QSM在科學研究和臨床應(yīng)用方面顯示出了巨大的潛力，但其精確重建需解決重建過程中偶極子反卷積這個病態(tài)問題。多方向采樣（COSMOS）方法［4］通過對成像物體進行多個方向掃描來獲得準確結(jié)果，通常作為QSM成像的金標準。但COSMOS采樣時間久且擺位困難，臨床上往往采用單方向QSM重建。閾值截斷k空間（TKD）方法［5］使用固定閾值替換偶極子頻率響應(yīng)中的近零值來緩解噪聲放大問題。為了進一步抑制條紋偽影，Li等［6］開發(fā)了一種改進的稀疏線性最小二乘（iLSQR）方法。Wei等［7］對iLSQR方法進行了改進，提出了條形偽影消除的重建（STAR-QSM）方法。類似的，Yaghmaie 等［8］提出了一種新的偽影減少技術(shù)（QSMART）。能夠達到消除皮質(zhì)偽影與暗色偽影的效果。除此以外，研究者們提出了多種基于先驗信息的正則化算法［9-11］。但單方向重建也存在局限性。例如，TKD法重建結(jié)果存在較多的條形偽影，MEDI需要手動調(diào)整正則化參數(shù)且重建時間長，STAR-QSM對于磁化率變化平緩的組織的重建結(jié)果較差。

為提升單方向重建的性能，深度學習被引入QSM重建中，并且與傳統(tǒng)的重建方法相比，表現(xiàn)出更高的準確性［12-14］。在2018年，Yoon等［15］提出了QSMnet，用U-Net網(wǎng)絡(luò)來學習偶極子反卷積。并在此基礎(chǔ)上提出QSMnet+［16］，通過獨特的數(shù)據(jù)增強優(yōu)化了網(wǎng)絡(luò)的泛化性能。DeepQSM［17］使用全仿真數(shù)據(jù)作為網(wǎng)絡(luò)訓練的輸入。AutoQSM［18］直接學習場圖到磁化率的映射。除此以外，其他網(wǎng)絡(luò)結(jié)構(gòu)也被用于磁化率重建，例如生成對抗網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)和八度卷積網(wǎng)絡(luò)［19,20］。最近，模型驅(qū)動的深度學習方法被用于解決QSM中的偶極子反卷積問題，這些方法通過基于模型的迭代算法構(gòu)建網(wǎng)絡(luò)［21,22］。

在兩種磁化率差別較大的組織分界面上，磁場均勻性發(fā)生改變，這會導致在高磁化率側(cè)出現(xiàn)強烈的陰影偽影以及條形偽影。上文所述深度學習方法并不能特異性地消除偽影。為消除這兩類偽影，本文提出了一種消除QSM 重建偽影的多通道輸入卷積神經(jīng)網(wǎng)絡(luò)方法（MAR-CNN），用于單方向磁化率重建中的偶極子反卷積。MAR-CNN使用磁化率的閾值與靜脈掩膜將原始組織場分成兩個分量，并將這兩個分量與原始組織場拼接作為MAR-CNN的三通道輸入。

1 方法

1.1 實驗數(shù)據(jù)

本文所用的數(shù)據(jù)集包括來自QSMnet的12名健康志愿者腦成像數(shù)據(jù)［15］。這些志愿者的數(shù)據(jù)使用3維單回波梯度回波序列掃描，成像參數(shù)包括：主磁場強度為3T，回波時間為25 ms，脈沖序列重復時間為33 ms，射頻翻轉(zhuǎn)角為15o，分辨率為1mm各向同性。對每個受試者進行5 個頭部方向的掃描，并使用多方向方法（COSMOS）重建多方向采集的QSM結(jié)果，以獲得參考磁化率圖像。

除此以外，使用GE磁共振掃描系統(tǒng)采集了一例腦出血患者數(shù)據(jù)，成像參數(shù)包括主磁場強度為3T，射頻翻轉(zhuǎn)角為15o，第一個回波時間為5 ms，回波時間間隔為4.6 ms，回波數(shù)量為6，采集矩陣大小為184×210×144，分辨率為1mm各向同性。使用iLSQR方法重建磁化率圖像。

并用上述出血數(shù)據(jù)進行高敏感區(qū)磁化率圖像的仿真。根據(jù)上述出血結(jié)果手動勾畫病灶。然后，將該病變區(qū)域重疊到多方向數(shù)據(jù)中單個方向的參考磁化率圖上，以獲得具有高磁化率值的仿真圖像。最后，將磁化率與偶極子核卷積，并加入高斯噪聲生成相應(yīng)的組織場圖像。

1.2 MAR-CNN網(wǎng)絡(luò)結(jié)構(gòu)

在兩種磁化率差別較大的組織分界面上，磁場均勻性發(fā)生改變，使高磁化率側(cè)出現(xiàn)強烈的陰影偽影以及條形偽影［7,23］。尤其是在靜脈、空氣和骨組織界面處的高磁化率區(qū)域附近。Wei等［6］提出了一種條形偽影減少的磁化率重建算法STAR-QSM，通過將低磁化率與高磁化率部分分開重建。結(jié)果表明，STAR-QSM可以有效消除磁化率劇烈變化導致的條形偽影。本文將這種思路引入到網(wǎng)絡(luò)架構(gòu)中。并在此基礎(chǔ)上優(yōu)化了劃分策略。

MAR-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖1A和1B所示。圖1中掩膜一與掩膜二生成過程如圖2A和2B所示。首先，利用iLSQR方法將組織場重建為存在較多偽影的QSM圖像，使用閾值0.1 ppm生成高磁化率掩膜與低磁化率掩膜，如圖2A中所示。其次，對幅度圖像使用frangi血管增強濾波器［24］生成靜脈掩膜，將組織場分為靜脈部分與非靜脈部分，如圖2B所示。Frangi濾波器中的參數(shù)經(jīng)過優(yōu)化，以使用幅度圖像的Hessian特征值在多個尺度上增強靜脈管狀結(jié)構(gòu)。接著將磁化率掩膜與血管掩膜1∶1組合，獲得更為精細的高低磁化率掩膜。將其應(yīng)用于組織場，將組織場分為高磁化率分量和低磁化率分量。最后，將原始組織場、高磁化率和低磁化率分量拼接起來，作為3個單獨的通道輸入U-Net網(wǎng)絡(luò)。

圖1 本文提出的MAR-CNN方法概述Fig.1 Overview of the proposed MAR-CNN method.A:Network architecture of MAR-CNN.B:Schematic diagram of the multichannel Unet.

圖2 高磁化率掩膜與低磁化率掩膜的生成示意圖Fig.2 Generation of the high susceptibility mask (A) and low susceptibility mask(B).

MAR-CNN采用了多通道輸入3D U-net架構(gòu)［25］。首先，在網(wǎng)絡(luò)的編碼器組件中有5個編碼器塊。每個編碼器塊包含兩個3×3×3卷積層。第1層有32個通道，與前一層相比，下一層的通道數(shù)量增加了一倍。在每個卷積層之后應(yīng)用批歸一化［26］（BN）和ReLU激活函數(shù)［27］。并在每個區(qū)塊之后執(zhí)行2×2×2最大池化。其次，解碼器組件中有4個解碼器塊。每個解碼器塊由3×3×3轉(zhuǎn)置卷積層和相應(yīng)的特征級聯(lián)組成。每一個串聯(lián)之后都有兩個卷積層。最后，在網(wǎng)絡(luò)最末層中使用一個1×1×1卷積層。

使用QSMnet 中的物理模型損失函數(shù)（model loss）、基于體素的損失函數(shù)（l1 loss）和基于邊緣的損失函數(shù)（gradient loss）：

其中，d為空間域中的偶極子，*為卷積，x為網(wǎng)絡(luò)的輸出，y為ground truth?？倱p失函數(shù)的定義為上述三個損失函數(shù)的加權(quán)和：

經(jīng)驗確定的權(quán)重分別為w1=0.5、w2=1和w3=0.1。使用ADAM優(yōu)化器[28]在訓練期間優(yōu)化網(wǎng)絡(luò)的權(quán)重。初始學習率設(shè)定0.001，當在20個epoch內(nèi)，指標沒有提升，則將學習率衰減到原先的10%。Batch size設(shè)置為8，訓練達到160個epochs時停止訓練。

1.3 網(wǎng)絡(luò)的訓練與測試

提出的MAR-CNN網(wǎng)絡(luò)是在Python 3.6上實現(xiàn)的，并使用NVIDIA TITAN X（Pascal）GPU進行訓練。為了適應(yīng)GPU內(nèi)存，MAR-CNN訓練的輸入塊大小為64×64×64。每兩個塊之間以66%重疊的方案生成。為了提高訓練效率，訓練過程中丟棄組織面積小于10%的patch。12名健康受試者的數(shù)據(jù)都有五個方向，他們被分為五例進行訓練，兩例進行驗證，五例進行測試。此外，為了增加訓練數(shù)據(jù)集中方向的多樣性，將旋轉(zhuǎn)矩陣應(yīng)用于COSMOS磁化率圖像和組織場圖中。選擇旋轉(zhuǎn)角度為-15o和15o，最終用于訓練的總patch數(shù)為12 763。此外，仿真的出血數(shù)據(jù)用來測試網(wǎng)絡(luò)對于高磁化率數(shù)據(jù)重建的效果。

1.4 定量磁化率重建的效果評估

為了證明MAR-CNN提高了定量磁化率圖像重建的性能，使用QSMnet和MAR-CNN分別對五例健康志愿者測試數(shù)據(jù)進行處理。此外，使用TKD、MEDI 和iLSQR三種非學習方法重建磁化率結(jié)果來進行比較。在MEDI重建中，lambda設(shè)置為2000。并以COSMOS重建結(jié)果為參考，計算了以下指標，用于定量評估磁化率算法重建效果：高頻誤差范數(shù)（HFEN）、峰值信噪比（PSNR）、歸一化均方根誤差（NRMSE）和結(jié)構(gòu)相似性指數(shù)（SSIM）［29］。

高頻誤差范數(shù)是基于測量的磁化率值xp與COSMOS的磁化率值xr之間的誤差定義的：

歸一化均方根誤差的定義與HFEN類似，其定義如下：

峰值信噪比的定義與HFEN類似，其定義如下：

結(jié)構(gòu)相似性指數(shù)的定義如下：

其中，c1和c2為常數(shù)，μp和μr為磁化率測量值xp的均值和COSMOS磁化率xr的均值，σp和σr為xp和xr的標準差，σpr為xp和xr的協(xié)方差。在本文中，這四個指標都只計算腦組織區(qū)域，不計算背景區(qū)域。并采用配對t檢驗進行多元統(tǒng)計分析判斷方法間是否具有顯著性差異。

此外，對于仿真得到的高磁化率值腦出血QSM圖像，定性比較TKD、iLSQR、QSMnet和MAR-CNN重建的效果。

2 結(jié)果

2.1 QSMnet數(shù)據(jù)集的結(jié)果

三通道MAR-CNN 在HFEN、NRMSE、PSNR 和SSIM方面都優(yōu)于所有兩通道MAR-CNN（表1）。

表1 具有不同通道的MAR-CNN 的定量性能指標的均值和標準差Table 1 Means and standard deviation of the quantitative performance metrics for MARCNN with different channels

通過不同方法重建的一個代表性測試集的定量磁化率圖和相應(yīng)的誤差圖（圖3）。從第一列開始，磁化率圖像重建的方法分別是COSMOS，TKD，MEDI，iLSQR，QSMnet和MAR-CNN。與非學習的方法相比，MAR-CNN方法重建的結(jié)果具有更少的條紋偽影和陰影偽影。如黃色箭頭所指，和QSMnet的重建結(jié)果相比，MAR-CNN提供了更準確的磁化率重建結(jié)果。圖4給出的是的圖3的放大視圖。與TKD，MEDI和iLSQR結(jié)果相比，MAR-CNN結(jié)果中的噪聲更小。與QSMnet相比，MAR-CNN在尾狀核和蒼白球等大腦區(qū)域更加接近COSMOS。如紅色箭頭所指，在小腦皮層附近強磁化率值的區(qū)域，QSMnet方法重建結(jié)果出現(xiàn)了明顯的錯估，而這種錯估在MAR-CNN中得到了糾正。

圖3 使用基于非學習的偶極子反卷積算法（TKD，MEDI和iLSQR）以及QSMnet和MAR-CNN重建的一個受試者的定量磁化率結(jié)果比較Fig.3 Comparison of QSM of a participant reconstructed using non-learning-based dipole inversion algorithms (TKD,MEDI and iLSQR),QSMnet and MAR-CNN.Yellow arrows indicate regions with obvious difference between QSMnet and MAR-CNN.

圖4 受試者的定量磁化率結(jié)果（第一行）和相應(yīng)的差異圖（第二行）的軸向視圖Fig.4 Axial view of the QSM map (first row) and the corresponding difference maps (second row) of the subject in Fig.3.Zoomed-in view of the map shown in the last two rows.Red arrows indicate regions with obvious difference between QSMnet and MAR-CNN.

表2給出了COSMOS作為金標準，5種重建方法在五名受試者數(shù)據(jù)上的定量指標的對比結(jié)果。在所有重建方法中，MAR-CNN 重建結(jié)果具有最高的PSNR（43.12±1.19）和最低的NRMSE（51.98±3.65）。并采用配對t檢驗進行多元統(tǒng)計分析。結(jié)果表明，4個量化指標，差異有統(tǒng)計學意義（P＜0.05）。

表2 五種重建方法的定量性能指標的均值和標準差，包括HFEN、NRMSE、PSNR 和SSIMTable 2 Means and standard deviation of the quantitative performance metrics

2.2 仿真出血病人結(jié)果

圖5給出了仿真的出血病人數(shù)據(jù)用4種不同方法（TKD，iLSQR，QSMnet，MAR-CNN）重建的磁化率圖像。從上到下分別是冠狀面，矢狀面和橫斷面的結(jié)果。最左側(cè)一列給出的是上文所述仿真方法得到的參考圖像。從圖像上來看，在非出血區(qū)域，TKD，iLSQR，QSMnet，MAR-CNN 4種方法都能重建出清晰的磁化率結(jié)果。而在出血區(qū)域和非出血區(qū)域的邊界處，TKD與iLSQR的重建結(jié)果出現(xiàn)了嚴重的條紋偽影，如黃色箭頭所示。而QSMnet和MAR-CNN這兩種網(wǎng)絡(luò)方法都很好的抑制了條形偽影。然而，QSMnet重建結(jié)果在出血區(qū)域周圍出現(xiàn)了明顯的陰影偽影，如紅色箭頭所示。相比之下，這些偽影在MAR-CNN重建中被有效抑制。除此以外，從矢狀面的重建結(jié)果來看，QSMnet方法在出血區(qū)域出現(xiàn)了明顯的錯誤估計，而這種錯估在MAR-CNN中得到了糾正。

圖5 仿真的高磁敏感ICH 病變的定量磁化率結(jié)果Fig.5 QSM results of a simulated high-susceptibility ICH lesion.The reconstructions of TKD and iLSQR show serious streaking artifacts at the border of the diseased area (yellow arrows).MAR-CNN outperformed QSMnet in suppressing shadow artifacts around the lesion(red arrows).

3 討論

本文提出了一種新的基于深度學習的MAR-CNN網(wǎng)絡(luò)方法來解決定量磁化率重建中的偶極子反卷積問題。QSM重建的偽影主要來源于兩部分。第1種來源為偶極子頻率響應(yīng)中的零值導致的數(shù)據(jù)缺失。第2種來源為兩種磁化率差別較大的組織分界面上磁場均勻性發(fā)生改變導致的信號扭曲，使高磁化率側(cè)出現(xiàn)強烈的陰影偽影以及條形偽影。MAR-CNN使用磁化率的閾值與靜脈掩膜將原始組織場分為兩個分量，并將每個分量作為單獨的通道輸入多通道U-Net網(wǎng)絡(luò)的方式來重建低偽影的結(jié)果。結(jié)果表明，在健康志愿者的HFEN、NRMSE、PSNR和SSIM等定量準確度指標方面，MARCNN方法優(yōu)于MEDI、iLSQR和QSMnet。此外，與其他方法相比，MAR-CNN在高磁化率出血病變周圍產(chǎn)生的偽影更少。

QSM重建中的陰影偽影與磁化率偽影主要出現(xiàn)在磁化率值變化大的區(qū)域。在磁化率差別較大的組織邊界處，由于磁場均勻性的快速變化導致邊界附近的局部信號出現(xiàn)不正常的增強或者衰減。

TKD法［5］通過去除傅里葉域內(nèi)偶極子的近零值，但這導致的數(shù)據(jù)缺失更多。而STAR-QSM［6］與QSMART［8］方法通過將高低磁化率區(qū)域分開重建的方法來消除偽影，但這兩種非學習方法在較平滑區(qū)域的重建性能不如深度學習方法。在本文提出的基于深度學習的偶極子反卷積中，MAR-CNN方法將這一思想融入了QSMnet［15,16］中使用的U-net網(wǎng)絡(luò)構(gòu)建中，這可能解釋了MAR-CNN在組織邊界與血管區(qū)域的重建性能優(yōu)于QSMnet的原因。而DeepQSM［17］與AutoQSM［18］使用與QSMnet相同的網(wǎng)絡(luò)結(jié)構(gòu)，DeepQSM使用全仿真數(shù)據(jù)作為網(wǎng)絡(luò)訓練的輸入，這導致DeepQSM在真實數(shù)據(jù)上的重建性能不佳。AutoQSM直接學習場圖到磁化率的映射。除此以外，其他被用于磁化率重建的網(wǎng)絡(luò)，包括生成對抗網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)和八度卷積網(wǎng)絡(luò)［19,20］。然而，這些卷積神經(jīng)網(wǎng)絡(luò)方法中的網(wǎng)絡(luò)結(jié)構(gòu)沒有考慮磁化率的物理性質(zhì)。從出血樣本的實驗結(jié)果來看，MAR-CNN消除偽影的效果更加明顯。所以在設(shè)計用于性能改進的深度學習磁化率重建方法時，可以考慮磁化率內(nèi)部的物理特性。

MAR-CNN的性能取決于將組織場分為高磁化率和低磁化率分量的閾值。閾值越大，低磁化率分量包含的區(qū)域越大，高磁化率分量包含的區(qū)域越小?？紤]到網(wǎng)絡(luò)訓練的大量計算負擔，確定最佳閾值非常耗時。在本研究中，我們通過從0.1到0.4的初步手動選擇來確定劃分的閾值，增量為0.1。在不同閾值下的結(jié)果表明，在選擇0.1作為閾值時，三通道MAR-CNN方法的性能接近最優(yōu)。在實踐中，最佳閾值可能需要依據(jù)不同組織的磁化率分布特性來調(diào)整。

本文提出的消除QSM重建偽影的多通道輸入卷積神經(jīng)網(wǎng)絡(luò)QSM重建方法有一些局限性。首先，在當前的MAR-CNN網(wǎng)絡(luò)中，只是將組織場分為了兩個部分。通過使用更多通道劃分策略，可以將組織場分割成更多的部分，然后作為不同的通道輸入網(wǎng)絡(luò)。這種策略有可能提升網(wǎng)絡(luò)的性能。其次，在當前的實驗中，patch大小被設(shè)置為64×64×64。使用更大的patch size有利于捕獲更多全局信息來進行QSM重建，但計算復雜度和GPU內(nèi)存需求顯著增加。最后，我們僅將多通道輸入與U-Net結(jié)構(gòu)相結(jié)合。實際上，通道劃分策略可以擴展到在磁化率領(lǐng)域中表現(xiàn)出良好性能的網(wǎng)絡(luò)，我們將在未來的研究中探討這種可能性。