基于K空間數(shù)據(jù)的深度核磁共振圖像重建*

黃敏，管智慧，周到，陳軍波

(中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院，武漢 430074 )

1 引 言

掃描時(shí)間較長，是核磁共振(MRI)當(dāng)前存在的一個(gè)主要問題?；趬嚎s感知的MRI掃描有效地緩解了這一問題。但隨后的重建過程是基于迭代算法實(shí)現(xiàn)的，在保證重建圖像質(zhì)量的前提下，重建時(shí)間變長，不利于臨床實(shí)時(shí)成像。

傳統(tǒng)MRI圖像重建方法沒有統(tǒng)一框架，與脈沖序列、K空間采樣軌跡等密切相關(guān)，研究者必須對成像原理，脈沖序列等非常熟悉。在各種醫(yī)學(xué)成像技術(shù)中，MRI的重建算法相對是最復(fù)雜的。

近年來，深度學(xué)習(xí)[1-3]也逐步應(yīng)用于MRI重建領(lǐng)域。Jin等[4]提出使用U-net模型重建MRI，模型通過對補(bǔ)零后FFT的偽影圖像與金標(biāo)準(zhǔn)圖像之間進(jìn)行學(xué)習(xí)，重建出不含偽影的MRI圖像。后來，他們又在U-net模型的基礎(chǔ)上加入殘差模塊,解決了反向傳播過程中梯度消失的問題。隨后出現(xiàn)的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)[5],將多個(gè)CNN網(wǎng)絡(luò)模塊級聯(lián)起來，進(jìn)行輸入為帶偽影圖像的端到端訓(xùn)練。2016年，Sun等[6]提出ADMM-net網(wǎng)絡(luò)，該模型將交替方向乘子算法(ADMM)與CNN聯(lián)合起來作為一種MRI重建方法。

上述各種CNN模型輸入的是空間域圖像，與MRI掃描的頻域數(shù)據(jù)相比，前者丟失了部分MRI信息。若直接對K空間頻域數(shù)據(jù)進(jìn)行學(xué)習(xí)[7]，則更符合重建的思路和工程要求。

2018年，Souza等[8]提出了W-net模型，該模型由頻域U-net和空域U-net組成，兩個(gè)子模型中間由傅里葉變換相連接。其中頻域U-net的輸入為雙通道，分別載入復(fù)數(shù)數(shù)據(jù)的實(shí)部和虛部，作為整個(gè)網(wǎng)絡(luò)的輸入。但當(dāng)我們用新數(shù)據(jù)送入該模型，得到的重建結(jié)果較差。

為了優(yōu)化W-net模型的性能，我們對原白模型采用基于新實(shí)例數(shù)據(jù)的遷移學(xué)習(xí)方法，并對損失函數(shù)和學(xué)習(xí)率進(jìn)行調(diào)整，提升了模型的泛化能力。然后對優(yōu)化后的模型加入數(shù)據(jù)更新模塊，進(jìn)一步改善了模型的重建效果，并分析不同采樣率下的模型性能，與傳統(tǒng)壓縮感知算法(BM3D-MRI)[9]作比較。

2 數(shù)據(jù)與方法

2.1 數(shù)據(jù)準(zhǔn)備

W-net原數(shù)據(jù)集包含45個(gè)體數(shù)據(jù)，為T1加權(quán)、矢狀位全采樣的K空間數(shù)據(jù)，每個(gè)體數(shù)據(jù)包含170層二維數(shù)據(jù)，訓(xùn)練集/驗(yàn)證集/測試集分別為4 250/1 700/1 700。由于數(shù)據(jù)量較少，模型對新數(shù)據(jù)的重建效果較差。

為了提高模型的泛化能力，我們采用擴(kuò)展數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)。數(shù)據(jù)來源于IXI數(shù)據(jù)集(https://brain-development.org/ixi-dataset/)，選取其中240個(gè)T1加權(quán)的矢狀位的正常腦部體數(shù)據(jù)。每個(gè)體數(shù)據(jù)包含150張2D磁共振圖像，訓(xùn)練集/驗(yàn)證集/測試集分別為24 000/6 000/6 000。由于W-net模型的輸入端為K空間數(shù)據(jù),需要對圖像進(jìn)行FFT得到頻域數(shù)據(jù)，經(jīng)采樣率20%的高斯隨機(jī)掩模欠采樣后，再送入網(wǎng)絡(luò)學(xué)習(xí)。將經(jīng)過遷移學(xué)習(xí)后的W-net模型稱為W-net1,見圖1。

圖1 擴(kuò)展數(shù)據(jù)集預(yù)處理Fig.1 Preprocess forextended data set

為了增加訓(xùn)練集的數(shù)量，在實(shí)際訓(xùn)練中還加入了數(shù)據(jù)增強(qiáng)。對訓(xùn)練數(shù)據(jù)進(jìn)行在角度(0,40)內(nèi)的隨機(jī)翻轉(zhuǎn)(模擬MRI斜面掃描)，以及參數(shù)為0.075的左平移和右平移、參數(shù)為0.25的裁剪和縮放，并通過最近鄰的插值方式處理超出的邊界點(diǎn)。最終實(shí)現(xiàn)小批次的在線增強(qiáng)，直至達(dá)到設(shè)定的Epoch次數(shù)為止。

圖2 W-net模型框架Fig.2 W-net model framework

2.2 網(wǎng)絡(luò)訓(xùn)練

圖2中的W-net網(wǎng)絡(luò),由結(jié)構(gòu)對稱的a和c兩個(gè)U-net部分，和一個(gè)中間IFFT連接部分b構(gòu)成。共包含44個(gè)卷積層。

其中，a為帶殘差的頻域U-net，輸入和輸出均是頻域數(shù)據(jù)。共22個(gè)卷積層，前21個(gè)卷積層后面均伴隨激活函數(shù)ReLU，最后一個(gè)卷積層后面跟隨線性激活函數(shù)。前半部分(下采樣)經(jīng)過三次池化操作對輸入數(shù)據(jù)降采，減小特征圖大小和增大視野。后半部分(上采樣)經(jīng)過三次反卷積，以增大特征圖大小和輸入數(shù)據(jù)尺寸保持一致。由于下采樣會丟失一部分信息，故將上采樣和下采樣中對應(yīng)的特征圖進(jìn)行組合，再卷積。并將最后一層卷積輸出與a輸入相加得到a部分的輸出。

經(jīng)過中間b部分的IFFT，將數(shù)據(jù)由頻域轉(zhuǎn)換到圖像域。c與a結(jié)構(gòu)相似，但為空域U-net，其輸入與輸出均為圖像域。a部分對輸入為K空間欠采樣的數(shù)據(jù)進(jìn)行學(xué)習(xí)，預(yù)測出完整的K空間數(shù)據(jù)。c部分則是進(jìn)一步提取圖像的高階特征，濾除圖像偽影。

模型輸入為K空間欠采數(shù)據(jù)補(bǔ)零后的256×256數(shù)據(jù)，輸出為256×256的重建MRI圖像。損失函數(shù)為a部分輸出的全采K空間數(shù)據(jù)的均方根誤差和最終輸出圖像的均方根誤差的加權(quán)，公式為：

(1)

其中，ki和Ii分別為訓(xùn)練集第i個(gè)樣本的全采樣K空間數(shù)據(jù)和重建圖像，n為訓(xùn)練集樣本的數(shù)量。損失函數(shù)的第一項(xiàng)作為恢復(fù)原始數(shù)據(jù)的誤差項(xiàng)，第二項(xiàng)作為重建結(jié)果的誤差項(xiàng)。

調(diào)整q1與q2的比例q1+q2=1，訓(xùn)練得到不同模型，用擴(kuò)展數(shù)據(jù)的測試集對其分別測試。以測試結(jié)果的平均峰值信噪比(PSNR)和平均均方根誤差(NRMSE)作為評價(jià)指標(biāo)。通過分析，折中選取q1為0.3，則q2為0.7，見圖3。

采用Adam函數(shù)對網(wǎng)絡(luò)進(jìn)行反向優(yōu)化，原模型的初始學(xué)習(xí)速率為10-3，β1=0.9，β2=0.999。遷移學(xué)習(xí)過程以原模型參數(shù)作為初始參數(shù)，用擴(kuò)展數(shù)據(jù)集中的訓(xùn)練集對原模型進(jìn)一步訓(xùn)練。并將初始學(xué)習(xí)率調(diào)為10-4，每批次輸入4個(gè)訓(xùn)練樣本，實(shí)驗(yàn)共迭代6×105次，訓(xùn)練時(shí)長約35 h。

圖3 q1與q2對模型性能的影響Fig.3 Effects of q1 and q2 on model performance

本研究是基于深度學(xué)習(xí)Keras框架在配置有8塊16 GB的NVIDIA Tesla V100 GPU工作站上實(shí)現(xiàn)的，采用了開發(fā)語言Python3.6和MatlabR2018b用于數(shù)據(jù)分析。

2.3 數(shù)據(jù)更新

考慮到重建圖像的K空間數(shù)據(jù)與原始數(shù)據(jù)的一致性，有必要在模型中加入數(shù)據(jù)更新層。

首先，對輸出圖像進(jìn)行傅里葉變換得到當(dāng)前全K空間數(shù)據(jù)，將欠采樣輸入數(shù)據(jù)中補(bǔ)零的部分進(jìn)行替換。然后，對更新后K空間數(shù)據(jù)進(jìn)行IFFT，得到模型的最終輸出。整個(gè)模型的重建過程見圖4。

3 結(jié)果與分析

3.1 模型預(yù)測結(jié)果

將原始和擴(kuò)展數(shù)據(jù)集的兩個(gè)測試集合并為新的測試集，樣本量為7 700。分別對W-net和W-net1兩個(gè)模型進(jìn)行測試，并對每個(gè)指標(biāo)計(jì)算其均值和方差，指標(biāo)結(jié)果見表1。分析可知，相比原模型，經(jīng)過遷移學(xué)習(xí)后的模型W-net1其結(jié)構(gòu)相似度SSIM從0.86上升到0.97，PSNR平均提高了約7.5 dB，NRMSE從5.08下降到2.02，說明模型的性能整體有較大的提升。

圖4 模型重建過程Fig.4 Model reconstruction process

表1 模型重建指標(biāo)對比Table 1 Model reconstructionindexcomparison

為了測試模型的泛化能力，本研究隨機(jī)地在網(wǎng)上尋找不同部位及不同方位的MRI圖像，圖5(a)-(d)為金標(biāo)準(zhǔn)參考圖像。a為與訓(xùn)練數(shù)據(jù)同一批的頭部矢狀位圖像，b為大腦軸位圖像，c為大腦軸位含病灶圖像，d為膝蓋圖像。對以上MRI圖像進(jìn)行FFT，模擬得到k空間全采樣數(shù)據(jù)，并加入隨機(jī)噪聲，然后加掩模，得到欠采的測試數(shù)據(jù)。分別輸入到W-net和W-net1模型中，輸出結(jié)果分別為圖中的第二排與第三排。

從結(jié)果可知，原模型W-net對正常人的頭部測試數(shù)據(jù),能夠預(yù)測得到較好的結(jié)果，見圖5(e)-(f)。但對含病灶的大腦和膝蓋，預(yù)測效果很差，見圖5(g)-(h)。腫瘤和周圍組織的對比度較差，且缺失了輪廓(黃色箭頭位置)；膝蓋對比度更差。

由表2可知，對含病灶的頭部核磁共振數(shù)據(jù)，W-net重建圖像的NRMSE較高，PSNR較低，未達(dá)到臨床上醫(yī)學(xué)圖像的診斷標(biāo)準(zhǔn)。

圖5 W-net與W-net1的測試結(jié)果Fig.5 Test results ofW-net and W-net1 model

然而，遷移學(xué)習(xí)后的模型W-net1，對含腫瘤的頭部欠采核磁共振數(shù)據(jù)有很好的預(yù)測效果。由表2可知，相比原模型，W-net1重建圖像的PSNR提高了近10 dB，NRMSE降低了8.7。同時(shí)觀察圖5(h)和圖5(l)的膝蓋圖像，重建效果在對比度上明顯改善。

表2 含病灶數(shù)據(jù)的重建指標(biāo)對比Table 2 Reconstruction indicators for lesion data

可見，W-net1模型不僅對頭部矢狀位和大腦軸位數(shù)據(jù)有很好的預(yù)測效果,而且對含腫瘤的頭部和結(jié)構(gòu)相對簡單的膝蓋等部位數(shù)據(jù)，同樣具有很好的預(yù)測重建能力。因此，W-net1與原模型W-net相比，大大提升了模型的泛化能力。

圖6 數(shù)據(jù)更新效果對比Fig.6 Comparison of data update effect

最后，為進(jìn)一步提升模型性能，在W-net1模型中添加數(shù)據(jù)更新層，改進(jìn)后的模型對小腦部分的紋理細(xì)節(jié)恢復(fù)有更好的表現(xiàn)，見圖6。

3.2 深度MRI重建與傳統(tǒng)算法比較

為了比較深度MRI重建與傳統(tǒng)重建算法的優(yōu)劣，分別采用10%、20%和30%的降采樣率數(shù)據(jù)進(jìn)行重建。采用高斯隨機(jī)掩模，對全采K空間數(shù)據(jù)進(jìn)行降采樣，并比較三種采樣率的重建結(jié)果。傳統(tǒng)重建算法選用CS-MRI重建中重建效果較好的BM3D-MRI,見圖7。第二行至第四行分別對應(yīng)不同采樣率的重建結(jié)果及誤差圖，第二列和第四列分別代表三種采樣率的深度重建和CS重建結(jié)果，第三列和第五列分別代表三種采樣率的深度重建誤差圖和CS重建誤差圖。

觀察可知，當(dāng)采樣率為10%時(shí)，CS重建圖像較模糊，而深度重建結(jié)果雖在腫瘤邊緣不是很清晰，但腫瘤的位置和形狀能夠較準(zhǔn)確地呈現(xiàn)出來。當(dāng)采樣率為20%時(shí)，相比CS重建，深度重建能夠更好地恢復(fù)腫瘤的邊緣輪廓和內(nèi)部形態(tài)(黃色箭頭所示)。對于深度MRI重建，當(dāng)采樣率提高到30%時(shí)，腫瘤大小及對比度與金標(biāo)準(zhǔn)相比，幾乎準(zhǔn)確復(fù)原，明顯優(yōu)于CS重建效果，且重建速度也遠(yuǎn)遠(yuǎn)高于傳統(tǒng)算法，可在掃描后馬上看到重建圖像,這對于臨床實(shí)時(shí)應(yīng)用具有極大的意義。

圖7 深度重建與CS重建結(jié)果對比Fig.7 Comparision between the results of deep reconstruction and CS reconstruction

4 結(jié)論

我們研究了深度MRI重建方法，對W-net模型進(jìn)行遷移學(xué)習(xí)，對損失函數(shù)和學(xué)習(xí)率等超參數(shù)進(jìn)行了調(diào)整，改進(jìn)后的模型的泛化能力大大提升。在重建質(zhì)量與速度上，深度MRI均優(yōu)于壓縮感知法。為進(jìn)一步改善W-net1模型的重建效果，在模型中加入了數(shù)據(jù)更新模塊，改進(jìn)后的模型能夠?qū)W習(xí)到更多的紋理細(xì)節(jié)特征。后期可研究深度并行MRI成像技術(shù)[10]，以更接近臨床應(yīng)用。

深度MRI成像基于對大量數(shù)據(jù)進(jìn)行學(xué)習(xí)，訓(xùn)練好的模型能夠?qū)π聰?shù)據(jù)進(jìn)行預(yù)測得到理想的重建結(jié)果。相比于傳統(tǒng)MRI成像技術(shù)，深度MRI成像是更加智能化的“黑盒子”,其快速準(zhǔn)確的預(yù)測能力，將顯著改善以往MRI成像領(lǐng)域掃描加速后帶來的重建算法復(fù)雜，重建效率和效果均較差的情況。深度MRI成像將開辟M(fèi)RI“快速掃描+快速重建”的新未來，改變傳統(tǒng)的重建思維和實(shí)現(xiàn)模式。

感謝“認(rèn)知科學(xué)國家民委重點(diǎn)實(shí)驗(yàn)室”的資助(中央高?；餋ZY19040)。