結(jié)合局部增強(qiáng)與L1/2范數(shù)的腦MRI超分辨率重建

姚喻凡 黃洪全

摘要：核磁共振（MR）成像受到醫(yī)學(xué)機(jī)器操控人員的操作經(jīng)驗(yàn)，操作人員與病人的協(xié)作程度以及設(shè)備運(yùn)行狀況等因素的影響，所獲取的圖像沒有足夠高的分辨率。針對(duì)這樣問題，提出了局部特征增強(qiáng)EQSR（Enhanced quality super resolution）算法。實(shí)驗(yàn)結(jié)果表明：EQSR算法可以有效實(shí)現(xiàn)MRI的超分辨率重建，組織細(xì)節(jié)恢復(fù)效果明顯，在組織結(jié)構(gòu)恢復(fù)和客觀質(zhì)量標(biāo)準(zhǔn)評(píng)價(jià)方面，其性能優(yōu)于絕大多數(shù)的MRI超分辨率方法。

關(guān)鍵詞：超分辨率重建;腦部MRI;通道分離結(jié)構(gòu);通道注意力;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）26-0121-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

超分辨率重建MR圖像使得圖像能應(yīng)用于清晰化低分辨率圖像以及AI腫瘤識(shí)別算法的訓(xùn)練上，具有重要的實(shí)際價(jià)值和意義，創(chuàng)新點(diǎn)主要有以下三個(gè)方面：

1） 利用殘差結(jié)構(gòu)防止深層的網(wǎng)絡(luò)結(jié)構(gòu)梯度消失和梯度爆炸，使系統(tǒng)具有更強(qiáng)的魯棒性，并用小尺度卷積層復(fù)合疊加在減少計(jì)算量的同時(shí)，匹配大尺度卷積帶來的等量感受野。

2） 在總體結(jié)構(gòu)上，利用跳躍鏈接將前幾層的增強(qiáng)塊輸出都連到最后，引入改進(jìn)的通道注意力模塊和亞像素卷積塊，提升信息豐富度以達(dá)到增加圖像的細(xì)節(jié)的效果。

3） 模型引入L1/2[2]范數(shù)作為結(jié)構(gòu)的損失調(diào)節(jié)，重構(gòu)的圖像視覺效果更好，獲得比L1范數(shù)更高的信噪比。

實(shí)驗(yàn)結(jié)果表明，EQSR算法對(duì)比起其他SR算法有更強(qiáng)的魯棒性。在組織結(jié)構(gòu)邊緣清晰化，消除偽影、噪聲信號(hào)和超分辨率重建速度上優(yōu)于大多數(shù)的SR算法。

2 MRI圖像超分辨率重建EQSR網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

在本文的算法中，把增強(qiáng)塊n之前的增強(qiáng)塊輸出特征圖用跳躍鏈接的方式融合起來，在其后接一個(gè)壓縮模塊減少通道數(shù)量。網(wǎng)絡(luò)結(jié)構(gòu)如下圖1所示，最后的增強(qiáng)塊用公式（1）表示，[En]表示第n個(gè)增強(qiáng)塊輸出，[Eall]表示加和所有的增強(qiáng)塊到一起的特征輸出。[concat]是合并數(shù)組的操作，將增強(qiáng)塊按照通道拼接起來，合并他們的輸出。

[Eall= concat（En，En-1，En-2，…，E1）]? ? ? ? ? ? ? ? ? ?（1）

2.1.1 殘差結(jié)構(gòu)的設(shè)計(jì)

殘差結(jié)構(gòu)的出現(xiàn)使得原本只有20～30層之間的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)提升至百層甚至幾百層的神經(jīng)網(wǎng)絡(luò)。深度殘差網(wǎng)絡(luò)ResNet[3]（Deep Residual Net）在2015由何愷明提出，并完成目標(biāo)檢測(cè)、圖像識(shí)別和目標(biāo)定位三大機(jī)器學(xué)習(xí)代表性任務(wù)的屠榜，在ILSVRC上性能指數(shù)甩開一眾選手許多。將殘差結(jié)構(gòu)添加到神經(jīng)網(wǎng)絡(luò)當(dāng)中，既解決了梯度消失、梯度爆炸的問題，又使得網(wǎng)絡(luò)的性能得到進(jìn)一步的提升。

2.1.2 上采樣結(jié)構(gòu)設(shè)計(jì)

如下圖2所示是進(jìn)行2、3倍上采樣的采樣模塊。圖3是4倍上采樣的結(jié)構(gòu)，利用兩個(gè)2、3倍上采樣進(jìn)行疊加。上采樣的過程主要作用是建立起由低分辨率圖像生成多尺度高分辨率的圖像。一般的神經(jīng)網(wǎng)絡(luò)會(huì)采用反卷積層對(duì)特征圖進(jìn)行卷積轉(zhuǎn)置，但是其中需要人工操作添加像素點(diǎn)，會(huì)引入一些人為因素造成的誤操作，影響重建質(zhì)量。本文采用亞像素卷積層，引用ESPCN[4]模型。整個(gè)上采樣模塊采用學(xué)習(xí)后特征圖與原輸入放大進(jìn)行融合的方式，保證模型良好的重建效果以及更短的重建速度。

3 實(shí)驗(yàn)

3.1實(shí)驗(yàn)數(shù)據(jù)組成以及實(shí)驗(yàn)設(shè)備

本實(shí)驗(yàn)的數(shù)據(jù)集選自NAMIC（National Alliance for Medical Image Computing）的腦部MRI數(shù)據(jù)庫（http ： //hdl.handle.net/1926/1687）。NAMIC數(shù)據(jù)集包含20個(gè)3D MRI圖像，每個(gè)3D圖像由176個(gè)256×256切片組成，體素大小為[1×1×1mm3]，T1w矩陣大?。═R = 7.4 m s，TE = 3 m s）和T2w（TR = 2500 m s，TE = 80 m s）。該算法的訓(xùn)練依賴于強(qiáng)大的TensorFlow框架，所有訓(xùn)練均在PC端上完成。計(jì)算機(jī)配置為：3.6GHz Ryzen-5-3600 CPU和NVIDIA GTX 1660Ti，利用通用并行計(jì)算構(gòu)架CUDA10.0實(shí)現(xiàn)。其中應(yīng)用的激活函數(shù)是LReLU，batch size大小設(shè)置為16，學(xué)習(xí)率[α]設(shè)置為0.0002.每迭代訓(xùn)練10次，[α=80%α]。算法總共迭代100次。整個(gè)訓(xùn)練過程用時(shí)11小時(shí)。

3.2實(shí)驗(yàn)評(píng)估指標(biāo)

為了選擇適合MR圖像的評(píng)價(jià)標(biāo)準(zhǔn)，選用最根本的PSNR峰值信噪比和結(jié)構(gòu)評(píng)判標(biāo)準(zhǔn)SSIM作為本次實(shí)驗(yàn)的指標(biāo)。其中MSE表示均方誤差，如公式（2）所示：

[MSE=1W×Hi=1HjWy（i，j）-y（i，j）2]? ? ? ? （2）

上式中[y（i，j）]表示重建預(yù)測(cè)圖，[y（i，j）]表示真實(shí)圖像，W和H分別表示圖像像素的寬和高，MSE和PSNR的關(guān)系如公式（3）所示。SSIM屬于全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)，分別從對(duì)比度，圖像結(jié)構(gòu)以及圖像亮度去評(píng)判圖像的相似度。SSIM如公式（4）所示：

[PSNR=10log10（255MSE）2]? ? ? ? ? ? ? ? ? ? ? ?（3）

[SSIM（y，y）=1N×y，y=1N（2μyμy+c1）（2σyy+c2）（μy2+μy2+c1）（σy2+σy2+c2）]? （4）