基于磁共振影像層間插值的超分辨率及多視角融合

李 萌，秦品樂，曾建潮*，李俊伯

（1.山西省醫(yī)學(xué)影像與數(shù)據(jù)分析工程研究中心（中北大學(xué)），太原 030051；2.中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051；3.山西省醫(yī)學(xué)影像人工智能工程技術(shù)研究中心（中北大學(xué)），太原 030051）

0 引言

在現(xiàn)代醫(yī)學(xué)領(lǐng)域中，計(jì)算機(jī)斷層掃描（Computed Tomography，CT）［1］、磁共振成像（Magnetic Resonance Imaging，MRI）［2］和其他醫(yī)學(xué)成像技術(shù)得到了廣泛應(yīng)用。通過可視化顯示人體組織或器官的重建技術(shù)，可以將醫(yī)學(xué)成像系統(tǒng)獲得的一系列完整的二維數(shù)據(jù)聚合為三維體數(shù)據(jù)。為了提供必要的人體視覺信息，需要獲取高分辨率、高對(duì)比度的醫(yī)學(xué)圖像。對(duì)于MRI，獲取高分辨率圖像需要很長(zhǎng)時(shí)間。因此，為了減少因患者身體位移所造成的誤差，降低內(nèi)存成本，通常只存儲(chǔ)必要數(shù)量的切片，所以大多數(shù)醫(yī)學(xué)成像是各向異性的，切片內(nèi)的分辨率高，切片間的分辨率低。在這些設(shè)備獲得的三維體積數(shù)據(jù)中，切片之間的間距比其相鄰像素之間的間距要大得多，包含階梯狀邊緣、不連續(xù)表面、間斷細(xì)節(jié)和其他現(xiàn)象。所以這些不完整的數(shù)據(jù)具有較低的診斷意義。

醫(yī)學(xué)數(shù)據(jù)插值的早期工作可以追溯到1992 年，Goshtasby等［3］提出利用連續(xù)切片之間的小且漸進(jìn)的解剖學(xué)差異，并通過搜索小鄰域來(lái)找到像素之間的對(duì)應(yīng)關(guān)系。傳統(tǒng)的切片插值方法有兩類：基于強(qiáng)度的方法和基于變形的方法。線性和三次樣條插值方法是基于強(qiáng)度的方法的經(jīng)典示例，它們直接根據(jù)相鄰切片的強(qiáng)度執(zhí)行插值。在后面的研究，研究者們提出了以尋找更精確的變形場(chǎng)為重點(diǎn)的許多方法，包括基于形狀的方法［4］、基于形態(tài)學(xué)的方法［5］和基于配準(zhǔn)的方法［6］等。在上述方法中作出的重要假設(shè)是，相鄰切片包含相似的解剖結(jié)構(gòu)，即結(jié)構(gòu)的變化必須足夠小，以便可以在兩個(gè)切片之間找到密集的對(duì)應(yīng)關(guān)系。這種假設(shè)在很大程度上限制了切片插值方法的適用性，尤其是在稀疏采樣切片時(shí)。此外，這些方法沒有利用兩個(gè)相鄰切片之外的信息。當(dāng)切片之間的解剖差異很大時(shí)，需要更復(fù)雜的建模方法。文獻(xiàn)［7-9］的方法直接基于像素灰度。這些方法的優(yōu)點(diǎn)是操作原理簡(jiǎn)單、計(jì)算復(fù)雜度低，且易于實(shí)現(xiàn)、應(yīng)用范圍廣。但是，它們忽略了一個(gè)重要因素：像素變化是由對(duì)象的結(jié)構(gòu)引起的。對(duì)于線性插值和最鄰近插值而言尤其如此，由于線性插值和最近鄰插值僅考慮了很少的相鄰像素進(jìn)行插值處理，因此無(wú)法考慮許多相關(guān)像素，導(dǎo)致插值精度很低，圖像模糊，某些結(jié)構(gòu)上的細(xì)節(jié)殘缺，視覺真實(shí)性差，并且可能出現(xiàn)偽像。隨后，文獻(xiàn)［10-12］提出了其他基于像素的方法，并嘗試將更多的相鄰像素應(yīng)用于插值算法。Penney等［13］提出了一種基于非剛性配準(zhǔn)的方法，以更好地找到具有相似結(jié)構(gòu)特征的切片之間的映射關(guān)系。此外，F(xiàn)rakes 等［14］還提出了一種改進(jìn)的網(wǎng)格控制插值方法。盡管現(xiàn)有研究已經(jīng)取得了一些進(jìn)展，但是仍然存在偽影和模糊的問題。

由于深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN）在醫(yī)學(xué)圖像分析方面的表現(xiàn)優(yōu)于傳統(tǒng)方法，文獻(xiàn)［15-17］提出了通過對(duì)數(shù)據(jù)中的復(fù)雜變化建模，可以用于學(xué)習(xí)從各向異性磁共振（Magnetic Resonance，MR）到各向同性的映射。Dong 等［18］首先提出了使用深度卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率（image Super-Resolution using deep Convolutional Neural Network，SRCNN），學(xué)習(xí)一種通過三層CNN 將低分辨率（Low Resolution，LR）圖像轉(zhuǎn)換為高分辨率（High Resolution，HR）圖像的映射。許多研究探索了改善單幅圖像超分辨率（Single Image Super Resolution，SISR）的策略，例如使用更深的架構(gòu)和權(quán)重共享［19］。但是，這些方法需要將插值作為預(yù)處理步驟，從而極大增加了數(shù)據(jù)的計(jì)算復(fù)雜性和前導(dǎo)率。為了解決上述問題，Dong 等［20］提出將反卷積層應(yīng)用于低分辨率圖像以直接上采樣至更高分辨率。具體來(lái)說(shuō)，Zhang 等［21］結(jié)合了殘差學(xué)習(xí)塊和密集塊，并引入了殘差密集塊（Residual Dense Block，RDB），以使所有層的功能都可以被其他層直接看到，從而進(jìn)一步提高了性能，表明了殘差學(xué)習(xí)在圖像超分辨率上擁有更好的效果。除此之外，晉銀峰等［22］在對(duì)抗生成網(wǎng)絡(luò)的基礎(chǔ)上提出基于對(duì)抗生成網(wǎng)絡(luò)框架和正則化的超分辨率重建算法，保證了低分辨率MR 圖像到高分辨率圖像的映射一致性。

為了使上采樣因子更具靈活性，以實(shí)現(xiàn)更快的部署和更高的魯棒性，Lim 等［23］提出了用于單一圖像超分辨率的增強(qiáng)型深度殘差網(wǎng)絡(luò)（Enhanced Deep residual networks for single image Super-Resolution，EDSR），通過在模型中創(chuàng)建單個(gè)子結(jié)構(gòu)，以適應(yīng)不同的上采樣因子。Hu等［24］提出的用于超分辨率的任意放大網(wǎng)絡(luò)（Magnification-arbitrary network for Super-Resolution，Meta-SR）可為每個(gè)LR-SR 像素對(duì)動(dòng)態(tài)生成濾波器，從而允許任意上采樣因子。

為了獲得更高分辨率的冠狀面和矢狀面視覺效果，提高其在醫(yī)學(xué)診斷中的意義，本文提出了一種多視角超分辨率重建融合網(wǎng)絡(luò)，分別對(duì)冠狀面和矢狀面進(jìn)行特征提取后，通過空間矩陣濾波器生成動(dòng)態(tài)權(quán)重用于任意尺度上采樣，在聚合成三維體數(shù)據(jù)后沿軸狀方向分割成二維圖像再進(jìn)行兩兩融合。相較于直接對(duì)三維圖像進(jìn)行超分辨率重建及融合，二維圖像需要消耗的內(nèi)存及圖形處理器（Graphics Processing Unit，GPU）資源更少，網(wǎng)絡(luò)更加輕量級(jí)且收斂速度更快。

1 相關(guān)工作

1.1 上采樣層

在超分辨率網(wǎng)絡(luò)中，較為主流的上采樣層方法有反卷積層和像素篩選（Pixel Shuffle），由于反卷積層是先填充零再進(jìn)行卷積操作達(dá)到放大圖像的目的，因此會(huì)產(chǎn)生難以避免的偽影，導(dǎo)致重建效果較差。Pixel Shuffle 則是通過卷積得到r2（r為上采樣因子，即圖像的擴(kuò)大倍率）個(gè)通道的特征圖，然后通過周期篩選的方法得到高分辨率圖像，但是由于感受野分布不均勻，因此可能會(huì)使圖像邊界發(fā)生畸變。

除上述方法外，一種用于超分辨率的任意放大網(wǎng)絡(luò)（Meta-SR）在超分辨率重建的效果上取得了巨大的提升，該算法提出的Meta-Upscale 包含三個(gè)重要的函數(shù)：Location Projection、Weight Prediction、Future Mapping。Location Projection 函數(shù)把像素投射到LR 圖像上，Weight Prediction 函數(shù)為SR 圖像上每個(gè)像素預(yù)測(cè)對(duì)應(yīng)濾波器的權(quán)重，最后Feature Mapping 函數(shù)利用預(yù)測(cè)得到的權(quán)重將LR 圖像的特征映射回SR圖像空間來(lái)計(jì)算其像素值。

本文受Meta-SR 的Meta-Upscale 啟發(fā)，結(jié)合Pixel Shuffle設(shè)計(jì)了上采樣模塊，Meta-SR 通過輸入-輸出映射，缺少對(duì)三維空間下分辨率變化的考慮。本文設(shè)計(jì)的各向異性插值模塊采用了一種新的圖像范圍投影，針對(duì)醫(yī)學(xué)圖像三維數(shù)據(jù)的空間分辨率的變化，通過計(jì)算圖像中體素的空間位置信息，動(dòng)態(tài)獲取上采樣層所需要上采樣卷積核的權(quán)重，這樣網(wǎng)絡(luò)可以不用保存每個(gè)尺度對(duì)應(yīng)模型的權(quán)重，從而實(shí)現(xiàn)對(duì)輸入低分辨率圖像的任意尺度超分辨率放大。

1.2 多視角融合

Peng 等［25］提出了基于邊緣超分辨率、融合和細(xì)化的深層切片插值（Deep Slice Interpolation via Marginal Super-Resolution，fusion and refinement，DSIM-SR），首先對(duì)冠狀面和矢狀面通過邊緣超分辨率（Marginal Super-Resolution，MSR）網(wǎng)絡(luò)分別得到目標(biāo)分辨率的體數(shù)據(jù)，然后通過兩視圖融合修正（Two-view Fusion and Refinement，TFR）學(xué)習(xí)沿軸向的結(jié)構(gòu)變化來(lái)進(jìn)一步提高切片插值的質(zhì)量，在重建效果上取得了一定的提升。TFR 網(wǎng)絡(luò)將冠狀面和矢狀面通過MSR 之后得到的體數(shù)據(jù)分別重新截取獲得軸狀面的數(shù)據(jù)，將對(duì)應(yīng)的軸狀面兩兩作為輸入進(jìn)入融合網(wǎng)絡(luò)。融合網(wǎng)絡(luò)采用殘差密集網(wǎng)絡(luò)（Residual Dense Network，RDN），訓(xùn)練融合網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

本文提出了一種多視角融合網(wǎng)絡(luò)結(jié)構(gòu)，通過對(duì)冠狀面和矢狀面層間插值之后得到的體數(shù)據(jù)沿軸狀方向提取軸狀面數(shù)據(jù)，對(duì)得到的兩部分軸狀面數(shù)據(jù)一一對(duì)應(yīng)，進(jìn)行融合，根據(jù)軸狀方向數(shù)據(jù)進(jìn)行約束，增強(qiáng)兩種數(shù)據(jù)的共同特征，然后將融合后的數(shù)據(jù)和通過RDN 特征提取后的數(shù)據(jù)進(jìn)行逐像素加，從而達(dá)到提高重建效果的目的。

2 多視角超分辨率重建融合網(wǎng)絡(luò)

本文所提出的多視角超分辨融合網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1 所示。所提網(wǎng)絡(luò)主要分為兩個(gè)階段：第一個(gè)階段為層間插值階段，首先采用RDN 對(duì)低分辨率圖像進(jìn)行特征提取，其次通過生成不同大小的卷積濾波器和各向異性亞像素卷積來(lái)得到任意的上采樣因子，通過執(zhí)行亞像素卷積和周期性轉(zhuǎn)換操作以產(chǎn)生放大后的圖像。第二個(gè)階段為多視角融合階段，對(duì)完成第一階段的冠狀圖和矢狀圖所得到的體數(shù)據(jù)沿軸狀方向切割成二維數(shù)據(jù)，兩兩進(jìn)行融合，結(jié)合軸狀面進(jìn)一步提高切片插值的質(zhì)量。

令I(lǐng)(x，y，z)∈Rx×y×z表示MR 的切片。通常來(lái)說(shuō)，將x軸稱為矢狀軸，將y軸稱為冠狀軸，將z軸稱為軸狀軸，因此各面的切片表示為：1）矢狀面，Ix(y，z)=I(x，y，z)，?x；2）冠狀面，Iy(x，z)=I(x，y，z)，?y；3）軸狀面，Iz(x，y)=I(x，y，z)，?z。

同時(shí)，以軸狀面為例，其稀疏采樣定義為：

2.1 層間插值

在準(zhǔn)備階段，將MR 體數(shù)據(jù)分別沿矢狀方向和冠狀方向獲取到Ix(y，z)、Iy(x，z)，分別對(duì)Ix(y，z)和Iy(x，z)進(jìn)行下采樣后，再進(jìn)行特征提取，獲取到特征提取圖FLR，然后再通過空間矩陣濾波器，計(jì)算得到動(dòng)態(tài)權(quán)重，通過周期性Pixel Shuffle 獲取到超分辨率后的結(jié)果ISR。

2.1.1 特征提取

在特征提取階段，將單張矢狀切面或冠狀切面輸入RDN中進(jìn)行特征提取，如圖2 所示。對(duì)于給定的低分辨率圖像，特征提取階段僅提取特征圖FLR：

圖2 特征提取網(wǎng)絡(luò)Fig.2 Feature extraction network

其中θFL是過濾器學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)。

2.1.2 空間濾波器

由于MR 的拍攝時(shí)間較長(zhǎng)，且病人移動(dòng)會(huì)對(duì)成像造成影響，通常會(huì)采用適量減少切片的方式來(lái)減少拍攝時(shí)長(zhǎng)；且由于設(shè)備及實(shí)際情況的差異，不同數(shù)據(jù)在插值階段所需要的縮放因子也存在較大的差異。傳統(tǒng)的上采樣模塊會(huì)預(yù)定義卷積核的數(shù)量以及由訓(xùn)練集學(xué)習(xí)得到的權(quán)重，Meta-SR 采用Meta-Upscale Module 代替?zhèn)鹘y(tǒng)的放大模塊。針對(duì)任意縮放因子，Meta-Upscale Module 可以通過縮放因子動(dòng)態(tài)地預(yù)測(cè)放大濾波器的權(quán)重，進(jìn)而使用這些權(quán)重生成任意大小的高分辨率圖像，實(shí)現(xiàn)單一模型解決任意縮放因子的超分辨率問題。

如圖3 所示，本文受Meta-SR 的啟發(fā)，為了解決MR 圖像普遍存在的切片內(nèi)分辨率高、切片間分辨率低導(dǎo)致的各向異性，在上采樣模塊中首先設(shè)計(jì)了一個(gè)空間位置矩陣濾波器（Space Position Filter，SPF），通過像素之間的空間位置計(jì)算得到權(quán)重，從而允許任意大小的上采樣因子。將ISR的空間分辨率表示為(Rh，Rw)。為了找到體素之間的對(duì)應(yīng)關(guān)系，首先計(jì)算ILR生成的特征塊中每一個(gè)點(diǎn)與ISR之間的坐標(biāo)距離，根據(jù)它們?cè)谧罱K圖像ISR中的坐標(biāo)位置，用坐標(biāo)距離乘以空間分辨率(Rh，Rw)，從而得出其對(duì)應(yīng)的物理距離關(guān)系。以目標(biāo)通道c、濾波尺寸k、空間分辨率(Rh，Rw)以及通道c在坐標(biāo)位置的映射Mc作為輸入可得空間位置矩陣Pc：

圖3 層間插值上采樣Fig.3 Inter-layer interpolation upsampling

由計(jì)算Pc的輸入?yún)?shù)可以看出，Pc包含了給定切片的空間分辨率信息并且與目標(biāo)通道建立了關(guān)聯(lián)關(guān)系，同時(shí)會(huì)對(duì)后續(xù)參與的計(jì)算同樣建立起這種關(guān)系。

最后，將空間位置矩陣作為輸入，進(jìn)入到過濾器生成階段，該階段由5 個(gè)卷積層和4 個(gè)ReLU 組成：第一層卷積的輸出通道為32，即RDN 中的默認(rèn)超參數(shù)；第二、三、四層卷積的輸出通道數(shù)為64；第五層卷積的輸出通道數(shù)為FLR的通道數(shù)，最后得到可根據(jù)空間分辨率變化的過濾器權(quán)重Wc。將FLR與Wc相乘，得到對(duì)應(yīng)坐標(biāo)的值，通過周期性篩選得到ISR。

2.2 多視角融合網(wǎng)絡(luò)

本文提出了多視角融合網(wǎng)絡(luò)通過學(xué)習(xí)單個(gè)切片的結(jié)構(gòu)變化來(lái)進(jìn)一步提高切片插值的質(zhì)量。如圖4 所示，該網(wǎng)絡(luò)分為兩個(gè)部分，本文用矢狀和冠狀超分辨率后體數(shù)據(jù)的Isag(x，y，z)和Icor(x，y，z)分別獲得單張軸向切片(x，y)和(x，y)用作輸入。

圖4 多視角融合網(wǎng)絡(luò)Fig.4 Multi-view fusion network

在第一部分中，首先對(duì)(x，y)和(x，y)取均值，得到=(x，y)，由于(x，y)和(x，y)的每個(gè)像素代表從矢狀和冠狀方向的最佳估計(jì)，因此切片(x，y)的平均值可以減少某些方向上的偽影。令(x，y) 的網(wǎng)絡(luò)輸入為X=(batch，h，w，256)(x，y)的網(wǎng)絡(luò)輸入為Y=(batch，h，w，256)。首先，經(jīng)過Embedded Gaussian 中的兩個(gè)嵌入權(quán)重變換，分別得到(batch，h，w，128)和(batch，h，w，128)，通過降低通道數(shù)，達(dá)到減少計(jì)算量的目的。其次，對(duì)這兩個(gè)輸出進(jìn)行reshape 操作，使之變成(batch，h×w，256)對(duì)這兩個(gè)矩陣進(jìn)行矩陣乘，計(jì)算相似性，得到(batch，h×w，h×w)，在第2 個(gè)維度上進(jìn)行SoftMax 操作，得到(batch，h×w，h×w)找到當(dāng)前圖片中每個(gè)像素與其他所有位置像素的歸一化相關(guān)性；然后，對(duì)均值也采用一樣的操作，先通道降維后resha pe；接下來(lái)，和(batch，h×w，h×w)進(jìn)行矩陣乘，得到(batch，h×w，128)，本質(zhì)就是輸出的每個(gè)位置值都是其他所有位置的加權(quán)平均值，通過SoftMax 操作可以進(jìn)一步突出共性。經(jīng)過一個(gè)1× 1卷積恢復(fù)輸出通道，保證輸入輸出尺度完全相同。最后，和進(jìn)行逐像素加，目標(biāo)函數(shù)為：

在第二部分中，本文采用具有5 個(gè)RDB 的RDN，每個(gè)RDB有4個(gè)卷積層，增長(zhǎng)率為16的目標(biāo)函數(shù)為：

RDN 通過密集卷積層來(lái)提取充分的局部特征，對(duì)于每一個(gè)RDB，不僅允許將前一個(gè)RDB 的狀態(tài)直接連接至當(dāng)前RDB的所有層形成連續(xù)記憶，還可以通過局部密集連接充分利用其中的所有層，再通過局部特征融合（Local Feature Fusion，LFF）自適應(yīng)地保留累積的特征。通過使用RDB 中的局部特征融合來(lái)自適應(yīng)學(xué)習(xí)來(lái)自先前和當(dāng)前局部特征的更有效特征，并穩(wěn)定更大網(wǎng)絡(luò)的訓(xùn)練。在完全獲得密集的局部特征后，使用全局特征融合將所有RDB 提取到的特征融合在一起，自適應(yīng)地學(xué)習(xí)全部分層特征，得到全局特征。

最后，對(duì)第一部分和第二部分得到的結(jié)果進(jìn)行逐像素加得到最終的結(jié)果。

在融合部分中的兩部分圖像是由冠狀面和矢狀面分別進(jìn)行超分辨率重建后重新聚合成三維數(shù)據(jù)后，再次切片得到的軸狀面數(shù)據(jù)，融合旨在獲取圖像不同面的關(guān)聯(lián)性，對(duì)軸向進(jìn)行約束。通過第一部分中的兩層（4 個(gè)）卷積能夠弱化圖像中的偽影，再與第二部分中得到的結(jié)果進(jìn)行逐像素加后，可以達(dá)到增強(qiáng)圖像中的關(guān)鍵組織區(qū)域的紋理信息的目的。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)參數(shù)

本文使用了15 個(gè)來(lái)自阿茲海默癥神經(jīng)成像計(jì)劃（Alzheimer’s Disease Neuroimaging Initiative，ADNI）數(shù)據(jù)集中的MR T1 權(quán)重的腦部數(shù)據(jù)，MR 以1mm × 1mm × 1mm 的各向同性采樣。原數(shù)據(jù)在軸狀面的分辨率均為256 × 256，部分?jǐn)?shù)據(jù)軸狀方向的切片數(shù)量略少于256，本文選擇將其零填充到256 × 256 × 256后重新獲取切片，最終在軸狀面、矢狀面和冠狀面各得到3840個(gè)切片。進(jìn)一步通過系數(shù)k=2、k=3、k=4對(duì)各向同性數(shù)據(jù)進(jìn)行抽樣，得到I↓k(x，y，z)，大小分別為256 ×256 × 128、256 × 256 × 85 和256 × 256 × 64。本文將數(shù)據(jù)分成訓(xùn)練集、驗(yàn)證集和測(cè)試集三部分，樣本數(shù)量分別為12、1、2。在測(cè)試集中，本文僅采用具有腦部組織區(qū)域的圖組成測(cè)試集。

實(shí)驗(yàn)階段本文使用PyTorch1.0，對(duì)所有模型采用Adam 作為梯度下降優(yōu)化器，動(dòng)量為0.5，學(xué)習(xí)率為1× 10-4，學(xué)習(xí)率衰減為1× 10-5，每當(dāng)訓(xùn)練損失的最優(yōu)值在20 個(gè)epoch 內(nèi)沒有改善時(shí)，學(xué)習(xí)率進(jìn)行衰減，訓(xùn)練使用一臺(tái)NVIDIA P100 GPU 服務(wù)器。

3.2 對(duì)比實(shí)驗(yàn)

為了測(cè)試本文算法的性能，將本文算法與傳統(tǒng)的最近鄰差值（Bilinear），雙三次插值法（Bicubic），基于神經(jīng)網(wǎng)絡(luò)的RDN，Meta-SR 以及同樣進(jìn)行了多視角融合的DSIM-SR 算法進(jìn)行了性能對(duì)比。

表1 給出了尺度分別為×2、×3、×4 時(shí)各算法的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）值和結(jié)構(gòu)相似 性（Structural SIMilarity，SSIM）指標(biāo)。與同樣進(jìn)行了多視角融合的DSIM-SR 相比，本文算法在各個(gè)尺度上均有1 dB 左右PSNR 值的提升，且與其他算法相比，本文算法和DSIM-SR 的性能表現(xiàn)都更優(yōu)，這是由于本文算法和DSIM-SR 均設(shè)計(jì)了多視角融合模塊，通過約束軸狀方向，對(duì)單一視角重建的結(jié)果進(jìn)行了修正。且本文算法在融合模塊進(jìn)一步進(jìn)行了結(jié)構(gòu)優(yōu)化，更為突出了圖像高頻信息較為豐富的區(qū)域，進(jìn)一步提高了邊界區(qū)分度。

表1 不同算法在測(cè)試集上的PSNR和SSIM對(duì)比Tab.1 PSNR and SSIM comparison of different algorithms on test set

為了客觀顯示本文算法與各個(gè)算法的重建效果，本文從測(cè)試集中選取了兩幅高分辨率圖像，分別進(jìn)行4 倍下采樣后輸入以上6 個(gè)算法，重建效果如圖5 所示。由圖5 可以看出，相較于其他5 個(gè)算法，從視覺效果上來(lái)看，本文算法提升明顯；且與同樣進(jìn)行了多視角融合的DSIM-SR相比，本文算法在圖像的細(xì)節(jié)上也取得了更優(yōu)的還原度。

圖5 不同算法重建效果對(duì)比Fig.5 Reconstruction effect comparison of different algorithms

3.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證多視角融合網(wǎng)絡(luò)的作用，在實(shí)驗(yàn)中去掉本文算法的多視角融合網(wǎng)絡(luò)部分，分別使用僅對(duì)冠狀面進(jìn)行超分辨率重建的結(jié)果和僅對(duì)矢狀面進(jìn)行超分辨率重建的結(jié)果，與多視角融合之后的結(jié)果進(jìn)行比較，如圖6所示。

由圖6 可以看出，僅對(duì)冠狀面進(jìn)行重建和僅對(duì)矢狀面進(jìn)行重建時(shí)，由于缺乏軸向方向上的約束，均表現(xiàn)出一定的方向偽影。在本文算法的融合部分中，通過對(duì)兩個(gè)面進(jìn)行軸向約束，降低偽影對(duì)圖像的影響，融合的圖像更貼近真實(shí)圖像。

圖6 消融實(shí)驗(yàn)中多視角融合前后重建效果對(duì)比Fig.6 Comparison of reconstruction effect before and after multi-view fusion in ablation experiment

表2 中給出了尺度分別為×2、×3、×4 時(shí)僅對(duì)冠狀面進(jìn)行重建、僅對(duì)矢狀面進(jìn)行重建和多視角融合后的PSNR 和SSIM指標(biāo)。

從表2中可以看出，多視角融合后的PSNR 相較于僅對(duì)冠狀面進(jìn)行重建和僅對(duì)矢狀面進(jìn)行重建的結(jié)果在各個(gè)尺度中均有一定的提升。

表2 融合前后的PSNR和SSIM對(duì)比Tab.2 PSNR and SSIM comparison before and after fusion

4 結(jié)語(yǔ)

針對(duì)MR 圖像切片內(nèi)分辨率高而切片間分辨率低導(dǎo)致的冠狀面和矢狀面缺乏醫(yī)學(xué)診斷意義這一問題，本文提出了一種新的多視角超分辨率融合算法。該算法可以實(shí)現(xiàn)任意上采樣因子放大低分辨率的圖像，同時(shí)通過以軸狀面作為約束進(jìn)行多視角融合，進(jìn)一步提升了圖像的視覺感知效果。實(shí)驗(yàn)結(jié)果表明，該算法可以對(duì)存在各向異性的MR 圖像進(jìn)行重建，將冠狀面和矢狀面的圖像恢復(fù)至與軸狀面相同分辨率，便于醫(yī)學(xué)診斷。但是該算法中均采用將三維數(shù)據(jù)轉(zhuǎn)換成二維數(shù)據(jù)后進(jìn)行處理，因此在處理過程中，僅考慮了橫向與縱向之間的關(guān)聯(lián)關(guān)系，缺少對(duì)于斜向角度中關(guān)系的利用，因此接下來(lái)將進(jìn)一步研究直接針對(duì)三維體數(shù)據(jù)進(jìn)行三維上的處理。