多重放大的醫(yī)學圖像超分辨率重建

章偉帆，曾慶鵬

南昌大學 信息工程學院，南昌 330031

隨著CT、磁共振等醫(yī)療影像技術的廣泛應用，醫(yī)學圖像已成為臨床診斷過程中的重要參考信息。醫(yī)學圖像的質量會對醫(yī)生的臨床判斷產(chǎn)生重要的影響，清晰且紋理細節(jié)豐富的醫(yī)學圖像可以提供更加全面的病理信息[1]。高分辨率的醫(yī)學成像設備往往造價高昂，通過增加掃描次數(shù)或掃描時間取得高分辨率醫(yī)學圖像的方式，易出現(xiàn)過量輻射或運動偽影的情況[2]。單幅圖像超分辨率（single image super-resolution，SISR）是指通過一幅低分辨率（low-resolution，LR）圖像，生成高分辨率（highresolution，HR）圖像的過程[3]，其被廣泛應用于安防監(jiān)控、醫(yī)學圖像和衛(wèi)星遙感等領域中[4]。利用超分辨率重建的方法獲取高質量的醫(yī)學圖像，成本更低，安全風險更小。

超分辨率重建的方法大致可以被分為三類[5]：基于插值的方法，基于重構的方法，以及基于學習的方法。插值法實現(xiàn)起來更簡單，但重建得到的圖像易出現(xiàn)混疊與模糊的現(xiàn)象[6]。重構法通常需要明確的先驗信息對結果進行約束，相比插值法重建效果更好，但往往難以確定求解模型，在較大的放大因子下易出現(xiàn)先驗信息不足的問題[7]。淺層學習法一般需手動地選擇圖像特征和參數(shù)，并進行手工的調整，建立LR圖像和HR圖像之間的映射關系[8]，對人員專業(yè)性要求較高。

深度學習的方法并不顯式地學習LR圖像與HR圖像之間的映射，而是通過訓練網(wǎng)絡模型取得一組權值，隱式完成二者之間的映射。Dong等人[9]首先將深度學習的方法引入SISR問題，提出基于卷積神經(jīng)網(wǎng)絡的圖像超分辨率網(wǎng)絡模型SRCNN。與傳統(tǒng)方法相比，重建效果得到明顯提高。但對LR圖像插值放大至HR大小后輸入網(wǎng)絡模型，增加了計算負載。Dong等人[10]在SRCNN上進行改進，提出基于反卷積的快速圖像超分辨率網(wǎng)絡模型FSRCNN。可直接輸入LR圖像進行處理，在網(wǎng)絡模型的末端利用反卷積的方法，將特征圖放大至HR大小。顯著地提高了圖像的重建速度，但易出現(xiàn)棋盤偽影等現(xiàn)象。Shi等人[11]引入亞像素的概念，提出基于亞像素卷積的超分辨率重建網(wǎng)絡模型ESPCN。在末端利用亞像素卷積對特征圖進行像素重排。反卷積法與亞像素法也被應用到后續(xù)眾多基于深度學習的超分辨率重建網(wǎng)絡模型中。

Kim等人[12]將殘差跳躍連接結構引入超分辨率重建任務，提出了基于深度卷積神經(jīng)網(wǎng)絡的超分辨率重建網(wǎng)絡模型VDSR。通過殘差連接能夠建立更深的網(wǎng)絡結構，增強網(wǎng)絡模型的特征提取能力。Tong等人[13]將密集連接結構引入超分辨率重建任務，提出基于密集跳躍連接的超分辨率重建網(wǎng)絡模型SRDenseNet。在網(wǎng)絡層之間建立更為激進的跳躍連接結構，每一層的輸入都來自于之前所有層的融合，實現(xiàn)淺層特征的復用。Zhang等人[14]結合殘差連接與密集連接，提出基于密集殘差網(wǎng)絡結構的圖像復原網(wǎng)絡模型RDN。實現(xiàn)特征與梯度的良好傳遞，取得了更好的重建效果。

當前大多數(shù)基于深度學習的超分辨率重建網(wǎng)絡模型都只針對彩色的自然圖像，面向醫(yī)學圖像重建任務的較少。醫(yī)學圖像往往紋理細節(jié)更加復雜，對圖像結構的準確還原有更高的要求。此外，大多數(shù)基于深度學習的方法都需要為每個放大因子單獨訓練一個模型，且局限于整數(shù)放大因子，限制了重建模型的實際應用。

為此，本文提出一種支持多重放大的醫(yī)學圖像超分辨率重建網(wǎng)絡模型（multi-scale medical image superresolution used 2-RDB，M2SR）。改進密集殘差結構的跳躍連接方式，逆序方式建立更為稀疏的層間連接，將連接復雜度由指數(shù)級降至對數(shù)級，改善網(wǎng)絡模型不平衡的問題。采用元信息直接嵌入模式對特征圖重建結構進行改進，跨任務地學習不同放大因子間的通用知識，并動態(tài)地生成權值。所提的M2SR網(wǎng)絡模型同時考慮像素坐標信息與放大因子信息，較好地實現(xiàn)了小數(shù)與整數(shù)放大因子重建任務的整合。

1 相關工作

1.1 密集殘差塊

對于卷積神經(jīng)網(wǎng)絡而言，往往越深的網(wǎng)絡，訓練得到的結果會越好。但是隨著網(wǎng)絡的加深，容易出現(xiàn)梯度消失或梯度爆炸的現(xiàn)象。He等人[15]提出殘差學習的思想，通過增加跳躍連接，直接將梯度由網(wǎng)絡的淺層傳遞至深層部分，較好地解決了深層網(wǎng)絡難以訓練的問題。Huang等人[16]進一步提出了密集連接結構。在密集塊中，每一個卷積層的輸入都是之前所有層的輸出。密集殘差網(wǎng)絡結構則融合了密集連接和殘差學習的思想，基本組成單位為密集殘差塊（residual dense block，RDB），其主要結構如圖1所示。

圖1 密集殘差塊結構Fig.1 Structure of residual dense block

通常的網(wǎng)絡傳播方式中，第l+1層的輸入只來源于第l層的輸出xl。在殘差密集塊中，第l+1層的輸入則來源于之前的所有層，如公式（1）所示：

其中，函數(shù)H()·表示各層輸出的特征圖在通道方向上的拼接融合。通過Padding操作，保持每個卷積層輸出的特征圖大小一致。在密集殘差塊中，總的跳躍連接數(shù)量如公式（2）所示：

其中，Nskip表示總的跳躍連接數(shù)量，NL表示密集殘差塊內(nèi)卷積層數(shù)量?？偟倪B接數(shù)量呈指數(shù)級O(n2)增長。特征圖融合層利用1×1卷積，對拼接后的特征圖進行降維融合，以匹配下一個密集殘差塊的輸入。

1.2 元學習

元學習也可以被稱為學會學習。一般的機器學習策略往往是對訓練數(shù)據(jù)的學習，元學習則上升為對任務的學習[17]。元學習往往將一組相近的任務看作某個復雜任務的簡單子任務，通過跨任務的比較學習，獲得各個簡單子任務間可遷移的通用知識[18]。元學習被廣泛應用于零樣本學習、少樣本學習與遷移學習等領域[19]。最簡單直接的元學習策略則是元信息動態(tài)嵌入模型的模式。通常元學習策略通過跨任務學習超參后再取得一組權重，元信息動態(tài)嵌入的模式直接由訓練任務取得權重，越過超參賦值的過程。在圖像處理領域中，往往是動態(tài)地更新不同子任務的權重。在分類任務中，Cai等人[20]利用元學習策略，將分類模型遷移至新的小樣本分類任務，使網(wǎng)絡模型獲得對新類別的分類能力。在目標檢測任務中，Yang等人[21]結合元學習策略，動態(tài)地生成檢測錨點與邊界，不再需要進行預定義的操作。本文利用元學習策略學習不同放大因子重建任務間的通用知識，嵌入一個小型的神經(jīng)網(wǎng)絡更新特征圖放大重建部分的權重，完成多重放大因子的醫(yī)學圖像超分辨率重建任務。

2 M2SR網(wǎng)絡模型

2.1 改進連接的2-RDB結構

本文對原密集殘差結構中的跳躍連接進行了改進，提出2-RDB結構，并作為M2SR網(wǎng)絡模型的一部分。其結構如圖2所示。

圖2 改進連接的2-RDB結構Fig.2 Structure of 2-RDB modified skip

在2-RDB結構中仍保留殘差跳躍連接，對于密集跳躍連接則有兩種組織方式：雙層跳躍與多層跳躍。雙層跳躍以2個卷積層為一組添加跳躍連接，多層跳躍以2倍增長的方式，逆序地確定跳躍連接的位置。

在圖2中對2-RDB中的卷積層進行編號，上方的為正序編號，下方的為逆序編號。多層跳躍連接的特征圖拼接融合如公式（3）所示：

其中，函數(shù)H(·)表示對特征圖拼接融合，xi表示第i層的輸入，N表示2-RDB中卷積層的數(shù)量，c為正整數(shù)，滿足2c≤N。公式（3）中為正序編號表示，若由逆序表示，則需傳遞的是第-2n卷積層的輸入。以圖2中由8個卷積層組成的2-RDB為例，需連接第-2、-4、-8個卷積層的輸入，即正序編號的第1、5、7個卷積層的輸入。

在改進連接的2-RDB結構中，密集跳躍連接的數(shù)量如公式（4）所示：

改進后的結構中，連接數(shù)量以對數(shù)級O(lbn)增長。與公式（2）相比，連接復雜度由指數(shù)級降至對數(shù)級。避免了網(wǎng)絡層數(shù)增長時，連接數(shù)量爆炸增長的問題。

此外，2-RDB中的多層跳躍使連接操作集中于網(wǎng)絡模型的末端，增強對深層特征的提取能力，能夠更好地還原醫(yī)學圖像的細微紋理信息。原密集殘差結構中，來自淺層的特征圖會被反復傳遞，在網(wǎng)絡的末端，新增的存儲狀態(tài)多數(shù)被用于保存淺層特征。逆序編號的多層跳躍方式改善了原結構中，淺層特征占比過高的問題。

多層跳躍方式下，網(wǎng)絡模型前端的連接較為稀疏。為此，以兩個卷積層為一組添加雙層跳躍連接，以維持淺層特征的良好傳遞能力，改善原網(wǎng)絡模型結構不平衡的問題。

2.2 M2SR網(wǎng)絡模型的整體結構

M2SR網(wǎng)絡模型以2-RDB結構為主要組件，并采用元信息動態(tài)嵌入的模式，實現(xiàn)多重放大的醫(yī)學圖像超分辨率重建任務。其整體結構如圖3所示。

圖3 M2SR網(wǎng)絡模型的整體結構Fig.3 Framework of M2SR network

本文提出的M2SR網(wǎng)絡模型仍保持原密集殘差網(wǎng)絡模型的基本組成方式，特征提取部分則由若干個2-RDB依次連接而成。不再將所有的2-RDB塊間的輸出進行傳遞，而是有間隔地輸出至網(wǎng)絡末端進行拼接融合操作，跳躍連接總數(shù)降低至N/2，如公式（5）所示：

特征圖的放大重建部分采樣元信息動態(tài)嵌入的模式，通過坐標投影矩陣與坐標掩碼矩陣對特征圖進行重構，以還原高分辨率的醫(yī)學圖像。

此外，在M2SR網(wǎng)絡模型中，一律不包含池化與批歸一化操作。池化操作容易引起模糊效應，會對醫(yī)學圖像的紋理信息造成破壞。批歸一化操作主要用于突出相對差異，而低分辨率與高分辨率的醫(yī)學圖像之間高度相似，但絕對差異很大，批歸一化操作可能降低重建圖像的質量。

基于元學習的重建結構將醫(yī)學圖像的重建任務整體地看作為一個復雜任務，將不同放大因子的重建任務看作該任務的簡單子任務。利用元信息直接嵌入的特征圖重建模塊與向量轉換對齊操作，將孤立的不同放大因子醫(yī)學圖像重建任務，轉化為對各個簡單子任務間通用知識的學習，實現(xiàn)多重放大因子的重建任務。

2.3 元信息嵌入重建模塊

一般的重建模型中，在特征圖的放大重建階段是為每個放大因子學習一組固定的權重。在基于元學習的M2SR結構中，將一個小型神經(jīng)網(wǎng)絡直接嵌入特征圖重建模塊，為不同的放大因子動態(tài)生成一組權重。將對數(shù)據(jù)的學習，轉換為對任務的學習。其結構如圖4所示。

圖4 元信息嵌入結構Fig.4 Structure of meta-information embedding

元信息嵌入結構共有三個輸入，特征圖F、坐標投影矩陣Ep，以及坐標掩碼矩陣Em。坐標投影矩陣Ep由三個矩陣拼接而成，分別保存橫、縱坐標信息與放大因子信息。對于HR醫(yī)學圖像上的點P(I,J)，其在LR醫(yī)學圖像上有對應投影點p(i,j)，當放大因子r為整數(shù)時，有公式（6）；當放大因子r為小數(shù)時，有公式（7）：

同時考慮小數(shù)與整數(shù)放大因子的重建任務，綜合公式（6）與公式（7），并考慮放大因子信息，有公式（8）：

坐標投影矩陣由X、Y與Z合并構成，以類似圖像通道的方向取出一組值，作為權值預測網(wǎng)絡的輸入，如公式（9）所示：

其中，N(·)表示權值預測網(wǎng)絡，由兩個全連接層構成，wfc表示其輸出，m與n表示坐標投影矩陣上取出點的坐標。通常，使用反卷積或亞像素卷積等方法對特征圖進行上采樣時，指定某個整數(shù)放大因子后，再學習一組相應的固定權重。在M2SR網(wǎng)絡模型中，學習嵌入的權值預測網(wǎng)絡權重，再根據(jù)不同的放大因子動態(tài)地生成相應的權重wfc。高分辨率的醫(yī)學圖像重建過程如公式（10）所示：

其中，Em(·)表示依據(jù)坐標掩碼矩陣記錄的信息進行矩陣壓縮，Exp(·)表示對向量進行復制擴充，選擇矩陣乘作為特征映射函數(shù)，以聯(lián)合預測的權重向量與提取的特征圖向量。

2.4 維度對齊與坐標掩碼

權值向量與特征圖向量需提前進行復制擴充，對齊二者維度以滿足特征映射函數(shù)的運算要求。對于特征圖F，假定維度對齊前的輸入為(Cfin,h,w)，則輸出維度為(R,R,k×k×Cfin,h×w)。其中R為放大因子r向上取整，k為滑動窗口的核大小。采用類似卷積的滑動方式復制，以保持向量內(nèi)部的位置信息不被破壞。對于權值向量wfc，假定維度對齊前的輸入為(h×w,wfc)，輸出的維度為(R×h,R×w,wfc)。方便起見，同樣以wfc表示權值向量的維度。此過程中同樣需保持向量內(nèi)部的相對位置穩(wěn)定。參數(shù)k與wfc的選定需滿足公式（11）：

經(jīng)過維度對齊后，參數(shù)R取代參數(shù)r。通過對向量的適當復制擴充，使網(wǎng)絡模型能夠以相同的方式處理小數(shù)放大因子的重建任務。利用坐標掩碼還原參數(shù)r，取得SR（super-resolution）醫(yī)學圖像。坐標掩碼矩陣Em的生成過程如圖5所示。

圖5 坐標掩碼的生成Fig.5 Generative process of coordinate mask

坐標掩碼矩陣Em的取得方式同維度對齊過程相適應，以參數(shù)R為指導。對于坐標投影矩陣Ep，依據(jù)公式（8）確定。在放大因子r為小數(shù)的條件下，LR上各點的投影范圍并不一定相同。在參數(shù)R的條件下，對于LR上的一點a(i,j)，其在坐標掩碼矩陣Em上有對應的點A"(I",J")，坐標范圍滿足公式（12）：

由于矩陣Ep與矩陣Em在不同的參數(shù)指導下進行投影，可能出現(xiàn)差余，按位填充坐標掩碼矩陣Em以記錄。對于特征映射后取得的稀疏像素矩陣，認為其在對應坐標掩碼矩陣上置1的點比置0的點更有效，更符合LR至HR的投影范圍。將矩陣Em中為0的點作為稀疏標記，對稀疏像素矩陣進行壓縮，重建高分辨率醫(yī)學圖像。隨著放大因子r的增長，坐標掩碼矩陣中稀疏標記減少。當r=R時，矩陣Em與矩陣Ep將完全映射，公式（8）將退化為公式（6）。此時即為整數(shù)重建任務，由此實現(xiàn)小數(shù)與整數(shù)醫(yī)學圖像重建任務的整合。

對于嵌入的權值預測結構，其隱藏層的神經(jīng)元數(shù)量設定，影響元信息嵌入重建結構的表達能力，可參考一般BP網(wǎng)絡模型隱藏層參數(shù)要求。本文M2SR網(wǎng)絡模型中各關鍵參數(shù)設置如表1所示。

表1 網(wǎng)絡模型M2SR關鍵參數(shù)Table 1 Key parameters of M2SR network

3 實驗結果與分析

3.1 實驗數(shù)據(jù)與訓練設置

實驗數(shù)據(jù)來源于美國人類基因組圖譜數(shù)據(jù)庫（The Cancer Genome Atlas，TCGA），共包含三類醫(yī)學圖像：宮頸鱗癌和腺癌（cervical squamous cell carcinoma and endocervical adenocarcinoma，CESC）、食管癌（esophageal carcinoma，ESCA），以及腎嫌色細胞癌（kidney chromophobe，KICH）。從各類別樣本中挑選200張成像質量較好、紋理細節(jié)豐富的醫(yī)學圖像作為訓練樣本。以不重合的方式，從各類別中額外選擇40張作為測試樣本，分別標記為測試集a、測試集b與測試集c。在數(shù)據(jù)預處理時將去除所有標簽數(shù)據(jù)，僅保留圖像信息。

退化模型采用常規(guī)的雙三次插值法方式對HR圖像下采樣，模擬LR醫(yī)學圖像，取得成對的訓練樣本組。訓練時采用方形的32×32隨機裁剪子圖，批處理大小設置為16。采用Adam優(yōu)化器訓練網(wǎng)絡模型，初始學習率為0.000 1，每100訓練代數(shù)減半。實驗平臺操作系統(tǒng)為Ubuntu18.04，硬 件CPU為Intel Xeon E5-2618L v3，GPU為NVIDIA GeForce RTX 2080 Ti，內(nèi)存32 GB，采用PyTorch1.5版本深度學習框架。

3.2 整數(shù)放大因子實驗結果

實驗結果以峰值信噪比（peak signal to noise ratio，PSNR）與結構相似度（structural similarity index，SSIM）作為評價指標，以典型方法作為比較基線。雙三次插值法（bicubic）作為傳統(tǒng)方法的典型代表，SRCNN為首次將深度學習引入SISR任務的經(jīng)典網(wǎng)絡模型，VDSR為首次利用殘差學習建立的SISR網(wǎng)絡模型。特征圖上采樣重建主要有反卷積與亞像素卷積兩類，分別選擇典型的反卷積法[10]與亞像素法[11]網(wǎng)絡模型作為比較基線。

在不同放大因子下，M2SR網(wǎng)絡模型在PSNR與SSIM上的結果如表2所示。實驗結果取各測試集上的平均值，最好結果加粗標記。此外，對各測試結果計算相應的標準差σ，以觀察實驗結果的離散性。

由表2可以看出，基于深度學習的方法都優(yōu)于傳統(tǒng)的雙三次插值法Bicubic。SRCNN方法使用前端上采樣策略，可能同步放大LR醫(yī)學圖像的噪聲，重建表現(xiàn)較差。與反卷積法與亞像素法相比，M2SR網(wǎng)絡模型在×2任務中，PSNR指標平均提升1.25 dB與1.05 dB。與同樣采用殘差結構的VDSR相比，在高倍的×4任務下M2SR網(wǎng)絡模型優(yōu)勢相對更為顯著，在PSNR與SSIM上提升幅度最大可達1.57 dB與0.042 5。實驗結果表明，同各類典型方法相比，M2SR網(wǎng)絡模型在整數(shù)放大因子醫(yī)學圖像重建任務上保持了良好的重建性能。

表2 整數(shù)放大因子下PSNR與SSIM結果Table 2 Result of PSNR and SSIM for integer scale factors

對于主觀重建結果，從測試集中挑選3張成像較為清晰、紋理細節(jié)較為豐富的醫(yī)學圖像進行重建。各重建醫(yī)學圖像的主觀視覺表現(xiàn)如圖6所示。

圖6 主觀重建視覺表現(xiàn)Fig.6 Objective performance of reconstruction in vision

為更直觀地展現(xiàn)重建效果，對重建的醫(yī)學圖像進行局部放大。對比各類重建方法的局部放大結果可以看出，傳統(tǒng)的雙三次插值法Bicubic效果最不理想，重建的醫(yī)學圖像紋理細節(jié)部分像素弱化明顯。與原始圖像的局部放大相比，高頻部分丟失嚴重，整體模糊感相較更強。在較低的×2放大因子任務中，SRCNN與反卷積法和亞像素法相比重建效果相似，但在更大的×4放大因子任務下，SRCNN方法中重建醫(yī)學圖像失真較為嚴重。對細節(jié)進行局部放大，可以看到采用反卷積方法的重建圖像出現(xiàn)了較為明顯的棋盤偽影現(xiàn)象，整體圖像覆蓋有一層條狀色帶。VDSR通過殘差跳躍建立了更深的網(wǎng)絡結構，重建效果相對更好。但重建的醫(yī)學圖像邊緣輪廓過于平滑，低頻部分則有較為嚴重的涂抹感。M2SR網(wǎng)絡模型重建效果相對更好，特別在×4放大因子任務下，更好地還原了醫(yī)學圖像的紋理信息。對比局部放大圖，M2SR重建圖像的邊緣信息得到了增強，還原了更多醫(yī)學圖像的高頻信息，紋理細節(jié)特征丟失較少，重建圖像模糊感也更弱。整體上重建圖像涂抹感較輕，視覺感受更清晰銳利。

3.3 小數(shù)放大因子實驗結果

目前主流的基于深度學習的超分辨率重建方法都僅支持整數(shù)的放大因子。對于小數(shù)的放大因子重建任務，通常的做法是將LR圖像經(jīng)過適當?shù)牟迦敕糯蠛?，再作為重建網(wǎng)絡的輸入。插值輸入法以SRCNN網(wǎng)絡模型作為基礎，對輸入的醫(yī)學圖像預先進行適當?shù)纳喜蓸樱佥斎刖W(wǎng)絡模型中重建取得SR醫(yī)學圖像，以模擬小數(shù)放大因子任務的重建效果。傳統(tǒng)的雙三次插值法Bicubic可直接支持小數(shù)放大因子任務。

此外，為更加全面地比較M2SR網(wǎng)絡模型在小數(shù)放大因子任務下的重建效果，設計一個簡單的基準實驗模型M2SRbase，其結構設計如圖7所示。

圖7 基準實驗模型M2SRbase結構設計Fig.7 Design of baseline model M2SRbase

基準實驗模型M2SRbase的結構設計以M2SR網(wǎng)絡模型為基礎。圖7中SRN2-RDB網(wǎng)絡模型同樣地以2-RDB塊作為特征提取部分的基本組成結構，特征圖重建模塊則不采用M2SR網(wǎng)絡模型中的元學習結構。對于放大因子為r的醫(yī)學圖像重建任務，首先利用SRN2-RDB網(wǎng)絡模型進行上采樣重建，再對生成的HRG圖像進行適當?shù)南虏蓸荧@得SRG圖像序列，模擬小數(shù)的放大因子重建過程。通過設計的基準實驗模型，可以比較元信息嵌入重建結構的性能表現(xiàn)。在不同的測試集下，小數(shù)放大因子重建任務在PSNR與SSIM上的結果如表3所示，最優(yōu)的結果加粗表示。

表3 小數(shù)放大因子下PSNR與SSIM結果Table 3 Result of PSNR and SSIM for fraction scale factors

同雙三次插值法和插值輸入法相比，在各類測試集下M2SR性能表現(xiàn)均有較大提升。在測試集a上，M2SR相較于插值輸入法PSNR指標最大提升2.99 dB，SSIM提升幅度最大可達0.502 0。插值輸入法需對輸入圖像預先適當上采樣以模擬小數(shù)放大因子重建任務，可能出現(xiàn)對圖像噪聲的二次放大。M2SR則可通過單個訓練模型直接重建小數(shù)放大因子醫(yī)學圖像，并取得了相對較好的性能表現(xiàn)。

同所設計的基準實驗模型M2SRbase相比，M2SR網(wǎng)絡模型重建效果略有改善。在測試集a上性能表現(xiàn)最好，測試集b上相對略差。M2SR網(wǎng)絡模型在實現(xiàn)多重放大因子的醫(yī)學圖像重建任務的情況下，小數(shù)放大因子重建任務仍表現(xiàn)出與整數(shù)放大因子重建任務相似的性能。元信息直接嵌入重建結構較好地整合了小數(shù)與整數(shù)放大因子重建任務。

3.4 消融實驗

網(wǎng)絡模型M2SR主要對超分辨率重建過程中的特征提取與特征圖重建兩部分進行改進。為比較2-RDB結構與元信息嵌入結構對醫(yī)學圖像重建效果的貢獻，設計消融實驗。在測試集b與放大因子×4的條件下，消融實驗結果如表4所示。

通過適當?shù)卦O置基準實驗模型M2SRbase中的參數(shù)，可作為消融實驗的一部分。當設置參數(shù)RG=4時，有RG=r，基準實驗模型M2SRbase將不對模擬的HRG圖像下采樣，可比較元信息嵌入重建結構對M2SR性能提升的貢獻。如表4中所示，元信息嵌入結構與2-RDB結構都對最終重建性能有所提升，其中元信息嵌入方式提升相對較小。在整數(shù)放大因子下，坐標投影矩陣Ep中的橫縱坐標信息矩陣被置為0，與小數(shù)放大因子任務相比缺少坐標信息。

表4 消融實驗結果Table 4 Result of ablation experiment

4 結束語

本文針對醫(yī)學圖像紋理豐富的特點，基于密集殘差結構分別對特征提取與特征圖重建進行優(yōu)化，提出多重放大的醫(yī)學圖像超分辨率重建網(wǎng)絡模型M2SR。改進密集塊內(nèi)跳躍連接的方式，建立更為稀疏的雙層跳躍和多層跳躍，并作為特征提取結構的基本組成部分。融合元學習策略，采用元信息直接嵌入模式重新設計特征圖重建結構。同時考慮坐標信息與放大因子信息，學習不同放大因子重建任務間的通用知識。M2SR網(wǎng)絡模型有效降低跳躍連接復雜度，改善網(wǎng)絡結構不平衡的問題，實驗結果表明，M2SR網(wǎng)絡模型較好地實現(xiàn)了小數(shù)與整數(shù)放大因子醫(yī)學圖像重建任務的整合。

本文所提的M2SR網(wǎng)絡模型可通過單個訓練模型實現(xiàn)多重放大因子的重建任務，并且基于軟件的重建方式使其可直接整合至現(xiàn)有的醫(yī)學成像系統(tǒng)。但在特征映射過程中的復制擴充操作，對計算機存儲資源要求較高，且只針對二維醫(yī)學圖像。因此，未來的工作將針對于重建過程的高效實現(xiàn)，以及三維醫(yī)學圖像的多重放大重建任務。