基于殘差網(wǎng)絡(luò)的結(jié)直腸內(nèi)窺鏡圖像超分辨率重建方法

鄭躍坤，葛明鋒，常智敏，董文飛

（1.中國科學(xué)技術(shù)大學(xué) 生物醫(yī)學(xué)工程學(xué)院(蘇州)生命科學(xué)與醫(yī)學(xué)部, 安徽 合肥 230026；2.中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所, 江蘇 蘇州 215163）

1 引 言

結(jié)直腸癌是全球癌癥發(fā)病率和死亡率排名居前的重大疾病之一，根據(jù)2020 年全球癌癥統(tǒng)計報告，全球結(jié)直腸癌總體發(fā)病率達到9.7%左右，在各類惡性腫瘤的發(fā)病率中高居第三位[1]。大部分結(jié)直腸癌由結(jié)直腸腺瘤性息肉發(fā)展而來，因此，及早發(fā)現(xiàn)，并及時切除結(jié)直腸息肉特別是腺瘤性息肉，對預(yù)防和根治結(jié)直腸癌具有非常重要的臨床意義。

目前，對結(jié)直腸息肉及惡性腫瘤的篩查主要借助于軟性內(nèi)窺鏡技術(shù)。對于內(nèi)窺鏡圖像，小病變的細節(jié)直接影響到臨床專家對疾病的診斷，而軟性內(nèi)窺鏡由于受硬件及特定環(huán)境下成像技術(shù)的限制，采集到的圖像通常存在分辨率較低的問題。深度學(xué)習(xí)作為近年來興起的一種“數(shù)據(jù)驅(qū)動”技術(shù)，在不同領(lǐng)域的應(yīng)用越來越廣泛[2-4]，利用超分辨率重建技術(shù)(Super Resolution, SR)，通過卷積神經(jīng)網(wǎng)絡(luò)將低分辨率(Low Resolution, LR)圖像重建為高分辨率(High Resolution, HR)的圖像，為提高圖像分辨率提供了一種可行的替代方法。超分辨率重建在內(nèi)窺鏡圖像處理上的應(yīng)用吸引了不少科研人員進行研究。Gu[5]等人提出了一種結(jié)合了 Transformer 和 CNN (Convolutional Neural Networks)模型的內(nèi)窺鏡圖像超分辨率重建算法，在對血管紋理的重建上取得了良好的效果。Yang[6]等人認為導(dǎo)致內(nèi)窺鏡圖像質(zhì)量下降的主要原因有運動模糊以及成像分辨率低兩個原因，據(jù)此提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端的圖像盲去模糊和超分辨率重建算法，在超分辨率任務(wù)上，采用基于Dense-Net、Res2Net 和分割通道的方法來提高網(wǎng)絡(luò)性能。Turan[7]提出一種基于注意力的條件生成對抗網(wǎng)絡(luò)，用于膠囊內(nèi)鏡圖像的超分辨率處理。Tas[8]等人使用 SRCNN(Super Resolution Convolutional Neural Networks)[9]圖像超分辨率模型作為預(yù)處理方法來提高結(jié)直腸鏡圖像的分辨率，其研究結(jié)果表明，與低分辨率的案例相比，在訓(xùn)練之前通過 SRCNN 進行超分辨率重建預(yù)處理后，再使用SSD(Single Shot MultiBox Detector)和Faster RCNN 對息肉目標進行檢測都取得了更好的結(jié)果。因此，研究內(nèi)窺鏡圖像的超分辨率重建，不僅能改善視覺效果，便于臨床專家更好地觀察病灶，而且作為圖像的預(yù)處理步驟能夠提升對病灶進行目標檢測的準確率，更加精確地識別和定位病灶的精確位置，對臨床醫(yī)學(xué)的輔助診斷和治療具有重要的價值。

超分辨率重建算法主要有基于重構(gòu)[10]、插值[11-12]、學(xué)習(xí)[13-16]這3 種方法?；趯W(xué)習(xí)的方法是目前最流行的方法，其中，基于神經(jīng)網(wǎng)絡(luò)的方法在現(xiàn)階段表現(xiàn)出最為優(yōu)越的性能。神經(jīng)網(wǎng)絡(luò)常用的方法有卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)以及生成對抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)。SRCNN 開創(chuàng)性地使用卷積神經(jīng)網(wǎng)絡(luò)作為SR 問題的解決方案，但由于SRCNN 具有三層結(jié)構(gòu)和較小的感受野，其準確性受到限制，因此，一些研究人員建議在網(wǎng)絡(luò)中加入更多的層數(shù)或使用深層遞歸結(jié)構(gòu)，以提高圖像超分辨率重建的效果。EDSR(Enhanced Deep Super-Resolution Network)[17]和VDSR(Very Deep Super Resolution Network)[18]等算法通過構(gòu)建深層的網(wǎng)絡(luò)結(jié)構(gòu)，利用殘差學(xué)習(xí)的思想學(xué)習(xí)低分辨率圖像和原始高分辨率圖像之間的特征關(guān)系，但未充分學(xué)習(xí)圖像的特征。RCAN( Residual Channel Attention Networks)[19]使用通道注意機制對同一層中的特征通道進行不同的處理，使網(wǎng)絡(luò)能夠自適應(yīng)地關(guān)注信息更為豐富的通道，從中學(xué)習(xí)并得到包含更多細節(jié)特征的高分辨率圖像。SRGAN(Super Resolution Generative Adversarial Networks)[20]通過生成對抗網(wǎng)絡(luò)來訓(xùn)練SRResNet，并使用VGG(Visual Geometry Group)[21]網(wǎng)絡(luò)的高層特征映射定義了新的感知損失函數(shù)，重建圖像更加自然，有更好的視覺效果，但放大后的細節(jié)通常伴隨偽影，因此不太適用于醫(yī)學(xué)應(yīng)用。目前圖像超分辨率網(wǎng)絡(luò)在醫(yī)學(xué)圖像中的應(yīng)用主要有以下兩點需要解決：(1)重建圖像必須具備真實性，嚴重色偏或圖像結(jié)構(gòu)出現(xiàn)失真的圖像，會嚴重影響醫(yī)生對病變的診斷；(2)重建圖像的紋理細節(jié)也十分重要，特別是在小目標方面，目前大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的SR 方法重建后的圖像紋理細節(jié)往往過于平滑，而在醫(yī)用內(nèi)窺鏡的圖像處理方面，往往要求突出更為豐富的血管或組織等小目標的特征細節(jié)。

針對上述問題，本文設(shè)計了一種基于殘差注意力結(jié)構(gòu)的超分辨率重建算法SMRAN，主要思路是通過不同尺度的感受野對特征進行多尺度提取和融合，并利用Sobel 卷積增強圖像細節(jié)，通過殘差結(jié)構(gòu)傳遞圖像特征，對圖像特征進行深層特征提取，以及添加注意力機制關(guān)注高頻細節(jié)的特征，從而提高圖像的超分辨率重建效果。實驗結(jié)果表明，使用本文算法重建后的內(nèi)窺鏡圖像高頻細節(jié)更為豐富，并且圖像的整體結(jié)構(gòu)和色彩也更加接近真實的高分辨率圖像，因此具有一定的實際應(yīng)用價值。

2 算法原理

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的殘差注意力網(wǎng)絡(luò)SMRAN 由淺層特征提取模塊、深層特征提取模塊和圖像重建模塊3 部分組成。淺層特征提取部分使用卷積網(wǎng)絡(luò)，深層特征提取部分使用殘差注意力網(wǎng)絡(luò)，圖像重建模塊使用亞像素卷積層(sub-pixel convolution layer)。SMRAN 架構(gòu)細節(jié)如圖1 所示。

圖1 SMRAN 架構(gòu)Fig.1 Architecture of SMRAN

在超分辨率重建的起始階段，淺層網(wǎng)絡(luò)提取的特征與網(wǎng)絡(luò)的輸入相近，旨在將 LR 圖像轉(zhuǎn)化為一批便于后續(xù)處理的圖像特征。淺層特征提取模塊由一個大小為3×3 的卷積核構(gòu)成，設(shè)定輸入為3 通道的RGB 圖像，輸出通道數(shù)為64。令I(lǐng)LR表示輸入的LR 圖像，F(xiàn)0表示由卷積核計算后輸出的特征圖像，其數(shù)學(xué)表達式為：

式中，HSFE(·) 表 示卷積操作； σ(·)表示激活函數(shù)；WSFE表示權(quán)重值；BSFE表示偏置項，其目的是增加函數(shù)的靈活性，提高擬合能力。使用ReLU 函數(shù)作為激活函數(shù)，其數(shù)學(xué)表達式為：

鑒于內(nèi)窺鏡病理圖像在形態(tài)結(jié)構(gòu)和紋理特征上具有高度相似性，僅使用淺層卷積神經(jīng)網(wǎng)絡(luò)提取復(fù)雜圖像特征的能力有限，難以挖掘圖像的深層信息。而且，隨著網(wǎng)絡(luò)深度的不斷提高，將會發(fā)生梯度消失或梯度爆炸的問題。為此，本文使用殘差網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建深層特征提取模塊，提高整體網(wǎng)絡(luò)特征的穩(wěn)定性。

網(wǎng)絡(luò)的深層特征提取模塊即主干部分由N個RG 模塊組成，后面再連接一個3×3 的卷積核，為了加快收斂速度和方便訓(xùn)練，采用長跳躍連接整個主干網(wǎng)絡(luò)的輸入和輸出。F0進入殘差塊RG 學(xué)習(xí)深度特征，有：

其中， HRG,n(·) 指第n個RG 操作，F(xiàn)n表示通過第n個RG 塊內(nèi)部特征融合與殘差學(xué)習(xí)的結(jié)果。為了使神經(jīng)網(wǎng)絡(luò)能夠更好地利用淺層特征的高分辨率和深層特征的高語義信息，從不同深度的卷積層中提取高頻特征細節(jié)信息，從而重建出細節(jié)更豐富的圖像，本文引入了長跳躍連接。同時，長跳躍連接對殘差網(wǎng)絡(luò)的收斂也有促進作用，防止梯度爆炸或梯度消失，計算如下：

2.2 Res-Sobel 模塊

邊緣是圖像像素值發(fā)生劇烈變化的位置的集合，具有信息集中以及圖像特征突出的特點，在圖像特征提取、圖像分類、目標檢測等圖像處理相關(guān)任務(wù)都有非常重要的作用。本文采用索貝爾(Sobel)算子[22-24]增強組織邊緣的細節(jié)特征。Sobel 算子是一個離散微分算子，結(jié)合了高斯平滑和微分求導(dǎo)。其通過對圖像進行卷積操作計算灰度函數(shù)的梯度來對圖像進行邊緣檢測和提取。Sobel 算子由兩組3×3 的水平和垂直矩陣組成，通過將矩陣與圖像進行卷積操作，分別獲得水平和垂直亮度差分近似值。以I表示原始圖像，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測后的圖像灰度值，其公式如下：

圖像每個像素灰度值的大小G可通過以下公式進行運算：

為減小計算量，提升計算機的運算效率，可使用絕對值相加簡化運算:

然后，通過閾值運算得到圖像的邊緣信息。通常，為了消除噪聲的影響，往往會增加一個平滑處理的步驟作為預(yù)處理過程。

圖2 為Res-Sobel 模塊，在進行Sobel 濾波之前，使用1×1 卷積對輸入特征作非線性變換，通過控制卷積核的數(shù)量實現(xiàn)降維，使網(wǎng)絡(luò)的參數(shù)和計算量減少，并通過殘差連接的方式將濾波后的圖像邊緣特征與原特征進行相加，從而使得通過該模塊輸出的圖像特征得到增強。

圖2 Res-Sobel 模塊Fig.2 Res-Sobel Block

2.3 多尺度特征融合模塊

內(nèi)窺鏡圖像中有不同粗細的血管和不同大小的組織，如果對圖像中不同大小的目標使用相同大小的卷積核，會使網(wǎng)絡(luò)提取的特征單一，導(dǎo)致重建圖像的高頻細節(jié)丟失。因此，為了獲取更加強大的特征表達，本研究在網(wǎng)絡(luò)中設(shè)計了多尺度特征融合模塊MEB，如圖3 所示。令MEB 的輸入特征為M0，輸出特征為M，則該操作可以定義為：

圖3 多尺度特征融合模塊(MEB)Fig.3 Multi-scale feature extraction block(MEB)

其中， ω和b分別表示權(quán)重值和偏置項，其中上標表示層數(shù)，下標表示卷積核的大小， σ (·)表示ReLU激活函數(shù)。通過不同尺度的感受野提取不同大小目標的特征，然后將多個尺度特征圖融合在一起，從而在圖像超分辨率重建上取得優(yōu)異的性能。

2.4 殘差注意力結(jié)構(gòu)

加深卷積神經(jīng)網(wǎng)絡(luò)的深度對提高超分辨率網(wǎng)絡(luò)的性能非常重要。Zhang 等人在EDSR 的基礎(chǔ)上進行改進，提出了RCAN 殘差通道注意力機制網(wǎng)絡(luò)，作者認為較深的網(wǎng)絡(luò)具有更好的效果，但是像EDSR 那樣對網(wǎng)絡(luò)深度進行簡單堆疊并不能起到很好的作用，因此，提出了RIR(Residual in Residual)結(jié)構(gòu)。該結(jié)構(gòu)使用了通道注意力機制。通道注意力機制可以看作是一個自適應(yīng)地重新調(diào)整輸入圖像通道特征的過程，其根據(jù)輸入的重要性動態(tài)調(diào)整加權(quán)特征來實現(xiàn)，以使網(wǎng)絡(luò)更具辨別力。CBAM[25]注意力機制在通道注意力機制的基礎(chǔ)上添加了空間注意力機制，并將通道注意力機制和空間注意力機制串聯(lián)到一起，結(jié)構(gòu)如圖4所示。圖4(a)為通道注意力部分，其計算過程如下：

圖4 CBAM 注意力機制Fig.4 CBAM attention mechanism

其中： σ (·) 表示sigmoid 激活函數(shù)；W0和W1為MLP（多層感知機）的共享權(quán)重；Avgpool 和Maxpool分別表示對輸入特征F進行全局平均池化操作和全局最大池化操作；Facvg表示經(jīng)平均池化得到的特征；Fmcax表示經(jīng)過最大池化得到的特征。圖4(b)為空間注意力部分，其計算過程為：

其中 σ(·) 表示sigmoid 激活函數(shù)，f7×7表示濾波器大小為7×7 的卷積運算。

受RCAB 中殘差學(xué)習(xí)思想和注意力機制的啟發(fā)，本文提出了殘差注意力模塊SMRAB，并融合本文提出的多尺度特征融合模塊MEB 和Res-Sobel 模塊，將RCAB 的通道注意力機制替換為CBAM 注意力機制，并利用殘差結(jié)構(gòu)進行連接，防止因網(wǎng)絡(luò)層數(shù)的加深導(dǎo)致網(wǎng)絡(luò)退化，SMRAB結(jié)構(gòu)如圖5 所示。經(jīng)過 CBAM 注意力機制之后，特征圖將同時得到通道上和空間上兩種維度的注意力權(quán)重，提高了各個特征在通道和空間上的聯(lián)系，更有利于網(wǎng)絡(luò)提取目標的有效特征。

圖5 SMRAB 結(jié)構(gòu)Fig.5 SMRAB Structure

2.5 圖像重建模塊

ESPCN[26]中提出基于亞像素卷積的方法來增大特征圖的尺寸，并取得了很好的重建效果，亞像素卷積比反卷積具有更大的表示能力。并且重建速度具有非常明顯的提升。因此，本文決定采用亞像素卷積的方法獲得上采樣后的特征圖。對于輸入維度為H×W×C的低分辨率特征圖像，反卷積操作輸出的特征圖維度為rH×rW×C，其中r為放大的倍數(shù)；而亞像素卷積首先對圖像的特征進行抽取，得到H×W×Cr2的特征圖，即與輸入圖片的尺寸一致，但通道數(shù)擴充為原來的r2倍，然后再使用周期性洗牌(Period Shuffle，PS)操作進行重新排列，得到高分辨率圖像。PS 函數(shù)定義為：

PS 的作用是將輸入大小為H×W×Cr2的特征映射I重新排列，組成一個大小為rH×rW×C的數(shù)據(jù)，例如將一個維度為 4 8×48×22的特征圖輸入到PS 函數(shù)，則得到一個維度為96×96×1 的輸出特征。

3 實驗測試

3.1 實驗環(huán)境和訓(xùn)練結(jié)果

為驗證本文算法的有效性，進行編程實驗。本實驗所使用的圖像數(shù)據(jù)集是PolypsSet[27]數(shù)據(jù)集。該數(shù)據(jù)集通過在MICCAI 2017、CVC colon DB、GLRC dataset 和KUMC dataset 數(shù)據(jù)集的視頻序列中選取不同數(shù)量的幀組成。由于相機發(fā)生劇烈移動時，拍攝的圖像可能會嚴重模糊、失焦或受到明顯的照明變化，PolypsSet 數(shù)據(jù)集手動刪除了一些包含誤導(dǎo)或無用信息的幀。本實驗在此基礎(chǔ)上，選取PolypsSet 數(shù)據(jù)集中部分較清晣的圖像構(gòu)建為實驗數(shù)據(jù)集，其中，選取3000 張圖像作為訓(xùn)練集，200 張圖像作為測試集，300 張圖像作為驗證集。測試集、訓(xùn)練集和驗證集的圖像均沒有交集。訓(xùn)練和測試的過程均在Ubuntu 18.04.1系統(tǒng)上完成，使用單個型號為NVIDIA Geforce RTX 3090 Founders Edition 的GPU 對 網(wǎng) 絡(luò) 進 行訓(xùn)練。算法基于Pytorch1.10.1 框架開發(fā)，使用Cuda11.1 對網(wǎng)絡(luò)進行加速。

為使網(wǎng)絡(luò)有足夠的訓(xùn)練數(shù)據(jù)，實驗從3 個方面增強數(shù)據(jù)集：(1)將圖像旋轉(zhuǎn)90°；(2)以一定的概率水平和垂直翻轉(zhuǎn)圖像；(3)隨機裁剪，得到多個大小為36×36 像素的原始LR 圖像塊。在每個訓(xùn)練批次中，隨機提取16 個大小為36 pixel×36 pixel 的LR 圖像塊輸入到網(wǎng)絡(luò)中進行訓(xùn)練。實驗選用ADAM 優(yōu)化算法作為網(wǎng)絡(luò)的優(yōu)化器，設(shè)置的參數(shù)為： β1=0.9 ， β2=0.999 ， ε=10-8，初始學(xué)習(xí)率設(shè)置為lr=0.0001，采用固定步長衰減的學(xué)習(xí)率衰減策略，每經(jīng)過20 個訓(xùn)練輪次，學(xué)習(xí)率變?yōu)樵瓉淼?.5倍。超參數(shù)都是根據(jù)多次的實驗結(jié)果，并對其進行反復(fù)調(diào)整而設(shè)置的。多次實驗測試表明，當設(shè)置以上超參數(shù)時，使用本網(wǎng)絡(luò)SMRAN 進行訓(xùn)練能產(chǎn)生更多的細節(jié)，從而重建出更加清晰的圖像。

本文使用tensorboard 記錄訓(xùn)練日志，可視化網(wǎng)絡(luò)的訓(xùn)練效果。在驗證集上的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural Similarity Index，SSIM)值隨訓(xùn)練輪次增加而變化的曲線分別如圖6、圖7所示。經(jīng)過大約130 次迭代，本網(wǎng)絡(luò)開始收斂。

圖6 驗證集的PSNR 曲線Fig.6 PSNR curve of validation set

圖7 驗證集的SSIM 曲線Fig.7 SSIM curve of validation set

3.2 算法效果評價

3.2.1 客觀評價

為客觀地與其它主流的圖像超分辨率算法進行比較，本文選用PSNR 和SSIM 兩個評價指標，統(tǒng)一對不同算法重建后的圖像質(zhì)量進行評價。其中，PSNR 通過比較兩幅圖像的像素誤差來評價重建圖像的質(zhì)量，對于給定尺寸均為M×N的原始HR 圖像IHR和重建后的SR 圖像ISR，兩者之間的PSNR 定義如下：

SSIM 將圖像的失真由3 個因素的組合進行運算，即亮度比較，對比度比較和結(jié)構(gòu)比較，其數(shù)值越接近1，圖像的質(zhì)量越好。SSIM 定義為：

式中，IHR表示原始HR 圖像；ISR表示重建圖像；μHR， μSR分別表示兩幅圖像的灰度平均值； σHR，σSR分別表示兩幅圖像的方差； σHR,S R表示兩幅圖像的協(xié)方差；C1,C2是兩個常數(shù)，目的是避免分母為0 帶來的系統(tǒng)錯誤。

為驗證本文所提出的超分辨率網(wǎng)絡(luò)性能，將其與傳統(tǒng)的雙三次插值法(bicubic)以及幾種先進的基于深度學(xué)習(xí)的圖像超分辨率重建算法進行對比。在測試集上對SR 圖像質(zhì)量的PSNR 和SSIM量化比較結(jié)果分別如表1、表2 所示。

表1 測試集上不同算法的PSNR 值Tab.1 PSNR values of different algorithms on the testing set (Unit: dB)

表2 測試集上不同算法的SSIM 值Tab.2 SSIM values of different algorithms on the testing set

由表1、表2 可知，深度學(xué)習(xí)類算法較傳統(tǒng)的雙三次插值算法在測試集中所測得的PSNR 和SSIM 數(shù)值上均有非常明顯的提升。由此可見，在圖像超分辨率重建時，使用深度學(xué)習(xí)類方法更加具有優(yōu)勢。相較于其它卷積神經(jīng)網(wǎng)絡(luò)，RCAN 算法由于引入了殘差注意力結(jié)構(gòu)，因此表現(xiàn)更為出色。本文算法與其它所有算法相比，在×2、×3 和×4 的尺度因子上，PSNR 和SSIM 均表現(xiàn)最優(yōu)。原因在于采用殘差模塊使得網(wǎng)絡(luò)的梯度消失問題能夠得到有效抑制，同時，Res-Sobel 模塊和多尺度特征融合模塊能充分提取圖像的高頻特征信息，而跳躍連接可以保留網(wǎng)絡(luò)的淺層特征，實現(xiàn)不同層次的特征融合，從而得到優(yōu)秀的圖像重建效果。

3.2.2 主觀評價

為直觀可視化不同算法的重建效果，本小節(jié)從測試集中提取一張結(jié)直腸息肉圖像，首先將原始HR 圖像通過雙三次插值算法進行四倍下采樣獲得退化LR 圖像，然后在放大因子為4 時對圖像通過不同算法進行超分辨率重建，進行視覺效果對比，結(jié)果如圖8 所示。在圖8(a)中，HR 表示退化前的LR 圖像；圖8(b)表示通過傳統(tǒng)的雙三次插值算法重建后的圖像；圖8(c)～圖8(h)分別表示由不同深度學(xué)習(xí)方法重建的圖像。經(jīng)過對比可知，雙三次插值算法重建圖像的視覺效果最差，圖像存在嚴重的模糊現(xiàn)象，圖像的細節(jié)丟失嚴重。與圖8(b)相比，圖8(c)～圖8(h)中深度學(xué)習(xí)類算法的圖像重建效果均有明顯提升。SRCNN、FSRCNN、ESPCN 和EDSR 算法的重建圖像雖然相較于雙三次插值算法在視覺上效果有明顯改善，但均產(chǎn)生了斜線狀的條紋。與之相比，RCAN 和本文算法SMRAN 的重建圖像則未出現(xiàn)該現(xiàn)象。其中，與RCAN 相比，使用本文算法重建的圖像更為清晰，并且與目標高分辨率圖像的紋理細節(jié)最為相似，較有效地還原出內(nèi)窺鏡圖像的高頻信息，能夠幫助醫(yī)生更加清楚地觀察結(jié)直腸息肉的病理特點。

圖8 采用不同超分辨率算法的結(jié)直腸息肉內(nèi)窺圖像的重建效果對比圖Fig.8 Comparison of reconstruction effects of endoscopic images of colorectal polyps using different super-resolution algorithms

3.3 損失函數(shù)對比實驗

在基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法中，常用平均絕對誤差損失函數(shù)L1或者均方差損失函數(shù)L2作為損失函數(shù)。雖然使用L2損失函數(shù)重建結(jié)果往往有較高PSNR 值，但更容易產(chǎn)生過平滑圖像,丟失圖像的高頻細節(jié)，而使用L1損失函數(shù)能有效防止重建圖像由于過度平滑而導(dǎo)致的失真現(xiàn)象，并且更易于網(wǎng)絡(luò)收斂。然而，L1和L2損失函數(shù)均是基于逐像素去兩幅圖像的比較差異，忽略了重建圖像的結(jié)構(gòu)和邊緣等高頻細節(jié)信息。綜合考慮，本文最終結(jié)合了L1損失函數(shù)與多尺度結(jié)構(gòu)相似性損失函數(shù)LMS_SSIM為總的損失函數(shù)L，可以表示為：

其中 α為平衡參數(shù)，實驗設(shè)置為0.78；G 為高斯分布參數(shù)。L1損失函數(shù)和LMS_SSIM損失函數(shù)分別定義如下：

其中，N為訓(xùn)練的圖片數(shù)量，ISR為重建后的圖像，IHR為原始的高分辨率圖像，MS_SSIM 表示多尺度結(jié)構(gòu)相似性運算。

為驗證損失函數(shù)對本文算法效果的影響，進行對比實驗,在測試集上的實驗結(jié)果如表3 所示。通過表3 可以得知，使用L1與MS-SSIM 混合的損失函數(shù)時,與僅使用L1損失函數(shù)相比，SSIM提升了約0.127%，而PSNR 則下降了約0.058%，考慮到重建圖像的整體視覺效果，使用混合損失函數(shù)的效果更優(yōu)。

表3 不同損失函數(shù)的PSNR 和SSIM 值Tab.3 PSNR and SSIM values for different loss functions

3.4 網(wǎng)絡(luò)結(jié)構(gòu)消融實驗

本小節(jié)在圖像放大比例為4 倍的條件下進行了消融實驗，以驗證Res-Sobel 模塊、MEB 模塊和CBAM 模塊對本網(wǎng)絡(luò)SMRAN 的有效性。為了保證實驗的科學(xué)性和可靠性，所有網(wǎng)絡(luò)測試的超參數(shù)的設(shè)置均相同。在測試集上的實驗結(jié)果如表4 所示。從表中4 可看出，各個模塊對網(wǎng)絡(luò)的性能均有一定的提升作用。

表4 各模塊對性能的影響Tab.4 The impact of each module on performance

3.5 模型的泛化性能

模型的泛化能力指模型對未知的新鮮樣本的預(yù)測能力，是評估超分辨率模型性能的一項重要指標，以此判斷模型的實際應(yīng)用價值。為驗證SMRAN 的泛化能力，本小節(jié)以胃腸道息肉數(shù)據(jù)集Kvasir-SEG[28]作為測試集，使用SMRAN 等算法對其進行超分辨率重建，PSNR 和SSIM 量化比較分別如表5、表6 所示。根據(jù)此結(jié)果可知，在跨數(shù)據(jù)集的泛化性實驗上，本文算法SMRAN 的綜合表現(xiàn)最優(yōu)，因此驗證了SMRAN 模型具有良好的泛化能力。

表5 Kvasir-SEG 數(shù)據(jù)集上不同算法的PSNR 值Tab.5 PSNR values of different algorithms on the Kvasir-SEG dataset (Unit: dB)

表6 Kvasir-SEG 數(shù)據(jù)集上不同算法的SSIM 值Tab.6 SSIM values of different algorithms on the Kvasir-SEG dataset

為驗證本文模型對通用圖像光學(xué)分辨率提升的泛化性，本小節(jié)使用了OV5640 攝像頭拍攝了多張USAF 標準光學(xué)分辨率標靶圖像。由于本文模型僅對結(jié)直腸內(nèi)窺鏡圖像進行訓(xùn)練，所以模型對分辨率標靶的超分效果難免會不太理想。因此，本文將部分拍攝的分辨率標靶圖像并入結(jié)直腸內(nèi)窺鏡圖像數(shù)據(jù)集PolypsSet，合并進行訓(xùn)練，得到優(yōu)化訓(xùn)練后的模型。優(yōu)化訓(xùn)練后的SMRAN模型在放大因子為4 時對于光學(xué)分辨率的提升效果如圖9 所示。圖9(a)為未退化的HR 圖像，圖9(b)為退化后LR 圖像的局部放大圖，圖9(c)為EDSR 算法對圖9(b)的超分辨率重建結(jié)果的局部放大圖，圖9(d)為進行優(yōu)化訓(xùn)練后的SMRAN 模型對圖9(b)的超分辨率重建結(jié)果的局部放大圖。圖9(e)為圖9(b)的MTF 曲線，圖9(f)為圖9(d)的MTF 曲線。通過對比可以看出，經(jīng)過優(yōu)化訓(xùn)練后的SMRAN 模型對于光學(xué)分辨率的提升相當顯著。

圖9 SMRAN 模型對光學(xué)分辨率的提升效果Fig.9 Improvement of optical resolution by SMRAN model

4 結(jié) 論

本文提出了一種基于殘差注意力結(jié)構(gòu)的圖像超分辨率網(wǎng)絡(luò)SMRAN，通過多尺度特征融合模塊MEB 和Res-Sobel 模塊進行圖像細節(jié)和邊緣提取并進行增強，使用CBAM 注意力機制對給定信息進行權(quán)重分配，關(guān)注不同通道和像素區(qū)域特征對重建圖像的貢獻，增強網(wǎng)絡(luò)性能，使得網(wǎng)絡(luò)能夠更好地學(xué)習(xí)不同大小的血管和組織的細節(jié)特征，從而突出結(jié)直腸內(nèi)窺鏡圖像的細節(jié)。網(wǎng)絡(luò)訓(xùn)練不是簡單地計算對應(yīng)像素點間的誤差損失，而是將L1損失和多尺度結(jié)構(gòu)相似性損失相結(jié)合進行訓(xùn)練，從而改善圖像的整體視覺效果，為醫(yī)生診斷和治療提供具有高視覺感知質(zhì)量的醫(yī)學(xué)圖像，重建后的高分辨率圖像也可為利用大數(shù)據(jù)對結(jié)直腸息肉和腫瘤進行大規(guī)模篩查的人工智能提供技術(shù)支持。實驗結(jié)果表明，就結(jié)直腸內(nèi)窺鏡圖像的超分辨率重建的視覺效果而言，本文方法較經(jīng)典網(wǎng)絡(luò)的重建圖像質(zhì)量有所改善，在測試集上的PSNR 和SSIM 值分別達到34.25 dB和0.8675，并且模型具有良好的泛化性。