非抽取小波邊緣學(xué)習(xí)深度殘差網(wǎng)絡(luò)的單幅圖像超分辨率重建

王相海，趙曉陽，王鑫瑩，趙克云，宋傳鳴

（1.遼寧師范大學(xué)地理科學(xué)學(xué)院，遼寧大連 116029；2.遼寧師范大學(xué)計算機科學(xué)與信息技術(shù)學(xué)院，遼寧大連 116081）

1 引言

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［1，2］作為一 種具有 深層結(jié) 構(gòu)的前 饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks，F(xiàn)NN），其強勁的表征學(xué)習(xí)能力被計算機視覺領(lǐng)域所關(guān)注［3，4］，其中CNN 所具有的網(wǎng)絡(luò)權(quán)值共享特性以及對平移、縮放的高度不變性被應(yīng)用于圖像的超分辨率重建中，比如最早出現(xiàn)的超分辨率重建CNN 模型SRCNN［5］及其改進(jìn)模型FSRCNN（Fast SRCNN，F(xiàn)SRCNN）模型［6］，前者采用3層卷積層用以學(xué)習(xí)LR 圖像和相應(yīng)HR 圖像之間端對端的直接映射；后者則通過將SRCNN 預(yù)處理中的雙三次插值替換為后處理的反卷積.這兩種模型為基于CNN 圖像超分辨率重建研究奠定了基礎(chǔ).

隨著研究的不斷深入，如何通過加深CNN 層數(shù)來提高重建圖像的質(zhì)量，以及如何減輕模型的計算負(fù)擔(dān)一直受到重視.對于提高CNN 層數(shù)的問題，有兩個比較經(jīng)典的模型：VDSR（Very Deep Super-Resolution，VDSR）［7］和DRCN（Deeply-Recursive Convolutional Network，DRCN）［8］，前者設(shè)計了20 層的卷積層，后者則通過將同一卷積層進(jìn)行16次遞歸提高CNN的層數(shù).進(jìn)一步為了解決更深層次網(wǎng)絡(luò)所帶來的梯度“爆炸”和參數(shù)訓(xùn)練增量問題，VDSR 采用了殘差學(xué)習(xí)與增大學(xué)習(xí)率的方法，DRCN 模型則采用了遞歸監(jiān)督和跳躍連接的方案；對于模型的計算負(fù)擔(dān)問題，文獻(xiàn)［9］提出一種子像素CNN 模型ESPCN（Efficient Sub-Pixel Convolutional Neural network，ESPCN），該模型通過把各低分辨率通道的同一位置像素視為高分辨率通道的對應(yīng)子像素，將低分辨率圖像特征按照對應(yīng)位置周期性的插入到高分辨率圖像中，實現(xiàn)圖像分辨率的提升；文獻(xiàn)［10］提出一種基于拉普拉斯金字塔超分辨率模型LapSRN（Laplacian pyramid Super-Resolution Network，LapSRN），其通過拉普拉斯金字塔框架漸進(jìn)重建多等級高分辨率殘差，并采用Charbonnier 損失函數(shù)與跳躍連接實現(xiàn)了模型的有效訓(xùn)練.此外，近年來生成對抗網(wǎng)絡(luò)模型（Generative Adversarial Network，GAN）也為超分問題的求解提供了新思路.文獻(xiàn)［11］提出了SRGAN 網(wǎng)絡(luò)模型用于圖像的超分辨重建，取得了更加逼真的重建圖像；文獻(xiàn)［12］提出了一種感知生成對抗網(wǎng)絡(luò)（Super Resolution Perceptual Generative Adversarial Network，SRPGAN），用實例標(biāo)準(zhǔn)化取代原始SRGAN 模型中的批量標(biāo)準(zhǔn)化，進(jìn)一步提升了重建圖像的質(zhì)量；文獻(xiàn)［13］針對SRGAN 模型重建圖像的偽影問題，提出了一種增強SRGAN 模型（Enhanced SRGAN，ESRGAN），利用稠 密殘差 塊（Residual-in-Residual Dense Block，RRDB）作為基本單元，借用相對GAN 網(wǎng)絡(luò)［14］思想，通過預(yù)測兩幅圖像的相對真實性對感知損失做出改進(jìn)，在有效去除偽影的同時進(jìn)一步提升了圖像的超分重建質(zhì)量.

盡管目前基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建得到了較好的發(fā)展，但仍有許多工作尚需研究和完善，比如網(wǎng)絡(luò)的結(jié)構(gòu)有待創(chuàng)新、效率有待提高，對有效特征的挖掘還有待加強，重建超分辨率圖像的質(zhì)量還被期望進(jìn)一步提升等等.近年來基于多尺度幾何分析（Multiscale Geometrical Analysis，MGA）的圖像稀疏表示取得了很好的發(fā)展［15，16］，文獻(xiàn)［17］構(gòu)建了一種Wavelet域深度殘差學(xué)習(xí)算法用于圖像去噪和超分辨率重建；文獻(xiàn)［18］構(gòu)建了一個基于圖像Wavelet變換子帶的深度學(xué)習(xí)網(wǎng)絡(luò)，將輸入的低分辨率圖像作為圖像Wavelet變換的低頻子帶，通過預(yù)測圖像Wavelet變換的高頻子帶系數(shù)作為構(gòu)建高分辨率子帶“丟失”的細(xì)節(jié)來實現(xiàn)超分辨率圖像的重建.

上述兩種方案對圖像Wavelet 變換后的各子帶采用了相同的學(xué)習(xí)策略.事實上低頻與高頻子帶表現(xiàn)出不同的統(tǒng)計特性，低頻子帶通常會顯著影響著兩幅圖像的主體內(nèi)容相似程度；而高頻子帶則在圖像邊緣等梯度值較大的區(qū)域發(fā)揮著重要作用.受此啟發(fā)，本文首先對LR 圖像與HR 圖像非抽取Wavele（tNon-Decimated Wavelet Transform，NDWT）的低頻和高頻子帶的統(tǒng)計特性進(jìn)行分析，進(jìn)而提出一種基于NDWT 邊緣學(xué)習(xí)的深度殘差網(wǎng)絡(luò)模型NDW-EDRN 用于單幅圖像超分辨率重建，對輸入圖像NDWT 低頻和高頻子帶采取不同的學(xué)習(xí)策略來學(xué)習(xí)LR 子帶與HR 子帶間的映射關(guān)系，對低頻子帶采用基于稠密跳躍連接的“整體式”學(xué)習(xí)方式，而對高頻子帶則采用了一種基于塊U-net 級聯(lián)的“缺失式”學(xué)習(xí)方式，即放棄原始將低、高分辨率圖像的高頻子帶直接進(jìn)行學(xué)習(xí)，利用網(wǎng)絡(luò)模型學(xué)習(xí)它們間更為稀疏的差值，使網(wǎng)絡(luò)學(xué)習(xí)更具針對性.

2 單幅圖像超分重建及圖像NDWT 子帶分析

2.1 單幅圖像超分辨率重建

單幅圖像超分辨率重建是指從觀察到的包含模糊、下采樣以及噪聲等退化情況的單幅低分辨率圖像中估計出高分辨率圖像的過程［19］，其成像模型的一般過程可描述為

其中，ILR是觀測到的低分辨率圖像，B是模糊矩陣，IHR是原始高分辨率圖像，(m，n)是水平與豎直方向的降采樣因子，實際應(yīng)用中一般假設(shè)二者相同，Nσ是方差為σ的噪聲.

單幅圖像超分辨率重建一般可以看成是圖像經(jīng)由IHR退化為ILR的反問題，參見圖1.由于圖像IHR在退化過程中損失了不可逆的高頻細(xì)節(jié)信息，因此該反問題的解并不唯一，從而導(dǎo)致圖像超分辨率重建問題具有高度的不適定性.

2.2 非抽取Wavelet變換

作為標(biāo)準(zhǔn)離散Wavelet 變換的擴展，文獻(xiàn)［20～22］等基于不同的應(yīng)用領(lǐng)域提出了非抽取Wavelet 變換NDWT.假設(shè)低通濾波器H、高通濾波器G為正交鏡濾波器（Quadrature Mirror Filters，QMF）［23］，即對于由有限個非零值序列｛hn｝定義的H，滿足如下正交性：

對于信號{…，x-2，x-1，x0，x1，，x2，…}，H 濾波、G濾波過程為

進(jìn)一步定義D0和D1分別為基于偶數(shù)和奇數(shù)的二抽樣算子：

標(biāo)準(zhǔn)離散Wavelet 變換是基于H、G和D0實現(xiàn)的［21］：對于原信號c：｛cm|m=0，1，…，n-1｝，假設(shè)其具有周期性的邊界條件，定義第J層的平滑逼近信息cJ為

對于j=J-1，J-2，…，1，0，遞歸的定義信號第j層的平滑逼近信息cj和細(xì)節(jié)信息dj：

其中cj和dj的長度分別為2j.可以看出在式（7）的遞歸分解中，僅有當(dāng)前層的平滑逼近信號參與下一層的平滑逼近信息與細(xì)節(jié)信息的分解.

NDWT對上述標(biāo)準(zhǔn)Wavelet過程進(jìn)行了擴展，通過D1和D0算子在各個尺度上提取奇、偶索引的平滑逼近信息和細(xì)節(jié)信息：對于初始信號cJ，通過D1GcJ和D0GcJ獲得奇、偶索引的細(xì)節(jié)信息，通過D1HcJ和D0HcJ獲得奇、偶索引的平滑逼近信息，每一個奇、偶信息的長度分別為n/2，這樣所獲得的細(xì)節(jié)信息（即小波系數(shù)）的總長度為2×n/2=n.

進(jìn)一步對所獲得的奇、偶索引的細(xì)節(jié)信息分別進(jìn)行D1G和D0G操作，獲得當(dāng)前層的細(xì)節(jié)信息；對所獲得的奇、偶索引的平滑逼近信息進(jìn)行D1H 和D0H 操作，獲得當(dāng)前層的平滑逼近信息，這樣始終能夠保持每層分解所獲得的細(xì)節(jié)信息的總長度為n.該過程重復(fù)進(jìn)行，直到完成整個變換.具體過程參見圖2，其中d0和d1為第一層的細(xì)節(jié)系數(shù)，長度分別為n/2；d00、d10、d01和d11為第二層的細(xì)節(jié)系數(shù)，長度分別為n/4.

圖2 NDWT過程流程圖[22]

NDWT不僅保留了離散Wavelet變換的多尺度特性和方向特性，同時還具有平移不變特性，更多的獲得了信號的細(xì)節(jié)信息，從而為圖像融合、圖像超分辨率重建等應(yīng)用奠定了基礎(chǔ).

2.3 圖像NDWT子帶特性分析

選取文獻(xiàn)［24］提供的Set5 中具有豐富細(xì)節(jié)的bird圖像和邊緣明顯的butterfly圖像作為測試對象.

圖3 圖像NDWT子帶、差分子帶及其直方圖統(tǒng)計

對圖3的各子帶及其統(tǒng)計結(jié)果進(jìn)行觀察與分析后，可分別得到以下結(jié)論：

（2）不論是IcH還是IcV，IcD，其統(tǒng)計直方圖均顯示圖像的任一高頻子帶絕大多數(shù)系數(shù)值分布在零點附近，只有少量系數(shù)值較大，具有“高峰拖尾”的稀疏性；

（3）從高頻差分子帶可看出同一方向高頻子帶差值較大的系數(shù)大多位于圖像退化過程中所丟失的邊緣、拐點等梯度值較大的位置.

基于以上對各子帶特性的分析與相關(guān)文獻(xiàn)的支撐［25］可知：低頻子帶的恢復(fù)決定著圖像的主體內(nèi)容質(zhì)量，它對應(yīng)著較高的峰值信噪比值；高頻子帶的恢復(fù)則顯著影響著圖像的視覺感知質(zhì)量，它呈現(xiàn)出較高的結(jié)構(gòu)相似度.因此，本文設(shè)計兩種不同的學(xué)習(xí)策略與網(wǎng)絡(luò)結(jié)構(gòu)來更有針對性地對圖像的低、高頻子帶進(jìn)行區(qū)分學(xué)習(xí).對于低頻子帶，采用稠密跳躍連接的“整體式”學(xué)習(xí)方式，將低分辨率圖像的低頻子帶作為網(wǎng)絡(luò)的輸入，將高分辨率圖像的低頻子帶作為網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)采用稠密跳躍的連接方式，使深層次的網(wǎng)絡(luò)學(xué)習(xí)更加充分，避免梯度彌散現(xiàn)象；對于高頻子帶，則采用塊U-net級聯(lián)的“缺失式”學(xué)習(xí)方式，將低分辨率的高頻子帶作為網(wǎng)絡(luò)的輸入，將高、低分辨率圖像的高頻子帶的差值作為網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)采用編解碼與塊級級聯(lián)的方式，增強稀疏性的同時，防止梯度彌散，使低分辨率圖像所丟失的邊緣等高頻信息得到有效的補充.

3 NDWT邊緣學(xué)習(xí)的深度殘差網(wǎng)絡(luò)

由前面的分析可以看出，圖像經(jīng)雙三次插值后的LR 圖像與原始HR 圖像之間相比，主要在于圖像退化過程中高頻信息的丟失，而低頻信息較為相近.為此本文構(gòu)建如圖4 所示的深度殘差網(wǎng)絡(luò)模型NDW-EDRN（Non-Decimated Wavelet Edge learning using Deep Residual Networks，NDW-EDRN）用于單幅圖像超分辨率重建.

圖4 深度殘差網(wǎng)絡(luò)模型NDW-EDRN結(jié)構(gòu)圖

模型NDW-EDRN對圖像的NDWT子帶采用了不同的學(xué)習(xí)方式，其中對低頻子帶間的映射關(guān)系學(xué)習(xí)采用了“整體式”的網(wǎng)絡(luò)結(jié)構(gòu)［17，18］，網(wǎng)絡(luò)采用了20 層的卷積操作，并通過稠密［26，27］的跳躍鏈接結(jié)構(gòu)來充分學(xué)習(xí)低頻子帶內(nèi)所包含的信息；而對高頻子帶間所丟失的邊緣信息則采用“缺失式”的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行學(xué)習(xí)，表現(xiàn)為利用文獻(xiàn)［28］所提出的U-net 架構(gòu)與文獻(xiàn)［29，30］所提出的深度殘差學(xué)習(xí)策略，構(gòu)建一個學(xué)習(xí)丟失邊緣的端到端網(wǎng)絡(luò)，提取出圖像中更加深層且復(fù)雜的特征，彌補在圖像退化過程中所丟失的重要信息.主要包含以下四種操作：

（1）Conv(3×3) +ReLU：每階段獲取特征圖的主要方式；

（2）Conv(1×1)：位于網(wǎng)絡(luò)的最后一層，用于映射期望；

（3）Pooling與Deconv：擴大感受野并還原；

（4）Skip block-wise connection：本文在傳統(tǒng)U-net通過級聯(lián)對應(yīng)階段子特征圖增強網(wǎng)絡(luò)強度的基礎(chǔ)上，把單子特征圖拓展為塊子特征圖，以像素級累加的方式將網(wǎng)絡(luò)的編碼、解碼兩端更緊密地聯(lián)系在一起，進(jìn)一步提升網(wǎng)絡(luò)的有效性.

對于模型上線路的稠密鏈接部分旨在讓當(dāng)前第l層的輸入接收來自前［l-1，l-2，…，0］各層的輸出.若定義第l層的輸入為Il，輸出為Ol，那么

此處的fl是對應(yīng)當(dāng)前l(fā)層的運算處理.

對于模型下線路的改進(jìn)U-net 部分旨在采用如下圖5所示的以塊為單位的跳躍級聯(lián)，達(dá)到信息緊密傳遞的目的.

圖5 塊級級聯(lián)示意圖

模型的物理含義是對低頻分量而言，衡量LR 與HR 間對應(yīng)子塊的相似程度；對高頻分量而言，訓(xùn)練出一組能夠有效描述LR 對比HR 所缺失的邊緣算子，來有效補充高頻信息.

4 實驗與分析

4.1 實驗設(shè)置

訓(xùn)練集：BSD500［31］（去除與測試集重復(fù)的部分）、General00［6］和91images［32］；測試集：Set5［24］、Set14［33］和Urban100［34］；采用雙三次函數(shù)模擬下采樣因子為2和4的Y通道退化；設(shè)置“整體式”網(wǎng)絡(luò)中子帶塊大小為64×64“，缺失式”網(wǎng)絡(luò)中子帶塊大小為192×192；網(wǎng)絡(luò)模型采用Adam優(yōu)化算法求解［35］，設(shè)置初始學(xué)習(xí)率為0.001，在第40個周期后衰減為0.0001.實驗環(huán)境為Inte（lR）Xeon（R）CPU E5-2630 v4@2.20 GHz在Ubuntu 14.04，Caffe7.5平臺上進(jìn)行，NVIDIA Titan X GPU用于網(wǎng)絡(luò)訓(xùn)練.

4.2 定量與定性分析

表1給出與SRCNN［5］、VDSR［7］、SRMD［36］和DSRN［37］非多尺度且網(wǎng)絡(luò)層數(shù)小于等于20的深度學(xué)習(xí)模型，以及與DWSR［18］和WaveResNet［17］多尺度深度學(xué)習(xí)類模型分別放大2 倍與放大4 倍的PSNR 與SSIM 對比實驗結(jié)果；表2 給出與SRGAN［11］、SRPGAN［12］生成對抗網(wǎng)絡(luò)模型，以及與DRRN［38］、LapSRN［10］和MemNet［39］非多尺度且網(wǎng)絡(luò)層數(shù)大于50的深度學(xué)習(xí)模型別放大2倍與放大4倍的PSNR與SSIM對比實驗結(jié)果.兩個表中分別對最優(yōu)結(jié)果做出“加粗”處理，對次優(yōu)結(jié)果做出“下劃線”處理.同時圖6，7，8，9給出了Set5、Set14與Urban100數(shù)據(jù)集中的部分重建彩色結(jié)果圖及其細(xì)節(jié)處的放大對比圖，對各指標(biāo)的最優(yōu)及次優(yōu)結(jié)果做出與表1、2中同樣的處理.

圖6 對比其他非多尺度網(wǎng)絡(luò)模型放大2倍的細(xì)節(jié)圖

表1 的實驗結(jié)果顯示，所提出的NDW-EDRN 模型較近幾年層數(shù)小于等于20的主流非多尺度深度學(xué)習(xí)模型和多尺度深度學(xué)習(xí)模型在客觀評價指標(biāo)PSNR 與SSIM 表現(xiàn)上均呈現(xiàn)著一定的優(yōu)越性，除了對Set14放大2 倍的實驗結(jié)果取得了次優(yōu)結(jié)果，其余均為最優(yōu)結(jié)果.對表1的統(tǒng)計結(jié)果進(jìn)行分析后，可以看出：PSNR的次優(yōu)結(jié)果大多分布于非多尺度深度學(xué)習(xí)模型實驗結(jié)果中，而SSIM的次優(yōu)結(jié)果則絕大多數(shù)分布于多尺度深度學(xué)習(xí)模型實驗結(jié)果中.這說明，非多尺度深度學(xué)習(xí)模型在恢復(fù)圖像主體內(nèi)容，即與原始圖像的像素級相似度呈現(xiàn)上表現(xiàn)良好；而基于多尺度的深度學(xué)習(xí)模型則在恢復(fù)圖像邊緣結(jié)構(gòu)時發(fā)揮著重要作用，能獲得比非多尺度深度學(xué)習(xí)模型更為優(yōu)異的紋理結(jié)構(gòu)級相似度.

表1 重建圖像的定量比較1

表2 展現(xiàn)了本文模型與近幾年主流的生成對抗網(wǎng)絡(luò)模型及層數(shù)大于50的主流非多尺度深度學(xué)習(xí)模型間的實驗數(shù)據(jù)對比，亦可看出，本文模型相較于SRGAN與SRPGAN 在兩個評價指標(biāo)上都表現(xiàn)得更為穩(wěn)健，更加具備實用性與穩(wěn)定性；與層數(shù)大于50 的主流非多尺度深度學(xué)習(xí)模型相比，本文模型在部分實驗結(jié)果中可與之持平甚至超過.

表2 重建圖像的定量比較2

圖6、7的生成結(jié)果同時在主觀上也能夠看出本文模型在圖像邊緣細(xì)節(jié)的重建方面，尤其重建倍數(shù)較大時，較其他模型有著明顯的優(yōu)勢，比如無論是butterfly圖像中蝴蝶翅膀的紋路、lenna圖像中的帽檐，亦或是img_087圖像中的樓房邊緣等都較其他模型重建后的圖像邊緣更清晰、穩(wěn)定和有效，在重建質(zhì)量上表現(xiàn)出一定的優(yōu)勢.

圖8、9 所示的多尺度網(wǎng)絡(luò)模型的重建圖像細(xì)節(jié)對比圖顯示了在恢復(fù)圖像紋理、邊緣時，這類的網(wǎng)絡(luò)模型具備一定的優(yōu)越性與普適性.說明在構(gòu)建超分辨率重建網(wǎng)絡(luò)時考慮多尺度變換，利用其提取圖像結(jié)構(gòu)信息的這一優(yōu)勢，使網(wǎng)絡(luò)學(xué)習(xí)到更加具有針對性的邊緣的這一想法是成立且有效的.而本文在此基礎(chǔ)上進(jìn)一步歸納總結(jié)非抽取小波變換的低、高頻兩種子帶系數(shù)分別呈現(xiàn)的規(guī)律后，提出了相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)模式，使低頻子帶中所蘊涵的信息被學(xué)習(xí)得更加完備，使高頻子帶中所缺失的信息得到指向性補充.

圖8 對比其他多尺度網(wǎng)絡(luò)模型放大2倍的細(xì)節(jié)圖

圖9 對比其他多尺度網(wǎng)絡(luò)模型放大4倍的細(xì)節(jié)(注：WaveResNet網(wǎng)絡(luò)未公開四倍的預(yù)訓(xùn)練模型)

表3 顯示了本文模型與其他流行超分辨率重建模型的參數(shù)與計算量對比.由于所提模型采用了“整體式”與“缺失式”兩種聯(lián)合學(xué)習(xí)模式來分別處理低頻子帶與高頻子帶，這無疑增加了一定的參數(shù)量，這也是需要在未來進(jìn)一步優(yōu)化的地方.

表3 參數(shù)與計算量比較

4.3 消融實驗

為更全面地評估本模型，表4給出了在非抽取小波變換域下，各子帶只采用同一種學(xué)習(xí)模式網(wǎng)絡(luò)的消融實驗重建結(jié)果的定量比較，所有的對比使用與上文相同的超參數(shù)設(shè)置.

表4 消融實驗重建數(shù)據(jù)集的定量比較

與此同時，由于缺失式網(wǎng)絡(luò)層數(shù)大于整體式網(wǎng)絡(luò)層數(shù)，為避免層數(shù)這一嫌疑，將缺失式網(wǎng)絡(luò)設(shè)置為與整體式網(wǎng)絡(luò)相同的層數(shù).即去除了解碼端最后一級子塊的最后一層以及該級的塊級級聯(lián)操作，只保留對輸入的殘差設(shè)計，將該網(wǎng)絡(luò)記為“缺失式_s”網(wǎng)絡(luò)，那么，采用該“缺失式_s”網(wǎng)絡(luò)的NDW-EDRN，則記為“NDWEDRN_s”.圖10 顯式了2 倍消融實驗結(jié)果圖，表5 給出相應(yīng)的定量評價指標(biāo)數(shù)值，同樣采用PSNR 與SSIM 來評估重建圖像的質(zhì)量.

表5 消融實驗重建圖像的定量比較

由表4、5 與圖10 可以看到：雙學(xué)習(xí)模式的網(wǎng)絡(luò)比任意單一學(xué)習(xí)模式的網(wǎng)絡(luò)在提升圖像質(zhì)量與圖像結(jié)構(gòu)相似度方面均有些許提升，說明圖像中低頻信息在得到保證的同時，還被有效地補充進(jìn)了高頻信息.此外還注意到：（1）相較于整體式學(xué)習(xí)，缺失式學(xué)習(xí)在網(wǎng)絡(luò)中更據(jù)主導(dǎo)地位，說明重建邊緣紋理信息是超分辨率任務(wù)中的重點與難點任務(wù)；（2）baby 圖像的整體式比缺失式網(wǎng)絡(luò)重建結(jié)果好，這可能是因為baby 圖像中存在大量平滑信息，整體式網(wǎng)絡(luò)更完全地保留了原始低分辨率圖像中的有效信息，而高頻信息較少，導(dǎo)致缺失式網(wǎng)絡(luò)所需補充的信息少.因此，雙學(xué)習(xí)模式的網(wǎng)絡(luò)可以融合上述兩種網(wǎng)絡(luò)的優(yōu)點，既可以對平滑圖像學(xué)習(xí)全面的低頻信息，又可以對復(fù)雜圖像有效地補充高頻信息，使網(wǎng)絡(luò)的學(xué)習(xí)更健壯、魯棒.

圖10 消融實驗放大2 倍的細(xì)節(jié)(左上角:GT,右上角“:整體式”學(xué)習(xí),左下角“:缺失式_s”學(xué)習(xí),右下角:NDW-EDRN_s)

5 結(jié)論

本文從彌補低分辨率圖像高頻信息的角度為著眼點，針對傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像細(xì)節(jié)區(qū)域的不足，通過對NDWT 子帶間的對比與分析，獲得高頻子帶內(nèi)系數(shù)存在稀疏性、退化圖像的低頻子帶與原始圖像的低頻子帶間存在相似性、圖像退化過程中大多丟失高頻信息的結(jié)論，在此基礎(chǔ)上提出一種對低、高頻子帶采用不同學(xué)習(xí)策略的深度殘差網(wǎng)絡(luò)模型—NDWEDRN，以解決超分辨率重建過程中難以有效補充邊緣細(xì)節(jié)這一難點問題.該網(wǎng)絡(luò)可主要分為兩部分：一是采用稠密跳躍連接的方式整體性學(xué)習(xí)低頻子帶間的映射關(guān)系；二是對于高頻子帶采用一種新型的U-net 模型，主要表現(xiàn)為將圖像退化過程中所丟失的邊緣作為網(wǎng)絡(luò)的期望輸出，并改進(jìn)傳統(tǒng)U-net 的級聯(lián)結(jié)構(gòu)，通過采用基于塊的跳躍連接來使網(wǎng)絡(luò)更加有效地學(xué)習(xí)缺失性邊緣.通過大量的實驗可以看出，本文提出的NDWEDRN 模型與當(dāng)前一些經(jīng)典的單幅圖像超分辨率重建網(wǎng)絡(luò)模型相比，不論主觀還是客觀都更加有效地提高了重建圖像的質(zhì)量，特別在恢復(fù)低分辨率圖像所缺失的邊緣信息上得到良好效果.