深度學(xué)習(xí)機制與小波融合的超分辨率重建算法

楊思晨，王華鋒，王月海，李錦濤，王赟豪

（1.北方工業(yè)大學(xué) 信息學(xué)院，北京100144； 2.北京航空航天大學(xué) 軟件學(xué)院，北京100083）

隨著數(shù)字圖像處理技術(shù)的不斷發(fā)展，人們對于圖像質(zhì)量的要求越來越高。在實際應(yīng)用中，高分辨率圖像中具有更多的細節(jié)信息，更有利于處理和分析。但是，受成像設(shè)備質(zhì)量的制約，生成的圖像通常都不能滿足人們的需求。提升圖像的清晰度并得到高分辨率圖像的一種直接有效的方法是增強圖像成像系統(tǒng)的硬件質(zhì)量，但這種方法不僅復(fù)雜度高，而且成本昂貴［1］。因此，作為一種通過計算機對低分辨率圖像進行處理從而重建出高分辨率圖像的圖像處理技術(shù)，超分辨率重建技術(shù)成為了圖像處理領(lǐng)域的研究熱點。

超分辨率重建技術(shù)廣泛應(yīng)用于醫(yī)學(xué)成像、衛(wèi)星影像、航空遙感、刑事偵查等多種領(lǐng)域。在醫(yī)學(xué)成像［2］中，運用超分辨率重建技術(shù)可以幫助醫(yī)生進行更準確的醫(yī)療診斷；在衛(wèi)星影像［3］和航空遙感［4］檢測時，運用超分辨率重建技術(shù)可以獲取更多復(fù)雜的地理環(huán)境細節(jié)；在刑事偵查領(lǐng)域［5］，超分辨率重建技術(shù)可以幫助提供更準確的嫌疑人信息，為偵查過程提供便利。

超分辨率重建算法可大致歸結(jié)成3類：基于插值、基于重建模型和基于學(xué)習(xí)［6］?；诓逯档乃惴ǎ?-9］是通過低分辨率圖像已知像素進而估計放大后高分辨率圖像的未知像素?；谥亟Ｐ偷乃惴ǎ?0-12］是將低分辨率圖像作為約束的前提下，結(jié)合圖像的先驗知識進行圖像重建?；趯W(xué)習(xí)的算法［13-17］則是通過學(xué)習(xí)高分辨率圖像和低分辨率圖像的特征之間的映射關(guān)系實現(xiàn)圖像的重建。相比于基于插值、基于重建模型這2類算法，基于學(xué)習(xí)算法重建的圖像無論在準確性還是在視覺效果方面都存在優(yōu)勢。其中，基于深度學(xué)習(xí)的超分辨率重建算法的效果尤其突出。

基于深度學(xué)習(xí)的超分辨率重建算法是近幾年迅速發(fā)展起來的，并獲得了相比于傳統(tǒng)方法準確度和清晰度更高的重建結(jié)果。但是，部分基于深度學(xué)習(xí)的超分辨率重建算法將最小化均方誤差作為優(yōu)化目標［14-16］。這種算法雖然可以提升重建圖像的客觀評價指標，但卻不能有效重建出圖像的細節(jié)紋理。2017年，Ledig等［18］提出基于生成對抗網(wǎng)路的超分辨率重建算法（Super-Resolution using a Generative Adversarial Network，SRGAN），將生成對抗網(wǎng)絡(luò)應(yīng)用到超分辨率重建領(lǐng)域，并重建出邊緣紋理較為清晰的高分辨率圖像。

為了重建出更真實的圖像細節(jié)信息，本文從提升低分辨率圖像中缺少圖像的高頻細節(jié)信息角度出發(fā)，提出一種融合了小波變換技術(shù)和生成對抗網(wǎng)絡(luò)技術(shù)的超分辨率重建算法。首先，將小波分解與重構(gòu)過程變換到由生成網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層和反卷積層來完成，使分解的小波系數(shù)在并行的獨立子網(wǎng)中進行訓(xùn)練；然后，通過反卷積的方式再將子網(wǎng)的輸出合并為重建圖像；最后，利用判別網(wǎng)絡(luò)來鑒別生成網(wǎng)絡(luò)輸出的圖像是否為高分辨率圖像。這種算法發(fā)揮了小波變換和生成對抗網(wǎng)絡(luò)在超分辨率領(lǐng)域的優(yōu)勢，使重建圖像具有較好的紋理信息，在視覺上更加清晰。本文的主要貢獻如下：①將小波變換技術(shù)與生成對抗網(wǎng)絡(luò)模型融合，設(shè)計新的網(wǎng)絡(luò)模型。小波主要在生成模型中通過卷積層將前一層卷積輸出的特征圖像進行小波分解，分解的圖像在獨立的子網(wǎng)中再進行特征的提取。這樣做有利于網(wǎng)絡(luò)全面地了解到圖像不同頻率的信息，使重建圖像更加清晰。②提出一種融合小波系數(shù)損失的感知損失函數(shù)。感知損失函數(shù)考慮到人的視覺感知，可以得到視覺上清晰的超分辨率重建結(jié)果。③為了可以更準確地評價重建圖像的質(zhì)量，提出利用局部二值模式（Local Binary Patterns，LBP）提取重建圖像特征，根據(jù)與原始圖像特征分布的比較評判圖像的紋理復(fù)原度。

1 相關(guān)工作

1.1 基于深度學(xué)習(xí)的圖像超分辨率重建

近幾年，基于深度學(xué)習(xí)的超分辨率重建算法發(fā)展迅速，并獲得了相比于傳統(tǒng)方法準確度和清晰度更高的重建結(jié)果［14-17］?；谏疃葘W(xué)習(xí)的算法主要是通過學(xué)習(xí)高分辨率圖像和低分辨率圖像特征之間的非線性映射實現(xiàn)圖像的重建。2014年，Dong等［14］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，這種算法雖然僅具有3個卷積層，卻得到了比傳統(tǒng)方法精確度更高的結(jié)果。受Dong等［14］影響，Kim等［15］提出一種網(wǎng)絡(luò)深度和精度都進一步提升的遞歸網(wǎng)絡(luò)結(jié)構(gòu)，并同時解決了在網(wǎng)絡(luò)深度增加導(dǎo)致的網(wǎng)絡(luò)中不同參數(shù)的數(shù)量增加的問題。文獻［16］引入一種亞像素卷積結(jié)構(gòu)并采用直接在低分辨率圖像尺寸上提取特征計算得到高分辨率圖像方法，有效提升網(wǎng)絡(luò)的運行效率。文獻［17］引入了Desent Block結(jié)構(gòu)，這種結(jié)構(gòu)將前一層網(wǎng)絡(luò)訓(xùn)練出的特征值傳遞到下一層網(wǎng)絡(luò)，這樣可以減輕梯度消失問題、減少參數(shù)數(shù)量。2017年，Lai等［19］提出一種級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，每一級都只對原圖放大2倍，之后通過一個殘差網(wǎng)絡(luò)得到每級的結(jié)果。

為了重建出圖像的紋理細節(jié)，使重建圖像在視覺上更加清晰，Ledig等［18］通過改進生成對抗網(wǎng)絡(luò)模型的結(jié)構(gòu)并利用感知損失函數(shù)重建出邊緣紋理較為清晰的結(jié)果。然而經(jīng)實驗驗證，這種僅依賴于傳統(tǒng)的生成對抗網(wǎng)絡(luò)模型重建的圖像雖然視覺上清晰，但測試出的客觀評價指標相對較低，而且重建圖像經(jīng)過局部放大后，邊緣紋理與原始圖像并不相近。為了使生成對抗網(wǎng)絡(luò)可以有效地重建出更自然的紋理信息，本文提出通過在生成對抗網(wǎng)絡(luò)中應(yīng)用小波變換技術(shù)實現(xiàn)對小波系數(shù)進行訓(xùn)練的一種融合小波變換以及生成對抗網(wǎng)絡(luò)的超分辨率重建算法。實驗證明，本文算法可以重建出細節(jié)更加清晰的圖像。

1.2 基于小波變換的圖像超分辨率重建

圖像的小波變換是對圖像在頻率空間做分解。根據(jù)小波變換的原理，圖像在經(jīng)過二維離散小波分解后可以得到近似系數(shù)以及水平、垂直、對角3個方向的細節(jié)系數(shù)共4個小波分量。在超分辨重建中，將小波變換應(yīng)用到神經(jīng)網(wǎng)絡(luò)里，可以使網(wǎng)絡(luò)既能了解到圖像的整體，又可以分析圖像的局部細節(jié)，達到對圖像有多方面、更深入的認識的作用，從而可以獲得精確率更高、細節(jié)上更加接近于原始高分辨率圖像的重建結(jié)果。

目前，小波變換已經(jīng)成功應(yīng)用到超分辨率重建領(lǐng)域。2008年，電子科技大學(xué)的Guo和He［20］將小波變換技術(shù)應(yīng)用到凸集投影法（Projection onto Convex Sets，POCS）中，小波變換在做圖像重建時不僅抑制了噪聲又保留圖像中原有的低頻信息，重建結(jié)果比POCS算法的準確度更高。Akbarzadeh等［21］指出使用雙三次插值和平穩(wěn)小波變換實現(xiàn)圖像的重建的圖像比其他傳統(tǒng)算法更加清晰。Kumar等［22］提出將低分辨率圖像視為小波分解后的近似系數(shù)，用來估計圖像中的細節(jié)系數(shù)。Huang等［23］提出一種結(jié)合小波變換與卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，在該算法中，網(wǎng)絡(luò)模型通過學(xué)習(xí)圖像小波分解系數(shù)的映射關(guān)系實現(xiàn)高分辨率圖像的重建，并重建出較好的圖像邊緣細節(jié)。

受Huang等［23］的影響，本文將小波變換技術(shù)與生成對抗網(wǎng)絡(luò)相融合，這樣有利于使重建圖像具有更加真實的細節(jié)紋理。

2 算 法

超分辨率重建的目標是通過一定的算法將低分辨率圖像轉(zhuǎn)換為高分辨率圖像。而一般低分辨率圖像中缺少細節(jié)信息，才導(dǎo)致其在視覺上有模糊感的，根據(jù)這一信息，本文提出一種可以有效重建圖像局部細節(jié)信息的超分辨率重建算法。

本文提出的超分辨率重建算法結(jié)合了小波變換技術(shù)和生成對抗網(wǎng)絡(luò)，利用生成對抗網(wǎng)絡(luò)可以重建出紋理細節(jié)更加真實的圖像的優(yōu)勢，并在網(wǎng)絡(luò)中通過小波多分辨分析訓(xùn)練小波分解系數(shù)來提高網(wǎng)絡(luò)在訓(xùn)練過程中對于圖像局部細節(jié)的理解，最終可以重建出在圖像高頻細節(jié)和清晰度都更優(yōu)的高分辨率圖像。本節(jié)將詳細介紹這種圖像超分辨率重建算法的具體操作。

2.1 小波變換

在本文提出的算法中，網(wǎng)絡(luò)訓(xùn)練時通過對圖像小波分解系數(shù)的訓(xùn)練完成圖像的超分辨率重建。在網(wǎng)絡(luò)中，利用卷積層通道間的變化實現(xiàn)對特征圖像的小波分解，分解的4個系數(shù)分別作為4個獨立的子網(wǎng)的輸入，最后通過一個反卷積層再將訓(xùn)練完的小波系數(shù)合并。子網(wǎng)間相互獨立，互不影響。這種算法可以實現(xiàn)在生成對抗網(wǎng)絡(luò)中對圖像進行多分辨分析，可以使網(wǎng)絡(luò)既能了解到圖像的整體，又可以分析圖像的圖像細節(jié)，使網(wǎng)絡(luò)對圖像有多方面的認識和更加深入的理解，從而有效地重建出圖像細節(jié)更加精確、更加接近于原始圖像的訓(xùn)練結(jié)果。

在對圖像進行小波變換時，將圖像視為具有索引［m，n］的二維信號，則有IHR［m，n］表示位于第n列和第m行的像素值。二維信號IHR［m，n］可以被視為在給定的第n行IHR［m，：］之間以及給定的第m列IHR［：，n］中的一維信號。若輸入的低分辨率圖像為IHR［m，n］，設(shè)定小波變換中高通和低通濾波器分別為h［k］和l［k］，k表示小波的位置，K表示小波變換中平移操作所經(jīng)過的距離。在二維離散小波變換過程中，首先對n方向做高通和低通濾波以及降頻處理，得到

接著再沿m方向做高通和低通濾波以及降頻處理：

另外，在進行二維圖像的離散小波分解與重構(gòu)時，常采用Haar小波函數(shù)作為小波基函數(shù)。Haar小波函數(shù)是最早的具有緊支撐的正交小波基函數(shù)，其函數(shù)簡單、應(yīng)用也最為廣泛，尤其是其具有較好的對稱性，在訓(xùn)練過程中應(yīng)用Haar小波函數(shù)可以有效避免圖像分解時產(chǎn)生相位失真。

2.2 生成對抗網(wǎng)絡(luò)

在生成對抗網(wǎng)絡(luò)中，需要定義一個生成網(wǎng)絡(luò)G和一個判別網(wǎng)絡(luò)D。生成對抗網(wǎng)絡(luò)訓(xùn)練的過程就是生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的不斷交替優(yōu)化的過程，優(yōu)化過程可以定義為

式中：g和d分別為生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)；E表示求均值。

通過這種算法，生成網(wǎng)絡(luò)可以不斷優(yōu)化并得到與原始圖像極為相似的輸出結(jié)果。因此，基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建可以得到視覺效果好的重建圖像。

在改進的生成對抗網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)主要分為2個過程（見圖1）：第1個過程主要是將低分辨率圖像通過卷積表示為特征圖；第2個過程是將特征圖分解為小波系數(shù)來估計高分辨率圖像的小波系數(shù)，并在最后利用反卷積層將估計的小波系數(shù)合并為重建圖像。而在生成網(wǎng)絡(luò)中最重要的部分是具有相同結(jié)構(gòu)的殘差塊，殘差塊的作用主要是有效處理網(wǎng)絡(luò)深度較深的網(wǎng)絡(luò)，可以降低生成對抗網(wǎng)絡(luò)的訓(xùn)練難度。原始殘差網(wǎng)絡(luò)［24］結(jié)構(gòu)中包含2個卷積層和2個批量標準化層以及激活函數(shù)Relu，如圖2（a）所示。受Lim等［25］的啟發(fā)，本文采用其提出的殘差塊結(jié)構(gòu)，如圖2（b）所示。具體來說，本文去除了結(jié)構(gòu)中的標準化層，因為殘差塊中的標準化層在網(wǎng)絡(luò)訓(xùn)練時會占用較大的內(nèi)存，若將其從殘差結(jié)構(gòu)中去除，可以有效提升網(wǎng)絡(luò)訓(xùn)練效率和性能［25］，并將激活函數(shù)用PRelu代替原來的Relu。

判別網(wǎng)絡(luò)的作用是判斷生成網(wǎng)絡(luò)的輸出是否為高分辨率圖像，在網(wǎng)絡(luò)結(jié)構(gòu)上不做過多的修改，將采用Ledig等［18］提出的用于超分辨率重建的生成對抗網(wǎng)絡(luò)結(jié)果中的判別網(wǎng)絡(luò)模型，如圖1中判別網(wǎng)絡(luò)模型所示。

圖1 生成對抗網(wǎng)絡(luò)模型Fig.1 Generative adversarial network model

圖2 殘差網(wǎng)絡(luò)模型Fig.2 Residual network model

2.3 損失函數(shù)

在神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練過程是一個通過迭代不斷降低損失值并得到最優(yōu)解的過程。在超分辨率重建領(lǐng)域常用最小均方誤差（Mean-Square Error，MSE）作為訓(xùn)練過程的損失函數(shù)，因為圖像質(zhì)量評估標準中峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）值與最小均方誤差相關(guān)，所以均方誤差作為損失函數(shù)時可以獲得較高的PSNR值。但是，利用這種方法重建出的圖像的邊緣有明顯的鋸齒，視覺上覺得圖像較為模糊。Ledig等［18］認為損失函數(shù)不僅要考慮評估標準更要考慮人的感知，其提出一種感知損失函數(shù)定義為內(nèi)容損失lC和對抗損失lA的加權(quán)和，損失函數(shù)l可以表示為

式中：內(nèi)容損失lC表示特征空間的最小均方誤差，是圖像通過19層的VGG19網(wǎng)絡(luò)提取出的高層特征間的均方誤差。利用圖像高層特征間的誤差函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)，可以有效提高重建圖像中的紋理信息，使圖像看起來更加清晰。

式中：φi，j為VGG19網(wǎng)絡(luò)中第i層maxpooling后第j層卷積得到的特征圖；Wi，j和Hi，j為VGG19網(wǎng)絡(luò)中對應(yīng)特征圖的維數(shù)；X表示輸入的低分辨率圖像；Y表示原始高分辨率圖像。

對抗損失lA是基于鑒別網(wǎng)絡(luò)的輸出的概率得出的，一般表示為

由于SRGAN［18］重建圖像的紋理放大后過于不自然，為了處理這個問題，在生成對抗網(wǎng)絡(luò)中增加小波變換的處理過程，讓網(wǎng)絡(luò)可以訓(xùn)練圖像的小波分解系數(shù)，從而提高重建圖像中的高頻細節(jié)信息，使圖像的紋理更加真實。因此，本文的損失函數(shù)l′是在SRGAN感知損失函數(shù)的基礎(chǔ)上加入了小波系數(shù)的損失，l′可以表示為

式中：lW為小波分解系數(shù)的最小均方誤差，可以表示為

其中：a1～a4為權(quán)重系數(shù)為生成網(wǎng)絡(luò)重建出的圖像的小波分解系數(shù)。

3 實 驗

3.1 數(shù)據(jù)準備

本文使用VOC2012數(shù)據(jù)集［26］作為改進的網(wǎng)絡(luò)的訓(xùn)練集。同時，為了可以進行公平的比較，也用此數(shù)據(jù)集訓(xùn)練了SRGAN 網(wǎng)絡(luò)［19］。VOC2012數(shù)據(jù)集是一組用于圖像重建的高質(zhì)量的圖像數(shù)據(jù)集，其中包括16 700張訓(xùn)練圖像和425張測試圖像。VOC2012數(shù)據(jù)集中具有20類圖像，種類豐富，利于圖像的超分辨率重建。但是又不像ImageNet數(shù)據(jù)集［27］擁有大量的圖像數(shù)據(jù)，增加生成對抗網(wǎng)絡(luò)的訓(xùn)練難度。測試時，使用標準數(shù)據(jù)集Set5數(shù)據(jù)集［28］、Set14數(shù)據(jù)集［29］和BSD100數(shù)據(jù)集［30］對訓(xùn)練的網(wǎng)絡(luò)進行測試。

3.2 評價標準

現(xiàn)在超分辨率重建領(lǐng)域最為常用的評價重建圖像質(zhì)量的指標為PSNR和結(jié)構(gòu)相似性（Structural Similarity index，SSIM）［31］。不過許多研究都表明均方誤差和PSNR并不能準確反映圖像的視覺質(zhì)量，所以還引用了特征相似度（Feature Similarity，F(xiàn)SIM）［32］、通 用 圖 像 質(zhì) 量（Universal Image Quality，UIQ）［33］和LBP［34］來評價重建圖像質(zhì)量。

根據(jù)人類視覺系統(tǒng)（Human Visual System，HVS）主要通過圖像的低級特征來理解圖像，Zhang等［32］提出了FSIM。相位一致性可以提取高度圖像信息特征，但不能響應(yīng)圖像對比度的變化，因此引入梯度特征來提取對比度信息。相位一致性用作FSIM 的主要特征，梯度用作次要特征。FSIM值越大，就表示圖像之間的FSIM越高，重建圖像的質(zhì)量越好。若有p表示圖像像素點，則FSIM的表達式為

式中：Ω為整個圖像的像素域；SL（p）和PCm（p）的表達式分別為

其中：SPC（p）和SG（p）分別為圖像的相位一致性和梯度幅度；α和β為用于調(diào)整相位一致性和梯度幅度重要性的參數(shù)，取值均為1。

UIQ是一種結(jié)合了線性相關(guān)損耗、亮度失真和對比度失真3個因素的圖像質(zhì)量評估指標。UIQ值越大，表示重建圖像與原始圖像在線性、亮度和對比度3個方面的相關(guān)度越高，重建圖像質(zhì)量越好。根據(jù)Wang和Bovik［33］，定義w為重建圖像，y為原始高分辨率圖像，則UIQ的表達式為

式中：第1項表示w和y之間的線性相關(guān)系數(shù)，當(dāng)值為1時表示w和y線性相關(guān)；第2項表示圖像亮度的相關(guān)性；第3項表示圖像對比度的相關(guān)性；w和y分別表示輸出結(jié)果與原始圖像；σw、σy分別為w和y的標準差；σwy為w、y的協(xié)方差。

LBP是一種提取圖像紋理特征的算法。以一個3×3的圖像局部窗口為例，若這個窗口的中心坐標為（x，y），且像素值為I，則根據(jù)其周圍的8個坐標的像素值大小定義LBP碼，如果周圍坐標的像素值大于中心坐標則記為1，否則記為0。這樣就可以得到8位二進制碼，將其轉(zhuǎn)化為十進制則為LBP值。具體計算過程如下：

式中：Im為中心坐標周圍8個坐標的像素值。若有i表示坐標像素值的差，S函數(shù)式為

LBP方法是一種高效的特征分析方法，該方法運算速度快，具有灰度不變性和對光照變換不敏感的特點。

3.3 訓(xùn)練過程

本文使用VOC2012數(shù)據(jù)集［24］中16 700張訓(xùn)練樣本在NVIDIA Titan X GPU上利用TensorFlow平臺對本文提出的網(wǎng)絡(luò)進行了訓(xùn)練。訓(xùn)練時間大約需要5天。

低分辨率圖像是對16 700張高分辨率圖像進行降采樣因子為4的雙三次插值處理得到的。訓(xùn)練時，將高分辨率圖像隨機剪成大小88×88的子圖像，網(wǎng)絡(luò)通過學(xué)習(xí)低分辨率圖像與高分辨率圖像的小波分解系數(shù)之間的映射關(guān)系實現(xiàn)圖像重建。將網(wǎng)絡(luò)中批尺寸的大小設(shè)置為16，網(wǎng)絡(luò)以0.000 2學(xué)習(xí)率進行訓(xùn)練，總共進行313 200次迭代。使用感知損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，這樣可以得到視覺效果更好的結(jié)果。

3.4 定量評估

為了顯示本文算法的性能，將本文算法與SRGAN算法進行定量的比較，利用Set5和Set14數(shù)據(jù)集對2種方法進行測試，得到的放大倍數(shù)為4的重建圖像的PSNR和SSIM 結(jié)果如表1所示。本文利用VOC2012訓(xùn)練集重新對SRGAN進行訓(xùn)練，因此得到的SRGAN的測試結(jié)果與原文中的測試結(jié)果略有差異。從表1中可以發(fā)現(xiàn)，本文算法的圖像質(zhì)量評估標準PSNR和SSIM 相比于SRGAN有明顯的提升，最少分別提高了0.99 dB和0.031。為了可以更加準確地評價重建圖像質(zhì)量，使用了FSIM 和UIQ進一步分析實驗結(jié)果。從表2可以看出，本文算法在FSIM 和UIQ評估指標中都取得了良好的效果。

表1 PSNR和SSIM 的測試結(jié)果Table 1 Test results of PSNR and SSIM

表2 FSIM 和UIQ的測試結(jié)果Table 2 Test results of FSIM and UIQ

圖3 Set5數(shù)據(jù)集中圖像“bird”測試結(jié)果Fig.3 Test results of“bird”image in Set5 dataset

圖4 Set14數(shù)據(jù)集中圖像“barbara”測試結(jié)果Fig.4 Test results of“barbara”image in Set14 dataset

圖3～圖5分別為Set5數(shù)據(jù)集中的圖像“bird”、Set14數(shù)據(jù)集中的圖像“barbara”和圖像的測試結(jié)果。其中圖3（b）、圖4（b）和圖5（b）為傳統(tǒng)的雙三次插值算法（Bicubic）的重建結(jié)果，僅僅是對圖像進行了4倍的上采樣，圖像邊緣模糊感明顯。圖3（c）、圖4（c）和圖5（c）為SRGAN算法的重建結(jié)果，圖像復(fù)原出邊緣細節(jié)信息且看起來比較清晰，但局部放大后“偽紋理”相對明顯。圖3（d）、圖4（d）和圖5（d）為本文算法的重建結(jié)果，相比于SRGAN算法放大后的“偽紋理”沒有了，看起來邊緣的紋理細節(jié)比較平滑，更加清晰。從結(jié)果中可以發(fā)現(xiàn)，本文算法不僅在一定程度上提升了客觀評價指標，而且改善了SRGAN中圖像紋理不自然的問題。本文的重建結(jié)果邊緣細節(jié)更加清晰，紋理更加真實，視覺質(zhì)量上也更優(yōu)，充分展示了小波變換與生成對抗網(wǎng)絡(luò)的優(yōu)勢。

應(yīng)用LBP測試圖像是為了更好地觀測重建圖像紋理特征復(fù)原度。LBP是一種可以有效提取和描述圖像的紋理細節(jié)和特征結(jié)構(gòu)的算子。本文利用LBP對重建圖像的紋理特征進行提取，并獲取相關(guān)描述圖像特征的分布圖。

圖5 Set14數(shù)據(jù)集中圖像“monarch”測試結(jié)果Fig.5 Test results of“monarch”image in Set14 dataset

圖6 重建圖像的LBP特征分布Fig.6 LBP feature distribution of reconstructed image

圖6為圖3～圖5中SRGAN算法及本文算法的重建圖像的LBP提取的特征分布。其中，圖6（a）、（b）和（c）為SRGAN算法重建圖像的LBP特征分布圖，圖6（d）、（e）和（f）為本文算法重建圖像的LBP提取的特征分布圖。從圖中可以發(fā)現(xiàn)，相比于SRGAN算法，本文算法的LBP直方圖曲線跟原始高分辨率圖像LBP直方圖曲線重合率更高，也就表示本文算法的重建圖像在圖像的紋理特征層面要比SRGAN算法相對較好。為了更好地展現(xiàn)本文算法重建圖像的紋理特征與原始圖像更相近，計算了重建圖像與原始高分辨率圖像LBP提取的特征圖之間的方差，如表3所示。顯然，本文算法的方差要比SRGAN算法低，進一步說明融合小波變換的生成對抗網(wǎng)絡(luò)模型超分辨率重建算法存在優(yōu)勢。

表3 重建圖像LBP特征圖與原始圖像LBP特征圖之間方差Table 3 Variance between LBP feature map of reconstructed im age and LBP feature map of original image

4 結(jié) 論

1）為了進一步提升重建圖像質(zhì)量，本文提出將小波變換融合到生成對抗網(wǎng)絡(luò)結(jié)構(gòu)中。將小波分解與重構(gòu)過程變換到由生成網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層和反卷積層來完成，實現(xiàn)網(wǎng)絡(luò)對圖像的小波分解系數(shù)的訓(xùn)練，并在單獨的子網(wǎng)中進行互不影響的訓(xùn)練。通過一系列的實驗驗證，本文提出的超分辨率重建算法可以有效提升PSNR、SSIM、FSIM 和UIQ的值，同時又生成了紋理細節(jié)較為真實的重建圖像。體現(xiàn)了本文算法在超分辨率重建領(lǐng)域的優(yōu)勢。

2）提出一種加入了小波分解系數(shù)損失的感知損失函數(shù)。因為感知損失函數(shù)考慮了人的視覺感知，可以重建出紋理較清晰的圖像。因此，本文在SRGAN算法中提出的感知損失函數(shù)的基礎(chǔ)上增加了小波系數(shù)的損失。

3）在利用本文算法進行超分辨率重建的圖像中存在一些在處理過程中引入的噪點，并且有少量結(jié)果的噪點較多，直接影響了圖像的視覺質(zhì)量?？赡苤率惯@些噪點產(chǎn)生的原因是：對于尺寸較小的圖像，網(wǎng)絡(luò)訓(xùn)練小波系數(shù)過于強調(diào)圖像的邊緣細節(jié)而產(chǎn)生了圖像噪聲。之后可以考慮進一步的改進，去除重建圖像中的噪點，提升算法的重建結(jié)果的精確度。