雙回歸網(wǎng)絡(luò)的單圖像超分辨率重建

張 永，呂 庚

蘭州理工大學(xué) 計算機(jī)與通信學(xué)院，蘭州730050

圖片的超分辨率（super resolution，SR）是從低分辨率（low resolution，LR）圖像中恢復(fù)高分辨率（high resolution，HR）圖像的過程，是計算機(jī)視覺和圖像處理領(lǐng)域中一種重要的圖像處理技術(shù)。得益于深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)（DNN）被應(yīng)用于包括圖像分類、視頻理解和許多其他應(yīng)用?；谏疃壬窠?jīng)網(wǎng)絡(luò)的超分辨率模型通過學(xué)習(xí)從LR圖像到HR圖像的非線性映射函數(shù)，在圖像超分辨率方面表現(xiàn)出了良好的性能，使基于深度學(xué)習(xí)的圖像超分辨率成為研究從LR 圖像中重建HR圖像的一項重要應(yīng)用。

Dong 等人[1]首先提出了一種三層卷積神經(jīng)網(wǎng)絡(luò)，稱為SRCNN（super-resolution convolutional neural network）。SRCNN采用雙三次插值將LR圖像放大到目標(biāo)倍數(shù)，然后再輸入三層卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)LR圖像和HR圖像之間的映射關(guān)系，成功使用CNN 解決超分辨率問題。在此之后，基于卷積神經(jīng)網(wǎng)絡(luò)，提出了許多方法來提高SR性能。Kim等人[2]第一次將殘差學(xué)習(xí)融入CNN網(wǎng)絡(luò)并提出一種深度卷積神經(jīng)網(wǎng)絡(luò)，He等人[3]在殘差學(xué)習(xí)基礎(chǔ)上針對超分辨率問題首次提出了殘差網(wǎng)絡(luò)結(jié)構(gòu)，通過恒等連接構(gòu)建深度殘差網(wǎng)絡(luò)來克服退化問題。Haris 等人[4]提出了一個反饋網(wǎng)絡(luò)（DBPN），該網(wǎng)絡(luò)由多個上、下采樣層組成，迭代式生成LR 和HR 圖像，通過迭代上下交替采樣的糾正反饋機(jī)制，重建出具有豐富紋理細(xì)節(jié)的圖像，在高倍數(shù)重建上表現(xiàn)出良好的質(zhì)量。Zhang 等人[5]提出建立通道注意力機(jī)制，通過通道間的相互依賴性來自適應(yīng)地調(diào)整不同通道的權(quán)重，構(gòu)建了RCAN的深度模型，RCAN允許豐富的低頻信息通過多個跳躍連接直接進(jìn)行傳播，使主網(wǎng)絡(luò)專注于學(xué)習(xí)高頻信息，從而使模型更好地學(xué)習(xí)圖像的紋理細(xì)節(jié)特征，進(jìn)一步提高SR 的性能。使用在HR 圖像上應(yīng)用理想的降采樣核（如：雙三次插值）獲得LR 圖像作為訓(xùn)練集訓(xùn)練的模型在應(yīng)用到現(xiàn)實數(shù)據(jù)時，模型性能會急劇下降?；诖藛栴}，Zhou 等人[6]提出用于學(xué)習(xí)未知下采樣的SR方法解決模型在實際應(yīng)用中的適應(yīng)性問題，但由于感知質(zhì)量問題和訓(xùn)練不穩(wěn)定問題造成輸出圖片缺乏高頻紋理細(xì)節(jié)。為了解決使用特定方法下采樣配對數(shù)據(jù)造成的模型適應(yīng)性問題，Guo等人[7]在U-net的基礎(chǔ)上引入對偶回歸方法，使模型不依賴于HR 圖像，可以直接在LR圖像中學(xué)習(xí)。席志紅等人[8]在原始低分辨率圖像上直接進(jìn)行特征映射，只在網(wǎng)絡(luò)的末端引入子像素卷積層，將像素進(jìn)行重新排列，得到高分辨率圖像，能夠恢復(fù)更多的圖像細(xì)節(jié)，圖像邊緣也更加完整且收斂速度更快。Li等人[9]提出深度遞歸上下采樣網(wǎng)絡(luò)DRUDN。在DRUDN中，原始LR 圖像直接饋送，無需額外插值，然后使用復(fù)雜的遞歸上下采樣塊來學(xué)習(xí)LR圖像HR圖像之間的復(fù)雜映射。彭晏飛等人[10]首先遷移支持向量機(jī)中的hinge損失作為目標(biāo)函數(shù)，其次使用更加穩(wěn)定、抗噪性更強(qiáng)的Charbonnier 損失代替L2 損失函數(shù)，最后去掉了殘差塊和判別器中對圖像超分辨率不利的批規(guī)范化層，并在生成器和判別器中使用譜歸一化來減小計算開銷，穩(wěn)定模型訓(xùn)練。

對偶學(xué)習(xí)方法[11-14]包含原始模型和對偶模型，同時學(xué)習(xí)兩個相反的映射。對偶學(xué)習(xí)最關(guān)鍵的一點在于，給定一個原始任務(wù)模型，其對偶任務(wù)的模型可以給其提供反饋；同樣的，給定一個對偶任務(wù)的模型，其原始任務(wù)的模型也可以給該對偶任務(wù)的模型提供反饋；從而這兩個互為對偶的任務(wù)可以相互提供反饋，相互學(xué)習(xí)、相互提高。在新的研究中，此方案被用于在沒有配對訓(xùn)練數(shù)據(jù)的情況下進(jìn)行圖像轉(zhuǎn)換?；趯ε紝W(xué)習(xí)方法，CycleGAN[15]和DualGAN[16]提出循環(huán)一致性損失以避免GAN方法的模式崩潰問題從而幫助最大限度地減少分布差異。但是，CycleGAN是將一類圖片轉(zhuǎn)換成另一類圖片，不能直接應(yīng)用于標(biāo)準(zhǔn)SR 問題?；贑ycleGAN 模型，Yuan 等人[17]提出CinCGAN 模型，放棄使用特定方法下采樣配對合成數(shù)據(jù)，在沒有配對數(shù)據(jù)的情況下生成HR圖像，減少特定方法配對數(shù)據(jù)對模型適應(yīng)性的影響。

對偶學(xué)習(xí)和已有的學(xué)習(xí)范式有很大的不同。首先，監(jiān)督學(xué)習(xí)（supervised learning）只能從標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)，只涉及一個學(xué)習(xí)任務(wù)；而對偶學(xué)習(xí)涉及至少兩個學(xué)習(xí)任務(wù)，可以從未標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)。其次，半監(jiān)督學(xué)習(xí)（semi-supervised learning）盡管可以對未標(biāo)注的樣本生成偽標(biāo)簽，但無法知道這些偽標(biāo)簽的好壞，而對偶學(xué)習(xí)通過對偶游戲生成的反饋（例如對偶翻譯中x和x1的相似性）能知道中間過程產(chǎn)生的偽標(biāo)簽(y1)的好壞，因而可以更有效地利用未標(biāo)注的數(shù)據(jù)。第三，對偶學(xué)習(xí)和多任務(wù)學(xué)習(xí)（multi-task learning）也不相同。盡管多任務(wù)學(xué)習(xí)也是同時學(xué)習(xí)多個任務(wù)的模型，但這些任務(wù)必須共享相同的輸入空間，而對偶學(xué)習(xí)對輸入空間沒有要求，只要這些任務(wù)能形成一個閉環(huán)系統(tǒng)即可。第四，對偶學(xué)習(xí)和遷移學(xué)習(xí)（transfer learning）也很不一樣。遷移學(xué)習(xí)用一個或多個相關(guān)的任務(wù)來輔助主要任務(wù)的學(xué)習(xí)，而在對偶學(xué)習(xí)中，多個任務(wù)是相互幫助、相互提高，并沒有主次之分。

盡管上述方法在圖像超分辨率任務(wù)中表現(xiàn)出了良好的性能，然而這些方法仍然存在不足之處。首先，由于LR→HR可能的函數(shù)映射空間非常大，采用特定方法配對的數(shù)據(jù)集模型泛化能力受限，學(xué)習(xí)好的模型通常需要更深的網(wǎng)絡(luò)和更多的參數(shù)。此外，殘差結(jié)構(gòu)沒有充分利用結(jié)構(gòu)上的層次特征。針對上述問題，提出了一種雙回歸方案，主要貢獻(xiàn)點如下：

（1）在原始回歸任務(wù)基礎(chǔ)上引入對偶回歸，形成閉環(huán)對重建圖像引入額外的約束來減少LR→HR 的可能映射空間。

（2）在殘差結(jié)構(gòu)中引入傅里葉變換得到圖像的不同層次的高頻信息。利用殘差結(jié)構(gòu)中的高頻層次信息，增強(qiáng)模型對高頻細(xì)節(jié)的復(fù)原能力。

（3）采用配對的LR→HR 數(shù)據(jù)和未配對的LR 數(shù)據(jù)作為訓(xùn)練集，減少特定方法配對數(shù)據(jù)集對模型泛化能力的影響。

1 模型設(shè)計

1.1 模型網(wǎng)絡(luò)架構(gòu)

如圖1 所示，雙回歸模型由兩部分組成：原始回歸網(wǎng)絡(luò)和對偶回歸網(wǎng)絡(luò)。原始回歸網(wǎng)絡(luò)包含特征提取模塊和重建模塊。對偶回歸網(wǎng)絡(luò)由兩個下采樣模塊組成。定義輸入圖像為X，輸出圖像為Y。

圖1 雙回歸網(wǎng)絡(luò)模型架構(gòu)Fig.1 Architecture of dual regression network model

特征提取模塊由N個殘差塊和一個特征融合模塊組成。殘差塊進(jìn)行特征提取，特征融合塊對所有殘差塊的輸出做特征融合。

式（1）為全局特征融合式，其中[H0,H1,…,Hn]表示全局特征的級聯(lián)操作，Hi表示第i(i=1,2,…,N)個殘差塊的輸出(H0為輸入圖像X)，G(?)表示1×1 卷積操作，F(xiàn)GF為全局特征融合式輸出。重建模塊由兩個卷積層和一個亞像素重建塊組成。全局特征融合輸出經(jīng)過一個卷積層后作為亞像素重建模塊的輸入，亞像素重建模塊的輸出經(jīng)過一個卷積層得到輸出Y。

對偶回歸網(wǎng)絡(luò)是對下采樣核的估計，通過下采樣模塊通過卷積實現(xiàn)對Y的下采樣，得到和輸入一樣大小的圖像X′。

1.2 雙回歸網(wǎng)絡(luò)閉環(huán)

設(shè)x∈X為LR圖像，y∈Y為HR圖像。

定義1（原始回歸任務(wù)）：尋求一個函數(shù)P：X→Y,使預(yù)測P(x)接近于其相應(yīng)的HR圖像y。

定義2（對偶回歸任務(wù)）：尋求一個函數(shù)D：Y→X，使D(y)的預(yù)測接近于輸入的LR圖像x。

雙回歸網(wǎng)絡(luò)模型學(xué)習(xí)原始映射P來重建HR圖像，并學(xué)習(xí)對偶映射D來重建LR 圖像，如圖2 所示。原始和對偶學(xué)習(xí)任務(wù)可以形成一個封閉的環(huán)，訓(xùn)練模型P和D以提供額外的監(jiān)督。如果P(x)是正確的HR 圖像，則其下采樣得到的圖像D(P(x))應(yīng)非常接近輸入的LR圖像x。

圖2 原始回歸任務(wù)和對偶回歸任務(wù)形成閉環(huán)Fig.2 Original regression task and dual re-gression task form closed loop

提出的雙回歸方案超分辨率模型表示如下：

給定M個未配對LR 樣本和N個配對樣本，模型訓(xùn)練損失可以寫成：

設(shè)P∈P，D∈D，其中P、D 分別表示原始回歸和對偶回歸映射函數(shù)空間。對于本文的雙回歸方案，對于?P∈P，?D∈D，其泛化誤差（期望損失）為：

其經(jīng)驗損失為：

對于樣本空間Z=(z1,z2,…,zN)，其中zi=(xi,yi)，雙回歸方案的Rademacher復(fù)雜度為：

設(shè)Lp(P(x),y)+λLD(D(P(x)),x)為X×Y到[ ]0,C的映射，上界為C，映射函數(shù)空間Hdual為無窮，Hdual∈P×D。且對于任意δ>0，至少有1-δ的概率使以下不等式成立：

根據(jù)Rademacher復(fù)雜度的推論3.1[18]得：

設(shè)B(P,D)為雙回歸方案的泛化界，則：

對于原始回歸方案，即當(dāng)泛化誤差式（3）中λ=0時，其泛化界為：

其中為原始回歸的經(jīng)驗Rademacher復(fù)雜度。

由于Hdual∈P×D的函數(shù)空間小于Hdual∈P 的函數(shù)空間，根據(jù)Rademacher復(fù)雜度原理：

則：

上述結(jié)果證明了引入對偶回歸方案后模型的泛化界依賴于函數(shù)空間的復(fù)雜性，加入對偶回歸的雙回歸SR 方案比未加入對偶回歸的SR 方法具有更小的泛化界，即在原始回歸基礎(chǔ)上加入對偶回歸有助于減少LR→HR 的可能映射空間，使模型實現(xiàn)更準(zhǔn)確的SR 預(yù)測，并且當(dāng)訓(xùn)練數(shù)據(jù)足夠多時，雙回歸模型的泛化界越精確。

1.3 殘差塊結(jié)構(gòu)

殘差塊結(jié)構(gòu)如圖3。輸入通過傅里葉變換得到其頻譜圖，提取高頻部分，通過反傅里葉變換得到圖像對應(yīng)的高頻部分。殘差塊有三個并行的特征提取塊，每個特征提取塊有兩個卷積層和一個ReLU激活層，激活層位于兩個卷積層中間。特征提取塊對輸入及其兩個不同層次的高頻部分進(jìn)行特征提取，特征提取塊輸出級聯(lián)經(jīng)過局部特征融合后結(jié)合殘差作為殘差塊的輸出。

圖3 殘差塊結(jié)構(gòu)Fig.3 Architecture of residual block

定義Hn為第n個殘差塊的輸出，則第n個殘差塊的結(jié)構(gòu)表示如下：

其中[f0,f1,f2] 表示局部特征的級聯(lián)操作，f0表示殘差塊的輸入Hn-1的特征，f1表示Hn-1經(jīng)過第一次傅里葉變換后的高頻部分特征，f2表示Hn-1經(jīng)過第二次傅里葉變換后的高頻部分的特征，G(?)表示1×1卷積操作。

殘差結(jié)構(gòu)的特征提取過程表示如下：

輸入Hn-1的特征提?。?/p>

其中φi(?)(i=1,2)表示卷積操作。

輸入Hn-1的高頻特征提?。?/p>

輸入Hn-1并行經(jīng)過兩個高通濾波器，輸出其不同層次的高頻部分，高通濾波器輸出表示如下所示：

其中FFFT(?)表示快速傅里葉變換，ψi(i=1,2)為高通濾波操作，gi為Hn-1經(jīng)過高通濾波器后的高頻譜圖，gi進(jìn)行反傅里葉變換FIFFT(?)后作為特征提取塊的輸入。

則對應(yīng)特征可以表示為：

其中(?)(i,j=1,2)表示卷積操作。與全局特征融合類似，每個殘差塊內(nèi)部對輸入及其不同層次的高頻部分的特征進(jìn)行局部特征融合。

每個殘差塊的輸出表示為：

LR 圖像與HR 圖像的差別主要表現(xiàn)在圖像的高頻區(qū)域，表現(xiàn)為圖像的紋理細(xì)節(jié)等。而圖像的高頻特征通常在網(wǎng)絡(luò)的深層才開始學(xué)習(xí)的到。

對圖像進(jìn)行傅里葉變換時選取不同的濾波器可以得到不同層次的高頻部分如圖4，通過在殘差結(jié)構(gòu)中加入傅里葉變換提取輸入的高頻區(qū)域，可以使模型在淺層網(wǎng)絡(luò)就能學(xué)習(xí)通常需要深層網(wǎng)絡(luò)才能學(xué)習(xí)到的高頻信息，使模型通過較少的層數(shù)和參數(shù)達(dá)到深層模型的性能。

圖4 通過不同濾波器得到的圖像高頻部分Fig.4 High-frequency part of image obtained by different filters

2 實驗

2.1 實驗設(shè)置

（1）參數(shù)設(shè)置。網(wǎng)絡(luò)中基本塊的卷積核大小均設(shè)置為3×3，邊緣補(bǔ)0 確保輸入和輸出的大小一致。在下采樣模塊中，輸出尺寸變?yōu)檩斎氲囊话?。網(wǎng)絡(luò)殘差組數(shù)量設(shè)置為16。

（2）訓(xùn)練設(shè)置。采用DIV2K+Flickr2K[19]作為訓(xùn)練數(shù)據(jù)集，從訓(xùn)練集中隨選擇100 個圖像，并使用不同的下采樣方法獲取LR圖像。通過對訓(xùn)練集圖像進(jìn)行下采樣來獲取配對合成數(shù)據(jù)。考慮到現(xiàn)實世界中的SR 應(yīng)用，所有配對數(shù)據(jù)都屬于未配對數(shù)據(jù)不同的區(qū)域。圖像塊的尺寸設(shè)為64×64，即訓(xùn)練模型時低分辨率圖像X及高分辨率圖像Y尺寸為64×64。使用L1 型損失函數(shù)，初始學(xué)習(xí)率設(shè)置為1E-4，優(yōu)化器在SGD 基礎(chǔ)上使用指數(shù)衰減學(xué)習(xí)率。

對于合成配對數(shù)據(jù)，采用有監(jiān)督的SR 方法的訓(xùn)練方式。使用配對數(shù)據(jù)集時，損失函數(shù)式（2）中的指示函數(shù)1SP(xi)等于1。使用未配對數(shù)據(jù)時，損失函數(shù)式（2）中1SP(xi)等于0。對于每個迭代，分別從數(shù)據(jù)集中取樣m對未配對的真實世界數(shù)據(jù)和n對配對合成數(shù)據(jù)，將未配對數(shù)據(jù)的比例定義為ρ=m/(m+n)。

（3）測試設(shè)置。在3個基準(zhǔn)數(shù)據(jù)集上比較了多個方法的效果，包括SET5[20]、SET14[21]和MANGA109[22]。模型結(jié)果測試使用每個測試數(shù)據(jù)集的所有圖像。其中SET5有圖像5 幅，SET14 有圖像14 幅，MANGA109 有圖像109幅。采用了峰值信噪比（peak signal-to-noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity，SSIM）作為評價指標(biāo)。

2.2 與先進(jìn)方法的比較

2.2.1 主觀質(zhì)量比較

比較提出的方法與最先進(jìn)的SR 方法的主觀評價。從圖4可以看出，Bicubic為下采樣后的圖像，相比于HR圖像，SRCNN算法的紋理細(xì)節(jié)重建效果較差，重建結(jié)果紋理模糊且出現(xiàn)重疊，沒有重建出清晰的邊緣。SRGAN算法的重建結(jié)果相比SRCNN算法區(qū)域更清晰，但出現(xiàn)模糊邊緣和重影。RCAN 算法的重建結(jié)果和雙回歸算法重建結(jié)果相近。RCAN 算法和雙回歸算法的重建結(jié)果有豐富的紋理細(xì)節(jié)，且雙回歸算法邊緣更清晰，出現(xiàn)更少的重影和模糊。圖5 的對比結(jié)果表明：雙回歸算法重建的圖像擁有豐富的紋理細(xì)節(jié)和清晰邊緣，重建圖像出現(xiàn)更少的模糊和重影。表明提出的雙回歸網(wǎng)絡(luò)超分辨率算法具有良好的重建效果。

圖5 不同方法在測試集上4×SR重建效果對比Fig.5 Comparison of 4×SR reconstruction on test sets by different methods

2.2.2 客觀質(zhì)量比較

比較提出的方法與先進(jìn)的SR 方法的數(shù)據(jù)對比結(jié)果。在此比較了多種方法在4×SR 下的PSNR 和SSIM值，比較結(jié)果如表1所示。

表1 與先進(jìn)的4×SR算法的性能比較Table 1 Performance comparison with advanced algorithms on 4×SR

從表1 來看，SRGAN 方法只有90 000 的參數(shù)量，可能是由于對抗生成網(wǎng)絡(luò)在參數(shù)量方面的優(yōu)越性；DBPN、RCAN和SAN的參數(shù)量都在16 000 000左右，而本文提出的模型因為使用了傅里葉變換，使用了相比于其他模型更少的網(wǎng)絡(luò)層數(shù)使得模型的參數(shù)量只有10 000 000。通過表1 可以看出：本文提出的雙回歸模型雖然只有大約10 000 000的參數(shù)，卻產(chǎn)生了更好的性能，表明了本文所提出的雙回歸方案的優(yōu)越性。

通過表2可以發(fā)現(xiàn)，在測試集Set5和Set14上，ESPCN方法的測試時間要快得多，可能是因為該方法模型深度相對較少；SAN 比ESPCN、SEGAN 慢很多可能是因為SAN方法網(wǎng)絡(luò)層數(shù)較深；本文方法要比SRGAN快1 s左右，比SAN快2 s多，表明本文方法的優(yōu)越性。

表2 不同超分辨率重建方法4×SR測試時間對比Table 2 Comparison of testing time for eachsuper-resolution reconstruction method on 4×SR s

2.3 消融實驗

為了驗證對偶回歸網(wǎng)絡(luò)對原始回歸的約束作用，去除雙回歸模型的對偶下采樣部分，只使用原始回歸網(wǎng)絡(luò)進(jìn)行訓(xùn)練。以PSNR作為評價指標(biāo)，在測試數(shù)據(jù)集Set5、Set14、Managa109上與雙回歸方法進(jìn)行比較，表3為4×SR的結(jié)果。

表3 加入對偶回歸對4×SR的影響Table 3 Effect of adding dual regression on 4×SR

結(jié)合表1、表3的對比結(jié)果可以看出：在去除對偶回歸部分時，模型在Set5 測試集上擁有和SAN 方法相近的性能且優(yōu)于其他方法；在測試集Set14上，模型優(yōu)于大多數(shù)方法，SAN方法表現(xiàn)最優(yōu)；在測試集Managa109上，模型表現(xiàn)優(yōu)于其他方法1 dB 左右，但SAN 最優(yōu)。加入對偶回歸之后，相比于沒有加入對偶回歸時，在測試集Set5、Set14 和Managa109 上性能均有提升。在Set5 上，本文優(yōu)于所有對比方法；在Set14上，SAN方法有最好的重建性能，但本文的雙回歸方法只比SAN 方法低0.05 dB；在Managa109 上，本文的雙回歸方法擁有最好的性能且優(yōu)于其他方法0.7 dB以上。

對比結(jié)果表明，配備了雙回歸方案的模型相比沒有配備對偶回歸的模型在所有測試數(shù)據(jù)集上都有更好的性能。說明通過引入額外的約束來減少映射函數(shù)的空間的方案是有效的，可以幫助改善HR圖像的重建質(zhì)量。

為了評估模型對未配對數(shù)據(jù)的自適應(yīng)性能，比較了4×SR時不同方法采用Nearest（最鄰近插值）和BD（bicubic degradation，雙線性三次插值）下采樣方法的PSRN 和SSIM 值。從表4 中可以看出，模型在所有數(shù)據(jù)集上的性能優(yōu)于有監(jiān)督方法。

表4 模型對不同下采樣方法圖像的自適應(yīng)性能Table 4 Adaptive performance of model to images of different downsampling methods

2.4 λ 對模型的影響

λ控制雙回歸網(wǎng)絡(luò)中原始回歸網(wǎng)絡(luò)和對偶回歸網(wǎng)絡(luò)的權(quán)重。對表5 可以看出，在雙回歸網(wǎng)絡(luò)上，當(dāng)λ從0.001增加到0.1時，網(wǎng)絡(luò)的對偶回歸損失逐漸變得越來越重要。進(jìn)一步將λ增加到1或10，對偶回歸損失將壓倒原始回歸損失，最終阻礙模型的性能。為了在原始回歸和對偶回歸之間得到良好的權(quán)衡，在具體實踐中將其設(shè)置為λ=0.1。

表5 超參數(shù)λ 對4×SR的影響（測試集：Set5）Table 5 Effect of hyperparameter λ on 4×SR（Test set：Set5）

2.5 ρ 對自適應(yīng)算法的影響

在引入對偶回歸后，因為模型可以不依賴于HR 圖像，所以模型可以使用監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)或無監(jiān)督方式對模型進(jìn)行訓(xùn)練?？紤]到未配對數(shù)據(jù)主導(dǎo)實際應(yīng)用中的超分辨率任務(wù)，本文使用半監(jiān)督學(xué)習(xí)方法訓(xùn)練模型，同時對比了使用無監(jiān)督和監(jiān)督學(xué)習(xí)方式訓(xùn)練的模型在測試集Set5上的性能表現(xiàn)。

使用ρ表示未配對數(shù)據(jù)的比例，ρ=m/(m+n)，其中m為未配對數(shù)據(jù)數(shù)量，n為配對數(shù)據(jù)數(shù)量。圖6中顯示了當(dāng)改變未配對數(shù)據(jù)的數(shù)據(jù)比率ρ時相應(yīng)的訓(xùn)練曲線。

圖6 不同數(shù)據(jù)比例下模型的性能Fig.6 Performance of model at different data scales

通過圖6 可以看出：當(dāng)ρ為0 即使用監(jiān)督訓(xùn)練方式時，雙回歸方案的性能隨著迭代次數(shù)的增加無明顯變化，表明雙回歸方案不適合使用監(jiān)督學(xué)習(xí)方式訓(xùn)練。當(dāng)ρ為100%即無監(jiān)督訓(xùn)練方式時，雙回歸方案的性能隨著迭代次數(shù)的增加逐漸下降，表明雙回歸方案不適合監(jiān)督學(xué)習(xí)方式訓(xùn)練。因此本文使用半監(jiān)督學(xué)習(xí)方式訓(xùn)練模型。從圖6可以看出，當(dāng)設(shè)置ρ∈{30%,50%,70%}時，所得到的模型獲得更好的性能。在具體實驗中，本文設(shè)置ρ=30%以獲得最佳性能。

2.6 傅里葉變換的作用分析

為了分析在殘差結(jié)構(gòu)中引入傅里葉變換對模型提取高頻信息的提升作用。本文對比了在相同網(wǎng)絡(luò)架構(gòu)下，殘差結(jié)構(gòu)引入傅里葉變換與不引入傅里葉變換時殘差塊對高頻細(xì)節(jié)的提取能力。

從圖7和圖8可以看出，在相同的網(wǎng)絡(luò)深度上，使用傅里葉變換的殘差塊輸出的特征相比于沒有傅里葉變換的殘差塊擁有更豐富的紋理細(xì)節(jié)特征。而且在未加入傅里葉而變換時，隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)會逐漸丟失高頻信息，導(dǎo)致特征融合的結(jié)果缺乏一部分紋理的信息，而加入傅里葉變換時網(wǎng)絡(luò)中的高頻信息可以在網(wǎng)絡(luò)層數(shù)加深時保留更多的高頻信息，特征融合結(jié)果可以表明該方法提取和傳遞高頻信息的有效性。

圖7 殘差塊中未加入傅里葉變換的特征Fig.7 Features without Fourier transform

圖8 殘差塊中加入傅里葉變換的特征Fig.8 Features with Fourier transform

3 總結(jié)

提出一種使用配對數(shù)據(jù)和未配對數(shù)據(jù)共同訓(xùn)練的雙回歸網(wǎng)絡(luò)方案。對于配對數(shù)據(jù)，通過重構(gòu)LR 圖像對其引入一個額外的約束，以減少可能的映射函數(shù)的空間，可以顯著提高SR 模型的性能。使用未配對數(shù)據(jù)訓(xùn)練解除了特定方法配對數(shù)據(jù)對模型的限制，使模型更好地適用于實際應(yīng)用中的超分辨率任務(wù)。在配對和非配對數(shù)據(jù)上的實驗表明，提出的方法對圖像紋理細(xì)節(jié)重建具有良好的效果，且比同類方法擁有更少的參數(shù)量。