融合學(xué)習(xí)算法的單幀圖像超分辨率復(fù)原

黃全亮，劉水清，孫金海，陳 柯

融合學(xué)習(xí)算法的單幀圖像超分辨率復(fù)原

黃全亮1，劉水清1，孫金海2，陳 柯1

1.華中科技大學(xué) 電子與信息工程系，武漢 430074

2.電磁散射重點(diǎn)實驗室，北京 100854

1 引言

圖像超分辨率復(fù)原的目標(biāo)是通過軟件方法突破系統(tǒng)的成像極限，對低分辨率的降質(zhì)圖像進(jìn)行復(fù)原處理，將它重建成趨向于理想的圖像。該技術(shù)最初即是以單張影像復(fù)原的概念提出的[1]。之后多幀融合技術(shù)被引入該領(lǐng)域，也相繼提出了多種算法。常見的超分辨率復(fù)原方法可分為頻域法和空域法兩種[2]，后者因為能夠方便地引入先驗知識成為當(dāng)前研究的主流。經(jīng)典空域法[2-3]又可按其原理分為集合論方法（如凸集投影法）與概率方法（如極大似然、最大后驗概率法）等。

對于一些實時性較高的運(yùn)用（如遙感成像、目標(biāo)探測等）仍要對單幀圖像進(jìn)行復(fù)原處理，又由于成像原理和設(shè)備條件的限制，所得圖像的降質(zhì)程度很高，這對算法的要求更加苛刻，相應(yīng)的空域復(fù)原方法對于觀測模型的要求也更為嚴(yán)格。

在這一應(yīng)用背景下，首先面臨的是嚴(yán)重的病態(tài)問題，解決該問題的思想稱為正則化思想。1973年，Hunt將正則化方法應(yīng)用于解決圖像復(fù)原的問題。文獻(xiàn)[4]提出加權(quán)空間復(fù)原算法，文獻(xiàn)[5-6]提出非線性正則迭代法以及正則迭代圖像復(fù)原法，這些方法均通過解非線性優(yōu)化問題來減少圖像的邊緣模糊并保護(hù)重要細(xì)節(jié)信息。選取何種正則化方法，并利用圖像的局部特征，加入動態(tài)自適應(yīng)處理，是問題的關(guān)鍵。此外，在一些運(yùn)用中可以預(yù)先得到與待處理圖像相關(guān)的高分辨率基準(zhǔn)圖像作為參考，相應(yīng)的學(xué)習(xí)和訓(xùn)練算法常被引入處理流程中作為補(bǔ)充。早期的學(xué)習(xí)算法從圖像類推技術(shù)[7]中演化而來，并很自然地引入了金字塔多分辨率模型[8]。此類方法適合處理單幀圖像，但普遍存在對訓(xùn)練集相關(guān)性要求高，和搜索速度慢等問題。Freeman等人提出了一種基于例子的超分辨率方法[9]，一定程度上解決了上述問題，使學(xué)習(xí)算法趨于成熟，并開始常見于實際應(yīng)用中。針對具體的復(fù)原問題，還需要對算法性能進(jìn)行優(yōu)化。綜合上述分析，可整合出一個有針對性的單幀圖像超分辨率復(fù)原流程。

2 算法分析

2.1 圖像觀測模型

考慮單幀圖像，若圖像的退化過程是線性移不變的，高分辨率（HR）圖像和低分辨率（LR）圖像之間的正向模型的矩陣形式可表示為：

其中 y為退化圖像，x為待復(fù)原高分辨率圖像，n為加性噪聲的行排矢量。

H為圖像的退化矩陣，描述圖像的降質(zhì)原因和退化過程，可以看作幾個模糊算子和欠采樣算子的相乘，其對應(yīng)的系統(tǒng)函數(shù)h稱為退化函數(shù)或降質(zhì)函數(shù)。對于二維圖像來說，退化函數(shù)h可以看作對圖中每個像素點(diǎn)的擴(kuò)散行為的描述，因此也被稱作點(diǎn)擴(kuò)散函數(shù)（PSF）。估計出準(zhǔn)確的PSF是圖像復(fù)原的前提。不同復(fù)原問題中的PSF是具有多樣性的，但在一般情況下，它的類型卻又是有限的。構(gòu)成退化函數(shù)的常見模糊算子包括高斯模糊、均勻散焦模糊、運(yùn)動模糊等。對于實際的成像系統(tǒng)，還可以采用對一系列標(biāo)準(zhǔn)測試圖像進(jìn)行成像實驗的方法，得到其退化函數(shù)。

2.2 自適應(yīng)正則化方法

從觀測模型可見，圖像復(fù)原作為一個逆過程是一個病態(tài)（不適定）問題。使病態(tài)反問題的求逆過程穩(wěn)定而采用的方法稱為正則化方法。單幀圖像復(fù)原的病態(tài)問題尤為嚴(yán)重，因而正則化處理是必要的。

正則化方法的基本思想是利用關(guān)于解的先驗知識，構(gòu)造附加約束把不適定問題轉(zhuǎn)化為適定問題。通常需要求解如下表達(dá)形式的目標(biāo)泛函的極小值：

其中，d(x)=‖y-Hx‖2為數(shù)據(jù)擬合項，p(x)為附加的正則項，α為正則化參數(shù)，起平衡前二者的作用。正則項一般用來衡量信號的某種奇異性，對未知圖像 x形成一個約束。通常：

其中R是約束算子，它根據(jù)圖像的先驗知識對解進(jìn)行約束。這種思想體現(xiàn)出圖像重建問題的本質(zhì)就是在充分?jǐn)M合觀測數(shù)據(jù)的前提下，使某種奇異性度量最小，從而尋找理想的解x。因此如何選取約束算子正是區(qū)分不同正則化方法的標(biāo)志。

當(dāng)R為常數(shù)時，式（2）為簡單的Tikhonov正則化。為了確保問題的連續(xù)和解唯一性，需要用到相對復(fù)雜的基于一階微分或二階微分的高通濾波算子。因此，本文采用階數(shù)為2的Phillips正則化，它能更好地抑制近似解中的高頻振蕩噪聲。其對應(yīng)的泛函如式（4）。

通過與二階差分算子C（也就是Laplace算子）卷積來計算圖像x的二階差分，代替x的二階導(dǎo)數(shù)，即約束算子R=C。計算過程中，采用空間域迭代下降算法求解復(fù)原圖像。迭代形式和正則化參數(shù)動態(tài)更新形式分別如式（5）（6）：

為保證目標(biāo)函數(shù)的凸性和收斂性，須有0＜α＜1。式（6）定義的正則化參數(shù)能最小化噪聲能量，步長修正因子取經(jīng)驗值15。迭代終止條件如式（7），當(dāng)兩次迭代結(jié)果的能量差值相對于迭代結(jié)果足夠小時，認(rèn)為已穩(wěn)定收斂，取迭代結(jié)果 f。

當(dāng)正則化方法針對全局進(jìn)行相同的約束處理時，稱該方法為全局性方法，它的不足在于圖像的復(fù)原結(jié)果不能在保持邊緣和平滑噪聲之間做到平衡。因此需要提出一種自適應(yīng)正則化方法，根據(jù)圖像的局部紋理變化對復(fù)原和平滑加以自適應(yīng)性控制[10-11]，自適應(yīng)算法的實現(xiàn)仍用到迭代計算，迭代形式（5）變?yōu)槭剑?）：

其中，矩陣W 的元素為圖像對應(yīng)局部正則化參數(shù)的權(quán)系數(shù)，稱為權(quán)系數(shù)矩陣。它的取值由所對應(yīng)的圖像局部特性決定，并隨著迭代過程按式（9）動態(tài)更新。

2.3 學(xué)習(xí)搜索算法

基于學(xué)習(xí)的超分辨率方法是相對于傳統(tǒng)的基于重構(gòu)的方法提出的，它彌補(bǔ)了后者過多依賴于精確模型的不足，也不似傳統(tǒng)復(fù)原方法在理論上存在分辨率提升的上限[8，12]。這類方法通過一系列已有的高分辨率基準(zhǔn)圖像形成訓(xùn)練集合作為外部信息源，以某種搜索和匹配機(jī)制將其中的信息添加到待復(fù)原的圖像中，從而實現(xiàn)分辨率的提高。最常用的信息匹配映射方式是將圖像分塊處理，再依照某個距離判據(jù)為每個觀測圖像塊搜索最接近的訓(xùn)練圖像塊，最后從對應(yīng)的基準(zhǔn)圖像塊中提取細(xì)節(jié)作為補(bǔ)充。

學(xué)習(xí)算法由于有外部經(jīng)驗數(shù)據(jù)的支持，通過學(xué)習(xí)添加的圖像細(xì)節(jié)可作為額外的補(bǔ)充和修復(fù)，且有時更接近真實。基準(zhǔn)圖的相關(guān)性和搜索的效率是制約這一算法的主要問題，在下文的分析中還可以看到，學(xué)習(xí)過程中類似于空域法中病態(tài)現(xiàn)象的出現(xiàn)，還需針對這些問題引入相應(yīng)的優(yōu)化方法。

首先是建立精簡有效的訓(xùn)練集，盡量通過預(yù)處理減少搜索過程的復(fù)雜度，提高訓(xùn)練集的適用性。本文從訓(xùn)練圖像庫中產(chǎn)生成對的帶通圖像和高通圖像對作為訓(xùn)練和學(xué)習(xí)的依據(jù)。對訓(xùn)練圖像庫中的每一幀高分辨率圖像進(jìn)行降質(zhì)處理，降質(zhì)的類型與復(fù)原處理中想要去除的相一致，然后進(jìn)行降采樣處理生成低分辨率圖像。再對其進(jìn)行三次樣條插值，生成一幅具有所需像素數(shù)但缺乏高分辨率細(xì)節(jié)的圖像。在訓(xùn)練過程中，有價值的信息為插值圖像和原始高分辨率圖像間的差值，即后者獨(dú)有的高頻信息，以及差值信息與低分辨率插值圖像的對應(yīng)關(guān)系，其他信息可以丟棄。然后對低分辨率圖像和高頻信息圖像進(jìn)行分塊，大小分別為5×5和7×7，并按照其對應(yīng)關(guān)系進(jìn)行存儲，至此訓(xùn)練集建立完成。

然后是搜索過程的優(yōu)化，本文采用最先最優(yōu)（best first）原則在訓(xùn)練集中進(jìn)行最速下降搜索，以式（10）所示歐氏距離函數(shù)評判最佳匹配。

當(dāng)基準(zhǔn)圖相關(guān)性不強(qiáng)時，在搜索過程中還會出現(xiàn)一種情況：對于某一給定的低分辨率輸入圖像塊進(jìn)行匹配搜索，如果從訓(xùn)練集合中取多個最近似的樣本圖像塊，則其中每一個都和輸入塊非常相似，但它們所對應(yīng)的高分辨率塊卻又是截然不同的。

這一現(xiàn)象與上文中描述的反問題的病態(tài)性十分相似，它說明僅憑局部塊自身并不足以預(yù)估可能的高分辨率細(xì)節(jié)信息，由此想到考慮圖像塊的空間鄰域關(guān)系，對搜索過程加以約束。

在圖像分塊時，如圖1所示，使低分辨塊的邊緣與其鄰域像素形成重疊（重疊1個像素，對應(yīng)的高分辨率塊重疊2個像素），在進(jìn)行搜索時，預(yù)測原則如下：對每個低頻輸入圖像塊，首先在訓(xùn)練集中尋找與其最相似的多個低頻圖像塊；然后，要求高頻預(yù)測圖像塊在重疊部分與其鄰域盡量保持一致，即保證高頻預(yù)測塊與相鄰塊（鄰域數(shù)據(jù)）具有局部兼容性和平滑性。

圖1 圖像塊之間的重疊關(guān)系

因此，搜索向量由兩部分拼接而成：低頻圖像塊內(nèi)的像素與實時預(yù)測階段中高頻圖像塊鄰域重疊區(qū)域內(nèi)的像素。前一步預(yù)測的高頻數(shù)據(jù)（作為左、上邊框）用來輔助選擇最佳匹配對。對訓(xùn)練數(shù)據(jù)庫要做相同處理，與搜索向量形式相匹配。

引入?yún)?shù)γ控制低分辨率圖像塊的數(shù)據(jù)匹配和高分辨率圖像塊重疊部分的鄰域兼容之間的平衡關(guān)系（M與N為圖像塊尺寸，分別取為7、5），其中系數(shù)0.25為經(jīng)驗取值：

總結(jié)上述內(nèi)容，算法的學(xué)習(xí)過程如圖2所示，因為分塊之間有重疊，每得到一個輸入圖像塊，都在之前已恢復(fù)的高頻信息中提取左上邊框，合成搜索向量，再與經(jīng)過相同處理的訓(xùn)練集進(jìn)行匹配，得到當(dāng)前輸入圖像塊的最優(yōu)高頻信息輸出。

圖2 學(xué)習(xí)算法中的學(xué)習(xí)過程示意圖

2.4 算法整合

綜合上述算法，提出如圖3所示超分辨率方法流程。圖中第一行描述2.1節(jié)所述的降質(zhì)過程，余下部分為復(fù)原的處理過程。

圖3 降質(zhì)過程及復(fù)原算法流程圖

根據(jù)觀測模型的線性移不變性假設(shè)，超分辨率復(fù)原處理在去模糊和升采樣上的順序可以是任意的，只是模糊算子應(yīng)根據(jù)采樣算子進(jìn)行相應(yīng)的調(diào)整。由于復(fù)原問題所需要的放大系數(shù)是確定的，而且學(xué)習(xí)算法擬合高頻信息的效果也依賴于觀測圖像的質(zhì)量，因此，對降質(zhì)的低分辨率圖像先采用自適應(yīng)正則化方法去模糊，再利用學(xué)習(xí)算法插值放大，這樣的算法流程更為合理。

自適應(yīng)正則化算法與學(xué)習(xí)算法的流程如2.2節(jié)與2.3節(jié)所述?？赏ㄟ^仿真實驗對已知原始高分辨率圖像的降質(zhì)圖像進(jìn)行重建，以檢驗該流程的復(fù)原效果。

3 實驗結(jié)果

3.1 自適應(yīng)正則化仿真

如圖4所示，對一幅原始場景光學(xué)圖像進(jìn)行強(qiáng)度與半徑均為3的高斯模糊，及半徑為2的散焦模糊，得到降質(zhì)圖像，再對降質(zhì)圖像用正則化方法和自適應(yīng)正則化方法進(jìn)行復(fù)原。通過峰值信噪比（PSNR）來量化復(fù)原效果，其中N為像素點(diǎn)數(shù)：

圖4 正則化方法仿真結(jié)果

由仿真結(jié)果可見，通過全局Phillips正則化復(fù)原的圖像質(zhì)量在視覺品質(zhì)和PSNR上均有所提升，但是由于算法不能有效區(qū)分圖像邊緣和細(xì)節(jié)，復(fù)原結(jié)果中的局部細(xì)節(jié)恢復(fù)較差，且在邊緣處有輕微振鈴效應(yīng)。考慮圖像的局部特征，采用自適應(yīng)正則化方法復(fù)原的圖像質(zhì)量明顯提升，局部細(xì)節(jié)得到很好的恢復(fù)，但是復(fù)原結(jié)果中由于迭代中的卷積過程，仍然出現(xiàn)了一些寄生波紋失真。因此，為進(jìn)一步改善超分辨率效果，在下一步插值放大步驟中引入學(xué)習(xí)算法修復(fù)更多圖像細(xì)節(jié)。

3.2 學(xué)習(xí)算法仿真

按照2.3節(jié)所述，對選用的高分辨率基準(zhǔn)圖像進(jìn)行濾波和分塊存儲處理，分別建立人臉圖像訓(xùn)練集（包含7 889個圖像塊）和建筑圖像訓(xùn)練集（包含28 046個圖像塊）。

首先為驗證改進(jìn)的學(xué)習(xí)算法的有效性，本文選用具有代表性的小波特征金字塔局部最優(yōu)匹配（OLM）算法[3]作為對照，由于該算法對基準(zhǔn)圖相關(guān)性要求較高，搜索速度較慢，因此通過對算法要求較低的人臉圖像超分辨率仿真進(jìn)行分析，觀察超分辨率算法能否合理地從訓(xùn)練集中選取合適的修正信息對低分辨率觀測圖像進(jìn)行復(fù)原。

實驗過程中先將一高分辨率圖像模糊縮放處理作為觀測圖像，然后經(jīng)由學(xué)習(xí)算法還原到原始分辨率。

由仿真結(jié)果可見，基于OLM算法對圖像補(bǔ)充的信息較多，但補(bǔ)充信息的正確性卻嚴(yán)重依賴于訓(xùn)練集與觀測圖像的相關(guān)性，否則復(fù)原圖中修復(fù)的細(xì)節(jié)將產(chǎn)生過擬合現(xiàn)象，甚至出現(xiàn)類似脈沖噪聲的偽像點(diǎn)。而改進(jìn)的學(xué)習(xí)方法對圖像補(bǔ)充的信息相對較少，但是對于基準(zhǔn)圖相關(guān)性的要求很低，同時又能通過適當(dāng)?shù)乃阉鞣椒ㄅc預(yù)測原則得到接近原圖的正確修正效果，在圖像模糊程度不高時，過擬合現(xiàn)象不明顯，使得算法更為穩(wěn)健。

3.3 綜合實驗分析

將上述兩步整合到2.4所述流程中后，在降質(zhì)嚴(yán)重的情況下，對單幀低分辨率觀測圖像進(jìn)行復(fù)原處理，并與經(jīng)典方法的處理結(jié)果對比。

如圖6所示，對一幀高度降質(zhì)（降采樣因子0.5，高斯模糊半徑為3，強(qiáng)度為3，均勻散焦模糊半徑為3）的低分辨率建筑圖像，用本文方法進(jìn)行超分辨率處理，并與典型的凸集投影（POCS）算法[13]和極大似然（ML）算法（Lucy-Richardson濾波[14]）進(jìn)行比較。其中PSNR根據(jù)降質(zhì)前的原始高分辨率圖像計算得到。從結(jié)果可見，自適應(yīng)正則化方法對圖像質(zhì)量有較大提高，而寄生波紋和細(xì)節(jié)缺失在學(xué)習(xí)算法中得到一定的修復(fù)，同時，本文方法在單幀觀測圖像嚴(yán)重降質(zhì)的情況下，與其他常用算法相比仍保持穩(wěn)健有效。

4 結(jié)束語

圖5 單幀人臉圖像學(xué)習(xí)算法超分辨率結(jié)果

圖6 單幀建筑圖像超分辨率復(fù)原結(jié)果對比

在去模糊復(fù)原過程中，根據(jù)觀測圖像的局部特征，對Phillips正則化過程進(jìn)行自適應(yīng)控制，有效保障了迭代復(fù)原的效果；在插值放大過程中，利用學(xué)習(xí)算法從訓(xùn)練集中提取信息修復(fù)圖像的高頻細(xì)節(jié)，并從建立訓(xùn)練集和預(yù)測搜索過程等方面，使算法的基準(zhǔn)圖相關(guān)性需求和搜索效率得到了優(yōu)化，學(xué)習(xí)的細(xì)節(jié)信息更為準(zhǔn)確。實驗結(jié)果表明，該超分辨率復(fù)原流程中，兩個步驟的復(fù)原效果都得到了提升。正則化方法避免了高度模糊的圖像在學(xué)習(xí)過程中的過擬合現(xiàn)象，同時，算法修復(fù)的高頻信息結(jié)合了先驗知識和外部參考的優(yōu)勢，在處理單幀高度降質(zhì)的圖像時依然保持了理想的復(fù)原效果。如何在算法效率和計算成本之間做到平衡，還需進(jìn)一步研究。

[1]Harris J L.Diffraction resolving power[J].Journal of the Opt Soc of America，1964，54（7）：931-936.

[2]Park S C，Park M K，Kang M G.Super-resolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine，2003，20（3）：21-36.

[3]張艷.空間域超分辨率圖像重建技術(shù)研究[D].鄭州：解放軍信息工程大學(xué)，2007.

[4]Lagendijk R L，Biemond J.Regularized iterative image restoration with ringing reduction[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1988，36（12）：1874-1888.

[5]Kang M G，Katsaggelos A K.General choice of the regularization functionalin fegularized image restoration[J].IEEE Transactions on Image Processing，1995，4（5）：594-602.

[6]Kang M G，Katsaggelos A K，Ronald W S.A regularized iterative image restoration algorithm[J].IEEE Transactions on Signal Processing，1991，39（4）：914-929.

[7]古元亭，吳恩華.基于圖像類推的超分辨技術(shù)[J].軟件學(xué)報，2008，19（4）：851-856.

[8]Baker S，Kanade T.Limits on super-resolution and how to break them[J].Computer Vision and Patten Recognition，2000，9（2）：372-379.

[9]Freeman W T，Jones T R，Pasztor E C.Example-based superresolution[J].IEEE Computer Graphics and Applications，2002，22（2）：56-65.

[10]王艷，胡章芳.圖像復(fù)原中正則化參數(shù)的自適應(yīng)選擇方法[J].重慶郵電大學(xué)學(xué)報：自然科學(xué)版，2007，19（6）：745-747.

[11]王晶，彭國華.空域中基于正則化的自適應(yīng)超分辨率圖像復(fù)原[J].計算機(jī)工程與設(shè)計，2008，29（12）：3194-3196.

[12]吳艷，陳凡勝，陳桂林.圖像復(fù)原與超分辨率重構(gòu)基本適用條件及提高空間分辨率上限的研究[J].紅外與毫米波學(xué)報，2010，29（5）：351-356.

[13]胡飛，張瑞.一種改善被動毫米波重建圖像質(zhì)量的方[J].信號處理，2009，25（12）：1962-1966.

[14]孔祥龍，李玉同，遠(yuǎn)曉輝，等.Lucy-Richardson算法用于針孔圖像的恢復(fù)[J].物理學(xué)報，2006，55（5）：2365-2370.

HUANG Quanliang1,LIU Shuiqing1,SUN Jinhai2,CHEN Ke1

1.Department of Electronics and Information Engineering,Huazhong University of Science and Technology,Wuhan 430074,China
2.Science and Technology on Electromagnetic Scattering Laboratory,Beijing 100854,China

In order to reconstruct a high-resolution image from single highly blurred image,a super-resolution reconstruction method combined with adaptive regularization and learning algorithm is proposed.Based on local characteristics,the dynamic adaptive control progress of reconstruction method is achieved.Train set,prediction principle and searching progress of learning algorithm is optimized to depress the relativity of example image and improve the searching efficiency.Experimental results demonstrate the availability of the method by steps,and the improvement of reconstruction result.

image reconstruction;super-resolution;regularization;learning algorithm

為從高度降質(zhì)的單幀圖像中重建出高分辨率圖像，提出了一個結(jié)合自適應(yīng)正則化與學(xué)習(xí)算法的超分辨率復(fù)原方法。該方法基于圖像的局部特征，實現(xiàn)了正則化方法動態(tài)自適應(yīng)控制過程，優(yōu)化了學(xué)習(xí)算法中的訓(xùn)練集、預(yù)測原則和搜索過程，以降低基準(zhǔn)圖相關(guān)性要求、提高搜索效率。仿真實驗分步論證了該方法的有效性，以及對復(fù)原效果的提升。

圖像復(fù)原；超分辨率；正則化；學(xué)習(xí)算法

A

TP391

10.3778/j.issn.1002-8331.1208-0107

HUANG Quanliang,LIU Shuiqing,SUN Jinhai,et al.Single image super-resolution combined with learning algorithm. Computer Engineering and Applications,2013,49（23）：186-190.

國家自然科學(xué)基金（No.60705018）。

黃全亮（1973—），男，博士后，副教授，研究領(lǐng)域為微波遙感、圖像處理、信息融合；劉水清（1987—），男，碩士研究生；孫金海（1974—），男，博士，高級工程師；陳柯（1977—），男，博士，副教授。E-mail：lsq_21@126.com

2012-08-09

2012-11-08

1002-8331（2013）23-0186-05

CNKI出版日期：2012-11-28 http://www.cnki.net/kcms/detail/11.2127.TP.20121128.1453.014.html