一種改進(jìn)的基于KRR的單幀圖像超分辨率重建算法?

史國(guó)川 龔連友 曹宇劍

一種改進(jìn)的基于KRR的單幀圖像超分辨率重建算法?

史國(guó)川 龔連友 曹宇劍

（陸軍軍官學(xué)院 合肥 230031）

為解決圖像超分辨率重建結(jié)果中的圖像質(zhì)量問題，論文提出了一種改進(jìn)的基于核嶺回歸（Kernel Ridge Regres?sion，KRR）的單幀圖像超分辨率重建算法。該算法利用核嶺回歸算法估計(jì)潛在的高分辨率圖像中高頻細(xì)節(jié)信息，然后將核匹配追蹤算法與梯度下降算法相結(jié)合，得到一種基于稀疏表示的對(duì)KRR進(jìn)行求解的方法，再使用一個(gè)通用的圖像先驗(yàn)?zāi)Ｐ蛯?duì)回歸結(jié)果進(jìn)行處理，用以消除正則化過程中產(chǎn)生的振鈴，進(jìn)而得到最終的高分辨率重建圖像。實(shí)驗(yàn)結(jié)果證明，該方法在時(shí)間復(fù)雜度保持中等水平的同時(shí)具有良好的重建效果。

超分辨率重建；KRR算法；稀疏表示；圖像先驗(yàn)?zāi)Ｐ?/p>

AbstractTo solve the problem of image quality in image super resolution reconstruction，this paper proposes an improved al?gorithm of single image super resolution reconstruction based on Kernel Ridge Regression（KRR）.The algorithm uses KRR estima?tion of high-frequency information of potential high resolution image，then the kernel matching pursuit algorithm and gradient de?scent algorithm are combined to obtain a sparse representation based method for solving KRR.To solve the problem of ringing arti?factsoccurring due to the regularization effect，the regression results are post-processed using a prior model of a generic image class，then gets the final high resolution reconstruction image.Experimental results demonstrate that the method has good reconstruction quality in the condition of keeping the time complexity of medium level.

Key Wordssuper-resolution，KRR algorithm，sparse representation，prior model ofimage

Class NumberTP391

1 引言

單幀圖像的超分辨率重建是指將一幀給定的低分辨率圖像放大一定倍數(shù)，形成一幀高分辨率圖像的過程。一般情況下，相同的低分辨率圖像可以由多個(gè)高分辨率圖像產(chǎn)生，因此圖像超分辨率重建是一個(gè)典型的病態(tài)問題［1］。在現(xiàn)實(shí)中，可以利用圖像先驗(yàn)來解決該問題，目前主流的獲取圖像先驗(yàn)信息的有兩種方法，一種是從定義在圖像類上能量函數(shù)中顯性獲得；另一種是從以實(shí)例為基礎(chǔ)的超分辨率圖像中隱性獲得。

現(xiàn)有的基于實(shí)例的超分辨率重建算法通?？梢苑譃橛?xùn)練和重建兩個(gè)階段進(jìn)行描述［2～3，15］。在訓(xùn)練階段，對(duì)低分辨率圖像塊數(shù)據(jù)集進(jìn)行訓(xùn)練，得到與之對(duì)應(yīng)的高分辨率圖像塊數(shù)據(jù)集；在重建階段，將每個(gè)給定的低分辨率圖像塊與已經(jīng)存儲(chǔ)的高分辨率圖像塊進(jìn)行比較，并選擇與低分辨率圖像塊距離最近的高分辨率圖像塊作為結(jié)果進(jìn)行輸出［6］。在文獻(xiàn)［2］中，F(xiàn)reeman等提出了一種基于插值的圖像超分辨率算法，他們通過一定的比例對(duì)輸入的低分辨率圖像進(jìn)行圖像插值，據(jù)此對(duì)丟失的高頻細(xì)節(jié)進(jìn)行估計(jì)，最終得到一個(gè)重建結(jié)果。

圖像的超分辨率重建過程可以利用基于低頻圖像塊和與之對(duì)應(yīng)的高頻圖像塊的神經(jīng)網(wǎng)絡(luò)算法來對(duì)其進(jìn)行描述。盡管該方法和其他以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的方法的表現(xiàn)已經(jīng)比較出色，但是因?yàn)槠浯嬖诘倪^擬合問題，如果將圖像超分辨率重建當(dāng)作一個(gè)回歸問題來看待，就可以找到一種從低分辨率圖像塊集合X到高分辨率圖像塊集合Y中的對(duì)應(yīng)關(guān)系，這使得超分辨率圖像重建仍然有很大的提升空間。眾所周知，在機(jī)器學(xué)習(xí)領(lǐng)域，基于神經(jīng)網(wǎng)絡(luò)的估計(jì)算法普遍存在過擬合問題，在實(shí)際操作中，一般可以得到一個(gè)可以完美解釋訓(xùn)練數(shù)據(jù)的函數(shù)，但是它難以被推廣應(yīng)用于所有的未知數(shù)據(jù)中。同時(shí)由于函數(shù)的限制，導(dǎo)致需要在復(fù)雜圖像區(qū)域中進(jìn)行圖像的超分辨率重建操作，而利用正則化算法［11］的適應(yīng)性學(xué)習(xí)能力可以有效地改善基于神經(jīng)網(wǎng)絡(luò)的重建算法中存在的過擬合問題。

在基于Freeman等［2］研究的基礎(chǔ)框架之上，Kim等［7］提出了將估計(jì)圖像的高頻細(xì)節(jié)部分作為一個(gè)回歸問題進(jìn)行研究，并采用支持向量回歸（Sup?port Vector Regression，SVR）算法解決該問題。另外，Ni和Nguyen在頻域中使用SVR算法并提出將圖像的超分辨率重建視為一個(gè)核心學(xué)習(xí)問題。盡管利用SVR算法［4～5］對(duì)基于實(shí)例的算法性能具有很大提升，但是在構(gòu)建實(shí)際系統(tǒng)過程中，它仍然存在以下幾個(gè)問題：1）作為一個(gè)正則化框架，SVR側(cè)重于對(duì)銳化邊緣進(jìn)行平滑處理，且會(huì)在主要邊緣區(qū)域產(chǎn)生振鈴效應(yīng)。雖然這可以降低重構(gòu)過程中的平均誤差，但在視覺上是令人難以接受的；2）SVR會(huì)導(dǎo)致回歸函數(shù)在整個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)中被放大，使得在訓(xùn)練和測(cè)試過程中需要進(jìn)行大量的計(jì)算，增加了算法的時(shí)間復(fù)雜度。

目前的研究基本都是基于Kim等［7］的研究框架進(jìn)行拓展的。核嶺回歸算法（KRR）正是基于回歸的思想提出的。根據(jù)目前已發(fā)布的研究可知，SVR的最佳觀察點(diǎn)在接近于0處產(chǎn)生，SVR與KRR算法之間的唯一區(qū)別在于它們各自提出的損失函數(shù)的選擇不同，分別以L1和L2作為損失函數(shù)。KRR算法采用的L2損失函數(shù)，它不僅可以微分，同時(shí)還有利于進(jìn)行基于梯度的優(yōu)化。為了減少KRR算法的時(shí)間復(fù)雜度，在稀疏的基礎(chǔ)上結(jié)合該匹配追蹤算法（KMP）［13］和梯度下降法，可以在算法的時(shí)間復(fù)雜度和重建圖像的質(zhì)量之間取得一個(gè)較好的平衡點(diǎn)。SVR算法和KRR算法具有相同的正則化方式，因此在圖像的主要邊緣區(qū)域兩者均存在邊緣振蕩問題，該問題可以根據(jù)Tappen等［10］提出的在圖像結(jié)構(gòu)中利用先驗(yàn)信息的方法進(jìn)行解決。

2 基于KRR超分辨率重建算法的設(shè)計(jì)

首先，利用Freeman等［2］研究的系統(tǒng)框架，對(duì)一個(gè)給定的圖像進(jìn)行圖像的超分辨率重建過程中，根據(jù)一定的比例對(duì)給定的圖像進(jìn)行雙三次插值處理，進(jìn)而估算出原圖像丟失的高頻細(xì)節(jié)。接著，根據(jù)條件獨(dú)立性假設(shè)，給出與圖像高頻分量和低頻分量相對(duì)應(yīng)的中頻分量［2］，并通過基于拉普拉斯的雙三次插值（X）算法對(duì)原圖像的高頻分量（Y）進(jìn)行估計(jì)，然后將估計(jì)結(jié)果（Y）添加到雙三次插值計(jì)算過程中，從而得到最終的超分辨率圖像Z。

為了使重建過程中出現(xiàn)的回歸問題的復(fù)雜度保持在一個(gè)較低的水平，采用一種基于塊的方法，該方法在特定的位置NN(Y (x，y))上對(duì)Y的值進(jìn)行估算，估算過程在與 NN(Y (x，y))相對(duì)應(yīng)的位置NM(X (x，y))上基于X值進(jìn)行，而 NG(S (x，y)) 表示一個(gè)在圖像S中，以(x，y)為中心點(diǎn)，大小為G的正方形窗口。

在超分辨率重建階段，用一個(gè)大小為M的窗口對(duì)X進(jìn)行掃描，得到每個(gè)像素塊的回歸結(jié)果，記為N，而Z中的每個(gè)位置將出現(xiàn)一系列的備選像素塊（作為與它們鄰居重疊的像素塊），將它們進(jìn)行整合得到最終的估計(jì)值。選擇一組高分辨率圖像進(jìn)行模糊和重采樣（雙三次重采樣）處理，得到圖像回歸重建所需的訓(xùn)練圖像，由此構(gòu)成了一組高分辨率與低分辨率相對(duì)應(yīng)的圖像對(duì)，并從中隨機(jī)抽取訓(xùn)練所需的圖像塊對(duì)進(jìn)行訓(xùn)練。為提高訓(xùn)練效率，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行對(duì)比度與歸一化處理，即：在對(duì)訓(xùn)練集中的數(shù)據(jù)重建過程中，利用L1范式對(duì)輸入圖像塊進(jìn)行劃分，然后將輸入圖像塊和與之相對(duì)應(yīng)的圖像塊進(jìn)行歸一化處理。對(duì)一個(gè)未知的圖像塊而言，在進(jìn)行回歸重建之前需要對(duì)輸入圖像塊進(jìn)行歸一化，并且與之相對(duì)應(yīng)的輸出是逆歸一化的。給定一組用于訓(xùn)練的點(diǎn)集{( x ，y)，…，(x，y)} ? RM×RN，據(jù)此

11ll對(duì)式（1）表示的正則化價(jià)值函數(shù)進(jìn)行最小化處理。

當(dāng)yj=[y1j，…，yNj]和 H 作為一個(gè)RKHS（Re?producing Kernel Hilbert Space）時(shí)，由于其具有可再生性，可以在以下核函數(shù)中對(duì)式（1）進(jìn)行最小化處理：

在具體實(shí)現(xiàn)時(shí)，選擇一個(gè)高斯核(K(k(x，y)=exp(-‖‖x-y2/σk)))作為H的生成核。式（1）是每個(gè)標(biāo)量值回歸的獨(dú)立凸價(jià)值函數(shù)的和，并且能夠?qū)γ總€(gè)價(jià)值函數(shù)分開計(jì)算其最小化值。另一方面，通過將正則化參數(shù)λ和核k進(jìn)行綁定，在標(biāo)量值回歸的情況下可以有效降低訓(xùn)練和測(cè)試過程中的時(shí)間復(fù)雜度，同時(shí)，可以共享其內(nèi)核矩陣：將式（2）代入式（1）中，可以簡(jiǎn)化得到式（3）。

其中Y=[y1Τ，…，yΤl]Τ和A的第i列構(gòu)成了系數(shù)向量ai=[a1i，…，ail]Τ的第i個(gè)回歸值。

由式（2）和式（3）可知，KRR的訓(xùn)練和測(cè)試時(shí)間復(fù)雜度分別是O(l3)和O(M×l)，在實(shí)際計(jì)算中，即使是針對(duì)一個(gè)相對(duì)較小的訓(xùn)練數(shù)據(jù)集，這種時(shí)間復(fù)雜度仍然是難以接受的。通過在基礎(chǔ)集{k(b1， ?)， …， k(blb， ?)}( )lb?l中尋找式（1）的極小點(diǎn)，從而找到最優(yōu)解來進(jìn)行替換得到式（4），這樣可以有效地降低計(jì)算過程中時(shí)間復(fù)雜度：

當(dāng) [Kbx(i，j)]lb，l=k(bi，xj)并且 [Kbb(i，j)]lb，lb=k(bi，bj)時(shí)，測(cè)試時(shí)間復(fù)雜度降低到O(M×lb)。對(duì)于一組給定的基礎(chǔ)點(diǎn)集B={b1，…，blb}，系數(shù)矩陣 A的計(jì)

通過式（4），可以得到解決方法式（5）如下：算時(shí)間復(fù)雜度為O(l3b+l×lb×M)?？偠灾?，總的訓(xùn)練時(shí)間根據(jù)不同的尋找點(diǎn)集B的方法而不同。

在 KMP［4，11］算法中，采用增量的方法從訓(xùn)練數(shù)據(jù)中選取基礎(chǔ)點(diǎn)集：給定n-1個(gè)基礎(chǔ)點(diǎn)，第n個(gè)基礎(chǔ)點(diǎn)是在式（1）被最小化且對(duì) A進(jìn)行相應(yīng)優(yōu)化的條件下選取的。在KMP算法中，每一步的時(shí)間成本為O(l2)。另一方面，由于價(jià)值函數(shù)式（4）具有可導(dǎo)性，因此可以基于梯度對(duì)結(jié)構(gòu)B進(jìn)行優(yōu)化。假設(shè)相對(duì)于基向量而言，對(duì)k的導(dǎo)數(shù)進(jìn)行估算耗時(shí)為O(M)，那相對(duì)于B和與之對(duì)應(yīng)的系數(shù)矩陣A而言，對(duì)式（1）的估算耗時(shí)為 O(M×l×lb+l×l2b)。由于靈活性的增加，已經(jīng)可以證明的是，在基于稀疏的高斯過程（GP）回歸［8］的條件下，與選擇性方法相比，基于梯度的方法對(duì)價(jià)值函數(shù)式（1）具有更好的優(yōu)化效果。然而，相對(duì)于B而言，價(jià)值函數(shù)式（1）是非凸的，其容易受到局部最小的影響，因此需要尋找一個(gè)好的初始值對(duì)其進(jìn)行初始化。

本文采用的是梯度下降法和KMP算法相結(jié)合的算法。該算法的基本思想是：首先假設(shè)在KMP算法的第n步中，已選擇的基點(diǎn)bn加上已得到的基礎(chǔ)點(diǎn)的累計(jì)值，直到第n-1步時(shí)獲得一個(gè)好的初始化點(diǎn)Bn-1。隨后，在KMP的每一個(gè)步驟中，利用梯度下降法對(duì)Bn進(jìn)行優(yōu)化。在研究中通過實(shí)驗(yàn)證明，對(duì)上述思想進(jìn)行單一實(shí)現(xiàn)仍然耗時(shí)過長(zhǎng)。為了進(jìn)一步降低計(jì)算復(fù)雜度，采用如下方法對(duì)其進(jìn)行簡(jiǎn)化：1）在KMP算法中，通過對(duì)lc(lc＜＜l)個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)進(jìn)行重新估算，將該結(jié)果代替原算法中對(duì)整個(gè)訓(xùn)練數(shù)據(jù)集的估算結(jié)果，并據(jù)此對(duì)bn進(jìn)行選擇。2）只在KMP算法中的每個(gè)第r步中執(zhí)行針對(duì)Bn(M)的梯度下降法和與之相對(duì)應(yīng)的 A(1:n，:)，而不是在KMP算法的每一步中，僅對(duì)bn和 A(n，:)進(jìn)行優(yōu)化。在該條件下，其梯度的時(shí)間復(fù)雜度可以控制在O(M×l)范圍之內(nèi)。

在第n步中，進(jìn)行KMP的lc個(gè)備選基礎(chǔ)數(shù)據(jù)點(diǎn)的選擇是基于一種相當(dāng)簡(jiǎn)單的準(zhǔn)則進(jìn)行的。利用在第n-1步中得到的函數(shù)輸出值與每個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)進(jìn)行全局KRR估算后所需的響應(yīng)值之間的差異，然后通過局部KRR對(duì)其進(jìn)行近似估算。對(duì)于一個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)xi，其最近鄰抽樣（NNs）已經(jīng)收集在訓(xùn)練數(shù)據(jù)集中，并且對(duì)整個(gè)KRR的訓(xùn)練都是基于NNs進(jìn)行的。這種針對(duì)xi進(jìn)行的局部KRR，給出了對(duì)xi所需響應(yīng)時(shí)間的估算。但是，不能將這些局部的KRRs直接應(yīng)用到回歸算法中，因?yàn)樵诜怯?xùn)練數(shù)據(jù)點(diǎn)中難以對(duì)它們進(jìn)行插值。當(dāng)計(jì)算開始時(shí)，在整個(gè)優(yōu)化過程中，響應(yīng)所需的時(shí)間就已經(jīng)可以估算出來了。

為了更加深入地探討各稀疏算法在圖像超分辨率重建中的表現(xiàn)，先利用10000個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)分別在KMP算法、梯度下降算法以及KMP和梯度下降相結(jié)合的算法中進(jìn)行實(shí)驗(yàn)。圖1為實(shí)驗(yàn)結(jié)果。從實(shí)驗(yàn)結(jié)果中可知，不僅梯度下降算法的實(shí)驗(yàn)結(jié)果優(yōu)于KMP算法，且兩者相結(jié)合的算法也優(yōu)于KMP算法。這將為本文算法在進(jìn)行梯度下降計(jì)算步驟時(shí)提供一個(gè)更好的初始化值。

圖1表示在價(jià)值函數(shù)（式（1））下對(duì)不同稀疏表示重建算法的實(shí)驗(yàn)性能對(duì)比圖。實(shí)驗(yàn)證明，僅通過標(biāo)量值回歸算法（即：N=1）對(duì)圖像進(jìn)行超分辨率重建是可行的。然而，我們提出了一種對(duì)N個(gè)備選圖像塊中每一個(gè)圖像塊的像素值進(jìn)行預(yù)測(cè)的算法，這些備選圖像塊組成了一個(gè)三維圖像，并且第三維度與備選圖像塊相對(duì)應(yīng)。該設(shè)置是為了對(duì)以下兩方面進(jìn)行觀測(cè)：1）通過參數(shù)分享，可以將學(xué)習(xí)圖像塊的值這一過程的計(jì)算復(fù)雜度降低到與標(biāo)量值學(xué)習(xí)相同的水平；2）這些備選圖像塊包含不同的輸入圖像位置信息，通過它們之間的相互組合能夠有效地提高算法性能。在前期實(shí)驗(yàn)中，從圖像Z中的每一個(gè)二維位置選擇最好的和最差的（離地面的實(shí)際距離）備選圖像塊分別進(jìn)行圖像超分辨率重建。結(jié)果顯示，兩者的平均信噪比（SNR）的大小差距達(dá)到8.24。但是，在實(shí)際的圖像超分辨率重建階段，圖像塊距離地面的真實(shí)距離難以得到，因此，需要使用一種從N個(gè)備選圖像塊中構(gòu)建出一個(gè)單一像素的方法。

圖1 不同稀疏表示重建算法的性能評(píng)價(jià)

一個(gè)簡(jiǎn)單的方法是基于一種確定且可信的度量限制條件下，將備選圖像塊視為一個(gè)凸組合來構(gòu)建其最終估計(jì)值。例如，從文獻(xiàn)［9］中可知，在GP的前提下，基于稀疏的KRR與最大后驗(yàn)估計(jì)具有一致性，兩者均可以利用預(yù)測(cè)方差作為選擇的依據(jù)。前期的實(shí)驗(yàn)結(jié)果對(duì)標(biāo)量值回歸有了明顯的改進(jìn)。在基于輸入圖像塊和對(duì)鄰域重建的條件下得到的置信度估計(jì)模型能夠產(chǎn)生更好的預(yù)測(cè)結(jié)果。根據(jù)該方法對(duì)每個(gè)位置(x，y)進(jìn)行一組線性回歸訓(xùn)練，可以得到輸出圖像 Z(NL(x，y)，:)的一個(gè)圖像塊，并且能夠?qū)ζ谕敵龅奈粗獔D像塊和每個(gè)備選圖像塊之間的差異 ({d1(x，y)，…，dN(x，y)})進(jìn)行估值計(jì)算。據(jù)此，可以在一個(gè)以soft max函數(shù)（式（6））給出的備選圖像塊凸組合上對(duì)輸出圖像任意位置(x，y)像素的值進(jìn)行最終估算。

式（6）需要同時(shí)滿足條件：

在本文的實(shí)驗(yàn)中，對(duì)前面公式中需要的各參數(shù)設(shè)置如下：M=49(7×7)，N=25(5×5)，L=49(7×7)，σk=0.025，λ=0.5?10-7。這些值均來源于一組獨(dú)立的驗(yàn)證圖像。

為了平衡時(shí)間復(fù)雜度與算法精確性之間的矛盾，將KRR的基點(diǎn)數(shù)（lb）設(shè)為300。在基于以上參數(shù)的備選圖像塊之間進(jìn)行組合的圖像超分辨率實(shí)驗(yàn)中，其平均信噪比（SNR）比單一的標(biāo)量值回歸算法高出0.43dB。

由圖2（b）可知，基于回歸的圖像超分辨率重建算法明顯優(yōu)于雙三次插值的超分辨率重建算法。然而，仔細(xì)觀察可以發(fā)現(xiàn)，經(jīng)重建得到的圖像在其邊緣（邊緣像素值呈現(xiàn)出快速且劇烈的變化）產(chǎn)生了振鈴現(xiàn)象。一般而言，KRR和SVR等正則化方法傾向于使用平滑函數(shù)來對(duì)數(shù)據(jù)進(jìn)行擬合。因此，在函數(shù)的劇烈變化下，圖像的邊緣會(huì)產(chǎn)生振鈴現(xiàn)象，以此來彌補(bǔ)平滑過程中所產(chǎn)生的損耗。盡管該問題可以通過在圖像邊緣附近進(jìn)行強(qiáng)制不正則化來間接解決，但是更直接的方法是依靠圖像先驗(yàn)信息［14］的不連續(xù)性來解決。本文直接參考Tap?pen等［10］提出的一種改進(jìn)的自然圖像先驗(yàn)（NIP）框架來進(jìn)行實(shí)驗(yàn)，如式（8）所示。

其中{y}表示觀測(cè)變量，與Y的像素值相對(duì)應(yīng)；{x}表示潛變量；Ns(i)代表像素i周圍并與之相鄰的8個(gè)像素。在式（8）中，第一個(gè)乘積式在基于 | x?i-x?j|的代價(jià)上對(duì)圖像進(jìn)行平滑處理，第二個(gè)乘積式可以有效地防止最終算法結(jié)果與輸入的回歸結(jié)果Y的差距過大。α(α＜1)用于對(duì)成本函數(shù)重新加權(quán)，其最大不同之處在于強(qiáng)調(diào)了與其他像素之間的相關(guān)性，這樣做可以盡可能地降低與之相關(guān)的像素值突變?cè)斐傻挠绊?。進(jìn)一步說，如果不考慮式（8）中的第二個(gè)乘積式，那么代價(jià)式 | x?i-x?j|α將成為被Ns(i)中極值點(diǎn)分段的凹函數(shù)，因而像素i將極有可能是通過指定一個(gè)與之相鄰像素的值來得到，而不是通過對(duì)其相鄰像素進(jìn)行加權(quán)平均得到。這讓圖像的邊緣表現(xiàn)得更加健壯，從而可以有效地解決主要邊緣的平滑性問題。同樣，對(duì)式（8）的優(yōu)化也是基于文獻(xiàn)［10］所提出的置信度傳播算法（Belief Propaga?tion，BP）。為了便于優(yōu)化，實(shí)驗(yàn)中仍然使用從回歸步驟中生成的備選圖像塊的集合，這樣BP算法可以選擇其中的最優(yōu)備選圖像塊。

對(duì)式（8）的優(yōu)化貫穿整個(gè)圖像區(qū)域，這可能會(huì)導(dǎo)致結(jié)果發(fā)生退化，因?yàn)樗惴▋A向于對(duì)圖像的紋理區(qū)域進(jìn)行平整化，尤其是當(dāng)圖像對(duì)比度相對(duì)較低時(shí)，式（8）中的第二個(gè)乘積項(xiàng)對(duì)結(jié)果的影響將很小。這個(gè)問題可以在圖像的主要邊緣利用改進(jìn)的NIP算法進(jìn)行解決。

通過觀察可知，一般都會(huì)對(duì)輸入圖像進(jìn)行模糊化處理［12］，因此，過高的空域分量已經(jīng)被去除，圍繞輸入圖像的局部圖像塊使用拉普拉斯函數(shù)和L2、L∞范式來確定每個(gè)像素的閾值，從而確定圖像的主要邊緣。另外，圖像的主要邊緣通常不同于圖像輪廓。例如，在圖2（d）中，鴨子胸部和水之間的邊界不能確定為該圖像的主要邊緣，因?yàn)槠溥吔缦袼貜?qiáng)度沒有發(fā)生明顯的變化。在這種情況下，原始回歸結(jié)果中將不會(huì)出現(xiàn)振蕩現(xiàn)象。

在式（8）中，參數(shù) α、σN和 σR的值分別為：0.85，200和1。盡管在圖2中信噪比（SNR）的提高并不明顯（相比回歸結(jié)果平均提高了0.04dB），但是在圖像的主要邊緣上視覺質(zhì)量的提高仍然證明了NIP算法的有效性。

圖2 超分辨率實(shí)例

在圖2中，（a）表示雙三次插值重建結(jié)果，（b）表示回歸算法重建結(jié)果，（c）表示（b）圖通過NIP算法處理后的結(jié)果，（d）表示利用拉普拉斯函數(shù)對(duì)雙三次插值結(jié)果進(jìn)行處理并用綠色像素顯示其主要邊緣的結(jié)果，（e）和（f）分別表示圖（a）、（b）、（c）三幅圖像中部分細(xì)節(jié)放大的結(jié)果

3 實(shí)驗(yàn)及性能分析

在實(shí)驗(yàn)中，從訓(xùn)練圖像中選擇一組互不相交的高-低分辨率圖像塊對(duì)，如圖3所示，并對(duì)文中所提算法進(jìn)行評(píng)價(jià)。在每個(gè)維度上，分辨率的期望值是每個(gè)輸入圖像分辨率的兩倍。實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)點(diǎn)數(shù)量為200000，在頻率為2.5GHz的個(gè)人計(jì)算機(jī)上消耗了約一天時(shí)間對(duì)基于KRR的稀疏表示進(jìn)行訓(xùn)練。選擇不同經(jīng)典的基于實(shí)例的圖像超分辨率重建算法與本文所提算法進(jìn)行對(duì)比，包括：Freeman等［2］提出的基于神經(jīng)網(wǎng)絡(luò)的算法、Tappen等［10］提出的自然圖像先驗(yàn)（NIP）算法和Kim等［7］提出的基于SVR算法（訓(xùn)練數(shù)據(jù)點(diǎn)數(shù)量為10000）。

圖3 測(cè)試圖像縮略圖：圖像按照光柵排列中的數(shù)字進(jìn)行索引

實(shí)驗(yàn)中各種算法的重建結(jié)果如圖4所示。觀察可知，所有基于實(shí)例的超分辨率重建算法在視覺效果上均優(yōu)于雙三次插值算法?；贜N的算法和傳統(tǒng)的NIP算法在加入噪聲后得到的圖像產(chǎn)生了明顯的銳化效應(yīng)，雖然重建圖像的視覺質(zhì)量得到了提高，但這也導(dǎo)致其算法的SNR比雙三次插值算法低。SVR算法的重建圖像噪音更少，但是其重建圖像產(chǎn)生了振鈴效應(yīng)和邊緣平滑效應(yīng)，這些不足之處在本文所提算法的重建結(jié)果中均沒有出現(xiàn)。假如不考慮對(duì)重建結(jié)果進(jìn)行后續(xù)處理，本文所提算法的重建圖像的SNR比SVR算法高出0.69dB。經(jīng)過分析，出現(xiàn)這種結(jié)果的可能原因有兩種：一是由于本文算法的稀疏表示訓(xùn)練數(shù)據(jù)集更大，二是本文算法的備選圖像塊的組合更加有效。此外，與SVR算法相比，本文所提算法的計(jì)算更快，重建所需時(shí)間更少。對(duì)于同樣一幀256×256的低分辨率圖像，分別用這兩種算法將其重建為512×512的高分辨率圖像，本文提出的算法大約需要25s，而基于SVR的算法則需要大約20min。

圖4表示不同超分辨率算法對(duì)圖3中兩幅圖像進(jìn)行重建的結(jié)果示意圖。其中：（a）和（b）表示原始圖像，（c）和（d）表示雙三次插值重建結(jié)果，（e）和（f）表示SVR算法［7］重建結(jié)果，（g）和（h）表示基于神經(jīng)網(wǎng)絡(luò)算法［2］的重建結(jié)果，（i）和（j）表示NIP算法［10］的重建結(jié)果，（k）和（l）表示本文算法的重建結(jié)果。不同算法所得重建結(jié)果的SNRs（平均信噪比）如圖5所示。

圖4 不同超分辨率算法重建結(jié)果

圖5 不同超分辨率算法的性能

4 結(jié)語

本文從非線性回歸的角度探討了圖像超分辨率重建問題。將KMP算法與梯度下降算法相結(jié)合，得到一種基于稀疏表示的KRR算法，使得基于回歸的超分辨率算法的應(yīng)用成為現(xiàn)實(shí)。為解決由于正則化而產(chǎn)生的平滑偽影問題，利用NIP算法對(duì)回歸結(jié)果進(jìn)行后續(xù)處理，在抑制圖像平滑偽影的同時(shí)對(duì)其邊緣進(jìn)行了銳化。與現(xiàn)有的基于實(shí)例的圖像超分辨率算法相比，本文所提出的算法在計(jì)算時(shí)間、圖像質(zhì)量和信噪比方面均有明顯的優(yōu)勢(shì)。

［1］Peleg T，Elad M.A statistical prediction model based on sparse representations for single image super-resolution［J］.IEEE Transactions on Image Processing，2014，23（6）：2569-82.

［2］Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Computer Graphics and Appli?cations，2002，22（2）：56-65.

［3］張新，張帆，李雪梅，等.特征約束的多實(shí)例圖像超分辨率方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（4）：580-589.

ZHANGXin，ZHANG Fan，LIXuemei，et al.Feature Con?strained Multi-example Based Image Super-resolution［J］.Journal of Computer-Aided Design&Computer Graphics，2016，28（4）：580-589.

［4］Ni K，Nguyen T Q.Image super-resolution using support vector regression［J］.IEEE Trans.Image Processing，2007，16（6）：1596-1610.

［5］YUAN Q P，LIN H J，CHEN Z H，et al.Single image su?per-resolution reconstruction using support vector regres?sion［J］.Editorial Office of Optics and Precision Engineer?ing，2016，24（9）：2302-2309.

［6］Wang Z，Yang Y，Wang Z，et al.Learning Super-Resolu?tion Jointly From External and Internal Examples［J］.IEEE Transactions on Image Processing，2015，24（11）：43，59-71.

［7］Kim K I，Kim DH，Kim JH.Example-based learning for image super-resolution［J］.In：Proc.the third Tsing?hua-KAIST Joint Workshop on Pattern Recognition，2004：140-148.

［8］何志昆，劉光斌，趙曦晶，等.高斯過程回歸方法綜述［J］.控制與決策，2013，8（8）：1121-1129.

HE Zhikun，LIU Guangbin，ZHAO Xijing，et al.Overview of Gaussian process regression［J］.Control and Decision，2013，8（8）：1121-1129.

［9］Snelson E，Ghahramani Z.Sparse gaussian processes us?ing pseudo-inputs［M］.In：Advances in Neural Informa?tion Processing Systems.MITPress，Cambridge，MA，2006.

［10］Tappen M.F，Russel B C，F(xiàn)reeman W T.Exploiting the sparse derivative prior for super-resolution and image de?mosaicing［J］.In：Proc.IEEE Workshop on Statistical and Computational Theories of Vision，2003.

［11］安耀祖，陸耀，趙紅.一種自適應(yīng)正則化的圖像超分辨率算法［J］.自動(dòng)化學(xué)報(bào)，2012，38（4）：601-608.

AN Yaozu，LU Yao，ZHAO Hong.An Adaptive-regular?ized Image Super-resolution［J］.Automatica Sinica，2012，38（4）：601-608.

［12］賈福運(yùn)，陳明志.人工模糊圖像邊緣的盲檢測(cè)算法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2015，3（3）：729-732.

JIA Fuyun，CHEN Mingzhi.Blind detection method for artificially blurred image edes［J］.Computer Engineering and Design，2015，3（3）：729-732.

［13］Vincent P，Bengio Y.Kernel matching pursuit.Machine Learning，2002，48，165-187.

［14］Liu D，Wang Z，Wen B，et al.Robust Single Image Su?per-Resolution via Deep Networks with Sparse Prior［J］.IEEE Transactions on Image Processing，2016，25（7）：3194-3207.

［15］Timofte R，De V，Van Gool L.Anchored Neighborhood Regression for Fast Example-Based Super-Resolution［C］//IEEE International Conference on Computer Vi?sion，2013：1920-1927.

An Im proved Super Resolution Reconstruction A lgorithm of Single Image Based on KRR

SH I Guochuan GONG Lianyou CAO Yu jian
（Army Officer Academy，Hefei 230031）

TP391

10.3969/j.issn.1672-9722.2017.09.032

2017年3月8日，

2017年4月21日

安徽省自然科學(xué)基金項(xiàng)目（編號(hào)：1608085MF140）資助。

史國(guó)川，男，碩士，教授，研究方向：圖像信息處理。龔連友，男，碩士研究生，研究方向：圖像信息處理。曹宇劍，男，碩士研究生，研究方向：圖像信息處理。