基于局部約束線性編碼的單幀和多幀圖像超分辨率重建

卜莎莎，章毓晉

(清華大學電子工程系，北京100084)

圖像采集時，受到采樣設(shè)備分辨率不高的限制及環(huán)境中多種因素的干擾，獲取的圖像不夠清晰，蘊含豐富信息的細節(jié)模糊或缺失，導致圖像分辨率降低。低分辨率的圖像難以滿足人們在后續(xù)的圖像處理和識別等方面的需要，給目標的定位和識別、圖像信息內(nèi)容的獲取等帶來諸多不便。超分辨率技術(shù)可以充分挖掘圖像的潛在信息，利用圖像先驗知識，得到高質(zhì)量的圖像，在衛(wèi)星偵察、視頻監(jiān)控等多個領(lǐng)域得到廣泛應(yīng)用。

超分辨率的技術(shù)從20世紀80年代以來得到了迅猛的發(fā)展，目前常用的算法有凸集投影法［1］、最大后驗概率法［2，3］、迭代反投影法［4］等。近年來基于學習的超分辨率重建算法也逐步發(fā)展起來，最近文獻［5］提出了一種基于稀疏表示的超分辨率重建算法，取得了不錯的效果。筆者在稀疏表示算法［5］的基礎(chǔ)上進行了改進，提出一種基于局部約束線性編碼(LLC:Locality－constrained Linear Coding)［6］的超分辨率重建方法。實驗表明，改進后的算法圖像重建質(zhì)量更高，運算速度更快，效果更好。

1 基于稀疏表示的重建算法

稀疏表示算法［5］的基本思想是:基于成對的高分辨率圖像塊和與之相應(yīng)的低分辨率圖像塊進行詞典訓練，得到成對的高分辨率詞典Dh和低分辨率詞典Dl。然后根據(jù)得到的低分辨詞典Dl對輸入的低分辨率圖像進行編碼，再依據(jù)該編碼和高分辨率詞典s重建得到高分辨率圖像。算法大致可分為3個步驟:詞典訓練，稀疏編碼，圖像重建。

1.1 詞典訓練

令Dh為高分辨率詞典，大小為N×K，Dl為低分辨率詞典，大小為M×K。二者都是過完備的詞典，即K＞N且K＞M，詞典的過完備性為稀疏編碼提供了保證。詞典訓練的目標為根據(jù)訓練集中的一系列成對的高分辨率圖像塊和低分辨率圖像塊，結(jié)合稀疏表示的算法原理，得到成對詞典Dh和Dl。聯(lián)合詞典訓練方法如(1)所示。

其中xh為高分辨率圖像塊，yl為相應(yīng)的由低分辨率圖像得到的高分辨率圖像塊，N和M分別為高分辨率圖像塊和低分辨率圖像塊轉(zhuǎn)換成列向量后的維數(shù)。式(1)中需要同時對Dc及Z進行優(yōu)化，實際求解過程中可采用迭代算法，固定其中一項，對另一項進行求解，通過反復迭代可求得滿足條件的解。

1.2 稀疏編碼

將輸入的低分辨率圖像劃分成固定大小的小塊，每個小塊之間有一定重疊，然后對劃分后的小塊y進行稀疏編碼:

其中F為特征提取矩陣，Dl為低分辨率詞典，y為低分辨率圖像塊，為根據(jù)Dl得到的y的編碼。L1范數(shù)保證了編碼的稀疏性，拉格朗日乘子λ用于在編碼的準確性和系數(shù)性中取得平衡。

為同時考慮到低分辨率圖像和重建得到的高分辨率圖像編碼的準確性和稀疏性，可采用如下公式對二者進行聯(lián)合編碼:

其中β用于在高分辨率詞典和低分辨率詞典之間的取得折中，P用于提取當前塊和已經(jīng)重建好的高分辨率圖像塊之間的重疊區(qū)域，以保證重建的連續(xù)性，x為待重建的高分辨率圖像塊

1.3 圖像重建

根據(jù)編碼得到的系數(shù)ω和高分辨率詞典Dh，利用式(4)可重建得到高分辨率圖像塊，這些高分辨率圖像塊再拼接到一起，即可得到一個初步的高分辨率圖像X0。

再根據(jù)輸入的低分辨率圖像Y利用圖像降質(zhì)模型，通過梯度下降的方法尋找與X0最接近的圖像X，即可得到恢復后的高分辨率圖像X*。求解方法如下

其中S為降采樣矩陣，H為模糊矩陣。

2 LLC編碼

LLC編碼側(cè)重于局部的約束，而非稀疏性，根據(jù)文獻［6］，局部性可以帶來稀疏性，但稀疏性未必滿足局部性。從這方面而言，局部性約束比稀疏性約束更為重要。LLC的編碼滿足下式的約束:

其中xi為待編碼的的向量，B為詞典，ci為經(jīng)過LLC得到的編碼。di為不同編碼的權(quán)重，用于權(quán)衡編碼中每個元素和詞典B中相應(yīng)列的關(guān)系?！ご硐蛄吭鼐S度的相乘。di可如下計算:

其中σ為可調(diào)整的參數(shù)，用于控制di的大小，dist(xi，B)為矢量，每個元素代表向量xi與詞典B中每列向量的歐氏距離。

因加入局部性的約束，LLC編碼相對于稀疏編碼［5］(SC:Sparse Coding)而言更為平滑。稀疏編碼［5］時，為滿足編碼的稀疏性，相似的像素塊得到的結(jié)果有可能差異較大，而詞典的過完備性更加劇了這一差異。LLC編碼能保證相似的像素塊得到相近的編碼，從而保證重建出的像素塊的相似性，保證局部平滑。

稀疏編碼［5］時需要采取優(yōu)化算法進行迭代，帶來較高的計算量，而LLC算法有解析解，能夠降低運算消耗，加快運算速度。

3 基于LLC的超分辨率重建算法

筆者在稀疏表示算法的基礎(chǔ)上進行了改進，利用LLC的方法對圖像塊進行編碼，實現(xiàn)超分辨率重建。算法流程如下。

3.1 圖像分塊

無論在詞典訓練階段還是在超分辨重建階段都需要對圖像進行分塊，適當?shù)姆謮K可降低計算復雜度，加快運算速度，提高重建的精度，保證圖像重建的效果。筆者算法首先將輸入圖像按照從上到下、從左到右的順序進行分割，劃分成3×3的小塊，同行鄰近的像素塊之間有一列重疊，同列鄰近像素塊之間有一行重疊，以保證像素塊之間的連續(xù)性，防止像素塊邊緣因不連續(xù)而導致的突變。

3.2 聯(lián)合詞典訓練

為加強詞典訓練中高分辨率詞典和低分辨率詞典之間的相關(guān)性，訓練集中的低分辨率圖像由高分辨率圖像經(jīng)過亞采樣和模糊后得到。為保證詞典訓練的效果，將低分辨率圖像再經(jīng)升采樣之后，和高分辨率圖像進行聯(lián)合訓練，這樣有利于更好地找到二者之間的對應(yīng)關(guān)系。

超分辨率重建更注重于恢復圖像的高頻細節(jié)，因而在對升采樣的低分辨率圖像進行分塊處理之前，先通過特征提取矩陣得到高頻分量，然后對高頻分量之間的對應(yīng)關(guān)系進行訓練，得到成對的詞典Dh和Dl。特征提取算子可如下設(shè)計［5］:

其中f1和f3用于提取行的特征，f2和f4用于提取列的特征。將特征提取算子與待訓練的圖像進行卷積，得到4幅保留了邊緣信息的特征圖像，對這4幅圖像分塊，將對應(yīng)的圖像塊整合成一個矢量，即可得到用于詞典訓練的向量。

提取完特征并分塊后的圖像按照式(1)進行詞典訓練，直至滿足收斂條件。

3.3 使用LLC對圖像編碼

詞典訓練完畢之后即開始圖像的編碼過程，圖像編碼前也要經(jīng)過和詞典訓練相似的預(yù)處理過程。對于一幅輸入的低分辨率圖像，同樣依據(jù)式(8)，進行特征提取，得到4幅圖像。然后將其按照3.1節(jié)中提到的方法進行圖像分塊處理，將4幅圖像中對應(yīng)的小塊整合成一個向量yi，按照訓練得到的低分辨率詞典Dl進行LLC編碼，具體計算過程如下:

1)計算y和詞典Dl每列向量之間的距離，進而得到編碼元素的權(quán)重di，類比式(7)，對應(yīng)的計算如下

2)根據(jù)已經(jīng)得到的di按照下式計算LLC編碼后的系數(shù)αi:

3.4 超分辨率重建

根據(jù)上面得到的系數(shù)αi和訓練得到的高分辨率詞典Dh，即可重建高分辨率圖像塊xi:

高分辨率圖像塊xi按照從左到右，從上到下的順序拼接起來，同時考慮到低分辨率圖像分塊時的混疊，即可得到初步重建后的高分辨率圖像X0。

3.5 全局約束與恢復

鑒于上述重建考慮的都是局部約束條件，每個重建的圖像塊都是局部最優(yōu)，但不一定能滿足全局最優(yōu)的條件。初步重建的圖像X0和得到初步的高分辨圖像X0之后，還需對其進行全局的處理和恢復。

對X0采取后向投影的方法:將X0向輸入低分辨率圖像Y上投影，得到投影后的圖像Y+，再將Y+和Y的差值Y映射到高分辨率空間，疊加到X0上。重復上述過程，迭代一定次數(shù)后可得到加入全局約束后恢復得到的圖像。全局約束的算法還有很多，可根據(jù)實際自主選擇。

4 多幀圖像超分辨率重建

將基于LLC編碼的單幀超分辨率重建算法擴展到多幀算法，采用和式(2)類似的方法，將多幀圖像的數(shù)據(jù)整合到同一個編碼公式里，對整體優(yōu)化，求得最優(yōu)解，利用圖像序列之間的互補信息，提高圖像超分辨率重建的質(zhì)量。

首先對輸入的多幀低分辨率圖像進行運動估計和幀間配準［7］，然后對配準好的多幀超分辨率圖像進行多幀超分辨率重建，編碼式如下:

其中αk，l為中心點位于(k，l)處的圖像塊經(jīng)稀疏編碼后的系數(shù)，F(xiàn)為特征提取矩陣，Dl為低分辨率詞典，Ri，j為圖像塊提取算子，用于從低分辨率圖像Yt中提取中心位于(i，j)的圖像塊。ω為權(quán)重系數(shù)，用于控制各幀圖像對于最終編碼系數(shù)的約束程度。

得到編碼系數(shù)后的重建及全局恢復步驟同第3節(jié)，可得到經(jīng)過多幀重建的高分辨率圖像。

5 實驗結(jié)果

為更好地對比算法性能，筆者從重建效果、運算速度、噪聲影響等多個方面對超分辨率重建的結(jié)果進行展示和分析，并展示了多幀重建圖像的對比結(jié)果。

文獻［5］中已將其提出的算法和后向投影(Back Projection)［8］、鄰近嵌入(Neighborhood Embedding)等多種算法進行了比較，取得不錯的效果。筆者算法只和其中效果最好的文獻［5］算法及常見的Matlab中的bicubic插值算法進行對比。

5.1 重建效果

將圖像塊統(tǒng)一劃分為3×3的小塊，每塊之間重疊按照3.1節(jié)所示方法，采用1024維的詞典進行超分辨率重建，放大倍數(shù)為3，全局恢復時采用后向投影的算法，得到的圖像重建效果如下。

圖1 超分辨重建效果圖Fig.1 Super-resolution effect image

圖1中PSNR依次為:26.8270 dB，28.6990 dB，29.5986 dB，29.6842 dB。筆者算法相對于文獻［5］的方法提高了0.0852 dB。其中帽子和肩膀邊緣效果尤其明顯，振鈴現(xiàn)象得到緩解。

幾種不同方法重建得到的PSNR值可參見表1，其相應(yīng)的低分辨率圖像見圖2。

表1 不同方法重建圖像的PSNR值Table 1 PSNR of differentmethods

圖2 實驗用低分辨率圖像Fig.2 Low resolution images used for experiments

實驗結(jié)果表明，該算法相對于文獻［5］方法的PSNR值平均提高了0.0783 dB，重建效果有所提高。

5.2 抗噪性能

為進一步對比不同算法在抗噪聲方面的性能，該實驗中對原始圖像加入不同種類，不同大小噪聲，然后對其進行超分辨率重建，對比各算法在抗噪性能上的優(yōu)缺點。為方便起見，只選取圖1進行了對比。

如圖3左上圖像所示，原始輸入低分辨率圖像被疊加了均值為0，方差σ為0.001的高斯加性白噪聲，需要指出的是這里的噪聲產(chǎn)生通過Matlab中的imnoise函數(shù)產(chǎn)生，為σ相對于圖像歸一化之后的方差。

圖3 加入噪聲后超分辨率重建圖像Fig.3 Super-resolution reconstruction of noisy image

按照同4.1節(jié)相同的參數(shù)設(shè)置對圖像進行超分辨率重建，得到4種方法的重建效果如圖3PSNR值依次為:26.4090 dB，28.0557 dB，28.8086 dB，28.8966 dB。

將上述結(jié)果和圖1中不加噪聲的結(jié)果進行對比，為便于觀察，將結(jié)果重新寫于表2其余噪聲對圖像重建的影響也參考表2。

表2 不同方法的抗噪性能Tab.2 Robustness to noise of differentmethods

通過表2中各個算法的抗噪性能對比可以發(fā)現(xiàn)，隨著噪聲強度的增大，3種算法的重建效果均有所下降，但筆者算法的圖象重建峰值信噪比(PSNR)高于其他算法。實驗結(jié)果表明，筆者算法的抗噪性能優(yōu)于其他兩種算法，能夠抵抗一定程度的噪聲，提高圖像分辨率。

5.3 運算速度

在第3章中提到，LLC相比于稀疏編碼的方法具有更快的運算速度，能夠縮短運算時間，筆者通過實驗結(jié)果的統(tǒng)計和對比證實了這一觀點。輸入低分辨率圖像如圖1所示，兩種方法參數(shù)設(shè)置同4.1節(jié)，得到的運算速度對比在表3展示。

表3 運算速度對比Table 3 Computation time of two methods

通過上述實驗結(jié)果的對比，可發(fā)現(xiàn)對同一幅圖像進行超分辨率重建，筆者方法的運算速度明顯高于文獻［5］，且隨著圖像的尺寸逐漸增大，筆者方法的優(yōu)越性越來越明顯。實驗結(jié)果進一步驗證了LLC方法在提高運算速度方面的優(yōu)越性。

5.4 多幀圖像重建結(jié)果對比

該實驗中采用4幅圖像進行超分辨率重建，水平方向和豎直方向的放大倍數(shù)均為3，幀間配準時采用8×8的圖像塊進行運動估計，圖像重建時分成3×3的小塊，塊之間重疊如3.1節(jié)設(shè)置，得到超分辨率重建對比的結(jié)果如下所示。

圖4是用于重建的低分辨率視頻序列中的一幀，選取4幀視頻圖像進行重建，得到的結(jié)果如圖5。從上到下依次為單幀稀疏表示(SR:Sparse Representation)的重建結(jié)果，多幀SR重建，第3章所示算法即單幀LLC重建，第4章所示算法即多幀LLC重建。每行中顯示了同一種方法對于視頻序列中的相鄰3幀的重建結(jié)果。平均梯度值如表3所示。

圖4 低分辨率圖像Fig.4 low-resolution im age

圖5 多幀超分辨率重建后圖像Fig.5 M ulti-frame super-resolution image reconstruction

表4 不同方法重建后的平均梯度值Table 4 Average gradient of differentmethods

從平均梯度值數(shù)據(jù)上可看出，多幀LLC重建效果明顯好于其他算法，圖像細節(jié)信息得到增強。單幀LLC算法也要好于單幀SR算法［5］。

從視覺效果上看，多幀LLC圖像中字母和豎線的重建效果其他3幅圖像，輪廓明顯清晰，說明多幀LLC重建可以增強圖像的邊緣和細節(jié)信息，提高分辨率。

就LLC和SR［5］兩種算法比較而言，LLC圖像比SR圖像的邊緣振鈴現(xiàn)象要好，SR圖像中央的數(shù)字200和250難以分辨清楚，而LLC重建圖像中可清晰分辨出這兩個數(shù)字，分辨率明顯提升。

上述對比表明，由于利用了多幀信息，多幀LLC算法的重建效果好于單幀LLC算法，圖像細節(jié)進一步加強。同時也進一步證明了LLC算法相對于SR算法［5］的優(yōu)越性。

綜上，筆者方法相比于文獻［5］的方法，在重建效果、抗噪性能及運算速度上均取得了不錯的效果，推廣到多幀圖像超分辨率重建時圖像質(zhì)量進一步提高，在圖像超分辨率重建方面具有一定的優(yōu)勢。

6 結(jié)語

筆者提出一種改進的基于局部約束線性編碼(LLC)的圖像超分辨率重建方法。實驗結(jié)果表明，相比于稀疏表示的算法［5］，筆者算法能夠提高重建圖像的峰值信噪比(PSNR)，抵抗噪聲影響，加快運算速度，推廣到多幀重建質(zhì)量進一步提高，取得了不錯的重建效果。

［1］Galbraith A E，Theiler J，Thome K J，et al.Resolution enhancement ofmulti－look imagery for themultispectral thermal imager［J］.IEEE Trans.Geoscience＆Remote Sensing，2005，43(9):1964－1977.

［2］Schulz R R，Stevenson R L.A bayesian approach to image expansion for improved definition［J］.IEEE Trans. Image Processing，1994，3(3):233－242.

［3］Chantas G K，Galatsanos N P，Woods N A.Super－resolution based on fast registration and maximum a posteriori reconstruction［J］.IEEE Trans.Image Processing，2007，16(7):1821－1830.

［4］Ben－ezra M，Zomet A，Nayar S K.Video Super－resolution using controlled subpixel detector shifts［J］.IEEE Trans.Pattern Analysis＆Machine Intelligence，2005，27(6):977－987.

［5］Yang JC，Wright J，Huang T S，et al.Image super－resolution via sparse representation［J］.IEEE Transactions on Image Processing，2010，9(11):2861－2873.

［6］Wang J J，Yang JC，Yu K，et al.Locality－constrained linear coding for image classification［C］//IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2010:3360－3367.

［7］孫寧寧.基于序列圖像的超分辨率重建算法研究［D］.鄭州:河南工業(yè)大學，2010.

Sun Ning－ning.Super－resolution reconstruction algorithm based on image scquence［D］.Zhengzhou:Henan University of Technology，2010.

［8］Irani M，Peleg S.Motion analysis for image enhancement:resolution，occlusion and transparency［J］.Journal of Visual Communication and Image Representation，1993，4(4):324－335.