圖像超分辨率重建算法綜述

龍 超

（江西科技師范大學(xué)通信與電子學(xué)院，江西 南昌330013）

0 引言

超分辨率圖像重建[1]是指由同一場(chǎng)景的低分辨率退化圖像重建出一幅清晰的高分辨率圖像。它借助信號(hào)估計(jì)理論，很好地解決了固有的傳感器陣列排列密度限制引起的圖像分辨率低的問(wèn)題，彌補(bǔ)了傳感器硬件方面的不足。同時(shí)，超分辨率重建可以有效地克服圖像獲取過(guò)程中的模糊、噪聲等退化因素的影響，在工業(yè)控制、醫(yī)學(xué)成像、遙感、安全監(jiān)控、視頻信號(hào)傳輸?shù)阮I(lǐng)域具有廣闊的應(yīng)用前景。超分辨率重建技術(shù)具有重要的理論意義和應(yīng)用價(jià)值，成為圖像處理、計(jì)算機(jī)視覺(jué)和應(yīng)用數(shù)學(xué)等領(lǐng)域研究的國(guó)際熱點(diǎn)問(wèn)題。經(jīng)過(guò)近30年的研究與發(fā)展，出現(xiàn)了大量關(guān)于圖像超分辨率技術(shù)的研究成果。一般說(shuō)來(lái)，圖像超分辨技術(shù)主要分為三種類(lèi)型：基于插值的方法、基于重構(gòu)的方法和基于學(xué)習(xí)的方法。

1 基于插值的超分辨率方法

基于多幀圖像插值技術(shù)的方法是超分辨率研究中最直觀的方法。這類(lèi)方法首先估計(jì)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息，獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值，接著通過(guò)非均勻插值得到高分辨率圖像柵格上的像素值,最后采用圖像恢復(fù)技術(shù)來(lái)去除模糊和降低噪聲。典型的方法包括：Rajan和Chaudhuri[2]通過(guò)分解、插值和融合3個(gè)步驟實(shí)現(xiàn)的通用插值方法；Taohj等[3]提出的小波域的雙線性插值；Lertrat-tanapanich和Bose[4]提出的使用基于光滑性約束的Delaunay三角化插值算法等。

插值法雖能實(shí)現(xiàn)快速重構(gòu)、有效地保持圖像邊緣，但通常實(shí)際圖像的降質(zhì)信息不可能準(zhǔn)確已知，從而設(shè)定的先驗(yàn)?zāi)Ｐ褪遣环€(wěn)定的，所以實(shí)際的超分辨水平并不理想?？傮w來(lái)看，插值法重構(gòu)的優(yōu)點(diǎn)是算法簡(jiǎn)單從而易實(shí)時(shí)處理，缺點(diǎn)是重構(gòu)的圖像邊緣模糊、超分辨能力有限。

2 基于重建的超分辨率方法

基于重建的方法是得到最廣泛研究的方法，主要分為頻域法和空域法兩類(lèi)。頻域法通過(guò)在頻率域消除頻譜混疊來(lái)改善圖像的空間分辨率。Tsai和Huang于1984[1]年提出在傅里葉變換域內(nèi)由多幀圖像恢復(fù)出額外高頻信息的超分辨重構(gòu)，由此拉開(kāi)多幀圖像SRR的序幕。Irani和Peleg提出了迭代反向投影 (Iterative back projection)算法[5]，這就是空域法的一種，即投影初始估計(jì)得到LR模擬圖像，計(jì)算與低分辨率觀測(cè)圖像的誤差并反向投影，迭代地更新輸出估計(jì)。凸集投影法采用集合論把超分辨圖像解空間投影在各約束凸集的交集中，迭代地收縮可行解空間，最終獲得估計(jì)的HR圖像。概率論法以MAP準(zhǔn)則建立由高分辨率到低分辨率的條件概率方程，圖像先驗(yàn)和噪聲統(tǒng)計(jì)分別作為先驗(yàn)知識(shí)和條件概率項(xiàng)，通過(guò)最優(yōu)化得到重構(gòu)邊緣較好的超分辨圖像。正則參數(shù)平衡最優(yōu)問(wèn)題中的逼近項(xiàng)與正則項(xiàng)的基于正則化技術(shù)的超分辨是一子類(lèi)優(yōu)秀的方法。吸收不同算法優(yōu)勢(shì)的MAP/POCS等混合法是目前重建法中超分辨效果最佳的一類(lèi)[6]。

3 基于學(xué)習(xí)的超分辨率方法

基于學(xué)習(xí)的超分辨率方法是近年來(lái)超分辨率研究的熱點(diǎn)，它采用機(jī)器學(xué)習(xí)技術(shù)，通過(guò)事先給定的范例學(xué)習(xí)得到低分辨率和高分辨率圖像塊間的映射先驗(yàn)。超分辨率重建中圖像的建模與表示是圖像處理領(lǐng)域一個(gè)根本性的問(wèn)題，模型的選取直接影響到后續(xù)圖像處理的開(kāi)展，過(guò)完備圖像稀疏表示是一種新興的圖像表示模型，過(guò)完備稀疏表示理論認(rèn)為在合適的冗余字典的條件下，圖像存在最為稀疏的表示，即能夠用很少量的大系數(shù)捕獲圖像中的重要信息。

3.1 最近鄰搜索

這種方法簡(jiǎn)單、直接，但只考慮到樣本圖像塊本身的局部特征信息，穩(wěn)定性很差。

3.2 K-NN算法

為提高NN算法的魯棒性，F(xiàn)reeman等[7]提出一種馬爾可夫網(wǎng)絡(luò)(Markov Network)模型，采用馬爾可夫網(wǎng)絡(luò)學(xué)習(xí)樣本庫(kù)中低分辨率圖像塊與高分辨圖像塊的對(duì)應(yīng)關(guān)系，再利用學(xué)習(xí)到的關(guān)系估計(jì)圖像的細(xì)節(jié)信息，該方法開(kāi)創(chuàng)了基于學(xué)習(xí)的超分辨率重建研究的先河。該算法將圖像塊作為馬爾可夫網(wǎng)絡(luò)上的一個(gè)節(jié)點(diǎn)，并假定節(jié)點(diǎn)間在統(tǒng)計(jì)量上相互獨(dú)立，生成訓(xùn)練庫(kù)，最終應(yīng)用傳播算法求解馬爾可夫網(wǎng)絡(luò)問(wèn)題，這種模型相當(dāng)于最大后驗(yàn)概率問(wèn)題，在公式（1）基礎(chǔ)上加入先驗(yàn)約束，加強(qiáng)相鄰圖像塊間匹配約束，其目標(biāo)函數(shù)為：

Datsenko等[8]提出基于MAP的框架，將K-NN方法提取的高、低分辨率樣本圖像塊作為先驗(yàn)信息，融入到全局MAP的懲罰函數(shù)中，有利于剔除不相干的樣本，進(jìn)一步提高了超分辨率重建質(zhì)量。 這類(lèi)KNN方法相對(duì)NN算法質(zhì)量有一定提高，但有限；如果采用不適當(dāng)?shù)臉颖荆直媛手亟ㄐЧ赡軙?huì)更差。

3.3 流形學(xué)習(xí)方法

相對(duì)NN算法，K-NN提高了最終估計(jì)值的魯棒性，但它只是從K個(gè)樣本中選取一個(gè)作為最終估計(jì)值。Chang等[9]對(duì)此進(jìn)行了改進(jìn)，將K個(gè)優(yōu)選結(jié)果{pmk}進(jìn)行加權(quán)組合并采用局部線性嵌入的流形學(xué)習(xí)算法對(duì)加權(quán)系數(shù){xk}，進(jìn)行估計(jì)，假設(shè)圖像中頻分量m和高頻分量h有相同的局部相關(guān)性，高頻圖像塊的估計(jì)可以從低分辨率圖像塊估計(jì)的加權(quán)系數(shù)進(jìn)行計(jì)算加權(quán)系數(shù)的優(yōu)化問(wèn)題可表示為：

Chan等[10]考慮樣本圖像對(duì)超分辨率重建算法的影響，對(duì)上述模型進(jìn)行改進(jìn)，他們考慮到不同類(lèi)型的圖像直方圖也不同，利用直方圖來(lái)篩選樣本圖像，之后再通過(guò)上述LLE模型進(jìn)行超分辨率重建。Sung等[11]將流形學(xué)習(xí)理論中的局部保持投影方法用于人臉虛幻，更有效地學(xué)習(xí)輸入圖像與樣本圖像間的對(duì)應(yīng)關(guān)系。

3.4 稀疏表示法

2008年，Yang等[12]人提出了使用圖像塊的稀疏表示來(lái)實(shí)現(xiàn)超分辨率重建。這種方法是通過(guò)隨機(jī)選取圖像塊的方式組成一個(gè)超完備字典，然后對(duì)于每一個(gè)測(cè)試塊，通過(guò)線性規(guī)劃的方法求得該測(cè)試塊在這個(gè)過(guò)完備字典下的稀疏表示，最后以這組系數(shù)加權(quán)重構(gòu)出高分辨率的圖像。這種方法克服了鄰域嵌入方法中對(duì)于鄰域大小的選擇問(wèn)題，即在求解稀疏表示的時(shí)候，無(wú)需指定重構(gòu)所需要基的個(gè)數(shù)，其表示系數(shù)和基的個(gè)數(shù)將同時(shí)通過(guò)線性規(guī)劃求解得到。然而，該方法的缺陷在于如何隨機(jī)選擇通用圖像超分辨率效果較好的過(guò)完備字典。Yu等[13]在方向插值方法中引入稀疏先驗(yàn)約束，提出空間匹配追蹤的稀疏超分辨率方法。Mallat等[14]利用圖像的多種先驗(yàn)信息，融合多個(gè)線性反演估計(jì)方法，并采用稀疏優(yōu)化方法估計(jì)系數(shù)，提出了一個(gè)自適應(yīng)的超分辨率重建框架。Wang等[15]將中頻和高頻圖像塊進(jìn)行稀疏編碼，對(duì)圖像損失的高頻信息進(jìn)行估計(jì)。朱勝火等[16]人提出了一種迭代學(xué)習(xí)冗余字典的方法，提高了超分辨率重建的效率。在超分辨率重建快速算法方面，孫玉寶等[17]人提出了基于前向后向算子分裂法和兩步迭代算法的超分辨率重建，Elad等[18]人提出了基于收縮學(xué)習(xí)方法的超分辨率重建。為了更好地保留圖像的幾何和紋理結(jié)構(gòu)，孫玉寶等[19]人提出了多形態(tài)稀疏性正則化的圖像超分辨率算法。

4 總結(jié)與展望

本文綜述了各類(lèi)超分辨率重建算法，并對(duì)其進(jìn)行比較。三大類(lèi)超分辨率重建算法各有其優(yōu)缺點(diǎn)：基于插值的算法簡(jiǎn)單、快速，但容易產(chǎn)生模糊，效果最差?；谥亟ǖ姆椒ㄡ槍?duì)圖像的空間信息比較多，在一定情況下能夠取得不錯(cuò)的效果。但是隨著圖像分辨率的提高，其重建方法的性能也急劇下降，出現(xiàn)細(xì)節(jié)丟失、邊緣模糊等問(wèn)題。基于稀疏表示的超分辨率重建方法是目前研究的熱點(diǎn)和重點(diǎn)，這種方法是從大量的訓(xùn)練樣本集中獲取先驗(yàn)知識(shí)來(lái)進(jìn)行字典訓(xùn)練，因?yàn)榧由狭讼闰?yàn)知識(shí)，它的效果是最好的，但訓(xùn)練樣本的選擇非常重要。雖然圖像超分辨率重建算法近年來(lái)越來(lái)越多，但是仍然還有許多具有挑戰(zhàn)性的問(wèn)題存在，亦值得研究。例如圖像的配準(zhǔn)和運(yùn)動(dòng)估計(jì)，這兩者是基于重建的前提和基礎(chǔ)，對(duì)重建的成功具有直接的影響；圖像去噪研究，圖像處理不管用何種算法及儀器去處理總會(huì)產(chǎn)生噪聲，一個(gè)良好的噪聲模型對(duì)于超分辨的求解也是有著非常關(guān)鍵的作用的；還有就是重建的效率及魯棒性方面。這些都是比較典型，同時(shí)也是比較有難度的問(wèn)題，對(duì)于重建效果也是有很大影響的，因此也值得我們研究。

［1］S.Farsiu,D.Robinson,M.Elad,and P.Milanfar.Advanced and Challenges in Super-Resolution[J].International Journal of Imaging Systems and Technology,2004,14(2)：47-57.

［2］D.Rajan,S.Chaudhuri.Generalized interpolation and its application in super-resolution imaging[J].Image and Vision Computing,2001,19(13)：957-969.

［3］Tao H.J,Tan G.X,Liu.J.Super resolution remote sensing image processing algorithm based on wavelet transform and interpolation[C]//Proceedings of SPIE.Hangzhou,China：Society of Photo-Optical Instrumentation Engineers,2003：259-263.

［4］S.Lertrattanapanich,N.K.Bose,High resolution image formation from low resolution frames using Delaunay triangulation[J].IEEE Transactions on Image Processing,2002,11(12)：1427-1441.

［5］M.Irani,S.Peleg.Improving resolution by image registration[J].CVGIP：Graphical Models and Image Processing,1991,53(3)：231-239.

［6］R.R.Schultz,R.L.Stevenson.Extraction of high-resolution frames form video sequences[J].IEEE Transactions on Image Processing,1996,5(6)：996-1011.

［7］H.Chang,D.-Y.Yeung,Y.Xiong.Super-resolution through neighbor embedding[C]//IEEE Computer Society Conference on Computer Vision Pattern Recognition.Washington,DCUSA：IEEE Computer Society,2004(1)：275-282.

［8］T.Chan,J.Zhang.An improved super-resolution with manifold Learning and Histogram Matching[C]//Proceedings of IAPR International Conference on Biometric：Springer Verlag,2006：756-762.

［9］S.W.Park,M.Savvides.Breaking the limitation of manifold analysis for superresolution of facial images[C]//IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP).Washington,DC USA：IEEE Computer Society,2007(1)：573-576.

［10］J.C.Yang,J.Wright,T.Huang,Y.Ma.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19(11)：2861-2873.

［11］G.Yu,S.Mallat.Sparse super-resolution with space matching pursuits[J].Signal Processing with Adaptive Sparse Structured Representations(SPARS'09),2009：1-6.

［12］S.Mallat,G.Yu.Super-resolution with sparse mixing estimators[J].IEEE Transaction on Image Processing,2010,19(1)：2889-2900.

［13］J.Wang,S.Zhu,Y.Gong.Resolution enhancement based on learning the sparse association of image patches[J].Pattern Recognition Letters,2010,31(1)：1-10.

［14］R.Zeyde,M.Elad,and M.Protter.On Single Image Scale-Up using Sparse-Representations[J].Curvesffamp;Surfaces,Avignon-France,June 24-30,2010.

［15］J.J.Wang,S.H.Zhu,Y.H.Gong.Resolution enhancement based on learning the sparse association of image patches[J].Pattern Recognition Letters,2010,31(1)：1-10.

［16］浦劍,張軍平.基于詞典學(xué)習(xí)和稀疏表示的超分辨率方法[J].模式識(shí)別與人工智能,2010,23(3)：335-340.

［17］孫玉寶,費(fèi)選,韋志輝,肖亮.基于前向后向算子分裂的稀疏性正則化圖像超分辨率算法[J].自動(dòng)化學(xué)報(bào),2010,36(9)：1232-1238.

［18］孫玉寶,韋志輝,肖亮,張錚嶸.基于稀疏表示的圖像超分辨率重建快速算法[J].系統(tǒng)工程與電子技術(shù),2010,32(12)：2696-2700.

［19］孫玉寶,韋志輝,肖亮,張錚嶸,呂戰(zhàn)強(qiáng).多形態(tài)稀疏性正則化的的圖像超分辨率算法[J].電子學(xué)報(bào),2010,38(12)：2898-2903.