基于學(xué)習(xí)的數(shù)字圖像超分辨率技術(shù)概述

摘 要：數(shù)字圖像超分辨率技術(shù)就是從一幅或多幅已知圖像中重建出一幅具有更高空間分辨率的圖像。這種技術(shù)自產(chǎn)生以來便受到眾多學(xué)者的親睞，產(chǎn)生了許多的相關(guān)算法。就目前而言，研究的主流是基于學(xué)習(xí)的算法?；趯W(xué)習(xí)的算法是從事先構(gòu)建的學(xué)習(xí)庫中去獲得待重建圖像的先驗知識，再在先驗知識的輔助下恢復(fù)出待重建圖像的高頻細(xì)節(jié)，從而取得較好的視覺效果。對基于學(xué)習(xí)的超分辨率重建算法進(jìn)行系統(tǒng)介紹，總結(jié)其中還存在的問題，并預(yù)測了進(jìn)一步研究的方向。

關(guān)鍵詞：數(shù)字圖像；超分辨率技術(shù)

中圖分類號：TP391.41

圖像是信息載體，是我們?nèi)祟愋畔⒌闹饕獊碓?。但是并非所有圖像都如人意，就拿我們常見的數(shù)字圖像來說，在信息的采集過程中，由于投備的硬件條件限制，拍攝過程中操作人員的素質(zhì)，信息傳輸過程中信號的干擾等，都會造成信息的丟失，最終影響圖像的質(zhì)量。超分辨率重建技術(shù)是利用一幅或多幅低分辨圖像的額外或互補(bǔ)信息來恢復(fù)出一幅具有更高分辨率的圖像。這種技術(shù)可以打破圖像在形成過程中的限制，得到具有較好的視覺效果。因此該技術(shù)在許多領(lǐng)域（如衛(wèi)星偵察、數(shù)字高清等）都有著良好的應(yīng)用前景。

超分辨率重建技術(shù)主要分為兩大類：基于重建的方法和基于學(xué)習(xí)的方法?；谥亟ǖ姆椒ㄊ浅直媛始夹g(shù)發(fā)展早期的算法，這些算法計算相對簡單，復(fù)雜度也較低，但是存在重建倍數(shù)的限制，目前更多是作為學(xué)習(xí)算法的輔助算法。

1 基于學(xué)習(xí)的超分辨率技術(shù)

在基于學(xué)習(xí)的超分辨率技術(shù)中，學(xué)習(xí)方法的通常作法是構(gòu)建一個訓(xùn)練樣本的學(xué)習(xí)庫，在庫中包含某種低分辨率圖像與其對應(yīng)的圖像的映射關(guān)系，然后利用這種映射關(guān)系，求出測試樣本圖像對應(yīng)的高頻細(xì)節(jié)的最優(yōu)解。由于學(xué)習(xí)庫的引入，待重建低分辨率圖像有更多的先驗信息可以利用，因此，基于學(xué)習(xí)的重建方法能夠比基于重建的方法取得更好的視覺效果和圖像質(zhì)量?；趯W(xué)習(xí)的超分辨率技術(shù)最早是由freeman等[1]提出的，該方法一經(jīng)提出迅速成為數(shù)字圖像超分辨率技術(shù)研究領(lǐng)域的熱點，吸引了大批專家學(xué)者參與其中。目前主流的基于學(xué)習(xí)的方法主要有基于范例學(xué)習(xí)的方法、LLE方法、虛幻臉方法和稀松表示法。

1.1 基于范例學(xué)習(xí)的方法

基于范例學(xué)習(xí)的方法是freeman等人[1，2]最先提出的，他們利用馬爾可夫網(wǎng)絡(luò)建立高低分辨率圖像之間的映射關(guān)系。然后將高分辨率圖像經(jīng)過模糊平滑處理后下采樣，得到對應(yīng)的低分辨率圖像，再將低分辨率圖像通過雙線性插值或三次插值來得到與高分辨率圖像大小一致的圖像，然后將它們分塊，通過學(xué)習(xí)獲得高分辨率塊之間和高低分辨率塊之間的變換關(guān)系，對于用于測試的低分辨率圖像塊，只要找到其在馬爾可夫網(wǎng)絡(luò)中的位置，根據(jù)馬爾可夫網(wǎng)絡(luò)的對應(yīng)關(guān)系找到其對應(yīng)的一些高分辨率塊，再根據(jù)訓(xùn)練得到的變換關(guān)系計算出高頻分量添加進(jìn)去。

這種方法是基于學(xué)習(xí)方法中最早被提出來的，也是其他基于學(xué)習(xí)方法的基礎(chǔ)，該方法相較于重建的方法能利用更多的高頻信息，在放大倍數(shù)和重建質(zhì)量上都有很大的提升，但是對于訓(xùn)練樣本的選擇要求較高，算法復(fù)雜度也大大提高，并且這種方法對噪聲非常敏感。

1.2 領(lǐng)域嵌入法

Chang等[3]創(chuàng)造性地將流形學(xué)習(xí)方法引入超分辨率重建中，在該方法中，他們假定高低分辨率圖像塊在特征子空間中具有的相似的流形結(jié)構(gòu)，待重建圖像塊通過在低分辨率圖像塊學(xué)習(xí)庫尋找它的k近鄰表示，然后用這些系數(shù)與這k個近鄰對應(yīng)的高維流形塊加權(quán)得到高分辨率塊。

領(lǐng)域嵌入法相較于基于例子的方法需要更少的訓(xùn)練樣本，并且對噪聲的敏感性也有所改善，但是領(lǐng)域嵌入方法的領(lǐng)域保持特性并不總是成立，所以這種方法需要選擇合適的圖像塊的特征才能取得好的效果。

1.3 虛幻臉方法

虛幻臉方法最早是由baker和kanade[4]提出的，他們首次將超分辨率重建算法用于人臉這一特定領(lǐng)域，由于圖像數(shù)據(jù)是人臉，可以較多的隱含先驗信息使用，他們的算法中僅從學(xué)習(xí)庫中選擇與待重建塊最相似的塊作為輸出，且在放大8倍的情況下取得了不錯的效果。

虛幻臉方法使用了人臉這一重要的先驗知識，在特征臉的幫助下使重建效果大幅提高，但是對于有豐富表情的人臉，重建質(zhì)量還有待提高。

1.4 稀松表示法

稀松表示是由Yang等人[5]最新提出的圖像超分辨率實現(xiàn)方法，這種方法是從訓(xùn)練庫的圖像中選擇圖像塊組成一個過完備的字典，然后在這個過完備字典中利用線性規(guī)劃方法求得待重建圖像塊的稀松表示，最后利用這組系數(shù)重建出高分辨率圖像塊。

稀松表示方法相較于領(lǐng)域嵌入方法來說，不用規(guī)定領(lǐng)域的大小，系數(shù)的多少是由線性規(guī)劃求解得到的。但是該方法對于過完備字典的選擇問題不易解決，隨機(jī)選擇重建質(zhì)量不佳。

2 基于學(xué)習(xí)方法的總結(jié)和展望

基于學(xué)習(xí)的圖像分辨率技術(shù)雖然打破了傳統(tǒng)方法在放大倍數(shù)上的限制，能取得很好的重建效果，但是重建質(zhì)量嚴(yán)重依賴學(xué)習(xí)庫的構(gòu)建，而且學(xué)習(xí)方法的樣本訓(xùn)練時間較長，計算復(fù)雜度很高。未來基于某一領(lǐng)域的重建方法會得到較大發(fā)展（如類似虛幻臉的方法），有了某個領(lǐng)域的信息作為先驗，構(gòu)建的學(xué)習(xí)庫與待重建圖像的相關(guān)性將大大增強(qiáng)。目前大多數(shù)關(guān)于超分辨率重建的文章都只側(cè)重了算法重建的圖像質(zhì)量，在重建速度方面提及較少，如果能在時間復(fù)雜度上有所突破，將大大推進(jìn)該技術(shù)的實用性?，F(xiàn)在學(xué)者們對超分辨率技術(shù)的研究都集中在了算法的提出和改進(jìn)，而忽略了對這個問題本身的理論研究。

參考文獻(xiàn)：

[1]Freeman W .T.，Jones T.R.，Pasztor E.C..Example based super-resolution[J].IEEE Computer Graphics and Applications，2002（02）：56-65.

[2]Freeman W .T.，Pasztor E.C.，Caemichael O.T..Learning low level vision[J].International Journal of Computer Vision，2000（01）：25-47.

[3]Chang H.，Yeung D.Y.，Xiong Y..Super-resolution through neighbor embedding[C].Proceedings of IEEE Conf CVPR. Washington，DC：IEEE Press，2004：275-282.

[4]Baker S.， Kanade T.. Hallucinating faces[C].Fourth International Conference on Automatic Face and Gesture Recognition.Grenoble，F(xiàn)rance：IEEE Press，2000：83-89.

[5]Yang J.C.，Wright J.，Ma Y.，et al.Image super-resolution as sparse representation of raw image patches[C].Proceedings of IEEE Conf CVPR.Anchorage，Alaska：IEEE Press，2008：1-8.

作者簡介：羅喜君（1988-），男，四川南充人，研究生，工學(xué)碩士，計算機(jī)軟件與理論專業(yè)，研究方向：數(shù)字圖像處理。

作者單位：云南師范大學(xué)信息學(xué)院，昆明 650500