挖掘理想重建圖像自相似性的超分辨率

李鍵紅 吳亞榕 詹瑾

摘 ? 要：為了解決圖像超分辨率過(guò)程中訓(xùn)練步驟對(duì)海量數(shù)據(jù)的過(guò)于依賴、先驗(yàn)泛化能力不強(qiáng)等問(wèn)題，進(jìn)一步提高重建圖像的質(zhì)量，提出了一種新的圖像超分辨率算法. 首先對(duì)圖像自相似性理論進(jìn)行擴(kuò)展，指出理想重建圖像自相似性表現(xiàn)極為強(qiáng)烈，而受降質(zhì)因素干擾的重建圖像自相似性則會(huì)明顯減弱. 本文將這一規(guī)律視為先驗(yàn)，通過(guò)構(gòu)建聯(lián)合高斯混合模型對(duì)其進(jìn)行描述，這使得每個(gè)重建圖像片的自相似性都能夠用一個(gè)特定的高斯分布進(jìn)行刻畫，最后算法以迭代的方式分片重建整幅高分辨率圖像. 在為每個(gè)高分辨率圖像片建模的過(guò)程中，為了使訓(xùn)練樣本具有較強(qiáng)的一致性，僅使用輸入圖像中與其空間位置相近的圖像片進(jìn)行訓(xùn)練. 該算法避開(kāi)了易于引入誤差的最近鄰域查找步驟，且成本函數(shù)存在解析解. 實(shí)驗(yàn)表明該算法重建圖像清晰、自然，重建結(jié)果中的顯著邊緣和紋理結(jié)構(gòu)都得到了有效保持，正確的高頻信息得到了明顯恢復(fù). 在將BSD500部分?jǐn)?shù)據(jù)集放大3倍的實(shí)驗(yàn)中，本文算法的PSNR平均值高于MMPM算法0.529 db，SSIM平均值高于MMPM算法0.030.

關(guān)鍵詞：?jiǎn)螏瑘D像超分辨率;自相似性;高斯混合模型;概率密度函數(shù);最大后驗(yàn)概率;維納濾波解

中圖分類號(hào)：TP391.4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A

Image Super-resolution by Exploiting

Self-similarity of Ideal Reconstruction

LI Jianhong1，WU Yarong2，ZHAN Jin3

（1. School of Information Science and Technology，Guangdong University of Foreign Studies，Guangzhou 510006，China;

2. School of Mechatronic Engineering，Zhongkai University of Agriculture and Engineering，Guangzhou 510225，China;

3. School of Computer Science，Guangdong Polytechnic Normal University，Guangzhou 510665，China）

Abstract：To solve the problems such as over-reliance on massive data and weak prior generalization ability in the training procedure of image super-resolution，thus further to improve the quality of reconstructed high resolution image，a new image super-resolution algorithm was proposed. This paper firstly extends the theory of image self-similarity and points out that the self-similarity of ideal reconstruction image is extremely strong，but this property can be sharply weakened when the reconstructed image is attacked with some degradation factors. Then this discovery is considered as a prior and described by constructing a joint Gaussian mixture model，so that the self-similarity of each reconstructed image patch in the prior term can be represented by a specific Gaussian distribution. For maintaining the training samples' consistency，only the image patches extracted in the input image closed to its spatial position are permitted to join in the modeling process for each high-resolution image patch. This style can avoid the step of finding the nearest neighbors which is liable to introduce errors. Finally，the whole high-resolution image can be reconstructed patch-wise in an iterative way. Extensive experiments demonstrate that the reconstructed images generated by the proposed algorithm are clear and natural，in which the salient edges and texture structures are effectively preserved，and the correct high-frequency information is recovered. The 3× super-resolution experiment in BSD500 shows that the average PSNR is higher 0.529 db than the state-of-the-art algorithm MMPM，and the average SSIM is 0.030 higher than ?MMPM.

Key words：single image super-resolution;self-similarity;Gaussian mixture model;probability density function;maximum posterior probability;Wiener filter solution

圖像超分辨率是指通過(guò)軟件計(jì)算的方式處理一幅低分辨率圖像，估計(jì)對(duì)應(yīng)高分辨率圖像的技術(shù). 它是常見(jiàn)的信號(hào)編輯形式，是低成本獲取高分辨率圖像的主要手段，廣泛應(yīng)用于空間遙感、視頻監(jiān)控及數(shù)字家庭等場(chǎng)景. 近年來(lái)，由于潛在廣闊市場(chǎng)地驅(qū)動(dòng)，以及飛速發(fā)展的軟/硬件支持，超分辨率取得了顯著進(jìn)展，已成為學(xué)術(shù)界討論的熱點(diǎn)話題.

一般來(lái)說(shuō)，根據(jù)低分辨率圖像反推對(duì)應(yīng)的高分辨率圖像是一個(gè)典型的病態(tài)逆問(wèn)題[1]. 為了得到清晰可靠的重建圖像，人們通常引入先驗(yàn)對(duì)高分辨率圖像的重建過(guò)程進(jìn)行約束，先驗(yàn)恰當(dāng)與否和重建圖像質(zhì)量密切相關(guān). 根據(jù)引入先驗(yàn)形式的不同，超分辨率算法大致可分為插值法、重建法和學(xué)習(xí)法三類.

基于學(xué)習(xí)的方法指的是借助外界高分辨率圖像建立訓(xùn)練集，并利用訓(xùn)練集歸納低/高分辨率圖像間的映射，使先驗(yàn)以隱含的方式包含在映射中. 這類方法能夠有效地恢復(fù)成像過(guò)程中丟失的高頻信息，生成在輸入圖像中觀察不到的細(xì)節(jié)，從而使其倍受重視，成為超分辨率技術(shù)的主流. Yang等[2]將稀疏表示的思想引入到超分辨率中，用不同尺度的圖像片聯(lián)合訓(xùn)練字典. 但該方法導(dǎo)致字典中與輸入圖像片差異很大的“原子”參與計(jì)算，在重建結(jié)果中產(chǎn)生噪聲. Timofte等[3]將稀疏表示與鄰域嵌入相結(jié)合，對(duì)每一個(gè)低分辨率圖像片，在字典中查找距離它最近的“原子”，利用該“原子”在字典中的k近鄰構(gòu)建矩陣算子. 在此基礎(chǔ)上，Timofte等[4]進(jìn)一步挖掘初始的訓(xùn)練圖像，再次提升此算法的性能. 深度學(xué)習(xí)在超分辨率中也得到了廣泛應(yīng)用[5-7]. ?但這類算法通常需要借助圖形處理單元（Graphics Processing Unit，GPU）訓(xùn)練海量圖像，以確定神經(jīng)節(jié)點(diǎn)的權(quán)重. 在訓(xùn)練過(guò)程中，先驗(yàn)不易在此類方法中發(fā)揮作用，限制了重建圖像的質(zhì)量以及重建過(guò)程的穩(wěn)定性.

近年來(lái)，自相似性在圖像處理中得到了廣泛應(yīng)用[8-13]. 這一性質(zhì)指的是當(dāng)從局部入手（即圖像中的一個(gè)5 × 5、7 × 7或其他小尺寸的圖像片）對(duì)圖像進(jìn)行考察時(shí)，會(huì)在這幅圖像自身或更高＼低尺度內(nèi)的其他位置發(fā)現(xiàn)與之尺寸相同、包含內(nèi)容極其相似的圖像片[8-10]. ?基于自相似性的超分辨率算法把輸入圖像視作樣本，訓(xùn)練模型、估計(jì)高分辨率圖像. Glasner等[8]提出一個(gè)整合式的超分辨率框架，把相似圖像片視為同一場(chǎng)景的不同視圖，整合多幀圖像超分辨率和基于學(xué)習(xí)的超分辨率兩種思想對(duì)圖像進(jìn)行放大. 然而對(duì)于自相似性弱的圖像，某些圖像片查找到的最近鄰域會(huì)與之存在較大差異，使重建結(jié)果中出現(xiàn)噪聲，甚至引入錯(cuò)誤高頻. 另外，該方法需要在輸入圖像的多尺度中搜索最近鄰域，算法相對(duì)耗時(shí). Freedman等[14]經(jīng)驗(yàn)性地指出自然圖像中幾乎所有圖像片在其自身或較低尺度內(nèi)的最近鄰域，只需在該圖像片所在位置附近檢索就能查找到. Yang等[15]進(jìn)一步在理論上通過(guò)數(shù)學(xué)推導(dǎo)對(duì)這一性質(zhì)加以證明. 這使得查找最近鄰域消耗的時(shí)間顯著縮短，然而由于使用的訓(xùn)練樣本數(shù)量有限，導(dǎo)致此類方法的重建圖像在邊緣位置過(guò)于銳利，看上去不夠自然. 為了解決此種“小樣本”問(wèn)題，He等[16]引入高斯過(guò)程回歸，在每個(gè)圖像區(qū)域內(nèi)構(gòu)建樣本集合、訓(xùn)練參數(shù). 但該算法沒(méi)有挖掘區(qū)域間的關(guān)聯(lián)關(guān)系，使得重建結(jié)果中的顯著邊緣產(chǎn)生變形，附近存在噪聲. 基于同樣的目的，Huang等[17]通過(guò)變換矩陣對(duì)輸入圖像片進(jìn)行特定的幾何變形，不僅擴(kuò)展了最近鄰域的查找空間，而且使圖像片間的匹配更加準(zhǔn)確，提高了重建圖像質(zhì)量. 該算法對(duì)于直線條居多、無(wú)復(fù)雜紋理的“建筑場(chǎng)景”效果較好，但對(duì)包含復(fù)雜紋理的“自然風(fēng)光”而言，由于幾何變形導(dǎo)致了紋理結(jié)構(gòu)的失真，在重建圖像的對(duì)應(yīng)區(qū)域會(huì)出現(xiàn)偽影.

另外，自相似性先驗(yàn)表達(dá)式在眾多領(lǐng)域也得到了應(yīng)用[18-21]. 自相似性先驗(yàn)表達(dá)式通常會(huì)與其他先驗(yàn)如局部平滑先驗(yàn)、稀疏先驗(yàn)、低秩先驗(yàn)等結(jié)合使用. 算法一般先查找若干最近鄰域，然后借助這些相似圖像片的稀疏系數(shù)相似或相似圖像片構(gòu)成的矩陣具有低秩結(jié)構(gòu)等特點(diǎn)設(shè)計(jì)先驗(yàn)表達(dá)式. 為了確定模型參數(shù)，這些算法仍需外界圖像參與訓(xùn)練. 成本函數(shù)中的先驗(yàn)表達(dá)式由多項(xiàng)構(gòu)成，此類算法求解計(jì)算復(fù)雜、耗時(shí)，不易在實(shí)際中使用.

本文挖掘理想高分辨率圖像的自相似性，提出了一種簡(jiǎn)單、高效的超分辨率算法，創(chuàng)新點(diǎn)如下：

1）拓展了自相似性概念. 重建高分辨率圖像越清晰，它體現(xiàn)出的自相似性就越強(qiáng)烈;當(dāng)高分辨率圖像中存在噪聲、模糊等因素影響或缺失高頻信息時(shí)，它所體現(xiàn)出的自相似性會(huì)明顯減弱. 基于此性質(zhì)，提出了一種新的先驗(yàn)，通過(guò)對(duì)低分辨率圖像進(jìn)行建模、推導(dǎo)后發(fā)現(xiàn)，滿足這一先驗(yàn)的重建圖像，它的任意圖像片都服從于某個(gè)特定的高斯分布.

2）設(shè)計(jì)了一個(gè)迭代框架，在每次迭代中，使用前次估計(jì)的高分辨率結(jié)果結(jié)合輸入圖像構(gòu)造訓(xùn)練集合. 對(duì)每個(gè)圖像片，考慮到圖像內(nèi)容的連貫性，該算法使用輸入圖像中與之空間位置較近的圖像片集合構(gòu)造訓(xùn)練樣本，并采用快速更新的方式確定模型參數(shù). 實(shí)驗(yàn)表明，該算法對(duì)于恢復(fù)圖像高頻細(xì)節(jié)，保持圖像紋理結(jié)構(gòu)等有顯著優(yōu)勢(shì).

3）該算法簡(jiǎn)單、高效，不僅無(wú)需外界樣本參與，而且避開(kāi)了耗時(shí)的最近鄰域查找步驟. 另外，在高斯混合模型建模、參數(shù)更新的過(guò)程中僅使用少量高斯成分，成本函數(shù)方程存在閉合解. 更為重要的是該算法能夠根據(jù)輸入圖像的不同而自動(dòng)進(jìn)行模型參數(shù)的調(diào)整，使得該算法更為魯棒，易于擴(kuò)展到圖像去噪、復(fù)原等其他領(lǐng)域.

1 ? 相關(guān)工作

圖像在成像過(guò)程中會(huì)受到相對(duì)運(yùn)動(dòng)、聚焦失準(zhǔn)等復(fù)雜因素干擾，很難找到一個(gè)完美的數(shù)學(xué)模型來(lái)精確刻畫成像過(guò)程，因此在實(shí)際應(yīng)用中，對(duì)于圖像的超分辨率問(wèn)題，通常用一個(gè)線性系統(tǒng)對(duì)整個(gè)成像過(guò)程進(jìn)行模擬[1]：

Y = DHX + n， ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

式中：X∈RMN和Y∈RMN/s2 是來(lái)自同一場(chǎng)景，但分辨率不同的兩幅圖像，X是未知的高分辨率圖像;Y是人眼能夠觀察得到的低分辨率圖像，（為了操作方便，此時(shí)的圖像X和Y已通過(guò)字典排序的方式轉(zhuǎn)換成向量的形式，M代表圖像的像素點(diǎn)行數(shù)，N代表圖像的像素點(diǎn)列數(shù)，R表示像素點(diǎn)的亮度取值自實(shí)數(shù)空間范圍，s表示X和Y間的縮放倍數(shù)）;矩陣D和H分別對(duì)應(yīng)成像過(guò)程中的下采樣和低通濾波操作;n∈RMN/s2 是成像過(guò)程中產(chǎn)生的加性高斯白噪聲，滿足n ～ N（0，σ2I），σ為描述噪聲等級(jí)的標(biāo)準(zhǔn)差，I為單位矩陣. 圖像X和Y的尺寸分別為M × N和M/s × N/s. 顯然對(duì)于一幅低分辨率圖像Y而言，X存在著無(wú)窮多的解與之匹配. 為了得到一個(gè)滿意的解X*，先驗(yàn)知識(shí)的引入就變得尤為關(guān)鍵. 一般情況下這類問(wèn)題可以描述為一個(gè)最大后驗(yàn)概率方程：

X* = ‖Y - DHX‖22 + λP（X） ? ?（2）

式中：‖Y - DHX‖22 為保真項(xiàng)，使重建高分辨率圖像經(jīng)過(guò)成像模型處理后，與輸入的低分辨率圖像盡可能相似;P（X）為先驗(yàn)項(xiàng)，用于確保高分辨率圖像滿足先驗(yàn)P的約束;λ = σ2/η2是兩項(xiàng)間的平衡系數(shù)（η是尺度縮放因子）. 然而圖像就其整體而言內(nèi)容豐富、結(jié)構(gòu)多樣，很難找到統(tǒng)一形式的先驗(yàn). 但當(dāng)從小局部（如5×5、7×7的圖像片）進(jìn)行觀察時(shí)，圖像片內(nèi)容單一，有極強(qiáng)的規(guī)律性，易于描述. 因此通常從圖像片出發(fā)對(duì)先驗(yàn)項(xiàng)建模，將P（X）表述為：

式中：Pi為抽取矩陣，負(fù)責(zé)抽取未知高分辨率圖像X中的i第個(gè)圖像片，即Pi X = xi，xi∈Ra2 ，a為圖像片的尺寸;ρ（xi）為第i個(gè)圖像片xi的先驗(yàn)表達(dá)式，它的具體表示形式因選擇先驗(yàn)的不同而不同，對(duì)應(yīng)成本函數(shù)的求解過(guò)程也不一樣. 一般而言，這類問(wèn)題的成本函數(shù)是非凸的，直接求解會(huì)非常困難. 常見(jiàn)的思路是為變量xi引入輔助變量，使用“半二次分裂”（Half Quadratic Splitting，HQS）算法求解[22].

高斯混合模型（Gaussian Mixture Model，GMM）因其思想簡(jiǎn)單、推導(dǎo)方便、能準(zhǔn)確描述任意概率密度函數(shù)等特點(diǎn)備受研究人員青睞. 近年來(lái)，將GMM作為先驗(yàn)形式在計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域得到了廣泛應(yīng)用，在圖像分割、恢復(fù)、視頻壓縮等方向展現(xiàn)出了極高的效率[23-24]. 它的基本形式為：

式中：z∈Rd是一個(gè)d維隨機(jī)向量;K為高斯混合模型高斯成分的個(gè)數(shù);參數(shù)πk、 μk和∑k分別表示第k個(gè)高斯成分的權(quán)重系數(shù)、均值向量和協(xié)方差矩陣. 第k個(gè)高斯成分的表達(dá)式為：

根據(jù)高斯混合模型的定義可知，πk = 1，對(duì)于參數(shù)集合{πk，μk，∑k}K ? k=1的估計(jì)，通常采用期望最大化（Expectation Maximization，EM）進(jìn)行.

與本文算法在形式上相似，但又存在本質(zhì)差異的工作包括PLE[25]、EPLL[26]、LINE[27]、J-GMM[28]和 MMPM[29]. 其中 EPLL、J-GMM 均使用高斯混合模型對(duì)外界海量圖像片進(jìn)行建模，進(jìn)而假定未知圖像片由混合模型中的某個(gè)高斯成分生成，然后通過(guò)最大后驗(yàn)概率估計(jì)將該成分找到，最后使用均值向量和協(xié)方差矩陣計(jì)算維納濾波解. 然而圖像中存在大量的圖像片，并不服從這一假設(shè). 它們需要借助多個(gè)高斯成分或混合模型之外的新成分才能準(zhǔn)確生成. 這使得信號(hào)估計(jì)過(guò)程中，僅使用某個(gè)高斯成分的均值向量和協(xié)方差矩陣計(jì)算的維納濾波解不準(zhǔn)確，導(dǎo)致重建圖像中存在噪聲和模糊現(xiàn)象. MMPM算法與J-GMM算法步驟相同，區(qū)別在于它使用學(xué)生氏分布替換混合模型中的高斯成分，在重建結(jié)果中同樣存在少量噪聲和模糊. PLE和LINE算法也從上述假設(shè)出發(fā)，先查找待恢復(fù)圖像片在訓(xùn)練集中的最近鄰域，再通過(guò)這組最近鄰域直接構(gòu)建混合模型中能夠生成對(duì)應(yīng)圖像片的高斯成分. 然而查找最近鄰域步驟過(guò)于耗時(shí)，同時(shí)這種硬閾值聚類的形式減弱了訓(xùn)練樣本間的一致性，導(dǎo)致高斯成分所涉及到的參數(shù)不準(zhǔn)確，在重建結(jié)果中易出現(xiàn)噪聲.

本文僅使用輸入圖像構(gòu)建訓(xùn)練集，對(duì)每一個(gè)待超分辨率的圖像片，在訓(xùn)練集中選擇空間位置相近的圖像片進(jìn)行聯(lián)合高斯混合模型訓(xùn)練，利用高斯混合模型，得到每一個(gè)未知的高分辨率圖像片都服從一個(gè)“特定”的高斯分布這一結(jié)論. 最后利用混合模型之外某個(gè)高斯分布的均值向量和協(xié)方差矩陣估計(jì)對(duì)應(yīng)的高分辨率圖像片.

2 ? 理想重建圖像自相似性超分辨率

2.1 ? 訓(xùn)練集構(gòu)造

自相似性是圖像自身固有的一種性質(zhì)，它指的是在圖像中任意抽取的圖像片會(huì)在這幅圖像自身其他位置或其他尺度內(nèi)重復(fù)出現(xiàn)的現(xiàn)象. 在這一基礎(chǔ)上，對(duì)自相似性進(jìn)行擴(kuò)展. 通過(guò)進(jìn)一步實(shí)驗(yàn)，發(fā)現(xiàn)在超分辨率工作中，越是清晰的高分辨率重建圖像，圖像片重復(fù)出現(xiàn)的能力就越強(qiáng)烈;但在含有噪聲、模糊或缺失高頻信息的高分辨率重建圖像中，圖像片的重現(xiàn)能力明顯減弱. 如圖1所示，中間的小圖像為輸入低分辨率圖像，圖1為其不同的超分辨率版本. 對(duì)于4幅圖像中某個(gè)位置的圖像片，在對(duì)應(yīng)的低分辨率圖像中查找最近鄰域，可以發(fā)現(xiàn)這4個(gè)來(lái)自不同版本同一位置的圖像片，在低分辨率圖像中的最近鄰域都能夠在這個(gè)位置附近找到. 更為重要的是：只有在理想超分辨率圖像中的圖像片，它找到的最近鄰域才與之在外觀上相似;其他版本中這個(gè)圖像片找到的最近鄰域，在外觀上都與之存在差異. 在BSD500數(shù)據(jù)集中進(jìn)行類似的實(shí)驗(yàn)，發(fā)現(xiàn)絕大多數(shù)的圖像都存在上述特點(diǎn). 因此可以認(rèn)為在超分辨率算法中，重建高分辨率圖像越清晰，它所體現(xiàn)出的自相似性越強(qiáng)烈;但當(dāng)高分辨率重建結(jié)果中存在噪聲、模糊或缺失高頻信息等因素時(shí)，它所體現(xiàn)出的自相似性會(huì)顯著減弱.

借助這一規(guī)律，提出一種新的超分辨率算法，采用迭代的方式，用輸入圖像Y估計(jì)對(duì)應(yīng)高分辨率圖像X. 算法迭代框架如圖2所示，假定前一次迭代估算的高分辨率圖像X未滿足算法要求，將其視為理想高分辨率圖像的低頻版本，替換當(dāng)前低頻圖像X′，實(shí)現(xiàn)了X′的更新，然后將X′使用雙三次方法下采樣 s倍，得到與輸入圖像同尺寸的低分辨率圖像Y′. 此時(shí)X為未知的高分辨率圖像，X和Y′可以視為X和X′通過(guò)成像模型處理的低分辨率版本，X′和Y′可以視為X和Y的低頻版本.

根據(jù)上述的圖像自相似性擴(kuò)展規(guī)律可知，如果 X和X′相對(duì)于Y和Y′足夠清晰，那么在X和X′中抽取的圖像片Xi和X′i（xi∈Ra2 ，a為抽取圖像片的尺寸），應(yīng)該能夠在其對(duì)應(yīng)的低分辨率版本Y和Y′中找到重現(xiàn)，即存在圖像片yj和y′j，其外觀與xi和x′i高度相似，即圖像片xi和x′i在Y和Y′的圖像片聯(lián)合的概率密度函數(shù)中以最高的概率存在.

基于上述分析，將圖像的超分辨率問(wèn)題構(gòu)造如下：對(duì)于未知的高分辨率圖像片xi，先構(gòu)造訓(xùn)練數(shù)據(jù)集，抽取Y和Y′中的圖像片進(jìn)行連結(jié)，得到訓(xùn)練數(shù)據(jù)集{yj;y′j}，其中yj和y′j表示分別從Y和Y′中抽取的第j個(gè)圖像片. 將理想的高分辨率圖像X中抽取的圖像片xi和缺失高頻成分的高分辨率圖像X′中對(duì)應(yīng)的圖像片x′i相連結(jié)，得到向量[xi;x′i]. 根據(jù)圖像的自相似規(guī)律可知：[xi;x′i]在訓(xùn)練集合{[yj;y′j]}中的概率密度函數(shù)中應(yīng)以最高的概率存在. 考慮到圖像內(nèi)容本身有很強(qiáng)的連貫一致性，為了使得到的概率密度函數(shù)更準(zhǔn)確，在構(gòu)造xi的訓(xùn)練集時(shí)，我們?cè)赮和Y′中分別設(shè)定一個(gè)w×w的滑動(dòng)窗口，其當(dāng)前中心位置與xi位置相同，僅將窗口中的圖像片集合作為xi的訓(xùn)練集，窗口外的內(nèi)容不參與圖像片xi的計(jì)算. 考慮到窗口內(nèi)能夠抽取的圖像片有限，參與計(jì)算的樣本可能不足，我們將窗口中的內(nèi)容進(jìn)行旋轉(zhuǎn)和鏡像操作，并從這些旋轉(zhuǎn)和鏡像圖像對(duì)應(yīng)的窗口中抽取圖像片以此擴(kuò)充訓(xùn)練樣本.

2.2 ? 自相似先驗(yàn)設(shè)計(jì)

對(duì)于每個(gè)圖像片xi所使用的訓(xùn)練集合{[yj;y′j]}，yj∈Ra2 ，y′j∈Ra2 ，引入高斯混合模型逼近訓(xùn)練集的概率密度函數(shù)，如式（6）所示：

Pyjy′j=πk Nyjy′jμykμy′k，∑yyk ?∑yy′k ?∑y′yk ? ?∑y′y′k ? ?（6）

式中：向量μk = [μyk;μy′k]和矩陣∑k = [∑yyk，∑yy′k ?，∑y′yk ? ，∑y′y′k ? ]分別表示第k個(gè)高斯混合模型的均值向量和協(xié)方差矩陣，內(nèi)部的元素向量μyk、 μy′k和矩陣∑yyk、∑y′y′k ? 分別表示訓(xùn)練集合聯(lián)結(jié)前的圖像片向量集合{yj}和{y′j}在高斯混合模型聚類結(jié)果中第k簇兩組圖像片的均值向量和協(xié)方差矩陣，∑yy′k ?、∑y′yk ? 是第k簇訓(xùn)練樣本中兩組圖像片的協(xié)方差矩陣，按照協(xié)方差矩陣的定義∑yy′k ? = （∑y′yk ? ）T（T表示對(duì)矩陣進(jìn)行轉(zhuǎn)置操作），πk表示高斯混合模型中第k個(gè)高斯成分的權(quán)重. 式（6）中高斯混合模型參數(shù)集Ω = {πk，μk，∑k}K ? k=1的求解采用EM算法，分為E步和M步迭代進(jìn)行估計(jì).

然而，在實(shí)際執(zhí)行過(guò)程中，如果對(duì)每一個(gè)高分辨率圖像片的估計(jì)都使用EM算法進(jìn)行模型訓(xùn)練，會(huì)導(dǎo)致算法的執(zhí)行異常復(fù)雜，不能在可容忍時(shí)間范圍內(nèi)結(jié)束計(jì)算. 為了解決這一問(wèn)題，使用參數(shù)自動(dòng)更新的EM算法進(jìn)行模型訓(xùn)練[30]. 由于相鄰兩個(gè)高分辨率圖像片存在內(nèi)容重復(fù)，其對(duì)應(yīng)的參數(shù)間有著密切的關(guān)系，后一個(gè)圖像片的參數(shù)集能夠借助前一個(gè)圖像片模型的訓(xùn)練結(jié)果，僅使用新出現(xiàn)的樣本對(duì)參數(shù)集進(jìn)行更新，既能夠快速完成訓(xùn)練，又能夠保證模型的準(zhǔn)確程度. 圖3中算法詳細(xì)地列出了模型參數(shù)更新的具體步驟.

Input：LR image Y;upsampling factor s

Output：Reconstructed HR image X

X = upsampling（Y，s）% bicubic

For t = 1 ： T do

X′ = X;

Y′ = downsampling（X′，s）;% bicubic

{π′k，μ′k，Σ′k} = initialize（Y，Y′）;% with EM

For each patch x′iextracted from X′

{yj，y′j} = training（Y，Y′）;

zl = [yl;y′l];% l = 1，2，…，M

For k = 1 ∶ K

For each new example zi

γ（k|zi，Ω） = ;

nk = γ（zi | μk，∑k）;

End For;

πk = [απ（nk /M） + （1 - απ）π′k]nk;

μk = αμπk zi /πk +（1 - αμ）μ′k;

Σk = αΣ?+ （1 - αΣ）∑′k

End For

Compute μ Xi and ∑ Xi with the GMM

parameters Ω = {πk，μk，∑k};

Estimate xi with μ Xiand ∑ Xi;

End For

Estimate the HR image X with {xi}N ?i=1;

End For

Return X

對(duì)于未知的高分辨率圖像X，把從中抽取的圖像片xi和在圖像X′中相同位置的圖像片 進(jìn)行連結(jié)，得到對(duì)應(yīng)的連結(jié)向量[xi ;x′i]，它在訓(xùn)練集合的概率密度函數(shù)中存在的概率可以表示為：

進(jìn)而可以發(fā)現(xiàn)xi 的條件概率服從一個(gè)特定的高斯分布：

P（xi |x′i，Ω）～N（xi | μXi，∑Xi） ? ? ? ? （8）

式中：μXi為這個(gè)高斯分布的均值向量，∑Xi為這個(gè)高斯分布的協(xié)方差矩陣，它們的表達(dá)式分別為：

其中Δik和（Δik）2分別為式（9）和式（10）中的公共因子，Δik的具體表達(dá)式為：

事實(shí)上Δik描述了圖像片x′i由當(dāng)前所訓(xùn)練的高斯混合模型中第k個(gè)高斯成分生成的后驗(yàn)概率. 在實(shí)驗(yàn)中發(fā)現(xiàn)，在高斯成分個(gè)數(shù)K確定的前提下，對(duì)于絕大多數(shù)的圖像片而言，集合{Δik}是稀疏的，即絕大多數(shù)Δik值為0，或非常接近0，尤其是混合模型中高斯成分的個(gè)數(shù)K = 3時(shí)，僅使用Δik取最大值時(shí)所對(duì)應(yīng)的高斯成分，即第Δik個(gè)高斯成分，可準(zhǔn)確表示μXi和∑Xi（在實(shí)驗(yàn)部分，將進(jìn)一步對(duì)圖像片的該性質(zhì)進(jìn)行說(shuō)明），Δik的表達(dá)式為：

式（12）表示在第i個(gè)圖像片所對(duì)應(yīng)的高斯混合模型分布中，第k*i個(gè)高斯成分對(duì)應(yīng)的公共因子Δik*i值最大，N表示在圖像X中抽取圖像片的總數(shù). 因此圖像片xi對(duì)應(yīng)的特定高斯分布的均值向量 μXi和協(xié)方差矩陣∑Xi可以近似表示為：

μXi≈ μyk*i +∑yy′k*i ? （∑y′y′k*i ? ）-1（x′i - μy′k*i） ? ?（13）

∑Xi≈∑yk*i -∑yy′k*i ? （∑y′k*i ）-1∑y′yk*i ? ? ? ? ?（14）

通過(guò)上述推導(dǎo)，理想的重建圖像中任意抽取的圖像片x其自相似先驗(yàn)的具體表達(dá)式為：

ρ（x） = （xi ?- μXi）T∑-1Xi （xi ?- μXi） ? ? ?（15）

進(jìn)而，整幅圖像的自相似性先驗(yàn)表示為：

P（X） = （Pi X - μXi）T∑-1Xi （Pi X - μXi） ? ? ?（16）

式中：N為在未知超分辨率圖像X中抽取的圖像片數(shù)量;Pi為一個(gè)預(yù)先設(shè)定的抽取矩陣，用于抽取X中的第i個(gè)圖像片. 由于式（15）（16）中所描述的先驗(yàn)知識(shí)是對(duì)未知的高分辨率圖像中的每一個(gè)圖像片在較低尺度中重現(xiàn)的概率進(jìn)行估計(jì)，是對(duì)理想重建高分辨率圖像的一種刻畫，因此將這一先驗(yàn)知識(shí)稱為理想重建圖像自相似先驗(yàn).

2.3 ? 高分辨率圖像重建

先驗(yàn)的表達(dá)式確定后，該算法的成本函數(shù)就能夠通過(guò)這個(gè)具體先驗(yàn)表達(dá)式進(jìn)一步構(gòu)造出來(lái). 在本文的超分辨率重建算法中，要求得到的超分辨率重建結(jié)果在滿足理想重建圖像自相似性先驗(yàn)的同時(shí)，重建的高分辨率圖像在通過(guò)成像式（1）處理后，還應(yīng)與輸入的低分辨率圖像盡可能的相似. 為了兼顧這兩個(gè)要求，通過(guò)加權(quán)求和的形式整合這兩項(xiàng)表達(dá)式，將該算法的成本函數(shù)設(shè)計(jì)為：

其中第一項(xiàng)稱為保真項(xiàng)，它能夠使得估計(jì)的高分辨率圖像X在經(jīng)過(guò)退化模型處理后得到的結(jié)果與觀察圖像盡可能的一致;第二項(xiàng)是先驗(yàn)項(xiàng)，用于約束重建的高分辨率圖像滿足尺度間自相似性. ?用于兩項(xiàng)間的權(quán)衡. 這個(gè)成本函數(shù)的求解較為簡(jiǎn)單，可直接對(duì)式（17）進(jìn)行求導(dǎo)，并令導(dǎo)數(shù)為0，即可得到關(guān)于X的表達(dá)式，進(jìn)一步整理可以得到超分辨率圖像的最終估計(jì)結(jié)果：

然而在重建高分辨率圖像X表達(dá)式的計(jì)算過(guò)程中，需要操作的矩陣通常具有極大的規(guī)模，如下采樣矩陣D、濾波矩陣H和抽取矩陣Pi，這樣的計(jì)算方式占用內(nèi)存空間過(guò)大、耗時(shí)且復(fù)雜，對(duì)于普通計(jì)算設(shè)備而言，極易造成內(nèi)存溢出;同時(shí)也考慮到輸入的低分辨率圖像存在噪聲、模糊等情形. 為了解決這一問(wèn)題，嘗試使用“分解”的策略進(jìn)行解決. 針對(duì)每一個(gè)圖像片xi，在先驗(yàn)給定的前提下，借助它的后驗(yàn)概率密度函數(shù)進(jìn)行計(jì)算，如式（19）所示：

式中：i是理想高分辨率圖像片xi的通過(guò)該算法得到的估計(jì)版本;‖yi - Di Hi x‖2與成本函數(shù)中的保真項(xiàng)‖Y-DHX‖2作用相同;（x - μXi）T∑-1Xi（x- μXi）與成本函數(shù)中的先驗(yàn)項(xiàng)（Pi X - μXi）T∑-1Xi（Pi X - μXi）相一致;σ2與平衡參數(shù)λ相對(duì)應(yīng)，但此時(shí)的σ2有著明確的意義，它表示輸入圖像中假定高斯白噪聲的方差. 通過(guò)對(duì)式（19）求導(dǎo)，并令導(dǎo)數(shù)為0，來(lái)求解此方程，可以得到每一個(gè)圖像片的表達(dá)式，最后，用估計(jì)到的圖像片集合{xi}N ?i=1，在忽略邊界位置處的影響后，根據(jù)式（20）構(gòu)造完整的圖像X.

根據(jù)前述算法的描述，可以完成算法的一次迭代，通過(guò)判斷當(dāng)前X和X′的差異是否足夠小，以決定算法是否需要執(zhí)行下一次迭代. 當(dāng)滿足輸出條件時(shí)，即可直接輸出X作為超分辨率重建的結(jié)果，這個(gè)超分辨率過(guò)程的偽代碼如圖3所示. 最后，在圖4中給出了本文算法對(duì)一幅彩色圖像進(jìn)行超分辨率重建的完整過(guò)程.

3 ? 實(shí)驗(yàn)結(jié)果與分析

通過(guò)主觀視覺(jué)觀察和客觀參數(shù)比較兩種方式驗(yàn)證理想重建圖像自相似性先驗(yàn)超分辨率算法的效率. 首先對(duì)算法流程中需要設(shè)定的參數(shù)進(jìn)行說(shuō)明，然后給出本文算法和同類以及前沿算法重建圖像質(zhì)量、消耗時(shí)間的比較，最后對(duì)該算法的性能做進(jìn)一步的理論分析.

3.1 ? 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)過(guò)程中，為了模擬成像過(guò)程，構(gòu)建理想高分辨率圖像和低分辨率輸入圖像測(cè)試樣本對(duì)，用于測(cè)試算法的性能，我們?cè)谝恍┏Ｓ脺y(cè)試集中隨機(jī)抽取樣本作為理想的高分辨率目標(biāo)，將這些抽取到的圖像用雙三次方法下采樣s倍，并用高斯低通濾波器（均值為0，方差為0.5）對(duì)它們?yōu)V波，以生成用于輸入的低分辨率圖像. 將這些低分辨率圖像輸入到測(cè)試算法中，超分辨率s倍，得到的重建結(jié)果和計(jì)算過(guò)程消耗的時(shí)間可用于評(píng)價(jià)該算法. 一般而言，圖像重建結(jié)果越接近理想目標(biāo)圖像，計(jì)算過(guò)程消耗時(shí)間越少，算法的性能越高.

本文算法在首次迭代執(zhí)行前，僅有輸入圖像Y已知，先將Y雙三次上采樣s倍的結(jié)果初始化為X′，再將X′使用雙三次下采樣s倍用于初始化Y′. 由于圖像尺度間的自相似性有隨著尺度的降低而減弱的特性，當(dāng)超分倍數(shù)較大時(shí)，直接放大到目標(biāo)倍數(shù)會(huì)降低重建圖像質(zhì)量，為此我們采用逐級(jí)放大的方式進(jìn)行處理，每次放大2倍，并將超分辨率結(jié)果作為算法的輸入再次放大，直到達(dá)到目標(biāo)倍數(shù)為止，最后一次放大不足2倍時(shí)，直接放大到目標(biāo)倍數(shù). 對(duì)于輸入的彩色圖像，先將這幅圖像從RGB空間轉(zhuǎn)換到Y(jié)UV空間，由于代表亮度信息的Y通道對(duì)人眼較為敏感，用本文提出的理想重建圖像自相似性超分辨率算法進(jìn)行處理;代表顏色信息的U、V通道對(duì)人眼的刺激相對(duì)遲弱，U、V通道直接用雙三次上采樣方法放大到目標(biāo)倍數(shù)，再將重建結(jié)果從YUV空間轉(zhuǎn)換到RGB空間進(jìn)行顯示及保存.

另外，考慮到隨著算法迭代次數(shù)增加，重建結(jié)果中包含噪聲的能級(jí)應(yīng)逐漸減少，將式（20）中描述噪聲等級(jí)的參數(shù)設(shè)定為σ = ，（T為算法的迭代次數(shù)）. 由于此算法考察的是圖像自相似性，不同尺度間的圖像片抽取尺寸相同，式（20）中圖像片尺寸參數(shù)設(shè)定為a = 7，即抽取尺寸為7 × 7的圖像片. 算法中的每一個(gè)未知超分辨率圖像片都需要在輸入圖像Y和它的低頻版本中對(duì)應(yīng)的位置處設(shè)置窗口，以便抽取訓(xùn)練樣本. 若窗口尺寸設(shè)置過(guò)大，則樣本間的一致性不強(qiáng)，影響模型的準(zhǔn)確程度;若窗口尺寸設(shè)置過(guò)小，則會(huì)因?yàn)槌槿〉降臉颖緮?shù)量不足，導(dǎo)致模型欠擬合. 本文將窗口尺寸設(shè)定為w = 32，即每一個(gè)估計(jì)的圖像片都在輸入圖像與之相同中心位置 32 × 32的窗口中抽取訓(xùn)練樣本. 對(duì)于邊界附近的超分辨率圖像片，為了能夠定位到相應(yīng)的窗口，需要對(duì)圖像Y和Y′做鏡像擴(kuò)展處理. 與窗口尺寸相匹配的高斯混合模型中高斯成分的個(gè)數(shù)設(shè)置為K = 3.

3.2 ? 主觀觀察結(jié)果

為了驗(yàn)證本文算法的有效性，我們選擇與本文形式類似方法（包括Glasner[8]、GPR[16]、Self-ExSR[17]和MMPM[29]）、借助外界訓(xùn)練集合方法（ScSR[2]、ASDS[31]、A+[4]、SPM[32]和JOR[33]）以及深度學(xué)習(xí)方法（SRCNN[5]、FSRCNN[6]、lapSRN[7]）進(jìn)行了一系列的比對(duì)實(shí)驗(yàn). 所選擇的比較算法除Glasner算法外均從作者主頁(yè)下載，Glasner算法的代碼為我們使用Matlab2019b軟件自行編寫，且效果與文獻(xiàn)[8]中給出的結(jié)果基本一致. 本文算法和參與比較的算法均在Intel（R）Core（TM） i7-5600 CPU @ 2.60 GHz，8.00 GB緩存的硬件環(huán)境，Windows 7專業(yè)版64位操作系統(tǒng)，Matlab2019b的軟件環(huán)境下進(jìn)行實(shí)驗(yàn).

如圖5和圖6所示，顯示的是圖像“parrot” 和“fence”使用多種不同方法分別放大3倍和4倍的結(jié)果. 觀察用線框標(biāo)識(shí)出的局部子區(qū)域的放大顯示結(jié)果，可以發(fā)現(xiàn)在顯著邊緣位置、紋理細(xì)節(jié)豐富區(qū)域能夠明顯地保持邊緣和紋理的結(jié)構(gòu)，能恢復(fù)出更多正確的細(xì)節(jié)，使圖像看上去更加清晰、自然. 兩組超分辨率結(jié)果中，ScSR、Glasner、Self-ExSR、GPR以及SPM方法重建的超分辨率圖像在顯著邊緣位置都出現(xiàn)了可見(jiàn)的模糊和噪聲. ASDS、A+、JOR、MMPM和本文提出的方法超分辨結(jié)果較為清晰，在顯著邊緣及紋理區(qū)域附近并未出現(xiàn)可見(jiàn)的噪聲和模糊等形式的偽影. MMPM方法和我們的方法恢復(fù)出了較多的高頻信息，觀察“parrot”圖像中鸚鵡的眼睛和羽毛區(qū)域以及“fence”圖像中帶有平行結(jié)構(gòu)的“籬笆”，可以看出我們的方法對(duì)圖形結(jié)構(gòu)保持得更加完整，幾乎觀察不到可見(jiàn)的變形.

圖7是方法和深度學(xué)習(xí)方法SRCNN和lapSRN對(duì)圖像“barbara”超分辨率放大4倍的比較結(jié)果. 測(cè)試圖像“barbara”包含豐富的紋理信息，在超分辨率過(guò)程中，這些紋理結(jié)構(gòu)雖有固定的模式，卻又不盡相同，在超分辨率過(guò)程中極易產(chǎn)生變形或引入噪聲. 觀察圖7可以發(fā)現(xiàn)，我們的方法產(chǎn)生的超分辨率結(jié)果和理想高分辨率圖像最為接近，基本上保持住了紋理區(qū)域的外觀. SRCNN、lapSRN方法產(chǎn)生的超分辨率結(jié)果都使得紋理的基本結(jié)構(gòu)發(fā)生了嚴(yán)重的變形，且能夠觀察到有明顯噪聲出現(xiàn).

3.3 ? 客觀評(píng)價(jià)結(jié)果

為了進(jìn)一步說(shuō)明理想圖像自相似性先驗(yàn)超分辨率算法的性能，借助客觀評(píng)價(jià)參數(shù)對(duì)我們的方法和其他方法進(jìn)行比較，主要使用的評(píng)價(jià)指標(biāo)包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）. 一般來(lái)說(shuō)，這兩個(gè)評(píng)價(jià)參數(shù)的數(shù)值越大，代表算法得到的重建圖像質(zhì)量越好. 在BSD500圖像集合中隨機(jī)抽取12幅圖像，如圖8所示，這些圖像的內(nèi)容囊括人物、動(dòng)物、建筑物和風(fēng)景等，包含顯著邊緣、復(fù)雜紋理和精細(xì)結(jié)構(gòu)等內(nèi)容，具有極強(qiáng)的代表性. 按照前述步驟操作，將這些圖像進(jìn)行超分辨率放大3倍處理，其客觀參數(shù)比較結(jié)果如表1所示.

在表1中，每一行數(shù)據(jù)代表一幅圖像使用不同方法超分辨率的結(jié)果，每一列代表一種方法超分辨率處理不同圖像的結(jié)果，其中每一幅圖像對(duì)應(yīng)兩行數(shù)據(jù)，第一行為PSNR結(jié)果，第二行為SSIM結(jié)果. 觀察表1可以發(fā)現(xiàn)，在PSNR參數(shù)比較中，表1中我們的方法有10張圖像結(jié)果最優(yōu);SSIM參數(shù)比較中，我們的方法有11張圖像結(jié)果最優(yōu)（最優(yōu)結(jié)果均用加粗字體標(biāo)出）. 表1中我們的方法沒(méi)有得到最優(yōu)結(jié)果的圖像，它們的評(píng)價(jià)參數(shù)數(shù)值也相對(duì)較大，都取得了次優(yōu)結(jié)果. 另外，觀察表1中評(píng)價(jià)參數(shù)平均值，可以看出我們方法的PSNR和SSIM平均值都排在第1位，我們方法的PSNR平均值高于MMPM算法0.529 db，SSIM平均值高于MMPM算法0.030. 為了從統(tǒng)計(jì)的角度出發(fā)驗(yàn)證本文算法的有效性，以BSD500圖像集合全體作為測(cè)試對(duì)象，用本文算法和參與比較的11種前沿算法分別對(duì)測(cè)試集中的圖像進(jìn)行3倍放大. 其性能比較結(jié)果如圖9所示，圖中每一個(gè)實(shí)心圓點(diǎn)代表一個(gè)算法，每個(gè)點(diǎn)的橫坐標(biāo)表示算法的平均消耗時(shí)間，縱坐標(biāo)表示算法重建圖像的PSNR均值. 從圖9中可以看出，本文算法平均PSNR值最大，圖像質(zhì)量最好. 該算法放大一幅BSD500中的圖像平均消耗時(shí)間約1 min，明顯少于GPR和ASDS算法，與Self-ExSR算法耗時(shí)相近.

3.4 ? 分析討論

首先，聯(lián)合高斯混合模型建模在形式上不同于訓(xùn)練字典下的稀疏算法，它在解決超分辨率問(wèn)題中有先天優(yōu)勢(shì). 因?yàn)槌直媛食上裰械臑V波矩陣和下采樣矩陣均為非單位矩陣，在與字典進(jìn)行計(jì)算時(shí)，會(huì)導(dǎo)致訓(xùn)練字典的互相干性增大[24]，降低重建圖像質(zhì)量，而基于聯(lián)合高斯混合模型的超分辨率方法不存在這樣的問(wèn)題.

在挖掘理想重建圖像自相似性的超分辨率算法中，對(duì)每一個(gè)待超分辨率的圖像片，該算法以當(dāng)前圖像片的位置為中心構(gòu)建窗口，僅使用少量的高斯成分對(duì)圖像片空間位置附近的樣本建模. 由于這些圖像片位置彼此相鄰，描述的內(nèi)容相似，具有較強(qiáng)的一致性，能使訓(xùn)練得到的高斯混合模型更加準(zhǔn)確. 同理，Δik值也會(huì)體現(xiàn)出極強(qiáng)的稀疏性.

最后，已有方法都是將訓(xùn)練得到的高斯混合模型作為先驗(yàn)，并假定所有的圖像片都能由模型中后驗(yàn)概率最高的高斯成分生成. 而我們的方法對(duì)這個(gè)高斯混合模型做進(jìn)一步推導(dǎo)，把推導(dǎo)結(jié)論（每個(gè)未知的高分辨率圖像片都服從一個(gè)特定的高斯分布）作為先驗(yàn)知識(shí)，設(shè)計(jì)成本函數(shù). 二者的區(qū)別在于后者進(jìn)一步挖掘了后驗(yàn)概率最高的高斯成分，利用了這個(gè)高斯成分的協(xié)方差信息進(jìn)行計(jì)算，使得圖像重建效果優(yōu)于前者.

4 ? 總 ? 結(jié)

在超分辨率研究工作中，我們發(fā)現(xiàn)理想重建高分辨率圖像的自相似性體現(xiàn)最為強(qiáng)烈，而受降質(zhì)因素影響的重建高分辨率圖像自相似性會(huì)明顯減弱.

當(dāng)使用高斯混合模型對(duì)這一現(xiàn)象進(jìn)行描述時(shí)，通過(guò)對(duì)模型進(jìn)行推導(dǎo)，可以發(fā)現(xiàn)每一個(gè)理想的高分辨率圖像片的自相似性都符合一個(gè)特定的高斯分布. 將這個(gè)規(guī)律作為先驗(yàn)知識(shí)添加到超分辨率框架中，顯著提升了重建超分辨率圖像的質(zhì)量. 該方法無(wú)需使用外界圖像進(jìn)行訓(xùn)練，僅通過(guò)輸入圖像和其對(duì)應(yīng)的低頻版本為每個(gè)重建圖像片建模，以一種在線訓(xùn)練的方式聯(lián)合構(gòu)建高斯混合模型. 隨著輸入圖像的變化，模型參數(shù)能夠自動(dòng)進(jìn)行調(diào)整，以適應(yīng)新的情況. 因此該算法較其他預(yù)測(cè)模型有著更強(qiáng)的魯棒性，尤其適用于數(shù)字電視高清顯示等需要較大超分辨率倍數(shù)但又無(wú)額外參數(shù)存儲(chǔ)裝置的場(chǎng)景.

參考文獻(xiàn)

[1] ? ?NASROLLAHI K，MOESLUND T B. Super-resolution：a comprehensive survey[J]. Machine Vision and Applications，2014，25（6）：1423—1468.

[2] ? ?YANG J C，WRIGHT J，HUANG T S，et al. Image super-resolution as sparse representation of raw image patches[C]// Computer Vision and Pattern Recognition. Anchorage，AK：IEEE，2008：1—8.

[3] ? ?TIMOFTE R，DE SMET V，GOOL L V. Anchored neighborhood regression for fast example-based super-resolution[C]// 2013 IEEE International Conference on Computer Vision. Sydney：IEEE，2013：1920—1927.

[4] ? ?TIMOFTE R，DE SMET V，GOOL L V. A+：Adjusted anchored neighborhood regression for fast super-resolution[C]// Asian Conference on Computer Vision. Singapore：Springer，2014：111—126.

[5] ? ?DONG C，LOY C C，HE K M，et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295—307.

[6] ? ?DONG C，LOY C C，TANG X O. Accelerating the super-resolution convolutional neural network[C]// European Conference on Computer Vision. Amsterdam：Springer，2016：391—407.

[7] ? ?LAI W S，HUANG J B，AHUJA N，et al. Fast and accurate image super-resolution with deep Laplacian pyramid networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，41（11）：2599—2613.

[8] ? ?GLASNER D，BAGON S，IRANi M. Super-resolution from a single image[C]// 2009 IEEE 12th International Conference on Computer Vision. Kyoto：IEEE，2009：349—356.

[9] ? ?ZONTAK M，IRANI M. Internal statistics of a single natural image [C]// Computer Vision and Pattern Recognition. Colorado：IEEE，2011：977—984.

[10] ?ZONTAK M，MOSSERI I，IRANI M. Separating signal from noise using patch recurrence across scales [C]// Computer Vision and Pattern Recognition. Portland，oregon，USA：IEEE，2013：1195—1202.

[11] ?MICHAELI T，IRANI M. Blind deblurring using internal patch recurrence [C]// European Conference on Computer Vision. Zurich：Springer，2014：1—16.

[12] ?LOTAN O，IRANI M. Needle-match：reliable patch matching under high uncertainty [C]// 2016 IEEE International Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2016：439—448.

[13] ?潘宗序，禹晶，胡少興，等. 基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法[J]. 自動(dòng)化學(xué)報(bào)，2014，40（4）：594—603.

PAN Z X，YU J，HU S X，et al. Single image super resolution based on multi-scale structural self-similarity [J]. Acta Automatica Sinica，2014，40（4）：594—603. （In Chinese）

[14] ?FREEDMAN G，F(xiàn)ATTAL R. Image and video upscaling from local self-examples[J]. ACM Transactions on Graphics，2011，30（2）：1—11.

[15] ?YANG J C，LIN Z，COHEN S. Fast image super-resolution based on in-place example regression [C]// 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland，oregon，USA：IEEE，2013：1059—1066.

[16] ?HE H，SIU W C. Single image super-resolution using Gaussian process regression[C]// Computer Vision and Pattern Recognition. Colorado：IEEE，2011：449—456.

[17] ?HUANG J B，SINGH A，AHUJA N. Single image super-resolution from transformed self-exemplars[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA：IEEE，2015：5197—5206.

[18] ?ZHA Z Y，YUAN X，ZHOU J T，et al. Image restoration via simultaneous nonlocal self-similarity priors[J]. IEEE Transactions on Image Processing，2020，29：8561—8576.

[19] ?LIN C H，BIOUCAS-DIAS J M. An explicit and scene-adapted definition of convex self-similarity prior with application to unsupervised sentinel-2 super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing，2020，58（5）：3352—3365.

[20] ?FAN L W，LI X M，F(xiàn)AN H，et al. Adaptive texture-preserving denoising method using gradient histogram and nonlocal self-similarity priors[J]. IEEE Transactions on Circuits and Systems for Video Technology，2019，29（11）：3222—3235.

[21] ?ZHA Z Y，ZHANG X G，WANG Q，et al. Group sparsity residual constraint for image denoising with external nonlocal self-similarity prior[J]. Neurocomputing，2018，275：2294—2306.

[22] ?ZHANG L，WEI W，SHI Q F，et al. Accurate imagery recovery using a multi-observation patch model[J]. Information Sciences，2019，501：724—741.

[23] ?肖進(jìn)勝，單姍姍，易本順，等. 基于分區(qū)灰度投影穩(wěn)像的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，40（6）：96—102.

XIAO J S，SHAN S S，YI B S，et al. Moving targets detection based on subzone gray projection video stabilization[J]. Journal of Hunan University （Natural Sciences），2013，40（6）：96—102. （In Chinese）

[24] ?李明俊，張正豪，宋曉琳，等. 基于一種多分類半監(jiān)學(xué)習(xí)算法的駕駛風(fēng)格分類模型[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，47（4）：10—15.

LI M J，ZHANG Z H，SONG X L，et al. Driving style classification model based on a multi-label semi-supervised learning algorithm[J]. Journal of Hunan University （Natural Sciences），2020，47（4）：10—15. （In Chinese）

[25] ?YU G S，SAPIRO G，MALLAT S. Solving inverse problems with piecewise linear estimators：from Gaussian mixture models to structured sparsity[J]. IEEE Transactions on Image Processing，2012，21（5）：2481—2499.

[26] ?ZORAN D，WEISS Y. From learning models of natural image patches to whole image restoration[C]//2011 International Conference on Computer Vision. Barcelona：IEEE，2011：479—486.

[27] ?NIKNEJAD M，RABBANI H，BABAIE-ZADEH M. Image restoration using Gaussian mixture models with spatially constrained patch clustering[J]. IEEE Transactions on Image Processing，2015，24（11）：3624—3636.

[28] ?SANDEEP P，JACOB T. Single image super-resolution using a joint GMM method[J]. IEEE Transactions on Image Processing，2016，25（9）：4233—4244.

[29] ?HUANG Y F，LI J，GAO X B，et al. Single image super-resolution via multiple mixture prior models[J]. IEEE Transactions on Image Processing，2018，27（12）：5904—5917.

[30] ?LU X，LIN Z，JIN H L，et al. Image-specific prior adaptation for denoising[J]. IEEE Transactions on Image Processing，2015，24（12）：5469—5478.

[31] ?DONG W S，ZHANG L，SHI G M，et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing，2011，20（7）：1838—1857.

[32] ?PELEG T，ELAD M. A statistical prediction model based on sparse representations for single image super-resolution[J]. IEEE Transactions on Image Processing，2014，23（6）：2569—2582.

[33] ?DAI D，TIMOFTE R，VAN GOOL L. Jointly optimized regressors for image super-resolution[J]. Computer Graphics Forum，2015，34（2）：95—104.

收稿日期：2020-12-17

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（61772144），National Natural Science Foundation of China（61772144）;廣東省自然科學(xué)基金資助項(xiàng)目（2017A030310618），Natural Science Foundation of Guangdong Province（2017A030310618）

作者簡(jiǎn)介：李鍵紅（1981—），男，遼寧朝陽(yáng)人，廣東外語(yǔ)外貿(mào)大學(xué)講師，碩士生導(dǎo)師，博士

通信聯(lián)系人，E-mail：wyrljh@163.com