基于學(xué)習(xí)的馬爾科夫超分辨率復(fù)原

薛翠紅，于 明，楊宇皓，閻 剛，賈 超

(1.河北工業(yè)大學(xué)計算機(jī)科學(xué)與軟件學(xué)院，天津300401;2.河北工業(yè)大學(xué)信息工程學(xué)院，天津300401)

近年來，數(shù)字圖像處理技術(shù)已經(jīng)成為研究熱點，超分辨率復(fù)原技術(shù)更是重中之重。當(dāng)前的超分辨率復(fù)原技術(shù)主要包括三種方法:基于插值、基于重建和基于學(xué)習(xí)的方法。插值法［1］是當(dāng)前在圖像的放大領(lǐng)域中應(yīng)用最廣泛的方法，插值法能夠自主挑選包含數(shù)據(jù)較多的像素點當(dāng)成增加的像素，而不僅使用其周圍的像素點，因此所得到的圖像會看起來較為平滑。最臨近插值法(nearest neighbor)和雙線性插值法(bilinear)是插值技術(shù)中最經(jīng)典的算法?；谥亟ǖ姆椒ㄊ且粋€信息提取和融合的過程，其所有有用信息都是從輸入數(shù)據(jù)中獲得，無其它任何先驗知識?；谥亟ǖ姆椒ㄖ袘?yīng)用最廣泛的是MAP［2，3］算法和POCS［4，5］算法，建立在貝葉斯法則基礎(chǔ)上的MAP算法使后驗概率達(dá)到最大，算法的缺點是重建后的圖像細(xì)節(jié)不夠突出，顯得有些平滑。POCS算法是利用高分辨率圖像的初始估計在凸集里求得最優(yōu)解，利用投影算子針對初始估計對圖像進(jìn)行迭代，直至得到理想圖像。重建后的圖像保持了較好的邊緣效果，所得圖像較為銳利。但這些基于重建的算法隨放大倍數(shù)的增加，所需的樣本圖片急劇增多，在放大倍數(shù)比較大時，前面提到的頻域法和空域法對圖像數(shù)據(jù)信息的恢復(fù)能力直線下降［6－7］，因此新興的基于學(xué)習(xí)的方法成為了當(dāng)前研究的熱點?；趯W(xué)習(xí)方法［8］的核心是通過對樣本數(shù)據(jù)庫的學(xué)習(xí)，得出高分辨率圖像與低分辨率圖像間的相互關(guān)系，將此關(guān)系應(yīng)用于待復(fù)原的低分辨率圖像，可使低分辨率圖像在數(shù)據(jù)庫中找到其對應(yīng)的高分辨率部分，進(jìn)而使圖像的分辨率得以提高，實現(xiàn)圖像復(fù)原的目的。

1 馬爾科夫網(wǎng)絡(luò)模型

馬爾科夫網(wǎng)絡(luò)模型［9－10］所表達(dá)的是一個關(guān)于圖像的統(tǒng)計描述，其所關(guān)注的是相鄰像素點間的相互關(guān)系，能很好地表達(dá)出圖像的統(tǒng)計特性。所以，能應(yīng)用馬爾科夫網(wǎng)絡(luò)對圖像的先驗知識組成一個樣本數(shù)據(jù)庫?？衫秘惾~斯的相關(guān)性質(zhì)來預(yù)測原始圖像的最大后驗概率。為使超分辨率后的圖像效果更好，需要建立一個龐大的樣本數(shù)據(jù)庫，這個數(shù)據(jù)庫最好是專門用來超分辨率復(fù)原的，例如車牌或者人臉，這樣能夠使得準(zhǔn)確度得到提高，效果更加良好。

通過馬爾科夫網(wǎng)絡(luò)模型對高分辨率圖像相同部位對應(yīng)的數(shù)據(jù)信息進(jìn)行學(xué)習(xí)，根據(jù)所得的結(jié)果來求出輸入圖像所缺失的細(xì)節(jié)信息。利用馬爾科夫網(wǎng)絡(luò)模型來對圖像進(jìn)行復(fù)原的關(guān)鍵是要有一個良好的足夠大的樣本數(shù)據(jù)庫，并且是與輸入圖片類似的樣本數(shù)據(jù)庫，這樣才能夠?qū)D片進(jìn)行更好的恢復(fù)。圖1為馬爾科夫網(wǎng)絡(luò)模型。

圖1 馬爾科夫網(wǎng)絡(luò)模型Fig.1 Markov network model

每個低分辨率圖像塊只與和它相對的高分辨率圖像塊相連，即觀測節(jié)點y只與隱含節(jié)點x相連。每個高分辨率圖像塊還與和它相鄰的高分辨率圖像塊相連，即隱含節(jié)點間相連。ξ表示相鄰高分辨率節(jié)點間的相互關(guān)系

式中:ψ表示低分辨率節(jié)點和與其相對應(yīng)的高分辨率節(jié)點間的相互關(guān)系

式中:δ是一個噪聲參數(shù)。

1.1 傳統(tǒng)馬爾科夫網(wǎng)絡(luò)模型

訓(xùn)練樣本庫為待復(fù)原的圖片提供了很多高分辨率圖像塊。馬爾科夫網(wǎng)絡(luò)模型的圖像復(fù)原是基于貝葉斯定理的，貝葉斯定理是概率論中的一個結(jié)論，貝葉斯定理可更好地利用新證據(jù)修改已有的看法。通常情況下，事件M在事件N發(fā)生的前提下的概率，與事件N在事件M發(fā)生的前提下的概率是不一樣的，可這兩者間是有著一定的關(guān)系的。貝葉斯定理所表達(dá)的就是這種關(guān)系。根據(jù)貝葉斯定理，超分辨率復(fù)原可解釋為尋找最大后驗概率下的近似高分辨率圖像x的過程。貝葉斯定理所描述的高分辨率與低分辨率間的關(guān)系是

低分辨率節(jié)點位于圖像上部，被稱為觀察節(jié)點;高分辨率節(jié)點位于圖像下部，被稱為隱含節(jié)點。馬兒科夫網(wǎng)絡(luò)所要實現(xiàn)的就是為每一個隱含節(jié)點在訓(xùn)練數(shù)據(jù)庫中尋找出最優(yōu)的高分辨率圖像塊，使得聯(lián)合概率P(M|N)值最大。在圖像處理領(lǐng)域中，基于概率論的方法被稱為貝葉斯方法，雖有很多的表現(xiàn)形式，但在圖像處理領(lǐng)域中常采用最大后驗概率(MAP)法。當(dāng)數(shù)據(jù)y已知，求數(shù)據(jù)x可用最大后驗概率法。

對節(jié)點xm的MAP估計為

隱含節(jié)點x和觀測節(jié)點y的聯(lián)合概率分布可表示為

Lnm為由xm傳到xn的信息，可表示為

1.2 基于混合MAP-POCS［11］的馬爾科夫網(wǎng)絡(luò)模型

馬爾科夫網(wǎng)絡(luò)模型的目標(biāo)就是使每一個高分辨率圖像塊盡可能與一個已知的低分辨率圖像塊相匹配，同時使高分辨率圖像塊間最相容地利用算法把圖像分成一個個小塊，假設(shè)每一個小的圖像塊對應(yīng)于馬爾可夫網(wǎng)絡(luò)模型上的1個節(jié)點，并且馬爾可夫網(wǎng)絡(luò)模型上的任意兩個節(jié)點間都是相互獨立的，而后生成訓(xùn)練樣本庫。在圖像的預(yù)測階段，將低分辨率的圖像小塊和高分辨率的圖像小塊連接起來，并將之作為一個搜索向量，在訓(xùn)練樣本庫中查找相匹配的，尋找其最近鄰的圖像塊。當(dāng)找到時，相對應(yīng)的高分辨率圖像塊就作為輸出圖像。在馬爾科夫隨機(jī)場中，觀測結(jié)點y對隱含結(jié)點x的條件概率可表示為:

兩邊取對數(shù):

由式(3)變形可得:

傳統(tǒng)馬爾科夫網(wǎng)絡(luò)復(fù)原方法是與MAP算法結(jié)合，MAP算法邊緣保持能力和細(xì)節(jié)保持能力都不好，而POCS算法的邊緣保持能力和細(xì)節(jié)保持能力都很好，兩者有很強(qiáng)的互補(bǔ)性，融合后可提高圖像的復(fù)原質(zhì)量。POCS算法通過先驗知識得到凸集約束條件，每個約束條件都對應(yīng)于一個凸約束集，復(fù)原得到的高分辨率圖像收斂于這些凸約束集中。POCS算法是通過迭代得到一個滿足凸約束集條件的點。由于POCS算法可很方便地引入先驗知識，所以可把MAP算子當(dāng)作凸約束集引入POCS算法里。凸約束集合Ta可表示為:

混合MAP與POCS方法可結(jié)合MAP和POCS各自的優(yōu)點，通過MAP方法得到與凸集對應(yīng)的投影算子:

然后利用POCS算法將得到的投影算子加到高分辨率圖像上，進(jìn)行數(shù)據(jù)一致性約束，直至完成所有投影算子，這樣就可獲得復(fù)原的高分辨率圖像。式(11)中:Cx為約束平滑矩陣;ωs為迭代步長;θ為正則化參數(shù)。正則化參數(shù)掌握著圖像高頻分量的消除和圖像特征的保持，如果θ取值過小，就不能夠很好消除圖像的高頻分量，使得建的結(jié)果中會包含較大的誤差;反之θ取值過大，就會對圖像的高頻分量消除太多，使圖像的細(xì)節(jié)特征損失嚴(yán)重，重建結(jié)果過于模糊。為了能更好地將圖像中的噪聲去除掉，通常假設(shè)圖像的先驗知識是全局平滑的。選拉普拉斯算子作為正則化項，這樣可得到更加穩(wěn)定的解。

利用梯度法迭代求解θ:

2 實驗結(jié)果及分析

2.1 樣本訓(xùn)練

通過模糊和下采樣把200幅從The Yale Face Database中選取的高分辨率圖片轉(zhuǎn)換為低分辨率圖片，對低分辨率圖片進(jìn)行插值，使之與原始圖片大小相同，就形成一個包含200組一一對應(yīng)的高低分辨率對的樣本數(shù)據(jù)庫。將低分辨率復(fù)原為高分辨率所需的是圖片的高頻細(xì)節(jié)。模糊圖片的低頻細(xì)節(jié)不可能直接預(yù)測出圖片的高頻細(xì)節(jié)，而且也不需知道所有可能高頻細(xì)節(jié)。所以就用帶通濾波器對模糊后的圖片進(jìn)行濾波，這樣就極大地降低了建模的負(fù)擔(dān)，提高建模的效率。在樣本數(shù)據(jù)庫中，鄰近的圖片塊都有他們自己候選節(jié)點。鄰近節(jié)點和候選節(jié)點之間的兼容性可使圖片達(dá)到最好的效果。傳統(tǒng)的馬爾科夫網(wǎng)絡(luò)模型都是直接采用最大后驗概率法，這里是將最大后驗概率法與凸集投影法相結(jié)合，把MAP當(dāng)作凸約束集引入POCS算法中，通過MAP估計求出投影算子，并將投影算子作用到初始估計的圖像上，對數(shù)據(jù)進(jìn)行一致性約束，直至得到復(fù)原的高分辨率圖像。

2.2 圖像復(fù)原及結(jié)果分析

將Lena圖像作為測試圖像，為便于處理，先將50×50的低分辨率圖片通過插值法處理得到200×200的圖片，將得到的圖片作為初始圖片進(jìn)行試驗。算法比較如圖2所示。

圖2 算法比較Fig.2 Com parison of algorithm s

從直觀的輸出效果看，基于學(xué)習(xí)的超分辨率復(fù)原算法明顯優(yōu)于插值法。相對于混合MAPPOCS重建算法，本文算法能夠更充分利用圖像自身的先驗知識，在只提供單幅輸入圖像樣本的情況下，仍能產(chǎn)生額外的高頻細(xì)節(jié)，獲得比重建法更好的復(fù)原效果。在同為基于學(xué)習(xí)的算法比較中，本文算法相對于傳統(tǒng)的單純基于MAP算法的MRF復(fù)原表現(xiàn)更加突出，圖像的細(xì)節(jié)信息更強(qiáng)，邊緣保持效果也更好。表1用峰值信噪比(PSNR)對圖像的重建結(jié)果進(jìn)行定量分析，顯示出了較好的潛力。

表1 PSNR對比Table 1 PSNR comparison

3 結(jié)束語

本文研究并實現(xiàn)了一種基于混合MAP與POCS的馬爾科夫網(wǎng)絡(luò)模型的圖像超分辨率復(fù)原算法，并利用梯度法求得正則化參數(shù) θ，利用Cameraman圖像進(jìn)行了實驗。該方法是在馬爾科夫網(wǎng)絡(luò)框架下，很好結(jié)合了這兩種算法的優(yōu)點，使圖像的復(fù)原效果得到提升。對Cameraman圖像進(jìn)行的超分辨率復(fù)原實驗通過主觀效果和PSNR的客觀分析證明了該方法的有效性。

［1］RAJAN D，CHAUDHURI S.Generalized interpolation and its application in super－resolution imaging［J］.Image and Vision Computing，2001，19(13):957－969.

［2］Nguyen N，Milanfar P.A computationally efficient superresolution image reconstruction algorithm［J］.IEEE Trans on Image Processing，2001，4(8):573－583.

［3］Chantas G K，Galat sanos N P，Woods N A.Super－resolution based on fast registration and maximum a posteriori reconstruction［J］.IEEE Trans on Image Processing，2007，16(7):1821－1829.

［4］Ogawa T，Haseyama M.Semantic image retrieval based on POCS algorithm using kernel PCA and its performance verification［C］∥ISCE'09，IEEE 13th Internatioinal Symposium on Consumer Electronics，Kyoto，2009:582－583.

［5］Zhang Fan，Zhu Qi－dan.Super－resolution image reconstruction for omni－vision based on POCS［C］∥CCDC' 09，Proceedings of the 21st Annual International Conference on Chinese Controland Decision Conference，Guilin:IEEE Press，2009:5045－5049.

［6］ROBINSON D，MILANFAR P.Fundamental performance limits in image registration［J］.IEEE Trans Image Processing，2004，13(6):1185－1199.

［7］LEE E，KANG M G.Regularized adaptive high－resolution image reconstruction considering inaccurate subpixel registration［J］.IEEE Trans Image Processing，2003，12(7):826－837.

［8］Candocia FM，Principe JC.Super－resolution of images based on local correlations［J］.IEEE Trans on Neural Networks，1999，10(2):372－380.

［9］Freeman W T，JONES T R，PASZTOR E C.Example based super－resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［10］BISHOPCM，BLAKE A，MARTH IB.Super－resolution enhancement of video［C］∥International Conference on Artificial Intelligence and Statistics，KeyWest，USA，2003:410－414.

［11］Su Bing－h(huán)ua，Jin Wei－qi.POCS－MPMAP based superresolution image restoration［J］.Acta Photonica Sinca，2003，32(4):502－504.