基于局部約束的人臉圖像超分辨率重構(gòu)算法

朱華生，徐晨光

（南昌工程學(xué)院信息工程學(xué)院，江西南昌330099）

基于局部約束的人臉圖像超分辨率重構(gòu)算法

朱華生，徐晨光

（南昌工程學(xué)院信息工程學(xué)院，江西南昌330099）

基于超完備稀疏表示理論，并根據(jù)人臉圖像的特征，提出一種基于局部約束的人臉圖像超分辨率重構(gòu)算法。該算法首先通過(guò)樣本訓(xùn)練出一對(duì)高、低分辨率相關(guān)聯(lián)的冗余字典；再根據(jù)局部范圍內(nèi)人臉圖像的相關(guān)性，重構(gòu)出高分辨率圖像；最后對(duì)圖像進(jìn)行全局優(yōu)化。為驗(yàn)證算法的有效性，本文利用ORL標(biāo)準(zhǔn)圖像庫(kù)進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該算法能夠有效提高峰值信噪比，同時(shí)能夠更好地恢復(fù)人臉圖像的高頻信息，有一定的實(shí)用價(jià)值。

超分辨率重構(gòu)；稀疏表示；局部約束；人臉圖像；K－SVD

1 引 言

隨著視頻監(jiān)控系統(tǒng)和數(shù)碼攝像產(chǎn)品的普及，人臉圖像在安全防范、刑事偵察和法庭取證等領(lǐng)域發(fā)揮了越來(lái)越重要的作用。在實(shí)際應(yīng)用中人們總希望獲得高分辨率（High Resolution，HR）人臉圖像，因?yàn)槿四槇D像的分辨率越高，可以提供的圖像細(xì)節(jié)越多，對(duì)實(shí)際應(yīng)用的價(jià)值就越高。但在現(xiàn)實(shí)生活中往往獲得的是低分辨率（Low Resolution，LR）人臉圖像，例如：在視頻監(jiān)控系統(tǒng)中獲得的圖像，尤其是拍攝距離較遠(yuǎn)的人物時(shí)。因此，如何將低分辨率圖像通過(guò)圖像超分辨率（Super Resolution，SR）重構(gòu)技術(shù)［1－3］構(gòu)建出高分辨率圖像是一個(gè)有價(jià)值的研究?jī)?nèi)容。

圖像超分辨率重構(gòu)算法主要分為3種類(lèi)型，即：基于插值、基于重建和基于學(xué)習(xí)的重構(gòu)方法［4－5］。基于插值方法的主要思路是：先對(duì)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息進(jìn)行估計(jì)，以獲得HR圖像在非均勻間距采樣點(diǎn)上的像素值，下一步通過(guò)非均勻插值得到HR柵格上的像素值，最后通過(guò)圖像恢復(fù)去除模糊以及降低噪聲?；谥亟ǚ椒ǖ闹饕悸肥牵杭僭O(shè)超分辨率圖像在適當(dāng)?shù)淖冃?、平移和子采樣及噪聲干擾下，利用多幀低分辨率圖像作為數(shù)據(jù)一致性約束，并結(jié)合圖像的先驗(yàn)知識(shí)進(jìn)行求解?；趯W(xué)習(xí)的方法是利用給定的訓(xùn)練圖像集來(lái)計(jì)算測(cè)試樣本patch與訓(xùn)練圖集patch之間的鄰域關(guān)系，然后構(gòu)造最優(yōu)權(quán)值約束來(lái)獲得先驗(yàn)知識(shí)，最后逼近測(cè)試樣本的高分率圖像。

基于學(xué)習(xí)的方法是近期的研究熱點(diǎn)?；趯W(xué)習(xí)的典型算法包括：Freeman［6］等人提出的Examplebased方法；Chang［7］等人提出的領(lǐng)域嵌入方法（neighbor embedding）；Yang［8］等人提出的基于超完備稀疏（spars representation）表示理論的圖像超分辨率重建算法。基于學(xué)習(xí)的算法能夠彌補(bǔ)重建算法的很多不足，具有廣泛的應(yīng)用前景。其中，基于超完備字典的信號(hào)稀疏表示［9－10］又是信號(hào)稀疏表示的研究熱點(diǎn)。

人臉圖像是一類(lèi)特定領(lǐng)域的圖像。在人臉圖像超分辨率重建方面，Baker［11］等人第一次提出“虛幻臉（face hallucination）”算法，引入圖像的梯度先驗(yàn)信息，即圖像的拉普拉斯金字塔、高斯金字塔的一階和二階梯度作為特征空間進(jìn)行訓(xùn)練。Liu［12］等人提出全局信息和局部信息相結(jié)合的算法；Wang［13］等人提出了特征變換的重構(gòu)算法；張雪松［14］等人提出了特征子空間規(guī)整化的算法；蘭誠(chéng)棟［15］等人提出了魯棒性人臉超分辨率算法；李濤［16］等人提出了基于學(xué)習(xí)的人臉圖像超分辨率重構(gòu)算法等等。

盡管目前已有大量文獻(xiàn)提出了人臉圖像超分辯率重建算法，但很少考慮圖像局部間的相關(guān)性，從而導(dǎo)致重構(gòu)圖像在某些輪廓部分產(chǎn)生不規(guī)則邊緣，使得圖像清晰度下降。本文提出一種基于局部約束的人臉圖像超分辨率重構(gòu)算法，該算法利用周邊圖像小塊的權(quán)值相加來(lái)優(yōu)化中心小塊圖像，優(yōu)化后的圖像能夠很好地恢復(fù)人臉圖像的高頻細(xì)節(jié)信息。

2 人臉超分辨率重構(gòu)算法設(shè)計(jì)

人臉圖像超分辯率重構(gòu)算法的主要任務(wù)是：利用觀察到的低分辨率圖像，重構(gòu)出一個(gè)與之對(duì)應(yīng)的理想的高分辨率圖像。低分辨率圖像與高分辨率圖像之間的關(guān)系可以表示為：

其中，Y表示觀察到的低分辨圖像；X表示理想的高分辨率圖像；M表示退化模型。

已知Y，求解X，這是一個(gè)欠定問(wèn)題，X具有無(wú)數(shù)種可能取值，所以不能直接求解。本文使用冗余字典的方法對(duì)公式（1）進(jìn)行求解。本算法主要包括3部分，即：冗余字典構(gòu)建、局部約束的人臉圖像重構(gòu)和圖像的全局優(yōu)化等。

2.1 冗余字典構(gòu)建

冗余字典的構(gòu)建是人臉圖像超分辨率重構(gòu)算法的關(guān)鍵技術(shù)之一。冗余字典的構(gòu)建方式主要有三種：一是采用已有的變換矩陣，如：非抽樣小波、可控小波、Curvelet變換等。二是采用參數(shù)可調(diào)的方式，如小波包、Bandelet變換等。三是采用樣本訓(xùn)練的方法。因?yàn)闃颖居?xùn)練的方法適應(yīng)性強(qiáng)、效果佳，所以本文采用樣本訓(xùn)練的方法。

樣本訓(xùn)練的方法是：通過(guò)對(duì)樣本的學(xué)習(xí)建立低分辨率圖像和高分辨圖像之間的關(guān)系，最終生成一對(duì)冗余字典Dh和Dl。Dh是高分辨率圖像冗余字典，Dl是低分辨率特征圖像冗余字典。冗余字典構(gòu)造包括樣本采集和字典學(xué)習(xí)兩部分。

樣本具體采集方法參見(jiàn)文獻(xiàn)［8］。訓(xùn)練樣本集Y＝｛y1，y2，…，yN｝，N表示樣本的個(gè)數(shù)。每個(gè)樣本yi都是由高分辨率圖像塊hi和低分辯率圖像特征塊li聯(lián)合生成，如圖1所示。

圖1 訓(xùn)練樣本

hi用于生成Dh，li用于生成Dl。hi直接由高分辨率圖像塊組成；li是由低分辨率圖像放大后的一階和二階梯度信息組成。用于提取圖像一階和二階梯度信號(hào)的濾波器如下：

常用的字典學(xué)習(xí)方法有：最大似然法、最優(yōu)方向法、最大后驗(yàn)概率法和K－SVD法［17］等。因?yàn)镵SVD法能夠提高稀疏字冗余典編碼的計(jì)算速度，加快稀疏冗余字典的建立，所以本文選用該方法。

令D∈Rn×K，y∈Rn，α∈RK分別代表字典、訓(xùn)練樣本以及訓(xùn)練樣本的稀疏表示系數(shù)向量，Y＝{y}為訓(xùn)練樣本的集合，A＝{α為Y的解向ii量集合。n是訓(xùn)練樣本圖像塊的長(zhǎng)度，N是訓(xùn)練樣本集的總個(gè)數(shù)，K是字典D的原子個(gè)數(shù)，N＞＞K，并且K＞n。則K-SVD訓(xùn)練算法的目標(biāo)方程可表示為：

其中，T是稀疏度，表示系數(shù)中非零分量的數(shù)目的上限。

對(duì)公式（3）可以采用迭代方法進(jìn)行求解。首先，假設(shè)字典D是固定的，采用OMP算法估計(jì)出樣本集Y的稀疏表示系數(shù)矩陣A；然后根據(jù)系數(shù)矩陣A，更新字典中的原子，從而找到更好的字典D。

假設(shè)矩陣A是固定的，則更新字典D的過(guò)程如下：

令di為字典D的第i列，αiT為系數(shù)A的第i行，假設(shè)要更新D的第k個(gè)原子?？梢詫⒐剑?）變形為：

公式中的DA被分解成K個(gè)秩1的矩陣的和。假設(shè)其中的（K－1）項(xiàng)是固定的，所以只要處理一項(xiàng)，即第k項(xiàng)。矩陣Ek代表的是去掉原子dk的成分在所有樣本中造成的誤差。令ωi記錄｛yi｝中使用原子di的那些圖像小塊，即：

定義矩陣Ωk大小為N×｜ωi｜，其在（ωk（i），i）處為1，其他地方全為0，并令＝Ωk，＝EkΩk。對(duì)公式（4）乘以Ωk得到：

對(duì)ERk進(jìn)行SVD分解，得到ERk＝UΔVT，利用矩陣U的第一列去更新原子dk。如此循環(huán)不斷地對(duì)所有原子都進(jìn)行更新，最終求得學(xué)習(xí)后的字典D。在圖像超分辨率重構(gòu)時(shí)，再將字典D拆分為Dh和Dl一對(duì)字典。

2.2 局部約束的人臉圖像重構(gòu)

局部約束的人臉重構(gòu)由人臉圖像重構(gòu)和局部約束優(yōu)化兩部分組成。

人臉圖像重構(gòu)方法是：首先將輸入的低分辨率圖像使用插值算法放大，然后再利用公式（2）對(duì)圖像進(jìn)行濾波，得到特征圖像Y。再將Y分割成N個(gè)圖像塊，Y＝｛y1，y2，…，yn｝，對(duì)每個(gè)圖像塊y單獨(dú)進(jìn)行稀疏分解，求得圖像塊y在低分辨率字典Dl的分解系數(shù)α。求解稀疏分解系統(tǒng)的公式如下：

目前，求解公式（7）中的稀疏分解系數(shù)α的算法主要有：匹配追蹤算法（MP）、正交匹配追蹤算法（OMP）、基追蹤算法（BP）等。其中OMP算法是對(duì)MP算法的一種改進(jìn)算法，在精度要求相同的情況下，OMP算法的收斂速度更快。所以本文采用OMP算法求解公式（7）中的稀疏分解系數(shù)α。得到y(tǒng)的稀疏系數(shù)α后，再利用高分辨率字典Dh，計(jì)算出對(duì)應(yīng)的高分辨率圖像塊x，計(jì)算公式如下：

將所有的低分辨率圖像塊y，都重構(gòu)出對(duì)應(yīng)的高分辨率圖像塊x，再將這些高分辨率圖像塊x組合成一幅完整的高分辨率圖像X。

以上每個(gè)圖像小塊都是單獨(dú)進(jìn)行超分辨率重構(gòu)，并沒(méi)有考慮人臉圖像局部范圍內(nèi)整體結(jié)構(gòu)，所以會(huì)導(dǎo)致重構(gòu)圖像在某些輪廓部分會(huì)產(chǎn)生一些不規(guī)則的邊緣。為了解決這個(gè)問(wèn)題，需要對(duì)重構(gòu)出來(lái)的高分辨率圖像X進(jìn)行局部約束優(yōu)化處理。

局部約束優(yōu)化的基本原理是：將人臉圖像分割成若干圖像小塊，則每一個(gè)圖像小塊，都可以通過(guò)其局部范圍內(nèi)的周邊圖像小塊的權(quán)值相加來(lái)獲得。如圖2所示。人臉圖像X可以看成由若干個(gè)圖像小塊xi組成，每一個(gè)圖像小塊xi都可以通過(guò)周邊的圖像小塊xj的權(quán)值相加得到。

圖2 局部約束優(yōu)化原理圖

局部約束優(yōu)化的計(jì)算公式如下：

xi為待優(yōu)化的圖像小塊，xj是以xi為中心，局部范圍內(nèi)的圖像小塊，w（i，j）是權(quán)值，它的大小由xi和xj之間的相似度決定，權(quán)值w（i，j）的計(jì)算公式如下：

其中，參數(shù)h為控制權(quán)值隨著歐式距離增加的下降速度。

2.3 人臉圖像的全局優(yōu)化

為了提高圖像的整體效果，還需要對(duì)圖像進(jìn)行全局優(yōu)化，優(yōu)化公式如下：

其中，X0為原始高分辨率圖像；X為求得的高分辨率圖像；Y為觀察到的低分辨率圖像；M為降質(zhì)矩陣；X*為最終的目標(biāo)圖像。

可以利用迭代返向投影法（iterative back projection，IBP）求解以上優(yōu)化問(wèn)題。求解見(jiàn)公式（13）：

其中，Xn＋1、Xn分別是第（n＋1）次和第n次迭代求得的高分辨率圖像；MBP是為返投影矩陣。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，作者對(duì)低分辨率人臉圖像進(jìn)行放大3倍的實(shí)驗(yàn)。實(shí)驗(yàn)時(shí)的具體參數(shù)如下：

在冗余字典構(gòu)建中。樣本采集時(shí)，采集高分辨率圖像塊的大小為9×9像素，所以樣本中hi的長(zhǎng)度為81。低分辨率圖像是由高分辨率圖像進(jìn)行1／3下采樣獲得，然后再將低分辨率圖像使用插值算法放大2倍，最后使用公式（2）提取特征圖像。采集特征圖像塊的大小為6×6像素，所以樣本中l(wèi)i的長(zhǎng)度為144。樣本的采集數(shù)量為50000個(gè)。冗余字典的原子個(gè)數(shù)為1024個(gè)。

在局部約束重構(gòu)模型中。圖像塊的大小為3× 3像素，局部搜索區(qū)域的大小為7×7圖像，h的取值為30。

在全局優(yōu)化中，迭代次數(shù)為10。

測(cè)試圖像選用ORL標(biāo)準(zhǔn)圖像庫(kù)進(jìn)行實(shí)驗(yàn)。并將結(jié)果與插值算法和文獻(xiàn)［8］算法進(jìn)行了比較。

首先，采用被廣泛使用的峰值信噪比（PSNR）將實(shí)驗(yàn)結(jié)果進(jìn)行量化描述，3種算法的結(jié)果如表1所示。由表1可以看到，本文的所有重構(gòu)圖像的PNSR值都高于其他方法。

其次，比較重構(gòu)圖像的視覺(jué)效果。幾種算法重構(gòu)出來(lái)的人臉圖像，如圖3所示。圖3中（a）、（b）、（c）、（d）、（e）分別為輸入的低分辨率圖像、采用插值算法重構(gòu)的高分辨率圖像、采用文獻(xiàn)［8］算法重構(gòu)的高分辨率圖像、采用本文算法重構(gòu)的高分辨率圖像和原始高分辨率圖像。

表1 各種算法PSNR值比較

圖3 幾種算法重構(gòu)出的人臉圖像

對(duì)比發(fā)現(xiàn)，本文算法重構(gòu)出來(lái)的人臉圖像的視覺(jué)效果要比其他兩種算法好一些。

4 結(jié)束語(yǔ)

超完備稀疏表示理論在圖像壓縮、去噪和超分辨率重構(gòu)等領(lǐng)域受到廣泛關(guān)注，并成為當(dāng)前的研究熱點(diǎn)。本文在此基礎(chǔ)上，結(jié)合人臉圖像的特征，提出一種基于局部約束的人臉圖像超分辯率重構(gòu)算法。本算法能夠有效提高峰值性噪比，能更好地恢復(fù)人臉圖像的高頻信息。但是，本算法仍然存在一些需要改進(jìn)之處，例如：本文訓(xùn)練出來(lái)的字典只是一些原子的集合，沒(méi)有考慮原子之間的結(jié)構(gòu)。如果能夠引入原子之間的相關(guān)性的先驗(yàn)信息，這可以提高稀疏分解算法的精度。所以今后還需要對(duì)這一問(wèn)題進(jìn)行更深入的研究。

［1］ Kang M，Chaudhuri S.Super-resolution image reconstruction［J］.IEEE Signal Processing Magazine，2003，20（3）：19－20.

［2］ SFarsiu，D Robinson，M Elad，et al.Advanced and challenges in super-resolution［J］.International Journal of Image System and Technology，2004，14（2）：47－57.

［3］ Tsai R Y，Huang T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，（1）：317－339.

［4］ Pu Jian，Zhang Junping，Huang Hua.A survey of super resolution algorithms［J］.Journal of Shandong University：Engineering Science，2009，39（1）：1－7.（in Chinese）浦劍，張軍平，黃華.超分辨率算法研究綜述［J］.山東大學(xué)學(xué)報(bào)：工學(xué)版，2009，39（1）：1－7.

［5］ Wan Xuefen，Yang Yi，Cui Jian.Research on Super-resolution Image Reconstruction［J］.Laser＆Infrared，2011，41（11）：1278－1281.（in Chinese）萬(wàn)雪芬，楊義，崔劍.圖像超分辨率重建處理算法研究［J］.激光與紅外，2011，41（11）：1278－1281.

［6］ Freeman W T，Jones TR，Pasztor E C.Example based super resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56－65.

［7］ Chang G，Yeung D Y，Xiong Y.Super-resolution through

neighbor embedding［C］／／Proceeding of IEEE Conf CVPR.Washington，DC：IEEE Press，2004：275－282.［8］ Yang JC，Wright J，et al.Image super-resolution as spars representation of raw image patches［J］.Proc.of International Conference on Computer Vision and Pattern Recognition（CVPR），2008，2：729－736.

［9］ Li Min，Cheng Jian，Le Xiang，et al.Super-resolution based on sparse dictionary coding［J］.Journal of Software，2012，23（5）：1315－1324.（in Chinese）李民，程建，樂(lè)翔，等.稀疏字典編碼的超分辨率重建［J］.軟件學(xué)報(bào)，2012，23（5）：1315－1324.

［10］Rubinstein R，Zibulevsky M，Elad M.Double sparsity：Learning spare dictionaries for sparse signalapproximation［J］.IEEE Trans.on Signal Processing，2010，58（3）：1553－1564.

［11］Baker S，Kanada T.Hallucinating face［C］／／Proceedings of the 4th International Conference on Automatic Face and Gesture Recognition，Washington D C，2000：83－89.

［12］Liu C，Shum H，Zhang C.A two-step approach to hallucinating face：Global parametric model and local nonparametric model［C］／／Proceedings of IEEE Int Conf on Computer Vision and Pattern Recognition（CVPR）.Hawaii，USA：［s.n.］，2001：192－198.

［13］Wang X G，Tang X O.Hallucinating face by eigentransformation［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part-C，2005，35（3）：425－433.

［14］Zhang Xuesong，Jiang Jing，Peng Silong.Eigen-subspace regularized face image super-resolution reconstruction［J］.Journal of Computer-Aided Design＆Computer Graphics，2010，22（3）：487－493.（in Chinese）張雪松，江靜，彭思龍.特征子空間規(guī)整化的人臉圖像超分辨率重建［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（3）：487－493.

［15］Lan Chengdong，Hu Ruimin，Lu Tao，et al.Robust superresolution algorithm for low-quality surveillance face images［J］.Journal of Computer-Aided Design＆Computer Graphics，2011，23（9）：1474－1480.（in Chinese）蘭誠(chéng)棟，胡瑞敏，盧濤，等.低質(zhì)量監(jiān)控圖像魯棒性人臉超分辨率算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23（9）：1474－1480.

［16］Li Tao，Wang Xiaohua，Zhang Chao，et al.Face image super-resolution reconstruction based on learning［J］.Transactions of Beijing Institute of Technology，2012，32（4）：386－389.（in Chinese）李濤，王曉華，張超，等.基于學(xué)習(xí)的人臉圖像超分辨率重構(gòu)算法［J］.北京理工大學(xué)學(xué)報(bào)，2012，32（4）：386－389.

［17］Rubinstein R，Zibulevsky M，Elad M.Double sparsity：learning spare dictionaries for spare signal approximation［J］.IEEE Trans.On Signal Processing，2010，58（3）：1553－1564.

Face image super-resolution reconstruction based on local constraint

ZHU Hua-sheng，XU Chen-guang
（School of Information Engineering，Nanchang Institute of Technology，Nanchang 330099，China）

Based on the overcomplete sparse representation theory，a face image super-resolution reconstructionmethod based on local constraint is proposed.First，a pair of associated redundant dictionary，including high-resolution（HR）and low-resolution（LR），are calculated through sample training.Based on the correlation in local scope of face image，the high-resolution image is reconstructed.Then，the image is optimized globally.To verify the validity of the algorithm，the contrast experiment ismade by using ORL standard image，the results show that the algorithm can work well in the actual conditions，and can recover the high-resolution information perfectly.

super-resolution reconstruction；sparse representation；local constraint；face image；K-SVD

TP391

A

10.3969／j.issn.1001-5078.2014.02.0

1001-5078（2014）02-0217-05

江西省教育廳科研項(xiàng)目（No.GJJ13762）資助。

朱華生（1965－），男，教授，主要研究工作是圖像處理。E-mail：zhuhuasheng＠sohu.com

2013-07-04