一種基于神經(jīng)網(wǎng)絡(luò)的人臉圖像超分辨率重構(gòu)算法

高志榮，藍(lán)雯飛

(中南民族大學(xué) 計算機(jī)科學(xué)學(xué)院，武漢 430074)

?

一種基于神經(jīng)網(wǎng)絡(luò)的人臉圖像超分辨率重構(gòu)算法

高志榮，藍(lán)雯飛

(中南民族大學(xué) 計算機(jī)科學(xué)學(xué)院，武漢 430074)

摘要提出了一種基于神經(jīng)網(wǎng)絡(luò)的超分辨率重構(gòu)算法.首先用基于l1范數(shù)的最小全變分約束對輸入的低分辨率圖像進(jìn)行去模糊處理，得到初始復(fù)原圖像；再根據(jù)結(jié)構(gòu)相似度原則選擇初始復(fù)原圖像在訓(xùn)練集中最相近的M幅圖像，并加權(quán)求和作為神經(jīng)網(wǎng)絡(luò)的初始輸出；結(jié)合貝葉斯后驗概率，用RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，最后輸出復(fù)原的高分辨率圖像.算法充分利用了不同人臉圖像之間的相似性，并加入了最小全變分約束，以保持圖像邊緣的奇異性及非邊緣的平滑性.實驗結(jié)果表明：算法能有效提高下采樣及模糊人臉圖像的分辨率，具有一定的實用價值.

關(guān)鍵詞人臉圖像；超分辨率；最小全變分；結(jié)構(gòu)相似度；徑向基函數(shù)

Neural Network Based Super Resolution for Face Image

GaoZhirong,LanWenfei

(College of Computer Science, South-Central University for Nationalities, Wuhan 430074,China)

AbstractThis paper proposed a new neural network based super-resolution reconstruction algorithm for blurring face image. The norm based minimum total variation was firstly used to deal with the problem of blurring in low-resolution image. The M images in the training database with the most similar to the initial restored image were following identified according to the structure similarity measure. Then the weighted sum of the M images was calculated for initial output of the neural network. Combining with Bayesian posterior probability, RBF neural network was trained iteratively for finally outputs of the high resolution image. The algorithm took full advantages of the similarity between different face images for reconstruction and the constraints of the minimum total variation for edge singularity and smoothness. The experimental results showed that the algorithm effectively improved the resolution of input low face image and had some practice value.

Keywordsface image; super resolution; minimal total variation; SSIM; RBF

在智能視頻監(jiān)控等應(yīng)用中，具有清晰細(xì)節(jié)特征的高分辨率人臉圖像對于提升系統(tǒng)性能十分重要.而在實際應(yīng)用中，由于采集目標(biāo)與相機(jī)的距離較遠(yuǎn)，因此導(dǎo)致獲得的圖像分辨率及圖像質(zhì)量較低，給后續(xù)人臉識別和跟蹤等應(yīng)用帶來很大的困難.盡管通過減少傳感器大小、增加傳感器密度可進(jìn)一步提升獲取圖像的分辨率，但是這種方法不僅大大提高了系統(tǒng)的硬件實現(xiàn)成本，而且也導(dǎo)致散射噪聲的增加，因此難以滿足人們的應(yīng)用需求.基于軟件實現(xiàn)的圖像超分辨率(SR)技術(shù)[1]是提升圖像分辨率的一種有效方法，其基本思想是以若干模糊、有噪、頻譜混疊的低分辨率(LR)圖像為輸入，通過信號處理技術(shù)融合成一幅高分辨率(HR)圖像.這種技術(shù)可以彌補(bǔ)硬件方法的不足，從軟件角度顯著提高圖像的空間分辨率，目前已應(yīng)用于社會生活的許多領(lǐng)域，并成為獲取高質(zhì)量圖像的重要手段，也成為近年來圖像處理領(lǐng)域的重要熱點(diǎn)問題.人臉圖像的超分辨率也稱為人臉虛幻.

過去的幾十年，圖像超分辨率已得到廣泛研究，并形成了許多的有用方法.這些方法大體可以分為三類：基于插值的方法，基于重構(gòu)的方法[2-4]和基于學(xué)習(xí)的方法.

基于插值的方法是直觀且高效的，其主要包括傳統(tǒng)的基于雙線性插值和樣條插值等，然而在放大倍數(shù)較大時，這些方法的性能將不再令人滿意.基于重構(gòu)的方法建立在成像降質(zhì)模型的基礎(chǔ)上，其基本思想是組合包含在多幀低分辨率圖像中的非冗余信息以生成高分辨率圖像.基于重建的方法需要輸入足夠多的低分辨率圖像，才能恢復(fù)出原來的高頻信息.在實際應(yīng)用中，多數(shù)情況下無法滿足這個要求，當(dāng)只有一幅低分辨率圖像輸入時，得到對應(yīng)的高分辨率圖像就變得更加困難.同時由于傳統(tǒng)基于重建的方法在提高分辨率時，隨著分辨率提高倍數(shù)的增加，算法性能下降很快，會出現(xiàn)細(xì)節(jié)丟失、邊緣模糊等問題[5].近年提出的基于學(xué)習(xí)的方法也稱為基于樣本的方法，通過從一組低分辨率圖像和對應(yīng)高分辨率圖像組成的訓(xùn)練集尋找某種關(guān)系，并由此估計出低分辨輸入圖像丟失的高頻細(xì)節(jié).基于學(xué)習(xí)的方法利用樣本的先驗知識來提供更強(qiáng)的約束，因此往往能得到更好的結(jié)果.

基于學(xué)習(xí)的超分辨率重構(gòu)算法最早由Freeman等人[6]提出，其基本思想是先學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的關(guān)系，然后利用這種關(guān)系來指導(dǎo)對圖像進(jìn)行超分辨率.該方法運(yùn)用馬爾科夫網(wǎng)絡(luò)建立低分辨率圖像塊和高分辨率圖像塊之間的對應(yīng)關(guān)系，并使用貝葉斯置信算法尋找后驗概率的局部最大值進(jìn)行求解.這一算法需要耗費(fèi)大量的時間來構(gòu)造圖像訓(xùn)練集，整個重構(gòu)過程耗費(fèi)的時間很長.Chang等人[7]把流形學(xué)習(xí)中鄰域嵌入的思想引入超分辨率重構(gòu)算法中，從而假定低分辨率圖像塊和高分辨率圖像塊具有相似的局部流形結(jié)構(gòu).通過圖像訓(xùn)練，得到低分辨率圖像塊和高分辨率圖像塊的訓(xùn)練集，然后進(jìn)行匹配重建.Yang[8]把壓縮感知的部分思想引入到超分辨率算法中，他們利用線性規(guī)劃求解LR圖像塊的稀疏表示，并通過與HR圖像塊的線性組合得到高分辨率圖像.這種方法無需設(shè)定用于稀疏表示的低分辨率圖像塊的數(shù)目，但字典的構(gòu)建具有隨機(jī)性，很難泛化.

近年來，專門針對人臉圖像的超分辨率重構(gòu)算法得到了研究者們的廣泛關(guān)注.人臉圖像作為一種特殊的、多維的非剛性模式，具有非常復(fù)雜的生理學(xué)構(gòu)造.相比于其他圖像形式，基于人臉圖像的超分辨率圖像重構(gòu)具有更大的挑戰(zhàn)性.在人臉圖像超分辨率重構(gòu)算法中，Baker等人[9]第一次提出“虛幻臉”算法，通過引入圖像的梯度先驗信息進(jìn)行訓(xùn)練.朱華生等人[10]結(jié)合稀疏表示理論，提出了一種基于局部約束的人臉圖像超分辨率重構(gòu)算法.張地等[11]在傳統(tǒng)基于像素空間超分辨率重構(gòu)算法的基礎(chǔ)了，提出了一種基于特征空間的人臉超分辨率圖像重構(gòu)算法.An等[12]提出了一種基于二維典型關(guān)聯(lián)分析人臉圖像超分辨率重構(gòu)算法.

以上基于人臉圖像的超分辨率算法，在圖像降質(zhì)嚴(yán)重的情況下，重構(gòu)效果并不理想，例如在某些輪廓部分產(chǎn)生不規(guī)則邊緣，圖像清晰度不足等.為此，本文提出一種新的基于學(xué)習(xí)的人臉圖像超分辨率重構(gòu)算法.通過查找訓(xùn)練庫中與輸入圖像最接近的M幅人臉圖像，并加權(quán)求和作為初始的輸出；結(jié)合貝葉斯后驗概率，利用徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以提高算法的效率和泛化特性；引入了基于l1范數(shù)的最小全變分對重構(gòu)過程進(jìn)行約束，以保持圖像邊緣的奇異性及非邊緣的平滑性.實驗結(jié)果表明，算法在忠實于原始圖像的同時，分辨率也得到了有效的提高.

1圖像降質(zhì)模型

超分辨率圖像序列的退化模型可用一個線性過程來描述[13].假設(shè)觀測到的低分辨率圖像序列包括K幅M×N大小的低分辨率圖像y={y1,y2,…,yn}，其中yi(i=1,2,…,K)代表第i幅低分辨率圖像.從中復(fù)原一幅S1M×S2N的高分辨率圖像，這里s1、s2分別代表水平和垂直方向圖像的放大倍數(shù).在不考慮運(yùn)動退化的情形下，該模型可由式(1)的退化過程表示：

yk=DHx+ek,k=1,2,…,K,

(1)

其中x是高分辨率圖像，D和H分別為下采樣算子和模糊算子.本文中假設(shè)采樣因子和模糊點(diǎn)擴(kuò)散函數(shù)(PSF)都是已知的；e表示加性噪聲.

由已知的低分辨率圖像序列yk估計高分辨率圖像x是一個病態(tài)逆問題.解決病態(tài)逆問題的一個有效方法是采用正則化約束.如早期的Tikhonov正則化方法，全變分(TV)正則化和稀疏表示正則化方法等.其中，全變分方法可以在處理的過程中較好地保留圖像的邊緣信息，并對超分辨率重建中的去噪和去模糊有效，因此在圖像復(fù)原領(lǐng)域得到了廣泛的關(guān)注和使用.

在不考慮下采樣的情況下，全變分正則化復(fù)原模型可以用式(2)來描述：

(2)

其中λ>0為正則化常數(shù)，它在TV范數(shù)項和保真項之間起著重要的平衡作用，H為模糊算子，y為低分辨率圖像，Ω表示圖像區(qū)域.

2基于學(xué)習(xí)的人臉圖像超分辨率重構(gòu)

盡管TV正則化模型可以較好地保留圖像邊緣，并對超分辨率重建中的去噪和去模糊有效，但在圖像降質(zhì)嚴(yán)重的情況下，還需要進(jìn)一步的學(xué)習(xí)才能得到復(fù)原效果更好的圖像.本文將TV正則化模型用于人臉圖像超分辨率重構(gòu)的預(yù)處理，得到初始復(fù)原圖像，再經(jīng)過進(jìn)一步的學(xué)習(xí)，以得到更加理想的高分辨率圖像.

2.1貝葉斯后驗概率法

基于學(xué)習(xí)的超分辨率算法假定訓(xùn)練樣本與輸入圖像包含相同類型的信息，以輸入圖像為依據(jù)，用學(xué)習(xí)過程從訓(xùn)練樣本集中獲取先驗知識作為超分辨率的依據(jù).因而能較好地用于人臉圖像的超分辨率重構(gòu)復(fù)原中.

由前述圖像降質(zhì)模型可知，超分辨率復(fù)原需要解決的問題是在已知低分辨率圖像y的條件下，求出最優(yōu)的高分辨率圖像x，最常用的方法是最大后驗(MAP)估計.根據(jù)貝葉斯估計理論，x的后驗概率可由式(3)來描述：

(3)

其中，P(x)和P(y)分別是高分辨率圖像x和低分辨率圖像y的先驗概率；P(y|x)為給定了高分辨率圖像x時，觀測y的條件概率.滿足后驗概率P(x|y)取得最大值的x就是最優(yōu)的，即：

(4)

這里P(x)表示高分辨率圖像x出現(xiàn)的先驗概率，代表了對高分辨率圖像的一種評價標(biāo)準(zhǔn)以避免病態(tài)問題的出現(xiàn)[14].P(x)又稱為正則項，對控制最終結(jié)果的圖像質(zhì)量可起到關(guān)鍵作用.

2.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型

相比于統(tǒng)計方法和一般神經(jīng)網(wǎng)絡(luò)模型，RBF神經(jīng)網(wǎng)絡(luò)具有更快的學(xué)習(xí)速度和更強(qiáng)的泛化能力，它具有高度的非線性映射能力，可以任意準(zhǔn)確度地逼近一個給定的非線性函數(shù)，具有全局最優(yōu)和最佳逼近性能.目前較少有文獻(xiàn)將該方法用于人臉圖像超分辨率重構(gòu)中.因此，本文采用RBF神經(jīng)網(wǎng)絡(luò)模型對人臉圖像進(jìn)行訓(xùn)練以重構(gòu)高分辨率人臉圖像，后續(xù)實驗證明了該方法的有效性.

RBF神經(jīng)網(wǎng)絡(luò)是一種具有拓?fù)浣Y(jié)構(gòu)的前向神經(jīng)網(wǎng)絡(luò)，主要由輸入層、隱含層和輸出層構(gòu)成.隱含層采用徑向基函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)，徑向基函數(shù)是一個高斯型函數(shù)，它將該層權(quán)值矢量與輸入矢量之間的歐氏距離與偏差相乘后作為網(wǎng)絡(luò)激活函數(shù)的輸入.RBF神經(jīng)網(wǎng)絡(luò)的基本模型如圖1所示.

圖1　RBF神經(jīng)網(wǎng)絡(luò)模型Fig.1　Model of RBF neural network

(5)

由式(5)可知，隨著w與x之間距離的減少，徑向基函數(shù)的輸出將增加；當(dāng)其輸入為0，即w和x之間的距離為0時，輸出最大值1；從而可以將一個徑向基函數(shù)神經(jīng)元作為一個當(dāng)輸入矢量x與其權(quán)值矢量w相同時，輸出為1的探測器.

徑向基層中的偏差b可以用來調(diào)節(jié)其函數(shù)的靈敏度，常用伸展常數(shù)C來表示.它可以用來確定每一個徑向基層神經(jīng)元對其輸入矢量，也就是w與x之間距離的面積寬度.

2.3算法描述

本文算法的基本過程為：

Step1訓(xùn)練庫的建立：根據(jù)式(1)的退化模型，將N幅原始圖像TR_HRi(i=1,2,…,N)進(jìn)行降采樣，得到對應(yīng)的低分辨率圖像TR_LRi(i=1,2,…,N)，在這個過程中，假設(shè)退化模型是已知的.

Step2 圖像配準(zhǔn)：由于測試的低分辨率人臉圖像與訓(xùn)練庫中人臉圖像的獲取時間、傳感器及拍攝條件均存在不一致性，通過對輸入低分辨率人臉圖像TT_LR進(jìn)行空間幾何變換，使之與訓(xùn)練庫中的圖像具有幾何意義上的匹配.

Step3圖像去模糊：采用基于l1范數(shù)的全變分方法對輸入的低分辨率圖像TT_LR進(jìn)行上采樣和去模糊處理，得到初始復(fù)原的圖像TT_HR0.

Step5RBF網(wǎng)絡(luò)初始化：基于貝葉斯正則化優(yōu)化算法，創(chuàng)建RBF神經(jīng)網(wǎng)絡(luò)，初始輸入為TT_HR0，初始輸出為WSM，擴(kuò)展常數(shù)C=0.8326.

Step6迭代訓(xùn)練：經(jīng)過網(wǎng)絡(luò)的多次學(xué)習(xí)和訓(xùn)練，同時用梯度下降法對權(quán)值和擴(kuò)展常數(shù)進(jìn)行調(diào)整，最終得到輸入低分辨率圖像TT_LR的高分辨率圖像TT_HR_TOP，使得均方根誤差RSME(TT_HR0,TT_HR_TOP)小于給定的閾值T.

3模擬實驗

本文以AR人臉庫為例，在Windows7.0操作系統(tǒng)以及Matlab7.10.0平臺上進(jìn)行了模擬實驗.AR人臉庫包括訓(xùn)練庫和測試庫，分別有100個人，每人7幅圖像，共1400幅圖像.與bicubic插值及文獻(xiàn)[4](記為L1TV)進(jìn)行了模擬比對.隨機(jī)選取其中4幅圖像高斯低通濾波降質(zhì)后，再進(jìn)行下采樣，其重構(gòu)結(jié)果如圖2和圖3所示.其中圖2的高斯濾波窗口大小為3×3，標(biāo)準(zhǔn)差為1；圖3的高斯濾波窗口大小為5×5，標(biāo)準(zhǔn)差為2.

從圖2中可以看出，在模糊程度較輕的情況下，L1TV算法和本文算法都能較好地恢復(fù)降質(zhì)圖像，優(yōu)于bicubic算法.而在模糊程度進(jìn)一步加強(qiáng)時(如圖3)，L1TV算法恢復(fù)效果有明顯下降，從視覺效果上看，與bicubic算法較為接近；而本文算法則在以上2種情況下，均輸出較為理想的高分辨率圖像，從人類視覺角度證明了本文算法的有效性.

圖2　重構(gòu)結(jié)果(hsize=[3 3]，sigma=1)Fig.2　Reconstruction result (hsize=[3 3]，sigma=1)

圖3　重構(gòu)結(jié)果(hsize=[5 5]，sigma=2)Fig.3　Reconstruction result (hsize=[5 5]，sigma=2)

采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)作為算法有效性的客觀評價標(biāo)準(zhǔn).分別對測試圖像加高斯低通濾波和下采樣，其比較結(jié)果如圖4～7所示.其中圖4、圖5是子窗大小為3×3，標(biāo)準(zhǔn)差為1時的PSNR和SSIM值，圖6、圖7是子窗大小為5×5，標(biāo)準(zhǔn)差為2時的PSNR和SSIM值.從圖4～7中可以看出，本文算法的PSNR和SSIM性能最好，L1TV算法次之，bicubic算法的性能最差.同時，當(dāng)模糊程度較輕時，L1TV算法和本文算法的PSNR及SSIM性能較為接近，本文算法效果更好；當(dāng)模糊程度進(jìn)一步加強(qiáng)(如圖6、7所示)，L1TV算法的性能有明顯下降，與bicubic算法較為接近.說明L1TV算法僅能處理程度較輕的圖像模糊，但本文算法在較大程度模糊時仍具有較好的魯棒性，從客觀角度證明了本文算法的有效性.

圖4　PSNR性能(hsize=[3 3]，sigma=1)Fig.4　PSNR (hsize=[3 3]，sigma=1)

圖5　SSIM性能(hsize=[3 3]，sigma=1)Fig.5　SSIM (hsize=[3 3]，sigma=1)

4結(jié)語

針對人臉圖像采集過程中硬件設(shè)備等方面的不足，導(dǎo)致圖像分辨率低的問題，本文提出一種新的基于學(xué)習(xí)的模糊人臉圖像超分辨率重構(gòu)算法.首先對輸入的低分辨率圖像上采樣后，再用基于l1范數(shù)的最小全變分約束進(jìn)行去模糊處理，得到初始復(fù)原圖像.根據(jù)結(jié)構(gòu)相似度原則選擇初始復(fù)原圖像在訓(xùn)練集中最相近的M幅圖像，并加權(quán)求和作為神經(jīng)網(wǎng)絡(luò)的初始輸出.結(jié)合貝葉斯后驗概率，用RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，最后輸出復(fù)原的高分辨率圖像.算法充分利用了不同人臉圖像之間的相似性，并加入了最小全變分約束，以保持圖像邊緣的奇異性及非邊緣的平滑性.實驗結(jié)果表明，算法在忠實于原始圖像的同時，分辨率也得到了有效的提高.

圖6　PSNR性能(hsize=[5 5]，sigma=2)Fig.6　PSNR(hsize=[5 5]，sigma=2)

圖7　SSIM性能(hsize=[5 5]，sigma=2)Fig.7　SSIM (hsize=[5 5]，sigma=2)

目前有關(guān)基于學(xué)習(xí)的圖像超分辨率技術(shù)的研究尚處于理論研究階段，遠(yuǎn)遠(yuǎn)沒有達(dá)到使用階段.未來研究方向主要集中在以下幾個方面：(1)建立更有效的學(xué)習(xí)模型，以提供更完備的先驗知識；(2)完善學(xué)習(xí)算法和搜索算法，提高學(xué)習(xí)訓(xùn)練速度和匹配速度，減小運(yùn)算量.隨著各應(yīng)用領(lǐng)域的發(fā)展，相關(guān)理論和技術(shù)的不斷提高，必將推動基于學(xué)習(xí)的超分辨率技術(shù)的進(jìn)一步發(fā)展.

參考文獻(xiàn)

[1]Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview [J]. IEEE Signal Processing Magazine, 2003, 20(3):21-36.

[2]Gunturk B K,Gevrekci M.High-resolution image recon-

struction from multiple differently exposed images [J]. IEEE Signal Processing Letters, 2006, 13(4):197-200.

[3]Choi B, Ra J B. Region-based super-resolution using multiple blurred and noisy undersampled images[C]//IEEE. International Conference on Acoustics, Speech and Signal Processing. Toulouse: IEEE, 2006: 609-612.

[4]Zhan M Q, Deng Z L. L_1 norm of total variation regularization based super resolution reconstruction for Images[J]. Science Technology & Engineering, 2010,10(28):6903-6906.

[5]Baker S, Kanade T. Limits on super-resolution and how to break them[J]. IEEE Trans On Pattern Analysis and Machine Intelligence, 2002, 24(9):1167-1183.

[6]Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. Computer Graphics & Applications IEEE, 2002, 22(2):56-65.

[7]Chang H, Yeung D Y, Xiong Y. Super-resolution through neighbor embedding [C]//IEEE. International Conference on Computer Vision and Pattern Recognition. Washington DC:IEEE,2004: 275-282.

[8]Yang J, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches [C]//IEEE. International Conference on Computer Vision and Pattern Recognition. Anchorage:AK, 2008:1-8.

[9]Kanade T, Baker S. Hallucinating Faces[C]//IEEE. International Conference & Workshops on Automatic Face & Gesture Recognition. Grenoble:IEEE, 2000:83-89.

[10]朱華生, 徐晨光. 基于局部約束的人臉圖像超分辨率重構(gòu)算法[J]. 激光與紅外, 2014, (2):217-221.

[11]張 地, 何家忠. 基于特征空間的人臉超分辨率重構(gòu)[J]. 自動化學(xué)報, 2012, 38(7).

[12]An L, Bhanu B. Face image super-resolution using 2D CCA[J]. Signal Processing, 2014, 103(10):184-194.

[13]安耀祖, 陸耀, 趙紅. 一種自適應(yīng)正則化的圖像超分辨率算法[J]. 自動化學(xué)報, 2012, 38(4).

[14]蘇衡, 周杰, 張志浩. 超分辨率圖像重建方法綜述[J]. 自動化學(xué)報, 2013, 39(8):1202-1213.

中圖分類號TP183；TP391.4

文獻(xiàn)標(biāo)識碼A

文章編號1672-4321(2016)01-0114-05

基金項目國家自然科學(xué)基金資助項目(61471400, 61201268)；湖北省自然科學(xué)基金資助項目(2013CFC118)

作者簡介高志榮(1972-)，女，副教授，博士生，研究方向:智能計算、機(jī)器學(xué)習(xí).E-mail:gaozhirong@mail.scuec.edu.cn

收稿日期2015-12-20