基于全變分的模糊人臉圖像復(fù)原算法

魏雪飛，葛成偉

(南京工業(yè)大學(xué)電子與信息工程學(xué)院，南京211816)

在人臉圖像采集過程中，采集到的圖像往往會(huì)出現(xiàn)亮度失衡或者模糊的現(xiàn)象。影響圖像清晰程度的因素很多，如拍攝過程中的抖動(dòng)、聚焦不準(zhǔn)、曝光過度或不均以及攝像頭和景物之間的相互移動(dòng)，都會(huì)降低圖像的質(zhì)量，這一質(zhì)量下降的過程稱為圖像的退化。為在復(fù)雜環(huán)境下進(jìn)行人臉圖像采集的任務(wù)，有必要引入圖像復(fù)原技術(shù)。圖像復(fù)原技術(shù)是盡可能解決受到外界干擾所引起的圖像模糊問題，復(fù)原質(zhì)量的好壞很大程度上決定了人臉檢測和特征提取的效果。

圖像復(fù)原是圖像處理領(lǐng)域的一個(gè)經(jīng)典問題，研究者在硬件技術(shù)和軟件技術(shù)方面提出了很多解決方法。硬件角度上，視頻芯片和攝像機(jī)生產(chǎn)商提出了防抖動(dòng)、運(yùn)動(dòng)補(bǔ)償?shù)姆桨?。軟件角度上的研究比較充分，早期就有逆濾波法、最小均方誤差濾波法、約束最小二乘方濾波法等一些經(jīng)典復(fù)原算法。由于圖像復(fù)原問題是一個(gè)病態(tài)求逆過程，將會(huì)導(dǎo)致無解或者解的不唯一性。目前研究比較成功的是Chan等人的變分正則化方法［1-3］，即利用原始圖像的局部平滑、非負(fù)性和能量有限等先驗(yàn)知識，將復(fù)原問題轉(zhuǎn)化為一個(gè)最小代價(jià)函數(shù)的優(yōu)化問題。文獻(xiàn)［4］提出優(yōu)化-最小求解的方法解決了鄰域像素的變分問題，改善信噪比指標(biāo)達(dá)到2 dB左右。

本文在充分結(jié)合人臉圖像采集過程的基礎(chǔ)上，根據(jù)全變分正則化的思想，引入相容點(diǎn)集的概念，提出一種有約束的人臉圖像復(fù)原算法，并使用最速下降算法求解，初步實(shí)現(xiàn)了模糊圖像復(fù)原的預(yù)處理過程。

1 圖像復(fù)原全變分模型

圖1是一個(gè)通用的圖像退化和復(fù)原模型［5］。在這個(gè)模型中，圖像退化的過程可以建模為作用在一幀原始圖像f(x，y，n)(以下簡寫為 f(n)，n為幀號)上的退化函數(shù)h(x，y，n)(以下簡寫為 h(n))，與一個(gè)噪聲 η(x，y，n)(以下簡寫為 η(n))聯(lián)合作用產(chǎn)生了退化圖像g(x，y，n)(以下簡寫為g(n))。根據(jù)這個(gè)模型，圖像復(fù)原就是要在給定g(n)相關(guān)信息的基礎(chǔ)上，得到f(n)的近似(以下簡寫為

圖1 圖像退化及復(fù)原模型

上述退化模型的數(shù)學(xué)表達(dá)式可以表示為

式中，f(n)為一幀原始圖像，h(n)即為退化因子，η(n)為隨機(jī)噪聲，g(n)為采集到的圖像;·表示線性卷積。為了方便研究，暫時(shí)不考慮隨機(jī)噪聲。設(shè)f(n)的尺寸為M1×N1，h(n)的尺寸為M2×N2，且圖像模糊前后無能量損失，即有，式(1)變?yōu)?/p>

構(gòu)造復(fù)原模型:

ε是事先確定的誤差界，可以取ε=1。

根據(jù)上述分析，可以得到，圖像復(fù)原本質(zhì)上是求^f，其關(guān)鍵在于求h。這是一個(gè)病態(tài)的求逆過程。如果h等于0或者很小的時(shí)候，噪聲將被放大，因此任何一種圖像復(fù)原算法都要考慮當(dāng)出現(xiàn)病態(tài)性時(shí)如何控制噪聲對復(fù)原結(jié)果的干擾。

本文使用全變分因子，構(gòu)造模糊圖像復(fù)原模型，提出了一種基于全變分的模糊人臉圖像復(fù)原算法，這種算法通過引入點(diǎn)集的概念進(jìn)行歸類，并使用最速下降法求解該模型。實(shí)驗(yàn)結(jié)果表明，這種轉(zhuǎn)化實(shí)現(xiàn)了模糊圖像的復(fù)原。

考慮圖像的采集過程，構(gòu)造全變分約束模型［3］

在已經(jīng)得到初始估計(jì)h(0)和初始估計(jì)f(0)之后，進(jìn)一步改進(jìn)有關(guān)估計(jì)。記第k幀的圖像估計(jì)和模糊因子估計(jì)為f(k)，h(k)。在每次迭代過程中，式(4)不一定均滿足，為了表示這些約束條件的不同情形，引入點(diǎn)集記號如下:

由此得到點(diǎn)集:Φ(k)，Γ1(k)，Γ2(k)，(k=0，1，…)，Γ1(k)，Γ2(k)表示第k次迭代時(shí)不相容的點(diǎn)集，Φ(k)表示第k次迭代時(shí)的相容點(diǎn)集。因此，優(yōu)化式(5)可以得到:

其中α是一個(gè)懲罰因子，可以是很小的正參數(shù)(暫假設(shè)α=0.01)，為了計(jì)算方便也可令α=0或α=1。當(dāng)α越大時(shí)，懲罰越厲害。

如果一個(gè)圖像具有快速變化點(diǎn)或是跳躍點(diǎn)，那么其頻域的高頻成分會(huì)比較大。為了體現(xiàn)圖像的跳躍程度，在原目標(biāo)函數(shù)加上約束項(xiàng):

f(ω)為原始圖像f(n)的傅里葉變換。表示圖像在頻域上的總能量，由經(jīng)驗(yàn)知近似表示跳躍對應(yīng)的能量。

上述表達(dá)式中既有時(shí)域函數(shù)，又有頻域函數(shù)，為了便于計(jì)算，利用Parseval公式統(tǒng)一轉(zhuǎn)化為時(shí)域函數(shù)，有

最后將圖像平滑性與跳躍性結(jié)合在一起，進(jìn)一步改進(jìn)，得到優(yōu)化的目標(biāo)函數(shù)為:

其中

其中I(k)是圖像恢復(fù)的清晰度因子，R(k)是圖像獲取因子。

對于上面給定的目標(biāo)函數(shù)優(yōu)化問題，可以歸結(jié)到求解一種搜索迭代過程。在搜索迭代中，將前一幀的跟蹤結(jié)果作為后一幀的初始化輸入。每一次搜索后，目標(biāo)函數(shù)和約束條件都要改變。具體的算法流程:首先利用式(11)計(jì)算下降方向，再根據(jù)目標(biāo)函數(shù)確定步長。最后，檢驗(yàn)新的圖像估計(jì)是否滿足有關(guān)約束，并由此改變目標(biāo)函數(shù)及約束條件，如此循環(huán)。

使用最速下降法［6］在求解上述最小化模型中，需要得到目標(biāo)模型的下降方向和下降步長。為了統(tǒng)籌考慮原始圖像及模糊因子的誤差大小，引進(jìn)變量的增量δf，δh，記關(guān)于f和關(guān)于h下降方向分別為:δf=-?J/?f，δh=-?J/?h。采用線性搜索的方法計(jì)算新的目標(biāo)點(diǎn):

其中λ是由約束條件確定的沿下降方向的前進(jìn)步長。

對于迭代步長λ，在每次迭代過程中希望相容點(diǎn)集保持穩(wěn)定，并且希望有更多的不相容點(diǎn)集變?yōu)橄嗳蔹c(diǎn)集，即

這是一個(gè)關(guān)于變量λ的二次方程，根據(jù)根的判別式法可以判定是否有解。

對于每一個(gè)(i)∈Φ(k)，一定能有一個(gè)可行的步長，即大于零的步長保證目標(biāo)函數(shù)下降，同時(shí)下降步長的不能太小，因此，在下降方向搜索步長的最小值:

另一方面，還需要約束步長不要過大，避免出現(xiàn)從一個(gè)不可行點(diǎn)集到另一個(gè)不可行點(diǎn)集的情形，即

和

為此，由

計(jì)算得

2 實(shí)驗(yàn)結(jié)果及分析

為了測試本算法對模糊人臉圖像復(fù)原的有效性，采用ORL圖像庫的一個(gè)子集進(jìn)行測試。對受到一定噪聲污染的模糊人臉圖像(為方便起見，將圖2三人自上而下命名為甲、乙、丙)，使用本算法對其進(jìn)行復(fù)原，對比結(jié)果如圖2所示。

圖2 圖像復(fù)原效果

圖2(a)、2(b)、2(c)列顯示了設(shè)定參數(shù)μ分別為1、0.5和0時(shí)，本文算法對模糊人臉圖像的復(fù)原效果((a)、(b)、(c)列分別為甲、乙、丙復(fù)原前后的圖像)。μ是平衡參數(shù)，權(quán)衡總有界變差項(xiàng)與總觀測誤差項(xiàng)的比值，如果μ取值過大則殘留較大的噪聲，取值過小則模糊不能完全去除。(a)兩列的人臉圖像，引入噪聲比重較大，雖然復(fù)原得到的圖像仍存在殘余噪點(diǎn)，但是圖像邊緣相對清晰了很多;(b)兩列圖像受到的噪聲干擾減小，復(fù)原后的圖像也逐漸逼近原始圖像;(c)兩列再次加大信噪比，復(fù)原圖像存在較多的偽影和振鈴，但是仍然清晰顯示了人臉的輪廓。實(shí)驗(yàn)結(jié)果表明，無論是有無噪聲污染情況下，經(jīng)過復(fù)原得到圖像都能反映原始圖像。

為進(jìn)一步說明圖像的復(fù)原效果，采用圖像復(fù)原質(zhì)量的評價(jià)標(biāo)準(zhǔn)模型［7］中的峰值信噪比(PSNR)公式對上述結(jié)果進(jìn)行定量評價(jià):

計(jì)算原始圖像與復(fù)原圖像的PSNR，結(jié)果如表1所示。

表1 復(fù)原信號與原始信號的PSNR

通常PSNR越大，說明圖像復(fù)原得越好。表1中的PSNR數(shù)據(jù)也表明本文算法的有效性。同時(shí)可以看到參數(shù)μ是影響信號復(fù)原效果的關(guān)鍵因素。

3 結(jié)論

針對退化模糊的人臉面部圖像，本文研究了圖像在采集過程中退化的原因，給出了一種基于全變分的最優(yōu)化算法，并使用最速下降法進(jìn)行迭代求解。這種算法基本上重現(xiàn)了原始圖像，為后續(xù)的人臉檢測、跟蹤和行為理解等提供了一個(gè)理想的畫質(zhì)。

［1］Chan T F，Wong C K.Total Variation Blind Deconvolution［J］.IEEE Transaction on Image Processing，1998，7(3):370-395.

［2］石明珠，許廷發(fā)，張坤，等.運(yùn)動(dòng)成像混合模糊的全變分圖像復(fù)原［J］.光學(xué)精密工程，2011，19(8):1973-1981.

［3］Terrence Chen，Wotao Yin，Xiang Sean Zhou，et al.Total Variation Models for Variable Lighting Face Recognition［J］.IEEE Transactions on Pattern Analysis and Machine Inelligence，2006，28(9):1619-1524.

［4］徐夢溪，徐楓，黃陳蓉，等.優(yōu)化最小求解的廣義總變分圖像復(fù)原［J］.中國圖象圖形學(xué)報(bào)，2011，16(7):1317-1325.

［5］魏雪飛，葛成偉，陸建明，等.基于線性規(guī)劃的分段平滑信號的復(fù)原算法［J］.信號處理，2012，28(8):1200-1206.

［6］Abdellatif M.A Regularized Hybrid Steepest Descent Method for Variational Inclusions［J］.Numerical Functional Analysis and Optimization，2012，33(1):39-47.

［7］吳顯金.自適應(yīng)正則化圖像復(fù)原方法研究［D］.湖南:國防科技大學(xué)，2006.

［8］Li Bei，Que Dashun.Medical Images Denoising Based on Total Variation Algorithm［J］.Procedia Environmental Sciences，2011，8:227-234.

［9］肖亮，韋志輝，吳慧中.基于最大后驗(yàn)概率和魯棒估計(jì)的圖像恢復(fù)推廣變分模型［J］.計(jì)算機(jī)研究與發(fā)展，2007，44(7):1105-1113.

［10］葉嘉魯，李福德，肖偉，等.含噪聲的運(yùn)動(dòng)模糊圖像點(diǎn)擴(kuò)散函數(shù)尺度鑒別［J］.電子器件，2007，30(2):593-595.

［11］Aubert G，El Hamidi A，Ghannama C，et al.On a Class of Ill-Posed Minimization Problems in Image Processing［J］.J Math Anal，2009，352(1):380-399.

［12］Quiroz E A，Quispe E M，Roberto Olivera P，et al.Steepest Descent Mmethod with a Generalized Armijo Search for Quasiconvex Functions on Riemannian Manifolds［J］J Math Anal，2008，341(1):467-477.