Facial—Lighting歸一化方法研究

周楓+薛熒熒+陳晗婧+許小強(qiáng)+徐永紅+李千目

摘要：一直以來(lái)，人臉識(shí)別都是模式識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。作為一種重要的生物特征識(shí)別技術(shù)，在社會(huì)公共安全和日常生活中具有廣泛的應(yīng)用前景。目前，在可控環(huán)境下的人臉識(shí)別系統(tǒng)已達(dá)到了令人滿(mǎn)意的性能。但是，在真實(shí)環(huán)境下影響人臉識(shí)別的因素是很難控制的，例如光照變化、姿態(tài)變化和遮擋等。本文主要關(guān)注人臉圖像光照歸一化的方法，重點(diǎn)研究了直方圖均衡、高斯差分濾波、對(duì)數(shù)域離散余弦變換、梯度臉和光照預(yù)處理鏈等方法。

關(guān)鍵詞：人臉識(shí)別；光照預(yù)處理；圖像處理

中圖分類(lèi)號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.3969/j.issn.1003-6970，2015.06.012

本文著錄格式：周楓，薛熒熒，陳晗婧，等.Facial-Lighting歸一化方法研究[J].軟件，2015，36（6）：58-65

ResearchonFacial-IightingNormalizationMethodsZHOUFengl，XUEYing-yingl，CHENHan-jingl'2，XUXiao-qiangl，2，XUYong-hong3，11Qian-mul

[Abstract]：Facerecognitionhasbeenoneofthemostactiveresearchtopicsincomputervisionandpatternrecogni-tion.Asanimportantbiometricstechnology，facerecognitionhasandwillhavepopularapplicationsintheareaofso-cialpublicsecurityanddailylife.Nowincompletelycontrolledenvironmentfacerecognitionhasachievedsatisfyingperformance.However，inpractice，manyfactorsinfacerecognitionareuncontrolled，e.g.variationsinillumination，poseandocclusion.Thispapermainlyfocusesonthefacial-lightingnormalizationmethods

[Keywords]：Facerecognition；Illuminationpreprocessing；Imageprocessing

0引言

同一張人臉圖像在不同光照條件下的差異可能會(huì)大于不同人臉圖像在相同光照下的差異[1]。作為人臉識(shí)別、表情識(shí)別[9]等多種現(xiàn)實(shí)應(yīng)用的重要基礎(chǔ)，研究人員日益關(guān)注光照問(wèn)題的解決，不斷對(duì)現(xiàn)有方法進(jìn)行組合和改進(jìn)，提出了諸多識(shí)別率較高、普適性較強(qiáng)的方法[3-7]。這些方法或是利用數(shù)字圖像處理技術(shù)對(duì)光照進(jìn)行預(yù)處理，或是利用數(shù)學(xué)理論結(jié)合圖像技術(shù)對(duì)圖像進(jìn)行變換，以期獲取光照良好的圖像，又或是對(duì)人臉圖像進(jìn)行建模處理，試圖復(fù)原人臉的形狀、姿態(tài)等信息；在此基礎(chǔ)上再對(duì)人臉進(jìn)行識(shí)別，大都獲得了較好的識(shí)別性能。

本文總結(jié)和歸納了目前主流的五種處理方法：直方圖均衡、高斯差分濾波、對(duì)數(shù)域的離散余弦變換、梯度臉和光照預(yù)處理鏈，并對(duì)每種方法的原理進(jìn)行了分析和比較。

1人臉圖像光照歸一化方法

1.1光照預(yù)處理鏈（TT）方法

基本思想：將伽瑪校正、對(duì)比度均衡化等光照預(yù)處理方法綜合起來(lái)，得到了一個(gè)人臉圖像光照預(yù)處理鏈。該方法過(guò)程復(fù)雜，卻能有效去除過(guò)度曝光和陰影對(duì)人臉圖像的影響，同時(shí)還能將人臉的光照變化和細(xì)節(jié)特征等基本要素保留下來(lái)。

伽馬矯正是一種非線(xiàn)性灰度變換，用，7（γ>0）或者log（/）（γ=0）代替圖像灰度，，當(dāng)γ∈[o，1]且γ是一個(gè)用戶(hù)白定義參數(shù)。這種變換能提升圖像在黑暗或陰影區(qū)域的局部動(dòng)態(tài)變化范圍而壓縮圖像在明亮區(qū)域和亮點(diǎn)的局部動(dòng)態(tài)變化范圍。潛在的原則是，從物體上反射出來(lái)的光照強(qiáng)度是入射光照L（L在絕大多數(shù)區(qū)間是分段平滑的）和局部表面反射率R綜合的結(jié)果。原作者給出了這樣的結(jié)論：對(duì)于恒定的局部光照，給定的反射率產(chǎn)生給定的log（I），而不用考慮光照的真實(shí)強(qiáng)度。實(shí)際上，全局的對(duì)數(shù)變換往往過(guò)度放大了圖像黑暗區(qū)域的噪聲；但是一個(gè)指數(shù)為γ且γ∈[0，o.5]范圍的冪次定律是個(gè)很好的折衷。在人臉識(shí)別中，一般情況下選擇γ=0.2作為默認(rèn)設(shè)置。

對(duì)比度均衡化能重新調(diào)整圖像灰度到一個(gè)期望的范圍以?xún)?nèi)，同時(shí)又能保證圖像在全局上的整體對(duì)比度。這是為了達(dá)到光照魯棒性的一項(xiàng)重要舉措。基于式（1）和式（2）可以對(duì)圖像做如下對(duì)比度均衡化處理：

其中，a是一個(gè)強(qiáng)力壓縮指數(shù)，能減少個(gè)別較大灰度值帶來(lái)的影響；z-是一個(gè)閾值，在均衡化中用來(lái)截取較大灰度值；mean（-）是對(duì)整個(gè)圖像的均值操作算子。在此處取α=0.1和γ-=10作為默認(rèn)值。最后，該方法應(yīng)用一種非線(xiàn)性映射的策略來(lái)完成對(duì)圖像灰度值極大值的抑制，即，（x，y）←γtanh（r（x，y）/τ，其中是雙曲正切函數(shù)，I的取值范圍被限制在（-τ，τ）。tnah（·）是雙曲正切函數(shù)，I的取值范圍被限制在（-τ，τ）。

圖1展示了光照預(yù)處理鏈的過(guò)程，該方法的效果如圖2所示

2.2直方圖均衡化（HE）

直方圖均衡化方法，是一種在全局上進(jìn)行統(tǒng)計(jì)分析，調(diào)整直方圖中的灰度分布，再重新生成直方圖的方法[8]。該方法主要是為了有選擇性地抑制某些信息（像素所占比例較少的灰度），而增強(qiáng)另外需要表現(xiàn)的某些信息（像素所占比例較多的灰度），即達(dá)到均衡化的目的。

2.2.1灰度圖像的直方圖

增加灰度圖像的對(duì)比度，是圖像增強(qiáng)技術(shù)的一種，主要用來(lái)提升灰度圖像在局部或者整體上的反差程度，從而清楚地顯現(xiàn)出圖像的某些細(xì)節(jié)，以達(dá)到改善圖像的視覺(jué)效果的目的。直方圖均衡化和伽馬矯正就是在全局上增強(qiáng)對(duì)比度的典型方法。

一般以各像素點(diǎn)之間的灰度值差距的程度來(lái)表示圖像對(duì)比度。而直方圖均衡化就是按照設(shè)定好的一些映射關(guān)系，調(diào)整原圖中各個(gè)像素點(diǎn)的灰度值使之均衡化的分布，來(lái)增強(qiáng)圖像對(duì)比度的方法。我們能夠通過(guò)圖像的直方圖清楚地看到圖像像素在整個(gè)灰度區(qū)間的分布，以及像素在每個(gè)灰度級(jí)上出現(xiàn)的頻率。如圖3所示，

2.2.2直方圖均衡化

直方圖均衡化又可以被稱(chēng)為灰度均衡化，整個(gè)過(guò)程就是按照一定規(guī)則將像素值重新分配，從而使得圖像的直方圖中灰度能均衡地分配到各個(gè)灰度區(qū)間，這也是直方圖均衡化的主要思想。因此，圖像在做過(guò)增強(qiáng)處理后，將會(huì)取得很大的動(dòng)態(tài)變化范圍和很高的灰度對(duì)比度。

為了能清晰明了并且簡(jiǎn)單地介紹直方圖均衡化處理的過(guò)程，可以給出這樣的定義：灰度圖像在0-1的區(qū)間里并且連續(xù)，圖像的概率密度函數(shù)為

p（x），O

（3）

從式（2.2.1）可以得出，在0-1區(qū)間對(duì)p（x）進(jìn)行積分，值為1，即：

可以假設(shè)灰度圖像在處理前的概率密度函數(shù)為pr（r），經(jīng)過(guò)直方圖均衡化后的圖像概率密度函數(shù)為Ps（s），令s=f（r），對(duì)s求導(dǎo)數(shù)可得：

為了滿(mǎn)足Ps（s）=1且O

對(duì)式（7）兩邊方程式進(jìn)行積分處理，有：

上述的推理過(guò)程是灰度值在0-1區(qū)間并且連續(xù)分布的條件下進(jìn)行的，而當(dāng)在[0-255]條件下時(shí)，只要將積分乘上最大灰度值即可。具體描述如下：

直方圖均衡化對(duì)于對(duì)比度比較低的圖像做圖像增強(qiáng)時(shí)，可謂是簡(jiǎn)單而高效。經(jīng)過(guò)該方法處理后的圖像，平均的灰度值將會(huì)比較靠近灰度中指，進(jìn)而導(dǎo)致了一些過(guò)度增強(qiáng)以及光暈等現(xiàn)象。而在人臉識(shí)別中，當(dāng)光照良好時(shí)，該方法表現(xiàn)尚好；但是在光照條件惡劣時(shí)識(shí)別性能并不令人滿(mǎn)意。直方圖均衡化（HE）的效果如圖4所示：

2.3高斯差分濾波器（DOG）

DOG是一種基于高斯差分濾波器的圖像的光照歸一化方法。該方法主要運(yùn)用帶通濾波器將輸入圖像做歸一化處理。需要注意的是，在進(jìn)行濾波以前，必須先對(duì)圖像進(jìn)行伽瑪矯正或者對(duì)數(shù)變換來(lái)抑制陰影區(qū)域的局部差異帶來(lái)的影響，否則難以得到理想的結(jié)果圖像。

在一維情況下DOG定義如下：

在二維的情況下DOG定義如下：

作為一種圖像增強(qiáng)算法，DOG可以被用作增加邊緣和其他細(xì)節(jié)的可見(jiàn)性。這個(gè)算法的一個(gè)主要缺點(diǎn)就是在調(diào)整圖像對(duì)比過(guò)程中信息量會(huì)減少。該方法的效果如圖5所示：

2.4對(duì)數(shù)域離散余弦變換（LDCT）

該方法能有效消除光照變化，同時(shí)保持主要的面部特征不受影響。該方法的主要思想是，光照變化可以通過(guò)在對(duì)數(shù)域截取低頻離散余弦變換（DCT）系數(shù)而顯著降低。以下是對(duì)該方法所用到的一些基本理論進(jìn)行簡(jiǎn)單介紹。

2.4.1對(duì)數(shù)變換

在數(shù)字圖像增強(qiáng)技術(shù)中，對(duì)數(shù)變換通常被用來(lái)提高暗像素的灰度值。在一個(gè)簡(jiǎn)單的情況下，圖像的灰度級(jí)廠(chǎng)（x，y）可被假設(shè)為正比于反射率r（x，y）的和光照e（x，y）的乘積，即

f（x，y）=r（x，y）.e（x，y）

（11）

眾所周知，Retinue算法與反射恒常性相關(guān)。反射率不變的特性已被廣泛應(yīng)用于目標(biāo)識(shí)別。由于反射是面部特征的穩(wěn)定特性，就可以恢復(fù)在不同光照條件下的反射面。對(duì)式（11）取對(duì)數(shù)變換，我們有

logf（x，y）=logr（x，y）+loge（x，y）

（12）

由式（12）可得，在對(duì)數(shù)域，如果入射光照e（x，y）和所需的均勻的光照e被給出了（e為相同的圖像的每一個(gè)像素），有

logf'（x，y）=logr（x，y）+loge'

=logr（x，y）+loge（x，y）-s（x，y）

（13）

=logf（x，∥）一s（x，少）

其中占（x，y）=loge（x，y）-loge'

并且f'（x，y）是根據(jù)所希望的均勻光照的像素值。由式（13），我們可以得出這樣的結(jié)論：歸一化的人臉圖像可以通過(guò)使用一個(gè)附加函數(shù)ε（x，y）從原始圖像獲得，ε（x，y）被稱(chēng)為補(bǔ)償函數(shù)，是光照歸一化和估計(jì)原有光照在對(duì)數(shù)域之間的差異所在。

2.4.2離散余弦變換

有四種類(lèi)型的離散余弦變換（DCT），列舉如下：DCT-I，DCT-II，DCT-III，和DCT-IV。DCT-II更廣泛地被應(yīng)用于信號(hào)的編碼，因?yàn)樗频葍r(jià)于Karhunen-Loeve變換（KLT），Markov-1信號(hào)相關(guān)系數(shù)更是接近于1。例如，JPEG圖像壓縮是基于DCT-II。DCT-II經(jīng)常被簡(jiǎn)稱(chēng)為“DCT”二維的MxN的DCT定義如下：

在該方法中，DCT變換是對(duì)整個(gè)人臉圖像進(jìn)行，以獲取人臉圖像的所有頻率成分。

2.4.3光照補(bǔ)償

給定一張人臉圖像，如果已知光照變化和主要的人臉特征關(guān)系，那么光照變化可以通過(guò)在對(duì)數(shù)域增加或減少項(xiàng)ε（x，y）來(lái)進(jìn)行補(bǔ)償，然而，面部特征檢測(cè)是一項(xiàng)并不簡(jiǎn)單的工作，尤其對(duì)于較大光照變化的人臉圖像。與一些在人臉圖像上的投射陰影和鏡面反射相比，光照變化通常改變緩慢。因此，光照變化主要表現(xiàn)在低頻帶。因?yàn)樵噲D使用反射率特性識(shí)別人臉，光照變化可以通過(guò)去除低頻分量被減少。應(yīng)當(dāng)指出的是，在該方法中只考慮沒(méi)有頭發(fā)的人臉圖像，因?yàn)槿祟^發(fā)的強(qiáng)度是一種容易受損的低頻特征，它會(huì)使人臉圖像的低頻分量丟失。然而，人的頭發(fā)是一種不穩(wěn)定的特征，它會(huì)隨時(shí)間而發(fā)生很大變化。因此，在許多人臉識(shí)別系統(tǒng)中，人的頭發(fā)不被視為是一種重要的面部特征。

DCT可用于將圖像從空間域變換到頻率域。此外，它可以使用快速算法來(lái)實(shí)現(xiàn)，這大大降低了計(jì)算的復(fù)雜性。人臉圖像的低頻分量可以通過(guò)設(shè)置低頻DCT系數(shù)為零而簡(jiǎn)單地除去。顯然，所得到的系統(tǒng)的工作方式類(lèi)似于高通濾波器。由于光照變化主要為低頻成分，可以通過(guò)使用低頻DCT系數(shù)來(lái)估計(jì)在人臉上的入射光照。由式（14）可得，設(shè)置DCT系數(shù)為零相當(dāng)于減去DCT基圖像和原始圖像相應(yīng)的系數(shù)的乘積。如果N個(gè)低頻DCT系數(shù)被設(shè)置為零，有

由于光照變化預(yù)計(jì)將在低頻分量，函數(shù)可近似看作光照補(bǔ)償函數(shù)。由（13）可知，函數(shù)F（x，y）（16）就是所需的在對(duì)數(shù)域的歸一化的人臉圖像。因此，丟失的對(duì)數(shù)域低頻DCT系數(shù)相當(dāng)于對(duì)光照變化的補(bǔ)償。這就是為什么DCT應(yīng)在對(duì)數(shù)域?qū)崿F(xiàn)。第一DCT系數(shù)（即，離散余弦分量）確定人臉圖像的全局光照。因此，可以通過(guò)設(shè)定取值相同的離散余弦系數(shù)，來(lái)獲得所希望的均勻光照。即：

其中，c（o，o）是對(duì)數(shù)域圖像的離散余弦系數(shù)。為了便于理解和可視化，通常選擇一個(gè)接近原始圖像的中間值的值。換句話(huà)說(shuō)，正常人臉圖像有一個(gè)平均灰度級(jí)μ。

該方法期望消除高頻分量，同時(shí)保留低頻分量，利用DCT系數(shù)來(lái)消除不良光照。在重建原圖像時(shí)，盡管維度被降低了，但是仍能較好地恢復(fù)圖像。雖然該方法能消除部分光照的影響，但識(shí)別率還有待進(jìn)一步提高。

對(duì)數(shù)域離散余弦變換（LDCT）處理前后的人臉圖像如圖6所示：

2.5梯度臉（GRF）

處理過(guò)程為：首先求取圖像x和y方向的梯度分量，通過(guò)高斯一階導(dǎo)數(shù)與圖像做卷積可以求得；其次，根據(jù)圖像在x和y方向各白的梯度分量來(lái)獲得圖像的梯度分量[3]。

2.5.1反射模型

在許多情況下使用到的反射模型可以定義如下：

I（x，y）=R（x，y）./（x，y）（18）

式中I（x，y）為圖像像素值，R（x，y）為反射率，L（x，y）為點(diǎn)（x，y）的光照。其中，L（x，y）的性質(zhì)由光源決定，而R（x，y）由物體表面的特征決定。因此，R（x，y）可以被認(rèn)為是光照不變特征。然而，從實(shí)際圖像中區(qū)分反射率R和光照L是一個(gè)不適定問(wèn)題，即解不存在或不唯一，或是解連續(xù)依賴(lài)于初邊值條件。為了解決這個(gè)問(wèn)題，可以做成這樣的假設(shè)：當(dāng)R突然改變時(shí)，L變化緩慢。就在光照下的圖像中兩個(gè)相鄰的點(diǎn)（x，y）和（x+Ax，y）而言，由于/（x，y）由光照決定，L（x，y）和/（x+Ax，y）通常是近似相等的，當(dāng)Ax值很小的時(shí)候。因此，L是近似平滑的。應(yīng)當(dāng)被指出的是，這個(gè)結(jié)論（L是近似平滑的）在陰影邊界，可能是相悖的。然而，陰影在圖像處理和模式識(shí)別領(lǐng)域是一個(gè)開(kāi)放性問(wèn)題。為了解決陰影邊界問(wèn)題，一種高斯核函數(shù)被引進(jìn)到梯度臉?lè)椒ā２⑶?，在人臉識(shí)別應(yīng)用中，我們應(yīng)該更加關(guān)注識(shí)別率而不是圖像本身。

2.5.2梯度臉

為了從梯度域提取光照不變特征，需要有以下理論來(lái)獲取梯度域部件之間的關(guān)系。定理：給定一任意光照條件下的圖像I（x，y），Y方向梯度分量和X方向梯度分量的比做為光照不變特征。證明：考慮兩個(gè)相鄰的的像素點(diǎn)（x，y）和（x+Ax，y），根據(jù)光照反射模型，有：/（x，y）=R（x，y）./（x，y）

（19）/（x+Ax，y）=R（x+Ax，y）./（x+Ax，y）

（20）式（20）減去（19），可以獲得/（x+Ax，y）一，（x，y）=R（x+Ax，y）./（x+Ax，y）-R（x，y）L（x，y）

（21）基于反射模型中的假設(shè)，L是近似平滑的；因此，有：/（x+Ax，y）-I（x，y）=R（x+Ax，y）-/（x+Ax，y）-R（x，y）L（x，y）。R（x+Az，y）一R（x，y）L（x，y）

（22）對(duì)上面的不等式（22）取極限，可以獲得同理可得：式（24）除以式（23），可得：

根據(jù)光照反射模型中式（19），R可以被認(rèn)為是光照不變特征。因此，Y方向梯度分量，（x，y）（eI（x，y）/ey）和x方向梯度分量，（x，y）eI（x，y）/ex）的比也是光照不變特征。

在實(shí)際應(yīng)用中，由于X方向梯度分量可能為零，因此這個(gè)比率不能直接用作光照不變特征。這些結(jié)論導(dǎo)致梯度臉的定義如下：

定義：I是可變光照條件下的一張圖像，那么梯度臉（G）的圖像，可以被定義為其中，Ix-gradiment和Iy-gradient是圖像I中各自x和y方向的梯度。

梯度臉?lè)椒ǖ奶幚磉^(guò)程為：首先求取圖像x和y方向的梯度分量，通過(guò)高斯一階導(dǎo)數(shù)與圖像做卷積可以求得；其次，根據(jù)圖像在x和y方向各自的梯度分量來(lái)獲得圖像的梯度分量。該方法是一種光照魯棒的方法，在光照條件復(fù)雜情況下的人臉識(shí)別率較高，取得了良好的識(shí)別效果。

該方法的處理效果如圖7所示

3結(jié)論

本文分析和綜述了人臉識(shí)別中光照問(wèn)題的解決方法：直方圖均衡化（HE），該方法利用圖像增強(qiáng)技術(shù)，消除了部分光照影響[9]，卻很難消除人臉圖像中的陰影，并且直方圖均衡化后的人臉圖像中出現(xiàn)了過(guò)曝光；高斯差分濾波器（DOG），該方法對(duì)圖像做兩次高斯濾波再求差，試圖消除人臉圖像邊緣對(duì)識(shí)別的影響，但是該方法的主觀(guān)效果一般，在光照良好時(shí)才有不錯(cuò)的識(shí)別率；對(duì)數(shù)域離散余弦變換（LDCT）：該方法將離散余弦變換在對(duì)數(shù)域進(jìn)行，截取了低頻分量，較好地保留了圖像信息，因而主觀(guān)效果好，在光照惡劣條件下識(shí)別率也高；梯度臉（GRF）：該方法根據(jù)圖像在X和Y方向各自的梯度分量來(lái)獲得圖像的梯度分量，是一種光照魯棒的方法，在光照條件復(fù)雜情況下的人臉識(shí)別率較高，取得了良好的識(shí)別效果；光照預(yù)處理鏈（TT）：通過(guò)將伽馬變換、高斯差分濾波等技術(shù)結(jié)合組成一個(gè)光照預(yù)處理鏈，過(guò)程復(fù)雜卻有效，能很好地消除光照變換帶來(lái)的不利影響，取得了非常高的識(shí)別率。

參考文獻(xiàn)

[1]楊國(guó)林，馮喬生，張亞萍.基于膚色的人臉檢測(cè)綜述[J].軟件，2013，34（3）：7-9.

[2]馮杰，屈志毅，李志輝.基于分類(lèi)稀疏表示的人臉表情識(shí)別[J].軟件，2013，34（11）：59-61.

[3]T.Zhang，Y.Tang，B.Fang，etal.Facerecognitionundervaryingilluminationusinggradientfaces.IEEETransactionsonImageProcessing，2009，18（11）：2599-2606.

[4]X.Y.TanandB.Triggs，Enhancedlocaltexturefeaturesetsforfacerecognitionunderdifficultlightingconditions.IEEETransactionsonImageProcessing，vol.19，no.6，pp.1635-1650，Jun.2010.

[5]A.Shashua，T.Riklin-Raviv.TheQuotientImage：Class-BasedRetenderingandRecognitionwithVaryingIlluminations.IEEETrans.PatternAnalysisandMachineIntelligence，2001，23（2）：129-139.

[6]R.Ramamoorthi，P.Hanrahan.OntheRelationshipbetweenRadianceandIrradiance：DeterminingtheIlluminationfromImagesofaConvexLambertanObject.JournaloftheOpticalSocietyofAmerica，2001，18（10）：2448-2459.

[7]鐘彩.邊緣檢測(cè)算法在圖像預(yù)處理中的應(yīng)用[J].軟件，2013，34（1）：158-159.

[8]孫文榮，周先春，嵇亞婷.基于直方圖均衡化、PCA和SVM算法的人臉識(shí)別[J].軟件，2014，35（8）：11-15.

[9]楊燕，劉剛，張龍.基于2DPCA和LDA的人臉圖像預(yù)處理與RBF神經(jīng)網(wǎng)絡(luò)的人臉圖像識(shí)別研究[J].軟件，2014.35（2）：115-118.