多方法結合人臉圖像光照補償算法研究及改進

黃麗雯，楊歡歡，王 勃

(重慶理工大學 電氣與電子工程學院， 重慶 400054)

多方法結合人臉圖像光照補償算法研究及改進

黃麗雯，楊歡歡，王 勃

(重慶理工大學 電氣與電子工程學院， 重慶 400054)

光照問題一直是人臉識別領域亟待解決的熱點話題。在此背景下，首先詳細介紹了近幾年在人臉圖像識別中常用的兩種結合光照補償算法，對其特點進行了研究，并提出了一種改進的多方法結合算法，即采用直方圖均衡化和Retinex算法，然后對光照估計和反射圖像去噪部分使用雙邊濾波器進行處理。選擇人臉數(shù)據(jù)庫YaleB07做仿真測試，發(fā)現(xiàn)改進算法的實時性雖相對常用結合算法有所下降，但光照補償效果好。最后對SIFT特征進行對比實驗，結果表明：改進算法的特征提取速度快且特征點有效率顯著提高。

人臉識別；光照補償；直方圖均衡化；雙邊濾波器；Retinex；SIFT

人臉識別技術是基于生物特征識別技術的身份認證中最主要的方法之一[1]。由于其具有采集簡單、成本低、操作隱蔽性強、無侵犯性、易于接受等優(yōu)勢，近年來已在政府、軍隊、銀行、社會福利保障、電子商務、安全防務等領域得到了廣泛應用。對于人眼來說，若用肉眼直接識別對方的身份或表情變化信息會是一件非常容易的事，但計算機實現(xiàn)這一功能就要復雜很多，這其中涉及計算機圖形學、計算機視覺、模式識別、機器學習、感知科學、人工智能、計算機智能等相關技術的研究。

人臉識別系統(tǒng)雖然已取得了較好的效果，但都是在特定的理想環(huán)境下實現(xiàn)的，若把姿態(tài)、表情、遮擋、光照等因素都考慮在內，結果未必會達到期望值。而在這些影響識別效果的因素中，光照問題的影響最為顯著[2]。人眼之所以能看到物體，最主要的原因是光的存在，若沒有光，人眼無法看到物體，而光照條件的好壞直接影響最終識別的效果，且光線強弱不同時圖像識別的結果也存在較大的差別。相關研究也表明：對于不同的人，在相同的光照情況下，對于不同姿態(tài)或表情的識別率遠大于同一人在不同光照情況下做出相同表情或姿態(tài)的識別率。因此，如何有效去除光照變化等噪聲，以減少光照對后續(xù)算法的影響，提高人臉的識別率與魯棒性，這是目前迫切需要解決的問題。

近年來解決光照問題的方法大致有3種：提取不變特征法、人臉建模法和光照補償法[3]，而使用更多的是光照補償結合算法。下面介紹常用的兩種結合算法及本文提出的改進算法和仿真測試結果。

1 Retinex

Retinex理論由Edwin.H.Land于1963年提出。它由retina和cortex這兩個單詞合成。Retinex以顏色恒常性為基礎，不同于傳統(tǒng)的線性或非線性只能增強圖像某一類特征的方法，它能在動態(tài)范圍、邊緣增強和顏色恒常三方面實現(xiàn)平衡效果。其基本思想為：在原始圖像上運用某種方法去除或消弱入射圖像的影響，只保留物體本質反射屬性的圖像。最基礎的方法是單尺度Retinex算法[4]，可表示為：

S(x,y)=R(x,y)·L(x,y)

(1)

其中：L(x,y)表示入射圖像，它決定圖像的亮度及像素的變化空間；R(x,y)為處于輸入圖像高頻部分的反射圖像；S(x,y)為最后看到的圖像。若把L的變化看作是理想的，式(1)可變?yōu)椋?/p>

r(x,y)=LogR(x,y)=LogS(x,y)-

LogL(x,y)=LogS(x,y)-

Log[F(x,y)*S(x,y)]

(2)

其中：r(x,y)為經(jīng)過高斯光照估計后的輸出圖像；*代表卷積；F(x,y)指高斯中心環(huán)繞函數(shù)。卷積可看作是對空間入射圖像的計算，然后將其去除，最后只保留物體的反射屬性。

實驗中所用的人臉圖像來自Yale B人臉數(shù)據(jù)庫yaleB07中隨機挑選的一幅受右側光影響較嚴重的人臉正面照，統(tǒng)一大小為80×91。圖1(a)(b)分別為原圖和Retinex算法，其仿真處理后效果見圖1。

圖1 Retinex處理結果

從處理后的圖像可以看出：在側光較嚴重的情況下，該算法難以消除陰影[5]。為了得到更好的補償效果，Retinex算法常與其他方法相結合。

1.1 Retinex與直方圖均衡化相結合

直方圖均衡化一般用于圖像局部對比度的增強。它通過改變輸出圖像的直方圖，使其變得比較均勻，使圖像看起來更清晰，這在一定程度上對光照的影響起到消弱作用[6]。

簡單地說，灰度直方圖等同于概率論里的概率密度函數(shù)。直方圖的累加和等同于概率分布函數(shù)[7]，其計算過程如下：

1) 列出原圖像的灰度級fj，j=0,1,…,k,…,L-1，其中L為灰度級的個數(shù)。

2) 統(tǒng)計各灰度級的像素數(shù)目nj，j=0,1,…,k,…,L-1。

5) 計算映射后的輸出圖像的灰度級gi，i=0,1,…,k,…,P-1，P為輸出圖像灰度級的個數(shù)：

gi=INT[(gmax-gmin)C(f)+gmin+0.5]

6) 統(tǒng)計映射后各級灰度級的像素數(shù)目nj。i=0,1,…,k,…,P-1。

8) 用fj和gi的映射關系改變原圖像的灰度級，進而得到需要的結果。

經(jīng)過上面8個步驟實現(xiàn)圖像的直方圖均衡化。而常用的結合算法1是先對人臉圖像進行直方圖均衡化處理，再用Retinex算法處理，其結果如圖2所示，其中(a)～(c)依次為原圖、均衡化結果、結合算法1結果。由于通過均衡化對灰度的均衡作用可削弱濾波中引起的光暈，對陰影有一定的消除作用，因此在處理光照影響問題時，基于Retinex的光照補償算法常與其結合使用，即先進行直方圖均衡化處理再進行Retinex算法處理[7]，其結合算法1處理后的結果見圖2(c)。

圖2 結合算法1結果對比

由圖2可知：結合算法1處理的效果比只使用Retinex算法要好很多，陰影部分有了一定的消除，但并未完全消除，圖像輪廓變得有些模糊。

1.2 Retinex與雙邊濾波器相結合

Retinex算法對光照部分選用高斯環(huán)繞函數(shù)進行估計，把入射圖像理想化為空間光滑。事實上，人臉圖像的投影陰影是違背照明緩慢變化假設的，若圖像的邊緣處在光照劇烈變化的情況下，這時由于高斯函數(shù)的各向同向性，圖像易產(chǎn)生光暈現(xiàn)象，估計出的光照也一定是灰度不連續(xù)的[8]。因此，要消除光暈必然要處理光照變化不理想的情況，而雙邊濾波器(BF)是一種保護邊緣信息的各向異性濾波器，光照估計效果較好，故操作時可用BF替代高斯函數(shù)估計光照。在進行研究時，Retinex算法常與BF結合使用[8]。

BF是一種保邊去噪濾波器[9-11]，它由兩個函數(shù)構成，分別由空間距離和像素差來決定濾波器系數(shù)[12]。其定義如下：

(3)

其中k(x)表示為：

(4)

式(4)中：f(x)為輸入；h(x)為輸出；c(ξ,x)為x與ξ的幾何距離度量；s(f(ξ),f(x))為f(ξ)與f(x)之間的光度相似度?？梢钥闯觯築F不僅對幾何域加強了平滑性，對光度域也加強了平滑度，滿足要求。

r′通過S與L′對數(shù)運算作差得到。運用BF估計L′得到R′的表達式如下：

r′(x,y)=LogR′(x,y)=Log(S(x,y)+1)-

Log(L′(x,y)+1)

(5)

其中L′(x,y)=h(x,y)*S(x,y)。

圖3為結合算法2的結果對比。其中(a)～(c)依次為原圖、BF處理結果、結合算法2結果。

圖3 結合算法二結果對比

從圖3可看出：經(jīng)過結合算法2處理后的圖像基本消除了陰影，輪廓較之前更清晰，但人臉左邊鼻子部分有重影，左右整體不再對稱。

2 改進的多方法結合算法

在上述兩種常用結合光照補償算法的基礎上，本文提出改進的多方法結合光照補償算法，首先對原圖像進行均衡化運算，再轉換到對數(shù)域(Log)用BF對入射圖像進行光照估計[13]和反射圖像去噪[14]，然后做反對數(shù)運算(exp)，得到S″用于后面的識別。改進算法流程見圖4。

圖4 改進算法流程

在這里，對反射圖像R選用BF去噪的原因是：根據(jù)Retinex算法，原圖像可以被看作R和L兩部分，其中L為原圖的低頻，相對來說更光滑，而噪聲常常為高頻，所以在運算時噪聲幾乎全部被轉移到R。經(jīng)Retinex算法處理后的較暗區(qū)域細節(jié)被顯著增強，但噪聲也被同比放大，而噪聲放大將直接影響后續(xù)的特征提取和圖像識別，所以去噪是必需的。在圖像的細節(jié)保留上，由于BF比一般常用的去噪濾波器要好，且非迭代運算速度快，所以本文選擇BF對反射圖像較暗區(qū)域進行去噪[15]。

圖5為改進算法結果對比，其中(a)、(b)分別為原圖、改進算法結果。

圖5 改進算法結果對比

從圖5可知：對圖像采用改進算法處理的效果相比單種結合算法要好很多，陰影部分已被完全消除，邊緣細節(jié)更加清晰，人的五官輪廓和諧自然。

3 結果分析

人眼觀察是圖像質量評價的一種標準，但這只是一種主觀評價，由于個人色彩的存在，造成的視覺效果也可能會不一樣。而在客觀評價方面，大家給出的標準各有不同。本文最初設想通過計算光照補償前后面部陰影面積的變化來檢測陰影的消除情況，但由于陰影面積計算涉及的內容較多且繁瑣，故在此不再累述。本文從各算法的執(zhí)行時間、特征點數(shù)量及運行時間、特征點有效率3個方面來進行客觀評價。各種算法的執(zhí)行時間見表1。

表1 各算法的執(zhí)行時間

由表1可知：Retinex算法的執(zhí)行時間最短，改進算法的執(zhí)行時間最長，這是由于它兩次用到BF的緣故，但0.686 s的時間是可接受的，說明其實時性雖降低但效果還是較好的。

下面對算法處理后的圖像進行SIFT特征檢測及定位，統(tǒng)計特征點數(shù)量。這里的特征點分有效和干擾兩類，其中有效特征點是指能表征面部特征的眉毛、眼睛、鼻子、嘴巴處的特征點，并除去重疊部分，剩下的是干擾特征點，其中特征點的有效率為有效特征點數(shù)與特征點總數(shù)的比值。由于SIFT特征提取通常是提取圖像的局部信息，故在此被采用。SIFT特征檢測及定位結果如圖6所示。

其中(a)～(e)依次為原圖、Retinex算法結果、結合算法1結果、結合算法2結果、改進算法結果。特征點數(shù)量及運行時間見表2。

圖6 SIFT特征檢測及定位

特征點總數(shù)有效特征點干擾特征點有效率運行時間/s原圖5319340．360．60Retinex算法8741460．470．61結合算法19344490．480．63結合算法2322570．780．62改進算法585080．860．57

由表2可知：結合算法1只在Retinex算法的基礎上增加了均衡化處理，效果依舊不理想。結合算法2采用BF進行光照估計，與原圖像相比特征點有效率提高到了78%，但并未對R去噪。本文改進算法不僅對光照部分進行了估計，對反射圖像較暗處的噪聲也進行了處理，所以特征點有效率最高，達86%，且在提取特征點時速度最快，僅0.57 s。

仿真實驗采用的是Yale B人臉數(shù)據(jù)庫yaleB07中的人臉圖像。這里隨機挑選5張受右側光影響較大的圖像和5張受左側光影響較大的圖像，重復表2各算法的仿真過程獲得10組實驗數(shù)據(jù)，特征點有效率的仿真結果見圖7。

圖7 各算法特征點有效率

由圖7的10組實驗數(shù)據(jù)結果可知：無論是受左側光影響大的圖像還是受右側光影響大的圖像，改進算法對于絕大部分樣本的特征點有效率都高于原圖和已有的光照補償算法(除樣本3)。其中，原圖、Retinex、結合算法1的特征點有效率明顯較低，與效果較好的結合算法2相比，改進算法的特征點有效率平均提高了11.79%，最高可達93.4%。

4 結束語

為了解決人臉圖像識別中的光照問題，只采用一種算法已遠不能達到期待的結果。本文首先研究了近年來常用的兩種結合算法，然后基于此提出改進算法，使其兼顧兩者的優(yōu)點，并用BF對反射圖像較暗的區(qū)域進行去噪，使其保留更多的細節(jié)信息。在對每種算法進行仿真測試時，先進行主觀分析，之后給出客觀評價標準，并對改進后的效果進行全面分析。通過分析發(fā)現(xiàn)：改進算法在光照補償處理方面雖實時性有所下降，但特征點提取時間最短，且特征點有效率最高。本文在實驗的最后對受左右側光影響較大的10幅圖像進行仿真，證實了改進算法的效果，說明其特征點有效率得到了顯著的提高，與效果較好的結合算法2相比平均提高了11.79%，最高可達93.4%。接下來的研究將把改進算法使用到最后的識別過程，并對識別的情況給出分析。

[1] 白小葉.光照變化下的人臉識別算法研究[D].南京：南京郵電大學,2016.

[2] 梁 琳,何衛(wèi)平,雷蕾,等.光照不均圖像增強方法綜述[J].計算機應用研究,2010(5):1625-1628.

[3] HAN H,SHAN S G,CHEN X L,et al.A comparative study on illumination preprocessing in face recognition[J].Pattern Recognition,2013,46(6):1691-1699.

[4] OBSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround Retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[5] 陳超.改進單尺度Retinex算法在圖像增強中的應用[J].計算機應用與軟件,2013,30(4):55-57.

[6] AHMADI A H,JAMZAD M,Face recognition under varying illumination based on histogram equalized processed images[J].2011 7th International Symposium on Image and Signal Processing and Analysis (ISPA),Dubrovnik,2011:349-354.

[7] 鄭 苑.多方法結合的人臉圖像光照補償算法[J].計算機系統(tǒng)應用,2012(2):207-209.

[8] 黃勇,孫興波,袁文林,等.多方向雙邊濾波單尺度Retinex 圖像增強研究[J].軟件導刊,2015(6):183-186.

[9] LI D,ZHANG Y,WEN P,et al.A Retinex Algorithm for Image Enhancement Based on Recursive Bilateral Filtering[C]//2015 11th International Conference on Computational Intelligence and Security (CIS).Shenzhen:[s.n.],2015:154-157.

[10] 肖曉,張健.改進的Retinex低照度圖像光照補償算法[J].電子設計工程,2017(4):110-114.

[11] 寇興元.基于Retinex理論的圖像增強算法研究[D].沈陽：沈陽航空航天大學,2015.

[12] 李德軍,趙文杰,譚海峰,等.一種基于雙邊濾波器的圖像邊緣檢測方法[J].計算機技術與發(fā)展,2007,17(4):161-163.

[13] 楊大為,王 琰.一種人臉識別中的光照補償方法[J].計算機應用,2012,32(a01) :123-125.

[14] 胡韋韋,汪榮貴,方帥,等.基于雙邊濾波的Retinex圖像增強算法[J].工程圖學學報,2010(2):104-109.

[15] 沈豐,趙宇明.基于實時Retinex與雙邊濾波的圖像增強算法[J].計算機應用與軟件,2009(11):234-238.

(責任編輯楊黎麗)

ResearchandImprovementofMulti-MethodsCombiningFaceImageIlluminationCompensationAlgorithm

HUANG Liwen, YANG Huanhuan, WANG Bo

(College of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China)

The problem of illumination has always been a hot topic in the face recognition. In order to solve this problem, firstly, two kinds of combined illumination compensation algorithms commonly used in face recognition in recent years were introduced in detail, and then it studied their characteristics. An improved multi-method combing algorithm was proposed, which used histogram equalization and Retinex algorithm, and both the illumination estimation and the denoising part of the reflected image were processed by the bilateral filter. The simulation test was processed in the face database YaleB07, and it was found that the real-time performance of the improved algorithm is lower than that of the usual combination algorithm, but the illumination compensation was best. At the last, the SIFT features are compared experimentally. The results show that the improved is the fastest in feature extraction, and the efficiency of the feature points is also significantly improved.

face recognition; illumination compensation; histogram equalization; bilateral filter; Retinex; SIFT

2017-06-22

重慶市重大專項子項目(CSTC2016SHMS-ZTZX4001)重慶理工大學研究生創(chuàng)新基金資助項目(YCX2016221)

黃麗雯(1967—),女,重慶人,碩士,教授,主要從事信號獲取和信息處理、醫(yī)學圖像處理等研究,E-mail:cqhlw@cqut.edu.cn; 楊歡歡(1989—)，女，河南汝州人，碩士研究生，主要從事圖像處理、智能信息處理研究。

黃麗雯,楊歡歡,王勃.多方法結合人臉圖像光照補償算法研究及改進[J].重慶理工大學學報(自然科學)，2017(11):179-184.

formatHUANG Liwen, YANG Huanhuan, WANG Bo.Research and Improvement of Multi-Methods Combining Face Image Illumination Compensation Algorithm[J].Journal of Chongqing University of Technology(Natural Science)，2017(11):179-184.

10.3969/j.issn.1674-8425(z).2017.11.027

TP301

A

1674-8425(2017)11-0179-06