一種復(fù)雜光照條件下的人眼定位方法

王稱意 王小鵬 萬(wàn)生陽(yáng) 吳 雙

(蘭州交通大學(xué)電子與信息工程學(xué)院,蘭州 730070)

1 引言

人眼定位在人臉識(shí)別、智能監(jiān)控、視頻跟蹤、人眼狀態(tài)分析等方面發(fā)揮著重要作用，但在實(shí)際應(yīng)用中復(fù)雜光照條件導(dǎo)致的光照過(guò)強(qiáng)、過(guò)弱、及光照不均勻等情況給人眼定位帶來(lái)較大困難，因此在人眼定位之前需要進(jìn)行預(yù)處理，利用直方圖均衡化[1]可以使圖像灰度分布均勻并增強(qiáng)對(duì)比度，但可能丟失圖像細(xì)節(jié)信息；基于光照-反射模型的頻域方法[2,3]利用圖像頻率信息將高頻與低頻部分分開(kāi)再進(jìn)行濾波達(dá)到增強(qiáng)圖像對(duì)比度同時(shí)壓縮圖像動(dòng)態(tài)范圍的目的；視網(wǎng)膜神經(jīng)理論（Retinex）增強(qiáng)方法[4]利用平滑函數(shù)估計(jì)原圖像的亮度分量進(jìn)行光照補(bǔ)償。

在光照條件相對(duì)均勻的情況下，人眼定位的方法有很多，灰度積分投影法[5]對(duì)人臉圖像分別進(jìn)行水平與垂直積分，根據(jù)投影曲線分布信息進(jìn)行人眼定位，計(jì)算簡(jiǎn)單，但對(duì)于圖像灰度信息分布復(fù)雜的人臉定位精度不高，且受人姿態(tài)影響較大；模板匹配方法[6]結(jié)合皮膚模型進(jìn)行人眼定位，但人眼模板計(jì)算量相對(duì)較大，且對(duì)人的初始姿態(tài)要求較高，如果人臉偏轉(zhuǎn)角度較大，模板匹配度會(huì)降低；Hough變換法[7,8]先粗定位出二值化后圖像中的人眼區(qū)域，再對(duì)該區(qū)域進(jìn)行邊緣分析，最后利用Hough變換定位瞳孔圓心，該方法定位準(zhǔn)確率受人眼圓形度的影響較大；Gabor模型[9]可以有效克服噪聲干擾，但在眼部區(qū)域存在頭發(fā)、眼鏡等飾物干擾時(shí)，效果不佳。

為了克服復(fù)雜光照對(duì)人眼定位的影響，提出了一種復(fù)雜光照下先定位人臉后定位人眼的方法，該方法首先利用高斯膚色模型提取人臉圖像中對(duì)光照不敏感的特征量，經(jīng)過(guò)形態(tài)學(xué)運(yùn)算定位人臉位置；然后對(duì)獲得的人臉圖像進(jìn)行自適應(yīng)連續(xù)均值量化變換（SMQT）增強(qiáng)，使圖像光照分布相對(duì)均勻，最大限度的消除光照對(duì)圖像后續(xù)處理的影響；最后對(duì)人臉圖像進(jìn)行連通域分析[10]與形態(tài)學(xué)運(yùn)算，完成人眼定位。

2 基于YCbCr高斯膚色模型的人臉定位

為了提高人眼定位準(zhǔn)確率，減少計(jì)算量，首先進(jìn)行人臉定位，其流程如圖1所示。首先將獲取的彩色圖像由RGB空間轉(zhuǎn)化到Y(jié)CbCr空間，然后進(jìn)行基于YCbCr高斯膚色模型的人臉定位。

圖1 人臉定位流程圖

人類膚色變化主要是由亮度引起的，而色度則分布在某一局限范圍內(nèi)，不隨光照變化。因此，在復(fù)雜光照下，如果將膚色在YCbCr色彩空間[1（]Y代表亮度，Cb和Cr分別表示藍(lán)色和紅色色度）中的受光照影響的亮度Y分量分離，只對(duì)不受光照影響且具有良好聚類性的Cb和Cr分量建立膚色模型，則可建立一個(gè)不受光照影響的膚色模型，進(jìn)而來(lái)完成人臉定位。

假設(shè)膚色服從二維高斯膚色模型[12]，提取N個(gè)膚色隨機(jī)樣本的Cb和Cr分量構(gòu)成向量t并分別計(jì)算其樣本均值A(chǔ)與樣本方差D，建立膚色相似度函數(shù)P(Cb,Cr)：

將每個(gè)像素的膚色相似度結(jié)果與預(yù)設(shè)閾值（通常設(shè)定為0.5）進(jìn)行比較，若相似度大于閾值，則該像素設(shè)定為“1”（白色）即膚色像素，否則為“0”（黑色）即背景。然后對(duì)膚色區(qū)域進(jìn)行形態(tài)學(xué)膨脹運(yùn)算和孔洞填充，得到封閉的膚色區(qū)域。由于人臉長(zhǎng)寬比一般為1左右，但考慮到人臉偏轉(zhuǎn)和頸部等因素影響，將此范圍設(shè)定在0.8-1.3，依此長(zhǎng)寬比可檢測(cè)出疑似人臉區(qū)域，將疑似人臉區(qū)域面積與其外接最小矩形面積進(jìn)行比較，將比值大于0.6的區(qū)域判定為人臉區(qū)域，排除頸部等對(duì)人臉定位的干擾。依據(jù)先驗(yàn)知識(shí)，人眼通常位于人臉上1/3處，但考慮到人頭部姿態(tài)與表情對(duì)人眼定位的影響，因此將人臉區(qū)域上2/3部分作為后續(xù)人眼定位的待處理區(qū)域。

3 基于自適應(yīng)SMQT增強(qiáng)算法的人眼定位

3.1 自適應(yīng)SMQT圖像增強(qiáng)算法

SMQT[14,15]算法將圖像中像素按照灰度值大小進(jìn)行逐層分類，將每一層分類結(jié)果加權(quán)求和實(shí)現(xiàn)圖像增強(qiáng)。在提高圖像對(duì)比度的同時(shí)，最大限度保持了圖像的原始信息。分類層數(shù)越多，圖像增強(qiáng)程度越高，圖像細(xì)節(jié)保留越多。但隨著圖像分類層數(shù)的增多，算法復(fù)雜度呈幾何增加。為了使圖像增強(qiáng)程度與算法復(fù)雜度之間相互兼顧，提出了一種自適應(yīng)SMQT圖像增強(qiáng)算法，在SMQT圖像增強(qiáng)算法的基礎(chǔ)上，通過(guò)對(duì)圖像增強(qiáng)等級(jí)參數(shù)進(jìn)行自適應(yīng)調(diào)整，在圖像增強(qiáng)程度滿意的前提下，盡可能的減小算法復(fù)雜度。

對(duì)于包含人眼的部分人臉圖像f(x)（x代表像素），假定L為圖像增強(qiáng)等級(jí)，M(x)為輸出圖像，則L階的SMQT變換可描述為：

運(yùn)算過(guò)程如圖2中二叉樹所示，樹之間節(jié)點(diǎn)均值量化單元（MQU）為SMQT的基本運(yùn)算單位。圖像經(jīng)過(guò)L階增強(qiáng)運(yùn)算，需經(jīng)過(guò)2L? 1 個(gè)MQU單元。每經(jīng)過(guò)一次MQU運(yùn)算，依據(jù)圖像平均灰度值(x)可將f(x)分解為兩個(gè)與其大小相同的新圖像，其中一幅圖像保留f(x)中灰度值大于(x)的像素點(diǎn)，其余像素點(diǎn)均賦值0；另一幅圖像則保留f(x)中灰度值小于(x)的像素點(diǎn)，其余像素點(diǎn)均賦值0。然后將上述兩圖像分別進(jìn)行分解比較，并依次類推。假定u(x)為每個(gè)MQU運(yùn)算單元的分類輸出，那么經(jīng)過(guò)L階增強(qiáng)運(yùn)算后，輸出增強(qiáng)圖像M(x)則為u(x)的加權(quán)和，即

圖2 SMQT二叉樹表示

自適應(yīng)SMQT算法中，圖像每經(jīng)過(guò)一次MQU單元時(shí)，均對(duì)圖像中像素灰度最大值fmax(x)與平均值(x)作差分歸一化，并與預(yù)設(shè)閾值k進(jìn)行比較，若小于k，則圖像增強(qiáng)完成，運(yùn)算結(jié)束，否則，圖像增強(qiáng)參數(shù)L+1，進(jìn)行下一級(jí)運(yùn)算，即

通過(guò)這一判定步驟，可最大限度地在消除光照對(duì)人眼定位影響的前提下，使參數(shù)L隨圖像、光照等條件自適應(yīng)變化，減少運(yùn)算復(fù)雜度。

3.2 基于連通域分析的人眼定位

人臉圖像經(jīng)過(guò)自適應(yīng)SMQT增強(qiáng)后，對(duì)臉部圖像進(jìn)行形態(tài)學(xué)重構(gòu)，將人眼與其它部分連接斷開(kāi)，消除小的孤立點(diǎn)以及區(qū)域（相對(duì)于人眼來(lái)說(shuō)）等干擾；計(jì)算所得疑似人眼區(qū)域長(zhǎng)寬比，設(shè)定長(zhǎng)寬比范圍為1-3，將長(zhǎng)寬比不滿足此范圍的區(qū)域判定為非人眼部分，排除包含頭發(fā)在內(nèi)的多種遮擋物干擾。另外，由于眉毛和眼睛在位置上非常接近，需進(jìn)行眉毛排除。由先驗(yàn)知識(shí)可知，眉毛位于人眼上方，包含眉毛的連通域中心縱坐標(biāo)值小于人眼，故對(duì)連通域中心坐標(biāo)進(jìn)行排序，排除縱坐標(biāo)值較小的連通域，從而消除眉毛對(duì)人眼定位的干擾。

4 仿真結(jié)果分析

為了驗(yàn)證算法的有效性，在Matlab環(huán)境下對(duì)人臉數(shù)據(jù)庫(kù)進(jìn)行了仿真實(shí)驗(yàn)。測(cè)試的人臉包含不同光照、頭部姿勢(shì)以及表情條件下的圖像。圖3（a～j）為不同背景、光照、遮擋、頭部姿勢(shì)、表情的人眼定位結(jié)果，人臉與人眼部位見(jiàn)白色矩形框標(biāo)記。

為了驗(yàn)證本文方法在復(fù)雜光照下的人眼定位準(zhǔn)確率，實(shí)驗(yàn)對(duì)650張樣本進(jìn)行了人臉檢測(cè)率和人眼定位率測(cè)試，結(jié)果表明，人臉檢測(cè)率為98.7% ，而人眼定位率為94.6%。人眼定位率比人臉檢測(cè)率低的原因在于復(fù)雜光照下，人臉偏轉(zhuǎn)較大角度時(shí)，未能有效排除眉毛等區(qū)域?qū)θ搜鄱ㄎ坏挠绊憽?/p>

圖3 不同光照條件下的人眼定位結(jié)果

表1給出了不同人眼定位方法的定位率以及平均運(yùn)算時(shí)間，可以看出，本文方法運(yùn)算時(shí)間略長(zhǎng)于灰度積分投影法，但人眼定位率高于灰度積分投影法。與其余三種方法相比，本文方法運(yùn)算速度較快，人眼定位率較高。

表1 不同人眼定位方法的定位率（%）及平均運(yùn)算時(shí)間（s）

由此可見(jiàn)，本文方法對(duì)復(fù)雜光照條件下的人眼定位適應(yīng)性較好，且對(duì)不同頭部姿勢(shì)、面部表情有很好的魯棒性。但對(duì)于偏轉(zhuǎn)角度過(guò)大情況下，有一定的局限性。

5 結(jié)束語(yǔ)

提出了一種在復(fù)雜光照條件下，采用基于YCbCr高斯膚色模型結(jié)合人臉的幾何特征對(duì)人臉進(jìn)行定位，消除了光照對(duì)膚色的影響。對(duì)包含有人眼的人臉部分采用自適應(yīng)SMQT算法進(jìn)行增強(qiáng)處理，能夠在增強(qiáng)圖像的同時(shí)，減低計(jì)算復(fù)雜度。通過(guò)對(duì)圖像連通域進(jìn)行分析排除非人眼區(qū)域，從而定為人眼。仿真實(shí)驗(yàn)表明，本方法可以在復(fù)雜光照條件下，對(duì)于頭部存在偏轉(zhuǎn)旋轉(zhuǎn)、表情變化、遮擋、等情況，均具有較高的定位人眼準(zhǔn)確率。

[1]Arici T, Dikbas S, Altnnbasak Y.A histogram modification framework and its application for image contrast enhancement [J].IEEE Trans on Image Processing, 2009, 18(9): 1921-1935.

[2]XIE Hu-dong, LANKin-man.An efficient illumination invariant face recognition[J].Pattern Recognition, 2005,38(10) : 1750-1716.

[3]ZHANG Yi, XIONG Fei, ZHANG Gui-lin.A preprocessing algorithm forillimination invariant face recognition[J].Journal of Image and Graphics, 2008,13(9) : 1707-1712.

[4]MEYLAN L,SIISSTRUNK S.High dynamic range image rendering with a retinex-based adaptive filter[J].IEEE Trans on Image Processing, 2006, 15(9) : 2820-2830.

[5]Karin Sobottka, Ioannis Pitas.A Novel Method for Automatic Face Segmentation, Facial Feature Extraction and Tracking[J].Signal Processing: Image Communication, 1998, 12(3) : 263-281

[6]D Orazio T, Leo M, Cicirelli G, Distante A.An Algorithm for Real Time Eye Detection in Face Images[C].IEEE International Conference on Pattern Recognition(ICPR), 2004(3) : 278-281.

[7]Canny J.A computational approach to edge detection[J].IEEE Transaction on Pattern Analysis and Machine Intelligence, 1986, 8(6) : 679-698.

[8]Zana’F.A multimodal registration algorithm of eye fundus images using vessels detection and Hough transform [J].IEEE Trans on Medical Imaging, 1999,18(5) : 419-428.

[9]Smeraldi F, O Carmona.Saccadic search with Gabor features appliedto eye detection and real-time head tracking[J].Image and Vision Computing, 2000, 18(4):323-329.

[10]徐正光,鮑東來(lái),張利欣.于遞歸的二值圖像連通域像素標(biāo)記算法[J].計(jì)算機(jī)工程, 2006, 32( 24) : 186-225.

[11]Son Lam Phung.A novel skin color model in YCbCr color space and its application to human face detection [C].Proceedings of the 2002 International Conference on Image Processing (ICIP), 2002, (1) : 289-292.

[12]YANG M H,AHUJA N.Gaussian mixture model for human skin color and its application in image and video databases[C].Proceedings of SPIE: Conference on Storage and Retrieval for Image and Video Databases,1999, 36(56) : 458-466.

[13]Soille P.形態(tài)學(xué)圖像分析原理與應(yīng)用[M].王小鵬 譯.北京:清華大學(xué)出版社, 2008.

[14]M.Nilsson, M.Dahl, I.Claesson.The successive meanquantization transform[C].IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), 2005(4): 429–432.

[15]M.Nilsson.Face Detection Using Local SMQT Features and Split up SNOW Classifier[C].IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP), 2007(2): 589–592.