積分投影曲線的面部特征提取方法

許昌學(xué)院電氣信息工程學(xué)院 李躍磊

?

積分投影曲線的面部特征提取方法

許昌學(xué)院電氣信息工程學(xué)院 李躍磊

【摘要】在人臉精確定位的基礎(chǔ)上，利用垂直積分投影曲線定位面部特征器官的橫坐標(biāo)，利用水平積分投影曲線定位面部特征器官的縱坐標(biāo)，最后將面部特征器官嘴巴和眼睛從精確定位后輸出的臉部圖像中提取出來。實(shí)驗(yàn)結(jié)果表明，該方法有較高的定位精度，并且該方法不僅能定位標(biāo)準(zhǔn)正面人臉，而且也適用于有輕微偏轉(zhuǎn)的人臉圖像。

【關(guān)鍵詞】垂直積分；灰度；積分投影

1.引言

從某種意義上講，面部關(guān)鍵特征點(diǎn)（Landmark）的定位，是人臉識(shí)別中最核心的問題之一。錯(cuò)誤的特征定位會(huì)導(dǎo)致提取的面部特征器官的嚴(yán)重變形，因此，即使是不精確定位也會(huì)帶來識(shí)別性能的快速下降。在這方面進(jìn)行了很多努力，以期能夠準(zhǔn)確快速的提取面部的關(guān)鍵特征點(diǎn)。邊緣提取法是首先進(jìn)行對(duì)人臉圖像進(jìn)行邊緣提取，然后用霍夫變換，檢測(cè)眼球，構(gòu)造一個(gè)包括眼睛、眼瞼的眼部模板，用一系列函數(shù)從能量角度找出眼瞼［1］。本文在人臉精確定位的基礎(chǔ)上，利用垂直積分投影曲線定位面部特征器官的橫坐標(biāo)，利用水平積分投影曲線定位面部特征器官的縱坐標(biāo)，最后將面部特征器官嘴巴和眼睛從精確定位后輸出的臉部圖像中提取出來。

2.基于積分投影曲線的人臉面部特征提取

根據(jù)垂直積分投影曲線確定人臉的左右邊界，并把邊界內(nèi)的人臉提取出來以便消除頭發(fā)等背景因素對(duì)積分投影算法結(jié)果的影響，求出人臉面部特征點(diǎn)的位置，由特征點(diǎn)的位置確定面部特征在人臉圖像中的實(shí)際坐標(biāo)并將人臉的面部特征器官提取出來。

2.1面部特征點(diǎn)位置的確定與面部特征器官的提取

人臉特征點(diǎn)的選擇不僅要反映人臉識(shí)別中最重要的特征，特征點(diǎn)的個(gè)數(shù)要包含足夠的信息，但又不能太多，以免增加運(yùn)算量。本文選取人臉識(shí)別的7個(gè)特征點(diǎn)，分別為4個(gè)臉角點(diǎn)、鼻尖和兩個(gè)嘴角點(diǎn)，如下圖1所示。這些特征點(diǎn)的分布具有角度不變性的特點(diǎn)，同時(shí)，與其它采用測(cè)量特征點(diǎn)的系統(tǒng)相比，這7個(gè)特征點(diǎn)比較容易從圖像中提取出來并加以測(cè)量。

由于特征點(diǎn)所在區(qū)域的灰度特征與人臉部其它部位有明顯的不同，采用積分投影很容易得到特征點(diǎn)的位置。面部的特征點(diǎn)對(duì)應(yīng)于積分投影方式產(chǎn)生出的波峰或波谷，所以在進(jìn)行人臉定位之后，本文用積分投影進(jìn)行特征定位。這種方法不需要對(duì)圖像進(jìn)行過多的處理，算法簡(jiǎn)單，準(zhǔn)確率高，速度快。積分投影可以直接對(duì)灰度圖像，也可以先將圖像二值化，然后對(duì)二值圖像進(jìn)行積分投影。二值圖像是只有兩個(gè)灰度級(jí)的圖像，即只有0和1兩級(jí)灰度：

T為閾值，g（x，y）為二值化后的圖像。

圖1　人臉基本結(jié)構(gòu)示意圖

本文對(duì)ORL圖像庫(kù)中的圖像采用的是對(duì)灰度圖像進(jìn)行投影，對(duì)駕駛室內(nèi)實(shí)際采集的人臉圖像是對(duì)邊緣檢測(cè)后圖像的二值圖像進(jìn)行投影，因?yàn)閷?shí)際采集的人臉圖像存在大量的噪聲特別是光照不均勻所帶來的光照噪聲，使得直接對(duì)灰度圖像進(jìn)行積分投影的投影曲線毫無規(guī)律，不能用于人臉面部特征坐標(biāo)的確定。

在圖1中，x1，x3代表眼的中心點(diǎn)；x2代表鼻子的中心點(diǎn)；y1→y5分別代表眉、眼、鼻、嘴、下巴，它們之間一般滿足如下的比例關(guān)系：

人臉輪廓確定后，就可以大致確定出人臉各特征點(diǎn)的位置關(guān)系，即可由上到下區(qū)分出臉、鼻、嘴等特征的區(qū)域，在這些局部區(qū)域內(nèi)再運(yùn)用積分投影法，就可精確定位出面部特征器官。

2.2垂直投影與水平投影算法原理

假設(shè)圖像的大小為M×N，積分投影法是根據(jù)圖像在某些方向上的投影分布特征來進(jìn)行檢測(cè)的，這種方法在本質(zhì)上是一種統(tǒng)計(jì)方法，主要有水平積分投影和垂直積分投影［2，3］：

在式7中，（x，y）表示像素所處的位置，I（x，y）表示該像素點(diǎn)的灰度值，N表示一行所有的像素點(diǎn)數(shù)，可見水平投影就是將一行所有的像素點(diǎn)的灰度值進(jìn)行累加后再顯示。在式7中，（x，y）表示像素所處的位置，I（x，y）表示該像素點(diǎn)的灰度值，M表示一列所有的像素點(diǎn)數(shù)，可見垂直積分投影就是將一列所有的像素點(diǎn)的灰度值進(jìn)行累加后再顯示［4］。

3.實(shí)驗(yàn)過程

3.1 眼睛與嘴部的提取算法驗(yàn)證

在ORL標(biāo)準(zhǔn)人臉圖像庫(kù)中選取一幅圖像進(jìn)行垂直積分投影，對(duì)上述的面部特征提取算法進(jìn)行驗(yàn)證。定位面部特征的積分投影算法在MATLAB平臺(tái)采用M語言編程實(shí)現(xiàn)。實(shí)驗(yàn)研究的原始圖像為100幅，50幅取自O(shè)RL（Olivetti Research Laboratory）人臉圖像數(shù)據(jù)庫(kù)，其余的50幅取自由駕駛室內(nèi)實(shí)際采集的人臉圖像組成的小型彩色人臉圖像庫(kù)。其實(shí)驗(yàn)結(jié)果如圖2所示：

圖2　垂直積分投影曲線圖

圖2（b）中人臉?biāo)趨^(qū)域?qū)?yīng)的垂直灰度投影曲線是具有一定寬度的凸峰，這個(gè)凸峰的左右邊界大致就是人臉的左右邊界。因?yàn)槿四槄^(qū)域的灰度與周圍不同，在人臉左右邊界處，亮度值的總和迅速減小，從而使整個(gè)投影曲線形成一個(gè)明顯的凸峰。因此，只需確定垂直灰度投影曲線中主要凸峰的左右邊界，即可得到人臉的左右邊界，將邊界內(nèi)的人臉圖像提取出來得到的圖像如圖3（a）所示。

圖3　邊界之內(nèi)的圖像和其水平投影曲線

當(dāng)?shù)玫阶笥疫吔缰?，提取左右邊界?nèi)的人臉圖像并對(duì)圖像進(jìn)行水平積分投影，可以減少人臉兩側(cè)頭發(fā)等背景因素的干擾，使得下一步投影的波峰和波谷更明顯，從而更容易判斷眼睛和嘴巴所在區(qū)域。假設(shè)左右邊界之間的圖像大小為n，那么此時(shí)的圖像大小就變?yōu)镸×n，使用的水平投影函數(shù)公式7。其中，H（y）稱為水平灰度投影曲線，如圖3（b）所示。

正常情況下，由于眉毛眼睛等五官的灰度值比較小，所以在臉的左右輪廓范圍內(nèi)對(duì)圖像做水平投影的話，特征（五官）所在行的投影值就會(huì)比較小，而在投影圖中就對(duì)應(yīng)著極小值。在圖3（b）中，看到的水平灰度投影曲線的前段谷區(qū)域?qū)?yīng)于人的頭頂部分，因?yàn)轭^發(fā)的低灰度產(chǎn)生了水平投影曲線的低谷；而曲線的最大值點(diǎn)和次最大值點(diǎn)分別對(duì)應(yīng)人的額頭部位和人的鼻中部。并且可以很明顯得看出將要提取的特征點(diǎn)的五個(gè)縱坐標(biāo)y1→y5正好就是水平投影曲線的五個(gè)谷點(diǎn)［5］。

上述臉部特征定位試驗(yàn)所得數(shù)據(jù)y1→y5的值如表1。最終提取出的面部特征眼睛和嘴巴如圖4所示：

表1　實(shí)驗(yàn)所得數(shù)據(jù)y1→y5的值

圖4　實(shí)驗(yàn)最終提取的面部特征眼睛和嘴巴

圖5　實(shí)際采集人臉圖像在左右邊界內(nèi)的面部圖像及其水平投影曲線

3.2駕駛室內(nèi)實(shí)際采集人臉圖像面部特征提取的試驗(yàn)結(jié)果

駕駛室內(nèi)實(shí)際采集的人臉圖像的積分投影曲線及面部特征的提?。?/p>

由于實(shí)際采集的圖像含有大量的噪聲，不能像上面那樣直接對(duì)標(biāo)準(zhǔn)圖像庫(kù)中的人臉圖像的灰度圖像進(jìn)行積分投影，因?yàn)橹苯訉?duì)灰度圖像進(jìn)行積分投影的投影曲線毫無規(guī)律，不能用于人臉面部特征坐標(biāo)的確定，如圖5（h）所示。

為了排除噪聲的干擾，應(yīng)該對(duì)人臉精確定位后所提取的人臉圖像的二值化圖像進(jìn)行垂直積分投影和水平積分投影，以消除駕駛室內(nèi)噪聲的影響，特別是光照噪聲的影響。圖6（a）就是圖像6（b）是對(duì)應(yīng)的二值圖像。

圖6　人臉精確定位后的圖像及其對(duì)應(yīng)的二值圖像

下面對(duì)圖像進(jìn)行處理時(shí)執(zhí)行和上節(jié)中的對(duì)ORL標(biāo)準(zhǔn)人臉圖像進(jìn)行處理時(shí)相同的處理步驟。

第一步：首先進(jìn)行垂直積分投影，獲取臉部的左右邊界，然后把邊界內(nèi)的人臉提取出來，如圖7所示。

第二步：對(duì)上步提取出的左右邊界內(nèi)的人臉圖像進(jìn)行水平積分投影，以減少人臉兩側(cè)頭發(fā)背景等因素的干擾，并確定y1→y5的值，圖8為邊界內(nèi)人臉圖像的水平積分投影曲線，由于是對(duì)邊緣檢測(cè)圖像的二值圖像進(jìn)行投影，所以和上節(jié)直接對(duì)標(biāo)準(zhǔn)圖像的灰度圖像的水平投影不同，此時(shí)特征點(diǎn)的縱坐標(biāo)為波峰的值。

第三步：根據(jù)上步確定的縱坐標(biāo)y1→y5的值，由上到下區(qū)分出眼睛和嘴巴所在的局部區(qū)域，然后將眼睛和嘴巴所在的局部區(qū)域分別提取出來，對(duì)這兩個(gè)局部區(qū)域分別進(jìn)行垂直積分投影，求取眼睛和嘴巴的橫坐標(biāo)，結(jié)合第二步中縱坐標(biāo)y1→y5的值實(shí)現(xiàn)眼睛和嘴巴的定位。下圖9（a）為眼睛所在的局部區(qū)域，9（b）為其垂直積分投影曲線，（b）圖中兩個(gè)對(duì)稱的凸起所在的位置分別對(duì)應(yīng)人臉的左右眼。圖9（c）為嘴巴所在的局部區(qū)域，9（d）為其對(duì)應(yīng)的垂直積分投影曲線，其中第一個(gè)凸起的第一個(gè)波峰和最后一個(gè)波峰之間的區(qū)域?qū)?yīng)嘴巴所在的位置。

圖7　二值圖像的垂直投影曲線及在左右邊界內(nèi)的人臉圖像

圖8　左右邊界內(nèi)人臉圖像的水平積分投影曲線

圖9　眼睛和嘴巴所在的局部區(qū)域和對(duì)應(yīng)的垂直積分投影曲線

表2為上面的步驟得出的y1→y5，x1→x3的值。

表2　y1→y5，x1→x3的值

第四步：提取出人的眼睛，嘴巴等特征，作為最終輸出，如圖10所示：

圖10　最終輸出的面部特征眼睛和嘴巴

4.小結(jié)

本章提出了一種利用積分投影曲線定位面部特征的方法，用ORL人臉圖像庫(kù)中的標(biāo)準(zhǔn)人臉圖像驗(yàn)證了方法的有效性，針對(duì)駕駛室內(nèi)實(shí)際采集的人臉圖像光照噪聲干擾嚴(yán)重，不能直接對(duì)灰度圖像進(jìn)行積分投影的現(xiàn)狀，提出對(duì)面部邊緣檢測(cè)后圖像的二值圖像進(jìn)行積分投影的方法，很好地消除了噪聲的影響，實(shí)現(xiàn)了面部特征的定位，最后將眼睛和嘴巴提取出來。實(shí)驗(yàn)結(jié)果表明，該方法有較高的定位精度，并且該方法不僅能定位標(biāo)準(zhǔn)正面人臉，而且也適用于有輕微偏轉(zhuǎn)的人臉圖像。

參考文獻(xiàn)

［1］馮慧揚(yáng)，王申康，王宏偉.人臉定位算法的研究［J］.計(jì)算機(jī)工程與應(yīng)用，2003，30（3）：101-119.

［2］邢藏菊，曲延鋒，王守覺.靜態(tài)灰度圖像中的人臉快速檢測(cè)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2002.41（5）：401～403.

［3］盛敬，楊軍平，劉國(guó)滿.基于機(jī)器視覺的駕駛員疲勞監(jiān)控系統(tǒng)中的嘴唇定位算法［J］.南昌工程學(xué)院學(xué)報(bào)，2007，26（1）：54～58.

［4］沈潔，杜宇人，高浩軍.圖像邊緣檢測(cè)技術(shù)研究［J］.信息技術(shù)，2005.

［5］童兵亮.基于嘴部狀態(tài)的疲勞駕駛和精神分散狀態(tài)監(jiān)測(cè)方法研究［D］.吉林大學(xué)碩士學(xué)位論文，2004，5.

作者簡(jiǎn)介：李躍磊（1984-），男，河南許昌人，助理實(shí)驗(yàn)師，研究方向：信號(hào)處理。

基金項(xiàng)目：河南省高等學(xué)校重點(diǎn)科研項(xiàng)目，15A470020。