視頻人臉識別系統(tǒng)中的最佳人臉捕獲

孟繁靜，王連明

（東北師范大學物理學院，吉林長春130024）

視頻人臉識別系統(tǒng)中的最佳人臉捕獲

孟繁靜，王連明

（東北師范大學物理學院，吉林長春130024）

基于視頻的自動人臉識別系統(tǒng)自動選取用于后續(xù)識別的最佳人臉圖像.設計并實現(xiàn)了一個最佳人臉捕獲模塊，該模塊主要由人臉檢測、人臉跟蹤和姿態(tài)判定環(huán)節(jié)組成.在實現(xiàn)對視頻中的人臉進行檢測和跟蹤的基礎上，可自動截取并保存一張大小合適、清晰度高且姿態(tài)最佳的人臉，用于后續(xù)的人臉識別.

人臉檢測；人臉跟蹤；姿態(tài)判定；人臉捕獲

隨著社會的發(fā)展，人臉識別作為一種高效、友好、安全的身份識別方式在眾多領域被廣泛應用.基于視頻的自動人臉識別系統(tǒng)因其不需要人工干預、自動化程度高等優(yōu)點而受到了人們的廣泛關注.

基于視頻的自動人臉識別系統(tǒng)主要包括視頻采集環(huán)節(jié)、人臉檢測環(huán)節(jié)、人臉跟蹤環(huán)節(jié)和人臉識別環(huán)節(jié).現(xiàn)有的研究大多是針對其中的單個環(huán)節(jié)，如人臉檢測［1－5］、人臉跟蹤［6－9］、姿態(tài)判定［10－11］和人臉識別［12－13］等，沒有把它們集成一個完整的系統(tǒng).而一些完整的基于視頻的自動人臉識別系統(tǒng)大多是將視頻中隔幾幀檢測到的人臉進行識別［14－15］，或將提取的關鍵幀中的人臉進行識別［16］，或將檢測到人眼的人臉進行識別［17］.這些系統(tǒng)都有可能出現(xiàn)同一個人被重復識別的問題，也不能保證被用于識別的幀中具有大小合適、清晰度高且姿態(tài)最佳的人臉，從而增加了后續(xù)人臉識別環(huán)節(jié)的難度.針對基于視頻的自動人臉識別系統(tǒng)，本文集成了人臉檢測、人臉跟蹤、姿態(tài)判定等環(huán)節(jié)，設計并實現(xiàn)了一個最佳人臉捕獲模塊，可以為人臉識別環(huán)節(jié)提供一張大小合適、清晰度高且姿態(tài)最佳的人臉.

1 人臉捕獲模塊整體框架

人臉捕獲模塊主要由視頻采集、人臉檢測與跟蹤、人眼檢測和姿態(tài)判定等環(huán)節(jié)構成.模塊具體流程如圖1所示.

模塊運行過程：攝像頭采集視頻，經(jīng)人臉檢測后，對檢測到的人臉進行跟蹤，并根據(jù)新一幀圖片中檢測窗口與跟蹤窗口的位置，判斷檢測與跟蹤的是否為同一人；判斷檢測到的人臉是否滿足實際人臉識別中對于圖片大小的要求，對滿足大小的人臉進行清晰度檢測；對其中清晰的人臉進行人眼檢測，確定人眼坐標，并據(jù)此對人臉進行轉正；對轉正后的人臉進行姿態(tài)判定，并判斷其是否滿足限定的姿態(tài)范圍；對一定數(shù)量的滿足姿態(tài)范圍的人臉進行姿態(tài)比較，截取保存其中姿態(tài)最佳且轉正時旋轉角度最小的人臉，用于后續(xù)的人臉識別.

圖1 模塊流程圖

2 模塊功能實現(xiàn)

2.1 視頻采集與人臉檢測

模塊采用安泰科公司的AT-8202點陣式紅外攝像機進行視頻采集，并通過大恒圖像采集卡DHCG400連接到PC機上.

模塊的人臉檢測部分采用的是膚色分割與Adaboost算法相結合的方法［4－5］.首先利用膚色檢測提取可能包含人臉的區(qū)域，然后針對膚色區(qū)域使用由Adaboost算法訓練的基于Haar-like特征的級聯(lián)分類器進行人臉檢測和定位，最后實現(xiàn)視頻內快速實時的人臉檢測.

（1）膚色分割.利用皮膚顏色在色度空間的聚類性，提取膚色區(qū)域，排除背景對檢測的干擾.由于Ycrcb空間具有色度與亮度分離、膚色聚類特性較好的特點，因此，模塊首先將視頻圖片由RGB空間轉到Ycrcb空間，對圖片進行膚色區(qū)域判斷.色彩空間轉換公式［4］如下：

經(jīng)實驗得到，滿足75≤Cb≤125且135≤Cr≤165的區(qū)域可認為是膚色區(qū)域.然后，將圖片中的非膚色區(qū)域設置為黑色，膚色區(qū)域保持不變，完成膚色分割.最后，把處理后的圖片用于人臉檢測.

（2）Adaboost算法.針對得到的圖片，采用Viola和Jones提出的基于Haar-like特征的Adaboost算法［1］進行人臉檢測.該算法魯棒性強且具有較高的檢測速率和精度，能夠實現(xiàn)快速實時的人臉檢測.Adaboost算法過程如下：

（a）給定一個訓練集.其中，xi是輸入的訓練樣本向量，yi∈｛0，1｝，yi＝0表示非人臉樣本，yi＝1表示人臉樣本.

（b）初始化樣本權重為

（c）進行T次訓練，t＝1，2，…，T，歸一化權重為

（d）對每個特征f，訓練一個簡單分類器hf，并計算所有簡單分類器的加權錯誤率為

選出分類錯誤率最低的簡單分類器為弱分類器ht，將其錯誤率記為εt，調整所有樣本權重為

（f）通過分析，選擇錯誤率最低的T個弱分類器，優(yōu)化成一個強分類器.強分類器為

其中αt＝－logβt.

根據(jù)上述Adaboost算法，用正負人臉樣本訓練基于Haar-like特征的強分類器，并將強分類器串聯(lián)成級聯(lián)分類器，實現(xiàn)快速實時的人臉檢測.

2.2 人臉跟蹤

模塊的人臉跟蹤部分采用的是Camshift跟蹤算法［9］.將第一個檢測到的人臉窗口作為Camshift算法的初始跟蹤窗口來進行人臉跟蹤.同時，利用每幀圖片中檢測窗口和跟蹤窗口的位置，判斷檢測到與跟蹤著的人是否為同一人，避免重復剪裁.

Camshift算法是一種運動跟蹤算法，主要通過視頻圖像中運動目標的顏色信息來實現(xiàn)跟蹤，具有良好的魯棒性和實時性.算法運行時首先對視頻圖像進行反向投影，將視頻圖像轉換為顏色概率分布圖.然后，根據(jù)Meanshift算法通過迭代尋找目標顏色概率分布的極值點來定位目標.最后，把Meanshift算法擴展到連續(xù)圖像序列中，把上一幀的跟蹤結果作為下一幀的搜索窗口，如此迭代，實現(xiàn)對人臉的跟蹤.

Meanshift算法運行過程如下：

（1）在顏色概率分布圖中選取搜索窗W.

（2）計算零階矩

以及x和y一階矩

（3）計算搜索窗的質心（xc，yc）為

（4）調整搜索窗口大小.

（5）移動搜索窗的中心到質心，重復（2）—（4），直至質心變化小于給定閾值.

2.3 清晰度檢測

由于攝像頭采集的是運動目標的視頻，難免會出現(xiàn)模糊的圖片.為了排除其中模糊的人臉，模塊在選取人臉時對圖片進行了清晰度檢測.圖片的清晰度評價方法有很多種，由于模塊旨在簡單地判斷圖片是否清晰，所以采用較為簡單的能量梯度函數(shù)方法［18］對人臉進行清晰度檢測.

能量梯度函數(shù)是采用相鄰點的差分來計算一個點的梯度值，其評價函數(shù)為

其中I（x，y）為圖像在點（x，y）處的灰度值.

根據(jù)實際的視頻情況，自主設定閾值T.若評價函數(shù)f（I）的值大于T認為是清晰圖片，否則為模糊圖片.

2.4 人眼檢測

模塊的人眼檢測部分也采用了基于Haar-like特征的Adaboost算法.即根據(jù)Adaboost算法用正負人眼樣本訓練基于Haar-like特征的級聯(lián)分類器實現(xiàn)人眼檢測.為了提高人眼檢測的速率和準確率，模塊在人眼檢測前對人臉圖片進行了預處理.首先根據(jù)膚色信息對人臉圖像進行二值化處理，將其中的黑色區(qū)域，諸如瞳孔、頭發(fā)等在原人臉圖片中設為黑色，使人眼更為突出.然后，采用水平積分投影的方法找到人眼的縱坐標，限定人眼區(qū)域.最后，在加黑后的人臉圖片上截取人眼區(qū)域用于人眼檢測.預處理過程如圖2所示.針對截取到的人眼區(qū)域，使用訓練好的級聯(lián)分類器進行人眼檢測.如此處理可有效地提高模塊檢測到人眼的速率和可能性，降低誤檢率.

圖2 人眼檢測預處理過程

2.5 姿態(tài)判定

由于姿態(tài)判定環(huán)節(jié)旨在比較視頻內若干幀數(shù)的人臉姿態(tài)，從中選取姿態(tài)最佳的人臉.所以，不需要對人臉姿態(tài)有嚴格的估計，僅需實現(xiàn)姿態(tài)的簡單判定即可.因此，本文采用了較為簡單的基于邊緣統(tǒng)計特征的人臉姿態(tài)估計方法［10］.

基于邊緣統(tǒng)計特征的人臉姿態(tài)估計方法是通過人臉的中心線和對稱線的位置關系來實現(xiàn)姿態(tài)估計的.中心線是指雙眼的中心線，如圖3中黑線所示.對稱線是指人臉部器官的對稱線，如圖3中白線所示.當人臉左右旋轉時，人臉的中心線和對稱線間的距離會隨著人臉的旋轉角度發(fā)生變化，旋轉越大，距離越大，如圖3d—f所示.因此，根據(jù)這一距離來估計人臉是否發(fā)生旋轉，以及旋轉角度的大小.并通過比較該距離實現(xiàn)對視頻中各幀人臉姿態(tài)的比較，選擇若干幀中距離最?。ㄗ藨B(tài)最好）且人臉轉正時旋轉角度最小的人臉圖片截取保存.

在計算人臉中心線和對稱線時，人臉圖片必須是根據(jù)人眼坐標實現(xiàn)轉正后的人臉.在進行人臉轉正時，要保證雙眼處于同一水平線.根據(jù)雙眼的坐標計算人臉需要旋轉的角度和方向；根據(jù)旋轉的角度、方向和圖像對角線的長度計算旋轉后圖像的最大寬度、高度，并生成相應大小的緩沖區(qū)；將圖片繞圖像中心按照旋轉公式進行旋轉.旋轉公式［19］為

人臉的中心線可由人臉轉正后的雙眼坐標計算得到，對稱線可通過垂直積分投影尋找人臉的左右邊緣，如圖3所示，計算左右邊緣的中心線得到.

圖3 中心線和對稱線與姿態(tài)變化的關系

3 實驗結果

本文采用Visual C＋＋6.0作為開發(fā)環(huán)境，使用開源計算機視覺庫OpenCV來提高編程效率，在PC機上實現(xiàn)并測試該人臉捕獲模塊.在自然情況下通過攝像頭采集實驗室內人員對模塊進行測試.測試系統(tǒng)如圖4所示.

模塊在實現(xiàn)對人臉進行檢測和跟蹤的同時，也對檢測到的人臉進行姿態(tài)判定，比較并選擇姿態(tài)最佳的人臉.測試結果如圖5所示，前7列是從檢測到的人臉中抽取的7張不同姿態(tài)的人臉，最后一列為模塊比較了30幀姿態(tài)較好的人臉后，截取保存的最佳人臉.

實驗結果表明，模塊中對人臉大小的限制排除了距離較遠或較小的誤檢的人臉，對清晰度的檢測排除了視頻中因快速運動而產(chǎn)生的模糊人臉，對人眼的檢測排除了閉著眼或沒有檢到人眼的人臉，對姿態(tài)范圍的限定排除了偏轉較大的人臉，經(jīng)過比較一定幀數(shù)得到滿足上述條件的人臉姿態(tài)，模塊最終實現(xiàn)了保存一幀大小合適、清晰度高且姿態(tài)最佳的人臉，用于后續(xù)的人臉識別.

圖4 測試系統(tǒng)

圖5 實驗結果

4 總結

本文設計實現(xiàn)了一個最佳姿態(tài)人臉捕獲模塊，模塊中的算法均簡單、易實現(xiàn)且具有較好的魯棒性和實時性.該模塊不僅能夠對視頻中的人臉進行檢測和跟蹤，還為后續(xù)的人臉識別提供一張大小合適、清晰度高且姿態(tài)最佳的人臉，為實現(xiàn)快速、實時、高效的基于視頻的自動人臉識別系統(tǒng)提供了新思路.

［1］ PAUL VIOLA，MICHAEL JONES.Robust real-time face detection［J］.International Journal of Computer Vision，2004，57（2）：137-154.

［2］ 梁路宏，艾海舟，肖習攀，等.基于模板匹配與支持矢量機的人臉檢測［J］.計算機學報，2002，25（1）：22-28.

［3］ 蒲東兵，塔娜，馬志強，等.一種實用監(jiān)控系統(tǒng)的人臉檢測定位算法［J］.東北師大學報：自然科學版，2009，41（1）：40-43.

［4］ 付煒，孔祥棟.基于膚色和Adaboost算法的人臉檢測［J］.現(xiàn)代電子技術，2010，6：131-134.

［5］ 翟中華.基于膚色和Adaboost算法的人臉檢測方法研究［D］.廣州：華南理工大學，2012.

［6］ 田卉，沈庭芝，趙三元，等.綜合顏色和紋理特征的粒子濾波人臉跟蹤算法［J］.北京理工大學學報，2010，30（4）：469-473.

［7］ 何志勇，蔡樂才，許繼家.基于Meanshift算法跟蹤視頻中運動目標［J］.鄭州大學學報：理學版，2010，42（1）：38-42.

［8］ 梁娟，項俊，侯建華.基于Camshift和Kalman濾波的自動跟蹤算法［J］.微型機與應用，2011，30（24）：28-31.

［9］ 佘九華，王敬東，李鵬.基于Camshift的人臉跟蹤算法［J］.計算機技術與發(fā)展，2008，18（9）：12-15.

［10］ 王燕群，童衛(wèi)青，張昌明.基于邊緣統(tǒng)計和特征定位的人臉姿態(tài)估計方法［J］.計算機系統(tǒng)應用，2011，20（4）：86-90.

［11］ 劉淼，郭東偉，馬捷，等.基于橢圓模型和神經(jīng)網(wǎng)絡的人臉姿態(tài)估計方法［J］.吉林大學學報：理學版，2008，46（4）：687-690.

［12］ 劉延喜.Stein損失下BP神經(jīng)網(wǎng)絡分類方法在人臉識別中的應用［J］.東北師大學報：自然科學版，2010，42（1）：27-31.

［13］ 陳海霞，崔茜.基于Gabor小波和PCA的人臉識別［J］.東北師大學報：自然科學版，2014，46（4）：77-80.

［14］ 張鞠鵬.一種基于視頻的實時人臉識別系統(tǒng)的研究與實現(xiàn)［D］.廣州：華南理工大學，2006.

［15］ 林天威.基于視頻流的人臉識別系統(tǒng)研究［D］.哈爾濱：哈爾濱工程大學，2010.

［16］ 李新濤.基于加權投票和關鍵幀提取的視頻流人臉識別方法研究［D］.蘇州：蘇州大學，2011.

［17］ 朱苗.基于視頻的智能人臉識別系統(tǒng)設計［D］.廣州：華南理工大學，2013.

［18］ 高楊.視頻質量診斷算法研究與實現(xiàn)［D］.沈陽：東北大學，2011.

［19］ 李海彥，徐汀榮，張立曉，等.基于仿射變換的多姿態(tài)人臉人臉矯正和識別［J］.計算機應用技術，2014，31（4）：1215-1219.

Optimal face capture in video-based face recognition system

Meng Fan-jing，WANG Lian-ming
（School of Physics，Northeast Normal University，Changchun 130024，China）

Different from the video-based face recognition systems which needs select faces manually，video-based automatic face recognition systems should be able to automatically pick out an optimal faces for subsequent face recognition.Therefore，a capture module for best face is designed and implemented.The module mainly consists of face detecting，face tracking and attitude determination links.Based on the detection and tracking of human face in video，an optimal face with appropriate size，high definition and best attitude can be captured automatically for the face recognition.

face detection；face tracking；attitude determination；face capture

TP391.41 ［學科代碼］ 520·6040

A

（責任編輯：石紹慶）

1000-1832（2015）03-0090-06

10.16163／j.cnki.22-1123／n.2015.03.019

2015-02-06

國家自然科學基金資助項目（21227008）；吉林省科技發(fā)展計劃項目（20130102028JC）.

孟繁靜（1991—），女，碩士研究生；通訊作者：王連明（1972—），男，博士，教授，主要從事智能信息處理及嵌入式系統(tǒng)領域研究.