視頻序列中的人臉檢測(cè)定位

俞玉蓮，李 莉

(1．上海電子信息職業(yè)技術(shù)學(xué)院通信與信息工程系，上海201411;2．上海師范大學(xué)信息與機(jī)電工程學(xué)院，上海200234)

0 引言

近年來，隨著視頻會(huì)議、可視電話、安全監(jiān)控等人機(jī)交互技術(shù)的發(fā)展，迫切需要對(duì)環(huán)境中的人員進(jìn)行跟蹤，所以人臉跟蹤技術(shù)越來越為人們所重視．視頻序列中的人臉檢測(cè)定位部分在整個(gè)人臉跟蹤系統(tǒng)中是一個(gè)非常重要的部分．一般所說的檢測(cè)是判別一幅圖像中是否存在人臉，定位則是給出人臉在圖像中的位置．檢測(cè)成功與否，定位精度如何將很大程度地影響最后的跟蹤結(jié)果．

視頻中的人臉區(qū)域不僅包含了人臉圖像的基本特征信息［1-4］，如輪廓特征、啟發(fā)式特征、結(jié)構(gòu)特征信息等，同時(shí)還包含了運(yùn)動(dòng)信息和彩色信息．利用哪些信息及如何利用這些特征信息得到快速高效的人臉檢測(cè)算法是該領(lǐng)域人臉檢測(cè)研究［5-7］的一個(gè)關(guān)鍵問題．

本文作者利用視頻中人臉區(qū)域的運(yùn)動(dòng)信息和特征信息對(duì)人臉檢測(cè)定位問題進(jìn)行了一定的算法研究，提出了多級(jí)聯(lián)合檢測(cè)思想:(1)為了檢測(cè)視頻圖像序列的運(yùn)動(dòng)區(qū)域，一般使用幀間差固定閾值法［8］，此法的抗噪性較差．本文作者提出了幀間差自適應(yīng)閾值法來檢測(cè)運(yùn)動(dòng)區(qū)域，提高了運(yùn)動(dòng)分割的適應(yīng)性和抗噪性;(2)在運(yùn)動(dòng)區(qū)域中檢測(cè)人臉時(shí)，用YCbCr膚色模型分割膚色區(qū)域，較之RGB、HIS、YIQ，有很強(qiáng)的聚類特性［9］，當(dāng)僅考慮色度信息時(shí)，亮度變化的影響可以忽略;(3)用二值形態(tài)學(xué)操作［10］對(duì)膚色區(qū)域進(jìn)行后處理，目的是消除由于噪聲引入的孤立點(diǎn)和區(qū)域，或者填充非膚色區(qū)域?qū)е抡麄€(gè)人臉上的小洞．(4)利用眼、嘴特征的彩色信息，通過映射投影檢測(cè)定位人臉區(qū)域，可以定位不同尺度、不同表情和姿態(tài)的人臉．

1 預(yù)處理-運(yùn)動(dòng)目標(biāo)檢測(cè)

1．1 改進(jìn)的幀間差自適應(yīng)閾值法

分割運(yùn)動(dòng)區(qū)域最簡(jiǎn)單的方法是幀間差閾值法．假設(shè)在t時(shí)刻，圖像在(x，y)像素處的灰度值為I(x，y，t);在 t+1時(shí)刻，(x，y)像素處的灰度值變化為 I(x，y，t+1)，則 t+1 時(shí)刻與 t時(shí)刻(x，y)像素處的灰度差是:

因此，對(duì)于場(chǎng)景中的靜態(tài)物體(如背景)，ΔIt(x，y)為0;而對(duì)于場(chǎng)景中的運(yùn)動(dòng)物體的輪廓，ΔIt(x，y)一般不為0．所以，可利用ΔIt(x，y)來檢測(cè)物體的運(yùn)動(dòng)．

為了提高運(yùn)動(dòng)分割的適應(yīng)性和抗噪性，對(duì)差值圖ΔIt(x，y)施以自適應(yīng)閾值法．一般情況下，運(yùn)動(dòng)區(qū)域內(nèi)像素的灰度變化要大于整個(gè)圖像灰度變化的平均值，考慮到噪聲等因素的影響，選擇整個(gè)圖像灰度變化的標(biāo)準(zhǔn)差作為運(yùn)動(dòng)區(qū)域像素灰度變化的附加值，則自適應(yīng)閾值

式(2)中，m，σ分別表示幀差圖像的均值和標(biāo)準(zhǔn)差．設(shè)N和M分別表示圖像的寬度和高度，則有:

根據(jù)自適應(yīng)閾值法，提取運(yùn)動(dòng)信息，獲得差值圖It，即

1．2 邊緣檢測(cè)

分割出運(yùn)動(dòng)區(qū)域后，接著對(duì)運(yùn)動(dòng)物體進(jìn)行微分處理，用邊緣檢測(cè)提取目標(biāo)輪廓．如果一個(gè)像素落在圖像中某一個(gè)物體的邊界上，那么它的鄰域?qū)⒊蔀橐粋€(gè)灰度級(jí)變化地帶．對(duì)這種變化最有用的兩個(gè)特征是灰度的變化率和方向，它們分別以梯度向量的幅度和方向來表示．邊緣檢測(cè)算子檢查每個(gè)像素的鄰域，并對(duì)灰度變化率進(jìn)行量化，通常也包括方向的確定．常用的邊緣檢測(cè)算子有Roberts梯度算子、Sobel算子、Laplacian算子等．在對(duì)具體圖像進(jìn)行邊緣檢測(cè)時(shí)，需要根據(jù)圖像的特點(diǎn)選用適當(dāng)?shù)乃惴ǎ捎赟obel算子具有更廣泛的適用性，效果較好，因此用Sobel垂直邊緣檢測(cè)提取目標(biāo)輪廓．

1．3 實(shí)驗(yàn)分析

圖1給出了運(yùn)動(dòng)區(qū)域分割的實(shí)例，其中圖1(a)和圖1(b)分別是輸入視頻序列的第i幀和第j幀，圖1(c)是采用自適應(yīng)閾值法對(duì)第i，j幀進(jìn)行幀差分割的結(jié)果，圖1(d)用Sobel垂直邊緣檢測(cè)提取了運(yùn)動(dòng)目標(biāo)輪廓．從實(shí)驗(yàn)結(jié)果看，經(jīng)過運(yùn)動(dòng)區(qū)域分割后，較好地去除了某些靜止的背景，成功地提取了運(yùn)動(dòng)目標(biāo)輪廓．

圖1 運(yùn)動(dòng)區(qū)域分割

2 粗檢-候選人臉區(qū)域

經(jīng)過運(yùn)動(dòng)區(qū)域分割的預(yù)處理后，從復(fù)雜的背景中檢測(cè)出了運(yùn)動(dòng)物體．為了進(jìn)一步粗檢出人臉區(qū)域，需要篩選運(yùn)動(dòng)區(qū)域，進(jìn)行膚色區(qū)域的分割和后處理．

2．1 膚色分割

采用YCbCr色彩空間作為膚色的建?？臻g．YCbCr與RGB空間的轉(zhuǎn)換關(guān)系是:

研究表明不同人的皮膚顏色相差很大［11］，主要是表現(xiàn)在亮度Y上的差異，色度信息Cr和Cb是聚集在色度空間中一個(gè)較小的區(qū)域中的，因此，利用色度能較好地將皮膚區(qū)域從圖象背景中分割出來．

假定RCb和RCr分別表示屬于膚色像素Cb和Cr的取值范圍，大量實(shí)驗(yàn)證明RCb=［130，185］，RCr=［83，136］．所以，一旦算出圖像的 Cb、Cr值，就與 RCb、RCr比較而進(jìn)行膚色分割，將膚色值置為1，非膚色值置為0，其表達(dá)式如下:

2．2 閉合運(yùn)算

在膚色二值圖像內(nèi)會(huì)存在兩種情況，一種是由于噪聲引入的被誤判為膚色的孤立點(diǎn)或小塊孤立區(qū)域，另一種是由于人臉局部區(qū)域如眼睛、嘴唇等非膚色區(qū)域而導(dǎo)致的整個(gè)人臉的非全填充，為了消除這些誤差必須進(jìn)行膨脹和腐蝕操作．

膨脹的運(yùn)算符為“⊕”，腐蝕的運(yùn)算符是“Θ”，閉合的運(yùn)算符為“·”，它是先進(jìn)行膨脹然后再進(jìn)行腐蝕的運(yùn)算，A用B來閉合記為A·B，其定義如下:

膚色分割后處理的表達(dá)式如下:

其中B是結(jié)構(gòu)元素，為3×3的單位矩陣，·表示結(jié)構(gòu)閉合運(yùn)算(先膨脹后腐蝕)．

2．3 實(shí)驗(yàn)分析

圖2是繼圖1(d)后運(yùn)動(dòng)目標(biāo)膚色分割的結(jié)果，把圖1(d)對(duì)應(yīng)到原彩色圖像中，則縮小了原彩色圖像的檢測(cè)范圍，僅在運(yùn)動(dòng)區(qū)域內(nèi)進(jìn)行膚色分割，所以實(shí)驗(yàn)效果較好．

圖3是膚色分割圖2經(jīng)過二值形態(tài)學(xué)操作(閉合運(yùn)算)的結(jié)果，消除了噪聲點(diǎn)，填充了膚色區(qū)的小洞．

圖2 運(yùn)動(dòng)目標(biāo)的膚色分割

圖3 經(jīng)過二值形態(tài)學(xué)操作結(jié)果

3 細(xì)檢-候選人臉的特征驗(yàn)證

經(jīng)過膚色區(qū)域的分割和后處理，基本粗檢出了包含人臉的區(qū)域．為了精確檢測(cè)人臉，需要進(jìn)一步細(xì)檢，利用眼、嘴特征的彩色信息檢測(cè)候選人臉的特征部位(眼、嘴)，并根據(jù)檢測(cè)的結(jié)果對(duì)候選人臉進(jìn)行篩選．

3．1 眼睛映射

眼睛部位的亮度信息既有非常亮的像素也有很暗的像素，同時(shí)具有較低的Cr值和較高的Cb值，基于這些信息可以檢測(cè)眼睛．

首先建立兩個(gè)獨(dú)立的眼睛映射:一個(gè)由色度決定，包含高的Cb值和低的Cr值，形成色度映射EC;另一個(gè)由亮度決定，用半球狀結(jié)構(gòu)元素膨脹和腐蝕灰度圖像，形成亮度映射EL;然后把兩個(gè)映射聯(lián)合成一個(gè)映射E，即

AND是乘法操作，得到E后，再對(duì)其膨脹，歸一化得到最終的E．膨脹、掩模和標(biāo)準(zhǔn)化最終的眼睛映射，從而加亮眼睛部位使其亮度超過其他臉部區(qū)域．

3．2 嘴巴映射

嘴部較之臉部的其他區(qū)域含有更強(qiáng)的紅色成分和更弱的藍(lán)色成分，所以嘴部的色度值Cr大于Cb，而且Cr/Cb遠(yuǎn)小于( )Cr2．基于這些信息來檢測(cè)嘴唇．嘴巴映射Mo的構(gòu)造如下:

式(11)中η是( )Cr2與Cr/Cb的平均比率．

3．3 投影定位

人臉的定位轉(zhuǎn)化為對(duì)眼睛映射E和嘴唇映射Mo中亮塊的檢測(cè)．采用投影法檢測(cè)亮塊，并框出人臉區(qū)域，標(biāo)出人臉中心．

檢測(cè)眼睛映射圖E中亮塊，作水平軸上的垂直投影，由2個(gè)明顯高峰左右兩側(cè)的灰度躍突位置(第一個(gè)高峰左側(cè)的由下而上突變處，第二個(gè)高峰右側(cè)的由上而下突變處)，可以確定人的雙眼在水平方向的位置(XL和XR)，所以臉寬定為W=XR-XL;再作垂直軸上的水平投影，由一個(gè)明顯高峰左側(cè)的由下而上突變位置，可以確定眼頂部的位置YT．

檢測(cè)嘴唇映射圖Mo中亮塊，作垂直軸上的水平投影，由一個(gè)明顯高峰右側(cè)的由上而下突變位置，可以確定嘴底部的位置YB．

所以人臉寬度W，人臉高度H和人臉外接矩形中心(x0，y0)如下公式:

3．4 實(shí)驗(yàn)分析

圖4顯示了眼睛嘴巴映射的結(jié)果，其中圖4(a)是根據(jù)圖3檢測(cè)到的原彩色圖像中的人臉區(qū)域，圖4(b)是眼睛映射E，圖4(c)是嘴巴映射Mo．從圖4中可以清晰地看到眼睛和嘴巴部位的亮度較臉部其他部位偏高很多．

圖5所示為眼睛、嘴巴映射亮塊的投影，由圖5(a)得XL=92，XR=270;由圖5(b)得YT=144;由圖5(c)得YB=300．則最終人臉區(qū)域的寬度W=XR-XL=178，高度H=YB-YT=156和人臉外接矩形中心(81，222)．

圖6是圖1(b)(視頻系列第j幀)最終的人臉檢測(cè)定位輸出結(jié)果．

圖4 眼睛嘴巴的映射

圖5 眼睛嘴巴映射亮塊的投影

圖6 人臉檢測(cè)定位結(jié)果

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本算法的魯棒性，進(jìn)行了大量的人臉檢測(cè)定位實(shí)驗(yàn)．實(shí)驗(yàn)平臺(tái)是MATLAB7．0仿真軟件，用自行拍攝的彩色視頻圖像序列作為實(shí)驗(yàn)數(shù)據(jù)源，每一段視頻取起始2幀圖像序列來檢測(cè)定位，測(cè)試圖像序列包含單臉圖像、多臉圖像、不同表情和姿態(tài)、不同光照．測(cè)試結(jié)果如表1所示，正確檢測(cè)定位結(jié)果如圖7所示．

表1 人臉檢測(cè)定位結(jié)果

圖7 人臉檢測(cè)定位部分實(shí)驗(yàn)

5 結(jié)論

本研究通過在MATLAB7．0軟件上仿真實(shí)驗(yàn)，成功地實(shí)現(xiàn)了視頻序列中的人臉檢測(cè)定位．算法中設(shè)計(jì)了預(yù)處理、粗檢、細(xì)檢定位的流程，期間修正了幀間差閾值為幀間差自適應(yīng)閾值來檢測(cè)運(yùn)動(dòng)區(qū)域，應(yīng)用了眼嘴特征來細(xì)檢人臉，提出了映射亮塊投影法來定位人臉．實(shí)驗(yàn)顯示，該算法對(duì)于多人臉、不同表情和姿態(tài)、不同光照的情況均適用，正確人臉檢測(cè)率平均達(dá)到81%．

在以后的工作中，將研究如何在后續(xù)視頻序列圖像中跟蹤到已經(jīng)檢測(cè)定位的人臉．

［1］甘玲，朱江．?dāng)U展Haar特征檢測(cè)人眼的方法［J］．電子科技大學(xué)學(xué)報(bào)，2010，39(2):247-250．

［2］花櫻，彭宏京，顧佳玲．Boosting協(xié)方差特征的人臉檢測(cè)方法［J］．計(jì)算機(jī)工程與應(yīng)用，2010，46(18):186-189．

［3］顧曉敏，林錦國(guó)，梅雪．基于模糊積分分類器融合的人臉識(shí)別［J］．計(jì)算機(jī)工程，2010，32(18):188-190．

［4］李盛文，鮑蘇蘇．基于 PCA+AdaBoost算法的人臉識(shí)別技術(shù)［J］．計(jì)算機(jī)工程與應(yīng)用，2010，46(4):170-173．

［5］李根，李文輝．基于尺度不變特征變換的平面旋轉(zhuǎn)人臉檢測(cè)［J］．吉林大學(xué)學(xué)報(bào):工學(xué)版，2013，4(1):186-191．

［6］歐凡，劉沖．基于照度補(bǔ)償?shù)娜四槇D像遮擋陰影消除處理［J］．計(jì)算機(jī)應(yīng)用研究，2010，1(27):399-400．

［7］LANG L，GU W．Study of face detection algorithm for real-time face detection system［J］．Second Int Symp on Electronic Commerce and Security，2009，10(2):29-132．

［8］NIESE R，AL-HAMADI A，F(xiàn)ARAG A，et al．Facial expression recognition based on geometric and optical flow features in colour image sequences［J］．IET Comput Vis，2012，6(2):79-89．

［9］GUO J M，LIN CC，WU M F，et al．Complexity reduced face detection using probability-based face mask prefiltering and pixel-based hierarchical-feature adaboosting［J］．IEEE Signal Process Lett，2011，18(8):447-450．

［10］MA??TT? J，HADID A，PIETIK?INEN M．Face spoofing detection from single images using texture and local shape analysis［J］．IET Biometrics，2012，1(1):3-10．

［11］LAKSHMI H，PATILKULAKARNI S．Segmentation algorithm for multiple face detection for color images with skin tone regions［J］．Int Conf on Signal Acquisition and Processing IEEE，2010，8(3):162-166．