馮小建,馬明棟,王得玉
(1.南京郵電大學(xué) 通信與信息工程學(xué)院,江蘇 南京 210003;2.南京郵電大學(xué) 地理與生物信息學(xué)院,江蘇 南京 210003)
人臉檢測是人臉識別技術(shù)的重要組成部分和關(guān)鍵技術(shù)基礎(chǔ)。作為人臉信息處理中的一項(xiàng)關(guān)鍵技術(shù),人臉檢測技術(shù)在基于內(nèi)容的檢索、數(shù)字視頻處理、視覺監(jiān)測、身份驗(yàn)證、安全監(jiān)測等方面有著重要的應(yīng)用價(jià)值[1]。隨著社會對人臉檢測技術(shù)的需求越來越多,應(yīng)用越來越廣泛,針對人臉檢測技術(shù)的研究也越來越深入。Viola和Jones共同提出的Viola-Jones檢測器對Adaboost算法訓(xùn)練出的強(qiáng)分類器進(jìn)行級聯(lián),極大提高了人臉檢測的效率和準(zhǔn)確率,受到了廣泛的關(guān)注[2]。最初的Adaboost算法采用幾種簡單的Haar-Like矩形特征,用積分圖的方法快速計(jì)算特征值,再將訓(xùn)練的最優(yōu)弱分類器組合成強(qiáng)分類器,然后將強(qiáng)分類器級聯(lián)便構(gòu)成了Haar分類器。
雖然Viola-Jones檢測器相比之前的各種人臉檢測器有著更加優(yōu)越的性能,但在實(shí)際應(yīng)用中還是存在檢測效率和準(zhǔn)確率不足等問題[3]。因此,有必要對Haar分類器進(jìn)行進(jìn)一步的研究與優(yōu)化。文中系統(tǒng)采用膚色檢測技術(shù)對傳統(tǒng)的Adaboost算法進(jìn)行改進(jìn)。膚色檢測排除了絕大部分非人臉區(qū)域,有效提高了人臉檢測系統(tǒng)的效率。由于傳統(tǒng)的Haar-Like矩形特征會產(chǎn)生大量的特征值,導(dǎo)致訓(xùn)練過程效率太低,文中提出的兩種新型Haar-Like特征,降低了訓(xùn)練過程所耗的時間,而且新特征符合人臉器官特征,提高了檢測率和虛警率,對系統(tǒng)的綜合性能進(jìn)行了有效的優(yōu)化。
文中用常見的閾值分割方法對圖像進(jìn)行膚色區(qū)域分割。閾值分割實(shí)際上就是對像素值進(jìn)行判斷,若像素的各通道數(shù)值都滿足條件的閾值,則判定像素顏色為膚色[4]。閾值分割可以基于YCrCb、HSV或者RBG等顏色空間進(jìn)行閾值判定。膚色的差異主要受亮度影響,色度對膚色的影響較小,所以光照強(qiáng)度是膚色的主要影響因素。在YCrCb空間中,Y表示亮度,Cr表示紅色色度,Cb表示藍(lán)色色度。在YCrCb空間中,利用對Cr和Cb顏色分量的閾值篩選即可判定膚色區(qū)域[5]。膚色分割先對圖像進(jìn)行顏色空間轉(zhuǎn)換,從RGB空間轉(zhuǎn)換到Y(jié)CrCb空間,再利用先驗(yàn)統(tǒng)計(jì)的判別式進(jìn)行區(qū)域篩選:77≤Cb≤127,133≤Cr≤173。
對于圖像像素點(diǎn),滿足YCrCb空間判別條件的即為膚色像素,效果如圖1所示。這就完成了初步的膚色區(qū)域檢測。
圖1 膚色分割效果
Haar-Like特征通常就是一些包含黑色區(qū)域和白色區(qū)域的矩形特征[6]。其中白色區(qū)域的像素和與黑色區(qū)域的像素和之差便是特征值,用這種方法可以反映圖像的局部灰度值變化。
Viola等使用了5種簡單的Haar-Like矩形特征,如圖2所示。
圖2 基本Haar-Like特征
為了更好地適應(yīng)不同檢測目標(biāo)的灰度分布,后來的研究者們在最初的矩形特征之外擴(kuò)展了一些其他類型的Haar-Like特征,構(gòu)成了目前常用的邊緣特征、線性特征和中心特征,如圖3所示。
圖3 常用的Haar-Like特征
在人臉圖像中,眼睛、鼻子和嘴巴等器官區(qū)域的灰度值較高,其余區(qū)域灰度值較低。根據(jù)人臉圖像中眼睛和鼻子的位置特征,引入了兩種擴(kuò)展的Haar-Like特征,如圖4所示。
圖4 擴(kuò)展的Haar-Like特征
文中引進(jìn)的兩種Haar-Like特征是根據(jù)人臉的特征設(shè)計(jì)的。由人臉檢測的先驗(yàn)知識可知,人臉中眼睛、鼻子和嘴巴等器官的位置是相對固定的[7]。文中主要研究正臉的識別效果,人臉正面的主要器官雙眼、鼻子和嘴巴構(gòu)成的幾何形狀便大致為圖4(a)的黑色區(qū)域分布情況。圖4(b)的新特征是針對稍微傾斜的人臉設(shè)計(jì)的,以提高系統(tǒng)的魯棒性。從理論上說,擴(kuò)展的兩種新Haar-Like特征能有效提高對人臉圖像的檢測率,并降低虛警率。
Haar-Like特征值的計(jì)算采用積分圖方法,以提高計(jì)算效率。積分圖方法先記錄像素矩陣的起點(diǎn)到每個像素點(diǎn)之間的像素和,計(jì)算某個區(qū)域的像素和便只用執(zhí)行簡單的像素和相減。因此只需遍歷一次圖像,而不用每次對矩陣重新累加計(jì)算[8]。
圖5 積分圖描述
如圖5所示,圖像中有S1、S2、S3和S4四個區(qū)域,假設(shè)A、B、C、D四點(diǎn)的左上角區(qū)域像素和分別為S(a)、S(b)、S(c)和S(d)。則四個區(qū)域的像素和計(jì)算公式分別為:
S1=S(a)
S2=S(b)-S(a)
S3=S(c)-S(a)
S4=S(d)-S(c)-S(b)+S(a)
文中研究的Adaboost算法是一種分類器訓(xùn)練算法,核心思想是通過大量訓(xùn)練樣本訓(xùn)練出若干個弱分類器,由這些弱分類器疊加構(gòu)成一個強(qiáng)分類器,再由多個強(qiáng)分類器級聯(lián)構(gòu)成最終的Haar分類器[9-11]。
在訓(xùn)練過程中,每個簡單的特征對應(yīng)一個弱分類器,弱分類器的判定公式為:
(1)
其中,x為待檢測窗口;fj為窗口區(qū)域的特征值;θj為此弱分類器的閾值;pj用來控制不等式方向;hj(x)是判定結(jié)果,1表示判定為人臉,0表示判定為非人臉[12]。
每個訓(xùn)練樣本都有自己的權(quán)重,而此權(quán)重會根據(jù)上一輪判定的準(zhǔn)確率和每輪樣本分類是否正確而發(fā)生改變。分類錯誤的樣本會在下一層分類器中加大訓(xùn)練權(quán)重,反之減小權(quán)重,如此反復(fù)迭代訓(xùn)練,得到若干個弱分類器,再將這些弱分類器按權(quán)重疊加成最終的強(qiáng)分類器[13]。
對于樣本集S={(x1,y1),(x2,y2),…,(xn,yn)},x1,x2,…,xn表示樣本,y1,y2,…,yn={0,1}表示樣本的正負(fù)。則其具體的訓(xùn)練過程如下[14-15]:
(1)初始化樣本權(quán)重為1/n,使每個樣本的權(quán)重均勻分布。
(2)將t作為循環(huán)因子進(jìn)行從1到T的循環(huán);
(3)按更新的權(quán)重疊加弱分類器得到強(qiáng)分類器:
(2)
由多個弱分類器組合起來的強(qiáng)分類器便有很高的檢測率和低的誤警率[16]。但由于在檢測過程中要以不同尺寸的窗口遍歷掃描待檢測圖像的任意位置,所以會花費(fèi)很多檢測時間。強(qiáng)分類器級聯(lián)的思想便解決了這一問題[17]。在級聯(lián)結(jié)構(gòu)中,只有被所有強(qiáng)分類器都判定為人臉的才會最終判定為人臉,否則為非人臉,強(qiáng)分類器的復(fù)雜度也會逐級增強(qiáng)。每個強(qiáng)分類器經(jīng)過閾值的調(diào)整使得人臉圖像幾乎都能通過,而大多非人臉圖像不能通過。這樣級別較高的強(qiáng)分類器雖然檢測效率較低,但由于低級別的分類器篩選拒絕了大多非人臉圖像,高級別分類器的工作量會很小,這樣便有效提高了系統(tǒng)的檢測效率,實(shí)現(xiàn)了實(shí)時檢測[18]。
實(shí)驗(yàn)的軟件環(huán)境為Windows 10,Visual Studio 2013,OpenCV3.0,使用了來自MIT人臉庫的2 028個正樣本,4 216個負(fù)樣本,樣本皆為20×20的灰度圖。分別訓(xùn)練了OpenCV原有的Haar分類器和改進(jìn)的Haar分類器。從YaleFaces數(shù)據(jù)庫挑選共500張圖像,都?xì)w一化為20×20像素圖片作為測試樣本,對兩種不同的Haar分類器進(jìn)行性能測試,并從檢測率、虛警率、檢測耗時三個方面進(jìn)行比較。測試結(jié)果如表1所示。
表1 測試結(jié)果
表1中,改進(jìn)Adaboost算法的檢測率略高于原有的Adaboost算法,虛警率得到大大降低,這是由于新的Haar-Like特征更加符合人臉的特點(diǎn),也使系統(tǒng)有更好的魯棒性,改善了誤判情況。改進(jìn)Adaboost算法節(jié)省了大量檢測時間,一方面是因?yàn)槟w色篩選技術(shù)排除了大量非膚色區(qū)域,降低了待檢測窗口量;另一方面是因?yàn)樾绿卣鞯淖钚z測窗口較大,檢測耗時少,提高了檢測效率。
研究了Haar-Like特征、積分圖計(jì)算方法、Adaboost算法原理以及級聯(lián)分類器等技術(shù),在原有的Haar分類器中融入了兩種新的Haar-Like特征,新特征根據(jù)人臉五官分布特點(diǎn)而提出,有效提高了檢測率,降低了虛警率;引進(jìn)的膚色檢測技術(shù)先篩選膚色區(qū)域,拒絕了大量非人臉區(qū)域,顯著提高了系統(tǒng)的檢測效率。將改進(jìn)的Adaboost算法與原有算法進(jìn)行性能數(shù)據(jù)比較,結(jié)果表明人臉檢測系統(tǒng)的虛警率和檢測效率都有大幅度的改善,檢測率也有一定的提升。