基于AdaBoost和Camshift的人臉檢測與跟蹤

湯 泉

(上海出版印刷高等?？茖W(xué)校，上海 200093)

?

基于AdaBoost和Camshift的人臉檢測與跟蹤

湯 泉

(上海出版印刷高等?？茖W(xué)校，上海 200093)

為提高視頻序列中人臉跟蹤的準(zhǔn)確性，提出了一種使用Camshift算法，結(jié)合人臉檢測實現(xiàn)實時、自動的人臉跟蹤方法。利用圖像的Haar特征，結(jié)合AdaBoost算法訓(xùn)練得到人臉分類器，進行人臉的檢測來初始化人臉跟蹤窗口；利用Camshift算法對人臉進行跟蹤，并在跟蹤過程中引入距離約束條件，使跟蹤的結(jié)果更加穩(wěn)定。實驗結(jié)果表明，該方法能夠?qū)σ曨l幀中出現(xiàn)的人臉實現(xiàn)自動跟蹤，有效地改善了傳統(tǒng)Camshift跟蹤方法中窗口發(fā)散、跟蹤丟失的問題。

人臉檢測；人臉跟蹤；Camshift；AdaBoost算法

人臉跟蹤廣泛應(yīng)用于視頻分析、客流量統(tǒng)計等領(lǐng)域，是當(dāng)前研究領(lǐng)域的熱點。人臉跟蹤的過程中，通常會涉及到人臉檢測；人臉檢測問題最初來源人臉識別[1]，是在圖像中進行人臉位置和大小確定的過程。20世紀(jì)90年代以來，人臉檢測得到了眾多研究者的重視，常見的有基于模板匹配[2]、基于輪廓分布特征[3]、基于膚色模型[4]等基于知識的方法；基于特征空間[5]、基于人工神經(jīng)網(wǎng)絡(luò)[6]等基于統(tǒng)計的方法。但大多數(shù)人臉檢測方法對遮擋、尺度變化、表情變化過于敏感，對圖像旋轉(zhuǎn)的魯棒性不強。本文利用圖像的Haar特征，使用AdaBoost的算法[7]構(gòu)建人臉分類器，能夠有效的在檢出率和正確率之間做出平衡，而且速度能夠滿足實時性的要求。

人臉跟蹤是在圖像序列中確定人臉的運動軌跡的過程[8]。跟蹤算法是計算機視覺研究領(lǐng)域的熱點問題，常見的人臉跟蹤方法有幀間差分、背景建模、光流等基于運動的方法[10]；時空梯度、卡爾曼濾波等基于模型方法[11]。

人臉跟蹤的難點主要包括人臉?biāo)幈尘皬?fù)雜、人臉姿態(tài)變化、人臉表情變化等，容易造成目標(biāo)丟失現(xiàn)象的發(fā)生。文獻(xiàn)[12]中的粒子濾波方法能夠在連續(xù)的圖像序列中得到良好的跟蹤效果，對表情的變化魯棒性較強，但算法的復(fù)雜度過高，不能滿足實時性處理的要求。Camshift算法以Meanshift算法為基礎(chǔ)[13]，利用顏色直方圖模型在初始化搜索窗口的基礎(chǔ)上[13]，采用迭代的方法實現(xiàn)窗口的位置和大小的自適應(yīng)改變，能夠較好地適應(yīng)人臉的遠(yuǎn)近變化，同時具有較高的效率能夠滿足實時性的要求。

本文提出對原始視頻幀進行人臉檢測，利用檢測得到的人臉位置初始化跟蹤窗口，在跟蹤的過程采用距離條件約束，進一步提高跟蹤效率和可靠性。對新的一幀，利用跟蹤到的窗口作為掩模進行處理得到新的圖像，在此圖像中進行人臉檢測，判斷是否有新的人臉目標(biāo)進入跟蹤區(qū)域。實驗表明此方法能夠有效對人臉進行跟蹤，可應(yīng)用于客流量統(tǒng)計、智能視頻監(jiān)控分析等領(lǐng)域。

1 人臉檢測

1.1 圖像Haar特征的選取

在連續(xù)視頻序列或者靜態(tài)圖像進行人臉檢測，圖像特征的選取對檢測的快速性和準(zhǔn)確性有著重要的作用。使用圖像Haar特征結(jié)合積分圖計算在人臉檢測的應(yīng)用中表現(xiàn)出了高效性。

Haar特征表現(xiàn)的是圖像灰度的變化，在人臉檢測中具體表現(xiàn)為臉部關(guān)鍵位置的灰度變化。Haar特征采用矩形模板方式進行描述，常見的矩形模板由兩個全等的矩形組成，特征值定義為白色矩形像素和，減掉黑色矩形像素和。Harr特征能夠有效的描述邊緣、線段等有效信息，包含了大量比單純像素更有效的信息，在噪聲、光照等因素干擾下表現(xiàn)出了較好的魯棒性。

Haar特征模板在圖像中采用掃描的方式在圖像中移動，其中檢測窗口的大小和位置可變，所以可在圖像子窗口中獲得大量的特征。Haar特征在人臉圖像中的具體表現(xiàn)如圖1所示，得到人臉關(guān)鍵點位置周圍的相關(guān)信息。

圖1 Haar特征在人臉圖像上的表現(xiàn)

由于檢測窗口的位置、大小和類型都可變化，一幅圖像中表現(xiàn)出的Haar特征數(shù)目的量級非常大，為了能夠進行快速的計算，采用積分圖的方法，大幅提高了特征的計算速度。用圖像g來表示圖像f的積分圖，其在(x,y)處的值定義為g(x,y)

(1)

每一行的像素累加值為s(x,y)，設(shè)置其初值是s(x,-1)和g(x,y)的初值g(-1,y)，那么由式(2)和式(3)可以計算積分圖像的值

s(x,y)=s(x,y-1)+f(x,y)

(2)

g(x,y)=g(x-1,y)+s(x,y)

(3)

積分圖像如圖2所示，將圖像進行分塊操作，可計算分塊矩形區(qū)域內(nèi)的像素點之和，之后就能快速進行Haar特征的計算。例如，獲得點1的值即為A區(qū)域內(nèi)像素值之和，B區(qū)域的像素之和為2點的值減去1點的值(2-1)，同理D區(qū)域的像素值之和為4點減去2點的值，再減去3點(4-2-3)。通過以上方法快速得到區(qū)域像素值之和，Haar特征的特征便能得到，如AB組成的Haar特征模板的值即為2點的值減去1點的值得B區(qū)域像素點之和，然后再減去1點的值。

圖2 積分圖像

在基本Haar特征的基礎(chǔ)上，檢測器模板進行了擴展，形成了邊緣特征、線狀特征、中心環(huán)繞特征、對角線特征共15種類型，如圖3所示，擴展后的特征在人臉檢測方面表現(xiàn)出了更加優(yōu)秀的性能。

圖3 擴展后的Haar特征

1.2 AdaBoost分類器的設(shè)計

通過以上步驟得到圖像的Haar特征，為檢測到人臉區(qū)域還需要設(shè)計一個分類器，本文中采用AdaBoost算法通過分類器的級聯(lián)得到一個強分類器。

AdaBoost的本質(zhì)是一種可以自動調(diào)整的迭代算法，通過構(gòu)造的弱分類器加權(quán)投票的方式生成強分類器，再將得到的強分類器用串聯(lián)的方式形成層疊結(jié)構(gòu)的分類器，能夠得到較快的檢測速度。主要流程可以如下描述：考慮一個樣本集

{x1,y1},{x2,y2},…,{xi,yi},…,{xn,yn}

其中xi∈X,yi∈Y={-1,+1}，設(shè)樣本數(shù)為N。第一步進行權(quán)重初始化D1,i=1/N，然后進行T次循環(huán)操作，進行權(quán)值的標(biāo)準(zhǔn)化處理。對于選取的特征j，與它相應(yīng)的弱分類器是hj，可得到加權(quán)誤差值εt。選擇最小方差，此時對應(yīng)的分類器為ht。接下來進行權(quán)值的更新操作，得到強分類器H(x)如式(4)所示，其中，at是ht的權(quán)值；εt代表訓(xùn)練誤差

(4)

為了能夠在檢出率和正確率中做出有效的平衡，將得到的多個強分類器進行級聯(lián)，構(gòu)成一個層疊結(jié)構(gòu)的分類器。前級分類器能夠讓幾乎所有的正樣本通過，同時也能判定出相當(dāng)數(shù)量的負(fù)樣本，當(dāng)樣本被判定為負(fù)樣本時不再進入后一級的分類器，所以后級分類器要檢測的樣本數(shù)量是遞減關(guān)系，因此既能保證一定的檢測速度要求，也能滿足對最后檢測精度的要求。

通過以上步驟構(gòu)建的人臉檢測器能夠在正確率和檢出率方面能夠達(dá)到系統(tǒng)要求，同時對人臉出現(xiàn)的旋轉(zhuǎn)也有一定的適應(yīng)性。

2 Camshift跟蹤算法

2.1 Camshift算法

Camshift跟蹤算法的基本思想是在圖像序列中使用顏色特征對移動目標(biāo)的大小和位置進行確定。它以Meanshift算法為基礎(chǔ)，通過圖像的顏色概率直方圖得到其顏色概率分布，使用迭代的思想自適應(yīng)動態(tài)調(diào)整搜索窗口的位置和大小[14]，能夠較好的適應(yīng)跟蹤目標(biāo)形變帶來的影響。

為減小光照的影響，將RGB顏色空間轉(zhuǎn)化到HSV顏色空間，計算得到H通道的直方圖，對其做反向投影得到概率分布圖[15]。選中一個窗口作為初始化搜索窗口，窗口包含了需要跟蹤的目標(biāo)。按照Meanshift算法的方式計算搜索窗口的范圍內(nèi)的零階矩陣和一階矩陣，通過按照式(7)的計算方式能夠得到窗口的質(zhì)心位置。接下來將窗口的中心移動到計算得到的質(zhì)心位置，采用迭代的方式，繼續(xù)計算此時搜索窗口的質(zhì)心位置直到窗口中心與計算得到的質(zhì)心之間的差值滿足設(shè)定的閾值，迭代結(jié)束

(5)

(6)

(7)

為更好的適應(yīng)目標(biāo)的旋轉(zhuǎn)和形變，在人臉跟蹤過程中使用橢圓模板進行匹配，由二階矩通過式(8)可以計算得到長軸的方向角θ。

(8)

其中,M20,M02和M11為二階矩。

2.2 距離條件約束

人臉目標(biāo)在視頻序列中尤其是對大場景進行監(jiān)控時，人臉圖像表現(xiàn)為一個較小的圖像區(qū)域，在連續(xù)幀中的運動也表現(xiàn)為在一定范圍內(nèi)的移動。所以通過設(shè)定一個距離閾值來對跟蹤的可靠性進行約束，有效的應(yīng)對傳統(tǒng)跟蹤算法中跟蹤窗口發(fā)散問題。

如圖4所示，對于當(dāng)前幀中的一個目標(biāo)A，可以通過前一幀與當(dāng)前幀的目標(biāo)的位置關(guān)系得到一個運動速度v和角度θ的估計值，進而可以預(yù)估下一幀中目標(biāo)的位置為B。

圖4 距離約束模型

對于當(dāng)前幀中的目標(biāo)A計算得到中心為dA，通過預(yù)估計得到下一幀中目標(biāo)位置B的中心為dB。則采用式(9)對跟蹤得到的中心點dr進行約束，滿足條件時才認(rèn)為是可靠、穩(wěn)定的跟蹤目標(biāo)

|dA-dr|≤|dA-dB|+d

(9)

其中，|dA-dr|為dA與dr之間的歐氏距離；|dA-dB|為dA與dB之間的歐式距離；d為設(shè)定的距離閾值。

3 實驗結(jié)果及分析

為了驗證算法的可行性，使用VS2013結(jié)合Opencv(Open Source Computer Vision Library)開源視覺庫，在MFC框架下構(gòu)建了實驗平臺。

該實驗平臺實現(xiàn)了視頻文件的讀取，可以對本地視頻文件進行人臉檢測跟蹤；同時實現(xiàn)了對實時USB攝像頭獲取，選擇相應(yīng)的攝像頭源，可以直接獲取視頻流進行人臉檢測跟蹤。圖5為人臉檢測的效果圖，圖6為是對人臉檢測后，自動跟蹤的效果，具有較高的可靠性，同時橢圓跟蹤模板對人臉具有較好的適用性。

圖5 人臉檢測

圖6 人臉跟蹤

表1給出了本文算法在Windows8操作系統(tǒng)中，采用Intel Corei3(2.1GHz)CPU條件下，對不同分辨率共600幀圖像的跟蹤耗時和誤跟蹤率，可以看出跟蹤算法具有良好的實時性，且穩(wěn)定性較高。隨著圖像分辨率變高，跟蹤耗時沒有出現(xiàn)過快的增長，并且誤跟蹤有所降低，所以此方法適合較大場景中的人臉跟蹤。

表1 跟蹤性能分析

4 結(jié)束語

本文介紹了使用圖像Haar特征結(jié)合Adaboost算法進行人臉檢測的方法，在檢測到人臉的基礎(chǔ)上，使用Camshift算法對人臉區(qū)域進行跟蹤，并在跟蹤的過程中引入距離條件約束。實現(xiàn)了對出現(xiàn)在視頻幀中的人臉進行自動檢測、跟蹤，并且有效提高了跟蹤的可靠性。能夠滿足視頻監(jiān)控系統(tǒng)中，對人臉進行實時跟蹤的需要。

[1] 梁路宏,艾海舟,徐光佑,等.人臉檢測研究綜述[J].計算機學(xué)報,2002,25(5):449-458.

[2] Brunelli R,Poggio T.Facerecognition: features versus templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1993,15(10):1042-1052.

[3] Yang G Z,Huang T S.Human face detection in a complex background[J].Pattern Recognition,1994,27(1):53-63.

[4] Lee C H,Kim J S,Park K H.Automatichuman face location in a complex background using motion and color information[J].PatternRecognition,1996,29(11):1877-1889.

[5] Turk M,Pentland A.Eigenfaces for recognition[J].Cognitive Neuroscience,1991,3(1):71-86.

[6] Juell P,Marsh R A.Hierarchicalneural network for human face detection[J].Pattern Recognition,1996,29(5):781-787.

[7] 黃琛,丁曉青.一種魯棒高效的人臉特征點跟蹤方法[J].自動化學(xué)報,2012,38(5):788-796.

[8] 何煒.自適應(yīng)運動目標(biāo)檢測和跟蹤技術(shù)研[D].昆明:云南大學(xué),2011.

[9] 周杰,盧春雨,張長水,等.人臉自動識別方法綜述[J].電子學(xué)報,2000,28(4):102-106.

[10] Hager G D,Belhumeur P N.Efficientregion tracking with parametric models of geometry and illumination[J].IEEE Transactions on PAMI,1998(20):1025-1039.

[11] Ong E J,Bowden R.Robust facial feature tracking using shape constrained multiresolution selected liner predictors[J].IEEE Transactions on PAMI,2011(33):1-16.

[12] Wu Xian,Li Hong,Lai Jianhuang.A framework of face tracking with classification using CAM Shift-C and LBP [C].Shanghai:Fifth International Conference on Image and Graphics,2009.

[13] 張宏志,張金換.基于Camshift的目標(biāo)跟蹤算法[J].計算機工程與設(shè)計,2006,27(11):2012-2014.

[14] 鄔大鵬,程衛(wèi)平,于盛林.基于幀間差分和運動估計的Camshift目標(biāo)跟蹤算法[J].光電工程,2010,37(1):55-60.

[15] 王亮亮,孫即祥.基于人臉檢測和CAMSHIFT算法的人臉跟蹤系統(tǒng)[J].微計算機應(yīng)用,2008,29(2):14-17.

Face Detection,Tracking Based on AdaBoost and Camshift

TANG Quan

(Shanghai Publishing and Printing College, Shanghai 200093, China)

This paper proposes a method based on Camshiftand face detection,to achieve a real-time, automatic tracking system for human face. The algorithm uses the Haar feature and AdaBoost to train a classification for face detection which used to initialize the tracking window. Face tracking will be done based on Camshift algorithm, and distance constrains is also used to make sure the tracking result is stable. Experiments show that the method in the paper is more effective than traditional facetracking ways based on Camshift.

face detection; face tracking; Camshift; AdaBoost

10.16180/j.cnki.issn1007-7820.2016.12.046

2016- 06- 05

湯泉(1988-)，女，碩士研究生，助教。研究方向：圖像處理。

TP391.41

A

1007-7820(2016)12-166-04