應(yīng)用于人臉自動(dòng)實(shí)時(shí)跟蹤的改進(jìn)Struck算法

肖兒良,韓　超

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海　200093)

?

應(yīng)用于人臉自動(dòng)實(shí)時(shí)跟蹤的改進(jìn)Struck算法

肖兒良,韓超

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海200093)

摘要傳統(tǒng)的Struck算法在人臉跟蹤系統(tǒng)中,需要手動(dòng)實(shí)現(xiàn)初始化且易受環(huán)境影響。文中提出一種基于AdaBoost目標(biāo)自動(dòng)檢測和改進(jìn)的Struck人臉自動(dòng)跟蹤算法。從圖像中提取人臉的Haar特征,采用AdaBoost算法實(shí)現(xiàn)人臉的檢測,并自動(dòng)初始化跟蹤器,再依據(jù)檢測得到的相鄰幀目標(biāo)的相似度判定跟蹤目標(biāo)的有效性,采用Struck算法實(shí)現(xiàn)人臉的連續(xù)跟蹤。實(shí)驗(yàn)結(jié)果表明,改進(jìn)的算法有效解決了部分遮擋、尺度變化、光照變化等人臉跟蹤難題,且具有較高的魯棒性與準(zhǔn)確性。

關(guān)鍵詞AdaBoost;Struck;人臉檢測;實(shí)時(shí)跟蹤

Improved Struck Algorithm for Real-time Face Auto-tracking

XIAO Erliang,HAN Chao

(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

AbstractThe classic Struck algorithm is incapable of automatic tracking of the human face and easily subject to the environment interference.In the paper,the classical Struck method is improved to achieve automatic real-time face tracking by the Adabboost algorithm.Firstly,the Haar feature of the face is extracted.Then the AdaBoost algorithm is used to detect face target and initialize the Struck tracker automatically.The similarity between the detected target and the last result is computed to get the best result,with Struck tracking the face continuously.Experimental results show the improved algorithm applies in such complex environment as partial occlusion,scale variation,illumination variation with good robustness and accuracy.

KeywordsAdaBoost;Struck;face detection;real-time tracking

人臉跟蹤是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn),其在智能監(jiān)控、人機(jī)交互、游戲等領(lǐng)域有重要的應(yīng)用價(jià)值。人臉跟蹤指在視頻圖像中,確定人臉的運(yùn)動(dòng)軌跡及其大小變化的過程。

人臉跟蹤包括人臉的檢測和跟蹤,其中人臉檢測是人臉跟蹤的關(guān)鍵。目前人臉檢測的方法主要有3種:基于人臉特征[1]、基于模板匹配[2]和基于人臉整體統(tǒng)計(jì)信息[3]。跟蹤算法應(yīng)用較多的有光流法[4]、粒子濾波算法[5]和Meanshift算法[6]。然而傳統(tǒng)的跟蹤算法只是單純跟蹤,不能在線學(xué)習(xí),從而不能適應(yīng)跟蹤目標(biāo)的變化,應(yīng)用于復(fù)雜場景的目標(biāo)跟蹤。但Struck算法基于結(jié)構(gòu)輸出預(yù)測的自適應(yīng)目標(biāo)跟蹤框架,利用支持向量機(jī)(SVM)原理,通過引入輸出空間,避免中間分類環(huán)節(jié),直接輸出跟蹤結(jié)果。

本文在原始Struck算法的基礎(chǔ)上,通過AdaBoost算法對人臉區(qū)域進(jìn)行快速檢測,以此作為Struck算法的初始目標(biāo),從而實(shí)現(xiàn)了自動(dòng)的人臉檢測,不再需要人工初始化目標(biāo)區(qū)域。同時(shí)為了增加算法的魯棒性,借鑒跟蹤-學(xué)習(xí)-檢測(Tracking-Learning-Detection,TLD)中跟蹤與檢測同時(shí)進(jìn)行的思想,對檢測器產(chǎn)生的目標(biāo)框與跟蹤器產(chǎn)生的目標(biāo)框進(jìn)行判斷與融合。

1原理

1.1AdaBoost算法原理

人臉檢測是人臉跟蹤中的重要環(huán)節(jié),其可靠性將對后續(xù)人臉跟蹤系統(tǒng)的性能和穩(wěn)定性產(chǎn)生重大影響。人臉檢測的目的是為了獲得人臉的位置、大小等信息。本文主要利用基于Haar特征的AdaBoost算法[7]進(jìn)行人臉檢測。

在基于AdaBoost算法的人臉檢測算法中,由于Haar特征[8]相對于像素來描述人臉,不僅包含一定領(lǐng)域的信息,且計(jì)算速度快,因而在人臉檢測算法中被大量使用。Haar特征如圖1所示。

圖1　Haar特征

Haar特征的特征值是圖1中黑色區(qū)域和白色區(qū)域的像素灰度值之差。實(shí)際通過積分圖法計(jì)算Haar特征,只需遍歷一次圖像便可求出圖像中所有區(qū)域的像素和。

AdaBoost算法的核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類器,將弱分類器相組合,從而構(gòu)成一個(gè)強(qiáng)分類器,弱分類器效果好的賦予更大的權(quán)重。

AdaBoost算法具體步驟如下:

(1)給定人臉圖片(x1,y1),(x2,y2),…,(xn,yn),其中,xi表示第i個(gè)人臉樣本;yi=1,表示正樣本(人臉);yi=0表示負(fù)樣本(非人臉);

(2)初始化樣本權(quán)值

(1)

式中,m為正樣本數(shù)量;n為負(fù)樣本數(shù)量;

(3)1)歸一化權(quán)值

(2)

式中,t為弱分類器數(shù)量,t=1,2,…,N;

2)對特征j,訓(xùn)練一個(gè)弱分類器hj(xi),然后對每個(gè)特征生成的弱分類器計(jì)算權(quán)重誤差

(3)

3)選擇具有最小誤差εj,t的分類器疊加到強(qiáng)分類器中,并更新訓(xùn)練樣本的權(quán)值

(4)

4)強(qiáng)分類器輸出

(5)

本文利用瀑布算法的分類器組織成篩選式的級聯(lián)分類器,級聯(lián)的每個(gè)節(jié)點(diǎn)是AdaBoost訓(xùn)練得到的強(qiáng)分類器,其人臉檢測模型如圖2所示。

圖2　人臉檢測模型

1.2Struck算法原理

Struck(Structured Output Tracking)[9],即結(jié)構(gòu)性訓(xùn)練跟蹤算法,是由Sam Hare等首先提出,該算法提出了一種新的跟蹤框架。與傳統(tǒng)的特征和標(biāo)簽訓(xùn)練跟蹤方法不同,Struck是基于特征和變換的訓(xùn)練方法,通過維護(hù)一個(gè)支持向量集來尋找置信函數(shù)的極值點(diǎn),確定跟蹤目標(biāo)的位置。

為能跟蹤到物體,假設(shè)物體的運(yùn)動(dòng)是小運(yùn)動(dòng),通過最大化h來預(yù)測目標(biāo)的位置。物體當(dāng)前的位置與上一幀位置的函數(shù)關(guān)系如下

pt=pt-1。yt

(6)

(7)

傳統(tǒng)的訓(xùn)練分類器只利用了正負(fù)標(biāo)簽,因而分類器的置信函數(shù)無法準(zhǔn)確處理估計(jì)的物體位置;訓(xùn)練分類器的樣本權(quán)值相同。實(shí)際上,不同的樣本對分類器產(chǎn)生的影響程度不同;標(biāo)簽器的選擇往往取決于經(jīng)驗(yàn),需經(jīng)過試探性,才能找到合適的標(biāo)簽器。

為解決以上問題,Struck采用了結(jié)構(gòu)輸出預(yù)測的自適應(yīng)SVM跟蹤框架,其輸出空間不再是傳統(tǒng)的正負(fù)標(biāo)簽,而是所有的位置變換。其變換函數(shù)如下式

(8)

其中,F為判別函數(shù);F(x,y)=〈w,Φ(x,y)〉,用于評價(jià)樣本間的相似度,與跟蹤目標(biāo)最相似的,數(shù)值越大,Φ為輸入空間到特征空間的映射,將不可分轉(zhuǎn)化成線性可分。

給定樣本T={(x1,y1),…,(xn,yn)},尋找離數(shù)據(jù)點(diǎn)的間隔最大的分類界面,其最優(yōu)化目標(biāo)函數(shù)如下

(9)

通過拉格朗日乘子法,將(9)轉(zhuǎn)化為如下的對偶函數(shù)

(10)

為便于求解式(10),進(jìn)行參數(shù)替換,如式(11)所示

(11)

從而化簡成

(12)

判別函數(shù)的最終形式為

本文采用高斯核函數(shù)作為核函數(shù)

(13)

Struck的算法主要步驟為:(1)給定目標(biāo)圖片序列,通過獲取到的跟蹤目標(biāo)進(jìn)行跟蹤器參數(shù)的初始化;(2)估計(jì)出物體新的位置;(3)處理新的跟蹤目標(biāo)樣本,通過SMO[10]算法求解最優(yōu)的分割平面,閾值判斷,從而防止支持向量過增長,跟蹤到目標(biāo)對象及更新支持向量集。

1.3評價(jià)參數(shù)

通過比較跟蹤器的結(jié)果與標(biāo)定的真實(shí)值,選用重疊度Ok和AUCλ[11]作為評價(jià)標(biāo)準(zhǔn)。

重疊度Ok用來比較標(biāo)定好的真實(shí)目標(biāo)框與跟蹤器跟蹤的目標(biāo)框的結(jié)果。

(14)

其中,TPk為在某一幀中被真確跟蹤到的像素點(diǎn)數(shù),FPk為在錯(cuò)誤跟蹤到的像素點(diǎn)數(shù);FNk為跟蹤器丟失的跟蹤像素點(diǎn)數(shù)。Ok越大,則跟蹤器跟蹤更準(zhǔn)確。

當(dāng)重疊度小于某一特定值時(shí),即Ok≤τ,其中τ≤[0,1],則認(rèn)為跟蹤器跟丟目標(biāo)。跟丟率λ為跟丟的幀數(shù)與總幀數(shù)的比值,其形式如下

(15)

其中,Nl為總的丟幀數(shù);N為測試視頻的幀數(shù)。

基于λ(τ),引入AUCλ來評價(jià)跟蹤器的性能,AUCλ為LTR(LostTrackRatio)跟丟率曲線的面積,其形式如下

(16)

其中,Δτ=0.01,0≤AUCλ≤1。AUCλ值越小,則說明跟蹤器的綜合性能越好。

2算法實(shí)現(xiàn)

本文通過AdaBoost檢測出人臉,從而實(shí)現(xiàn)Struck跟蹤算法的初始化。為提高算法的魯棒性和準(zhǔn)確性,將檢測與跟蹤同時(shí)進(jìn)行,計(jì)算AdaBoost檢測器返回的目標(biāo)框與Struck跟蹤器上一幀輸出的目標(biāo)框的最近鄰相似度。若小于閾值,則認(rèn)為跟蹤失敗,此時(shí)通過檢測器重新初始化跟蹤器。當(dāng)AdaBoost檢測返回的目標(biāo)框與Struck上一幀輸出的目標(biāo)矩形之間的相似度大于閾值時(shí),則認(rèn)為跟蹤結(jié)果可靠。改進(jìn)的算法流程如圖3所示。

圖3　改進(jìn)的Struck算法流程

3實(shí)驗(yàn)測試與分析

此部分對分別對網(wǎng)上公開的boy,FaceOcc2,jumping視頻及攝像頭實(shí)時(shí)視頻進(jìn)行實(shí)驗(yàn)測試。這些視頻包含了跟蹤過程中出現(xiàn)的目標(biāo)的部分遮擋,姿態(tài)的改變以及相似目標(biāo)的存在等各種嚴(yán)峻測場景。

進(jìn)行實(shí)驗(yàn)的軟件環(huán)境:Windosw7系統(tǒng),VS2010,OpenCV2.4.6,Eigen2;硬件平臺(tái):Intel(R) Core(TM) i5-3230M CPU @ 2.60GHz,8 GB內(nèi)存,攝像頭為USB2.0 HD UVC WebCam;數(shù)據(jù)的測試在Matlab下完成。粒子濾波是一種基于蒙特卡羅和遞推貝葉斯估計(jì)的方法,由于粒子的非高斯及非線性特點(diǎn),被廣泛用于目標(biāo)跟蹤。TLD[12]是用于解決單目標(biāo)長時(shí)的跟蹤算法,最近得到了國內(nèi)外學(xué)者的廣泛研究。為了說明本文的改進(jìn)算法性能更優(yōu),采用相應(yīng)的AdaBoost結(jié)合ParticleFilter、TLD的算法進(jìn)行比較,實(shí)驗(yàn)采用多次測量取平均值。

3.1網(wǎng)上公開視頻測試

測試人臉視頻序列的跟蹤結(jié)果部分截圖如圖4所示,圖中深色實(shí)線是AdaStruck的跟蹤框,淺色實(shí)線框是AdaTLD的跟蹤框,虛點(diǎn)畫線是AdaParticleFilter的跟蹤框。

圖4　3種視頻不同算法的跟蹤結(jié)果對比

從圖4(a)的boy視頻看出,在第324幀,當(dāng)boy人臉發(fā)生尺度變化時(shí),AdaParticleFilter已經(jīng)完全失去跟蹤目標(biāo),跟蹤失敗。在第349幀,boy人臉模糊時(shí),AdaParticleFilter發(fā)生漂移。在第372幀,boy人臉旋轉(zhuǎn),AdaParticleFilter再次跟蹤失敗。AdaStruck和AdaTLD均能較好地跟蹤到人臉。

在圖4(b)FaceOcc2測試中,在部分遮擋的第143幀及旋轉(zhuǎn)的第332幀,AdaParticleFilter發(fā)生漂移。在光照變化的第375幀,AdaParticleFilter無法跟蹤到人臉。此時(shí)AdaTLD仍可跟蹤到人臉,但其目標(biāo)框受到干擾,不能完全框住人臉區(qū)域。

在最后的視頻測試測試中,人臉快速運(yùn)動(dòng)及模糊時(shí),AdaTLD及AdaParticleFilter都無法跟蹤到人臉目標(biāo)。在以上所有的測試中,AdaStruck都能很好的跟蹤到人臉目標(biāo)。

測試視頻的重疊度結(jié)果如圖5所示。可以看出,AdaStruck算法跟蹤到的人臉目標(biāo)重疊度比AdaTLD、AdaParticle均要高,這說明AdaStruck跟蹤到的人臉準(zhǔn)確性較高。測試視頻的LTR曲線對比,如圖6所示。

圖5　3種視頻不同算法重疊度的對比

圖6　3種視頻不同算法LTR曲線對比

圖片序列AdaParticleFilterAdaTLDAdaStruckboy0.3850.3220.255FaceOcc20.7120.3400.250jumping0.7450.4010.298

由圖6看出,在各個(gè)測試視頻中,AdaStruck的LTR曲線所包圍的面積最小。從表1的綜合性能參數(shù)比較中,可以看出在各組測試中,AdaStruck的性能都優(yōu)于其他算法。故改進(jìn)的AdaStruck算法相相比其他算法,性能上有很大的提升。

3.2實(shí)時(shí)攝像頭測試

將算法用攝像頭來跟蹤人臉,視頻像素為320×240,幀速為15 f·s-1,對實(shí)驗(yàn)結(jié)果進(jìn)行部分截圖,如圖7所示。

圖7　不同場景的跟蹤實(shí)測

圖7(a)的人臉雖然被遮擋,跟蹤器仍能跟蹤到人臉;圖7(b)為人臉雖發(fā)生了旋轉(zhuǎn)和縮放,但跟蹤器仍可較好的找到人臉;圖7(c)和圖7(d)為人臉發(fā)生丟失,當(dāng)人臉重新回到攝像頭的范圍內(nèi),人臉能較快被重新跟蹤到。測試結(jié)果表明,改進(jìn)的算法可適用于真實(shí)場景。

4結(jié)束語

Struck算法是一種可在線學(xué)習(xí)的新穎計(jì)算機(jī)視覺跟蹤算法。本文在其基礎(chǔ)上,提出了一種基于AdaBoost優(yōu)化的Struck人臉實(shí)時(shí)跟蹤算法。算法使用AdaBoost進(jìn)行人臉檢測,避免了Struck的人工初始化。AdaBoost人臉檢測與Struck人臉跟蹤同時(shí)運(yùn)行,通過相似度計(jì)算AdaBoost與Struck跟蹤的目標(biāo)框,從而提高了跟蹤的準(zhǔn)確性。此外,當(dāng)Struck跟蹤發(fā)生失敗時(shí),再次通過AdaBoost進(jìn)行人臉檢測,重新初始化跟蹤。在boy,FaceOcc2,jumping視頻序列測試及攝像頭實(shí)測中的結(jié)果表明,采用AdaBoost優(yōu)化的Struck算法能夠有效適用于人臉序列中的實(shí)時(shí)跟蹤。

參考文獻(xiàn)

[1]Shaick B,Yaroslavsky L.Accelerating face detection by means of image segmentation[C].Kunming:Proceeding of EURASIP Conference Focused on Video/Image Processing and Multimedia Communications,2003.

[2]Yang G,Huang T S.Human face detection in a complex background[J].Pattern Recognition,1994,27(1):53-63.

[3]Rowley H A.Neural network-based face detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(1):23-38.

[4]Lucas B D,Kanade T.An iterative image registration technique with an application to stero vision[C].Soul:International Joint Conference on Artificial Intelligence,1981.

[5]Katja Nummiaro,Esther Koller-Meier,Luc Van Gool.An adaptive color-based particle filter[J].Image & Vision Computing,2003,21(1):99-110.

[6]胡銦,楊靜宇.基于分塊顏色直方圖的Mean Shift跟蹤算法[J].系統(tǒng)仿真學(xué)報(bào),2009,5(10):2963-2939.

[7]Viola P,Jones M.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):137-154.

[8]Papageorgiou C P,Oren M,Poggio T.A general framework for object detection[C].London:Proceedings of the 6th International Conference on Computer Vison,1998.

[9]Sam Hare,Amir Saffari,Philip H S Torr.Struck:structured output tracking with kernels[C].MA USA:Proceedings of the 28th International Conference on Machine Learing,2011.

[10]Antoine Bordes,Leon Bottou,Patrick Gallinari,et al.Solving multiclass support vector machines with larank[C].NZ USA:Proceedings of the 24th International Conference on Machine Learing,2007.

[11]Tahir Nawaz,Andrea Cavallaro.PFT:A protocol for evaluating video trackers[C].Belgium:Proceedings ofthe 18th IEEE International Conference on Image Processing,2011.

[12]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

歡 迎 投 稿

投稿請登錄:www.dianzikeji.org

中圖分類號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)03-042-06

doi:10.16180/j.cnki.issn1007-7820.2016.03.011

作者簡介:肖兒良(1969—),男,博士。研究方向:信號(hào)采集與處理等。

收稿日期:2015- 07- 17