基于膚色分割的改進(jìn)Camshift人臉跟蹤算法

王俊南 賴惠成 楊東旭

摘 ?要： 針對Camshift算法在對人臉跟蹤時(shí)，容易受到膚色背景的影響，且當(dāng)跟蹤環(huán)境中背景較為復(fù)雜時(shí)，易失敗的問題，提出一種基于膚色分割的改進(jìn)Camshift人臉跟蹤算法。在YCbCr空間中進(jìn)行膚色分割，提取每一幀的膚色區(qū)域，排除幀圖像中非膚色背景的干擾;引入人臉幾何特征，對潛在的人臉膚色區(qū)域進(jìn)行約束;使用Camshift算法跟蹤人臉。同時(shí)為了提高算法的性能，文中引入改進(jìn)的Adaboost算法。實(shí)驗(yàn)結(jié)果表明，該算法對視頻幀中的特定人臉可以獲得出色的跟蹤結(jié)果，具有實(shí)時(shí)性強(qiáng)、跟蹤穩(wěn)定的優(yōu)點(diǎn)。

關(guān)鍵詞： 人臉跟蹤; 膚色分割; 形態(tài)學(xué)操作; YCbCr空間; 幾何特征; Adaboost算法; Camshift

中圖分類號(hào)： TN820.4?34; TP391.41 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）06?0166?05

Improved Camshift face tracking algorithm based on skin color segmentation

WANG Junnan， LAI Huicheng， YANG Dongxu

（College of Information Science and Engineering， Xinjiang University， Urumqi 830046， China）

Abstract： In allusion to the problems that the Camshift algorithm is easy to be affected by the skin color background during face tracking， and the tracking is easy to fail if the tracking environment background is complex， an improved Camshift face tracking algorithm based on skin color segmentation is proposed. The skin color segmentation is performed in the YCbCr space to extract the skin color region of each frame， so as to eliminate the interference of the non?skin color background in the frame image. The face geometric features are introduced to constrain the potential face skin color region. The Camshift algorithm is used to perform face tracking in the end. The improved Adaboost algorithm is introduced to improve the performance of the algorithm. The experimental results show that the algorithm can obtain excellent tracking results of the specific face in the video frame， and has the advantages of strong real?time performance and stable tracking ability.

Keywords： face tracking; skin color segmentation; morphological operation; YCbCr space; geometric feature; Adaboost algorithm; Camshift

0 ?引 ?言

經(jīng)過多年的努力，人臉跟蹤技術(shù)已經(jīng)廣泛應(yīng)用于視頻監(jiān)控、人機(jī)交互、機(jī)器人控制等領(lǐng)域。近來，國內(nèi)外的很多學(xué)者在人臉跟蹤研究方面取得了一些成果。文獻(xiàn)[1]提出一種改進(jìn)的Camshift跟蹤算法——ERC（Environmental Robust Camshift）。該算法可以在強(qiáng)烈的光照變化、復(fù)雜背景和快速移動(dòng)下有效跟蹤人臉。文獻(xiàn)[2]提出將卡爾曼濾波器與Camshift算法結(jié)合進(jìn)行人臉跟蹤，以提高跟蹤速度。文獻(xiàn)[3]將多視角人臉檢測算法與Camshift算法結(jié)合，解決了復(fù)雜背景中人臉實(shí)時(shí)跟蹤的問題[3]。文獻(xiàn)[4]提出一種自適應(yīng)的多模式轉(zhuǎn)換的Camshift人臉跟蹤算法，實(shí)現(xiàn)了人臉跟蹤的穩(wěn)定性與準(zhǔn)確性。文獻(xiàn)[5]通過使用直方圖分塊加權(quán)對Camshift算法進(jìn)行改進(jìn)，一定程度增強(qiáng)了抗膚色干擾能力。文獻(xiàn)[6]將圖割理論與Camshift相結(jié)合，有效克服了跟蹤時(shí)其他膚色區(qū)域的干擾。

針對以上分析，本文提出一種基于膚色分割的改進(jìn)Camshift人臉跟蹤算法，首次實(shí)現(xiàn)了YCbCr顏色空間中的膚色分割[7]與Camshift人臉跟蹤算法的結(jié)合。經(jīng)過實(shí)驗(yàn)驗(yàn)證得知，對于視頻中絕大部分的視頻幀，本文算法均可以獲得出色的跟蹤結(jié)果。

1 ?YCbCr顏色空間膚色分割

YCbCr空間中，因?yàn)榱炼扰c色度信息沒有關(guān)聯(lián)，膚色聚類性好，計(jì)算較為簡單[8]，所以本文選擇在YCbCr空間中分割膚色。

膚色在Cb?Cr空間中的二維分布如圖1所示。

圖1 ?膚色在Cb?Cr空間的二維分布

從RGB顏色空間到Y(jié)CbCr顏色空間的轉(zhuǎn)換公式為：

[YCbCr=16128128+ ? 0.256 8 ? 0.504 1 ?0.097 9-0.148 2-0.291 0-0.439 2 ? 0.439 2-0.367 7-0.071 4RGB] ? ?（1）

由于不同的視頻中的背景及周圍環(huán)境的差異，在對不同視頻中的目標(biāo)人體進(jìn)行膚色分割時(shí)，需要先對Cb，Cr，Y進(jìn)行設(shè)置，取不同的參數(shù)。本文在對視頻seq_mb中的目標(biāo)人體進(jìn)行膚色分割時(shí)，需要將YCbCr空間中相應(yīng)的參數(shù)設(shè)為135

2 改進(jìn)的Adaboost算法

跟蹤開始時(shí)，為了自動(dòng)檢測目標(biāo)人臉以初始化搜索窗口，文中引入了改進(jìn)的Adaboost算法。對于傳統(tǒng)的Adaboost算法，有一些弱分類器的功能是近乎相同的。減少具有相似功能的弱分類器數(shù)量，就可以減少算法的處理時(shí)間，提高算法的性能[9]。

選用Q統(tǒng)計(jì)量法[10]求分類器間的關(guān)聯(lián)性。分類器hi將Nab個(gè)待檢測樣本分類為a，分類器hj將Nab個(gè)待檢測樣本分類為b，分類器hi和分類器hj之間的Q統(tǒng)計(jì)量[Qi，j]為：

[Qi，j=N11N00-N01N10N11N00+N01N10] ? ? ? （2）

當(dāng)a，b為0時(shí)，檢測錯(cuò)誤;a，b為1時(shí)，檢測正確。當(dāng)[0≤Q≤1]時(shí)，hi，hj的分類都是正確的;當(dāng)[-1≤Q<0]時(shí)，表明hi，hj的分類是錯(cuò)誤的。用Q的均值表示一個(gè)分類器集合中L個(gè)分類器的Q相關(guān)性，有：

[Qi，k=2L（L-1）i=1L-1k=l+1LQi，k] ? ? （3）

相關(guān)性判斷的步驟為：

1） 用Adaboost挑出每輪最好的弱分類器hi;

2） 用式（2）計(jì)算弱分類器hi與已挑出的弱分類器的關(guān)聯(lián)性Qi，1，Qi，2…（i>1）;

3） 利用式（3）計(jì)算全部分類器的關(guān)聯(lián)性[Q]，若[argmin Qi

4） 反復(fù)進(jìn)行，直至獲得所需要數(shù)量的弱分類器;

5） 組建強(qiáng)分類器，把多個(gè)強(qiáng)分類器級(jí)聯(lián)。

3 Camshift算法

Camshift（Continuously Adaptive Mean Shift）是由MeanShift算法優(yōu)化得到的。設(shè)I（x，y）為點(diǎn)（x，y）處的概率密度值，W為搜索窗的大小，則搜索窗的形心坐標(biāo)[（xc，yc）]可經(jīng)下式計(jì)算得到，即：

[xc=M10M00yc=M01M00] ? ?（4）

式中：[M00]為搜索窗中概率密度圖的零階矩;[M10，M01]分別為圖中點(diǎn)（x，y）處x和y的一階矩，且：

[M00=xyI（x，y）M10=xyxI（x，y）M01=xyyI（x，y）] ? ? （5）

點(diǎn)（x，y）處x和y在密度圖中的二階混合矩為：

[M11=xyxyI（x，y）M20=xyx2I（x，y）M02=xyy2I（x，y）] ? ? ? （6）

令：

[a=M20M00-x2cb=2（M11M00-xcyc）c=M02M00-y2c] ? ? ?（7）

則不斷更新的搜索窗口[W]的長度l和寬度w為：

[l=（a+c）+b2+（a-c）22w=（a+c）-b2+（a-c）22] ? ? ?（8）

人臉的偏轉(zhuǎn)角度θ為：

[θ=12arctanb（a-c）] ? ? ? ?（9）

Camshift算法的執(zhí)行步驟為：

1） 對人臉位置、搜索窗參數(shù)初始化;

2） 導(dǎo)入下一幀圖像，求其HSV圖像;

3） 計(jì)算搜索窗的顏色直方圖、概率分布圖;

4） 用式（5）查找形心，將搜索窗的中心調(diào)整到該形心處;

5） 重復(fù)步驟3）和步驟4），直到形心的移動(dòng)小于規(guī)定的閾值，即收斂時(shí)為止;

6） 由式（5）、式（9）計(jì)算新得到的形心，搜索窗大小。

4 基于膚色分割的改進(jìn)Camshift人臉跟蹤算法

為了解決視頻中周圍環(huán)境對Camshift算法跟蹤結(jié)果的影響，并考慮到膚色在YCbCr顏色空間中的聚類性要優(yōu)于在RGB顏色空間、HSV顏色空間中的聚類性，所以選擇在YCbCr顏色空間中進(jìn)行膚色分割的操作。此外，Camshift在對人臉跟蹤時(shí)，需要手動(dòng)選擇目標(biāo)人臉以初始化搜索窗口，比較麻煩，所以又引入改進(jìn)后的Adaboost算法，使搜索窗口的初始化自動(dòng)完成?；谀w色分割的改進(jìn)Camshift人臉跟蹤算法的流程見圖3。

5 實(shí)驗(yàn)結(jié)果分析

本文在Matlab 2014a中對改進(jìn)算法進(jìn)行仿真，并與Camshift算法進(jìn)行對比。測試中，選用了斯坦福大學(xué)的測試視頻序列seq_mb和新疆地區(qū)學(xué)生的自拍視頻。對seq_mb中的目標(biāo)人臉跟蹤的結(jié)果如圖4、圖5所示。圖4為Camshift算法對部分幀的跟蹤結(jié)果，圖5為本文算法對相應(yīng)幀的跟蹤結(jié)果。

圖3 ?改進(jìn)Camshift人臉跟蹤算法

圖4 ?Camshift算法對seq_mb部分幀跟蹤結(jié)果

圖5 ?本文算法對seq_mb部分幀跟蹤結(jié)果

從圖4中可以看出，將Camshift用于人臉跟蹤時(shí)，其跟蹤易受到目標(biāo)人臉附近背景中非臉部區(qū)域膚色的干擾，使得跟蹤效果不理想甚至跟蹤失敗。而從圖5中可以看出，通過相關(guān)參數(shù)的合理設(shè)置，本文算法避免了目標(biāo)人體其他非臉部區(qū)域膚色，周圍環(huán)境中類膚色物體及其他因素對跟蹤結(jié)果的干擾，確保了跟蹤結(jié)果的有效性和可靠性。

由表1可以看出，seq_mb測試視頻中本文算法的跟蹤成功率要大于Camshift算法，雖跟蹤速度較慢，但完全滿足實(shí)時(shí)跟蹤的要求。

本文通過分別求出每一視頻幀圖像中目標(biāo)人臉的形心坐標(biāo)、Camshift算法跟蹤框形心坐標(biāo)、本文算法跟蹤框形心坐標(biāo)，并把跟蹤失敗時(shí)的形心坐標(biāo)設(shè)為（0，0），然后得到每種形心坐標(biāo)的連線圖，如圖6所示。

圖7為Camshift算法對自拍視頻中部分幀的跟蹤結(jié)果， 圖8為本文算法對相應(yīng)幀的跟蹤結(jié)果。

圖6 ?seq_mb中兩種算法性能對比圖

圖7 ?Camshift算法跟蹤結(jié)果

從圖8中的實(shí)驗(yàn)結(jié)果也可以看出，本文算法在自拍視頻中的跟蹤效果也是要優(yōu)于傳統(tǒng)的Camshift算法，這也說明本文算法具有良好的適用性。表2列出了兩種算法的性能情況。由表2中的數(shù)據(jù)可知，本文算法的跟蹤成功率高，跟蹤速度雖慢卻仍可以保證跟蹤的實(shí)時(shí)性。在此使用與上文同樣的方法得到在對自拍視頻進(jìn)行實(shí)驗(yàn)時(shí)兩種算法的性能情況，如圖9所示。

通過以上兩組實(shí)驗(yàn)對本文算法的性能進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文算法對視頻中的目標(biāo)人臉的跟蹤性能是優(yōu)于傳統(tǒng)的Camshift算法的，保證了跟蹤性能的情況下還具有良好的實(shí)時(shí)性。

圖8 ?本文算法對自拍視頻部分幀跟蹤結(jié)果

圖9 ?自拍視頻中兩種算法性能對比圖

6 結(jié) ?語

本文提出基于膚色分割的改進(jìn)Camshift人臉跟蹤算法，首次實(shí)現(xiàn)了YCbCr顏色空間中的膚色分割與Camshift人臉跟蹤算法的結(jié)合。首先在YCbCr顏色空間中對人臉部分膚色區(qū)域進(jìn)行有效分割，然后再用Camshift進(jìn)行跟蹤。實(shí)驗(yàn)結(jié)果表明該算法具有實(shí)時(shí)性好、跟蹤穩(wěn)定的優(yōu)點(diǎn)。

參考文獻(xiàn)

[1] CONG D， SHI P， LI Y. ERC： an environmental robust Camshift face tracking algorithm [C]// Proceedings of 8th International Congress on Image and Signal Processing. Shenyang： IEEE， 2015： 23?29.

[2] RANGANATHA S， GOWRAMMA Y P. An integrated robust approach for fast face tracking in noisy real?world videos with visual constraints [C]// Proceedings of International Conference on Advances in Computing， Communications and Informatics. Udupi： IEEE， 2017： 772?776.

[3] WANG C， LIN W， ZHANG Q Y， et al. Design of face tracking system based on rotatable camera [C]// Proceedings of 12th International Conference on Signal Processing. Hangzhou： IEEE， 2014： 2360?2364.

[4] SHAN Y G， WANG J B， HAO F. Camshift head tracking based on adaptive multi?model switching [C]// Proceedings of 2nd Advanced Information Technology， Electronic and Automation Control Conference. Chongqing： IEEE， 2017： 2484?2488.

[5] 駱紹燁，劉麗桑.基于改進(jìn)Camshift的人臉跟蹤算法[J].延邊大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，43（2）：144?149.

LUO Shaoye， LIU Lisang. Face tracking algorithm based on improved Camshift [J]. Journal of Yanbian University （Natural science）， 2017， 43（2）： 144?149.

[6] 胡章芳，秦陽鴻.基于圖割理論的尺度自適應(yīng)人臉跟蹤算法[J].計(jì)算機(jī)應(yīng)用，2017，37（4）：1189?1192.

HU Zhangfang， QIN Yanghong. Scale?adaptive face tracking algorithm based on graph cuts theory [J]. Journal of computer applications， 2017， 37（4）： 1189?1192.

[7] RAHMAT R F， CHAIRUNNISA T， GUNAWAN D， et al. Skin color segmentation using multi?color space threshold [C]// Proceedings of 3rd International Conference on Computer and Information Sciences. Kuala Lumpur： IEEE， 2016： 391?396.

[8] 田原嫄，姚萌萌，潘敏凱，等.基于YCbCr膚色檢測與AdaBoost聯(lián)級(jí)算法的嘴部特征定位[J].計(jì)算機(jī)應(yīng)用研究，2017，34（3）：933?935.

TIAN Yuanyuan， YAO Mengmeng， PAN Minkai， et al. Human′s mouth location based on YCbCr complexion detection and AdaBoost cascade connection method [J]. Application research of computers， 2017， 34（3）： 933?935.

[9] 王建璽，李瑋瑤.基于改進(jìn)Adaboost算法的人臉檢測[J].微處理機(jī)，2015，36（5）：57?60.

WANG Jianxi， LI Weiyao. Face detection based on improved Adaboost algorithm [J]. Microprocessors， 2015， 36（5）： 57?60.

[10] KUNCHEVA L I， WHITAKER C J. Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy [J]. Machine learning， 2003， 51（2）： 181?207.

[11] DONG C， WANG X L， LIN T， et al. Face detection under particular environment based on skin color model and radial basis function network [C]// Proceedings of 5th International Conference on Big Data and Cloud Computing. Dalian： IEEE， 2015： 256?259.