人臉檢測與跟蹤系統(tǒng)的設計

王迺琳，劉瑞安，張咪咪

（天津師范大學 物理與電子信息學院，天津 300387）

人臉檢測與跟蹤系統(tǒng)的設計

王迺琳，劉瑞安，張咪咪

（天津師范大學 物理與電子信息學院，天津 300387）

基于Adaboost人臉檢測原理，結(jié)合Windows下的Visual C＋＋編程，設計了人臉檢測系統(tǒng).通過MIT人臉庫和自建人臉庫結(jié)合的方法，且對該人臉庫進行有效的訓練，實現(xiàn)人臉檢測功能，提高了檢測率和檢測速度.利用連續(xù)自適應均值移動算法（Continuously Adaptive Mean Shift，Camshift）對人臉進行跟蹤，并對Camshift算法進行改進，利用Adaboost人臉檢測初始化模板的方法，將檢測與跟蹤結(jié)合起來，有效提高了人臉跟蹤效率.

人臉檢測；人臉跟蹤；Adaboost算法；Camshift算法

人臉檢測和跟蹤是模式識別與計算機視覺研究領域重要的研究課題，在自動人臉識別、視頻會議、智能視頻監(jiān)控、高級人機交互和醫(yī)療診斷等多個領域具有重要的應用價值.目前，國內(nèi)外比較成功的跟蹤方法有：1997年Crowley J L等人［1］結(jié)合人眼檢測模型、膚色模型和相關匹配方法實現(xiàn)了人臉實時跟蹤；梁路宏［2］等提出了一種基于雙眼模板匹配與人工神經(jīng)網(wǎng)的人臉跟蹤算法；佘九華等［3］利用Adaboost人臉檢測算法并結(jié)合Camshift算法改進了顏色直方圖模型；王亮亮等［4］利用Adaboost算法進行快速人臉檢測，通過Canny濾波獲取精確的人臉區(qū)域，建立膚色直方圖模型，并在Camshift算法的基礎上運用人臉形態(tài)約束，通過Kalman濾波進行實時人臉跟蹤.

人臉檢測與跟蹤系統(tǒng)由人臉檢測系統(tǒng)和跟蹤系統(tǒng)2部分組成，本研究基于Adaboost檢測原理，對訓練系統(tǒng)進行改進，設計了人臉檢測系統(tǒng).由于MIT人臉庫的樣本為灰度圖像，且分辨率比較低，可能會影響訓練的效果.因此，本研究自建了人臉樣本庫，樣本選取數(shù)目更多，包含了正臉、側(cè)臉、復雜背景以及多個大小不同的人臉，采用更大的樣本庫且選取了2倍于人臉樣本數(shù)目的非人臉樣本來進行Adaboost訓練.同時，使用新的分類器進行檢測，可實現(xiàn)多姿態(tài)的人臉檢測，提高了檢測率和檢測速度.引入Adaboost人臉檢測算法實現(xiàn)人臉的自動初始化，將檢測與跟蹤結(jié)合起來，提高了跟蹤效率.利用人臉檢測訓練所得到的更有效的分類器特征進行檢測，檢測結(jié)果更準確，將其作為跟蹤的初始窗口，基于Camshift算法進行跟蹤.本系統(tǒng)的開發(fā)平臺是Visual C＋＋6.0，采用VC＋＋6.0調(diào)用OpenCV［5］，主要是利用OpenCV提供的接口實現(xiàn)并優(yōu)化了人臉檢測與跟蹤的功能.

1 Adaboost算法

Adaboost算法是一種分類器算法，算法的核心思想是從一個很大的特征集中選擇很小的一部分關鍵視覺特征，從而產(chǎn)生一個極其有效的分類器.它通過一定的方法將大量分類能力一般的簡單分類器疊加起來，構(gòu)成一個分類能力很強的強分類器，再將若干個強分類器串聯(lián)成為級聯(lián)分類器完成圖像搜索檢測.對于每一種特征而言，弱學習器決定弱分類器的最佳門限值，使其具有最小的誤分樣本數(shù)，全部檢測過程的形式是一個退化的決策樹.

（3）選擇具有最小誤差εt的簡單分類器h t加入到強分類器中.

（4）更新每個樣本所對應的權重和該輪分類器的權值.權值更新后，第t輪循環(huán)結(jié)束，進入下一輪循環(huán).

通過線性加權疊加，形成級聯(lián)強分類器.遵循“先重后輕”的級聯(lián)分類器思想，將由重要特征構(gòu)成的結(jié)構(gòu)較簡單的強分類器放在前面，這樣可以先排除大量的非人臉樣本，從而提高檢測速度.圖1給出了Adaboost人臉檢測算法進行訓練和檢測的流程圖.

圖1 Adaboost訓練檢測過程Figure 1 Adaboost training test process

2 Camshift算法

Camshift［6－8］算法流程如圖2所示.

圖2 Camshift算法流程Figure 2 Camshift algorithm flow chart

首先選擇初始搜索窗口，使窗口恰好包含整個跟蹤目標，然后對窗口中每個像素的H通道上的值采樣，從而得到目標的色調(diào)直方圖，將該直方圖保存下來作為目標的顏色直方圖.在跟蹤過程中，對視頻圖像處理區(qū)域的每一個像素，通過查詢目標的顏色直方圖模型可以得到該像素為目標像素的概率，圖像處理區(qū)域之外的其他區(qū)域作為概率為0的區(qū)域.經(jīng)上述處理，視頻圖像轉(zhuǎn)換為目標顏色概率分布圖，也稱為目標顏色投影圖.為便于顯示，將投影圖轉(zhuǎn)化為8位的灰度投影圖，概率為1的像素值設為255，概率為0的像素值為0，其他像素也轉(zhuǎn)換為相應的灰度值.

Camshift算法的具體運算步驟如下：

第1步：在顏色概率分布圖中初始化一個搜索窗口W，其大小為S.

第2步：利用Mean Shift算法使搜索窗口“收斂”.

第3步：重新設置搜索窗口的大小S并計算跟蹤目標的輸出參數(shù).

第4步：跳轉(zhuǎn)到第2步進入下一幀的循環(huán).

對于人臉跟蹤系統(tǒng)，選擇橢圓模型可以很好地近似人臉，在輸出跟蹤人臉的參數(shù)時，以橢圓模型的形式描述跟蹤結(jié)果.橢圓模型參數(shù)包括橢圓的長軸、短軸和方向角（長軸與水平方向夾角）.通過計算搜索窗口的二階矩，可以得到被跟蹤目標的長軸、短軸和方向角.

根據(jù)上述步驟計算的結(jié)果為輸出每一幀圖像中最優(yōu)匹配目標的中心和橢圓參數(shù)，在輸出的視頻序列圖像中描繪出該區(qū)域，從而形成對目標的連續(xù)跟蹤.

3 人臉檢測系統(tǒng)的實現(xiàn)

基于Adaboost的人臉檢測系統(tǒng)主要包含2個模塊：訓練部分和檢測部分，其中訓練過程起著決定性的作用.

3.1 訓練部分

在Adaboost訓練之前，需要準備樣本，包括正樣本和負樣本，本研究中即為人臉圖片和非人臉圖片.一般來說，一個標準的人臉樣本至少應該是一幅包含有一個人臉角度偏轉(zhuǎn)角度不大的全人臉圖片［5］.

實驗中用到的標準人臉庫是MIT－CBCL的人臉庫，此人臉樣本庫包括2 429個人臉樣本，4 548個非人臉樣本，圖像格式為pgm，分辨率為19×19.除此之外，還用到了自建人臉庫中的圖片.圖3為部分正人臉樣本，正樣本具有多樣化特征，存在有胡須、戴眼鏡、頭發(fā)遮擋、表情各異等多種情況.圖4是部分負樣本圖像，圖像出自自然和人為的各種環(huán)境，具有較強的代表性［6］.

圖3 部分正人臉樣本Figure 3 Part of face samples

圖4 部分負樣本圖像Figure 4 Part of negative samples

訓練時使用的是Windows系統(tǒng)下兼容性較好的JPG圖像格式，所以需要把pgm圖像轉(zhuǎn)化為JPG圖像.轉(zhuǎn)化完成以后，由于人臉樣本寬度較小，不利于正樣本打包處理，本研究再將19×19的JPG圖像轉(zhuǎn)化為40×40的JPG圖像.樣本制備成功以后，需要生成樣本描述文件.樣本描述文件是在訓練過程開始之前，把樣本的列表生成一個文件保存起來，以備訓練時調(diào)用.一般情況下，正樣本的樣本描述文件中記錄了樣本圖片的文件名和樣本的選擇區(qū)域，負樣本的樣本描述文件只是文件名列表.正樣本和負樣本的列表描述文件均為txt格式.

MIT人臉庫的樣本為灰度圖像，且分辨率較低，可能會影響訓練的效果.本研究自建了人臉樣本庫，自建人臉庫包括：個人收集的部分生活照和網(wǎng)上搜索得到的部分明星圖片，利用iSee圖片專家從圖片中進行人臉區(qū)域的選取.自建的人臉樣本需要手動添加到正樣本文件列表中，得到融合的樣本列表文件之后，對正樣本進行打包，得到Vec.vec文件.Adaboost訓練之前還需要初始化大量的參數(shù)，包括4類：與樣本相關的參數(shù)、與特征相關的參數(shù)、與訓練類型相關的參數(shù)和與控制相關的參數(shù).至此，訓練的全部準備工作已經(jīng)完成.

樣本的訓練過程是按照Adaboost算法選擇弱分類器，形成強分類器，再由強分類器級聯(lián)成為1個有效的分類器.訓練程序在后臺執(zhí)行訓練操作，訓練流程圖如圖5所示.

圖5 訓練程序流程圖Figure 5 Training flow chart

3.2 檢測部分

檢測部分是根據(jù)訓練所得到的分類器特征（一般存儲為xml文件）對輸入圖片進行檢測，檢測結(jié)果是圖像中目標所在的位置.人臉檢測的過程如圖6所示.

圖6 人臉檢測流程圖Figure 6 Face detection flow chart

4 人臉跟蹤系統(tǒng)的實現(xiàn)

傳統(tǒng)的Camshift算法一般采用手動選取初始化模板的方法，缺點是需要人員參與，在無人情況下，無法做到人臉跟蹤.如需在無人情況下初始化跟蹤模板，則需要人臉檢測參與進來［8］.

本研究結(jié)合Adaboost與Camshift算法設計的人臉跟蹤系統(tǒng)根據(jù)人臉檢測訓練所得到的更有效的分類器特征（一般存儲為xml文件）進行檢測，檢測結(jié)果作為跟蹤的初始窗口，計算顏色直方圖，得到各種顏色的概率分布，并記錄這時人臉區(qū)域的面積為S.然后連續(xù)從視頻流中抓取下一幀圖像，用Camshift算法進行跟蹤.在每次跟蹤時，判斷跟蹤目標區(qū)域面積是否大于S／3且小于5S／3，如果在此范圍內(nèi)，則繼續(xù)跟蹤；如果不在，則采用Adaboost檢測人臉，再作為人臉跟蹤的初始窗口，依次迭代，從而實現(xiàn)人臉的自動跟蹤.

5 測試結(jié)果

5.1 人臉檢測

使用標準的人臉檢測測試圖片Lena為樣本，測試不同參數(shù)下的準確率與耗時情況.測試過程中，主要更改了測試樣本的大小、搜索窗口的比例系數(shù)和檢測目標的相鄰矩形的最小個數(shù).為了避免結(jié)果的隨機性，本測試采用多次（10次）檢測求平均值的辦法.檢測結(jié)果如圖7所示，檢測結(jié)果比較如表1所示.

圖7 人臉檢測結(jié)果Figure 7 Face detecting result

表1 不同參數(shù)的檢測結(jié)果比較Table 1 Results comparing of different parameters

本研究還進行了不同人臉檢測算法的性能測試，包括主成分分析（Principle Component Analy－sis，PCA）算法、人工神經(jīng)網(wǎng)絡（Artrficial Neural ANetwork，ANN）算法和支持向量機（Support Vector Machines，SVM）算法.為了對人臉檢測能力進行分析，采用大量的靜態(tài)圖片進行測試.圖像來源包括CMU測試集、ORL測試集和從互聯(lián)網(wǎng)下載等，包含各種環(huán)境和背景、不同尺寸、不同角度的多人臉圖像.用這樣一組同樣的圖片測試，并對比Adaboost檢測算法和本研究所采用的方法.測試圖片共540張，包含722個人臉，檢測結(jié)果如表2所示.

表2 不同人臉檢測算法測試結(jié)果Table 2 Detecting results of different algorithms

實驗表明，使用新的分類器檢測人臉，在檢測率上優(yōu)于其他算法，并且縮短了檢測時間，說明本研究所采用的方法具有更好的應用性和推廣性，可將其應用在人臉跟蹤系統(tǒng)上，使初始化模板更加準確.

5.2 人臉跟蹤

引進了Adaboost人臉檢測的方法初始化跟蹤模板.在實際的檢測過程中，首先檢測到了人臉的區(qū)域，并且把它確定為跟蹤模板.自動初始化界面如圖8所示.

圖8 自動初始化的界面Figure 8 Auto initialization interface

得到跟蹤模板后，Camshift跟蹤開始，圖9為自動初始化后的跟蹤人臉效果圖.

圖9 自動初始化后的跟蹤人臉效果圖Figure 9 Rendering of face tracking

6 結(jié)論

本研究在Windows環(huán)境下，通過Visual C＋＋編程，實現(xiàn)了Adaboost人臉檢測功能和Camshift人臉跟蹤功能.系統(tǒng)通過MIT人臉庫和自建人臉庫結(jié)合的方法，對該人臉庫進行了有效訓練，實驗證明該系統(tǒng)在檢測率和檢測速度上均有一定的提高.大量的檢測實驗證明：做為檢測對象的樣本越復雜（樣本包含了正臉、側(cè)臉、復雜背景以及多個大小不同的人臉），圖片參數(shù)的設置對檢測結(jié)果起到越大的影響.同時，提出一種新的人臉跟蹤優(yōu)化算法，該算法利用Adaboost人臉檢測初始化模板的方法，實現(xiàn)了人臉跟蹤功能.

［1］ Crowley J L，Berard F.Multi－modal tracking of faces for video communications［J］.Computer Vision and Pattem Recognition，1997：640－645.

［2］ 梁路宏，艾海舟.基于人臉檢測的人臉跟蹤算法［J］.計算機工程與應用，2001，17：42－45.

［3］ 佘九華，王敬東，李鵬.基于Camshift的人臉跟蹤算法［J］.計算機技術與發(fā)展，2008，18（9）：12－15.

［4］ 王亮亮，孫即祥，譚志國.基于人臉檢測和CAMSHIFT算法的人臉跟蹤系統(tǒng)［J］.微計算機應用，2008，29（2）：14－17.

［5］ 賈小軍，喻擎蒼.基于開源計算機視覺庫OpenCV的圖像處理［J］.計算機應用與軟件，2008，25（4）：276－278.

［6］ Schmidt A，Kasiński A.The performance of the haar cascade classifiers applied to the face and eyes detection［J］.Advances in Soft Computing，2007，45：816－823.

［7］ 李大湘，彭進業(yè)，鄧楠.基于多模型及SVM的單人臉跟蹤系統(tǒng)［J］.微計算機應用，2006，27（3）：181－184.

［8］ 邢昕，汪孔橋，沈蘭蓀.基于器官跟蹤的人臉實時跟蹤方法［J］.電子學報，2000，28（6）：29－31.

Design of face detection and tracking system

WANGNailin，LIURuian，ZHANGMimi

（College of Physics and Electronic Information，Tianjin Normal University，Tianjin 300387，China）

Based on the face detection theory of Adaboost，incorporating with the program of Visual C＋＋in Windows，a face detection system is designed.This system realizes the function of face detection and increases detection rate and speed by the combination of MIT face database and self－created face database，and the effective training of face database.Utilizing continuously adaptive mean shift（Camshift）algorithm to track the face，the Camshift algorithm is improved.Utilizing the method of initialization template of Adaboost face detection，the detection is combined with tracking to increase the face tracking efficiency.

face detection；face tracking；Adaboost algorithm；Camshift algorithm

TP391.41

A

1671－1114（2011）01－0045－05

2010－05－18

天津自然科學基金（09JCYBJC00100）；濱海新區(qū)科技特派員科技專項（SB20080079）；天津師范大學博士基金（52LX32）

王迺林（1984—），女，碩士研究生.

劉瑞安（1966—），男，教授，主要從事檢測技術方面的研究.

（責任編校 紀翠榮）