結(jié)合PCA的TLD人臉跟蹤

伍靚++袁奕珊++陳姝

摘 要：目標(biāo)檢測(cè)通過(guò)樣本學(xué)習(xí)可以得到目標(biāo)有效視覺先驗(yàn)表示，在簡(jiǎn)單的跟蹤環(huán)境下能夠取得較好的跟蹤效果。目標(biāo)跟蹤利用目標(biāo)的在線信息，在復(fù)雜的背景下可以很好地跟蹤目標(biāo)。結(jié)合目標(biāo)檢測(cè)與目標(biāo)跟蹤的優(yōu)點(diǎn)，在TLD算法的基礎(chǔ)上提出一種基于PCA的在線人臉跟蹤算法。人臉圖像在首幀中手動(dòng)標(biāo)注，其他幀中綜合中值光流法跟蹤結(jié)果及PCA檢測(cè)結(jié)果進(jìn)行人臉跟蹤，并根據(jù)跟蹤結(jié)果在線更新PCA。實(shí)驗(yàn)結(jié)果表明，本文算法可以在光照變化、遮擋、復(fù)雜背景下進(jìn)行人臉長(zhǎng)序列跟蹤。

關(guān)鍵詞：在線學(xué)習(xí)；人臉跟蹤；目標(biāo)檢測(cè)；跟蹤模塊

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2015.12.006

人臉跟蹤研究對(duì)計(jì)算機(jī)視覺、模式識(shí)別等領(lǐng)域的發(fā)展具有重大的促進(jìn)作用，在智能監(jiān)控、公共安全、虛擬現(xiàn)實(shí)、人機(jī)交互等各個(gè)領(lǐng)域也有著廣泛的應(yīng)用。

經(jīng)過(guò)多年的發(fā)展，人臉檢測(cè)技術(shù)已經(jīng)取得了重大的突破。伴隨智能監(jiān)控、公共安全等應(yīng)用領(lǐng)域的發(fā)展需求，基于視頻的人臉識(shí)別已成為人臉識(shí)別領(lǐng)域熱門研究方向。TLD將傳統(tǒng)的跟蹤算法和傳統(tǒng)的檢測(cè)算法相結(jié)合，通過(guò)P-N在線學(xué)習(xí)機(jī)制建立目標(biāo)模型。但是由于其缺乏對(duì)人臉特征單獨(dú)的訓(xùn)練方法，在人臉跟蹤中會(huì)因?yàn)楸尘俺纱?、光照變化等因素影響跟蹤的?zhǔn)確性。

針對(duì)TLD的固有不足，本文結(jié)合PCA及TLD對(duì)視頻中的人臉進(jìn)行跟蹤。在TLD跟蹤框架下加入PCA檢測(cè)模塊能夠提高人臉跟蹤的準(zhǔn)確性，改進(jìn)的TLD跟蹤框架在人臉追蹤的過(guò)程中更加精確。

本文提出的基于視頻的人臉跟蹤系統(tǒng)包括人臉檢測(cè)模塊、人臉跟蹤模塊、跟蹤-檢測(cè)綜合三個(gè)部分，下面分別進(jìn)行詳細(xì)介紹。

1 人臉檢測(cè)

PCA（Principle Component Analysis）在人臉識(shí)別領(lǐng)域得到了廣泛的應(yīng)用，但其需要離線訓(xùn)練樣本，而不能滿足基于視頻的在線人臉跟蹤。在TLD跟蹤框架中，缺乏對(duì)人臉這一特定跟蹤目標(biāo)的單獨(dú)檢測(cè)方法，當(dāng)目標(biāo)人臉丟失視野后，在視點(diǎn)變化、光照變化強(qiáng)烈的情況下，則不能快速檢測(cè)到目標(biāo)人臉。本文在TLD跟蹤框架中加入了PCA人臉檢測(cè)模塊，有效地提高了TLD在人臉跟蹤過(guò)程中對(duì)人臉的檢測(cè)能力。

檢測(cè)器在ORL人臉數(shù)據(jù)庫(kù)上進(jìn)行離線訓(xùn)練初始化。在首幀對(duì)目標(biāo)手工標(biāo)注后，對(duì)目標(biāo)人臉進(jìn)行一系列仿射變化，然后加入到正樣本訓(xùn)練集X={x1，x2…xn}，其中，X為表示人臉的特征向量。訓(xùn)練樣本集的協(xié)方差矩陣定義為：

CA=（AAT）/n. （1）

式（1）中：A={φ1，φ2……φn}， ， ，

即平均人臉；n為訓(xùn)練樣本數(shù)。協(xié)方差矩陣CA為N×n矩陣，N為xi的維數(shù)。

由K-L變換原理可知，我們所求的新坐標(biāo)系由矩陣AAT的非零特征值所對(duì)應(yīng)的特征向量組成。直接求解N×n維矩陣CA的特征值和特征向量存在一定困難。根據(jù)奇異值分解原理，可以通過(guò)求解ATA的特征值和特征向量來(lái)獲得AAT的特征值和特征向量。在計(jì)算得到CA的所有非零特征值[λ1，λ2……λr]（從

———————————————————————————

大到小排序，1≤r≤N）及其對(duì)應(yīng)的單位正交向量[u1，u2……

ur]后，取令累積貢獻(xiàn)率 達(dá)到90%的前k個(gè)特征值及

其對(duì)應(yīng)的特征向量組成特征變換矩陣U=[u1，u2……uη]∈RN×η，則一張待檢測(cè)圖片X在新的特征空間下的投影系數(shù)為：

Y=UT×X. （2）

計(jì)算平均人臉 與待檢測(cè)圖片X的投影系數(shù)的距離d=

，當(dāng)其值小于閾值時(shí)，便判定為人臉。

2 人臉跟蹤

光流是一種簡(jiǎn)單實(shí)用的圖像運(yùn)動(dòng)的表達(dá)方式，其運(yùn)動(dòng)可以由光流法獲得。本文采取基于L-K光流計(jì)算的中值光流法對(duì)目標(biāo)進(jìn)行跟蹤。

圖1為目標(biāo)區(qū)域光流特征采樣圖。如圖所示，在上一幀跟蹤的目標(biāo)區(qū)域內(nèi)均勻采樣10×10個(gè)特征點(diǎn)。采用光流法對(duì)t時(shí)刻圖像It中的特征點(diǎn)xt跟蹤到t+k時(shí)刻圖像It+k中的位置xt+k，然后反向跟蹤，即再采用光流法從xt+k特征點(diǎn)往回反向跟蹤至?xí)r刻t圖像It中的位置 。定義反向跟蹤誤差為：

. （3）

計(jì)算每個(gè)特征點(diǎn)的FB-Error，得到所有特征點(diǎn)的FB-Error均值EFB-Error，并過(guò)濾掉大于EFB-Error的特征點(diǎn)。

在上述保留的特征點(diǎn)基礎(chǔ)上，在每個(gè)特征點(diǎn)周圍取大小為10×10個(gè)像素的圖像塊，將該圖像塊與該特征點(diǎn)在上一幀中所取的圖像塊進(jìn)行模版匹配，計(jì)算相似度Sim。由所有特征點(diǎn)的相似度計(jì)算均值ESim，并過(guò)濾掉大于ESim的特征點(diǎn)。通過(guò)以上兩步驟過(guò)濾法，最終得到了具有良好跟蹤效果的特征點(diǎn)，并通過(guò)這些特征點(diǎn)，預(yù)測(cè)下一幀圖片目標(biāo)所在位置。

目標(biāo)區(qū)域內(nèi)均勻采樣10×10個(gè)特征點(diǎn)（白色），通過(guò)計(jì)算FB-Error和Sim舍棄追蹤效果差的點(diǎn)，保留效果好的特征點(diǎn)并預(yù)測(cè)下一幀圖片該特征點(diǎn)的位置，如圖1中綠點(diǎn)所示。

3 結(jié)合檢測(cè)與跟蹤

在跟蹤模塊下，假設(shè)目標(biāo)在幀與幀之間的位移有限，并且目標(biāo)沒有消失，跟蹤器根據(jù)中值光流法預(yù)計(jì)出目標(biāo)在兩幀之間的運(yùn)動(dòng)。在檢測(cè)模塊下，檢測(cè)器認(rèn)為每一幀圖片是獨(dú)立的，并通過(guò)檢測(cè)窗口來(lái)定位目標(biāo)。跟蹤結(jié)果和檢測(cè)結(jié)果通過(guò)P-N學(xué)習(xí)在線建立目標(biāo)模型。

3.1 目標(biāo)模型更新

利用P-N在線學(xué)習(xí)方法來(lái)構(gòu)造目標(biāo)模型，目標(biāo)模型由經(jīng)過(guò)歸一化的圖像塊組成的集合 表示，其中， 為第一個(gè)被添加的目標(biāo)圖像塊， 為第一個(gè)被添加的背景圖像塊。定義兩圖像塊pi和pj之間的相似度為：

S（pi，pj）=0.5[NCC（pi，pj）+1]. （4）

式（4）中：NCC為歸一化互相關(guān)系數(shù)。

對(duì)于任意待檢測(cè)圖像p，我們定義其與目標(biāo)模型L的相似度如下：

最鄰近正樣本相似度： .

最鄰近負(fù)樣本相似度： .

相關(guān)相似度： .（Sr值越大，表示圖像塊越有

可能為目標(biāo)）

保守相似度： .

對(duì)于任意一個(gè)圖像塊p，如果Sr（p，L）>θNN，則被分類為正樣例；否則被分為負(fù)樣本。其中，θNN在實(shí)驗(yàn)中設(shè)置為0.6.

3.2 跟蹤器更新

由于檢測(cè)器檢測(cè)到的目標(biāo)較多，先根據(jù)重疊度對(duì)檢測(cè)到的

目標(biāo)圖像塊進(jìn)行聚類，得到檢測(cè)集合 ，其中

之間重疊度小于0.5（重疊度的值等于兩圖像塊交集與并

集的比）。

比較跟蹤器跟蹤到的圖像塊pt與檢測(cè)器檢測(cè)到結(jié)果經(jīng)過(guò)聚類后的圖像塊pd之間的重疊度，如果重疊度小于0.5且 的相似度大于跟蹤器的相關(guān)相似度，且滿足條件的pd個(gè)數(shù)為1，則采用滿足條件的pd去糾正跟蹤器；如果滿足條件的pd的個(gè)數(shù)大于1，則取與pt重疊度大于0.7的所有pd的并集去糾正跟蹤器。如果沒有滿足條件的pd，則求pt重疊度最大的pd和pt的坐標(biāo)和大小，其中，pt權(quán)重較大。如果跟蹤器丟失目標(biāo)，但是檢測(cè)器檢測(cè)到一些目標(biāo)圖像塊p，則對(duì)其進(jìn)行聚類，并以 重新初始化跟蹤器。

3.3 檢測(cè)器更新

在上一幀成功檢測(cè)到的目標(biāo)人臉的基礎(chǔ)上，我們?cè)诰嚯x目標(biāo)框最近的掃描窗口內(nèi)選擇10個(gè)檢測(cè)窗口bounding box，在每個(gè)bounding box內(nèi)部利用幾何變換，進(jìn)行±1%范圍的偏移，±1%范圍的尺度變化，±10°的平面內(nèi)旋轉(zhuǎn)操作。在偏移、尺度、旋轉(zhuǎn)指定范圍內(nèi)隨機(jī)取值變化20次。10個(gè)初始bounding box就生成了200個(gè)仿射變化的bounding box，將這些bounding box作為正樣本訓(xùn)練檢測(cè)器。

圖2 目標(biāo)模型構(gòu)造示意圖

如圖2所示，系統(tǒng)框架采用跟蹤與檢測(cè)相結(jié)合的方式，通過(guò)P-N在線學(xué)習(xí)機(jī)制構(gòu)造目標(biāo)模型。積分器整合跟蹤窗口與檢測(cè)窗口，并輸出保守相似度最大的窗口。

4 實(shí)驗(yàn)測(cè)試及效果分析

本文共在4個(gè)人臉視頻序列與TLD、MIL、FT算法進(jìn)行了比較實(shí)驗(yàn)，其包含了人臉跟蹤中所要解決的光照變化、目標(biāo)形變、遮擋、尺度變化等問題。

實(shí)驗(yàn)比較效果如圖3所示，在視頻序列David中光照變化很劇烈，目標(biāo)外觀改變較大（目標(biāo)在第596幀摘下眼鏡），MIT算法采取多樣例的學(xué)習(xí)方法，能夠提取目標(biāo)模型的典型特征，因此其在該視頻中表現(xiàn)最好。本文采用中值光流法結(jié)合經(jīng)過(guò)離線訓(xùn)練的PCA人臉檢測(cè)器的方法，在該視頻跟蹤過(guò)程中沒有產(chǎn)生跟蹤漂移，也能夠穩(wěn)定地對(duì)目標(biāo)進(jìn)行跟蹤。在視頻序列face中，目標(biāo)遭遇遮擋，中值光流法中的特征點(diǎn)篩選跟蹤策略有效地解決了目標(biāo)部分遮擋問題，而FT算法通過(guò)對(duì)模型的碎片化處理，在遮擋情況下的表現(xiàn)最好。但是，F(xiàn)T算法受目標(biāo)的形變影響最大，而本文采用的PCA檢測(cè)器結(jié)合P-N在線學(xué)習(xí)方法建立的目標(biāo)模型，有效適應(yīng)了目標(biāo)的外觀變化，能夠很好地解決視頻序列ssm7、dudek目標(biāo)形變、尺度變化問題。

（a）David（第163，499，730幀）

（b）dudek（第103，369，829幀）

（c）ssm7（第6，83，163幀）

（d）face（第22，91，291幀）

注：藍(lán)色實(shí)線框?yàn)楸疚乃惴?，紅色虛線框?yàn)镕T，綠色虛線框?yàn)門LD，黃色虛線框?yàn)镸IL

圖3 實(shí)驗(yàn)視頻跟蹤效果截圖

參考文獻(xiàn)

[1]Chellappa R，Wilson C，Sirohey S.Human and machine recognition of faces[J].A survey.Proceedings of the IEEE，1995（5）.

[2]D.Ross，J.Lim，R.Lin，et al.Incremental Learning for Robust Visual Tracking[J].International Journal of Computer Vision，2007（77）.

[3]D.Comaniciu，V.Ramesh，P.Meer.Kernel-Based Object Tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003（5）.

[4]Z.denek Kalal，K Mikolajczyk，J Matas.P-N Learning：Bootstrapping Binary Classfiers by Structural Constraints[J].CVPR，2010（6）.

[5]Z.denek Kalal，K Mikolajczyk，J Matas.Tracking Learning Detection[J].PAMI，2010（1）.

[6]B.D.Lucas，T. Kanade.An iterative image registration technique with an application to stereo vision[J]. IJCAI，1981（81）.

〔編輯：王霞〕

文章編號(hào)：2095-6835（2015）12-0008-02