引入視覺(jué)顯著性的多特征融合跟蹤*

佟 威，和 簫+，盧 英,2

1.西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055

2.西安建筑科技大學(xué) 建筑學(xué)院，西安 710055

引入視覺(jué)顯著性的多特征融合跟蹤*

佟 威1，和 簫1+，盧 英1,2

1.西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055

2.西安建筑科技大學(xué) 建筑學(xué)院，西安 710055

針對(duì)大多數(shù)目標(biāo)跟蹤算法采用單一特征描述目標(biāo)，在背景區(qū)域出現(xiàn)相似的干擾特征時(shí)跟蹤精確度較低的問(wèn)題，提出了一種引入視覺(jué)顯著性的多特征融合的目標(biāo)跟蹤算法。首先，采用視覺(jué)顯著性機(jī)制處理顏色直方圖得到顯著性特征，再使用混合特征策略融合顯著性特征和BRISK（binary robust invariant scalable keypoints）特征，獲取目標(biāo)前景和背景模型；其次，運(yùn)用雙向光流檢測(cè)和誤差度量提取動(dòng)態(tài)特征，并使用自適應(yīng)搜索機(jī)制提取候選目標(biāo)區(qū)域的靜態(tài)特征，融合動(dòng)態(tài)特征和靜態(tài)特征；最后，根據(jù)匹配算法估算目標(biāo)跟蹤框的自適應(yīng)尺度及中心，確定目標(biāo)在當(dāng)前幀圖像中所處的位置。實(shí)驗(yàn)結(jié)果表明，該算法能夠處理強(qiáng)烈光照變化、目標(biāo)尺度變化、快速運(yùn)動(dòng)及部分遮擋等情況下的目標(biāo)跟蹤問(wèn)題，并實(shí)時(shí)穩(wěn)定地獲得單目標(biāo)跟蹤結(jié)果。

視覺(jué)顯著性；BRISK特征；多特征融合；一致性匹配聚類

1 引言

目標(biāo)跟蹤是指在視頻或者圖像序列中確定跟蹤目標(biāo)所處的位置[1]。作為計(jì)算機(jī)視覺(jué)研究領(lǐng)域中重要的課題之一，目標(biāo)跟蹤在現(xiàn)實(shí)生活中的應(yīng)用范圍非常廣泛，諸如人機(jī)交互、智能交通控制、無(wú)人駕駛、視頻監(jiān)控和虛擬現(xiàn)實(shí)等[2]。隨著目標(biāo)跟蹤方法的發(fā)展，當(dāng)前多數(shù)算法能很好地解決簡(jiǎn)單背景下帶慢速運(yùn)動(dòng)和輕微遮擋下的目標(biāo)跟蹤問(wèn)題[3]。然而，復(fù)雜環(huán)境下由于多方面因素的影響，如部分遮擋、光線變化、圖像噪點(diǎn)、快速或突然中斷移動(dòng)、物體形狀變化（人體姿態(tài)變化）和背景雜亂等[1]，使得目標(biāo)跟蹤問(wèn)題變得很復(fù)雜，提出一種適用于復(fù)雜環(huán)境的具有魯棒性的實(shí)時(shí)跟蹤算法仍然是一個(gè)艱巨的挑戰(zhàn)。

目標(biāo)跟蹤常用的幾種特征有灰度、顏色、紋理、角點(diǎn)、邊緣、梯度等。在環(huán)境條件復(fù)雜的情況下，這些特征很容易受到其他因素的干擾，給跟蹤帶來(lái)很大的影響，為此人們提出了多種特征融合的思路來(lái)提高跟蹤的魯棒性[4]。

基于多特征融合的跟蹤更是近年來(lái)研究的熱點(diǎn)，它考慮目標(biāo)多方面的信息，可以使得跟蹤更魯棒更穩(wěn)定[5]。王歡等人[6]將目標(biāo)的顏色、紋理、邊緣、運(yùn)動(dòng)特征統(tǒng)一使用直方圖進(jìn)行描述，計(jì)算融合權(quán)系數(shù)，將4種特征進(jìn)行加權(quán)融合來(lái)描述目標(biāo)。顧鑫等人[7]提出一種基于特征不確定性的自適應(yīng)融合策略，將顏色特征和邊緣特征相融合，結(jié)合粒子濾波實(shí)現(xiàn)目標(biāo)跟蹤。閆河等人[8]提出在粒子濾波跟蹤框架下，將局部二值模式紋理特征和顏色特征依據(jù)權(quán)值大小進(jìn)行線性融合的跟蹤算法。

雖然從理論上采用多特征融合會(huì)提升跟蹤精度，但是選擇過(guò)多的特征會(huì)降低跟蹤的時(shí)效性。同時(shí)，全局特征和局部特征相結(jié)合能夠有效提高識(shí)別率[8]。全局特征中的顏色特征對(duì)姿態(tài)和旋轉(zhuǎn)不敏感，而且選取方便，計(jì)算簡(jiǎn)單，被廣泛用于目標(biāo)跟蹤[9]。局部特征中典型的二進(jìn)制魯棒不變尺度關(guān)鍵點(diǎn)（binary robust invariant scalable keypoints，BRISK）特征[10]具備旋轉(zhuǎn)不變性、尺度不變性及對(duì)噪聲的魯棒性，相較于SIFT（scale-invariant feature transform）[11]和SURF（speedup robust feature）[12]，具有計(jì)算量小，速度快的優(yōu)點(diǎn)。因此，本文采用顏色特征和BRISK特征。

此外，視覺(jué)注意是人類視覺(jué)系統(tǒng)所具有的一種基于場(chǎng)景圖像的顯著性和基于對(duì)場(chǎng)景、目標(biāo)及其相互關(guān)系的知識(shí)選擇、過(guò)濾視覺(jué)信息的過(guò)程[13]。利用視覺(jué)注意機(jī)制對(duì)輸入的大量視覺(jué)信息進(jìn)行處理，提取有用的視覺(jué)顯著性特征提供給視覺(jué)目標(biāo)跟蹤算法，可以降低信息處理的計(jì)算量，提高處理效率[14]。由于視覺(jué)注意機(jī)制在跟蹤過(guò)程中所起到的重要作用，以及近年來(lái)視覺(jué)注意計(jì)算模型取得的進(jìn)展，學(xué)者們[13-15]對(duì)采用視覺(jué)注意的跟蹤方法進(jìn)行了大量研究[16]。

區(qū)別于文獻(xiàn)[6-8,17]中慣有的做法，本文不是直接對(duì)描述顏色特征、梯度特征、紋理特征等的直方圖采用乘性融合策略、加性融合策略或者兩者的自適應(yīng)混合[7]來(lái)描述目標(biāo)，而是引進(jìn)了一種顯著性機(jī)制，基于顯著性機(jī)制處理顏色直方圖獲得視覺(jué)顯著性特征，繼而再根據(jù)提出的混合特征策略融合顯著性特征和BRISK特征，得到目標(biāo)的表觀模型。

本文算法增加了用于描述目標(biāo)的特征的多樣性，提高了匹配結(jié)果的全局最優(yōu)，抑制了局部特征點(diǎn)匹配產(chǎn)生的漂移現(xiàn)象，能夠在復(fù)雜環(huán)境下實(shí)時(shí)穩(wěn)定地完成目標(biāo)跟蹤。本文算法的主要貢獻(xiàn)在于：（1）提取圖像顏色特征時(shí)得到表征圖像的顏色直方圖，同時(shí)采用貝葉斯分類器處理顏色特征獲得視覺(jué)顯著性特征，再對(duì)目標(biāo)BRISK特征點(diǎn)，結(jié)合顯著性特征，使用混合特征策略去除適應(yīng)度差的目標(biāo)BRISK特征點(diǎn)，并抑制干擾性高的背景特征點(diǎn)，得到具有較高穩(wěn)定性和抗干擾能力的目標(biāo)模型。（2）采用雙向光流檢測(cè)和誤差度量提取動(dòng)態(tài)特征，并通過(guò)自適應(yīng)搜索機(jī)制提取候選目標(biāo)區(qū)域的靜態(tài)特征，利用全局匹配融合動(dòng)態(tài)特征和靜態(tài)特征得到融合點(diǎn)，進(jìn)而估計(jì)目標(biāo)跟蹤框的自適應(yīng)尺度。（3）計(jì)算匹配特征點(diǎn)對(duì)間的相異度，使用分層聚合聚類（hierarchical agglomerative clustering，HAC）[18]劃分內(nèi)點(diǎn)和外點(diǎn)，并利用最大的一類內(nèi)點(diǎn)集來(lái)估計(jì)目標(biāo)跟蹤框的中心。（4）利用局部匹配點(diǎn)結(jié)合內(nèi)點(diǎn)更新當(dāng)前幀有效的目標(biāo)特征點(diǎn)，便于下一幀更準(zhǔn)確地提取動(dòng)態(tài)特征。

2 提取目標(biāo)特征

當(dāng)環(huán)境較為復(fù)雜且背景區(qū)域中存在與目標(biāo)相似的特征時(shí)，在視頻序列中對(duì)單目標(biāo)進(jìn)行跟蹤，容易受到相似區(qū)域的干擾出現(xiàn)漂移或者丟失目標(biāo)的情況。例如，跟蹤目標(biāo)為人體時(shí)，由于人的頭部和肢體等特征都比較相似[19]，在干擾目標(biāo)與跟蹤目標(biāo)交互運(yùn)動(dòng)的情況下，跟蹤結(jié)果很容易受到干擾目標(biāo)的影響。本文算法通過(guò)豐富特征的多樣性來(lái)描述目標(biāo)，從而減少相似區(qū)域的干擾，達(dá)到提高區(qū)分目標(biāo)和干擾的能力。

2.1 顏色特征及視覺(jué)顯著性特征

給定視頻單幀圖像序列I0,I1,…,In，如圖1所示，在圖像I0上標(biāo)定矩形RO和ROS，其中RO為目標(biāo)區(qū)域，ROS為目標(biāo)及其周圍環(huán)境區(qū)域，記RS為目標(biāo)周圍環(huán)境區(qū)域，則ROS=RO?RS。ROS內(nèi)的像素分為前景像素集Ωf和背景像素集Ωb(Ωb=Ωb1+Ωb2，Ωb1?RO，Ωb2?RS，Ωb1+Ωf=RO)。

采用文獻(xiàn)[20]中的方法，使用圖像區(qū)域RO和ROS局部RGB顏色信息構(gòu)建顯著性模型，再利用顯著性模型和圖像RGB特征將圖像像素映射為0到1之間的小數(shù)，即為所需顯著值S(x)，獲得圖像顯著性特征。其中，S(x)∈[0,1]，相應(yīng)地，顯著值S(x)越接近1，則像素x屬于目標(biāo)像素的概率越高。

具體地，對(duì)圖像區(qū)域RO和ROS分別構(gòu)建RGB三通道聯(lián)合直方圖，再采用貝葉斯方法，得到像素x屬于前景像素集的概率Ωf的概率：

其中，bx表示像素x(r,g,b)在顏色直方圖內(nèi)的區(qū)間索引（即所屬的bin值）。

通常，可以直接使用顏色直方圖的數(shù)據(jù)來(lái)估計(jì)概率：

其中，|·|表示集合的勢(shì)，即區(qū)域中的總像素?cái)?shù)；HO為區(qū)域RO的聯(lián)合顏色直方圖；HOS為區(qū)域ROS的聯(lián)合顏色直方圖；H(b)表示在顏色直方圖中第b個(gè)bin的值。用像素x屬于前景像素集Ωf的概率來(lái)表示像素x的顯著值S(x)，從而可將像素x的顯著值S(x)表示為：

其中，遇到未出現(xiàn)在區(qū)域ROS中的顏色時(shí)，設(shè)置對(duì)應(yīng)像素的顯著值為0.5。

如圖1所示，對(duì)圖（a）所示原圖像，經(jīng)過(guò)圖（b）所示初始化后，得到圖（c）所示視覺(jué)顯著性特征，圖（d）所示熱力映射圖（顏色越紅，顯著性越高；顏色越藍(lán)，顯著性越低）。

2.2 局部特征

目前有關(guān)局部特征的研究在國(guó)際上取得了很多成就，傳統(tǒng)的SIFT算法[11]和SURF算法[12]雖然精度高，但均具有計(jì)算量大，效率較低的缺點(diǎn)，不能很好地用于實(shí)時(shí)性要求高的場(chǎng)合。在這樣背景下，出現(xiàn)了一些計(jì)算耗時(shí)較小的算法，如BRIEF（binary robust independent elementary features）算法[21]、ORB算法[22]及BRISK算法[10]等。BRIEF算法的優(yōu)點(diǎn)為運(yùn)算速度快，缺點(diǎn)在于不具備旋轉(zhuǎn)及縮放不變性，對(duì)噪聲敏感。ORB算法基于BRIEF算法進(jìn)行改進(jìn)，缺點(diǎn)在于不具備尺度不變性。BRISK算法則具有低計(jì)算量、低存儲(chǔ)的優(yōu)點(diǎn)，同時(shí)具備旋轉(zhuǎn)不變性、尺度不變性及對(duì)噪聲的魯棒性。

Fig.1 Schematic diagram of obtaining visual saliency feature圖1 提取視覺(jué)顯著性特征的示意圖

BRISK算法既是一種特征提取算法，也是一種二進(jìn)制的特征描述算子。在檢測(cè)特征點(diǎn)時(shí)主要利用FAST9-16角點(diǎn)探測(cè)器，同時(shí)考慮到尺度不變性，構(gòu)建了圖像尺度金字塔來(lái)進(jìn)行多尺度表達(dá)。通過(guò)在金字塔尺度空間中搜索局部最大（?。╉憫?yīng)值確定特征點(diǎn)的位置和尺度[23]，通過(guò)比較隨機(jī)點(diǎn)對(duì)的灰度大小建立局部圖像二值特征描述子。BRISK算法得到的二進(jìn)制特征描述子，可以利用漢明距離來(lái)判別特征點(diǎn)的相似性，不僅匹配速度高于其他算法且存儲(chǔ)時(shí)所需的內(nèi)存少，更利于滿足目標(biāo)跟蹤的實(shí)時(shí)性要求。本文采用BRISK特征作為局部不變性特征點(diǎn)，并采用BRISK特征描述子來(lái)描述特征點(diǎn)。

2.3 混合特征策略及目標(biāo)模型

具體操作步驟如下所示：

首先，獲取初始幀區(qū)域RO和ROS對(duì)應(yīng)的RGB聯(lián)合顏色直方圖，使用式（5）求取顯著性模型，利用顯著性模型和圖像RGB特征得到圖像視覺(jué)顯著性特征S，估計(jì)目標(biāo)上的像素。

其次，檢測(cè)初始幀的BRISK特征關(guān)鍵點(diǎn)，得到一系列的關(guān)鍵點(diǎn)K。

最后，采用混合特征策略融合顯著性特征和BRISK特征，得到初始特征點(diǎn)集及其對(duì)應(yīng)的BRISK特征描述子；。使用表示目標(biāo)模型。其中，為第0幀圖像中第n個(gè)BRISK特征關(guān)鍵點(diǎn)；為關(guān)鍵點(diǎn)對(duì)應(yīng)的特征描述子；狀態(tài)標(biāo)志fn用于表示關(guān)鍵點(diǎn)屬于背景類或?qū)儆谀繕?biāo)類。

混合特征策略的原理：（1）若K(x)∈RO且S(x)≥σ1，則該關(guān)鍵點(diǎn)為目標(biāo)特征點(diǎn)，并將其存儲(chǔ)至初始前景關(guān)鍵點(diǎn)類中；（2）若K(x)?RO且S(x)≤σ2，則該關(guān)鍵點(diǎn)為背景特征點(diǎn)，并將其存儲(chǔ)至初始背景關(guān)鍵點(diǎn)類中；（3）若K(x)∈RO且S(x)＜σ1，則該目標(biāo)關(guān)鍵點(diǎn)為干擾特征點(diǎn)；（4）若K(x)?RO且S(x)＞σ2，則該背景關(guān)鍵點(diǎn)為干擾特征點(diǎn)；（5）若K(x)∈RO且S(x)=0.5或者K(x)?RO且S(x)=0.5，由顯著性模型無(wú)法判定該關(guān)鍵點(diǎn)屬性，則統(tǒng)一認(rèn)為該關(guān)鍵點(diǎn)為干擾特征點(diǎn)。其中，目標(biāo)類關(guān)鍵點(diǎn)的顯著性閾值為σ1，背景類關(guān)鍵點(diǎn)的顯著性閾值為σ2，0.5＜σ1≤1.0，0≤σ2＜0.5。需要說(shuō)明的是，具體實(shí)現(xiàn)時(shí)為了加快算法處理速度，對(duì)于情況（3）、（4）和（5）認(rèn)定的干擾特征點(diǎn)則直接舍棄。

3 匹配跟蹤目標(biāo)

3.1 動(dòng)態(tài)特征

金字塔Lucas-Kanade光流算法[24]，是一種兩幀差分的光流估計(jì)算法，常用于發(fā)現(xiàn)稀疏光流進(jìn)行運(yùn)動(dòng)檢測(cè)。本文采用金字塔Lucas-Kanade光流方法來(lái)計(jì)算前一幀目標(biāo)特征點(diǎn)的光流，來(lái)提取所需動(dòng)態(tài)特征（跟蹤點(diǎn)）。在獲取所需動(dòng)態(tài)特征時(shí)，采用雙向光流檢測(cè)機(jī)制過(guò)濾掉錯(cuò)誤的動(dòng)態(tài)特征點(diǎn)，并使用誤差度量去除飛掉的點(diǎn)，這樣做是為了使得到的動(dòng)態(tài)特征點(diǎn)更可靠。

具體地，首先計(jì)算前一幀目標(biāo)特征點(diǎn)的前向光流得到跟蹤點(diǎn)，然后計(jì)算跟蹤點(diǎn)的后向光流，最后使用誤差度量去除發(fā)現(xiàn)光流的動(dòng)態(tài)特征點(diǎn)中飛掉的點(diǎn)，得到精確的當(dāng)前幀動(dòng)態(tài)特征點(diǎn)。在誤差度量中，設(shè)定誤差閾值φ，若發(fā)現(xiàn)光流的點(diǎn)對(duì)間的相對(duì)距離大于閾值φ，表示得到的數(shù)據(jù)有誤，則認(rèn)為該點(diǎn)不是所需的跟蹤點(diǎn)。

3.2 靜態(tài)特征及自適應(yīng)搜索機(jī)制

為了加快匹配跟蹤的運(yùn)算速度，在提取靜態(tài)特征時(shí)加入一種自適應(yīng)搜索機(jī)制，在保證提取所需靜態(tài)特征的同時(shí)，一方面可以減少提取靜態(tài)特征的時(shí)間，另一方面可以去除大部分背景類特征，大大縮減后續(xù)匹配工作的數(shù)據(jù)處理量。尤其是在背景復(fù)雜、視頻單幀圖像尺寸較大的情況下，可以明顯地解決目標(biāo)跟蹤中由于特征匹配計(jì)算量大引起的卡頓問(wèn)題，使得本文算法可以實(shí)時(shí)地完成跟蹤任務(wù)。

定義第t幀自適應(yīng)候選目標(biāo)搜索區(qū)域=η×。其中，表示第t-1幀圖像中確定的目標(biāo)區(qū)域；縮放系數(shù)η可以采取固定值，也可以根據(jù)確定第t-1幀圖像中目標(biāo)區(qū)域時(shí)獲得的縮放因子st-1來(lái)決定。

具體地，僅檢測(cè)第t幀圖像中對(duì)應(yīng)自適應(yīng)候選目標(biāo)搜索區(qū)域中的BRISK特征的關(guān)鍵點(diǎn)Kt，并計(jì)算其BRISK特征描述子。這里所得到的關(guān)鍵點(diǎn)即為第t幀圖像的靜態(tài)特征點(diǎn)（候選特征點(diǎn)）=Kt。

3.3 目標(biāo)跟蹤框的自適應(yīng)尺度及中心

將當(dāng)前幀候選特征點(diǎn)集與初始幀特征點(diǎn)集進(jìn)行全局匹配，選取與初始幀前景類特征點(diǎn)相匹配的特征點(diǎn)組成全局匹配點(diǎn)集。運(yùn)用KNN匹配器對(duì)當(dāng)前幀候選特征點(diǎn)集的BRISK特征描述子與初始幀特征點(diǎn)集的BRISK特征描述子D0進(jìn)行匹配，查找每個(gè)特征點(diǎn)對(duì)應(yīng)的最近鄰和次近鄰特征點(diǎn)的描述子，得到粗略的匹配點(diǎn)集。用特征描述子之間的漢明距離來(lái)估算特征點(diǎn)間的匹配程度，距離越小匹配程度越高。根據(jù)匹配的描述子的相對(duì)距離，在本文算法中，特征描述子間的匹配采用基于雙閾值的第二最近鄰距離準(zhǔn)則來(lái)判別粗匹配點(diǎn)的匹配程度，對(duì)應(yīng)匹配程度高的特征點(diǎn)即為匹配成功。同時(shí)，去除成功匹配的特征點(diǎn)集中屬于背景類的那部分，所得即為全局匹配點(diǎn)集。

具體地，因?yàn)椴捎玫腂RISK特征描述子是一種二值描述子，可以采用漢明距離異或操作計(jì)算匹配的描述符間的相對(duì)距離。

其中，D0為初始幀特征點(diǎn)集對(duì)應(yīng)的BRISK特征描述子集；為當(dāng)前幀候選特征點(diǎn)集對(duì)應(yīng)的BRISK特征描述子集；為D0中第i個(gè)特征點(diǎn)的BRISK二值特征描述子；(i)為中待配準(zhǔn)的第i個(gè)BRISK二值特征描述子。

匹配特征點(diǎn)對(duì)間的匹配度l(·,·)要滿足條件：

其中，(j)為當(dāng)前幀候選特征點(diǎn)集中與初始幀特征點(diǎn)匹配的最近鄰特征點(diǎn)的BRISK特征描述子；(g)為當(dāng)前幀候選特征點(diǎn)集中與初始幀特征點(diǎn)匹配的次近鄰特征點(diǎn)的BRISK特征描述子。

融合全局匹配點(diǎn)和動(dòng)態(tài)特征點(diǎn)獲得融合點(diǎn)集，進(jìn)而估計(jì)當(dāng)前幀目標(biāo)變化的縮放比例s和旋轉(zhuǎn)角度α。具體地，根據(jù)當(dāng)前幀融合點(diǎn)集中的特征點(diǎn)對(duì)間的相對(duì)距離相對(duì)于初始幀特征點(diǎn)集的特征點(diǎn)對(duì)間的相對(duì)距離改變的比率，來(lái)估計(jì)當(dāng)前幀目標(biāo)變化的縮放比例s；根據(jù)當(dāng)前幀融合點(diǎn)集中的特征點(diǎn)對(duì)間的相對(duì)角度相對(duì)于初始幀特征點(diǎn)集的特征點(diǎn)對(duì)間的相對(duì)角度變化的大小，來(lái)估計(jì)當(dāng)前幀目標(biāo)變化的旋轉(zhuǎn)角度α。需要說(shuō)明的是，在計(jì)算特征點(diǎn)對(duì)的相對(duì)距離和相對(duì)角度之前，需先利用中心點(diǎn)對(duì)特征點(diǎn)進(jìn)行標(biāo)準(zhǔn)化。利用式（8）和式（9）來(lái)計(jì)算縮放比例s和旋轉(zhuǎn)角度α。

其中，(i)為當(dāng)前幀融合點(diǎn)集中的特征點(diǎn)；為初始幀特征點(diǎn)集K0中的特征點(diǎn)；‖·‖為歐幾里德距離；Median表示取中位數(shù)作為整體的縮放比例和旋轉(zhuǎn)角度。

一致性準(zhǔn)則[25]原理：對(duì)于不發(fā)生變形的目標(biāo)來(lái)說(shuō)，目標(biāo)發(fā)生一定的移動(dòng)或旋轉(zhuǎn)后，目標(biāo)上的特征點(diǎn)相對(duì)中心點(diǎn)的位置也會(huì)根據(jù)尺度變化的比例進(jìn)行對(duì)應(yīng)的縮放或旋轉(zhuǎn)。也就是說(shuō)，初始幀目標(biāo)特征點(diǎn)向中心點(diǎn)的投票值，在采用當(dāng)前幀尺度參數(shù)進(jìn)行相似變換后，與當(dāng)前幀目標(biāo)特征點(diǎn)向中心點(diǎn)的投票值保持一致，如圖2所示。

Fig.2 Schematic diagram of voting圖2投票示意圖

當(dāng)前幀融合點(diǎn)集與初始幀特征點(diǎn)集K0的匹配。其中，(i)表示第0幀位置在第t幀的響應(yīng)匹配（即表明匹配到特征點(diǎn)在第t幀中的位置是(i)）。在每一幀圖像處理中，要盡可能準(zhǔn)確地確定目標(biāo)上的這n對(duì)匹配特征點(diǎn)對(duì)Mt=(m1,m2,…,mn)。

計(jì)算投票向量的基本方法：將經(jīng)標(biāo)準(zhǔn)化的初始幀特征點(diǎn)按照相似變換H進(jìn)行相應(yīng)的坐標(biāo)變換，當(dāng)前幀特征點(diǎn)與變換后的初始特征點(diǎn)間相對(duì)位置即為投票向量。

其中，為當(dāng)前幀特征點(diǎn)(i)對(duì)應(yīng)的投票向量；H為初始幀坐標(biāo)系相似變換到當(dāng)前幀坐標(biāo)系的參數(shù)，由當(dāng)前幀的縮放比例st和旋轉(zhuǎn)的相對(duì)角度αt決定；為(i)對(duì)應(yīng)的經(jīng)標(biāo)準(zhǔn)化的初始幀特征點(diǎn)。

基于mi和mj的幾何可變性，使用相異性度量方法V(mi,mj)來(lái)計(jì)算匹配mi和mj之間的相異度（即就是一致性程度）：

原則上初始幀特征點(diǎn)向中心的投票值在考慮縮放旋轉(zhuǎn)后，與當(dāng)前幀特征點(diǎn)向中心的投票值是相對(duì)不變的，但是由于圖像本身的變化，不可能得到完全一樣的投票值，這個(gè)時(shí)候肯定出現(xiàn)一定的偏差。因此，根據(jù)相異性度量值，使用分層聚合聚類[18]劃分出符合一致性準(zhǔn)則的內(nèi)點(diǎn)，去除不符合一致性準(zhǔn)則的外點(diǎn)（不必要的融合特征）。選擇最大的一類內(nèi)點(diǎn)集VC對(duì)應(yīng)的特征點(diǎn)作為有效的當(dāng)前幀目標(biāo)特征點(diǎn)，用來(lái)估計(jì)當(dāng)前幀目標(biāo)跟蹤框的中心μ。

其中，VC表示聚類后最大的一類內(nèi)點(diǎn)集，n=|VC|。

目標(biāo)框中心μ、縮放比例s和旋轉(zhuǎn)角度α相結(jié)合，就可以獲得由跟蹤算法確定的最終輸出的目標(biāo)區(qū)域RT，RT與初始目標(biāo)框RO為相似變換。

3.4 更新當(dāng)前幀目標(biāo)特征點(diǎn)

全局匹配對(duì)出現(xiàn)遮擋的情況具有很好的魯棒性，相對(duì)地，對(duì)于當(dāng)前幀新出現(xiàn)的目標(biāo)特征適應(yīng)性不好。因此，需要給有效的當(dāng)前幀目標(biāo)特征點(diǎn)中增加新出現(xiàn)的特征點(diǎn)，來(lái)提高后續(xù)跟蹤的穩(wěn)健性。將局部匹配點(diǎn)與內(nèi)點(diǎn)相融合，得到最終的描述當(dāng)前幀目標(biāo)的特征點(diǎn)集，用于下一幀獲取動(dòng)態(tài)特征。

區(qū)別于全局匹配，局部匹配僅與初始幀特征點(diǎn)集中的前景特征點(diǎn)進(jìn)行匹配。獲取局部匹配點(diǎn)的步驟：（1）對(duì)標(biāo)準(zhǔn)化的初始前景點(diǎn)做相似變換H(st,αt)，得到變換后初始幀前景點(diǎn)；（2）使用目標(biāo)框中心μt標(biāo)準(zhǔn)化當(dāng)前幀靜態(tài)特征點(diǎn)集，得到標(biāo)準(zhǔn)化的靜態(tài)特征點(diǎn)；（3）計(jì)算標(biāo)準(zhǔn)化的靜態(tài)特征點(diǎn)與變換后初始幀前景點(diǎn)間的投票值，根據(jù)投票值的大小判斷該特征點(diǎn)的幾何變形度，變形較大即為偏差大的數(shù)據(jù)，變形度由閾值δ決定；（4）去除靜態(tài)特征中變形較大的特征點(diǎn)后，計(jì)算所得靜態(tài)特征及其對(duì)應(yīng)初始幀特征點(diǎn)間的匹配度，選取匹配度滿足式（7）的特征點(diǎn)組成最終的局部匹配點(diǎn)集（新出現(xiàn)的目標(biāo)特征點(diǎn)）。

4 實(shí)驗(yàn)結(jié)果及分析

所有的實(shí)驗(yàn)是在處理器為Intel?CoreTMi3 CPU M 380@2.53 GHz，內(nèi)存為2.00 GB的32位計(jì)算機(jī)上進(jìn)行，算法通過(guò)C++語(yǔ)言及OpenCV2.4.8在Qt上實(shí)現(xiàn)。為了更好地定量和定性地評(píng)估本文算法的性能，實(shí)驗(yàn)中所用測(cè)試集[26]涵蓋單目標(biāo)跟蹤相關(guān)的各個(gè)重要屬性，如相機(jī)移動(dòng)及抖動(dòng)、目標(biāo)快速移動(dòng)及尺度變化、遮擋、旋轉(zhuǎn)、復(fù)雜背景環(huán)境及變化、光照變化、相似干擾等。同時(shí)包含手動(dòng)標(biāo)定的真實(shí)目標(biāo)數(shù)據(jù)，被廣泛用于評(píng)估各種單目標(biāo)跟蹤算法。

4.1 實(shí)驗(yàn)設(shè)置

具體實(shí)驗(yàn)是在測(cè)試集圖像序列轉(zhuǎn)化的25 f/s視頻上完成。初始化時(shí)，采用第1幀圖像中目標(biāo)的真實(shí)數(shù)據(jù)作為目標(biāo)區(qū)域RO=，并設(shè)定區(qū)域ROS=2×；提取顏色特征時(shí)三維RGB聯(lián)合直方圖采用10×10× 10 bins，混合特征策略設(shè)置的目標(biāo)類關(guān)鍵點(diǎn)的顯著性閾值σ1=0.6，背景類關(guān)鍵點(diǎn)的顯著性閾值σ2=0.4；提取動(dòng)態(tài)特征時(shí)Lucas-Kanade光流金字塔層數(shù)為3，每層金字塔的搜索窗口的尺寸為21×21，誤差閾值φ=30；提取靜態(tài)特征時(shí)自適應(yīng)候選目標(biāo)搜索區(qū)域的縮放系數(shù)η=2.5；全局匹配中判別粗匹配點(diǎn)的匹配程度時(shí)采用的雙閾值分別為距離閾值ρ=0.25和距離比率閾值γ=0.8；局部匹配中用于篩選靜態(tài)特征的變形度閾值δ=20。

文獻(xiàn)[27]對(duì)最近幾年提出的具有代表性且綜合表現(xiàn)較好的跟蹤算法進(jìn)行多方面測(cè)試和綜合評(píng)價(jià)，并提出了度量標(biāo)準(zhǔn)精確度（precision）和成功率（success rate）。為了驗(yàn)證本文算法的有效性，根據(jù)文獻(xiàn)[27]各算法的綜合表現(xiàn)，選取處于不同水平段的5個(gè)算法作為對(duì)比算法，分別為Struck[28]、TLD（tracking learning detection）[29]、MIL（multiple instance learning）[30]、KMS（kernel mode setting）[31]和CT（compressive tracking）[32]。對(duì)照算法代碼由原作者提供并使用默認(rèn)參數(shù)設(shè)置。在進(jìn)行對(duì)比分析時(shí)，采用3種評(píng)價(jià)標(biāo)準(zhǔn)來(lái)進(jìn)行定量和定性分析，分別為精確度、成功率和平均處理幀率。

4.2 中心誤差及精確度

采用跟蹤算法預(yù)測(cè)的目標(biāo)中心與真實(shí)目標(biāo)中心間的相對(duì)距離作為中心誤差（center error）：

其中，‖·‖表示歐幾里德距離；為第t幀真實(shí)目標(biāo)中心；為第t幀跟蹤算法預(yù)測(cè)的目標(biāo)中心；et為第t幀中心誤差。

精度曲線是和中心位置誤差相關(guān)的一個(gè)評(píng)價(jià)指標(biāo)，通常用來(lái)概括算法在該視頻上的整體性能，尤其適用于目標(biāo)跟丟、輸出位置隨機(jī)的情況[19]。將滿足中心誤差E＜ζ的視頻幀數(shù)占總幀數(shù)的比值記為精確度。直接采用某一特定閾值（比如ζ=20）時(shí)的精確度來(lái)評(píng)估算法具有一定的片面性，因而，計(jì)算閾值ζ在[0,50]上的精確度，得到精度曲線圖（precision plot）。使用每個(gè)算法的精度圖的曲線下面積（areaundercurve，AUC）來(lái)作為評(píng)價(jià)標(biāo)準(zhǔn)。AUC值可以正確評(píng)估跟蹤算法的整體性能，它比單一閾值下精確度更加準(zhǔn)確，AUC值越大，算法效果更好。

4.3 重疊率及成功率

將跟蹤算法預(yù)測(cè)的目標(biāo)區(qū)域與真實(shí)目標(biāo)區(qū)域的重合區(qū)域和預(yù)測(cè)的目標(biāo)區(qū)域及真實(shí)目標(biāo)區(qū)域之間的比重稱為重疊率（region overlap ratio）：

其中，為第t幀圖像跟蹤算法預(yù)測(cè)的目標(biāo)區(qū)域；為第t幀圖像真實(shí)的目標(biāo)區(qū)域；?和?分別表示兩個(gè)區(qū)域的交集和并集；|·|指其區(qū)域內(nèi)的像素點(diǎn)個(gè)數(shù)。

將重疊率Ο大于給定的閾值τ的正確跟蹤的視頻幀數(shù)占總幀數(shù)的比值記為成功率。計(jì)算閾值τ在[0,1]上的成功率，繪制成功率曲線圖（success plot）。

同理，直接采用某一特定閾值（比如τ=0.5）時(shí)的成功率可能無(wú)法正確估量跟蹤的性能，因而仍然使用每個(gè)算法的成功率圖的曲線下面積（AUC）作為評(píng)價(jià)標(biāo)準(zhǔn)。

4.4 結(jié)果分析

4.4.1 定量分析

如圖3所示，分別為juice、jump、singer、sunshade和woman這5組視頻序列采用6種算法得到的跟蹤結(jié)果的精度圖。歸一化的精確度AUC及平均精確度AUC的統(tǒng)計(jì)結(jié)果見(jiàn)表1。

由表1可知，本文算法在juice、singer上取得了最佳結(jié)果，在sunshade、woman上次之。6種算法的平均精確度AUC為Ours>Struck>TLD>KMS>MIL>CT，AUC值越大，算法效果更好，因而本文算法在精確度上表現(xiàn)最佳。

Fig.3 Precision plot圖3 精度圖

Table 1 AUC of precision表1精確度AUC

如圖4所示，分別為juice、jump、singer、sunshade和woman這5組視頻序列采用6種算法得到的跟蹤結(jié)果的成功率圖。表2給出了成功率AUC及平均成功率AUC的統(tǒng)計(jì)結(jié)果。由表2可知，本文算法在jump、singer上取得了最佳結(jié)果，在juice、sunshade、woman上次之。6種算法的平均成功率AUC為Ours> Struck>TLD>MIL>CT>KMS，因此本文算法在成功率方面表現(xiàn)最佳。

在5組視頻上比較6種算法的跟蹤效率，來(lái)分析跟蹤實(shí)時(shí)性，表3給出了各算法的跟蹤平均處理幀率。其中，本文算法在juice、sunshade上取得了最佳速度，在woman上次之。而在jump、singer上表現(xiàn)較一般，基本與Struck和MIL持平。主要原因在于這兩種視頻中背景環(huán)境紋理復(fù)雜，本文算法提取到過(guò)多的BRISK特征，進(jìn)而增加了后續(xù)處理時(shí)間。6種算法的平均處理幀率從高到低依次是Ours、TLD、CT、KMS、MIL、Struck，本文算法仍然在跟蹤速度上取得最佳結(jié)果。

4.4.2 定性分析

juice視頻中，目標(biāo)橘汁盒放置在一個(gè)桌子上，周圍有一些瓶子、餅干盒及水杯，有輕微的光照變化。目標(biāo)特征變化不大，僅在方向和尺度上不停變化。CT和MIL對(duì)目標(biāo)快速移動(dòng)表現(xiàn)很差，Struck對(duì)快速目標(biāo)尺度變化適應(yīng)性較差。KMS不能適應(yīng)相機(jī)快速移動(dòng)引起的抖動(dòng)模糊，在第231幀丟失目標(biāo)。

jump視頻中，目標(biāo)自行車手騎自行車在山丘上快速跳躍，有輕微的光照變化。目標(biāo)快速移動(dòng)，在空中時(shí)目標(biāo)發(fā)生扭轉(zhuǎn)，本身特征有較大變化，躍起到落地目標(biāo)尺寸不斷變化。CT、Struck和MIL在背景轉(zhuǎn)換時(shí)跟蹤重疊率較低，誤差較大。TLD在目標(biāo)快速移動(dòng)導(dǎo)致形變時(shí)丟失目標(biāo)。

Fig.4 Success rate plot圖4 成功率圖

Table 2 AUC of success rate表2成功率AUC

Table 3 Comparison of average processing frame rate表3 平均處理幀率

singer視頻中，目標(biāo)歌手所處舞臺(tái)環(huán)境復(fù)雜，聚光燈不停閃爍，光照變化強(qiáng)烈，相機(jī)快速移動(dòng)引起目標(biāo)的移動(dòng)及尺寸的變化。CT和Struck不能適應(yīng)強(qiáng)烈的光照變化，CT和MIL不能適應(yīng)復(fù)雜背景下的目標(biāo)尺度變化。TLD在目標(biāo)形變過(guò)大時(shí)丟失目標(biāo)。

sunshade視頻中，目標(biāo)男子在一房屋旁邊快速移動(dòng)，光照跳躍性明暗變化。CT在第84、102幀丟失目標(biāo)，MIL在第12、160幀丟失目標(biāo)，KMS在第14、34、107、114幀丟失目標(biāo)，TLD在第10、64、82、101、155幀丟失目標(biāo)，表明這幾種算法均不能適應(yīng)光照明暗變化。

woman視頻中，目標(biāo)女子在馬路上快速行走，多次出現(xiàn)長(zhǎng)時(shí)間的部分遮擋，同時(shí)還存在目標(biāo)尺度變化及輕微光照變化。CT、MIL、TLD在部分遮擋時(shí)多次出現(xiàn)丟失目標(biāo)的情況。KMS不能適應(yīng)相機(jī)移動(dòng)導(dǎo)致的抖動(dòng)模糊，在第563幀丟失目標(biāo)。

本文算法在上述5個(gè)視頻中均具有較好的魯棒性和精確度，整體表現(xiàn)比較穩(wěn)定。

5 結(jié)束語(yǔ)

本文提出了一種結(jié)合視覺(jué)顯著性的多特征融合跟蹤算法，實(shí)驗(yàn)表明與現(xiàn)有的跟蹤算法相比，本文算法具有較好的精確性、實(shí)時(shí)性和魯棒性。不足之處在于，本文算法的有效性與初始幀獲得的目標(biāo)特征息息相關(guān)。一方面，本文采用的視覺(jué)注意機(jī)制，是一種當(dāng)目標(biāo)區(qū)域與周圍具有較強(qiáng)對(duì)比度或明顯不同時(shí)產(chǎn)生的自下而上的靜態(tài)注意。因此，當(dāng)圖像對(duì)比度很差時(shí)，會(huì)引起顯著性特征缺失，使用融合策略將圖像顯著特征與BRISK特征相融合時(shí)，會(huì)將有用的特征點(diǎn)作為干擾特征點(diǎn)直接舍棄，從而導(dǎo)致跟蹤效果差甚至是跟蹤失敗。另一方面，與大部分基于特征點(diǎn)且無(wú)在線學(xué)習(xí)過(guò)程的跟蹤算法一樣，在完全遮擋、目標(biāo)快速移動(dòng)時(shí)引起目標(biāo)特征缺失，可能導(dǎo)致跟蹤失敗。因此，后期研究時(shí)準(zhǔn)備在本文算法基礎(chǔ)上，一方面在圖像對(duì)比度差時(shí)，考慮增加對(duì)干擾特征點(diǎn)的處理措施；另一方面可以進(jìn)一步考慮添加動(dòng)態(tài)顯著特征，解決由于圖像對(duì)比度差和后期目標(biāo)移動(dòng)等原因產(chǎn)生的目標(biāo)特征缺失，得到更為魯棒的目標(biāo)跟蹤。

[1]Danelljan M,Khan F S,Felsberg M,et al.Adaptive color attributes for real-time visual tracking[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Washington: IEEE Computer Society,2014:1090-1097.

[2]Li Yang,Zhu Jianke,Hoi S C H.Reliable patch trackers: robust visual tracking by exploiting reliable patches[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,USA,Jun 7-12,2015. Piscataway,USA:IEEE,2015:353-361.

[3]Wang Dong,Lu Huchuan,Yang M-H.Least soft-threshold squares tracking[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition,Portland,USA,Jun 23-28,2013.Piscataway,USA:IEEE,2013: 2371-2378.

[4]Wang Yongming,Wang Guijin.Image local invariant features and descriptors[M].Beijing:National Defense Industry Press,2010:191.

[5]Xu Wanjun,Hou Zhiqiang,Yu Wangsheng,et al.Fusing multi-feature for object tracking algorithm based on color and space information[J].Journal of Applied Optics,2015, 36(5):755-761.

[6]Wang Huan,Wang Jiangtao,Ren Mingwu,et al.A new robust object tracking algorithm by fusing multi-features[J]. Journal of Image and Graphics,2009,14(3):489-498.

[7]Gu Xin,Wang Haitao,Wang Lingfeng,et al.Fusing multiple features for object tracking based on uncertainty measurement[J].ActaAutomatica Sinica,2011,37(5):550-559.

[8]Yan He,Liu Jie,Yang Dehong,et al.A new particle filter object tracking algorithm based on feature fusion[J].Journal of Optoelectronics·Laser,2014,25(10):1990-1999.

[9]Zhang Huanlong,Hu Shiqiang,Yang Guosheng.Video object tracking based on appearance model learning[J].Journal of Computer Research and Development,2015,52(1):177-190.

[10]Leutenegger S,Chli M,Siegwart R Y.BRISK:binary robust invariant scalable keypoints[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision,Barcelona,Spain,Nov 6-13,2011.Piscataway,USA:IEEE, 2011:2548-2555.

[11]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.

[12]Bay H,Tuytelaars T,Luc V G.SURF:speeded up robust features[C]//LNCS 3951:Proceedings of the 9th European Conference on Computer Vision,Graz,Austria,May 7-13, 2006.Berlin,Heidelberg:Springer,2006:404-417.

[13]Zhang Yan,Zhang Zhilong,Shen Zhenkang,et al.The images tracking algorithm using particle filter based on dynamic salient features of targets[J].Acta Electronica Sinica, 2008,36(12):2306-2311.

[14]Zhang Qiaorong,Feng Xinyang.Object tracking based on visual saliency and particle filter[J].Journal of Image and Graphics,2013,18(5):515-522.

[15]Xie Zhao,Liu Yumin,Zhang Jun,et al.Spatio-temporal motion saliency for object tracking[J].Journal of Image and Graphics,2015,20(8):1070-1082.

[16]Li Wanyi,Wang Peng,Qiao Hong.A survey of visual attention based methods for object tracking[J].Acta Automatica Sinica,2014,40(4):561-576.

[17]Yin Hongpeng,Chai Yi,Kuang Jinjun,et al.A moving target tracking algorithm based on adaptive multiple cues fusion [J].Journal of Optoelectronics·Laser,2010,21(6):917-923.

[18]Rui Xu,Wunsch D.Survey of clustering algorithms[J].IEEE Transactions on Neural Networks,2005,16(3):645-678.

[19]Zhang Tie,Ma Qiongxiong.Human object tracking algo-rithm for human-robot interaction[J].Journal of Shanghai JiaoTong University,2015,49(8):1213-1219.

[20]Possegger H,Mauthner T,Bischof H.In defense of colorbased model-free tracking[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston,USA,Jun 7-12,2015.Piscataway,USA:IEEE,2015: 2113-2120.

[21]Calonder M,Lepetit V,Strecha C,et al.BRIEF:binary robust independent elementary features[C]//LNCS 6314:Proceedings of the 11th European Conference on Computer Vision,Crete,Greece,Sep 5-11,2010.Berlin,Heidelberg: Springer,2010:778-792.

[22]Rublee E,Rabaud V,Konolige K,et al.ORB:an efficient alternative to SIFT or SURF[C]//Proceedings of the 2011 International Conference on Computer Vision,Barcelona, Spain,Nov 6-13,2011.Washington:IEEE Computer Society,2011:2564-2571

[23]Zhang Yong,Wang Xinsai,Li Mingming,et al.Robust infrared video electronic stabilization algorithm for vehicle[J]. High Power Laser and Particle Beams,2013,25(4):853-857.

[24]Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence,Vancouver,Canada,Aug 24-28,1981.San Francisco, USA:Morgan Kaufmann Publishers Inc,1981:674-679.

[25]Nebehay G,Pflugfelder R.Consensus-based matching and tracking of keypoints for object tracking[C]//Proceedings of the 2014 IEEE Winter Conference on Applications of Computer Vision,Steamboat Springs,USA,Mar 24-26,2014. Piscataway,USA:IEEE,2014:862-869.

[26]Kristan M,Pflugfelder R,Leonardis A,et al.The visual object tracking VOT2013 challenge results[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops,Sydney,Australia,Dec 2-8,2013.Piscataway,USA:IEEE,2013:98-111.

[27]Wu Yi,Lim J,Yang M-H.Online object tracking:a benchmark[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition,Portland,USA,Jun 23-28,2013.Piscataway,USA:IEEE,2013:2411-2418.

[28]Hare S,Saffari A,Torr P H S.Struck:structured output tracking with kernels[C]//Proceedings of the 2011 International Conference on Computer Vision,Barcelona,Spain, Nov 6-13,2011.Piscataway,USA:IEEE,2011:263-270.

[29]Kalal Z,Mikolajczyk K,Matas J.Tracking learning detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[30]Babenko B,Yang M-H,Belongie S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011, 33(8):1619-1632.

[31]Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.

[32]Zhang Kaihua,Zhang Lei,Yang M-H.Real-time compressive tracking[C]//LNCS 7574:Proceedings of the 12th European Conference on Computer Vision,Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer,2012:864-877.

附中文參考文獻(xiàn)：

[4]王永名,王貴錦.圖像局部不變性特征與描述[M].北京:國(guó)防工業(yè)出版,2010:191.

[5]許婉君,侯志強(qiáng),余旺盛,等.基于顏色和空間信息的多特征融合目標(biāo)跟蹤算法[J].應(yīng)用光學(xué),2015,36(5):755-761.

[6]王歡,王江濤,任明武,等.一種魯棒的多特征融合目標(biāo)跟蹤新算法[J].中國(guó)圖象圖形學(xué)報(bào),2009,14(3):489-498.

[7]顧鑫,王海濤,汪凌峰,等.基于不確定性度量的多特征融合跟蹤[J].自動(dòng)化學(xué)報(bào),2011,37(5):550-559.

[8]閆河,劉婕,楊德紅,等.基于特征融合的粒子濾波目標(biāo)跟蹤新方法[J].光電子·激光,2014,25(10):1990-1999.

[9]張煥龍,胡士強(qiáng),楊國(guó)勝.基于外觀模型學(xué)習(xí)的視頻目標(biāo)跟蹤方法綜述[J].計(jì)算機(jī)研究與發(fā)展,2015,52(1):177-190.

[13]張焱,張志龍,沈振康,等.基于動(dòng)態(tài)顯著性特征的粒子濾波多目標(biāo)跟蹤算法[J].電子學(xué)報(bào),2008,36(12):2306-2311.

[14]張巧榮,馮新?lián)P.利用視覺(jué)顯著性和粒子濾波的運(yùn)動(dòng)目標(biāo)跟蹤[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(5):515-522.

[15]謝昭,劉玉敏,張駿,等.時(shí)空運(yùn)動(dòng)顯著性的目標(biāo)跟蹤[J].中國(guó)圖象圖形學(xué)報(bào),2015,20(8):1070-1082.

[16]黎萬(wàn)義,王鵬,喬紅.引入視覺(jué)注意機(jī)制的目標(biāo)跟蹤方法綜述[J].自動(dòng)化學(xué)報(bào),2014,40(4):561-576.

[17]尹宏鵬,柴毅,匡金駿,等.一種基于多特征自適應(yīng)融合的運(yùn)動(dòng)目標(biāo)跟蹤算法[J].光電子·激光,2010,21(6):917-923.

[19]張鐵,馬瓊雄.人機(jī)交互中的人體目標(biāo)跟蹤算法[J].上海交通大學(xué)學(xué)報(bào),2015,49(8):1213-1219.

TONG Wei was born in 1970.He is an associate professor at Xi’an University of Architecture and Technology.His research interests include intelligent control and computer vision.

佟威（1970—），男，陜西咸陽(yáng)人，西安建筑科技大學(xué)副教授，主要研究領(lǐng)域?yàn)橹悄芸刂?，?jì)算機(jī)視覺(jué)。

HE Xiao was born in 1990.She is an M.S.candidate at Xi’an University of Architecture and Technology.Her research interests include computer vision and image processing.

和簫（1990—），女，陜西西安人，西安建筑科技大學(xué)信息與控制工程學(xué)院碩士研究生，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)，圖像處理。

LU Ying was born in 1980.She is an engineer and Ph.D.candidate at Xi'an University of Architecture and Technology. Her research interests include digital architecture,image processing and pattern recognition.

盧英（1980—），女，陜西寶雞人，西安建筑科技大學(xué)工程師、博士生，主要研究領(lǐng)域?yàn)閿?shù)字建筑，圖像處理，模式識(shí)別。

Visual Saliency and Multi-Feature Fusion for Object Tracking*

TONG Wei1,HE Xiao1+,LU Ying1,2

1.School of Information and Control Engineering,Xi'an University of Architecture and Technology,Xi'an 710055, China

2.School ofArchitecture,Xi'an University ofArchitecture and Technology,Xi'an 710055,China
+Corresponding author:E-mail:251347576@qq.com

Traditionally,most tracking algorithms use the single feature to describe the object.In view of the insufficiency of traditional tracking algorithms in complicated background,this paper puts forward an object tracking algorithm used by multi-feature fusion and visual saliency.Firstly,this paper adopts a visual saliency mechanism for manipulating color histogram data to get saliency feature,uses a hybridstrategy that fuses the BRISK(binary robust invariant scalable keypoints)feature and saliency information to describe the image,and then extracts the objectforeground model and object-background model.Moreover,the dynamic feature is extracted by the bidirectional optical flow and error metric and is fused with the static feature which is extracted by the adaptive searching mechanism.Finally,based on the data of matching and tracking procedure in the previous frame,this paper evaluates the object’s scale,rotation and center,and obtains the new target location in the current frame.Experiments show that the proposed algorithm can handle the tracking in the complicated background,and adapt to strong illumination changes,partial occasions,fast motion and so on.The high accuracy and robustness of the proposed algorithm areconfirmed by compared with the related algorithms,and the effectiveness and real-time of the method is validated.

visual saliency;BRISK feature;multi-feature fusion;consensus-based matching and clustering

10.3778/j.issn.1673-9418.1601070

A

：TP391

*The National Natural Science Foundation of China under Grant No.51209167(國(guó)家自然科學(xué)基金);the Natural Science Foundation of Shaanxi Province under Grant No.2013JM8022(陜西省自然科學(xué)基金);the Youth Foundation of Xi’an University of Architecture and Technology under Grant No.QN1423(西安建筑科技大學(xué)青年基金).

Received 2016-01,Accepted 2016-03.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-03-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160308.1005.002.html

TONG Wei,HE Xiao,LU Ying.Visual saliency and multi-feature fusion for object tracking.Journal of Frontiers of Computer Science and Technology,2017,11(3)：438-449.