基于正交試驗的運動目標跟蹤算法性能評價

郗潤平,薛少輝

(1.西北工業(yè)大學 計算機學院,西安 710129; 2.空天地海一體化大數(shù)據(jù)應(yīng)用技術(shù)國家工程實驗室,西安 710129; 3.陜西省語音與圖像信息處理重點實驗室,西安 710129)

0 概述

運動目標檢測與跟蹤作為數(shù)字圖像處理和計算機視覺領(lǐng)域的一個熱門研究方向,具有潛在經(jīng)濟效益和重要應(yīng)用價值,長期以來吸引著大量學者對其進行深入研究[1-3]。因復雜的環(huán)境、目標運動狀態(tài)多樣性等客觀因素的影響,一種運動目標跟蹤算法通常都僅適用于具體的某一環(huán)境或特定的條件,對算法在不同環(huán)境和條件下進行客觀的性能評價非常必要。

目前,用于運動目標跟蹤算法性能評價的數(shù)據(jù)集有多種,如VIVID[4]、CAVIAR[5]和PETS[6]等。在這些圖像序列中,目標物體通常是人或汽車等,上述數(shù)據(jù)集大多沒有考慮影響算法性能的各因素的水平(因素的取值),也沒有一個通用的標注框。當前的主流算法評價平臺有OTB[7-8]和VOT[9-11]等,其中,OTB使用大量包含某因素的圖像序列組合來得到算法在某因素下的性能表現(xiàn),VOT分析多種視頻跟蹤算法評價標準的相關(guān)性,找到較為合適的評價標準,更新的VOT數(shù)據(jù)集甚至每幀都對影響因素進行了注釋,從而提高了檢測精度,但其仍然沒有考慮多因素組合場景下的算法性能表現(xiàn),在評價時存在數(shù)據(jù)集大和測試次數(shù)多等問題。

運動目標跟蹤算法的性能受多種因素影響,如光照變化、目標尺度變化、目標形變等。多因素影響分析常用簡單比較法、灰色關(guān)聯(lián)度分析法[12]和正交試驗設(shè)計等數(shù)據(jù)分析方法。簡單比較法原理簡單,但在其他因素取值改變的情況下可能得到不同的結(jié)論,特別是當因素較多時很容易得到錯誤的結(jié)論?；疑P(guān)聯(lián)度分析法可應(yīng)用多種無量綱化處理方法,用以計算各影響因素之間的貼近程度,但其難以應(yīng)用于多因素多水平的測試。正交試驗設(shè)計方法通過挑選影響試驗結(jié)果的因素來確定因素水平數(shù),并選取適當?shù)恼槐磉M行測試,使用等水平正交表進行試驗設(shè)計可以使每個因素的不同水平均勻搭配,既減少了試驗次數(shù),也能夠保證試驗結(jié)果的準確性。通過正交試驗設(shè)計方法的結(jié)果,可以利用極差分析法對影響算法性能的各因素的顯著性進行討論、分析和排序,并獲得最佳的應(yīng)用條件。

本文提出一種基于正交試驗對運動目標跟蹤算法性能進行評價的方法。以TLD[13]和CXT[14]算法為例,利用正交試驗方法對影響算法性能的各因素水平進行分析討論,從而得出算法性能表現(xiàn)最佳時的各因素水平組合方式。

1 正交試驗

基于正交試驗的運動目標跟蹤算法性能評價方法,利用正交原理編寫標準化正交表,再依托正交表的正交性從不同水平組合試驗中挑選出部分具有代表性的圖像序列進行試驗,以最少的試驗次數(shù)取得較全面的試驗效果。

1.1 試驗因素和水平

目前常用的運動目標跟蹤算法有基于區(qū)域特征的跟蹤算法、基于輪廓特征的跟蹤算法、基于目標特征的跟蹤算法和基于運動特征的跟蹤方算法。

基于區(qū)域特征的跟蹤算法(如Brox[15]等)利用圖像分割結(jié)果進行運動目標定位,再利用定位目標位置對圖像的分割目標進行修正,該類算法在背景單一的環(huán)境中表現(xiàn)良好,但是,目標的運動狀態(tài)和外部形狀復雜多變,如光照變化、外形變化、目標旋轉(zhuǎn)等,在這些情況下,其無法實現(xiàn)區(qū)域特征的匹配。在基于輪廓特征的跟蹤算法中,較經(jīng)典的是Snake模型[16],在實際應(yīng)用中,運動目標的運動場景經(jīng)常存在遮擋問題,導致該類方法不能實時得到外部輪廓,實現(xiàn)輪廓信息匹配的難度較大,即不能對目標進行有效跟蹤?；谀繕颂卣鞯母櫵惴ㄍㄟ^目標的一個或幾個特征信息(如目標顏色、紋理、邊緣等)進行匹配以尋找目標的位置,實現(xiàn)對目標的跟蹤[17],即使目標的一部分被遮擋,也能夠通過部分特征點繼續(xù)對目標進行跟蹤,但當目標發(fā)生旋轉(zhuǎn)或者運動并非勻速或勻加速時,這種方法的部分特征會消失,這時跟蹤效果不夠理想?；谶\動特征的跟蹤算法(如Kalman濾波算法[18]和粒子濾波算法[19])利用歷史視頻幀中目標的運動信息,在整幅圖像范圍內(nèi)進行搜索,找到能夠和前面視頻幀中目標特征相匹配的目標范圍,然后通過檢測技術(shù)將搜索限定在較小范圍內(nèi)。

運動目標所處的場景多種多樣,這些場景對運動目標的檢測和跟蹤帶來較大挑戰(zhàn)。例如,條紋狀背景會造成基于邊緣特征的跟蹤算法失效,或背景與運動目標的顏色相近,使基于顏色特征的目標跟蹤變得困難。光照變化也是運動目標檢測和跟蹤中不可忽視的一個問題,在不同的光線下,人體目標的衣著呈現(xiàn)不同的顏色,使基于顏色特征的跟蹤算法幾乎失效。雖然可采用不同的顏色系統(tǒng)來減輕光照變化對算法的影響,但是光照的變化仍然是困擾目標跟蹤的一個重要因素。遮擋是目標跟蹤場景中的常見情況,目標可能被背景中靜止的物體遮擋,也可能被另外的運動目標遮擋,或者由于自身旋轉(zhuǎn)而遮擋本身的某些信息以遮擋表現(xiàn)為目標信息的逐漸丟失,而跟蹤算法的關(guān)鍵就是搜索足夠多的目標信息以判定目標所在,因此,遮擋給目標跟蹤的結(jié)果帶來不確定性,可能導致目標跟蹤不穩(wěn)定甚至丟失目標等。

根據(jù)以上分析與討論,本文將影響運動目標跟蹤算法性能的因素歸結(jié)為環(huán)境因素、目標特征、跟蹤干擾因素3類,表1～表3分別為3類常見因素的具體描述。

表1 環(huán)境因素的具體情況Table 1 Specific situation of environmental factors

表2 目標特征的具體情況Table 2 Specific situation of target characteristics

表3 圖源跟蹤干擾因素的具體情況Table 3 Specific situation of tracking interference factors of image source

1.2 圖像序列選取

本文選取7個因素作為運動目標跟蹤算法性能評價時所考慮的因素,并對其水平進行適當?shù)膭澐?具體如下:

A因素表示背景與目標特征相似,水平:是/否。

B因素表示形變,水平:有/無。

C因素表示遮擋,水平:有/無。

D因素表示水平面外旋轉(zhuǎn),水平:有/無。

E因素表示水平面內(nèi)旋轉(zhuǎn),水平:有/無。

F因素表示尺度變化,水平:有/無。

G因素表示亮度變化,水平:有/無。

水平值取1或2,各因素水平值劃分具體情況如表4所示。

表4 影響算法性能的各因素水平取值劃分Table 4 Value division factors levels affecting algorithmperformance

1.3 圖像數(shù)據(jù)選取

根據(jù)表4中列出的7個因素2個水平,選用L8(27)表[20]來進行本文試驗。正交表如表5所示,其中,“有”表示這組圖像序列明顯包含該影響因素,如第7組數(shù)據(jù)集C、D和G因素最為顯著。依據(jù)該正交試驗表中的因素水平組合來安排本文測試。

表5 圖像序列的正交試驗表Table 5 Orthogonal test table of image sequence

在表5中,部分因素水平組合的圖像序列在實際情況中不易拍攝到,因此,可以考慮采用圖像合成[21]的方式,即將目標融合到背景圖像中得到無法采集到的圖像。正交試驗方法是完全試驗和簡單對比試驗的結(jié)合,它所選出的數(shù)據(jù)具有代表性,因此,在運動目標跟蹤算法評價中,圖像序列選取的應(yīng)該是能夠考核該算法的具有代表性的圖像序列。而在有些情況下,由于某種原因,部分因素水平組合所需的試驗場景并不能通過拍攝得到或者這部分圖像序列采集代價較高。通過人工合成這些不容易獲得的數(shù)據(jù)圖像序列成為一種有效手段,過程中的關(guān)鍵是使合成的目標與背景更貼近,使之接近于真實的圖像序列。因此,圖像合成在圖像序列運動目標檢測和跟蹤算法評價方面具有十分重要的意義。

1.4 試驗數(shù)據(jù)集

圖1所示為本文試驗所用數(shù)據(jù),其中,方框為數(shù)據(jù)集的基準框,8行圖像分別代表了1組～8組的試驗數(shù)據(jù),每組有3個圖像序列,以避免指標受圖像序列極端狀況的影響而導致試驗失敗。每組試驗選取的3個圖像序列數(shù)據(jù)均滿足該組試驗因素和水平組合的要求。對算法性能表現(xiàn)結(jié)果采用加權(quán)平均和的方式來得到本組試驗的最終準確率結(jié)果。

圖1 試驗數(shù)據(jù)集Fig.1 Experimental dataset

2 正交試驗方案評價機制

在選定測試圖像序列之后,即可進行算法測試和數(shù)據(jù)分析?；谡辉囼灧椒ǖ倪\動目標跟蹤算法性能評價框架如圖2所示。

圖2 基于正交試驗的運動目標跟蹤算法性能評價框架Fig.2 Performance evaluation framework of moving targettracking algorithm based on orthogonal test

基于正交試驗的運動目標跟蹤算法性能評價方法主要包括以下過程:

1)數(shù)據(jù)挑選。按照正交表挑選和組合8組滿足正交表因素水平組合要求的圖像數(shù)據(jù)。

2)算法測試。使用算法分別對8組圖像數(shù)據(jù)進行目標跟蹤,統(tǒng)計每組試驗的結(jié)果。

3)極差分析[22]。極差分析方法(簡稱R法)利用數(shù)理統(tǒng)計方法計算出正交表中該因素在其取值范圍內(nèi)試驗指標變化的幅度,即根據(jù)極差R值來判斷各因素的主次、最優(yōu)的因素水平組合。極差R值計算如下,其中,如果Rj值越大,說明該因素對試驗結(jié)果的影響程度越大。

Kij=Tij/r

(1)

Rj=Tij(max)-Tij(min)

(2)

其中,i為水平數(shù),j為正交表中的列數(shù),即因素數(shù),r為某因素中相同水平重復試驗的次數(shù),Kij為第j列第i水平的試驗平均值,Tij為第j列第i水平的試驗結(jié)果yi之和,Tij(max)為第j列中的最大Tij值,Tij(min)為第j列中的最小Tij值,Rj為第j列的極差值。

4)驗證試驗。正交試驗是以少代多的試驗,根據(jù)試驗得出的因素水平組合并不一定最優(yōu),但是通過它可以獲得算法較好的性能表現(xiàn)。將通過試驗分析所得的優(yōu)選因素組合條件與已做試驗中的最好方案的因素組合條件進行對比驗證,以確定其優(yōu)劣。

3 仿真結(jié)果與分析

本文以選取的圖像序列作為輸入,基于TLD算法和CXT算法對圖像序列中的目標進行檢測,依據(jù)檢測結(jié)果進行極差分析,得出算法的性能評價結(jié)果。本節(jié)將從評價指標、極差分析和試驗結(jié)果評估與分析等方面進行討論。

3.1 評價指標選取與構(gòu)建

運動目標跟蹤算法性能評價標準有多種,如中心誤差、區(qū)域重疊率和準確率等。中心誤差指預測中心點位置與標注的中心位置的歐氏距離,但在實際應(yīng)用中,跟蹤失敗和框的尺寸導致中心誤差的意義不明確。重疊率S表示重疊面積所占的比例,計算如下:

(3)

其中,rt和ra分別表示跟蹤獲得的和真實獲得的邊界框。當重疊率大于特定閾值t0(0

極差Rj在本文中用來表示某因素對算法性能影響的大小。Rj值越大,平均重疊率越小。構(gòu)造式(5)指標作為算法在該因素下的得分情況,其能反映各影響因素之間的關(guān)系。

(4)

表6 2種算法在OTB和本文正交試驗方法下的性能表現(xiàn)對比Table 6 Performance comparison of two algorithms underOTB and text orthogonal test

圖3 CXT算法各影響因素的得分情況Fig.3 Score of each influencing factor of CXT algorithm

3.2 極差分析結(jié)果

圖4～圖7所示為各試驗組下的TLD和CXT算法性能表現(xiàn)對比,括號內(nèi)數(shù)字為AUC值,前8組為算法在各組圖像序列下的性能表現(xiàn),根據(jù)這8組性能表現(xiàn)結(jié)果進行極差分析,最后一組為試驗分析得出的組合因素水平下的算法性能表現(xiàn)。表7、表8所示為算法測試與極差分析結(jié)果。根據(jù)表6～表8的分析結(jié)果得出,7種因素對算法性能影響的強弱關(guān)系為:目標形變影響最大,然后依次是目標遮擋、平面外旋轉(zhuǎn),而光照變化、目標尺度變化、背景相似、平面內(nèi)旋轉(zhuǎn)等因素對算法性能影響稍弱。根據(jù)圖3、表6可以看出,本文正交試驗對CXT算法的各因素得分情況與OTB基本一致。根據(jù)OTB對CXT算法的評估結(jié)果可以看出,算法在目標形變因素下的重疊率最低,因此,目標形變因素對算法性能影響最大,然后依次是目標遮擋、平面外旋轉(zhuǎn)等。顯然,本文得出的因素對算法性能影響的強弱關(guān)系結(jié)果與OTB相一致。

圖4 TLD算法成功率隨像素誤差閾值的變化Fig.4 Success rate of TLD algorithm changing with pixelerror rate

圖5 TLD算法成功率隨重疊率閾值的變化Fig.5 Success rate of TLD algorithm changing with overlaprate threshold

圖6 CXT算法成功率隨像素誤差閾值的變化Fig.6 Success rate of CXT algorithm changing with pixelerror threshold

圖7 CXT算法成功率隨重疊率閾值的變化Fig.7 Success rate of CXT algorithm changing with overlaprate threshold

表7 算法測試結(jié)果Table 7 Results of algorithm tests %

表8 極差分析結(jié)果Table 8 Results of range analysis

根據(jù)優(yōu)選結(jié)果可以看出,TLD算法在有光照變化、無尺度變化、無目標遮擋、無目標形變、無快速運動、有平面外旋轉(zhuǎn)、無背景相似、無平面內(nèi)旋轉(zhuǎn)的最優(yōu)化組合條件下性能表現(xiàn)最佳。顯然,最優(yōu)組合未包含在正交試驗設(shè)計表中,為對正交試驗的優(yōu)化結(jié)果進行驗證,本文對算法在最優(yōu)組合條件下的表現(xiàn)進行測試。按照優(yōu)選結(jié)果,選取平面外旋轉(zhuǎn)和光照變化2種因素最為顯著的圖像序列組合,圖8所示為最優(yōu)組合數(shù)據(jù)集。TLD算法在最優(yōu)因素水平組合(見表9)上準確率達到了0.71,中心誤差為10.00,遠低于其他組。與正交表中的各組指標值進行比較,發(fā)現(xiàn)正交試驗設(shè)計方法所得優(yōu)化組合結(jié)果有效。對于CXT算法,其在各因素對算法性能影響的強弱關(guān)系方面也得到了與TLD接近的結(jié)果,而且優(yōu)選組合結(jié)果的表現(xiàn)優(yōu)于其他組,圖9所示為該算法的最優(yōu)組合數(shù)據(jù)集。

圖8 TLD算法最優(yōu)組合場景數(shù)據(jù)集Fig.8 Dataset of TLD algorithm with optimal combination setting

表9 2種算法性能表現(xiàn)最佳的因素水平組合Table 9 Factor level combination of two algorithms withoptimal performance

圖9 CXT算法最優(yōu)組合場景數(shù)據(jù)集Fig.9 Dataset of CXT algorithm with optimal combination setting

4 結(jié)束語

本文提出一種基于正交試驗的運動目標跟蹤算法性能評價方法。通過引入正交試驗設(shè)計,實現(xiàn)以較少的試驗次數(shù)和數(shù)據(jù)對不同影響因素和水平下的TLD和CXT算法的性能評價,得出各影響因素之間的強弱關(guān)系以及算法性能表現(xiàn)較好時的水平組合。仿真結(jié)果表明,該方法所得出的結(jié)論與實際情況相符。應(yīng)用正交表設(shè)計運動目標跟蹤算法性能評價系統(tǒng)是一種高效、快速且經(jīng)濟的方法,其也為其他圖像處理算法的性能評價提供了借鑒和參考。下一步將考慮對因素水平進行多級量化,以優(yōu)化得分精度并拓展適用場景。