基于改進DLT算法的單目標識別跟蹤研究

黃君君

(福建農(nóng)業(yè)職業(yè)技術學院 信息工程學院,福建 福州 350007)

0 引言

計算機視覺技術日益受到學者、專家的關注。其中,視頻流中未知目標物體的檢測跟蹤識別是計算機視覺中重要的一部分,具有很廣的應用情景。比如,社會面視頻監(jiān)控、智能交通、銀行、門禁、機器視覺,及人機交互、司法取證鑒定等[1]。視頻跟蹤識別的研究目的是獲取運動物體的外在信息,通過相關技術對獲取的信息進行分類,提高機器的識別判斷能力,為視頻中的目標行為、動態(tài)分析提供重要的數(shù)據(jù)[2]。因此,許多國內(nèi)外的學者和愛好者從事相關技術的研究,相關的軟硬件技術得到廣泛應用[3]。國內(nèi)的先驅研究者在該技術領域進行了深入的研究,包括從開始簡單的單目標檢測、跟蹤識別到復雜的多目標檢測、跟蹤識別[4-5]。李志堅等[6]設計了一種高效的概念服務器頁面(concept server page,CSP)結構,提高了視頻圖像特征提取能力,結合Deep Sort追蹤算法實現(xiàn)車輛軌跡檢測和跟蹤的精度達92.8%。邱磊等[7]基于輕量化的EfficientDet網(wǎng)絡和視頻合成孔徑雷達(synthetic aperture radar,SAR)多特征提取技術,解決了SAR陰影目標檢測與跟蹤的干擾嚴重、精度低等問題。任紅格等[8]針對復雜環(huán)境視頻圖像目標丟失問題,通過ResNet進行深層特征提取,建立短期記憶尺度金字塔,提升視頻目標跟蹤的成功率。此外,清華大學、中國科學院、華中科技大學、上海交通大學、南京理工大學、西安電子科技大學等高等院校在視頻目標的抓取、檢測、跟蹤、識別方面做了大量的理論研究,在理論上取得了突破。但是,目前國內(nèi)的研究工作主要是基于理論的研究,還沒有研發(fā)出穩(wěn)定性高、實時效果好的視頻跟蹤檢測系統(tǒng)。

本文以視頻中運動目標的跟蹤檢測識別算法為主要研究對象,采用直接線性變化算法(direct linear transformation,DLT),構成DLT算法的三大部分,分別為基于光流法的跟蹤器、基于級聯(lián)分類器的檢測器和基于P-N學習的學習器。根據(jù)不同的情況對DLT算法進行測試,分析各種情況的測試結果,得出算法中的不足之處,并結合實際情況進行改進,為視頻圖像目標檢測和跟蹤技術深度開發(fā)提供理論支撐。

1 DLT算法及其改進

1.1 DLT算法結構

DLT算法是一個用于針對視頻中未知物體長期跟蹤的架構。DLT長時間跟蹤任務由3個子任務組成[9],這3個子任務都有各自的功能模塊,算法運行時,它們是相互關聯(lián)并一起運行。跟蹤器模塊對視頻流里的幀不停得跟蹤;檢測器模塊把之前檢測到的目標框通過分類器進行處理,根據(jù)需求更正跟蹤器的錯誤;學習器模塊通過P-N學習對檢測器進行估計,并產(chǎn)生檢測器的錯誤,根據(jù)這些錯誤及時更新檢測器,從而避免檢測器在以后的檢測中出現(xiàn)類似的錯誤。DLT中三大組成部分的工作流程見圖1所示。

圖1 DLT算法架構圖

1.1.1基于級聯(lián)分類器檢測算法

視頻流中每幀圖像上有個掃描窗[10],掃描窗逐行掃描圖像上的任何一個區(qū)域。掃描到的每個位置形成一個矩形框,矩形框里的圖像區(qū)域里的目標成為一個圖像元,每個圖像元的標簽用一個點表示。掃描窗在掃描時,把每一個圖像元看成彼此獨立的。若網(wǎng)格中有N個矩形框,即圖像元的個數(shù),則每一幀有2N個標簽組合。因此,每個圖像幀將產(chǎn)生矩形框的數(shù)量非常多,這些矩形框中有許多是沒有用的,為了提高算法的處理速度,需要對這些矩形框進行篩選、分類,即采用級聯(lián)分類器,其包含3個級別:1)圖像元灰度方差分類器;2)集成分類器;3)最近鄰分類器。級聯(lián)分類器各個級別之間工作流程見圖2所示。

圖2 級聯(lián)分類器框圖

計算圖像塊的方差是級聯(lián)分類器的第一個級別,如果當前的圖像元與目標圖像元的像素值方差小于50%,則淘汰當前的圖像元;集成分類器是級聯(lián)分類器的第二個級別,它是基于改進的隨機森林,即隨機蕨;最近鄰分類器是級聯(lián)分類的最后一個級別,分類的參考標準是通過前面所算的相關相似度,與閾值θNN相比較,如果大于閾值θNN,那么圖像元所在位置就是目標區(qū)域,閾值θNN是通過測試得到的實驗值,它的范圍在0.5～0.7之間[11]。

1.1.2基于光流法的追蹤算法

DLT算法的跟蹤模塊主要基于中值的光流法。使用光流法對目標物體進行跟蹤檢測,如果目標物體不運動的,則光流法失效,特征點將會丟失。為了解決這個問題,跟蹤目標特征點的選取是通過FB誤差和歸一化互相關系統(tǒng)來獲取,提高了特征點的準確度。跟蹤過程主要反映時域和空域上正反連續(xù)性,基于此提出了FB誤差,即跟蹤目標在t時刻位置上產(chǎn)生一個像素灰度的值,預測跟蹤目標運動到t+1時刻,再從t+1時刻運動到t時刻的位置,獲得預測t時刻位置像素點的灰度值,根據(jù)初始位置的像素灰度值與預測位置的像素灰度值求絕對差(即FB誤差)。FB誤差產(chǎn)生過程見圖3所示。

圖3 FB誤差圖

歸一化互相關[12]的匹配程度是指固定模板跟待匹配圖像的相關值。假設圖像幀F(xiàn),模板圖像元T,從F中隨機選取一塊跟模板T一樣大小的子圖像塊fu,v,其中(u,v)為子圖像塊左下角的坐標。子圖像塊與模板的歸一化互相關值為R(u,v)。R(u,v)的計算方法見式(1)。

(1)

1.1.3基于DLT算法的位置識別

DLT算法是通過最小二乘法對線性變換系數(shù)l的解算與目標空間坐標(X,Y,Z)方程的解算,實現(xiàn)識別框的定位:

(2)

式中,li(i=1,2,…,k)為變換系數(shù),其數(shù)量與控制點的精度有關,精度越高則數(shù)量越多,反之則越少。

1.2 DLT算法的改進

1.2.1閾值參數(shù)的變化分析

DLT原算法中共有17個參數(shù),每個參數(shù)的變化都會影響算法的實時效果及算法的效率。在DLT原算法中的參數(shù)分別為

min_win=15,patch_size=15,num_tree=10,angle_init=20,noise_init=5,num_closest_update=10,valid=0.5,ncc_thesame=0.95,thr_nn=0.65,thr_nn_valid=0.7,shift_init=0.02,scale_init=0.02,overlap=0.2,et al

通過自適應閥值的選擇提高跟蹤性能,比如patch_size參數(shù)的選取決定歸一化互相關系數(shù)的值。原算法中它的值被鎖死(如原patch_size=15),當目標圖像變大,并且里面的目標的特征點較多,將會影響到檢測跟蹤的效果。因此,在目標空間坐標的計算方程中引入放大或縮小系數(shù)α：

(3)

式中,α為放大或縮小系數(shù)。改進后patch_size根據(jù)目標框的大小,自動選取,從而避免了圖像變大,而影響跟蹤效果。

1.2.2目標矩形框選取分析

原DLT中沒有用到聚類算法,本文設計一種對跟蹤到的目標框的聚類算法,將空間重疊度大于一定閾值的跟蹤目標框歸為一類,把小于閾值的跟蹤目標框歸為不同的類,計算出各類跟蹤目標邊界框的位置、大小和置信度。這樣當各個跟蹤器預測出的目標框出現(xiàn)偏移的時候,通過跟蹤目標邊界框的聚類,跟蹤器便能夠對跟蹤到的目標框進行適當?shù)恼{(diào)整,可以降低聚類后的目標框對像素點的選擇敏感程度,以便增加跟蹤器對目標遮擋和對光照變化的魯棒性,從而可以提高最后目標框的位置和大小的精度,進而提高TLD中跟蹤器的性能。這里的聚類算法是輸出聚類以后的各個聚類目標框。目標框聚類算法的流程見圖4所示。

圖4 目標框聚類算法的流程圖

2 結果分析

2.1 測試平臺配置環(huán)境

本文中用的是VS2010、OpenCV開發(fā),利用Cmake,VS2010和TBB下編譯OpenCV,調(diào)用OpenCV庫函數(shù)。為了更好地測試原算法的性能,做如下界面,將從攝像頭獲取的視頻顯示在MFC中Picture Control控件中,測試過程中分為有學習與無學習過程,無學習過程是指不進行學習與檢測單獨跟蹤。為了驗證改進后算法檢測跟蹤的效果更加理想,對原算法和改進后算法進行跟蹤的速度、距離、角度、環(huán)境、不同物體等方面進行測試。

2.2 DLT算法測試結果

2.2.1目標角度旋轉變化及其跟蹤效果分析

為了分析當物體位置發(fā)生變化時,跟蹤效果是否受到影響,角度范圍內(nèi)依然能夠跟蹤到目標物體。對DLT算法進行角度旋轉測試,以中心位置誤差(即跟蹤目標中心位置與手工標定的準確位置之間的平均歐式距離,該值越小則代表準確率越高)和成功率(測試目標框與真實目標框的重疊率,當重疊率大于50%時即為跟蹤成功)為跟蹤效果指標,測試結果見表1所示。通過對角度的測試,目標物體在固定一個角,保證其他條件不變的情況下,依次緩慢地旋轉,當物體的旋轉角度由0°逐漸轉為70°時中心位置誤差逐漸增大,即跟蹤準確率逐漸下降;當角度等于70°時,則跟蹤將會丟失。

表1 目標物體角度發(fā)生變化情況

2.2.2目標物體不同遮擋程度的跟蹤分析

為分析目標物遮擋程度對跟蹤效果的影響,以中心位置誤差和成功率為跟蹤效果指標,進行正負遮擋測試。正測試:人臉遮擋面積由0逐漸增加至2/3;負測試:人臉遮擋面積由2/3逐漸減小至0,測試結果見表2所示。

表2 不同遮擋程度的效果情況

在保持其他條件不變下,當目標被遮擋0～2/3時,目標能夠跟蹤到,中心位置偏差逐漸增大;當被遮擋超過2/3時,中心位置誤差為94.2,目標將會發(fā)生丟失。當目標被遮擋2/3～0時,中心位置偏差逐漸減小;當遮擋小于1/3時,能夠成功地跟蹤上目標。

2.2.3不同光照下的跟蹤情況

為了測試不同光照(白天和黑夜)條件下DLT算法檢測跟蹤的目標性能,分別對滿足跟蹤條件的目標物進行測試,結果見圖5所示。

圖5 人臉在白天與黑夜下相似度分布的直方圖

從圖5的數(shù)據(jù)可以看出,白天的跟蹤效果比晚上好,白天相似度集中在0.6～1.0之間的圖像元數(shù)比晚上要多。

2.3 改進前后算法目標矩形框中像素點的選取

2.3.1像素點選取

算法中像素點的選取也是非常關鍵的一步,原算法中每個框里總特征點數(shù)是固定的,如果目標靠近攝像設備,框里總特征點較少,對于特征描述不夠詳細,目標容易丟失,從而影響目標物體的檢測跟蹤效果。改進前后的測試結果見圖6所示。

圖6 像素點數(shù)隨著目標框變化的跟蹤情況

從圖6可以看出,通過改進后,目標框內(nèi)的像素點數(shù)隨著矩形框大小的變化而變化,同時相應的特征點也隨之變化,對于特征的描述更加準確。

2.3.2目標跟蹤距離及其跟蹤效果分析

為分析單目標在線跟蹤過程中目標跟蹤距離對跟蹤效果的影響,以中心位置誤差和檢測時間(跟蹤指令開始至識別框出現(xiàn)的時間)為跟蹤效果指標,對目標離攝像頭距離為0.6～3.6 m進行原DLT算法和改進DLT算法的跟蹤測試,結果見表3所示。

表3 不同跟蹤距離的效果情況

從表3可知,目標離攝像頭在0.6～1.2 m之間時,原DLT算法跟蹤效果很好,中心位置誤差均小于5.0,并且檢測速度快、延遲短,檢測時間小于30 ms;距離在1.8～3.6 m,跟蹤效果一般,檢測速度有點卡、延遲較長,檢測時間大于40 ms;尤其是當距離為3.6 m時,中心位置誤差達89.1。而改進DLT算法在0.6～3.0 m之間的跟蹤效果均很好,在3.6 m時跟蹤效果一般,中心位置誤差為64.0,但檢測時間延遲,檢測時間達70.3 ms。綜上所述,改進DLT算法的檢測跟蹤的效果比原DLT算法更加理想。

2.3.3目標運動速度及其跟蹤效果分析

為分析單目標在線跟蹤過程中目標運動速度(通過手持速度檢測儀測定運動速度)對跟蹤效果的影響,以中心位置誤差和成功率為跟蹤效果指標,對目標離攝像頭距離為3 m進行原DLT算法和改進DLT算法的跟蹤測試(目標物為書本,在檢測視野范圍內(nèi)直線運動),結果見表4所示。

表4 不同運動速度的效果情況

從表4可知,目標運動速度在5.1～39.4 km/h之間時,原DLT算法和改進DLT算法的跟蹤效果均較好。在目標運動速度為59.7 km/h時,原DLT算法的跟蹤識別效果一般,而改進DLT算法的跟蹤效果均很好。綜上所述,目標運動測試中改進DLT算法的檢測跟蹤的效果比原DLT算法更加理想。

3 結語

DLT算法采用固定圖像元的像素點數(shù)方法進行目標跟蹤,視頻中目標物體因移動或光照變化等原因,導致目標物像素點變化明顯影響跟蹤效果。本文運用一種新的在線學習機制P-N學習改進DLT算法,用標記樣本訓練分類器,修改錯誤的正負樣本,然后通過分類器對未被標注的數(shù)據(jù)進行標注,依次進行迭代訓練。利用誤差法和NCC法篩選出跟蹤點,根據(jù)跟蹤點的位置和距離的變化計算出目標框的大小和位置,實現(xiàn)目標跟蹤。結果表明,改進后的DLT算法的目標跟蹤的魯棒性增強,能夠根據(jù)目標框的實際情況獲取有效的特征點,減少視頻流中的目標過大或過小導致跟丟的情況。