基于全景視覺的目標跟蹤方法研究

基于全景視覺的目標跟蹤方法研究

俞燕燕1,余燁2

(1.浙江信息工程學校,浙江 湖州313000; 2.合肥工業(yè)大學 計算機與信息學院,安徽 合肥230009)

摘要:文章充分利用全景視覺具有360°視域的特點,將其引入視頻監(jiān)控領(lǐng)域,提出了一種基于全景視覺的目標跟蹤方法。該方法基于多攝像機跟蹤的思想,通過分析全景視覺的構(gòu)造,將其分解為基于靜態(tài)相關(guān)聯(lián)多相機的跟蹤。通過劃分視場分界線,確定攝像機間的重疊區(qū)域,并對攝像機間相互關(guān)聯(lián)關(guān)系進行描述和判斷。當目標進入重疊區(qū)域時,通過同一目標在相鄰視域中的關(guān)聯(lián)實現(xiàn)目標交接,以達到在整個全景視覺中實現(xiàn)目標連續(xù)跟蹤的目的。以全景視頻中的行人跟蹤為例,對文中所提的跟蹤方法進行驗證。實驗結(jié)果表明,該方法可以有效解決多相機間的目標交接問題,實現(xiàn)全景視覺下目標的連續(xù)跟蹤。

關(guān)鍵詞:全景視覺;目標跟蹤;多攝像機;視場分界線;目標交接

收稿日期：2014-01-14

基金項目：安徽省自然科學基金資助項目(11040606Q43);安徽省科技攻關(guān)計劃資助項目(12010402108)

作者簡介：俞燕燕(1978-),女,上海市人,浙江信息工程學校講師.

doi:10.3969/j.issn.1003-5060.2015.01.012

中圖分類號:TP391.41文獻標識碼：A

Researchonobjecttrackingmethodbasedonpanoramicvision

YUYan-yan1,YU Ye2

(1.ZhejiangInformationEngineeringSchool,Huzhou313000,China; 2.SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,China)

Abstract:As the field of view of panoramic vision can reach 360 degrees, it is adopted into intelligent surveillance area, and a novel object tracking method based on panoramic vision is proposed. Based on the idea of multi-camera tracking, the panoramic vision system is converted into the static associated multi-camera tracking system. Then through the division of field of view lines, the overlapping area of cameras is determined and the correspondence between the cameras is described and defined. When the target enters into the overlapping area, object handoff is implemented based on the spatial geometric correspondence thus to achieve continuous object tracking in panoramic vision. Pedestrian tracking videos in panoramic vision are adopted as an example to verify this method. The experimental results indicate that the method can efficiently resolve target handoff problem in multi-camera tracking system and meet the goal of continuous object tracking in panoramic vision.

Keywords:panoramicvision;objecttracking;multi-camera;fieldofviewline;targethandoff

由于受到現(xiàn)有設(shè)備、監(jiān)控方式的影響,視頻監(jiān)控的智能化受到限制,存在的原因主要體現(xiàn)在:① 盡管大量使用各種監(jiān)控攝像機,監(jiān)控區(qū)域中仍然存在盲區(qū);② 跟蹤結(jié)果分別處于零散的視頻片段中,自動分析困難,影響對跟蹤結(jié)果的分析和對目標行為的判斷。為解決上述問題,本文充分利用全景視覺具有360°視域的特點,將全景視頻引入目標監(jiān)控領(lǐng)域,提出了一種基于全景視覺的目標跟蹤方法。全景視覺可以對某個監(jiān)控點周圍的情況進行監(jiān)控,從而減少了盲區(qū)存在的概率以及零散視頻片段的數(shù)目,可以有效、直觀地表示跟蹤結(jié)果。

全景視頻是一種將一定數(shù)量的實景圖像拼接成全景圖,從而構(gòu)建全景視覺的技術(shù)。利用該技術(shù),用戶可以通過不同觀測點的切換來實現(xiàn)在虛擬環(huán)境中行走。近年來,隨著全景視覺技術(shù)的不斷成熟,基于全景視覺的目標跟蹤和視頻監(jiān)控逐漸受到了國內(nèi)外研究學者的廣泛關(guān)注。文獻[1]設(shè)計了一個輔助會議活動觀測系統(tǒng)(CAMEO),可通過將其置于房間的中央來獲取周圍場景的全景視頻,然后進一步進行人臉識別和面部信息提取,從而跟蹤人的活動,實驗表明該方法是可行的;文獻[2]設(shè)計了一種嵌入式高分辨率全景視頻監(jiān)控系統(tǒng)KD-PVS,該系統(tǒng)基于嵌入式結(jié)構(gòu),通過對多攝像機采集的視頻進行實時變換和拼接,生成全景視頻,實驗表明，該方法可以很方便地用于金融系統(tǒng)、倉庫、監(jiān)獄和移動監(jiān)控等場合;文獻[3]設(shè)計了一種置頂全景視覺的跟蹤系統(tǒng),實驗表明，該系統(tǒng)可以有效地克服光照和遮擋等復(fù)雜環(huán)境的影響,并實現(xiàn)對機器人的姿態(tài)估計和跟蹤;文獻[4]設(shè)計了一種基于視頻的沉浸式監(jiān)控環(huán)境,并利用視頻處理和球面拼接技術(shù),將(Pan/Tilt/Zoom)攝像機獲取的圖像序列作為數(shù)據(jù)源,實現(xiàn)全景視覺的構(gòu)造,實驗表明，該系統(tǒng)能很好地實現(xiàn)在室內(nèi)或室外環(huán)境中對目標的跟蹤。

根據(jù)視頻監(jiān)控方式的不同,目標跟蹤可以分為基于單攝像機的跟蹤和基于多攝像機的跟蹤兩大類。早期關(guān)于目標跟蹤方面的研究主要集中在基于單攝像機的跟蹤上。文獻[5]提出一種在TMS320DM6437圖像處理平臺上實現(xiàn)目標跟蹤的方法,該算法在塊匹配和幀差法的基礎(chǔ)上引入Canny算子,有效地實現(xiàn)了對目標的跟蹤；文獻[6]提出了一種復(fù)合CV(constantvelocity)模型和CSM(currentstatisticalmodel)模型,并加入了自適應(yīng)切換機制,很好地實現(xiàn)了車輛的定位和跟蹤。

但是,單攝像機拍攝視角受限,在跟蹤時易導致目標丟失,不適用于大范圍場景或復(fù)雜場景下的目標跟蹤。多攝像機協(xié)同跟蹤不僅擴大了監(jiān)視范圍,且能夠較好地解決遮擋情況下的目標跟蹤問題,因此目前基于多攝像機的監(jiān)控系統(tǒng)得到了廣泛的應(yīng)用。

然而,多攝像機的跟蹤受到各攝像機布局的影響,尤其是在球機存在的情況下,因此,多攝像機之間目標的交接問題是基于多攝像機目標跟蹤研究中的一個難點。針對這方面的研究,國內(nèi)外研究者也提出了許多不同的算法。文獻[7]提出了一種基于貝葉斯網(wǎng)絡(luò)融合的方法對復(fù)雜室內(nèi)場景中的行人進行跟蹤,以解決多攝像機下的目標交接問題；文獻[8-9]提出了視場(fieldofview,FOV)的方法,該方法主要針對多攝像機視場間有重疊區(qū)域的情況來實現(xiàn)目標的識別與跟蹤；文獻[10]提出一種迭代加寬的特征融合算法來融合不同的特征,該方法針對無重疊視域的情況解決多攝像機下行人目標匹配跟蹤的問題；文獻[11]提出一種投影不變量與直方圖匹配相結(jié)合的方法,針對視域間具有重疊視場區(qū)域的情況,實現(xiàn)多攝像機下目標的交接。

本文提出的基于全景視覺的目標跟蹤方法,借鑒了基于多攝像機跟蹤的思想,通過分析全景視覺的構(gòu)造,將其分解為靜態(tài)相關(guān)聯(lián)的多攝像機監(jiān)控系統(tǒng),并引入了FOV方法,用于解決多攝像機間的目標交接問題。將本文提出的方法應(yīng)用到某校園監(jiān)控中,對校園中出現(xiàn)的行人進行跟蹤,實驗結(jié)果表明,基于全景視覺的目標跟蹤不僅可以實現(xiàn)在360°視域范圍內(nèi)的目標跟蹤,且跟蹤結(jié)果表現(xiàn)直觀,減少了大量視頻檢索的工作量,并為后期的目標行為分析提供了更直觀、更有效的數(shù)據(jù)支撐。

1全景視覺的數(shù)據(jù)來源

能夠表達視點周圍360°范圍空間信息的視覺稱為全景視覺,其具體構(gòu)造方法為:將在同一視點拍攝的一組圖像映射到簡單的幾何體表面,如球體、立方體或圓柱體,然后通過對投影圖像進行展開及無縫拼接獲得相應(yīng)的全景圖。以全景圖為紋理,將其映射到相應(yīng)的幾何體表面,形成以幾何體中心為視點,幾何體表面為觀察對象的,能夠表示360°視域的視覺,即全景視覺。因此,全景圖為全景視覺的數(shù)據(jù)來源。

與柱面全景視覺、立方體全景視覺相比,球面全景視覺能實現(xiàn)平滑的瀏覽效果,且表示的視覺空間能達到完整的360°,因此,本文以球面全景視覺為數(shù)據(jù)源,在球面全景視覺的基礎(chǔ)上開展研究。

本文采用Ladybug3全景采集設(shè)備獲取的單幅圖像作為數(shù)據(jù)源,以此來構(gòu)造球面全景圖。該全景采集設(shè)備為正五邊形造型,其5個側(cè)面和頂部垂直方向上各設(shè)置1個攝像頭,可通過數(shù)據(jù)傳輸線與電腦進行連接。

在拍攝時,6個攝像頭可同時獲得各視場的圖像,如圖1所示。 對這些圖像進行映射、展開和拼接,形成球面全景圖,以此為數(shù)據(jù)源,構(gòu)造球面全景視覺。

圖1　基于全景采集設(shè)備采集到的圖像

2全景視覺下的目標跟蹤

由于全景視覺可以看成是由靜態(tài)多相機組成的視覺系統(tǒng),因此,借鑒基于多攝像機跟蹤的思想,將基于全景視覺的跟蹤分解為基于靜態(tài)相關(guān)聯(lián)多攝像機的跟蹤。在多相機跟蹤中,判斷在一個攝像機視場中消失的目標是否會出現(xiàn)在下一個攝像機的視場并準確對其定位,是實現(xiàn)多攝像機連續(xù)目標跟蹤的關(guān)鍵,即多攝像機目標交接問題。

對于攝像機視場間具有重疊區(qū)域的情況,只要目標進入當前攝像機視場的重疊區(qū)域,就在對應(yīng)的另一個攝像機視場中尋找該目標并對其跟蹤,如圖2所示,相機1和相機2存在視場重疊區(qū)域,則當目標出現(xiàn)在重疊區(qū)域時,它能同時被相機1和相機2觀察到。假定在相機1中存在一個目標,當其經(jīng)過不斷運動進入重疊區(qū)域,這時只要能在相機2中準確定位出該目標的位置,就能完成目標的交接跟蹤。所以,具有重疊區(qū)域目標交接問題包括計算相鄰視場的重疊區(qū)域和在新視場中準確定位該目標的位置。

圖2　目標交接存在的問題

本文基于全景視覺跟蹤的主要步驟為:首先對組成全景視覺的各攝像機進行視場分界線劃分,然后確定各攝像機之間的關(guān)聯(lián)關(guān)系,基于該關(guān)聯(lián)關(guān)系判斷物體在離開某攝像機視野后所進入的下一個攝像機視野的ID,通過交接時目標的關(guān)聯(lián)關(guān)系,確認并定位在下一攝像機中的目標位置,以實現(xiàn)連續(xù)跟蹤。

2.1　視場分界線的劃分

本文采用全景采集設(shè)備Ladybug3的FOV模型,相鄰攝像機視場間均存在重疊區(qū)域,不僅滿足了全景圖的構(gòu)造條件,也為在全景視覺中實現(xiàn)多攝像機的連續(xù)跟蹤創(chuàng)造了條件。當攝像機的邊界線出現(xiàn)在相鄰相機視場中時,稱邊界線為對應(yīng)攝像機下的視場分界線[9-10]。將全景采集設(shè)備各個攝像機獲得的圖像展開成平面圖,如圖3所示。

圖3　視場分界線示意圖

Ladybug3全景相機共有6個鏡頭,其頂部垂直方向上cam5攝像頭拍攝到的場景基本是上空,在地面場景的跟蹤系統(tǒng)中不起作用,故不做研究。其側(cè)面5個鏡頭cam0～cam4對稱均勻排列,假設(shè)各個攝像機視角為θ,則相鄰攝像機重疊區(qū)域的角度α的計算公式為:

(1)

進一步,根據(jù)幾何關(guān)系,可求得重疊區(qū)域的寬度L為：

(2)

其中,image_width為所拍攝圖像的長度。

通過實驗測量可知,該全景采集設(shè)備各個攝像機的視角θ=93°。則由(1) 式和 (2) 式可求得,重疊區(qū)域的寬度L=0.226×image_width。根據(jù)該比率關(guān)系,即可在圖像中劃分視野分界線,并構(gòu)造出相機的重疊域。

2.2　攝像機間的關(guān)聯(lián)

基于各攝像機之間的位置關(guān)系及視場分界線,判斷相機間是否存在重疊區(qū)域,對各相機進行關(guān)聯(lián),將具有重疊區(qū)域的攝像機組合成一個相機組,各攝像頭的角度如圖4所示。

假定將各攝像機的ID分別命名為cam0、cam1、cam2、cam3、cam4,用一個八元組W表示cami與cami-1和cami+1之間的視角關(guān)系,即

l(i-1)i=0.226×image_width;

l(i+1)i=0.774×image_width。

圖4　全景采集設(shè)備中各攝像頭的角度示意圖

假設(shè)攝像機cami的視場中存在目標(x,y),定義G(x,y)為目標與分界線的關(guān)系函數(shù),以此判斷其目標與2個視場分界線的關(guān)系,具體如下:

(3)

根據(jù)G(x,y)取值,即可判斷當前目標處于攝像機的視場內(nèi)位置,判斷其是否穿過視場邊界線進入重疊區(qū)域,并進一步獲得下一個攝像機的ID。一旦跟蹤到目標進入重疊區(qū)域中,則開啟目標交接機制,對交接時的目標進行關(guān)聯(lián),以實現(xiàn)目標在不同攝像機間的連續(xù)跟蹤。

2.3　交接時目標的關(guān)聯(lián)

當目標穿過視場分界線進入重疊區(qū)域時,根據(jù)目標與分界線的關(guān)系函數(shù)G(x,y)的取值,可以獲取目標的下一個視場的攝像機ID。此時的關(guān)鍵問題是在下一視場中準確定位目標的位置,以實現(xiàn)目標之間的關(guān)聯(lián)。

全景采集設(shè)備各攝像機重疊區(qū)域存在著有規(guī)律的位置對應(yīng)關(guān)系,本文利用該關(guān)系尋找目標在下一視場中可能出現(xiàn)的位置。選擇目標的中心點作為在前一視場中的位置,記為(x0,y0),在下一個攝像機視場中的位置坐標記為(x0′,y0′)。

根據(jù)幾何對應(yīng)關(guān)系,可求解目標在相鄰兩攝像機重疊區(qū)域中的位置關(guān)系為:

(4)

假設(shè)在下一個攝像機視場中檢測到n個目標,其位置分別記為(x1,y1),(x2,y2),…,(xn,yn),則將距離(x0′,y0′)位置最近的目標視為正在跟蹤的目標,即

obj=min[(xi-x0′)2+

(5)

3實驗結(jié)果

實驗中選用的測試圖像均由Ladybug3全景采集設(shè)備所采集,系統(tǒng)開發(fā)基于VS.net2012和OpenCV2.4.7。以行人的跟蹤為例,對本文算法進行測試。行人跟蹤的方法采用文獻[12]提出的跟蹤方法。

在跟蹤過程中,各攝像機的跟蹤結(jié)果如圖5所示。隨機選取一個攝像機,對在該攝像機中出現(xiàn)的行人進行跟蹤,當行人進入視域重疊區(qū)時,則自動判斷和該相機相關(guān)聯(lián)的下一個攝像機的ID,并在該攝像機中關(guān)聯(lián)目標,實現(xiàn)該目標行人的連續(xù)跟蹤。圖5a表示行人首先出現(xiàn)在cam2的視域范圍內(nèi),并且位于重疊區(qū)域外,所以只在cam2的視域內(nèi)對行人進行跟蹤;圖5b表示當在cam2視域范圍內(nèi)的目標行人進行重疊域后,自動判斷下一個關(guān)聯(lián)攝像機ID為cam3,并進行加載顯示,同時開始在cam3的視域中進行跟蹤,此時行人只部分進入重疊區(qū)域,所以未能在cam3視域內(nèi)檢測到行人;圖5c表示當行人完全進入重疊域后,在關(guān)聯(lián)攝像機cam3中找到了該行人,并繼續(xù)在cam3中對其進行跟蹤。

通過對各相機所獲取圖像的映射、拼接形成全景視頻,并以穹頂圖的形式來展示在全景視頻中的跟蹤結(jié)果,如圖6所示。結(jié)果表明,本文提出的基于靜態(tài)多相機的跟蹤方案可以很好地解決全景視覺下的目標跟蹤問題,并獲得較好的跟蹤效果。

圖5　在全景視覺的相鄰相機中跟蹤目標

圖6　跟蹤結(jié)果在全景視覺的穹頂圖中的顯示結(jié)果

4結(jié)束語

本文將全景視覺引入視頻監(jiān)控領(lǐng)域,提出了一種基于全景視覺的目標跟蹤方法。該方法通過分析全景視覺的構(gòu)造,將其分解為基于靜態(tài)相關(guān)聯(lián)多攝像機的跟蹤。由于全景采集設(shè)備各攝像機視場間的重疊區(qū)域具有一定規(guī)律性,可以很好地解決傳統(tǒng)多攝像機跟蹤系統(tǒng)易受攝像機布局影響的問題。借鑒了基于多攝像機跟蹤的思想,利用視場分界線,對各攝像機間的關(guān)聯(lián)和重疊區(qū)域進行描述,通過求解攝像機間目標交接時的目標關(guān)聯(lián)問題,實現(xiàn)全景視覺下的目標連續(xù)跟蹤。將本文方法應(yīng)用于行人跟蹤中,實驗結(jié)果表明,本文方法不僅可以有效地實現(xiàn)全景視覺下的目標跟蹤,而且跟蹤結(jié)果表現(xiàn)直觀,減少了大量視頻檢索的工作量,可以為后期的目標行為分析提供更直觀有效的數(shù)據(jù)支撐。

[參考文獻]

[1]RybskiPE,delaTorreF,PatilR,etal.Cameo:cameraassistedmeetingeventobserver[C]//ProcofInternationalConferenceonRobotics&Automation,2004:1634-1639.

[2]馬力,張茂軍,徐瑋,等.采用視頻拼圖方法構(gòu)建高分辨率全景視頻監(jiān)控系統(tǒng)[J].中國圖象圖形學報,2008(12):2291-2296.

[3]Gupta,OK,JarvisRA.Robustposeestimationandtrackingsystemforamobilerobotusingapanoramiccamera[C]//IEEEInternationalConferenceonRobotics,AutomationandMechatronics(RAM),2010:533-539.

[4]HsiehCT,HanCC,HuCC.Constructionofapanoramicimageforavideo-basedtrackingsystem[J].JournalofInformationTechnologyandApplications,2010,4(1):1-10.

[5]蔣建國,李明,齊美彬.基于TMS320DM6437 的運動目標實時檢測與跟蹤[J].合肥工業(yè)大學學報:自然科學版,2011,34(7):1007-1010,1023.

[6]劉征宇,魏昕,齊琴,等.基于復(fù)合模型的車輛定位跟蹤算法[J].合肥工業(yè)大學學報:自然科學版,2009,32(11):1645-1647.

[7]ChangTH,GongSG.Trackingmultiplepeoplewithamulti-camerasystem[C]//IEEEWorkshopMulti-ObjectTracking,2001:19-26.

[8]SohaibK,MubarakS.Consistentlabelingoftrackedobjectsinmultiplecameraswithoverlappingfieldsofview[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003(10):1355-1360.

[9]SohaibK,OmarJ,ZeeshanR,etal.Humantrackinginmultiplecameras[C]//ProcofIEEEInternationalConferenceonComputerVision,2001:331-336.

[10]呂曉威,孔慶杰,劉允才.無重疊視域攝像機間人目標匹配的特征融合算法[C]//全國模式識別學術(shù)會議,2008:73-78.

[11]歐陽寧,劉釗.重疊視野域內(nèi)多攝像機目標交換算法[J].激光與紅外,2009(9):995-998.

[12]AndriyenkoA,SchindlerK,RothS.Discrete-continuousoptimizationformulti-targettracking[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon,2012:1926-1933.

(責任編輯閆杏麗)