魚眼相機導引下的雙目跟蹤系統(tǒng)

劉 蕾,朱均超,丁晨曦

(天津理工大學 天津市復雜系統(tǒng)控制理論及應(yīng)用重點實驗室,天津 300384)

1 引 言

目前監(jiān)控系統(tǒng)的應(yīng)用越來越廣泛,如銀行、監(jiān)獄、機場、商場等[1]。在監(jiān)控視場小的一般監(jiān)控領(lǐng)域,用普通鏡頭即可滿足要求,在軍事、安防等特殊領(lǐng)域,由于檢測視場范圍大,用普通鏡頭難以達到要求。因此越來越多的研究者把目光放在了全景攝像機上。目前全景攝像機主要包括多鏡頭式和單魚眼鏡頭式、混合式三種[2-6]。多鏡頭式采用多個鏡頭進行多角度拍攝,通過圖像拼接實現(xiàn)全景監(jiān)控,如文獻[2]采用了基于多特征融合的多攝像機人體跟蹤方法,實現(xiàn)技術(shù)復雜,成本較高。單魚眼鏡頭式采用一個魚眼相機進行監(jiān)控,如文獻[3]設(shè)計了一種改進的魚眼相機監(jiān)控系統(tǒng),文獻[4]提出了一種基于魚眼相機的人體檢測方法。與傳統(tǒng)攝像機相比,魚眼相機具有監(jiān)控視角大的突出優(yōu)勢。魚眼圖像存在較大畸變,越到邊緣畸變越大,且成像分辨率也越來越低[7],使得魚眼相機觀測全景圖像時,難以感知目標細節(jié)信息。因此,將傳統(tǒng)攝像機和魚眼相機的優(yōu)點結(jié)合起來具有重要的研究意義。目前,混合式多為全景相機與PTZ(Pan-Tilt-Zoom)相結(jié)合[5-6],根據(jù)本課題監(jiān)控的具體需求,本文采用魚眼相機導引下的雙目跟蹤系統(tǒng),應(yīng)用魚眼相機進行全景觀測,應(yīng)用雙目立體相機進行目標測距等細節(jié)觀測。從而實現(xiàn)超廣角、高精度的智能監(jiān)控。

2 系統(tǒng)設(shè)計

2.1 總體結(jié)構(gòu)

系統(tǒng)總體結(jié)構(gòu)由四部分組成,即作為導引系統(tǒng)的魚眼相機、旋轉(zhuǎn)云臺，作為跟蹤系統(tǒng)的雙目相機和作為處理與控制系統(tǒng)的計算機,其系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。魚眼相機位于系統(tǒng)中央,雙目相機固定于旋轉(zhuǎn)云臺上,且雙目鏡頭基線中垂線與魚眼相機光軸垂直?？刂婆c監(jiān)控功能由計算機完成。

圖1 系統(tǒng)結(jié)構(gòu)示意圖

2.2 監(jiān)控系統(tǒng)

監(jiān)控系統(tǒng)包含兩個主要模塊,即魚眼相機圖像處理模塊和雙目相機圖像處理模塊,其系統(tǒng)總體功能框圖如圖2所示,系統(tǒng)啟動后,魚眼相機對前方半球空間進行監(jiān)控,并將監(jiān)控視頻輸入到監(jiān)控主機,監(jiān)控主機對魚眼相機的監(jiān)控視頻進行處理,若發(fā)現(xiàn)目標,則對目標圖像進行處理,提取出目標,并計算出目標的方位角。然后通過旋轉(zhuǎn)云臺控制雙目相機定位到目標物,最后將拍攝到的雙目圖像輸入到監(jiān)控主機進行進一步處理。

由于雙目圖像是對目標的高分辨率指向性成像,因此在下一步的研究中可以采用普通圖像處理方法對其進行處理,然后進行目標識別及相關(guān)屬性參數(shù)計算,完成目標的識別和跟蹤。

圖2 系統(tǒng)總體功能框圖

3 系統(tǒng)監(jiān)控工作原理

3.1 運動目標檢測

目前運動目標檢測通常有三種方法,即光流法,幀差法,背景差法[8]。光流法的計算量很大,并且對噪聲比較敏感,不利于實時處理[9]。幀差法能夠適應(yīng)環(huán)境的動態(tài)變化,并實現(xiàn)實時監(jiān)測,但容易出現(xiàn)目標拉伸和空洞的問題[10]。因此選擇背景差法進行運動目標檢測,背景差法的關(guān)鍵在于背景建模和前景提取。在實際應(yīng)用中,光照變化,虛假動作,場景擁擠及高斯噪聲等都會影響目標的檢測和跟蹤[11],因此本文采用了基于模糊熵和大爆炸算法(BBBCO)的背景差目標檢測算法[11]。具體檢測流程如圖3所示。

背景差運算將當前幀與背景幀做差值,此時得到的圖像除目標物像素差值外,還有部分其他像素差值存在,根據(jù)模糊熵概念,采用BBBCO方法確定閾值:

(1)

式中,T表示閾值;a*,b*,c*表示使當前圖像幀總熵取最大值時的前景圖像模型參數(shù)最優(yōu)解。閾值T用于差分圖像二值化操作。

魚眼圖像具有高信噪比及低分辨率,取連續(xù)五幀圖像,濾波、增強后求平均運算作為初始背景。在實際應(yīng)用中,通常不需要每一幀圖像都進行背景更新,當光線變化或出現(xiàn)目標物時需要更新背景,背景更新率為α,α為最優(yōu)閾值與最大閾值的比值。設(shè)初始背景為b0,更新后背景為b,當前幀為f,則更新后背景為:

b=(1-α)b0+αf

(2)

圖3 運動目標檢測流程圖

3.2 圖像中心點標定

由于魚眼相機裝配引入的誤差,相機光學中心與獲得的魚眼圖像中心不能完全重合,采用最小二乘法擬合出圓對其進行標定[12]:

R2=(x-u0)2+(y-v0)2

(3)

x2+y2+ax+by+c=0

(4)

由上式在已知a,b,c的前提下便可求出(u0,v0)的數(shù)值。假設(shè)(i=1,2,3,…,n)為魚眼圖像邊緣上的采樣點,根據(jù)最小二乘法原理,誤差平方和Qa,b,c為:

(5)

Q(a,b,c)大于零,存在大于或等于零的極小值,對a,b,c求偏導數(shù)并令偏導等于零,便可以得到極值點,通過比較各極值點的函數(shù)值可得最小值,即:

(6)

(7)

(8)

令C,D,E,F,G為:

(9)

則由式(6)、(8)、(9)可得:

Ca+Db+G=0

(10)

則由式(7)、(8)、(9)可得:

Da+Fb+G=0

(11)

則a,b可表示為:

(12)

所以,參數(shù)u0,v0和R可以通過以下公式獲得:

(13)

3.3 目標物角度測量

在監(jiān)控過程中,目標物在地面上運動,魚眼相機和雙目相機的設(shè)置如圖4(a)所示,魚眼鏡頭的成像模型如圖4(b)所示,其中包括兩個坐標系,魚眼相機坐標系X,Y,Z、圖像坐標系u,v,圖像坐標系原點O′為u0,v0。雙目相機的基線垂直于Y軸,光軸平行于Y軸,魚眼相機中心點和雙目相機中心點坐標分別為0,0,Z0,0,Y0,0,PX,Y,0為物點,P點在XOY面內(nèi)與Y軸正方向夾角為θ,雙目相機的初始位置為Y軸正方向,找到P點需要轉(zhuǎn)動的角度為θ,下一時刻物點為P′X′,Y′,0,P′與Y軸所成夾角為θ′,雙目相機找到P′需要轉(zhuǎn)動角度為(θ′-θ),正值順時針旋轉(zhuǎn),負值逆時針旋轉(zhuǎn)。因此,旋轉(zhuǎn)云臺旋轉(zhuǎn)角度計算的關(guān)鍵是求物點與Y軸的夾角。物點P在魚眼圖像中的像點P′′與圖像坐標軸的夾角α可由式(14)求得,本文采用參數(shù)分離法[13]建立空間夾角θ與像點夾角α之間的代數(shù)關(guān)系。

圖4 角度測量模型

(14)

由角α擬合得到角θ,擬合公式為:

(15)

式中,K為畸變系數(shù)矩陣,由固定靶標標定獲得,如圖5(a)所示,靶標中θ值已知,魚眼相機正對靶標采集圖像,如圖5(b)所示,圖像中射線夾角具有近似α的特征,擬合后求得畸變矩陣K。

圖5 角度標定靶標圖

角度標定精度與靶標的射線數(shù)量有關(guān),提高精度方法為增加靶標的射線數(shù)量,使靶標中心與光學中心重合,增加擬合數(shù)據(jù)樣本,雙目相機初始化嚴格在系統(tǒng)0°。

3.4 雙目相機測距

雙目視覺系統(tǒng)通過左右兩臺攝像機拍攝同一物體不同角度的兩張圖片,由同一點在兩幅圖片中的位置信息可計算出它在世界坐標系中的三維坐標[14]。雙目視覺原理可抽象為圖6所示的空間幾何模型,兩臺攝像機光軸互相平行,內(nèi)部參數(shù)和外部參數(shù)由標定獲得,則空間目標點P的三維坐標可由式(16)描述:

(16)

式中,ML與MR為兩臺攝像機參數(shù)矩陣,由標定獲得[14];PL、PR分別為目標點在兩臺攝像機采集圖像中的像坐標;PW為目標點在世界坐標系中的像坐標。

圖6 雙目測距模型

4 系統(tǒng)組成及實驗結(jié)果分析

4.1 系統(tǒng)組成

魚眼相機導引下的雙目跟蹤系統(tǒng)由硬件和軟件兩部分組成。硬件組成主要包括電源、魚眼相機、攝像機、雙目相機、旋轉(zhuǎn)云臺、PC機、顯示器等,系統(tǒng)實物圖如圖7所示,監(jiān)控流程如圖8所示。

圖7 系統(tǒng)實物圖

圖8 系統(tǒng)監(jiān)控流程圖

4.2 角度測量精度分析

角度測量精度直接影響目標定位的精度,實驗分兩步進行角度測量。(1)目標到系統(tǒng)初始距離固定為3 m,從0°到360°每次間隔確定角度進行測量；(2)改變目標到系統(tǒng)的距離,為5 m、8 m,分別按步驟(1)中角度測量方法操作。

目標物角度測量示意圖如圖9(a)所示,測量過程中,記錄目標物實際角度和目標物計算角度。角度測量結(jié)果如表1所示。角度測量誤差如圖9(b)所示。

圖9 不同距離角度測量誤差

實際值測量值(3m)測量值(5m)測量值(8m)1010．210．210．33030．330．430．34545．245．245．16060．360．360．29090．290．291．3120120．3120．2120．2150150．4150．3150．1180180．3180．2180．4225225．4225．2225．4270270．3270．3270．4360360．2360．3360．3

實驗結(jié)果表明,在3～8 m距離內(nèi),角度測量的誤差均在1°以內(nèi),引入誤差主要原因為大畸變魚眼圖像主點坐標的標定精度。

4.3 監(jiān)控結(jié)果分析

系統(tǒng)實驗在室內(nèi)場景完成,系統(tǒng)對目標進行監(jiān)控并完成目標距離測量,分別在3 m,5 m,8 m處進行100次測量,魚眼相機監(jiān)控及目標定位結(jié)果圖10所示。

圖10 監(jiān)控結(jié)果

圖10顯示了監(jiān)控系統(tǒng)的實際效果。圖10(a)、10(c)為自然條件下檢測結(jié)果,圖10(b)、10(d)為增加光照后的檢測結(jié)果。從檢測結(jié)果圖可知基于模糊熵和大爆炸算法(BBBCO)的背景差目標檢測算法能準確的識別出目標。雙目相機目標捕獲結(jié)果如圖11所示。

圖11(a)、(c)圖為雙目左相機拍攝圖片,圖11(b)、11(d)為雙目右相機拍攝圖片,可以看出目標完整的出現(xiàn)在雙目圖像中,且位置合適,這表明目標物空間角測量精度滿足系統(tǒng)要求。

根據(jù)文獻[15]對目標特征提取、匹配、測距。特征提取如圖12所示,目標匹配點及測距結(jié)果如表2所示,其中,相機鏡頭焦距為2230 pixel,基線為 30 mm。

目標距離左圖特征點右圖特征點測量距離/mm相對誤差/%3m(455．965，508．579)(433．745，507．763)??(459．088，422．179)(436．531，422．270)(460．330，447．218)(438．037，446．299)3089．0532．975m(487．321，521．368)(473．971，521．679)??(499．785，523．125)(486．425，522．518)(505．357，524．658)(492．017，523．096)5121．2382．4258m(530．494，561．325)(522．146，560．064)??(490．784，558．451)(482．425，559．324)(550．064，563．734)(541．724，563．067)8212．9432．662

由表2可得,雙目測距系統(tǒng)在監(jiān)控范圍內(nèi)測距誤差在3%以內(nèi),滿足系統(tǒng)測距要求。

在不同距離下,魚眼目標識別率、虛檢率、雙目相機目標捕獲率如表3所示。

表3 系統(tǒng)測試結(jié)果

由表3可得運動目標檢測算法具有較高的識別率,但存在一定的虛檢率,雙目相機能準確的抓獲目標,當距離過小時會出現(xiàn)目標運動過快脫離雙目視場的情況,通過提高系統(tǒng)實時性可以改善。

5 結(jié)束語

根據(jù)超大視場智能監(jiān)控系統(tǒng)的實際要求,提出魚眼相機導引下的雙目跟蹤系統(tǒng),采用模糊熵和大爆炸算法(BBBCO)的背景差目標檢測算法準確識別目標,角度標定法確定目標相對雙目相機的位置,數(shù)據(jù)結(jié)果表明該系統(tǒng)具有導引視場角大的優(yōu)勢,所觀測目標位置合適,可有效進行目標跟蹤,為大范圍智能監(jiān)控提供了技術(shù)基礎(chǔ),完善系統(tǒng),提高系統(tǒng)實時性為下一步研究重點。

[1] Arroyo R,Yebes J J,Bergasa L M,et al.Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls[J].Expert Systems with Applications,2015,42(21):7991-8005.

[2] WANG Jiangong,LIN Guoyu.Human tracking method based on multiple features fusion across multiple cameras[J].Journal of Jilin University:Information Science Edition,2014,32(6):675-683.(in Chinese)

王建功,林國余.基于多特征融合的多攝像機人體跟蹤方法[J].吉林大學學報:信息科學版,2014,32(6):675-683.

[3] Yuan Xue,et al.Automatic surveillance system using fish-eye lens camera[J].Chinese Optics Letters,2011,9(2):33-37.

[4] Wu Jianhui,Yang Kuntao,etal.Design of object surveillance system based on enhanced fish-eye lens[J].Chinese Optics Letters,2009,7(2):142-145.

[5] Bastanlar Y.A simplified two-view geometry based external calibration method for omnidirectional and PTZ camera pairs[J].Pattern Recognition Letters,2016,71:1-7.

[6] Neves J C,Moreno J C,Barra S,etal.A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology[C]// Iberian Conference on Pattern Recognition and Image Analysis.2015:552-559.

[7] Hughes C,Denny P,Jones E,et al.Accuracy of fish-eye lens models[J].Applied Optics,2010,49(17):3338.

[8] Kulchandani J S,Dangarwala K J.Moving object detection:Review of recent research trends[C]// International Conference on Pervasive Computing.IEEE,2015.

[9] HE Xi,QU Jianrong,LU Xiaoyan,et al.Moving targets detection and tracking based on frame difference and level set[J].Journal of Detection & Control,2015,(1):27-30.(in Chinese)

何曦,瞿建榮,盧曉燕,等.基于幀間差分和水平集的運動目標探測跟蹤方法[J].探測與控制學報,2015,(1):27-30.

[10] LIU Hongbin,CHANG Faliang.Moving object detection based on adaptive by optical flow method weight coefficient[J].Optics and Precision Engineering,2016,24(2):460-468.(in Chinese)

劉洪彬,常發(fā)亮.權(quán)重系數(shù)自適應(yīng)光流法運動目標檢測[J].光學 精密工程,2016,24(2):460-468.

[11] Kaushal M,Khehra B S.BBBCO and fuzzy entropy based modified background subtraction algorithm for object detection in videos[J].Applied Intelligence,2017:1-14.

[12] CHEN Rongjun,TAN Hongzhou,TAN Weiqing,et al.A fast lens focus measurement method based on blurred image processing[J].Acta Optica Sinica,2015,35(2):107-115.(in Chinese)

陳榮軍,譚洪舟,譚偉清,等.一種基于模糊圖像處理的透鏡快速測焦方法[J].光學學報,2015,35(2):107-115.

[13] ZHU Junchao,GE Lei,HAN Fangfang,et al.Research on fisheye lens imaging model based on the separated parameters calibration[J].Chinese Journal of Sensors and Actuators.2013,26(7):975-980.(in Chinese)

朱均超,葛磊,韓芳芳,等.基于分離參數(shù)標定的魚眼鏡頭成像模型研究[J].傳感技術(shù)學報,2013,26(7):975-980.

[14] YANG Jinghao,LIU Wei,LIU Yang,et al.Calibration of binocular vision measurement system[J].Optics and Precision Engineering.2016,24(2):300-308.(in Chinese)

楊景豪,劉巍,劉陽,等.雙目立體視覺測量系統(tǒng)的標定[J].光學 精密工程,2016,24(2):300-308.

[15] YAO Siyuan,WANG Xiaoming,ZUO Shuai.Fast feature point matching algorithm based on SURF[J].Laser &Infrared .2014,44(3):347-350.(in Chinese)

堯思遠,王曉明,左帥.基于SURF的特征點快速匹配算法[J].激光與紅外,2014,44(3):347-350.