雙視頻目標(biāo)定位技術(shù)

李　艷

(1. 同濟(jì)大學(xué) 軟件學(xué)院, 上?！?01804;2. 沈陽大學(xué) 學(xué)報(bào)編輯部, 遼寧 沈陽　110041)

?

雙視頻目標(biāo)定位技術(shù)

李艷1,2

(1. 同濟(jì)大學(xué) 軟件學(xué)院, 上海201804;2. 沈陽大學(xué) 學(xué)報(bào)編輯部, 遼寧 沈陽110041)

研究了一種基于雙視頻傳感器的低成本室內(nèi)目標(biāo)三維定位技術(shù),獲得比慣性器件更高的定位精度.針對(duì)單視頻傳感器,采用HOG特征檢測(cè)算法進(jìn)行目標(biāo)檢測(cè),并且利用Mean Shift跟蹤算法對(duì)目標(biāo)進(jìn)行跟蹤;根據(jù)目標(biāo)圖像坐標(biāo)和攝像機(jī)標(biāo)定參數(shù)求出三維空間目標(biāo)的世界坐標(biāo)值;利用卡爾曼濾波對(duì)目標(biāo)的空間位置及運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì).實(shí)驗(yàn)結(jié)果說明了該算法的有效性和工程實(shí)用性.

室內(nèi)目標(biāo)定位; 目標(biāo)檢測(cè); 目標(biāo)跟蹤; 三維空間交會(huì)定位

運(yùn)動(dòng)目標(biāo)的輔助定位與導(dǎo)航,一直以來都是國(guó)內(nèi)外學(xué)者研究的重點(diǎn).目前,室外目標(biāo)的定位主要依靠GPS等衛(wèi)星定位系統(tǒng),而如何實(shí)現(xiàn)室內(nèi)運(yùn)動(dòng)目標(biāo)的低成本高精度定位一直都是國(guó)內(nèi)外的研究熱點(diǎn)[1-2].

目前,室內(nèi)目標(biāo)定位技術(shù)主要有基于紅外線的定位技術(shù)、基于超聲波的定位技術(shù)、頻射識(shí)別(RFID)技術(shù)、基于無線網(wǎng)絡(luò)的定位技術(shù)以及基于慣性導(dǎo)航元件的室內(nèi)目標(biāo)定位技術(shù)等.雖然基于紅外線的室內(nèi)定位精度相對(duì)較高,但是由于光線不能穿過障礙物,使得紅外射線僅能視距傳播,而且傳輸距離較短[3-4].超聲波定位整體定位精度較高,結(jié)構(gòu)簡(jiǎn)單,但超聲波受多徑效應(yīng)和非視距傳播影響很大,同時(shí)需要大量的底層硬件設(shè)施投資,成本太高.超寬帶技術(shù)是近年來新興的一項(xiàng)無線技術(shù),美國(guó)、日本和加拿大等國(guó)家都在研究這項(xiàng)技術(shù).其傳輸速率高,發(fā)射功率較低,穿透能力較強(qiáng)并且是基于極窄脈沖的無線技術(shù),無載波,在無線室內(nèi)定位領(lǐng)域具有良好的前景[5].但缺點(diǎn)是造價(jià)較高.

對(duì)于目標(biāo)檢測(cè)算法,最近出現(xiàn)了許多優(yōu)秀的算法,當(dāng)下使用最廣泛的一種就是通過提取HOG特征[6]來描述感興趣的目標(biāo),同時(shí)采用SVM分類器對(duì)HOG特征進(jìn)行訓(xùn)練和分類,最后運(yùn)用分類器對(duì)測(cè)試圖像進(jìn)行檢測(cè).

綜上,目前的室內(nèi)定位技術(shù)雖然達(dá)到了較高的精度,但也存在著設(shè)備搭建復(fù)雜和成本較高的缺點(diǎn).利用多視頻傳感器通過圖像處理技術(shù)實(shí)現(xiàn)室內(nèi)目標(biāo)定位,可以實(shí)時(shí)獲得低成本高精度的目標(biāo)定位信息,這是構(gòu)建無線傳感器網(wǎng)絡(luò)和超小型無人機(jī)的室內(nèi)控制的基礎(chǔ).因此,本文針對(duì)室內(nèi)目標(biāo)定位展開了視頻傳感器定位系統(tǒng)的研究,目的是尋找一種成本低、易搭建、精度高的室內(nèi)定位方法.本文利用兩個(gè)視頻傳感器對(duì)運(yùn)動(dòng)目標(biāo)位置進(jìn)行觀測(cè),通過對(duì)采集到的圖像信息進(jìn)行目標(biāo)的檢測(cè)與提取等方法處理,得到目標(biāo)的圖像像素坐標(biāo)信息,再根據(jù)兩個(gè)攝像機(jī)定位系統(tǒng)模型確立目標(biāo)點(diǎn)的三維坐標(biāo)信息.最后,利用卡爾曼算法對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì),實(shí)現(xiàn)了對(duì)三維空間下的運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤.

1　視頻定位系統(tǒng)組成

雙視頻傳感器下定位系統(tǒng)主要包括運(yùn)動(dòng)目標(biāo)檢測(cè)、運(yùn)動(dòng)目標(biāo)跟蹤和雙視頻交匯定位跟蹤三個(gè)模塊. 雙視頻定位跟蹤系統(tǒng)離不開單視頻下的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤技術(shù)的研究, 所以本文先要研究單視頻運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤技術(shù), 這關(guān)系到雙視頻定位跟蹤系統(tǒng)的準(zhǔn)確性. 最后對(duì)雙視頻傳感器下的交匯定位和運(yùn)動(dòng)目標(biāo)狀態(tài)估計(jì)進(jìn)行研究.

由此,系統(tǒng)需要解決目標(biāo)識(shí)別、目標(biāo)跟蹤、目標(biāo)三維定位以及運(yùn)動(dòng)目標(biāo)狀態(tài)估計(jì)這四個(gè)問題.圖1是視頻定位系統(tǒng)的構(gòu)架圖,由一臺(tái)PC、兩個(gè)USB視頻采集卡、兩臺(tái)光軸垂直放置的攝像機(jī)以及兩個(gè)視頻線組成.

圖1　系統(tǒng)構(gòu)架圖Fig.1　Diagram of system structure

2　運(yùn)動(dòng)目標(biāo)視頻定位跟蹤系統(tǒng)設(shè)計(jì)

2.1運(yùn)動(dòng)目標(biāo)檢測(cè)

2.1.1HOG特征

梯度方向直方圖(HOG,Histogram of Oriented Gradients)是由Dalal[5]等人提出的.它可以通過多維向量來表示目標(biāo)特征,通過訓(xùn)練形成豐富的特征集.

HOG特征的計(jì)算是利用每個(gè)像素點(diǎn)與周圍的相鄰像素點(diǎn)的灰度差,在單位區(qū)域內(nèi)進(jìn)行梯度方向統(tǒng)計(jì),進(jìn)而形成梯度向量.劃分單位區(qū)域時(shí),圖片首先被分割成指定大小的無重疊的像素區(qū)域,稱為cell.統(tǒng)計(jì)每一個(gè)cell里面的梯度直方圖.每個(gè)像素的梯度被離散化為9個(gè)方向bin中的一個(gè),每個(gè)像素為它的梯度方向增加權(quán)值,權(quán)值根據(jù)梯度值的大小決定.所有cell統(tǒng)計(jì)成直方圖以后,多個(gè)cell組成一個(gè)block.例如,假設(shè)檢測(cè)窗口大小是64×64個(gè)像素,分成8×8=64個(gè)cell,每個(gè)cell的大小是8×8個(gè)像素點(diǎn).然后將相鄰的2×2=4個(gè)單元格組合成一個(gè)block.需要注意的是,每個(gè)block之間存在相互重疊的部分,這樣可以通過歸一化梯度值來減少光照的影響[5,7-8].

通過以上步驟,得到了一個(gè)高維度的向量,這樣HOG對(duì)于圖像的描述向量就生成了.

2.1.2模板訓(xùn)練

遵循傳統(tǒng)的HOG算法,使用線性支持向量機(jī)作為分類判別器并且使PASCAL VOC 2007作為訓(xùn)練數(shù)據(jù)集.該數(shù)據(jù)集含有大量訓(xùn)練圖片,這些圖片中的檢測(cè)目標(biāo)都由邊框標(biāo)注出來.初始的根濾波器是通過PASCAL VOC 2007數(shù)據(jù)集中的帶邊框的圖片產(chǎn)生的,部件濾波器再由根濾波器初始化.

(1)

學(xué)習(xí)過程主要分為兩個(gè)階段:第一階段是進(jìn)行正樣本訓(xùn)練和負(fù)樣本訓(xùn)練,其中正樣本圖片包含待檢測(cè)目標(biāo),負(fù)樣本圖片不包含待檢測(cè)目標(biāo)的圖片.由此,就會(huì)得到初步的分類判別器.下一個(gè)階段使用已經(jīng)得到的初步分類器對(duì)負(fù)的訓(xùn)練圖像進(jìn)行掃描,把掃描結(jié)果有誤的圖片作為誤測(cè)樣本,然后用正樣本、負(fù)樣本和誤測(cè)樣本組成一個(gè)總的集合,再次學(xué)習(xí)得到最終的分類判別器.分類器的分類界面如公式(3)所示,w、b為平面參數(shù).這樣,就可以使用得到的分類判別器對(duì)待檢測(cè)圖像進(jìn)行分類[9].模板訓(xùn)練結(jié)果如圖2所示,圖2中的3張圖片是在尺度不同的條件下進(jìn)行訓(xùn)練的.

圖2　HOG特征模板訓(xùn)練結(jié)果Fig.2　Result of training for HOG feature template

2.2運(yùn)動(dòng)目標(biāo)跟蹤

Mean Shift算法在運(yùn)動(dòng)目標(biāo)視頻跟蹤方面表現(xiàn)出了較好的性能,其實(shí)質(zhì)是找到使目標(biāo)模型和候選目標(biāo)模型之間相似性程度最大的點(diǎn)的方向,這個(gè)點(diǎn)就是目標(biāo)的中心點(diǎn)[10].

為了建立目標(biāo)的模型,先要建立對(duì)特征空間的描述,因?yàn)槟繕?biāo)的灰度描述簡(jiǎn)單而且穩(wěn)定,所以本文先對(duì)目標(biāo)灰度特征進(jìn)行表述,計(jì)算目標(biāo)的灰度加權(quán)直方圖,設(shè)目標(biāo)區(qū)域中心的圖像坐標(biāo)為x0,目標(biāo)區(qū)域中有n個(gè)像素,用{xi,i=1,2,…,n}表示第i個(gè)像素的坐標(biāo),帶寬為ρ,則目標(biāo)模型的概率分布可描述為:

(2)

式中:C是歸一化常數(shù);k(x)為核函數(shù);δ為Kroneckerdelta函數(shù).本文再設(shè)候選目標(biāo)區(qū)域中心的圖像坐標(biāo)為y,則以y為中心的目標(biāo)模型可描述為:

(3)

式中,Ch為使目標(biāo)候選模型歸一化的常數(shù)因子.一般采用Bhattacharyya系數(shù)ρ表示目標(biāo)模型和候選目標(biāo)模型之間的相似性函數(shù),即

(4)

式中,m為特征空間中特征值的個(gè)數(shù),為使目標(biāo)模型和候選目標(biāo)模型之間的相似性函數(shù)取最大值,即式(4)取最大值,找到目標(biāo)中心點(diǎn)的位置y,本文假定目標(biāo)在初始幀的時(shí)候位置為y0,通過對(duì)Bhattacharyya系數(shù)的Taylor展開可以得到下一次的目標(biāo)中心位置.

2.3目標(biāo)三維定位

在雙視頻定位系統(tǒng)中,最終目標(biāo)是對(duì)空間中的目標(biāo)進(jìn)行三維定位,利用兩個(gè)位置確定的攝像機(jī)可以從不同角度觀測(cè)得到目標(biāo)的圖像像素偏差,如此可以獲得目標(biāo)相對(duì)每個(gè)攝像機(jī)中心的角度,利用兩個(gè)角度的交會(huì),即可求解目標(biāo)當(dāng)前點(diǎn)的空間坐標(biāo)位置,如圖3所示.

圖3　三維定位模型Fig.3　Model of 3-D positioning

2.4運(yùn)動(dòng)目標(biāo)狀態(tài)評(píng)估

雙視頻傳感器定位跟蹤系統(tǒng)在對(duì)室內(nèi)目標(biāo)進(jìn)行跟蹤中會(huì)出現(xiàn)虛假定位點(diǎn),對(duì)此可采用對(duì)目標(biāo)的形心運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì).這樣,一方面可以預(yù)測(cè)目標(biāo)當(dāng)前點(diǎn)位置,另一方面可以濾除在目標(biāo)形心計(jì)算和目標(biāo)交會(huì)定位算法中存在的定位誤差.利用對(duì)狀態(tài)的估計(jì),預(yù)測(cè)目標(biāo)位置,并將其轉(zhuǎn)化為目標(biāo)在圖像中的預(yù)測(cè)位置,又可以為Mean Shift算法提供起始搜索點(diǎn).本文采用了Kalman濾波算法對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì).首先建立如下的目標(biāo)運(yùn)動(dòng)模型.

(5)

kalman濾波是一種利用前一時(shí)刻的狀態(tài)估值和當(dāng)前時(shí)刻的觀測(cè)值對(duì)當(dāng)前時(shí)刻的狀態(tài)進(jìn)行估計(jì)的算法,其濾波模型可以表示為:

(6)

(7)

在運(yùn)用Kalman濾波算法時(shí), 先要確定需要的觀測(cè)數(shù)據(jù), 根據(jù)不同的數(shù)據(jù), 可以得出不同的預(yù)測(cè)位置、起始搜索點(diǎn), 這對(duì)于實(shí)驗(yàn)結(jié)果產(chǎn)生了很大的影響. 本文的仿真是根據(jù)2.3節(jié)通過雙視頻傳感器定位系統(tǒng)計(jì)算出目標(biāo)的一系列連續(xù)的三維空間坐標(biāo)作為觀測(cè)數(shù)據(jù), 最后根據(jù)觀測(cè)數(shù)據(jù)推算出濾波值. 具體的實(shí)驗(yàn)數(shù)據(jù)在實(shí)驗(yàn)分析中進(jìn)行使用.

3　實(shí)驗(yàn)分析

本文實(shí)驗(yàn)硬件環(huán)境:CPU為Intel Core I7 4770k,內(nèi)存8G.基于Windows7操作系統(tǒng),仿真軟件使用的是MATLAB 2013a.

實(shí)驗(yàn)采用兩個(gè)型號(hào)相同的PAL制式的CCD攝像機(jī),按圖1搭建實(shí)驗(yàn)硬件系統(tǒng).

為了使得實(shí)驗(yàn)具有可行性并降低系統(tǒng)算法復(fù)雜度,兩個(gè)攝像機(jī)放置在與水平地面平行的同一高度上,且與墻面存在同等距離,使得左右攝像機(jī)在墻面上的重疊視場(chǎng)范圍涵蓋目標(biāo)的運(yùn)動(dòng)范圍.顯然這樣兩個(gè)攝像機(jī)是與基線成45度角的.因?yàn)閷?shí)驗(yàn)過程中使用了之前標(biāo)定好的攝像機(jī)內(nèi)、外參數(shù),而攝像機(jī)擺放位置決定了攝像機(jī)的外參數(shù),所以攝像機(jī)擺放位置需要與之前做攝像機(jī)標(biāo)定實(shí)驗(yàn)的攝像機(jī)位置保持一致.

以墻面左下角為原點(diǎn)o,以垂直水平地面向上的方向?yàn)閥軸正方向,以垂直于y軸水平向右的方向?yàn)閤軸正方向,在墻面上建立xoy平面坐標(biāo)系,以右手法則建立世界坐標(biāo)系.在xoy平面坐標(biāo)系中設(shè)定了直線軌跡,并且已經(jīng)獲得了直線軌跡上的每個(gè)點(diǎn)的真實(shí)坐標(biāo)值,軌跡上每相鄰兩點(diǎn)之間的間隔距離小于攝像采集時(shí)間間隔內(nèi)的目標(biāo)運(yùn)動(dòng)的距離.

本文的實(shí)驗(yàn)結(jié)果主要針對(duì)目標(biāo)定位,圖4為實(shí)驗(yàn)的結(jié)果,包含3組實(shí)驗(yàn)結(jié)果,每組的左邊為視頻的第1幀,右邊的為視頻的第25幀,方框的部分表示跟蹤的結(jié)果.實(shí)驗(yàn)的結(jié)果是通過運(yùn)行軌跡得到的.

圖4　第25幀跟蹤結(jié)果Fig.4　Tracking results of frame 25

表1記錄了運(yùn)動(dòng)目標(biāo)的坐標(biāo)量測(cè)值、坐標(biāo)的濾波值以及真實(shí)值.

表1　運(yùn)動(dòng)目標(biāo)部分坐標(biāo)量測(cè)值、坐標(biāo)的

4　結(jié)　　語

本文通過研究雙視頻傳感器定位系統(tǒng)、包括目標(biāo)檢測(cè)和跟蹤、三維目標(biāo)定位和三維空間目標(biāo)狀態(tài)估計(jì)三個(gè)模塊,實(shí)現(xiàn)了目標(biāo)檢測(cè)、三維目標(biāo)定位、三維目標(biāo)跟蹤,最終準(zhǔn)確得出了用卡爾曼濾波算法對(duì)運(yùn)動(dòng)目標(biāo)的坐標(biāo)量測(cè)信息進(jìn)行濾波,實(shí)驗(yàn)結(jié)果有效地還原了運(yùn)動(dòng)目標(biāo)的實(shí)際運(yùn)動(dòng)軌跡,提高了三維空間運(yùn)動(dòng)目標(biāo)跟蹤精度.

[ 1 ] 孫銳,侯能干,陳軍. 基于特征融合和交叉核SVM的快速行人檢測(cè)方法[J]. 光電工程, 2014,41(2):53-62.

(SUN R, HOU N G, CHEN J. Fast pedestrian detection method based on features fusion and intersection kernel SVM[J]. Opto-Electronic Engineering, 2014,41(2):53-62.)

[ 2 ] MAUTZ R. Indoor positioning technologies[D]. Zürich: ETH Zurich, 2012.

[ 3 ] 魏巖,涂錚錚,鄭愛華,等. 結(jié)合RGB顏色特征和紋理特征的消影算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2013,23(10):72-74.

(WEI Y, TU Z Z, ZHENG A H, et al. Shadow elimination algorithm of combination of RGB color feature and texture feature[J]. Computer Technology and Development, 2013,23(10):72-74.)

[ 4 ] 張廣軍. 視覺測(cè)量[M]. 北京:科學(xué)出版社, 2008.

(ZHANG G J. Vision measurement[J]. Beijing: Science Press, 2008.)

[ 5 ] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 25, 2005, San Diego, CA, USA. Washington, DC: IEEE Computer Society, 2005,1:886-893.

[ 6 ] 于成龍. 基于PCA的特征選擇算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2011,21(4):123-125.

(YU C L. Features selection algorithm based on PCA[J]. Computer Technology and Development, 2011,21(4):123-125.)

[ 7 ] GOTOY, YAMAUCHI Y, FUJIYOSHI H. CS-HOG: Color similarity-based HOG[C]. The 19thKorea-Japan Joint Workshop on Frontiers of Computer Vision, Jan 30-Feb 1, 2013, Incheon. Washington, DC: IEEE Computer Society, 2013:266-271.

[ 8 ] 劉威,段成偉,遇冰,等. 基于后驗(yàn)HOG特征的多姿態(tài)行人檢測(cè)[J]. 電子學(xué)報(bào), 2015,43(2):217-224.

(LIU W, DUAN C W, YU B, et al. Multi-pose pedestrian detection based on posterior HOG feature[J]. Acta Electronica Sinica, 2015,43(2):217-224.)

[ 9 ] 姚雪琴,李曉華,周激流. 基于邊緣對(duì)稱性和HOG的行人檢測(cè)算法方法[J]. 計(jì)算機(jī)工程, 2012,8(5):179-182.

(YAO X Q, LI X H, ZHOU J L. Pedestrian detection method based on edge symmetry and HOG[J]. Computer Engineering, 2012,8(5):179-182.)

[10] TAN X, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Transactions on Image Processing, 2010,19(6):1635-1650.

【責(zé)任編輯: 高起元】

Dual Video Target Location Technology

LiYan1,2

(1. School of Software Engineering, Tongji University, Shanghai 201804, China; 2. Editorial Department of Journal of Shenyang University, Shenyang University, Shenyang 110044, China)

A low-cost three-dimensional indoor target location technology based on dual video sensor is studied; and higher location accuracy than inertia device is obtained. Aiming at single video sensor, HOG feature detection algorithm is used for target detection and Mean Shift tracking algorithm is used for target tracking; the world coordinate of the three-dimensional space target is determined according to the coordinate of the target image and camera calibration parameters; and the Kalman filter is used to estimate the target’s spatial position and state of motion. The experimental tests show the effectiveness and the practicability of the algorithm.

indoor target location; target detection; target tracking; three-dimensional space crossing location

2015-09-15

李艷(1977-),女,黑龍江哈爾濱人,沈陽大學(xué)學(xué)報(bào)編輯,同濟(jì)大學(xué)碩士研究生.

2095-5456(2016)04-0302-05

TP 391.4

A