基于外觀模型和時(shí)空模型的多攝像機(jī)目標(biāo)跟蹤

韓敬賢, 齊美彬, 蔣建國(guó)

(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009)

基于外觀模型和時(shí)空模型的多攝像機(jī)目標(biāo)跟蹤

韓敬賢, 齊美彬, 蔣建國(guó)

(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009)

針對(duì)多攝像機(jī)之間的光照變化、環(huán)境差異以及視角變化,文章提出基于外觀模型和時(shí)空模型相結(jié)合的方法進(jìn)行無重疊視域多攝像機(jī)間的目標(biāo)跟蹤。首先使用顏色標(biāo)準(zhǔn)化的方法減弱攝像機(jī)之間的顏色差異、學(xué)習(xí)目標(biāo)的外觀模型。顏色標(biāo)準(zhǔn)化過程無需人工標(biāo)定目標(biāo)間的對(duì)應(yīng)關(guān)系,因此當(dāng)攝像機(jī)數(shù)目增多時(shí)可以自動(dòng)學(xué)習(xí)新的外觀模型。然后由目標(biāo)的外觀相似度無監(jiān)督學(xué)習(xí)得到與攝像機(jī)的環(huán)境、光照和視角無關(guān)的時(shí)空模型,即不同攝像機(jī)下進(jìn)出口的分布模型、路徑關(guān)系和轉(zhuǎn)移時(shí)間概率分布。最后計(jì)算目標(biāo)之間的外觀相似度和時(shí)空相似度,實(shí)現(xiàn)多攝像機(jī)間的目標(biāo)跟蹤。在實(shí)際攝像機(jī)網(wǎng)絡(luò)場(chǎng)景中應(yīng)用該方法,結(jié)果表明了其有效性,并且具有較高的準(zhǔn)確率。

無重疊視域多攝像機(jī);多目標(biāo)跟蹤;外觀模型;時(shí)空模型;無監(jiān)督學(xué)習(xí)

隨著監(jiān)控系統(tǒng)的發(fā)展和人們對(duì)智能化監(jiān)控要求的日益提高,具有覆蓋多個(gè)地方的多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的監(jiān)控系統(tǒng)逐漸取代傳統(tǒng)的單攝像機(jī)視頻監(jiān)控,因此在無重疊視域下并且沒有校準(zhǔn)的多攝像機(jī)之間進(jìn)行目標(biāo)跟蹤成為了計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重點(diǎn)研究方向。因?yàn)閱螖z像機(jī)視域下的目標(biāo)檢測(cè)和跟蹤在國(guó)內(nèi)外已經(jīng)存在大量的研究,而且有了較好的研究結(jié)果[1-2],所以可以在單攝像機(jī)目標(biāo)檢測(cè)和跟蹤的結(jié)果上進(jìn)行多攝像機(jī)之間的目標(biāo)跟蹤。文獻(xiàn)[3]全面介紹了多攝像機(jī)監(jiān)控工作,總結(jié)了多攝像機(jī)之間的目標(biāo)跟蹤主要利用目標(biāo)的外觀信息和時(shí)空信息,外觀信息主要是目標(biāo)的顏色、形狀和紋理特征,時(shí)空信息主要是攝像機(jī)之間的路徑關(guān)系和轉(zhuǎn)移時(shí)間概率分布。

多攝像機(jī)之間進(jìn)行目標(biāo)跟蹤的主要困難是目標(biāo)的外觀特征會(huì)因?yàn)楣庹铡h(huán)境以及視角的差異產(chǎn)生變化,從而難以正確跟蹤。文獻(xiàn)[4-5]通過學(xué)習(xí)顏色變換矩陣和亮度轉(zhuǎn)移函數(shù)得到攝像機(jī)之間目標(biāo)的顏色映射關(guān)系,獲得目標(biāo)的外觀模型,實(shí)現(xiàn)多攝像機(jī)間的目標(biāo)跟蹤。這種方法雖然有效地減小了攝像機(jī)之間光照差異對(duì)目標(biāo)顏色特征的影響,但是因?yàn)楣庹帐请S著時(shí)間變化的,所以變換矩陣和轉(zhuǎn)移函數(shù)要不斷地進(jìn)行更新,并且需要使用大量的訓(xùn)練數(shù)據(jù),使得算法不具有實(shí)時(shí)性。文獻(xiàn)[6]利用單攝像機(jī)目標(biāo)跟蹤得到的同一目標(biāo)作為正樣本,同一時(shí)間出現(xiàn)在不同相機(jī)的目標(biāo)作為負(fù)樣本,無監(jiān)督地學(xué)習(xí)具有鑒別力的外觀模型,可以區(qū)分較為相似的目標(biāo)。文獻(xiàn)[7]使用紋理特征和形狀特征作為顏色信息的互補(bǔ)信息,結(jié)果表明把多個(gè)特征連接在一起時(shí)得到的外觀模型更為可靠。

以上方法雖然實(shí)現(xiàn)了多攝像機(jī)間的目標(biāo)跟蹤,但是都沒有考慮到實(shí)際情況中目標(biāo)在不同攝像機(jī)下的移動(dòng)規(guī)律,比如目標(biāo)進(jìn)出攝像機(jī)視域時(shí)的位置以及在2個(gè)攝像機(jī)之間的轉(zhuǎn)移時(shí)間都是很相似的,而這些時(shí)空信息與光照、環(huán)境以及視角都無關(guān),因此可以和目標(biāo)的外觀模型相結(jié)合,更好地實(shí)現(xiàn)目標(biāo)跟蹤。文獻(xiàn)[8]通過手動(dòng)標(biāo)記攝像機(jī)之間目標(biāo)的對(duì)應(yīng)關(guān)系,由目標(biāo)離開一個(gè)相機(jī)、進(jìn)入另一個(gè)相機(jī)的時(shí)間直接得到相機(jī)間的轉(zhuǎn)移時(shí)間,建立時(shí)空模型;這種方法雖然可以得到準(zhǔn)確的時(shí)空模型,但是不能自動(dòng)進(jìn)行學(xué)習(xí)。文獻(xiàn)[9]通過最大化目標(biāo)函數(shù)得到相機(jī)間的轉(zhuǎn)移時(shí)間概率分布,不需要手動(dòng)標(biāo)記訓(xùn)練樣本,然而攝像機(jī)之間的路徑關(guān)系需要預(yù)先給定,當(dāng)攝像機(jī)數(shù)目發(fā)生變化時(shí)不能自動(dòng)適應(yīng)。文獻(xiàn)[10]使用目標(biāo)之間的外觀相似度計(jì)算轉(zhuǎn)移時(shí)間概率分布,可以無監(jiān)督學(xué)習(xí)時(shí)空模型,但是在計(jì)算過程中使用了所有可能匹配的目標(biāo)的相似度作為樣本,而實(shí)際上不匹配的樣本數(shù)遠(yuǎn)遠(yuǎn)大于匹配的樣本數(shù),因此在估計(jì)過程中會(huì)產(chǎn)生大量的噪聲,導(dǎo)致生成不可靠的模型。

本文通過學(xué)習(xí)目標(biāo)的外觀模型和時(shí)空模型實(shí)現(xiàn)多攝像機(jī)間的目標(biāo)跟蹤。針對(duì)以上提到的問題,本文使用簡(jiǎn)單的顏色標(biāo)準(zhǔn)化方法以及方向梯度直方圖(histogram of oriented gradient,HOG)特征建立目標(biāo)的外觀模型,有效地消除了攝像機(jī)之間光照變化的影響,而且可以實(shí)時(shí)更新。在建立時(shí)空模型時(shí),大多數(shù)的方法要預(yù)先標(biāo)定進(jìn)出口或者相機(jī)之間的路徑關(guān)系[8-9],在實(shí)際應(yīng)用中不夠方便。本文通過目標(biāo)之間的外觀相似度無監(jiān)督學(xué)習(xí)得到時(shí)空模型,包括進(jìn)出口位置分布以及攝像機(jī)之間的路徑關(guān)系和轉(zhuǎn)移時(shí)間概率分布,無需人工標(biāo)定任何信息,并且加入限定條件減少學(xué)習(xí)過程中使用的錯(cuò)誤匹配的樣本數(shù),從而得到更準(zhǔn)確的轉(zhuǎn)移時(shí)間概率分布。實(shí)驗(yàn)結(jié)果表明,本文通過學(xué)習(xí)目標(biāo)的外觀模型和時(shí)空模型,得到了對(duì)攝像機(jī)間的光照變化、環(huán)境差異以及視角變化具有較好適應(yīng)性的目標(biāo)特征,可以更加準(zhǔn)確地對(duì)目標(biāo)進(jìn)行跟蹤。

1 多攝像機(jī)目標(biāo)跟蹤的實(shí)現(xiàn)

多攝像機(jī)間的目標(biāo)跟蹤就是建立攝像機(jī)之間目標(biāo)的對(duì)應(yīng)關(guān)系,也就是當(dāng)目標(biāo)從一個(gè)攝像機(jī)的視域轉(zhuǎn)移到另一個(gè)攝像機(jī)的視域時(shí)攝像機(jī)間的目標(biāo)交接問題。因此,當(dāng)兩兩攝像機(jī)進(jìn)行目標(biāo)交接時(shí),每個(gè)目標(biāo)都對(duì)應(yīng)于一個(gè)交接表,即所有可能與之匹配的目標(biāo)?？紤]到時(shí)間信息,交接表里是在最大允許再現(xiàn)時(shí)間Tmax范圍內(nèi)從某個(gè)攝像機(jī)離開的一組目標(biāo)。假定y表示從攝像機(jī)2進(jìn)入的某個(gè)行人,外觀特征和時(shí)空特征分別為app(y)和st(y),x是y的交接表H中的某個(gè)行人,從攝像機(jī)1離開,多攝像機(jī)間的目標(biāo)跟蹤就是在H中找到與y相匹配的行人X,實(shí)現(xiàn)目標(biāo)交接。定義x與y的相似度為S(x,y),則最可能和y匹配的行人X可以由(1)式得到,即

(1)

若X和y的相似度大于某個(gè)閾值,則認(rèn)為X就是和y相匹配的目標(biāo),否則認(rèn)為y是新出現(xiàn)的行人。

本文通過學(xué)習(xí)目標(biāo)的外觀模型和時(shí)空模型得到目標(biāo)的外觀特征和時(shí)空特征,進(jìn)而計(jì)算目標(biāo)之間的相似度。假定外觀特征和時(shí)空特征是相互獨(dú)立的,本文加入外觀權(quán)重因子w,并采用對(duì)數(shù)似然函數(shù)簡(jiǎn)化計(jì)算,再由貝葉斯定理可得:

wlnS(app(x,y))+(1-w)lnS(st(x,y))

(2)

其中,S(app(x,y))和S(st(x,y))分別是行人x與y的外觀相似度和時(shí)空相似度。

2 外觀模型學(xué)習(xí)

本文中目標(biāo)的外觀模型由顏色直方圖特征和HOG特征組成,為了得到對(duì)光照變化具有魯棒性的外觀特征,首先在顏色空間進(jìn)行歸一化,然后再提取目標(biāo)的外觀特征。

2.1 顏色歸一化

顏色歸一化的目的是建立對(duì)光照變化具有很好的魯棒性的顏色特征。RGB等大部分顏色空間在不同通道之間具有很強(qiáng)的相關(guān)性,想要改變一個(gè)像素點(diǎn)的顏色時(shí),就要改變所有通道的像素值,因此使顏色歸一化過程變得很復(fù)雜。而Lab顏色空間相對(duì)于其他顏色空間來說,在不同的通道上具有較小的相關(guān)性,于是文獻(xiàn)[11]提出了在Lab顏色空間進(jìn)行歸一化的算法。本文在某個(gè)攝像機(jī)場(chǎng)景下隨機(jī)抽取一張圖片作為源圖片,其他待匹配的攝像機(jī)場(chǎng)景下的所有圖片作為目標(biāo)圖片,則可由下式對(duì)目標(biāo)圖片進(jìn)行顏色歸一化:

(3)

(4)

(5)

圖1 顏色歸一化結(jié)果

2.2 提取外觀特征

顏色歸一化后,提取檢測(cè)到的行人,然后將圖片大小進(jìn)行標(biāo)準(zhǔn)化,得到行人圖片,提取HOG特征和顏色直方圖。本文圖片大小設(shè)置為32×64。

首先提取HOG特征,本文在提取HOG特征時(shí)每個(gè)細(xì)胞單元(cell)有8個(gè)特征(bin),每8×8的像素組成一個(gè)細(xì)胞單元,每2×2個(gè)細(xì)胞單元組成一個(gè)塊(block),以8個(gè)像素為步長(zhǎng),所以HOG特征向量的維數(shù)為672。

圖像分塊示意圖如圖2所示。提取顏色直方圖時(shí)首先將行人圖片按圖2a中所示比例分塊,標(biāo)號(hào)1為頭部,2～4為軀干部分,5為腿部,再將軀干按列分為4等份,取第2、第3列組成第6部分(圖2a中虛線矩形框);圖2b是對(duì)應(yīng)的行人圖片。因?yàn)镠SV空間相對(duì)其他顏色空間更為直觀,并且計(jì)算量較小,所以提取每個(gè)矩形塊的色調(diào)(H)、明度(S)、飽和度(V)三通道的直方圖,每個(gè)通道分10個(gè)間隔(bin),將所有矩形塊的特征串聯(lián),得到180維的列向量,構(gòu)成顏色直方圖特征。

圖2 圖像分塊示意圖

將圖片分塊可以有效地利用分辨性較強(qiáng)的局部特征,避免因目標(biāo)的上身顏色和下身顏色相同而產(chǎn)生錯(cuò)誤匹配?？紤]到實(shí)際情況中行人的下半身顏色比較單一,因此腿部不再分塊。此外,第6個(gè)矩形塊可以去除大部分背景干擾,保留人體的軀干信息。

2.3 外觀相似度

學(xué)習(xí)得到目標(biāo)的外觀特征后,目標(biāo)之間的外觀相似度可由(6)式計(jì)算得到:

(6)

其中,S(hog(x,y))和S(hsv(x,y))分別為行人x與y的HOG特征相似度和顏色直方圖相似度;α為顏色直方圖的權(quán)重因子,當(dāng)顏色特征具有較強(qiáng)的分辨性時(shí)較大,反之較小。本文中采用巴氏距離計(jì)算相似度。

3 時(shí)空模型學(xué)習(xí)

在時(shí)空模型中需要學(xué)習(xí)的有進(jìn)出口位置模型、攝像機(jī)之間的路徑關(guān)系以及轉(zhuǎn)移時(shí)間概率分布。本文初步估計(jì)時(shí)空模型,根據(jù)初步估計(jì)的結(jié)果對(duì)時(shí)空模型進(jìn)行更新,得到最終的時(shí)空模型。

3.1 初步估計(jì)時(shí)空模型

首先在單攝像機(jī)目標(biāo)跟蹤的結(jié)果中收集行人的進(jìn)出點(diǎn),估計(jì)進(jìn)出口位置的分布模型。本文中進(jìn)出口的模型為混合高斯模型(Gaussian mixture model,GMM),通過期望最大化算法學(xué)習(xí)得到GMM的參數(shù)[12],得到進(jìn)出口位置的分布概率模型。估計(jì)得到進(jìn)出口位置的分布后,就可以學(xué)習(xí)進(jìn)出口之間的轉(zhuǎn)移時(shí)間概率分布以及對(duì)應(yīng)的路徑關(guān)系。假設(shè)攝像機(jī)1和攝像機(jī)2分別有個(gè)進(jìn)出口Za和Zb,定義Pab(t)為行人從Za出去到達(dá)Zb所用的時(shí)間概率,可由目標(biāo)之間的相似度計(jì)算得到,目標(biāo)之間相似度越大,對(duì)應(yīng)的轉(zhuǎn)移時(shí)間的概率越大,如(7)式所示:

(7)

其中,t=tj-ti;M用來歸一化概率分布,等于Pab(t)的總和;x為在ti時(shí)刻從Za消失在攝像機(jī)1視域的行人;y為在tj時(shí)刻從Zb進(jìn)入攝像機(jī)2視域的行人;S(app(x,y))由(6)式得到;Smin j為行人y與所有從Za消失在攝像機(jī)1視域的行人x的相似度的中值。當(dāng)目標(biāo)之間相似度過低時(shí),對(duì)應(yīng)的轉(zhuǎn)移時(shí)間可信度較低,為了減小轉(zhuǎn)移時(shí)間概率分布的噪聲值,Smin j作為限定條件,使得相似度過低的樣本不再參與計(jì)算。

然后根據(jù)學(xué)習(xí)得到的轉(zhuǎn)移時(shí)間概率分布判斷進(jìn)出口的路徑關(guān)系。大量的研究以及實(shí)際經(jīng)驗(yàn)表明,若2個(gè)進(jìn)出口之間存在路徑,則轉(zhuǎn)移時(shí)間概率一定是個(gè)高度結(jié)構(gòu)化的分布,方差σ2一定較小,也就是轉(zhuǎn)移時(shí)間只分布在很少的幾個(gè)數(shù)值上,從而轉(zhuǎn)移時(shí)間概率分布的峰值max(Pab(t))可以很容易地超過噪聲基底tnf。本文將噪聲基底設(shè)為轉(zhuǎn)移時(shí)間概率中值的2倍。同時(shí),若2個(gè)進(jìn)出口之間存在路徑,則計(jì)算轉(zhuǎn)移時(shí)間概率分布時(shí)所用樣本的個(gè)數(shù)Count(x,y)也不會(huì)過少,本文設(shè)定對(duì)應(yīng)的最小樣本數(shù)nsam為30。因此,Za到Zb存在路徑的條件如(8)式所示:

(8)

至此,得到了初始的時(shí)空模型。但是在學(xué)習(xí)進(jìn)出口位置模型時(shí)可能會(huì)將2個(gè)很相近的進(jìn)出口學(xué)習(xí)成1個(gè)進(jìn)出口,或者將1個(gè)較大的進(jìn)出口錯(cuò)分成2個(gè)進(jìn)出口,因此需要對(duì)時(shí)空模型進(jìn)行更新。

3.2 更新時(shí)空模型

由上述討論可知GMM中高斯模型的個(gè)數(shù)即為進(jìn)出口的個(gè)數(shù)。當(dāng)GMM中某個(gè)高斯模型的方差過大,并且對(duì)應(yīng)的進(jìn)出口與多個(gè)其他的進(jìn)出口都存在路徑,則認(rèn)為這個(gè)進(jìn)出口是由2個(gè)相近的進(jìn)出口組成,將此高斯模型重新學(xué)習(xí),得到2個(gè)新的高斯模型。本文認(rèn)為分離后的2個(gè)進(jìn)出口比較相似,因此學(xué)習(xí)得到的新的高斯模型對(duì)應(yīng)的權(quán)重分別是原來的1/2,并且重新學(xué)習(xí)分離后的進(jìn)出口與其他進(jìn)出口的路徑關(guān)系和轉(zhuǎn)移時(shí)間概率分布。本文方差閾值設(shè)置為40。

若2個(gè)高斯模型的均值距離過小,并且對(duì)應(yīng)的進(jìn)出口有相似的轉(zhuǎn)移時(shí)間概率分布和路徑關(guān)系,則認(rèn)為這2個(gè)進(jìn)出口是同一進(jìn)出口。對(duì)2個(gè)高斯模型的樣本重新學(xué)習(xí)得到1個(gè)高斯模型,融合后的高斯模型對(duì)應(yīng)的權(quán)重為兩者之和,然后重新學(xué)習(xí)融合后的進(jìn)出口與其他進(jìn)出口的路徑關(guān)系和轉(zhuǎn)移時(shí)間概率分布。本文距離閾值設(shè)置為20。

3.3 時(shí)空相似度

建立時(shí)空模型后,假定時(shí)間信息和空間信息相互獨(dú)立,攝像機(jī)之間目標(biāo)的時(shí)空相似度可以由(9)式計(jì)算得到:

(9)

其中,P(Zb|y)和P(Za| x)分別為行人x和y從Zb和Za進(jìn)入和消失在攝像機(jī)視域的空間概率,可由進(jìn)出口的分布模型得到。

4 實(shí)驗(yàn)結(jié)果及分析

本文采用的實(shí)驗(yàn)數(shù)據(jù)集來源于2014年中國(guó)科學(xué)院自動(dòng)化研究所舉辦的一個(gè)相關(guān)比賽(MCT challenge),此數(shù)據(jù)集包含3個(gè)不同攝像機(jī)視域下的同步視頻,其中有2個(gè)室外場(chǎng)景和1個(gè)室內(nèi)場(chǎng)景,室內(nèi)外有巨大的光照差別和環(huán)境差別,視頻每秒25幀,時(shí)長(zhǎng)20 min,布局如圖3所示。

圖3 實(shí)驗(yàn)數(shù)據(jù)集的布局

本次實(shí)驗(yàn)最大允許再現(xiàn)時(shí)間Tmax設(shè)置為100 s,最小相似度值min s設(shè)置為0.3,外觀權(quán)重因子w為0.4,顏色特征權(quán)重因子α為0.7。進(jìn)出口及對(duì)應(yīng)的路徑關(guān)系的估計(jì)結(jié)果如圖4所示。

圖4 學(xué)習(xí)得到的進(jìn)出口及路徑關(guān)系

其中在攝像機(jī)2視域中2個(gè)距離相近的進(jìn)出口是由3.2節(jié)的方法將較大的進(jìn)出口分離得到的?？梢钥吹奖疚牡姆椒ㄕ_估計(jì)了進(jìn)出口的位置以及對(duì)應(yīng)的路徑關(guān)系。

學(xué)習(xí)得到的攝像機(jī)1、2和攝像機(jī)2、3對(duì)應(yīng)的進(jìn)出口路徑的轉(zhuǎn)移時(shí)間概率分布如圖5所示。

圖5 攝像機(jī)1、2和攝像機(jī)2、3之間的轉(zhuǎn)移時(shí)間概率分布

圖5中實(shí)線是使用所有樣本時(shí)學(xué)習(xí)到的轉(zhuǎn)移時(shí)間概率分布,虛線是本文中加入限定條件Smin j后,剔除相似度較低的樣本得到的分布。為了便于對(duì)比,本文在畫圖時(shí)加入了平滑函數(shù)。對(duì)應(yīng)的跟蹤準(zhǔn)確率,即本文在攝像機(jī)之間正確跟蹤到的行人數(shù)目和攝像機(jī)之間實(shí)際通過的總行人數(shù)目的比值見表1所列。由表1可以看到，加入限定條件后轉(zhuǎn)移時(shí)間概率分布有了明顯的改善,提高了實(shí)際轉(zhuǎn)移時(shí)間所對(duì)應(yīng)的概率值和最終的跟蹤準(zhǔn)確率。

表1 轉(zhuǎn)移時(shí)間概率分布對(duì)跟蹤準(zhǔn)確率的影響 %

只使用外觀模型、只使用時(shí)空模型以及兩者都使用時(shí)的跟蹤準(zhǔn)確率對(duì)比見表2所列。攝像機(jī)1、2之間通過73個(gè)行人,攝像機(jī)2、3之間通過26個(gè)行人,本文的方法正確跟蹤到的行人分別是69個(gè)和19個(gè)。由實(shí)驗(yàn)結(jié)果可以看出，本文通過將外觀模型和時(shí)空模型相結(jié)合,實(shí)現(xiàn)了較高的跟蹤準(zhǔn)確率。

表2 跟蹤準(zhǔn)確率對(duì)比 %

5 結(jié) 論

本文提出的方法通過無監(jiān)督學(xué)習(xí)目標(biāo)的外觀模型和時(shí)空模型,得到對(duì)攝像機(jī)間光照、環(huán)境和視角具有很好的魯棒性的目標(biāo)特征,有效實(shí)現(xiàn)了多攝像機(jī)間的目標(biāo)跟蹤,并且不需要人工標(biāo)記任何信息,在實(shí)際監(jiān)控系統(tǒng)中具有較好的實(shí)用性。

[1] 高飛,蔣建國(guó),安紅新,等.一種快速運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,35(2):180-183.

[2] XIANG J，SANG N，HOU J.Multi-target tracking using hough forest random field [J].IEEE Transactions on Circuits and Systems for Video Technology，2015，25(1):1-14.

[3] WANG Xiaogang.Intelligent multi-camera video surveillance:a review [J].Pattern Recognition Letters，2013，34(1):3-19.

[4] GILBERT A，BOWDEN R.Tracking objects across cameras by incrementally learning inter-camera colour calibration and patterns of activity[M]//Lecture Notes in Computer Science.Berlin Heidelberg:Springer-Verlag，2006:125-136.

[5] JAVED O，RASHEED Z，SHATIQUE K,et al.Tracking across multiple cameras with disjoint views[C]//The ninth IEEE Intornational Conference on Computer Vision.Washington D C:IEEE Computer Society，2003:952-957.

[6] CAI Yinghao,MEDIONI G.Exploring context information for inter-camera multiple target tracking[C]//IEEE Conference on Applications of Computer Vision.[S.l.:s.n.]，2014:761-768.

[7] TAKALA V，PIETIKAINEN M,CAI Yinghao.Boosting clusters of samples for sequence matching in camera networks [C]//The 2010 20th International Conference on Pattern Recognition.Washington D C:IEEE Computer Society，2010:400-403.

[8] JAVED O，SHALIQUE K，RASHEED Z,et al.Modeling intercamera space-time and appearance relationships for tracking across nonoverlapping views [J].Computer Vision and Image Understanding，2008，109(2):146-162.

[9] CHU C T，HWANG J N.Fully unsupervised learning of camera link models for tracking humans across nonoverlapping cameras [J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24(6):979-994.

[10] CHEN K W，LAI C C，LEE P J,et al.Adaptive learning for target tracking and true linking discovering across multiple non-overlapping cameras[J].IEEE Transactions on Multimedia,2010，13(4):625-638.

[11] CHEN Xiaotang，HUANG Kaiqi，TAN Tieniu.Object tracking across nonoverlapping views by learning inter-camera transfer models [J].Pattern Recognition，2014，47(3):1126-1137.

[12] MAKRIS D，ELLIS T.Learning semantic scene models from observing activity in visual surveillance [J].IEEE Transactions on Systems，Man，and Cybernetics，Part B:Cybernetics focuses on cybernetics，2005，35(3):397-408.

(責(zé)任編輯 張 镅)

Multi-camera object tracking based on appearance models and spatio-temporal models

HAN Jingxian, QI Meibin, JIANG Jianguo

(School of Computer and Information， Hefei University of Technology， Hefei 230009， China)

In view of the changes of the illumination， environment and viewpoint between different cameras， a tracking method across networked cameras with non-overlapping views based on appearance models and spatio-temporal models is proposed. Color normalization method which can weaken the color difference between different cameras is used to learn the appearance model， and when the number of the cameras increases，new appearance model can be learned automatically as this method does not require hand-labeled correspondence. And an unsupervised method utilizing people’s appearance similarity is used to learn the spatio-temporal model which is irrelevant to the camera’s lighting， environment and viewpoint. The spatio-temporal model includes the location distributions，the connected relationship and the transition time probability distributions of the entry/exit zones under different cameras. Then the appearance similarity and the spatio-temporal similarity are calculated to realize the multi-camera object tracking. The proposed method is effective in the real camera network scenarios and achieves high tracking accuracy.

multi-camera with non-overlapping views; multi-target tracking; appearance model; spatio-temporal model; unsupervised learning

2015-12-30

國(guó)家自然科學(xué)基金資助項(xiàng)目(61371155);安徽省科技攻關(guān)計(jì)劃資助項(xiàng)目(1301b042023)

韓敬賢(1994-),女,安徽阜陽人,合肥工業(yè)大學(xué)碩士生; 齊美彬(1969-),男,安徽東至人,博士,合肥工業(yè)大學(xué)教授,碩士生導(dǎo)師; 蔣建國(guó)(1955-),男,安徽寧國(guó)人,合肥工業(yè)大學(xué)教授,博士生導(dǎo)師.

10.3969/j.issn.1003-5060.2016.12.010

TP391.41

A

1003-5060(2016)12-1639-06