多攝像機跨區(qū)域目標跟蹤

石亞玲，劉正熙，熊運余

（四川大學計算機學院，成都 610065）

0　引言

在當今社會中，監(jiān)控攝像頭日益增多，形成了龐大而又復(fù)雜的監(jiān)控網(wǎng)絡(luò)。傳統(tǒng)的單目攝像機下的小場景監(jiān)控已經(jīng)不能滿足人們的需要，面對龐大的視頻監(jiān)控系統(tǒng)，如何利用計算機代替人自動處理來自多個攝像頭的長時間監(jiān)控視頻數(shù)據(jù)，判斷該目標所經(jīng)過的所有攝像機形成的路徑，實現(xiàn)對感興趣目標的長時間持續(xù)穩(wěn)定監(jiān)控。由此跨攝像機目標跟蹤成為當下研究熱點，目前跨攝像頭目標跟蹤主要分為非重疊區(qū)域和重疊區(qū)域跟蹤。非重疊區(qū)域跟蹤即相鄰攝像頭之間的視域無重疊部分，可見部分有監(jiān)控盲區(qū)，主要的技術(shù)難點在于攝像頭關(guān)聯(lián)模型。李志華[1]等提出當目標離開某攝像頭視域后，檢測其相鄰攝像頭中新出現(xiàn)的目標，利用新目標的SIFT特征與數(shù)據(jù)庫中需匹配目標的特征進行對比，若比對成功，則將原攝像頭中的目標編號賦予給新攝像頭中的目標。缺點是需提前知道攝像機的拓撲結(jié)構(gòu)，需要網(wǎng)絡(luò)和服務(wù)器能夠承受較大的負荷。Xiaotang Chen[2]等人在Javed[3]等人工作的基礎(chǔ)上，提出用非監(jiān)督方法構(gòu)建攝像頭間轉(zhuǎn)移模型，利用攝像頭間的時空線索和目標的外觀線索實現(xiàn)跨攝像機跟蹤，采用顏色特征轉(zhuǎn)移算法（CTT）建立攝像頭間外觀轉(zhuǎn)換模型，缺點是不同的顏色轉(zhuǎn)移方向會極大的影響CCT的性能。重疊區(qū)域的跟蹤即同一個目標同時出現(xiàn)時多個攝像頭中，在這種情況下需要考慮的是圖像融合。Khan和Mubarak在文獻[4]中計算出重疊區(qū)域中每個攝像頭的視場分界線，根據(jù)各攝像頭視域間的單應(yīng)關(guān)系建立目標在相鄰攝像頭之間的一致性。缺點是相鄰攝像頭的視域線必須互相可見，否則會降低置信度。

而本文提取圖像的SIFT特征，形成視場分界線。當一個新目標進入某攝像機的視野范圍內(nèi)時，根據(jù)攝像機的視野分界線就能確定出該目標是否在其他攝像機的視野內(nèi),若該目標并未出現(xiàn)在其他攝像頭的視野內(nèi)，給予新標志；否則匹配重疊區(qū)域內(nèi)候選目標中聯(lián)合概率最高的目標標志。

1　基于SIFT特征匹配的視野分界線的形成

視野分界線即一個攝像機的視野邊界線在另一個攝像機中的表現(xiàn)位置，只要在相鄰攝像機的重疊區(qū)域內(nèi)找到4對以上的對應(yīng)點，利用投影不變量關(guān)系在重疊視域內(nèi)做任意點的投影，即可生成視野分界線[5]。然而基于投影不變量的視野分界線生成算法的精度取決于對應(yīng)點的精度，故本文運用SIFT[6]特征進行特征點的提取，使用RANSAC[7]算法去除誤匹配，選擇適合的對應(yīng)點生成視野分界線。

因此如果我們需要拼接來自攝像機自O(shè)i與Oj的兩幅圖像Ii與Ij，重疊區(qū)域即Oi與Oj的可見區(qū)域，其視野分界線的生成可通過以下步驟實現(xiàn)：

（1）分別提取Ii與Ij的SIFT特征獲取關(guān)鍵特征點集 Fi與Fj,可以表示為 {(xt,yt)|(xt,yt)∈Ft,(xt,yt)∈It,t=i,j}。

（2）利用最近鄰搜索算法[8]針對圖像中的某個特征點找到與之匹配的鄰近點。獲取初匹配點集 M={xi,yi)?(xj,yj)}|(xi,yi)∈Fi,(xj,yj)∈Fj}。

（3）采用特征的歐氏距離作為相似性度量來判定特征點對是否匹配，計算匹配結(jié)果中距離的最大值dmax，用于篩選合適的匹配點集M'，規(guī)則如下：

其中d{(xi,yi),(xj,yj)}代表歐氏距離，α為篩選的閾值，α越少，匹配數(shù)量越少，匹配精度越高。

（4）對匹配點集M'采用RANSAC去除野點，獲得較準確的匹配點對K''，同時獲得RANSAC得到的基礎(chǔ)矩陣H。

（5）圖像Ii在Ij中相應(yīng)的視野分界線可通過變換獲得，即Oi在Oj的視野分界線通過Ii的邊界線s的H變換進行逼近，即=Hs。

圖1　相機的視野分界線示意圖

2　基于視野分界線的目標交接

跨相機跟蹤的主要難點為目標交接，即當一個目標從一個相機走出或者進入另一個相機是，給多攝像機中觀測的同一個目標分配相同的標識。常用的目標交接算法有基于模型的算法，基于特征匹配的算法與基于視場分界線的算法等[9]。而基于視場分界線的算法不需要進行標定，簡單高效，故本文以此方法進行跨攝像機的目標交接與跟蹤研究。

通過上文的步驟確定了相機的視野分界線后，可以根據(jù)視野分界線將場景分為重疊區(qū)域與非重疊區(qū)域。再根據(jù)目標的位置信息與視野分界線的距離判斷目標的所在區(qū)域。對相機中新進入的目標進行身份判斷，并給予正確的標志。

2.1　目標的可見攝像機集合

生成相機的視野分界線之后，通過目標中心位置到視野分界線（可表示為Ax+By+C=0）的位置判斷目標是否在其他攝像機視野內(nèi)。如圖3-1所示，對于圖像坐標而言，當目標的位置位于視野分界線上方，則可以表示為Ax+By+C＞0,當目標位置位于視野分界線下方，則可表示為Ax+By+C＜0。

圖2　目標位置與視野分界線的關(guān)系

當相機O1檢測到運動目標P時，記錄下其坐標位置（x1,y1）。假設(shè)相機O2在相機O1中的視野分界線為Ax+By+C=0，又假設(shè)重疊視野區(qū)域位于視野分界線下方，那么目標的可見攝像機集合可由以下式子判斷：

每個圖像Ii都有相應(yīng)的可見區(qū)域，其中Vij(x,y)=1表示（x,y）在攝像機Oj中可見，那么可計算在Oi中出現(xiàn)的第n個目標Tin所有可見的攝像機的集合Oi(n)：

其中On表示所有攝像機的集合。

2.2　基于聯(lián)合概率匹配的重疊區(qū)域跟蹤算法

（1）獲取 Oi中目標的位置信息，并對于?Oj∈Oi(n)，查找候選目標，候選目標需要滿足其中心位置離視野分界線的歐式距離小于閾值td，同時滿足候選目標從攝像機Oj向Oi的邊s移動。

（2）若滿足以上條件的候選目標不只一個，則采用聯(lián)合概率匹配法，找出聯(lián)合概率最高的目標，若已經(jīng)被關(guān)聯(lián)標簽blob_id,則給加上相同的標簽blob_id,否則，給和附上新的標簽。若候選目標集為空，則給附上新標簽。

聯(lián)合概率匹配法的目的是提高目標匹配的準確度。其具體的思想如下：

時間距離匹配度為：

其中σt用來控制時間段的范圍。

空間距離匹配度：

其中σa用來控制候選目標的區(qū)域半徑范圍，d（x,y）表示向量x和y的歐氏距離。

顏色直方圖的相似匹配概率：

其中h1,h2分別表示，的顏色直方圖，而d(h1,h2)表示兩顏色直方圖的歐氏距離。

因此，對于待匹配目標Tin，候選目標與的匹配概率為 Pd，Pt，Pa，Ph的乘積，即：

2.3　基于常速度模型的非重疊區(qū)域跟蹤

假設(shè)攝像機Oi與Oj為非重疊的攝像機，當從攝像機Oj消失進入Oi的“盲區(qū)”時，利用最小二乘法估算目標在“盲區(qū)”的平均速度。通過攝像機Oj中的已知腳點位置和常速度模型估算盲區(qū)中的位置。當目標進入攝像機Oi視野之后，其跟蹤方法同2.2。

3　實驗結(jié)果及對比

圖3為真實場景中重疊場景的跨區(qū)域跟蹤結(jié)果，其中紅色線段代表攝像機的FOV線。

圖4為真實的非重疊場景的跨區(qū)域跟蹤結(jié)果，對圖 4（a）中紅框目標=1持續(xù)跟蹤一段時間后，目標進入攝像機的非重疊區(qū)域，利用常速度模型對目標位置進行預(yù)測。目標消失一段時間之后出現(xiàn)在攝像機O2中，檢測結(jié)果為=5，如圖 4（b）所示，然后根據(jù) 2.2 的匹配方法持續(xù)跟蹤，最后匹配結(jié)果為=1，見圖 4（c）。

圖3　重疊區(qū)域真實場景跟蹤

4　結(jié)語

本文的創(chuàng)新點在于基于SIFT特征的視野分界線生成算法，提出基于聯(lián)合概率的多攝像機跨區(qū)域跟蹤算法，實現(xiàn)了重疊區(qū)域跟蹤和非重疊區(qū)域的有效跟蹤。為了驗證算法的準確性，搭建了一個室外的包含重疊區(qū)域和非重疊區(qū)域的多攝像機跟蹤系統(tǒng)。根據(jù)實驗結(jié)果表明，運用此算法的跟蹤系統(tǒng)能夠?qū)崟r、穩(wěn)定的跟蹤目標。但是本算法仍需繼續(xù)改進，相信今后會出現(xiàn)更加魯棒，更具擴展性，更加智能化的跨攝像頭目標跟蹤算法。

參考文獻：

[1]李志華,陳耀武.基于多攝像頭的目標連續(xù)跟蹤[J].電子測量與儀器學報,2009,23（2）:46-51.

[2]Chen X,Huang K,Tan T.Obeject Tracking Across Non-Overlapping Views by Learning Inter-Camera Transfer Model[J].Pattern Recognition,2014,47（3）:1126-1137.

[3]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[C].IEEE International Conference on Computer Vision,2003.Proceedings.2003:952-957 vol.2.

[4]Khan S,Shah M.Consistent Labeling of Tracked Objects in Multipe Cameras with Overlapping Fields of View[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2003,25（10）:1355-1360.

[5]紀慧泉,黎寧.一種基于投影不變量的目標交接改進方法[J].計算機與數(shù)字工程,2012,40（4）:78-80.

[6]Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60（2）:91-110.

[7]Fischler M A,Bolles R C.Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].in Comn.of the ACM,1981,24（6）:726-740.

[8]肇瑩,劉紅星,王仲宇,等.最近鄰搜索用于分類問題的一種改進[J].南京大學學報（自然科學）,2009,45（4）:455-462.

[9]衡林.多攝像機視域中的運動目標檢測與跟蹤研究[D].南京郵電大學,2013.