智能視頻監(jiān)控系統(tǒng)中多視角目標跟蹤研究與FPGA實現(xiàn)

徐海剛，李朋偉

（1.河南工學院 計算機科學與技術(shù)系，河南 新鄉(xiāng)　453002；2.太原理工大學 信息工程學院，山西 太原　030024）

智能視頻監(jiān)控系統(tǒng)中多視角目標跟蹤研究與FPGA實現(xiàn)

徐海剛1，李朋偉2

（1.河南工學院 計算機科學與技術(shù)系，河南 新鄉(xiāng)453002；2.太原理工大學 信息工程學院，山西 太原030024）

為了提高智能視頻監(jiān)控（IVS）系統(tǒng)中運動目標跟蹤的可靠性和實時性，提出一種分布式架構(gòu)的高清多視角IVS系統(tǒng)。首先，前端FPGA模塊與高清IP攝像機相連，用于收集視頻并進行初級視頻處理；然后，F(xiàn)PGA通過網(wǎng)絡與后端GPU服務器相連，GPU服務器執(zhí)行高級視頻處理；最終實現(xiàn)目標在多攝像機間的連續(xù)跟蹤。實驗結(jié)果表明該系統(tǒng)運行穩(wěn)定，能夠在多視角下快速、準確地跟蹤目標。

智能視頻監(jiān)控系統(tǒng)；多視角目標跟蹤；運動目標跟蹤；FPGA

0引　言

由于低成本和高分辨率數(shù)字攝像機的產(chǎn)生，基于互聯(lián)網(wǎng)的分布式智能攝像機網(wǎng)絡應運而生，這類網(wǎng)絡的一個重要應用為智能視頻監(jiān)控（Intelligent Video Surveillance，IVS）［1］。IVS系統(tǒng)中包含視頻采集、傳輸和視頻分析（Video Analytics，VA）。通過對采集到的圖像序列進行分析和處理，從而對運動目標進行檢測和跟蹤［2］。IVS系統(tǒng)廣泛應用于安防、刑偵、金融、醫(yī)療衛(wèi)生等領域。

然而，由于攝像機分辨率的提升導致VA任務的高計算需求，且有些IVS系統(tǒng)不能實時進行監(jiān)控。因此，針對720p或1 080p的高清（High Definition，HD）視頻，開發(fā)一種能夠支持VA的實時IVS系統(tǒng)有重要意義。傳統(tǒng)IVS系統(tǒng)通常在PC平臺上開發(fā)，雖然有方便的編程環(huán)境和高計算能力，但其在長時間連續(xù)運行時，穩(wěn)定性和可靠性較差。目前，嵌入式系統(tǒng)（例如RAM，DSPFPGA）在IVS攝像機架構(gòu)中的應用引起了極大關(guān)注。利用嵌入式穩(wěn)定性高、尺寸小、硬件可裁剪、模塊化程度高而且支持以太網(wǎng)等特點，結(jié)合現(xiàn)代圖像處理技術(shù)，提高系統(tǒng)的智能化程度已經(jīng)成為技術(shù)改良的新方向［3］。

本文提出了一種支持高清、多視角和實時VA任務的分布式IVS系統(tǒng)，主要側(cè)重于移動目標的實時HD多視角檢測和跟蹤。其中，前端采用現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）嵌入式系統(tǒng)實現(xiàn)HD視頻的初級處理，后端采用圖像處理單元（Graphics Processing Units，GPU）服務器執(zhí)行高級處理，最終實現(xiàn)多視角視頻監(jiān)控。實驗結(jié)果表明，本文系統(tǒng)能夠精確、多視角地追蹤目標，具有很好的可靠性和實時性。

1　本文IVS系統(tǒng)架構(gòu)

本文系統(tǒng)硬件采用模塊化設計，其中前端網(wǎng)絡協(xié)議（IP）攝像機分別連接到FPGA嵌入式系統(tǒng)，用于對視頻進行初步處理；然后多個FPGA嵌入式單元連接到一個GPU服務器，用于執(zhí)行高級VA算法。另外，服務器連接到網(wǎng)絡，以支持分布式處理和遠程數(shù)據(jù)訪問。硬件系統(tǒng)框圖如圖1所示。

圖1　本文IVS系統(tǒng)的硬件結(jié)構(gòu)框圖

一些低級VA算法［4］，例如背景建模（BM）、連通區(qū)域標記（CCL）和單視角目標跟蹤，在攝像機端的FPGA上執(zhí)行，以便獲取實時動作。后端GPU服務器主要用于存儲壓縮視頻和支持高級VA算法［5］，例如深度估計和多視角目標跟蹤。本文系統(tǒng)中軟件處理流程如圖2所示。

圖2　本文IVS系統(tǒng)的視頻軟件處理流程圖

2　前端FPGA上初級視頻分析

盡管目前已有關(guān)于BM，CCL和單視角目標跟蹤的硬件設計的研究，但通常針對的是標清視頻。本文針對HD視頻的新的嵌入式架構(gòu)，提出了多種新的方法，以此來減少計算量，使其能夠應用于FPGA中處理HD視頻。

2.1背景建模（BM）

基于像素的BM的主要目標是確定像素是屬于背景（BG）還是前景（FG）［6］。本文將構(gòu)建成一個高斯混合模型（Gaussian Mixture Model，GMM）［7］，通過計算當前像素為BG或FG的后驗概率的比值確定像素來源。設定在時間t時的像素為x（t），概率因子R計算如下：

如果R很小，則檢測到的像素為FG。然而，一般情況下不清楚FG的分布，因此通常假設其為具有的均勻分布，所以，如果像素值滿足式（2），則視作BG：

為了使系統(tǒng)適應光照變化的場景［8］，需用T個樣本的時間窗來連續(xù)更新數(shù)據(jù)集 χ。因此，在時刻t，數(shù)據(jù)集為 χT=｛xt，xt-1，…，xt-T｝。對于每個輸入樣本，更新數(shù)據(jù)集 χT和相應的密度。由于這些樣本可能同時包含BG和FG信息，估計的密度實際為 p（x（t）|χT，BG+FG）。由于BG模型變化緩慢，新的FG樣本通常對應于整體分布中的偏遠模式，所以，可以以此分離出新FG。為了建模 p（x（t）|χT，BG+FG），基于具有M個組件的GMM方法是一種有效的方法，如下：

如果所有M個組件中沒有狀態(tài)為“接近”的組件，則會產(chǎn)生具有的新組件，其中σ20為初始變量。另外，組件的最大數(shù)為有限值，因此具有最小權(quán)重的組件應該被丟棄。該算法中，前景目標通常顯示為具有小權(quán)重的集群，因此，可從混合信息中大致分離出背景，利用大權(quán)重的集群構(gòu)建背景模型：

式中B通過降序分配組件的權(quán)重確定：

式中cf為前景目標的估計分數(shù)。如果一個新樣本來自一幅圖像，且停留了很長時間，當其權(quán)重變得大于cf時，則將它視作背景目標。

2.2連通區(qū)域標記（CCL）

在準備進行目標跟蹤時，通常執(zhí)行CCL檢測FG/BG二進制圖像中的連通區(qū)域［9］。由于現(xiàn)有CCL算法要么具有高計算復雜度，不易在FPGA上實現(xiàn)，要么具有較低的性能。為此，本文提出了一種增強型Two-Pass算法［10］，主要包含兩部分，即首次標記和二次標記。首次標記時，在背景圖像中的每行執(zhí)行向前掃描和向后掃描；第二次標記中，使用最終等價表獲得最終標記的圖像。提出的CCL架構(gòu)如圖3所示，該方法具有較高的標記性能，且具有較低的計算復雜度，易于在FPGA上實現(xiàn)。

圖3　CCL處理架構(gòu)

由于背景圖像以柵格方式掃描，在第一次掃描時，分配臨時標簽給目標像素，在第二次掃描（重新標記）時，根據(jù)最終等價表執(zhí)行最終標簽分配。第一次掃描包括向前和向后掃描，例如，圖4（a）描述了目標像素A，其被從B到I的8個鄰居包圍，圖4（b）和（c）分別表示用于向前掃描和向后掃描的掩碼。

圖4　當前像素A的鄰域以及第一次掃描中使用的掩碼

向前掃描中，包含C，D和E的行是最后一行向后掃描的結(jié)果。如果當前像素A屬于目標像素，則分配向前掃描掩碼中其4個鄰居標簽中的最大值給A，否則，分配0值。如果其4個鄰居沒有一個屬于目標像素，則分配一個新標簽給當前像素A。在第一次掃描時，當分配兩個不同的標簽給兩個具有相同標簽的目標像素時，等價情況出現(xiàn)。例如，當D不屬于目標而C，B，E或A屬于目標時，該情況發(fā)生。將兩個等價標簽存儲于列表中用于重新標記。向后掃描中，當A和F是等價標簽對時，分配其本身和鄰居F之間的最小標簽給當前像素，如果A和F均沒有任何其他等價關(guān)系，則從等價表中移除它們的等價關(guān)系，否則保留它們。

圖5描述了提出的CCL方法的實例，其中綠色框和白色框分別表示FG和BG像素。假設兩個新標簽“3”和“4”由圖5（a）第三行中向前掃描產(chǎn)生。圖5（b）中，通過運用向后掃描掩碼，將具有標簽“3”的像素設為“1”，因為其與右邊具有標簽“1”的像素相連接，并從等價表中刪除等價標簽對。首次標記以及第二次標記的最終CCL結(jié)果如圖5（c）和（d）所示。

圖5　CCL算法的例子

2.3單視角目標跟蹤

本文使用斑點匹配［11］執(zhí)行單視角目標跟蹤，如果一幀中的一個新斑點與當前幀的斑點列表中的一個舊斑點匹配，則認為成功跟蹤了該新斑點。目標跟蹤包括兩個主要操作：遮擋處理；斑點匹配和斑點列表更新。單視角目標跟蹤流程圖如圖6所示。

圖6　單視角目標跟蹤流程圖

從圖6可以看出，輸入斑點首先經(jīng)過遮擋檢測，如果未遮擋，則進行斑點匹配和斑點列表更新，否則，啟動遮擋處理過程。遮擋處理主要解決的問題是，當目標在遮擋后與遮擋物分離時，如何正確的跟蹤目標。然后執(zhí)行斑點匹配過程，其用于判斷輸入斑點是否與斑點列表中的舊斑點匹配，斑點匹配之后更新斑點列表。斑點列表中有三類斑點：舊斑點、匹配的斑點和不匹配的斑點。

2.3.1斑點匹配

斑點匹配在單視角目標跟蹤中扮演著重要角色，其流程圖如圖7所示，從中可以看出，其包含三個主要操作，即計算邊界框距離度量，距離矩陣閾值，斑點關(guān)聯(lián)。

圖7　基于邊界框距離的斑點匹配框圖

（1）邊界框距離度量：斑點可由表示其輪廓的參數(shù)（如大小和速度）的邊界框來描述。通常，兩個邊界框之間的距離為質(zhì)心之間的歐式距離［12］。

（2）距離矩陣閾值：計算出邊界框距離后，需設定適當閾值獲得二進制匹配矩陣，關(guān)聯(lián)輸入斑點與舊斑點。常用的閾值估計方法有卡爾曼濾波（KF）［13］，但是，KF的硬件實現(xiàn)非常復雜，所以本文基于輸入斑點的運動速度來估計閾值。為了計算斑點的速度，需要獲知連續(xù)幀期間兩個匹配斑點質(zhì)心之間的位移。由于舊斑點和輸入斑點在當前圖像幀中尚未匹配，所以根據(jù)前n幀中的速度值估計當前斑點速度：

式中F是幀率。若所有閾值可用，則可獲得一個二進制匹配閾值：

式中：Db（i，j）為二進制匹配矩陣中的二進制值；i和 j分別為行列號；α為閾值方差的遺忘因子。獲得的對應矩陣中，每行或每列包含多于1個非零元素，每個非零元素表示一個輸入斑點和一個舊斑點已經(jīng)匹配。

（3）斑點關(guān)聯(lián)：斑點匹配中最后一項操作是關(guān)聯(lián)當前幀中的匹配斑點來跟蹤前幾幀中的斑點。首先為當前幀中每個匹配的斑點產(chǎn)生一個惟一身份標識（ID）。然后，將其存儲到注冊表中，用于標記視頻中匹配的目標。在斑點匹配結(jié)束后，需更新斑點列表。

2.3.2遮擋處理

目前，針對遮擋處理的主流方法有粒子濾波（Particle Filter）［14］。但是，粒子濾波的實現(xiàn)需要很多硬件資源，為此，本文提出一種簡單方法，目的是減小硬件需求。

當遮擋發(fā)生時，本文將重疊目標視作新目標，以此減少了遮擋后目標分離的跟蹤目標步驟。例如，在遮擋分離后，在舊的匹配斑點中搜索分離后的對應斑點，即遮擋之前和之后斑點ID相同的斑點，本文稱該過程為“遮擋恢復”。但是，每個斑點的位置可能發(fā)生很大變化，這使得邊界框距離度量不可靠。因此，遮擋恢復的關(guān)鍵問題是找出分離后斑點之間的對應關(guān)系。大部分遮擋不會持續(xù)很長時間，所以連續(xù)幀的運動方向與速度高度相關(guān)，尤其是在高幀率下。因此，本文使用速度信息匹配對應目標，完成遮擋恢復?；谒俣鹊恼趽趸謴蜋C制框圖如圖8所示。

圖8　基于速度的遮擋恢復機制

遮擋恢復中包含三個操作，即運動方向匹配（MDM）、速度值匹配（VVM）和斑點關(guān)聯(lián)。如果輸入斑點的速度 vb和舊斑點的速度 vr滿足 vb∈（1-λ）vr，（1+λ）vr），其中λ為用戶定義的歸一化方差因子，本文中設為0.125，則斑點可視為匹配。

3　后端GPU服務器上高級視頻分析

如前所述，初級VA算法在前端攝像機側(cè)執(zhí)行，以便獲取及時動作。然后，在后端高性能圖形處理器（GPU）上執(zhí)行更復雜的高級VA算法，例如全局目標標記和跟蹤。

本文中，后端GPU服務器執(zhí)行兩項高級VA任務：跟蹤目標的平均深度估計；多視角目標跟蹤。目前，很少有IVS系統(tǒng)計算目標的深度映射，這是由于其具有高計算復雜性和相對低可靠性。本文側(cè)重于平均深度值，其計算更可靠，所需計算資源也較少。此外，本文提出了一種多視角跟蹤算法，結(jié)合了平均深度信息，提供攝像機視角間更可靠的切換。

3.1多視角目標跟蹤

本文系統(tǒng)的重要優(yōu)勢為可由單視角跟蹤擴展到基于多個攝像機的多視角目標跟蹤。該過程可劃分成兩步：確定每個攝像機的視角線；當以多個視角檢測一個新目標時，執(zhí)行跨攝像機視角的連通域標記。

由于假設攝像機已校準，所以很容易獲取每個攝像機的視角線。圖9為多視角視頻監(jiān)控系統(tǒng)的一個實例，其中黑色框表示左右兩相機的視角線。本文受文獻［15］啟發(fā)，提出一種全局目標標記方法，使用顏色不相似度和目標到視角線的距離實現(xiàn)跟蹤目標在各攝像機視角間的切換。因此，其具有高效性且計算復雜度低，但是，如果兩個目標具有相似的顏色分布和到視角線的距離，則其性能將會降低。本文在線估計移動目標的平均深度，可用來進一步輔助連通標記，獲得更可靠的切換。

圖9　視角線圖解

3.2深度輔助連通標記

（1）不相似度量的計算。通過假設到視角線的距離為高斯分布，根據(jù)與視角線的距離，匹配兩個目標的概率為：

式中：σd用于在選擇可能候選匹配時，控制區(qū)域的比例或?qū)挾?。文獻［15］中，兩個目標的顏色不相似度定義為：

式中：hi和hj分別為的顏色分布（直方圖）；d（hi，hj）為兩個分布之間的馬氏距離。

為了進一步減少兩個相鄰視角之間由于估計目標位置、視角線和相似度分布中的誤差造成的切換模糊，本文引入了目標之間的深度不相似度參數(shù)：

如果由式（16）計算的具有最大概率的目標已經(jīng)在全局斑點列表BG中標記，則分配其全局標記給Oni，否則，分配一個新全局標記給它們。

4　實驗及分析

為了評估本文硬件系統(tǒng)和VA算法，本文采用幀率為60 f/s，分辨率為720 p/1 080 p的TI-DM385 IP攝像機采集高清視頻數(shù)據(jù)。圖10描述了本文IVS的實體結(jié)構(gòu)，其包含基于GPU的視頻服務器、IP攝像機、FPGA板和圖形用戶接口（GUI），GUI可同時接收和顯示9個不同的視頻流，也能控制每個IP攝像機的視頻流，例如開始、停止和暫停。

圖10　提出的IVS系統(tǒng)實物圖

實驗中，對于遮擋處理，比較了本文方法與基于顏色的粒子濾波方案?；陬伾牧Ｗ訛V波方案具有較高的計算復雜度，不適合在FPGA上實現(xiàn)。然而，其使用顏色分布（直方圖）表示目標，在遮擋過程中能夠精確地分配正確標簽到各種遮擋目標。圖11描述了兩種方法下，單視角目標跟蹤的比較結(jié)果，分別用紅色矩形和藍色矩形表示本文方法和粒子濾波的結(jié)果。圖11（b）描述了人群目標被汽車遮擋，圖11（c）描述了目標與遮擋物分離?？梢钥闯鰞煞N方法都能成功跟蹤移動目標，結(jié)果表明，本文基于FPGA的視頻監(jiān)控方案不僅具有較低計算復雜度，還能夠?qū)崿F(xiàn)與粒子濾波方案近似的性能。

圖11　具有遮擋場景的單視角目標跟蹤

圖12描述了戶外雙視角目標跟蹤的實驗結(jié)果，圖中上半部分描述了當目標穿越相鄰攝像機的視角線時，執(zhí)行深度輔助的全局連通標記結(jié)果。可以看出，當目標穿過一個攝像機的視角線到另一個攝像機的視角中時，本文系統(tǒng)能夠成功地維持目標標簽，從而實現(xiàn)目標跟蹤。圖中下半部分描述了去除背景后，目標對應的平均深度。

圖12　雙視角戶外目標跟蹤

5結(jié)　語

本文提出一種高清多視角IVS系統(tǒng)的設計方案，并在FPGA嵌入式系統(tǒng)上實現(xiàn)。以FPGA作為前端連接攝像機，執(zhí)行初步視頻處理任務。以GPU服務器作為后端，執(zhí)行高級處理任務，最終實現(xiàn)多視角目標跟蹤。本文對FPGA系統(tǒng)中的算法進行了簡化改進，在不顯著降低性能的前提下，有效降低了計算復雜度，使其能夠應用于FPGA系統(tǒng)中。實驗結(jié)果表明，本文系統(tǒng)運行穩(wěn)定，能夠精確快速跟蹤目標，可廣泛應用于實時性要求較高的智能視頻監(jiān)控中。

［1］黃凱奇，陳曉棠，康運鋒，等.智能視頻監(jiān)控技術(shù)綜述［J］.計算機學報，2015，38（6）：1-10.

［2］侯宏錄，李寧鳥，劉迪迪，等.智能視頻監(jiān)控中運動目標檢測的研究［J］.計算機技術(shù)與發(fā)展，2012，22（2）：49-52.

［3］蔣巍，張健，曾浩.基于智能視頻監(jiān)控系統(tǒng)的運動目標檢測和跟蹤［J］.電視技術(shù)，2012，36（5）：110-114.

［4］SAHITHI V M.Remote based intelligent video surveillance system［J］.International journal of computer trends&technology， 2012，3（4）：48-56.

［5］ELARBI-BOUDIHIR A S A M.Intelligent video surveillance system architecture for abnormal activity detection［J］.Philosophy，2012，24（8）：102-111.

［6］桑農(nóng)，張濤，李斌，等.基于字典學習的背景建模［J］.華中科技大學學報（自然科學版），2013，41（9）：28-31.

［7］宋佳聲，胡國清.基于時空熵分析的組合高斯背景建模方法［J］.華南理工大學學報（自然科學版），2012，40（9）：116-122.

［8］趙旭東，劉鵬，唐降龍，等.一種適應戶外光照變化的背景建模及目標檢測方法［J］.自動化學報，2011，37（8）：915-922.

［9］趙菲，張路，張志勇，等.基于硬件加速的實時二值圖像連通域標記算法［J］.電子與信息學報，2011，33（5）：1069-1075.

［10］JOSHI K A，THAKORE D G.A survey on moving object detection and tracking in video surveillance system［J］.International journal of soft computing&engineering，2012，2（3）：135-144.

［11］LAMBERT H C.Cramer-Rao bounds for target tracking problems involving colored measurement noise［J］.IEEE transactions on aerospace&electronic systems，2012，48（1）：620-636.

［12］謝立，胡玲玲，呂一品，等.面向智能視頻監(jiān)控系統(tǒng)運動目標檢測的輪廓提取方法［J］.東南大學學報（自然科學版），2012，42（z1）：31-35.

［13］YANG D H，ZHANG Y，WANG Y P.Automatic target segmentation and tracking in intelligent video surveillance［J］. Applied mechanics&materials，2014（496）：2073-2077.

［14］許慧芳，許亞軍.智能視頻監(jiān)控系統(tǒng)中運動目標跟蹤的研究［J］.電視技術(shù)，2014，38（19）：202-206.

［15］WANG H，WANG X，ZHENG J，et al.Video object matching across multiple non-overlapping camera views based on multifeature fusion and incremental learning［J］.Pattern recognition，2014，47（12）：3841-3851.

Research on multi-view target tracking in intelligent video surveillance system and its implementation by FPGA

XU Haigang1，LI Pengwei2
（1.Department of Computer Science and Technology，Henan Institute of Technology，Xinxiang 453002，China；2.College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China）

To improve the reliability and real-time performance of moving target tracking in intelligent video surveillance （IVS）system，a high definition multi-view IVS system with distributed architecture is proposed.In the system，the front-end FPGA module is connected with the high definition IP camera for video collection and primary video processing.And then，the FPGA is connected with the back-end GPU server through the network，and the GPU server is used to execute the advanced video processing.The target continuous tracking of multiple cameras was realized.The experimental results show that the system can run stably，and track the target in multi-view quickly and accurately.

intelligent video surveillance system；multi-view target tracking；moving target tracking；FPGA

TN948.43-34；TP391

A

1004-373X（2016）17-0006-06

10.16652/j.issn.1004-373x.2016.17.002

2015-10-19

國家自然科學基金項目（51205276）

徐海剛（1981—），男，河南開封人，碩士，講師。研究領域為嵌入式、控制裝置及自動化等。李朋偉（1981—），男，河南周口人，博士，副教授。研究領域為嵌入式系統(tǒng)等。