基于弱特征重識(shí)別的多目標(biāo)長(zhǎng)效摘要

石亞玲，劉正熙，熊運(yùn)余，李 征

(四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610000)

0 引 言

在當(dāng)今的信息社會(huì)，監(jiān)控?cái)z像頭已經(jīng)遍布大街小巷。但是如何在發(fā)生異常情況之后在海量的監(jiān)控視頻中查找事件產(chǎn)生的原因，即在原始的視頻流中找到感興趣的視頻內(nèi)容形成緊湊的摘要，這些摘要簡(jiǎn)短便于組織、能夠快速瀏覽檢索對(duì)象。對(duì)此，國(guó)內(nèi)外對(duì)視頻摘要技術(shù)進(jìn)行了研究，提出了一些較為成熟的摘要系統(tǒng)，如哥倫比亞大學(xué)設(shè)計(jì)的VideoQ[1]系統(tǒng)、FX PaloAlto實(shí)驗(yàn)室提出的VideoManga[2]系統(tǒng)、國(guó)防科技大學(xué)開(kāi)發(fā)的Videowser[3]系統(tǒng)。視頻摘要[4-5]研究領(lǐng)域主要分為視頻概略以及視頻梗概(視頻概述、精彩片段)。阿姆斯特丹大學(xué)設(shè)計(jì)的Goalgle[6]足球視頻搜索引擎，通過(guò)Web端搜索視頻找到足球場(chǎng)上紅牌、黃牌、進(jìn)球和換人等事件，也可以針對(duì)特定的足球運(yùn)動(dòng)員進(jìn)行搜索操作，以獲得單個(gè)運(yùn)動(dòng)員的運(yùn)動(dòng)事件。在視頻概略中基于對(duì)象的視頻摘要技術(shù)[7],即通過(guò)目標(biāo)跟蹤獲取目標(biāo)的連續(xù)信息，將不同時(shí)刻出現(xiàn)的目標(biāo)顯示在同一畫(huà)面中，如果目標(biāo)檢測(cè)不準(zhǔn)確、跟蹤的連續(xù)性較低，則會(huì)導(dǎo)致摘要斷裂、重復(fù)等。

而在跟蹤過(guò)程中，背景的復(fù)雜以及人本身的遮擋、變形使得目標(biāo)的長(zhǎng)效跟蹤變得很困難。文獻(xiàn)[8]融合目標(biāo)的顏色、紋理、運(yùn)動(dòng)信息進(jìn)行相似度比對(duì)；文獻(xiàn)[9]定義目標(biāo)的遮擋類型，根據(jù)不同的類型采取不同的方法以提高魯棒性；文獻(xiàn)[10]聯(lián)合目標(biāo)的顏色、紋理特征并使用卡爾曼濾波預(yù)測(cè)-跟蹤的方案減少遮擋的影響；而文獻(xiàn)[11-12]加入目標(biāo)的顯性特征同時(shí)增加目標(biāo)的搜索區(qū)域，從而解決目標(biāo)的遮擋問(wèn)題。

文中針對(duì)在視頻摘要中目標(biāo)信息不連續(xù)的問(wèn)題，提出在基于JPDA的跟蹤下加入顏色和紋理特征進(jìn)行重識(shí)別，當(dāng)目標(biāo)被穩(wěn)定跟蹤時(shí)提取目標(biāo)的顏色和紋理特征，并且隨著時(shí)間變化進(jìn)行更新，當(dāng)發(fā)生遮擋時(shí)不進(jìn)行更新。通過(guò)增加目標(biāo)運(yùn)動(dòng)方向的搜索范圍使得目標(biāo)再次出現(xiàn)時(shí)能被識(shí)別從而獲得目標(biāo)的長(zhǎng)效摘要，使得視頻概略中目標(biāo)的連續(xù)性更高。

1 多目標(biāo)關(guān)聯(lián)算法

進(jìn)行多目標(biāo)跟蹤最重要的算法就是數(shù)據(jù)關(guān)聯(lián)算法[13]，在真實(shí)的情況中存在許多影響關(guān)聯(lián)準(zhǔn)確性的外部因素。而聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(joint probabilistic data association，JPDA)是目前公認(rèn)的在雜波環(huán)境下對(duì)多目標(biāo)進(jìn)行跟蹤的最理想的方法之一。其主要思想是當(dāng)某測(cè)量在多個(gè)目標(biāo)的候選區(qū)域內(nèi)，即測(cè)量可能源于多個(gè)目標(biāo)。JPDA的目的就是計(jì)算每一個(gè)測(cè)量與其可能源于的所有目標(biāo)的關(guān)聯(lián)概率，且認(rèn)為所有的有效測(cè)量都可能源于某個(gè)特定目標(biāo)，只是它們?cè)从诓煌繕?biāo)的概率不同，源于某目標(biāo)概率最高的測(cè)量即成功匹配。聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法具有良好的性能，但是該算法中，聯(lián)合事件數(shù)是所有候選測(cè)量的指數(shù)函數(shù)，并隨著量測(cè)密度的增大而迅速增大，致使出現(xiàn)組合爆炸現(xiàn)象。文中使用的JPDA算法[14]改進(jìn)了計(jì)算復(fù)雜度，在聯(lián)合事件數(shù)進(jìn)行爆炸式增長(zhǎng)時(shí)，選擇最優(yōu)的100種假設(shè)進(jìn)行聯(lián)合概率的計(jì)算，大大減少了復(fù)雜場(chǎng)景下的計(jì)算率。

(1)

聯(lián)合數(shù)據(jù)關(guān)聯(lián)空間Θ的定義為滿足以下幾種條件的所有可能的測(cè)量與目標(biāo)的組合：

(1)每個(gè)檢測(cè)(除了丟失的情況即i=0)至多分配一個(gè)目標(biāo)；

(2)一個(gè)目標(biāo)只能分配一個(gè)檢測(cè)。

這個(gè)空間集合通過(guò)一系列的二進(jìn)制向量表示為：

(2)

其中，|Θ|=：nh為聯(lián)合分配的總數(shù)；θ∈Θ?BN×(M+1)為數(shù)據(jù)關(guān)聯(lián)問(wèn)題的一種可能的解決方案的二進(jìn)制向量。

(3)

其中

(4)

2 多目標(biāo)跟蹤算法

由以上獲得目標(biāo)聯(lián)合概率的方式可知，在計(jì)算目標(biāo)的聯(lián)合概率時(shí)利用了卡爾曼濾波的預(yù)測(cè)位置以及當(dāng)前的目標(biāo)位置。而卡爾曼濾波僅針對(duì)線性運(yùn)動(dòng)，在真實(shí)的運(yùn)動(dòng)場(chǎng)景中目標(biāo)可能會(huì)與原來(lái)的運(yùn)動(dòng)方向有所偏差，并不是線性運(yùn)動(dòng)。因此僅根據(jù)聯(lián)合概率進(jìn)行目標(biāo)關(guān)聯(lián)會(huì)使得跟蹤效果缺乏魯棒性，由此介紹基于位置預(yù)測(cè)結(jié)合弱特征的匹配關(guān)聯(lián)模型。

希望在改進(jìn)目標(biāo)的跟蹤魯棒性的同時(shí)能兼顧實(shí)時(shí)性能，故選取的特征都是具有代表性并且計(jì)算復(fù)雜度較低的。在圖像中，顏色特征能夠描述目標(biāo)的全局特征，對(duì)目標(biāo)形變，旋轉(zhuǎn)不敏感，但是當(dāng)背景顏色相似、光照強(qiáng)度大以及存在遮擋時(shí)影響較大。紋理特征描述圖像區(qū)域的本質(zhì)屬性，對(duì)光照變化、噪聲有較強(qiáng)的適應(yīng)性，具有旋轉(zhuǎn)不變性。通過(guò)兩個(gè)特征的互補(bǔ)可以適應(yīng)復(fù)雜情景，實(shí)現(xiàn)更為魯棒的跟蹤。其中對(duì)顏色特征，選取顏色直方圖，將RGB空間轉(zhuǎn)換為HSV空間，減少光照的影響。

2.1 LBP特征提取

紋理是圖像灰度和色彩在空間上的變化和重復(fù)，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性，通過(guò)像素及其周圍空間鄰域的灰度分布來(lái)表現(xiàn)，即局部紋理信息。LBP(local binary pattern,局部二值模式)是一種描述圖像局部紋理特征的算子。文中使用的紋理特征為具有旋轉(zhuǎn)不變性的LBP算子：在以R為半徑的圓形區(qū)域內(nèi)選取P個(gè)采樣點(diǎn)，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置標(biāo)記為1，否則為0。這樣將得到一個(gè)LBP算子，而當(dāng)圖像發(fā)生旋轉(zhuǎn)時(shí)，只要LBP算子的值不為全0或全1，LBP算子的值會(huì)發(fā)生改變。不斷地旋轉(zhuǎn)圓形鄰域?qū)⒌玫揭幌盗械腖BP值，然后取其最小值作為該鄰域的LBP值。

(5)

其中，gc表示中心的像素值；gi表示周圍的像素值。

(6)

其中，ROR表示通過(guò)向右移位取不同的LBP。

計(jì)算目標(biāo)的紋理特征直方圖時(shí)，用矩形區(qū)域表示跟蹤目標(biāo)。使用半徑為R的有P個(gè)采樣點(diǎn)的LBP算子，目標(biāo)模型的像素點(diǎn)總數(shù)為n，將目標(biāo)的紋理特征空間均勻分成2P個(gè)直方圖區(qū)間，目標(biāo)模型的直方圖表示為ht，則目標(biāo)模型的直方圖由下式計(jì)算：

(7)

其中，m()為求旋轉(zhuǎn)不變LBP值的函數(shù)；hist()表示將矩陣轉(zhuǎn)換為直方圖。

由于LBP特征以直方圖形式表征,因此可以使用卡方統(tǒng)計(jì)來(lái)度量?jī)蓚€(gè)LBP特征之間的差異,即

(8)

其中，S和M分別為L(zhǎng)BP直方圖特征向量。

在跟蹤過(guò)程中，若光照發(fā)生改變或目標(biāo)發(fā)生旋轉(zhuǎn)，可以保持目標(biāo)的特征函數(shù)不變，增加目標(biāo)函數(shù)匹配度，提高跟蹤的準(zhǔn)確性。

2.2 基于顏色和紋理的JPDA算法

由于卡爾曼濾波無(wú)法預(yù)測(cè)非線性運(yùn)動(dòng)，若目標(biāo)被遮擋進(jìn)行非線性運(yùn)動(dòng)，利用聯(lián)合概率進(jìn)行關(guān)聯(lián)很可能會(huì)關(guān)聯(lián)不是由此目標(biāo)產(chǎn)生的測(cè)量，錯(cuò)誤的關(guān)聯(lián)將導(dǎo)致當(dāng)前幀兩個(gè)目標(biāo)都發(fā)生錯(cuò)誤匹配，并且在后續(xù)的過(guò)程中無(wú)法糾正。而加入了弱特征的JPDA算法根據(jù)丟失幀數(shù)加大搜索范圍，即在目標(biāo)的運(yùn)動(dòng)方向的半個(gè)圓內(nèi)搜索量測(cè)進(jìn)行特征匹配，極大地避免了目標(biāo)遮擋所帶來(lái)的跟蹤錯(cuò)誤。

圖1 在候選區(qū)域周圍增大搜索范圍示意

圖中A為丟失匹配前的最后位置，箭頭所指方向?yàn)槟繕?biāo)出現(xiàn)第一幀位置與A位置的連線方向。由于真實(shí)情況中被遮擋目標(biāo)折返的情況比較少，搜索方向?yàn)榕c目標(biāo)運(yùn)動(dòng)方向垂直的半個(gè)圓的方向，距離為丟失時(shí)的運(yùn)動(dòng)速度乘以丟失的幀數(shù)。

為了避免JPDA因測(cè)量距離目標(biāo)較近使得聯(lián)合概率變大導(dǎo)致跟蹤錯(cuò)誤，對(duì)在閾值范圍內(nèi)的檢測(cè)和目標(biāo)的特征匹配，增加目標(biāo)跟蹤的準(zhǔn)確性，同時(shí)由于顏色直方圖和紋理特征計(jì)算簡(jiǎn)單，仍能使得算法實(shí)時(shí)性保持良好。加入弱特征的JPDA算法流程如下所示：

(1)將第一幀的檢測(cè)作為初始跟蹤目標(biāo)。

(4)若目標(biāo)被連續(xù)跟蹤不小于3幀，則計(jì)算目標(biāo)的顏色和紋理特征，保存為特征模板。目標(biāo)被穩(wěn)定跟蹤并且匹配的檢測(cè)并未與其他檢測(cè)有重疊部分，則認(rèn)為該目標(biāo)為單獨(dú)目標(biāo)，并且特征模板與當(dāng)前幀目標(biāo)特征對(duì)比在閾值范圍內(nèi)，則更新特征模板的值。

(5)將在丟失的目標(biāo)的搜索范圍內(nèi)并未匹配其他目標(biāo)的量測(cè)與該目標(biāo)的特征值進(jìn)行比對(duì)，若顏色直方圖相關(guān)系數(shù)大于α且紋理直方圖差異小于β，則認(rèn)為該檢測(cè)為此目標(biāo)產(chǎn)生，更新目標(biāo)的狀態(tài)；若兩個(gè)特征比對(duì)只滿足一個(gè)條件，則該檢測(cè)被認(rèn)為是此目標(biāo)的子目標(biāo)，在后面的跟蹤過(guò)程中再進(jìn)行特征比對(duì)，防止測(cè)量被物體遮擋只露出一部分的情況。當(dāng)前幀所有目標(biāo)狀態(tài)更新完成即進(jìn)入步驟2，進(jìn)行下幀跟蹤。

3 實(shí)驗(yàn)結(jié)果及分析

使用Matlab2015b進(jìn)行仿真，實(shí)驗(yàn)圖片序列來(lái)自于TUD-campus與TUD-stadtmitte，是以較低的視角拍攝的大學(xué)以及街道的圖片。檢測(cè)結(jié)果均來(lái)自DPM(deformable parts model)[15]，然后使用該算法進(jìn)行跟蹤。為了測(cè)試算法的優(yōu)劣，對(duì)上述圖片進(jìn)行測(cè)試，并對(duì)仿真的結(jié)果進(jìn)行比較和分析。為了方便觀察，只給出了部分會(huì)發(fā)生遮擋的目標(biāo)的跟蹤結(jié)果。

3.1 較長(zhǎng)距離遮擋實(shí)驗(yàn)

圖2中，實(shí)驗(yàn)的測(cè)試序列為一組學(xué)校道路的圖像，TUD-campus總共由71張640×480的圖片組成。在這組圖像中拍攝的角度為人的側(cè)面，由于攝像機(jī)的角度問(wèn)題會(huì)使得目標(biāo)運(yùn)動(dòng)時(shí)發(fā)生遮擋。當(dāng)目標(biāo)在第5幀時(shí)，原算法及文中算法均能跟蹤目標(biāo)，此時(shí)目標(biāo)未發(fā)生遮擋，兩種算法均識(shí)別為目標(biāo)2；第20幀時(shí)發(fā)生遮擋，但由于遮擋時(shí)間較短且為線性運(yùn)動(dòng)，根據(jù)卡爾曼濾波的預(yù)測(cè)，兩種算法也均能識(shí)別目標(biāo)2；當(dāng)目標(biāo)隨后被完全遮擋40幀(即檢測(cè)不出此目標(biāo))之后再次出現(xiàn)時(shí)，原算法將原目標(biāo)2識(shí)別為新目標(biāo)19，原目標(biāo)與預(yù)測(cè)位置的距離超過(guò)丟失閾值后則認(rèn)為丟失，形成了兩條目標(biāo)摘要。而文中算法增加了搜索區(qū)域，只要目標(biāo)的丟失幀數(shù)小于消失閾值45都會(huì)進(jìn)行重識(shí)別，將與丟失目標(biāo)運(yùn)動(dòng)方向一致且在搜索范圍內(nèi)測(cè)量的特征進(jìn)行對(duì)比，從而實(shí)現(xiàn)目標(biāo)的重識(shí)別。

3.2 相同顏色遮擋實(shí)驗(yàn)

圖3中，實(shí)驗(yàn)的測(cè)試序列TUD-stadtmitte由179張640×480的JPG圖片組成，為一組在商店門(mén)口拍攝的圖片序列，目標(biāo)在運(yùn)動(dòng)過(guò)程中會(huì)出現(xiàn)被穿有相似顏色衣服的人遮擋的情況。由對(duì)比圖片可知，在第4幀時(shí)兩種算法均識(shí)別目標(biāo)1；而當(dāng)目標(biāo)被穿有相似顏色衣服的人遮擋之后再次出現(xiàn)時(shí)即第49幀，由于原算法將未與其他檢測(cè)匹配的目標(biāo)認(rèn)為是新目標(biāo)，故識(shí)別為新目標(biāo)14，而文中算法將新出現(xiàn)的目標(biāo)與丟失的目標(biāo)進(jìn)行特征匹配識(shí)別為目標(biāo)1；在第68幀目標(biāo)再次被遮擋之后，原算法根據(jù)距離最近的檢測(cè)匹配識(shí)別為目標(biāo)13，而文中算法將量測(cè)與在距離閾值內(nèi)所有的丟失目標(biāo)進(jìn)行特征對(duì)比并且選擇匹配度最高的目標(biāo)匹配，故識(shí)別為目標(biāo)1。

圖3 相同顏色遮擋實(shí)驗(yàn)

3.3 實(shí)驗(yàn)對(duì)比分析

對(duì)兩種算法下獲得的總摘要數(shù)和正確摘要數(shù)進(jìn)行了分析和對(duì)比，如表1所示。

表1 算法的結(jié)果對(duì)比

表1中的實(shí)際摘要數(shù)是數(shù)據(jù)集中實(shí)際存在的軌跡數(shù)，而總摘要數(shù)是最后的跟蹤結(jié)果中記錄的目標(biāo)位置大于兩幀的軌跡數(shù)，只記錄一幀位置軌跡被認(rèn)為是誤檢且不認(rèn)為是真實(shí)目標(biāo)軌跡。正確摘要數(shù)指當(dāng)目標(biāo)離開(kāi)畫(huà)面時(shí)的ID與進(jìn)入畫(huà)面的ID是相同的，即認(rèn)為目標(biāo)被正確跟蹤。

通過(guò)比較得出，文中算法較原算法減少了總摘要數(shù)，增加了正確摘要數(shù)。在TUD-campus圖片序列中，有三個(gè)目標(biāo)出現(xiàn)時(shí)一直重疊在一起，檢測(cè)時(shí)只能識(shí)別為一個(gè)目標(biāo)，則獲得一個(gè)目標(biāo)的摘要，無(wú)法判斷為三個(gè)目標(biāo)。在TUD-stadtmitte中，存在一個(gè)目標(biāo)提取特征時(shí)為目標(biāo)側(cè)面而遮擋之后再出現(xiàn)時(shí)為目標(biāo)正面，由于目標(biāo)的自旋轉(zhuǎn)導(dǎo)致特征匹配度下降，匹配失敗，從而導(dǎo)致無(wú)法獲得連續(xù)的目標(biāo)摘要。

4 結(jié)束語(yǔ)

在現(xiàn)實(shí)生活場(chǎng)景中，常常存在目標(biāo)與背景顏色相似的情況或者目標(biāo)被遮擋的情景。利用傳統(tǒng)的跟蹤算法無(wú)法對(duì)目標(biāo)進(jìn)行準(zhǔn)確的跟蹤，而文中利用目標(biāo)的顏色特征和紋理特征對(duì)目標(biāo)進(jìn)行描述，避免了背景與目標(biāo)顏色相似時(shí)的跟蹤錯(cuò)誤。并且當(dāng)目標(biāo)丟失時(shí)根據(jù)運(yùn)動(dòng)目標(biāo)的速度增大搜索區(qū)域以解決目標(biāo)遮擋問(wèn)題。通過(guò)實(shí)驗(yàn)證明，該算法有更好的魯棒性。未來(lái)將考慮利用目標(biāo)更多有效的、互補(bǔ)性強(qiáng)的特征，使得在復(fù)雜場(chǎng)景的跟蹤更加準(zhǔn)確。

參考文獻(xiàn):

[1] CHANG S F，CHEN W，MENG H J，et al．VideoQ:an automatedcontent based video search system using visual cues[C]//Proceedings of the 5th ACM international conference on multimedia．Seattle,Washington,USA:ACM，1997:313-324.

[2] UCHIHASHI S，F(xiàn)OOTE J，GIRGENSOHN A，et al．Video manga:generating semantically meaningful video summaries[C]//Proceedings of the seventh ACM international conference on multimedia.Orlando,Florida,USA:ACM,1999:383-392.

[3] 吳玲琦，李國(guó)輝．視頻結(jié)構(gòu)化瀏覽和查詢系統(tǒng):Videowser[J]．小型微型計(jì)算機(jī)系統(tǒng)，2001，22(1):112-115.

[4] KIM E Y,PARK S H.Automatic video segmentation using genetic algorithms[J].Pattern Recognition Letters,2006,27(11):1252-1265.

[5] 王 娟,蔣興浩,孫錟鋒.視頻摘要技術(shù)綜述[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(12):1685-1695.

[6] SNOEK C G M，WORRING M．Time interval maximum entropy based event indexing in soccer[C]//Proceedings of IEEE international conference on multimedia and expo．[s.l.]:IEEE，2003:481-484.

[7] 劉松濤,殷福亮.基于圖割的圖像分割方法及其新進(jìn)展[J].自動(dòng)化學(xué)報(bào),2012,38(6):911-922.

[8] TAKALA V,PIETIKAINEN M.Multi-object tracking using color,texture and motion[C]//IEEE conference on computer vision and pattern recognition.Minneapolis,Minnesota,USA:IEEE,2007:1-7.

[9] 張彥超,許宏麗.遮擋目標(biāo)的分片跟蹤處理[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(1):92-100.

[10] 謝建超.基于多特征聯(lián)合的多目標(biāo)跟蹤的研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2015.

[11] 姚原青,李 峰,周書(shū)仁.基于顏色-紋理特征的目標(biāo)跟蹤[J].計(jì)算機(jī)工程與科學(xué),2014,36(8):1581-1587.

[12] 田 浩,巨永鋒,王 培.改進(jìn)的抗遮擋MeanShift目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(6):197-203.

[13] 魏 祥,李 穎,駱榮劍.數(shù)據(jù)關(guān)聯(lián)算法綜述[J].無(wú)線互聯(lián)科技,2016(11):101-102.

[14] REZATOFIGHI S H, MILAN A, ZHANG Z, et al.Joint probabilistic data association revisited[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2016:3047-3055.

[15] FELZENSZWALB P F,GIRSHICK R B,MCALLESTER D,et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.