基于超像素時空顯著性的運動目標檢測算法

云紅全，徐 力，孫 驍，明德烈，鞠 雯

?

基于超像素時空顯著性的運動目標檢測算法

云紅全1,2，徐 力1,2，孫 驍3，明德烈3，鞠 雯1,2

（1. 宇航智能控制技術(shù)國家級重點實驗室，北京 100854；2. 北京航天自動控制研究所，北京 100854；3. 華中科技大學(xué)自動化學(xué)院 多譜信息處理技術(shù)國家級重點實驗室，湖北 武漢 430074）

針對復(fù)雜背景下運動目標檢測存在的背景干擾、目標分割不完整等問題，利用目標靜態(tài)灰度特征和運動特征，結(jié)合目標運動連續(xù)特性，提出了一種基于超像素時空顯著圖的運動目標檢測算法。首先對圖像基于簡單線性迭代聚類算法（SLIC）進行超像素分割，以初始超像素為節(jié)點、以運動特征差異性為邊建立圖結(jié)構(gòu)對超像素區(qū)域進行合并，得到最終超像素圖像，可以有效解決傳統(tǒng)超像素分割方法過分割而導(dǎo)致目標被分為多個部分的問題；然后分別利用目標靜態(tài)特征對比度和運動特征對比度，得到靜態(tài)顯著性圖和運動顯著性圖，并融合得到最終的時空顯著性圖；最后利用恒虛警處理技術(shù)，結(jié)合運動連續(xù)特性實現(xiàn)目標的檢測，可以有效減少虛警目標。實驗結(jié)果表明，該算法針對復(fù)雜背景具有良好的魯棒性，并且可以比較完整的保留目標的信息。

超像素；時空顯著性；運動連續(xù)性；恒虛警處理

0 引言

運動目標檢測在軍事、工業(yè)、商業(yè)、醫(yī)學(xué)、氣象等各個方面有著廣泛的應(yīng)用。地面背景中建筑物、橋梁、樹木等干擾物的存在以及成像設(shè)備的影響，造成目標亮度不均衡或者目標和背景灰度十分相近等，這給目標的檢測帶來困難。普通的檢測方法例如幀差法[1]、背景減除法[2]等很難將目標完整的分割出來。

人類可以迅速地從大量視覺輸入信息中排除復(fù)雜的環(huán)境干擾和信息冗余，發(fā)現(xiàn)所要關(guān)注的人或者事物，這主要依靠人類的視覺注意機制。對人類視覺注意機制的研究和分析是顯著性分析的理論基礎(chǔ)。近年來，通過許多專家和學(xué)者對視覺注意機制的研究，提出了許多視覺顯著性計算模型，不同的模型使用不同的特征，主要包括顏色、亮度、梯度、邊緣和紋理等[3-8]，這些研究主要集中在對圖像靜態(tài)特性分析上。

超像素是由具有相似顏色紋理等特征的相鄰像素構(gòu)成的圖像塊。超像素能夠捕獲圖像的冗余信息從而大大降低圖像后續(xù)處理如目標識別圖像分割等任務(wù)的復(fù)雜度，因此在計算機視覺應(yīng)用中越來越受到人們的重視[9]。

為此，針對傳統(tǒng)運動目標檢測算法中檢測結(jié)果易受復(fù)雜背景影響而產(chǎn)生虛警、分割結(jié)果難以保持目標完整形狀等問題，本文提出了一種基于超像素時空顯著性和運動連續(xù)性的復(fù)雜背景運動目標檢測算法。該算法首先對圖像進行超像素分割及超像素合并，然后利用目標靜態(tài)和運動特性分別獲得靜態(tài)和動態(tài)顯著圖并融合成時空顯著性圖，最終利用恒虛警處理技術(shù)和運動連續(xù)特性實現(xiàn)目標的檢測。

1 基于超像素時空顯著性的運動目標檢測算法

本文主要利用目標靜態(tài)灰度特征和運動特征，建立時空顯著性模型，并且結(jié)合目標運動連續(xù)特性，實現(xiàn)目標的檢測，算法具體步驟如圖1所示。

1）對輸入圖像進行超像素分割，并對每個超像素區(qū)域采用中值流算法提取運動特征。以超像素區(qū)域為節(jié)點，通過運動特征差異性計算邊的權(quán)重值，建立圖結(jié)構(gòu)，利用圖論模型實現(xiàn)超像素區(qū)域的合并，生成新的超像素圖。

2）對每個超像素區(qū)域提取運動特征和灰度直方圖統(tǒng)計特征。分別計算靜態(tài)灰度特征區(qū)域全局對比度和運動特征區(qū)域局部對比度，得到靜態(tài)顯著性圖和運動顯著性圖，融合得到最終的時空顯著性圖。

3）利用最大對比度算法對圖像進行分割，然后利用恒虛警處理技術(shù)得到所有可能目標信息。

4）連續(xù)多幀做以上計算，利用目標運動連續(xù)性，實現(xiàn)目標的最終檢測。

2 基于超像素的時空顯著圖生成

2.1 超像素生成及合并

SLIC算法[10]是一種思想簡單、實現(xiàn)方便的超像素生成算法，該算法速度較快，能生成緊湊、近似均勻的超像素，但使用該算法生成的超像素區(qū)域有時會忽略目標的整體信息，而將目標分為多個部分。因此本文對利用圖論模型對SLIC算法生成的超像素區(qū)域進行一次區(qū)域合并，得到最終的超像素分割圖像。

首先，利用基于測地距離的SLIC算法[9]將圖像分割成初始超像素區(qū)域。測地距離[11-12]可以較好地反映圖像本身的幾何信息，SLIC算法是基于均值聚類算法的超像素分割算法，計算簡單、高效?；跍y地距離的SLIC算法可以生成分布和大小均勻的超像素。

其次，對每個超像素區(qū)域采用中值流算法[13]計算運動特征，運動特征的計算方法2.2節(jié)中詳述。

然后，利用超像素區(qū)域和運動特征建立的圖論模型。圖結(jié)構(gòu)中每個節(jié)點對應(yīng)圖像中SLIC生成的超像素，每條邊連接著相鄰的超像素區(qū)域，邊的權(quán)值對應(yīng)著連接的超像素之間的運動特征的相似度，相似度用歐式距離衡量。

圖1 運動目標檢測算法整體流程

最后，將Felzenszwalb[14]提出的基于圖論的圖像分割算法擴展到本文的超像素圖中，對超像素區(qū)域進行合并，得到新的超像素圖用來進行后續(xù)的時空顯著圖生成計算。

2.2 時空顯著圖生成

本文提取灰度和運動2種特征計算顯著性圖，首先利用運動特性對目標進行區(qū)域合并，在利用靜態(tài)灰度和運動特征分別計算靜態(tài)顯著性和運動顯著性圖，最后將2個顯著性圖加權(quán)求和得到最終的時空顯著性圖。計算過程如圖2所示。

圖2 顯著性圖計算流程圖

2.2.1 顯著性特征提取

1）灰度直方圖統(tǒng)計特征

對每個超像素區(qū)域進行灰度直方圖統(tǒng)計，作為每個超像素區(qū)域的靜態(tài)特征?；叶戎狈綀D是圖像灰度級的函數(shù)，反映的是圖像中各灰度出現(xiàn)的概率，是圖像基本的統(tǒng)計特征。

2）運動特征計算

1）在每個超像素區(qū)域內(nèi)選取K個梯度最大的點，作為每個超像素區(qū)域的初始跟蹤點{p(i),＝1, 2, …,K}。

2）正向跟蹤。利用Lucas-Kanade光流算法得到對應(yīng)的跟蹤點系列{p＋1(i),＝1, 2, …,K}。

3）反向跟蹤。將第＋1幀中對應(yīng)跟蹤點{p＋1(i),＝1, 2, …,K}作為初始點，利用Lucas-Kanade光流算法反向跟蹤得到對應(yīng)的跟蹤點系列{p￠(i),＝1, 2, …,K}。

4）計算跟蹤誤差，剔除50%誤差值高的跟蹤點，剩下50%跟蹤效果好作為有效跟蹤點用于計算該超像素區(qū)域的運動特征。計算有效跟蹤點的運動速度，然后取平均值作為該超像素區(qū)域的運動特征。

2.2.2 顯著圖生成

本文對每個超像素區(qū)域提取靜態(tài)灰度特征和運動特征，分別計算靜態(tài)顯著性和運動顯著性圖，最后將2個顯著圖加權(quán)求和得到最終的時空顯著圖。

1）靜態(tài)特征顯著性

對每個超像素區(qū)域提取灰度直方圖特征，每個超像素區(qū)域的靜態(tài)顯著性計算公式為：

式中：表示圖像中除超像素區(qū)域以外的超像素區(qū)域。2個超像素之間靜態(tài)特征差異性定義為：

式中：2(f,f)表示兩超像素區(qū)域灰度直方圖特征的卡方距離；為所有超像素區(qū)域的卡方距離的均值。權(quán)重超像素區(qū)域r,r中心位置歐氏距離的反比，然后進行歸一化得到。計算方法如下：

式中：L表示超像素區(qū)域r,r(x,y)(x,y)的歐式距離，即2個超像素之間的距離越近，則權(quán)重值越大，距離遠的超像素的權(quán)重小。每個超像素區(qū)域的靜態(tài)顯著性是與圖像中所有超像素區(qū)域的靜態(tài)特征對比計算出的，所以是全局對比度的度量。

2）運動特征顯著性

每個超像素區(qū)域利用中值流算法計算運動特征（2.1節(jié)中所述），對于目標的運動顯著性，目標和周圍鄰域環(huán)境具有運動差異性，提取每個超像素區(qū)域的運動特征，計算每個超像素區(qū)域運動特征和其相鄰超像素區(qū)域之間的差異性，計算公式：

式中：(i)表示超像素區(qū)域相鄰超像素的集合；＝1/L即為超像素區(qū)域r,r中心的歐氏距離的反比，然后進行歸一化得到，計算方法與靜態(tài)特征顯著性中權(quán)重計算方法相同。運動特征差異性定義為運動速度矢量的歐氏距離：

3）靜態(tài)、運動顯著性圖融合

通過計算靜態(tài)灰度特征對比度和運動特征局部對比度得到靜態(tài)顯著性圖和動態(tài)顯著性圖，由于2個顯著性圖的計算方法不同，其取值范圍也不同，將兩個顯著性融合的過程中可能無法體現(xiàn)不同特征的顯著程度，因此采用ITTI模型[15]中規(guī)范化算子將兩種顯著性圖進行規(guī)范化，消除不同特征顯著性圖的動態(tài)范圍的差異性，然后通過線性加權(quán)得到最終的時空顯著性圖。規(guī)范化算子的處理流程如下：

①將圖像中的數(shù)值標準化量化至固定量級[0,…,]，目的是消除不同的幅值差異；

3 基于恒虛警處理和運動連續(xù)性的目標檢測

首先對顯著性圖采用最大對比度分割算法進行分割，然后根據(jù)利用恒虛警處理技術(shù)對分割結(jié)果進行處理，最后通過運動連續(xù)性獲得最終目標。

3.1 基于最大對比度分割算法的顯著圖分割

在對顯著性圖分割的過程中，一般希望可以自動的獲取最佳閾值，而不是人工設(shè)定。本文采用最大對比度分割算法實現(xiàn)對顯著性圖的分割。該算法的主要思想是最佳分割門限應(yīng)該是使圖像對比度最大的灰度值。絕對對比度定義為：

式中：()為高于閾值區(qū)域的灰度平均值；()為低于閾值區(qū)域的灰度平均值。

最佳分割閾值由公式(9)計算得到：

該分割算法可以自適應(yīng)的計算閾值，不需要人工設(shè)定參數(shù)，適應(yīng)范圍比較廣。

3.2 基于恒虛警處理和運動連續(xù)性的目標檢測

對于分割效果而言，如果目標區(qū)域顯著性值比較高，則很容易就將目標和背景分割開來，反之如果存在多個干擾區(qū)域，顯著性同樣比較高，則該分割算法仍會保留較多細節(jié)，而不至于將目標丟失。如果分割出多個目標，則對分割后結(jié)果本文采用恒虛警處理技術(shù)對結(jié)果進行處理。

采用恒虛警處理技術(shù)[16]對于分割出多可疑似目標的情況進行處理，使得輸出的目標個數(shù)恒定。具體來說，首先給定恒虛警數(shù)CFA，如果顯著性圖分割目標數(shù)目小于恒虛警數(shù)CFA則直接輸出目標檢測結(jié)果。如果分割目標個數(shù)大于恒虛警數(shù)CFA，則分別計算每個疑似目標的“信噪比”，即目標的可能性指數(shù)。定義信噪比計算公式如下：

目標運動連續(xù)性是指在圖像序列中目標是穩(wěn)定的，持續(xù)存在的。各種背景干擾或者虛假目標只存在某一幀或者某些幀圖像中，而目標是穩(wěn)定存在的。本文在計算得到單幀恒虛警處理結(jié)果后，對連續(xù)多幀圖像進行結(jié)果對比，在連續(xù)幾幀圖像中，目標位置變化不會很大，若某一位置附近一直存在疑似目標，則認為該疑似目標持續(xù)存在。利用目標的運動連續(xù)特性排除虛假目標，得到最終目標。

4 實驗及結(jié)果分析

實驗選取幾組不同類型目標進行目標檢測試驗，試驗平臺為Matlab 2009，PC配置為CPU：Core i5，主頻2.8GHZ，內(nèi)存4GB，硬盤1T。部分實驗結(jié)果如圖3、圖4所示。

圖4 顯著性圖實驗對比圖

如圖3為本文算法目標檢測結(jié)果圖，其中(a)為輸入圖像，(b)超像素分割結(jié)果，從分割結(jié)果可以看出利用SLIC算法初步對圖像進行超像素分割，得到分布和大小均勻的超像素塊。(c)為利用運動該特征和圖論模型對超像素進行區(qū)域合并的結(jié)果，從結(jié)果可以看出由于目標運動的一致性和背景中局部一致性，新生成的超像素圖像整體結(jié)構(gòu)信息優(yōu)于合并之前，這樣在計算對比度時不會因為幾個超像素區(qū)域具有相同特性而影響對比度的計算。(d)、(e)為計算得到的靜態(tài)顯著性圖和運動顯著性圖，并分別歸一化后線性求和得到最終顯著性圖(f)。(g)、(h)、(i)為連續(xù)3幀的恒虛警處理結(jié)果。(j)、(k)、(l)為利用于運動連續(xù)性得到的目標檢測結(jié)果。由結(jié)果可以看出，運動連續(xù)特性是運動目標和背景分離的重要信息，目標在連續(xù)多幀圖像中具有始終存在特性和運動特性保持穩(wěn)定性等特征，在加上目標在靜態(tài)單幀圖像中與背景具有的差異性，綜合靜態(tài)差異和運動差異，最終實現(xiàn)目標的檢測。

如圖4將本文顯著性計算模型和其他顯著性計算模型進行對比，圖中(a)～(e)分別為經(jīng)典Itti模型[15]、GBVS顯著性模型[17]、Context-Aware顯著性方法[18]、AIM模型[19]和SR顯著性計算方法[20]的實驗結(jié)果圖，(f)為本文實驗結(jié)果圖，由圖中可以看出本文基于區(qū)域?qū)Ρ榷鹊娘@著性計算方法，由于基于超像素區(qū)域的生成，可以保留目標的整體形狀信息，并且可以減少大面積干擾的影響，生成的顯著性圖利于后續(xù)分割算法和恒虛警處理。

5 結(jié)論

本文主要利用區(qū)域?qū)Ρ榷扔嬎隳繕孙@著性圖，利用運動連續(xù)性實現(xiàn)運動目標的檢測。主要創(chuàng)新點有：①圖論模型和SLIC算法結(jié)合計算超像素圖像。將圖論模型用于SLIC超像素區(qū)域的合并，利用目標的運動特征，實現(xiàn)超像素區(qū)域的合并，使得合并后超像素區(qū)域具有更好的整體結(jié)構(gòu)信息。②顯著性模型在計算區(qū)域?qū)Ρ榷葧r通過全局對比度計算靜態(tài)特征差異性，得到靜態(tài)顯著性圖，通過局部對比度計算動態(tài)特征差異性，得到運動顯著性圖，融合得到最終的顯著性圖。③基于恒虛警處理方法以及運動連續(xù)性，提高算法精確度。實驗結(jié)果表明，該方法檢測結(jié)果穩(wěn)定，針對復(fù)雜背景具有良好的魯棒性，并且可以比較完整的保留目標的信息。

本項目研究成果一個重要應(yīng)用方向就是高速高動態(tài)條件下的車輛視覺輔助導(dǎo)航，為了在夜間對可見光進行感知擴展，人們選擇了許多非可見光波段的相機，其中首選的是紅外成像傳感器[21]。目前的車載夜間視覺系統(tǒng)中，中低端產(chǎn)品以采用主動式紅外照明的近紅外成像系統(tǒng)的為主，而高端則采用非制冷長波紅外成像器，如寶馬7系、奔馳S級等高級轎車，就加裝了美國FLIR公司提供的PathFind IR非制冷長波紅外熱成像器，它可以在完全沒有光照的條件下獲取清晰的前方路面圖像，具有遠高于紅外燈照明的探測距離和圖像清晰度。紅外圖像主要反映物體的溫度場和熱輻射信息，因此可以獲取駕駛?cè)藛T夜間目視無法觀測到的前方道路行人、車輛信息。運用本文所提算法可以較好的解決紅外傳感器圖像中前方道路障礙物的快速探測及識別問題。另外，進一步優(yōu)化算法、提高算法實時性是下一階段研究的重點。

[1] Lipton A, Kanade T, Fujiyoshi H, et al.[M]. Pittsburg: Carnegie Mellon University, the Robotics Institute, 2000.

[2] Stauffer C, Grimson W E L. Adaptive background mixture models for real-time tracking[C]//, 1999, 2: doi: http: //dx. doi. org/ 10.1109/ CVPR. 1999. 784637.

[3] Kimura A, Yonetani R, Hirayama T. Computational models of human visual attention and their implementations: A survey[J]., 2013, 96(3): 562-578.

[4] Margolin R, Tal A, Zelnik-Manor L. What Makes a Patch Distinct?[C]//2013(), 2013: 1139-1146.

[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]., 2013, 35(1): 185-207.

[6] Borji A, Sihite D N, Itti L. Quantitative analysis of human-model agreement in visual saliency modeling: A comparative study[J]., 2013, 22(1): 55-69.

[7] Ni Q, Gu X. Video attention saliency mapping using pulse coupled neural network and optical flow[C]//2014(), 2014: 340-344.

[8] Luo Q, Geng Y, Liu J, et al. Saliency and texture information based full-reference quality metrics for video QoE assessment[C]//2014(NOMS), 2014: 1-6.

[9] 王愛齊, 邱天爽. 基于測地距離的超像素生成方法[J]. 大連理工大學(xué)學(xué)報, 2012, 52(4): 610-614.

Wang Ai-qi, Qiu Tian-shuang. Superpixels construction method based on geodesic distance[J]., 2012, 52(4): 610-614.

[10] Achanta R, Shaji A, Smith K, et al. Slicsuperpixels[R/OL].(),, 2010: http://ivrgwww.epfl.ch/supplementary_material/RK_SLICSuperpixels/.

[11] Sethian J A.:[M]. Cambridge university press, 1999.

[12] Yatziv L, Bartesaghi A, Sapiro G. O(N) implementation of the fast marching algorithm[J]., 2006, 212(2): 393-399.

[13] Kalal Z, Mikolajczyk K, Matas J. Forward-backward error: Automatic detection of tracking failures[C]//20(), 2010: 2756-2759.

[14] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]., 2004, 59(2): 167-181.

[15] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[16] Gandhi P P, Kassam S A. Analysis of CFAR processors in homogeneous background[J]., 1988, 24(4): 427-445.

[17] Harel J, Koch C, Perona P. Graph-based visual saliency[C]//, 2006: 545-552.

[18] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]., 2012, 34(10): 1915-1926.

[19] Bruce N, Tsotsos J. Saliency based on information maximization[C] //, 2005: 155-162.

[20] Hou X, Zhang L. Saliency detection: A spectral residual approach[C]//, 2007: 1-8.

[21] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢[J].紅外技術(shù), 2013, 35(6): 311-318.

Chen Qian. The status and development trend of infrared image processing technology[J]., 2013, 35(6): 311-318.

Moving Target Detection Algorithm Based on Superpixel Spatiotemporal Saliency

YUN Hong-quan1,2，XU Li1,2，SUN Xiao3，MING De-lie3，JU Wen1,2

(1.,100854,; 2.,100854,; 3.,,,430074,)

A new moving target detection algorithm based on superpixel spatiotemporal saliency is proposed to solve the problem of high false alarm and incomplete structure within moving target detection under complex background which takes into account of static characteristic and motion information of moving targets. Firstly, this algorithm extracts superpixels by image segmentation techniques, and builds a graph based on motion information and makes use of the graph theory for superpixels region emerging. Then, this algorithm calculates the static feature contrast and motion feature contrast of each superpixels to generate spatiotemporal saliency map. So the final saliency map can be obtained by fusing both the static and motion feature saliency map. Finally the target detection is achieved using constant false alarm processing and motion continuity feature. The experiment result shows that the algorithm is robust to complex background and detects intact information of the target.

superpixels，spatiotemporal saliency，motion continuity，constant false alarm

TP391.4

A

1001-8891(2015)05-0404-07

2014-09-25；

2014-11-20.

云紅全（1984-），男，湖北孝感人，高級工程師，主要從事飛行器任務(wù)規(guī)劃技術(shù)研究。E-mail：yunhongquan@sina.com。

國家自然科學(xué)基金資助項目，編號：61273241。