互補增強式空間運動目標高精度檢測與分割

王靜靜， 秦世引

(北京航空航天大學 自動化科學與電氣工程學院, 100191 北京)

?

互補增強式空間運動目標高精度檢測與分割

王靜靜， 秦世引

(北京航空航天大學 自動化科學與電氣工程學院, 100191 北京)

摘要:針對空間監(jiān)視系統(tǒng)中的運動目標自主高精度的檢測問題，提出一種顯著性計算與光流檢測互補增強式算法. 以mean shift初檢結果為導引，通過顯著性區(qū)域檢測與光流檢測的互補增強而實現(xiàn)空間運動目標的高精度檢測. 首先通過梯度信息和頻率調(diào)諧濾波的互補方式分別計算整幅圖像和mean shift分割后各個分塊區(qū)域的顯著性，再以整幅圖像顯著性均值為參考，確定合理的閾值以檢測候選目標；與此相并行，也采用光流計算及相應的閾值檢測方法獲取候選目標. 進而通過對顯著性計算與光流檢測分別得到的兩個不同候選目標分布圖的合取運算進行目標確認，最后再輔之以形態(tài)學濾波使確認目標得以增強，從而實現(xiàn)空間運動目標的高精度檢測與分割. 研究結果表明，在無需知道任何場景和目標先驗信息，也無需人工干預的條件下，所提算法能夠有效實現(xiàn)空間運動目標的精確檢測和分割，對光照變化和噪聲干擾也有很強的適應能力.

關鍵詞:顯著性計算；光流檢測；空間運動目標；均值平移

隨著航天技術的發(fā)展，世界上越來越多的國家開展空間目標監(jiān)視系統(tǒng)任務. 空間目標監(jiān)視系統(tǒng)的任務是對重要空間目標進行精確探測和跟蹤，確定可能對航天系統(tǒng)構成威脅的目標的任務、尺寸、形狀和軌道參數(shù)等重要目標特性[1]. 美國是目前空間監(jiān)視能力最強的國家，歐盟、日本等國也在發(fā)展獨立的空間目標監(jiān)視系統(tǒng)，我國的空間目標監(jiān)視系統(tǒng)研究發(fā)軔于航天事業(yè)的迅猛進展之中[2]，正在逐步走向前沿. 由于光學成像目標探測技術的普適性優(yōu)勢，基于光學成像系統(tǒng)的目標檢測和分割成為空間目標監(jiān)視系統(tǒng)的關鍵技術. 本文空間運動目標為中低軌道衛(wèi)星、飛船等目標，這些衛(wèi)星和飛船在軌飛行時，遇太陽光照射，光學敏感器采集到的圖像含有少量云層等背景信息. 因此，在未知任何先驗信息的條件下，如何精確檢測和分割云層背景下空間運動目標具有重要意義.

常用的運動目標檢測方法一般都是基于序列圖像的運動目標檢測，主要有幀差法[3]、背景建模法[4]、光流法[5-6]等. 幀差法和背景建模法在攝像機固定情況下運動目標檢測具有較好的效果，但是對攝像機運動情況下的目標檢測，處理效果不太理想. 光流法作為重要的二維運動估計技術，不但能夠有效的估計出圖像中目標運動的大小和方向信息，而且對場景運動的情況具有較好的魯棒性. 另外一類目標檢測主要是采用監(jiān)督分類方法進行目標檢測，其中最具有代表性的方法是基于滑動窗口[7]的目標檢測方法. 但其需要提前采集樣本進行訓練，由于空間目標形狀、大小和位置信息一般是未知的，在軌運行航天器很難采集到樣本進行訓練. 人類視覺注意能力是人類視覺的一種重要的心理調(diào)節(jié)機制，選擇性注意是其最基本的特征之一，具有選擇部分視覺信息，去除或者忽略其他不相關的信息，以滿足大腦對有限時間內(nèi)信息處理能力的需求. 隨著計算機科學和認知科學的交叉發(fā)展，快速的、下意識的、自地向上、數(shù)據(jù)驅動的視覺顯著性檢測方法[8]得到廣泛關注.

為了提高空間動態(tài)背景下運動目標檢測和分割的精度，本文通過梯度信息和頻率調(diào)諧濾波的互補方式分別計算整幅圖像和mean shift分割后各個分塊區(qū)域的顯著性，進而以整幅圖像顯著性均值為參考，確定合理的閾值檢測候選目標，與此相并行，也利用光流計算及相應的閾值檢測方法獲取候選目標，進而通過對顯著性計算所得到的候選目標分布圖與光流計算所得候選目標分布圖的合取運算進行目標確認，最后再輔之以形態(tài)學增強處理進行目標增強，從而實現(xiàn)空間運動目標的高精度檢測和分割.

1基于顯著性計算的mean shift自適應目標檢測與分割

1.1基于梯度信息和頻率調(diào)諧的顯著性計算

視覺顯著性計算從揭示人類視覺感知機制出發(fā)，對人類視覺注意能力進行建模和量化計算，從而形成了一系列表征圖像區(qū)域顯著性的模型化分析與計算方法[9]. 顯著性計算在揭示視覺注意機制的同時，在目標檢測與分割、圖像分析與理解、場景分析、以及視頻跟蹤等方面都得到了成功的應用[10-11]. 受顯著性認知計算原理的啟發(fā)，Achanta等提出了一種簡單有效的頻率調(diào)諧顯著區(qū)域檢測(frequency-tuned salient region detection)算法[8]，其通過高斯差分(difference of gaussian, DoG)帶通濾波來確定中心-外周對比度. 當標準差的比率為1∶1.6[12]時，與高斯-拉普拉斯濾波相比，高斯差分帶通濾波能更好地檢測圖像亮度變化，因此被廣泛應用于圖像增強、邊緣檢測中. 一般而言，DoG濾波可由兩個高斯函數(shù)構成，方程式為

G(x,y,σ1)-G(x,y,σ2).

(1)

(2)

圖1　梯度信息與頻率調(diào)諧互補增強式顯著性計算流程

首先將輸入的視頻圖像分別轉換為Lab彩色圖像和灰度圖像，然后分別計算其顯著性，進而通過對二者的加權融合以得到互補增強的顯著性信息S(x,y). 本文提出融合梯度信息的互補增強式顯著性計算和頻率調(diào)諧的顯著性計算結果比較如圖2所示. 圖2(b)、2(c)中亮度值越大，表明該區(qū)域越顯著. 由此可見圖2(b)中衛(wèi)星中心顯著性較高，衛(wèi)星兩邊的帆板顯著性較低，采用頻率調(diào)諧的顯著性區(qū)域檢測僅能分割出目標的中心區(qū)域. 而圖2(c)采用基于梯度信息和頻率調(diào)諧的顯著性計算，衛(wèi)星整體都被確定為顯著性區(qū)域，同時背景區(qū)域的邊緣顯著性也有顯著提高. 對于顯著性計算生成的顯著性圖，采用受試者工作特性(receiveroperatingcharacteristic，ROC)曲線來評價其準確性. 圖3給出了本文提出的顯著性計算方法和頻率調(diào)諧的顯著性計算方法ROC曲線. 本文顯著性計算方法ROC曲線下方所圍的面積為0.870 4，頻率調(diào)諧的顯著性計算方法ROC曲線下方所圍的面積為0.838 2. 可見，梯度信息與頻率調(diào)諧互補增強式顯著性計算方法所圍的面積大于頻率調(diào)諧的顯著性計算方法所圍的面積，這說明本文顯著性計算方法對于運動目標的估計優(yōu)于頻率調(diào)諧的顯著性計算方法，因此本文提出的顯著性計算方法能夠有效提高檢測和分割精度.

圖2　顯著性計算結果比較

圖3　顯著性計算方法的ROC曲線

1.2mean shift自適應目標檢測與分割

mean shift[13]是一種高效的非參數(shù)核密度估計算法，它既不需要知道樣本點的分布特征，也不需要事先設定聚類的數(shù)目和大小，而是完全依賴于特征空間中樣本點的動態(tài)聚類結果. mean shift算法廣泛應用于圖像濾波、圖像分割以及視頻跟蹤. 將mean shift算法與顯著性計算相結合可在目標檢測與分割中發(fā)揮相得益彰的作用.

圖4(b)為用mean shift方法分割之后的圖像，空間特征點在空間域的核函數(shù)帶寬選為7，在Lab彩色空間核函數(shù)的帶寬選為6.5，篩選合并的尺度門限為20，從圖4(b)中可以看出，采用mean shift方法的分割結果已經(jīng)展現(xiàn)出目標的有效區(qū)域，從而可為進一步的高精度目標檢測提供可靠保證.

(a) 原始圖像　　　　　　　　(b) 分割結果

2面向運動目標檢測的光流計算

2.1運動目標的光流計算模型

光流反映了圖像上每一點灰度的變化趨勢，可看成是帶有灰度的像素點在圖像平面上運動而產(chǎn)生的瞬時速度，也是一種對真實運動的近似估計. 由于不需要場景的先驗信息及求解的準確性，光流法和閾值分割等其他技術結合在一起，應用于運動目標檢測中. Brox等[14]提出的變分光流，其在計算精度和時間上都顯示出優(yōu)勢. Javier等對傳統(tǒng)變分光流模型進行變形，并給出具體的數(shù)值求解過程. 定義圖像在t時刻的空時坐標為P=(x,y,t)T,其中(x,y)為空間(平面)坐標，t為時間變量，則由t時刻到(t+1)時刻的空時坐標流變增量為ΔP=(Δx,Δy,1)T. 光流向量(u,v)=(Δx,Δy)，根據(jù)光流亮度的不變性和梯度不變性，以及全局平滑的約束條件，光流模型為

(3)

2.2運動目標光流計算的數(shù)值算法

求解變分光流場的過程就是(u,v)的最優(yōu)化過程，并使目標函數(shù)E(w)最小. 應用Euler-Lagrange方程求解式(3)可得

(4)

(5)

由于含有I(x+w)非線性函數(shù)等式(3)的求解較為困難，為了計算方便，對其一階泰勒展開：

(6)

式中wk=(uk,vk)T，duk=uk+1-uk，dvk=vk+1-vk.

假設

(7)

對式(3)離散化并經(jīng)推導可得光流的迭代計算式為

(8)

式中ω為SOR松弛參數(shù)，div表示散度，Au,Av,Du,Dv,D定義為

(9)

對式(8)進行迭代，直到滿足迭代收斂的條件:

(10)

式中：N為圖像中像素的個數(shù)，λ為停止迭代閾值，k為內(nèi)層迭代數(shù)，l為外層迭代數(shù)，s為金字塔層數(shù).

3互補增強式空間運動目標高精度檢測與分割

3.1顯著性與光流信息的互補作用

基于視覺顯著性計算的目標檢測方法不需要知道目標的先驗信息,計算簡單，檢測效果好，但其目標檢測誤警率較高. 光流法作為運動目標檢測的常用方法，廣泛應用于背景和目標同時運動目標的目標檢測中，但是在光照變化、噪聲干擾等情況下，光流法目標檢測效果影響較大. 因此本文提出互補增強的顯著性計算和光流目標檢測和分割算法，光流法以其較高的檢測準確率，與融合梯度信息的顯著性目標檢測互補合取，有效剔除虛警目標，提高目標檢測和分割的精確性.

3.2顯著性與光流互補增強的目標檢測與分割

根據(jù)目標檢測與分割的技術特點與要求，特設計顯著性與光流互補增強式目標檢測與分割的方案流程如圖5所示.

圖5　顯著性與光流互補增強的目標檢測和分割方案

4實驗結果與比較分析

4.1實驗條件和對象

為了驗證本文算法，采用NASA廣播視頻片段中5組空間在軌運行空間目標視頻序列進行實驗，視頻序列的名稱標記為Dragon1、Dragon2、Satellite1、Satellite2、Satellite3，序列圖像的幀數(shù)分別為41、600、233、645、800. 在Pentium(R)計算機CPU為3.2GHz的WindowsXP操作系統(tǒng)上采用MATLAB編程實現(xiàn)該算法.

4.2實驗結果與比較分析

實驗1. 為了驗證本文算法的有效性，分別在5組空間運動目標圖像系列進行了實驗. 圖6～10隨機給出了5組空間運動目標的檢測分割結果，圖6為Dragon1飛船運動目標視頻圖像和其對應的檢測分割結果；圖7為Dragon2飛船運動目標視頻圖像和其對應的檢測分割結果；圖8為Satellite1衛(wèi)星運動目標視頻圖像和其對應的檢測分割結果；圖9為Satellite2衛(wèi)星運動目標視頻圖像和其對應的檢測分割結果；圖10為Satellite3衛(wèi)星視頻圖像和其對應的檢測分割結果. 圖6～10序列圖像中含有云層的圖像為待檢測圖像，背景全黑的圖像為本文算法在相應幀圖像上的檢測和分割結果，從圖6～10中視頻圖像在不同時刻檢測和分割結果可以看出，隨著在軌相機和空間目標變化，本文提出的檢測與分割算法不但能精確檢測并分割出空間云層背景下的運動目標，而且可以適應不同光照、噪聲等條件，算法具有較強魯棒性.

(a)第12幀及其檢測分割結果 　　　　　　 (b) 第14幀及其檢測分割結果 　　　　 (c) 第20幀及其檢測分割結果

(a) 第67幀及其檢測分割結果　　 　　　　(b) 第122幀 及其檢測分割結果　　　　　 (c) 第133幀及其檢測分割結果

(a) 第31幀及其檢測分割結果　　　　　(b) 第88幀及其檢測分割結果　　　　 (c) 第122幀及其檢測分割結果

(a) 第322幀及其檢測分割結果　　　　　(b) 第344幀及其檢測分割結果 　 　　 (c) 第465幀及其檢測分割結果

(a) 第589幀及其檢測分割結果　 　　　(b) 第642幀及其檢測分割結果　 　　 (c) 第734幀及其檢測分割結果

實驗2. 為了驗證本文算法的檢測準確度，分別對上述5組視頻序列采用本文算法、頻率調(diào)諧(frequency-tuned ,FT)方法、梯度信息與頻率調(diào)諧(gradient and frequency-tuned, GFT) 的方法和光流(optical flow，OF)運動目標檢測進行精度統(tǒng)計. 采用平均檢測精度進行評價，需要確定判斷目標檢測正確的準則，用Bp表示實際檢測結果的目標區(qū)域，Bgt表示真實目標區(qū)域，現(xiàn)定義A0為檢測所得目標區(qū)域與實際目標區(qū)域的符合度，即

(11)

若A0>0.5，則檢測結果正確. 設一組視頻圖像序列中的圖像總數(shù)為n，其中目標檢測結果正確的圖像數(shù)目為nt，則針對該視頻圖像序列的檢測精度定義為

(12)

由式(12)可給出對5個視頻序列的檢測精度統(tǒng)計結果，見表1. 很顯然，本文算法的平均檢測精度最高，其中視頻Dragon2由于背景簡單，光照變化小，檢測精度較高，而視頻Satellite3由于目標距離觀測相機較遠，觀測到的運動目標較小，并且背景云層運動比較明顯，因此采用梯度信息與頻率調(diào)諧的目標檢測和光流法運動目標檢測效果較差，在5組檢測序列中，其檢測精度最低.

表1　空間運動目標檢測精度

實驗3. 為了說明本文算法的分割效果，分別在上述5組視頻序列中對本文算法、頻率調(diào)諧(FT)和光流法(OF)檢測方法進行實驗分析. 圖11～15給出了互補增強式運動目標分割結果，由圖11～15可知，F(xiàn)T頻域諧調(diào)的顯著性區(qū)域檢測算法能夠準確分割空間運動目標，但是也會將一些背景誤分割為目標，如圖11(b)中Drgon1視頻圖像所示，左上角光照較亮，頻率調(diào)諧算法分割目標的同時，一大片背景也被分割為出來. 而光流法運動目標檢測算法容易將云層背景誤分割為運動目標. 如圖11～15的分割結果，本文提出的視覺選擇性顯著計算和光流法互補增強的目標檢測與分割算法，能有效的剔除背景云層信息，準確檢測和分割出空間目標，比其他兩種檢測和分割算法具有較高的精確性.

圖11　Dragon1圖像目標分割結果比較

圖12　Dragon2圖像目標分割結果比較

圖13　Satellite1圖像目標分割結果比較

圖14　Satellite2圖像目標分割結果比較

圖15　Satellite3圖像目標分割結果比較

由圖16(a)中可知，在5組視頻序列中，本文提出的顯著性和光流信息互補增強的空間運動目標高精度分割算法中無論是采用平均每幀分割精度指標，還是采用F1-measure評價指標，都比其他兩種檢測和分割算法精度較高. 其次是基于光流的目標檢測和分割方法. 顯著性檢測方法目標分割精度最低. 同時5組視頻序列檢測和分割中， Satellite衛(wèi)星視頻由于存在模糊、丟幀等現(xiàn)象，檢測效果不如視頻Dragon序列圖像分割效果好.

(a)平均每幀分割精度

(b)F1-Measure 評價結果

5結論

針對空間監(jiān)視系統(tǒng)中運動目標高精度檢測和分割，提出了互補增強顯著性視覺注意模型和光流法互補增強式空間運動目標檢測和分割算法. 首先，對于頻域調(diào)諧顯著性計算中帶通濾波器破壞邊緣信息的問題，提出融合梯度信息的頻域調(diào)諧的顯著性計算方法，更好地描述運動目標區(qū)別于周圍背景的程度，結合自適應mean shift算法確定閾值進行目標檢測. 其次，所提互補增強目標檢測和分割算法，充分發(fā)揮了顯著性計算和光流法目標檢測的優(yōu)勢. 能夠精確檢測和分割出云層背景下的空間未知運動目標，并對噪聲和光照變化等影響因素具有良好的適應能力，適用于空間運動目標監(jiān)視方面的任務. 但由于采用了并行互補方案，時間開銷仍然較大，需要在后續(xù)的研究工作中進一步改進.

參考文獻

[1] 周彥平，舒銳，陶坤宇，等. 空間目標光電探測與識別技術的研究[J]. 光學技術, 2007, 33(1)：68-73.

[2] 張浩鵬，劉正一，姜志國，等. BUAA-SID1.0空間目標圖像數(shù)據(jù)庫[J]. 航天返回與遙感, 2010, 31(4)：65-71.

[3] YIN Hongpeng, CHAI Yi, SIMON X, et al. Fast-moving target tracking based on mean shift and frame-difference methods[J]. Journal of Systems Engineering and Electronics, 2011,22(4):587-592.

[4] SHEIKH Y,SHAH M. Bayesian modeling of dynamic scenes for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(11): 1778-1792.

[5] MUELLER M, KARASEV P, KOLESOV I, et al. Optical flow estimation for flame detection in videos[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2786-2797.[6] JAVIER S, NELSON M,AGUSTN S. Robust optical flow estimation[J]. Image Processing on Line, 2013, 3: 252-270.[7] DALAL N,TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego：IEEE, 2005: 886-893.

[8] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE, 2009: 1597-1604.

[9] CHENG Mingming, ZHANG Guoxin X, MITRA N J, et al. Global contrast based salient region detection[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE, 2011: 409-416.[10]ITTI L, KOCH C, NIEBUR E. Model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259.

[11]ACHANTA R, ESTRADA F, WILS P, et al.Salient region detection and segmentation[C]// Proceedings of the 6th International Conference on Computer Vision Systems. Santorini: Springer Lecture, 2008:66-75.

[12]MARR D. Vision: a computational investigation into the human representation and processing of visual information[M]. San Francisco:W. H. Freeman & Company,1982.

[13]BUGEAU A, PEREZ P. Detection and segmentation of moving objects in highly dynamic scenes [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007: 1-7.

[14]BROX T, BRUHN A, PAPENBERG N, et al. High accuracy optical flow estimation based on a theory for warping[C]//The Series Lecture Notes in Computer Science. Berlin Heidelberg: Springer, 2004:25-36.

[15]LAPTEV I. Improving object detection with boosted histograms[J]. Image and Vision Computing,2009,27(5): 535-544.

(編輯魏希柱)

High accuracy detection and segmentation of space moving target by complementary enhancement

WANG Jingjing， QIN Shiyin

( School of Automation Science and Electrical Engineering, Beihang University, 100191 Beijing, China)

Abstract:In view of the problem of automatic and high accuracy detection of space moving targets for space surveillance system, an algorithm of complementary enhancement by salience computation with optical flow detection is presented，in which the elementary detecting result by mean shift is taken as a guidance to realize high accuracy detection and segmentation through the complementary enhancement of salience computation and optical flow detection. Firstly, the salience computation by complementary enhancement of frequency tuned filter with gradient information is carried out for the whole frame of video image and various regions produced by mean shift segmentation separately so as to obtain their respective salient regions, then a proper threshold value is determined based on the mean salience of whole frame image to detect candidate targets. Meanwhile, in a concurrent way, another set of candidate targets are acquired by threshold based optical flow detection. Afterwards, a conjunction operation is used to obtain an intersection of two different distributed maps of candidate targets as confirmatory detection result, then the morphological filter is employed to enhance the confirmatory targets to achieve a high accuracy detection and segmentation of space moving targets. A series of experimental results with video images demonstrate that the proposed algorithm can accurately detect and segment space moving targets with neither priori knowledge of scene and targets nor manual intervention, which qualifies well performance of adaptability to illumination changes and noise disturbance.

Keywords:salience computation; optical flow detection; space moving target; mean shift

中圖分類號:V391

文獻標志碼:A

文章編號:0367-6234(2016)03-0026-07

通信作者:王靜靜，wangjingjing0719@163.com.

作者簡介:王靜靜(1984—)，女，博士研究生；秦世引(1955—)，男，教授，博士生導師.

基金項目:國家自然科學基金(61273350，60875072).

收稿日期:2014-11-09.

doi：10.11918/j.issn.0367-6234.2016.03.005