一種改進的基于活動輪廓和光流的運動目標分割方法

方宇強，戴 斌，宋金澤，單恩忠

(國防科學技術(shù)大學 機電工程與自動化學院，湖南 長沙，410073)

運動目標的分割就是在給定的圖像序列中提取出感興趣的運動區(qū)域，它可以作為重要步驟應(yīng)用于各項計算機視覺任務(wù)中，如智能監(jiān)控系統(tǒng)、軍事偵察、圖像壓縮、人的運動分析等。同時，人類的視覺往往對運動的物體或目標感興趣，大量有意義的視覺信息都包含在運動中。但在實際的圖像采集過程中，光照、相機運動、陰影等因素都會給運動目標的分割帶來很大的困難；所以，運動目標的分割是計算機視覺領(lǐng)域極具意義且具有挑戰(zhàn)性的課題之一。光流技術(shù)作為一種重要的二維運動估計技術(shù)，能夠很好地反映出圖像中的運動變化，為運動目標的分割提供有效的信息。如Polley等[1-2]利用對光流場的估計來檢測運動目標。而光流技術(shù)與其他常用的運動檢測技術(shù)，如背景建模、幀間差分法等相比，一方面能夠在進行運動檢測的同時，給出運動的大小和方向信息；另一方面，對于場景運動的情況具有較好的魯棒性，即當攝像機運動的情況下，依舊能夠有效地反映出運動不一致的區(qū)域，如 Giachetti等[2-3]將光流技術(shù)應(yīng)用于智能車輛的障礙物檢測中?？傊?，有效地計算出光流場可以為運動目標的分割提供必要信息。活動輪廓模型是被廣泛關(guān)注的圖像分割方法，主要分為參數(shù)活動輪廓模型和幾何活動輪廓模型。其中幾何活動輪廓模型由于采用了水平集的方法而具有較強的拓撲自適應(yīng)性，能夠很好地處理目標的分裂與合并，所以，得到了廣泛應(yīng)用，如Muford等[4]提出的M-S模型可以同時實現(xiàn)對圖像的分割和去噪，Chan等[5]于區(qū)域分割的思想提出了經(jīng)典的C-V模型。這些模型一般依據(jù)目標的紋理、顏色、邊緣等信息建立能量泛函，然后，通過最小化這一能量泛函，得到曲線的演化驅(qū)動函數(shù)，使曲線收斂于目標輪廓，實現(xiàn)目標的分割。近年來，活動輪廓模型逐漸地被應(yīng)用于運動目標分割中。其基本思想是將運動信息融入到所要建立的能量泛函中，從而有效地將運動目標分割出來。如萬成凱等[6]通過在能量函數(shù)中引入Gauss混合背景模型，來實現(xiàn)運動目標的分割，并取得了很好的效果。 然而，混合Gauss背景建模方法雖然可以有效地處理復雜場景下的目標檢測，但無法有效地克服攝像機移動的情況，使其應(yīng)用范圍受到約束。由于光流技術(shù)不易受攝像機運動的影響，所以，結(jié)合光流和活動輪廓模型的運動目標檢測技術(shù)受到關(guān)注，如 Polley等[1,7]將光流信息融入到活動輪廓模型中進行運動目標分割。然而，其中仍存在以下問題：

一是活動輪廓模型的選擇。當選用光流信息作為運動目標分割的依據(jù)時，應(yīng)充分考慮目標的光流特征，運動目標往往在其邊界處有較強的光流值，而其內(nèi)部由于特征一致性較高，常常產(chǎn)生較弱的光流甚至“運動空洞”。所以，選擇基于區(qū)域的分割模型并不合適，分割時應(yīng)該更多的考慮運動邊緣信息。

二是光流的計算方法。如文獻[1, 7]中的計算模型，平滑項約束都采用的是線性平滑，這樣，就在平滑整個光流場的同時，使運動邊界模糊化，衰減了重要的分割信息——目標的邊緣運動信息，降低了分割的準確性。

針對上述問題，本文作者提出一種改進的基于活動輪廓和光流的運動目標分割方法。該方法采用基于非線性擴散的光流計算模型，能夠有效地保留運動目標的邊緣運動信息，并將光流信息有效地融合到基于邊緣的幾何活動輪廓模型中，實現(xiàn)運動目標的分割。實驗結(jié)果表明：本文作者采用的方法充分結(jié)合了光流和幾何活動輪廓模型的特點，相比于以往的算法，取得了較高的分割準確性。

1 基于非線性擴散的光流估計

1.1 擴散-反應(yīng)式光流計算模型

擴散是物理學中的1個常見的概念，表示某種濃度分布不均勻的雜質(zhì)在某種介質(zhì)中的遷移。若以函數(shù)φ(x, y, z, t)表示濃度隨時間t和空間(x, y, z)的變化，空間分布的不均勻性用梯度φ?來刻畫，那么，擴散過程可表述為：

其中：a為傳導系數(shù)。

經(jīng)典的光流計算方法中，一般首先建立相應(yīng)的光流計算模型即能量泛函如 Horn-Schunck全局平滑約束模型[8]以及 Bruhn等[9]提出的結(jié)合全局和局部平滑的約束模型，然后，通過變分法來實現(xiàn)能量泛函的最小化，從而得到相應(yīng)的光流解，并取得了較好的光流計算結(jié)果。而能量泛函的設(shè)計中一般包括了滿足相容性約束的數(shù)據(jù)項和滿足光滑性約束的正則項，如下式(Horn-Schunck全局平滑約束模型[8])：

因而，光流計算就可以描述為如式(2)所示的反應(yīng)擴散過程。將光流的求解過程視為一個從無序到有序，從不穩(wěn)定到穩(wěn)定的流場反應(yīng)擴散過程。其中，反應(yīng)項保證了光流由非穩(wěn)態(tài)到穩(wěn)態(tài)過程中滿足自身的運動模型，而擴散項可以控制光流的平滑程度和平滑方向。

1.2 基于非線性擴散光流計算模型

從式(2)可以看出：在經(jīng)典的光流計算模型中，傳導系數(shù)a都為常數(shù)1，即一種線性擴散的過程。線性擴散在進行流場平滑性約束的同時會造成運動邊緣信息的模糊化。而運動邊緣信息是光流場的重要信息，同時也是運動分割的最重要特征。所以，為了在進行平滑性約束的同時保護邊緣，應(yīng)使傳導系數(shù)依賴流場的局部信息變化，實現(xiàn)非線性擴散。如Nagel等[10-11]采用有向平滑的方式來提高光流計算的精度。本文也是基于這種想法，為了提高后期分割的準確性采取了一種非線性擴散的光流計算方法。

由Perona和Malik[12]提出的P-M方程是應(yīng)用于圖像濾波的偏微分方程，利用圖像的梯度模值，進行各向同性的非線性擴散，將圖像的濾波過程與圖像邊緣檢測的過程結(jié)合起來。由于數(shù)學上P-M模型解的存在唯一性不能保證，Cattle等[13]針對這一病態(tài)性，給出了其空域正則化模型：

其中：c為滿足一定約束的單調(diào)減函數(shù)，稱為擴散率函數(shù)。設(shè)擴散函數(shù)為：

該函數(shù)可以保證當r ＜＜ K即梯度模值較小時，擴散過程在邊緣的切向和法向都是正擴散，能夠起到平滑作用，而當 r＞K時，在邊緣的切向上是正擴散，而在法向上是反擴散，銳化邊緣。本文利用非線性擴散的想法改進原有的線性擴散過程，設(shè)置相應(yīng)的擴散函數(shù)，將正則化的 P-M 方程引入到光流計算中，得到同時具有平滑性約束和運動邊緣增強的光流計算模型：

1.3 數(shù)值計算

對于式(3)，本文采用半隱式的計算方案，離散化為：

其中：擴散項的散度算子采用“半點”離散化方案，如圖1所示，式中下標；Ω為離散化時所用的四鄰域范圍；τ為時間步長。

圖1 半點離散化方案Fig.1 Half-point discretisation

若將符合圖像大小(M×N)的流場數(shù)據(jù)u和v轉(zhuǎn)換成M維、N列向量，則可將離散化的公式轉(zhuǎn)化為：

其中：矩陣 A (un)和B(un)表示MN×MN的稀疏化系數(shù)矩陣，其中元素表示為

這樣，光流的求解可以進一步轉(zhuǎn)化為解下述非線性方程組：

可以看出，方程中的系數(shù)項中 A (un)和B(un)會隨著每次計算的結(jié)果實時改變，而為了克服這種非線性情況，可以采用Lagged-Diffusivity方法[14]將非線性等式求解分解為一系列的線性方程組求解。具體步驟如下：

(1) 由第 n層數(shù)據(jù)計算權(quán)系數(shù) A (un)和B(un)的數(shù)值。

(2) 在固定系數(shù)情況下，采取線性方程組的迭代解法(如Gauss-Sidel方法)進行求解，計算出下一時刻的光流。

這樣，便可以通過非線性擴散來改進光流計算中的平滑過程，保留運動的不連續(xù)區(qū)域，為后期的運動分割提供更為準確的分割信息。

2 基于運動邊緣信息的活動輪廓模型

基于水平集方法和曲線演化理論的幾何活動輪廓模型中，曲線運動方程往往來自于最小化閉合曲線C的某一能量泛函。如基于邊緣信息的測地線活動輪廓模型(GAC)、基于區(qū)域信息的 Chan-Vese模型等。針對這類由曲線的能量泛函最小化所導出的曲線演化問題，常采用變分方法進行求解。常見的模型往往針對單幅圖像中的邊緣、亮度和紋理等空間域信息，而運動目標本身就具備不同的紋理和亮度區(qū)域，僅僅考慮空域信息往往很難將目標完整地分割出來。但若將光流信息引入模型，則可以很好地反映圖像在時域中的變化，有效地分割運動區(qū)域。

運動目標往往在其邊緣處產(chǎn)生較強的光流信息，而其內(nèi)部光流信息較弱，甚至產(chǎn)生“運動空洞”，也就是說，運動邊緣信息與區(qū)域信息相比更有利于分割。本文在得到合適的光流場后，進一步建立基于運動邊緣信息的幾何活動輪廓模型，實現(xiàn)運動目標的分割。

引入時間輔助變量t和正則化的Heaviside階躍函數(shù)，可以求出能量泛函對應(yīng)的梯度下降流：

對于如上的偏微分方程，本文采用顯式的計算方案，即

其中，散度計算仍采用半點離散化格式：

式中每一項“半點”值用相鄰2個“整點”的平均值近似表示，如： gi,j±1/2= ( gi,j±1+ gi,j)/2。這樣通過選取合適的時間步長，經(jīng)過有限步迭代可以得到最終解。

圖2 光流計算效果對比實驗Fig.2 comparison of optical flow fields

3 實驗結(jié)果與分析

實驗1 用基于非線性擴散的光流計算方法和傳統(tǒng)的基于線性擴散的光流方法比較。實驗圖像采用Traffic視頻的連續(xù)2幀，大小為688×565的灰度圖像，程序?qū)崿F(xiàn)采用 Matlab7.1仿真軟件。在實驗中，分別采用本文的光流算法和傳統(tǒng)的光流算法得到相應(yīng)的光流場，并為了直觀顯示，采用HSV模型來表示光流的大小和方向，如圖2所示。從圖2可以看出：本文方法相比于傳統(tǒng)方法，可以得到準確的光流場；而從圖中局部放大區(qū)域的光流場來看，本文算法由于改進了光流計算模型中的擴散項，采取了非線性擴散的方式，所以，減小了運動邊緣處的平滑效果，保留了更為準確的運動區(qū)域邊緣信息。

實驗2 將本文算法與結(jié)合光流和基于區(qū)域的活動輪廓模型分割算法相比較，驗證本文算法的有效性。實驗素材采用實拍視頻，圖像為 320×240的彩色圖像，描述固定場景下多目標的運動情況，如圖3所示。圖3中列出視頻中2組典型的圖像序列，并分別利用本文算法和基于區(qū)域的算法進行運動目標的分割。從分割結(jié)果看，基于區(qū)域的方法受到“運動空洞”的影響，往往不能完整地分割出運動目標的輪廓；而本文方法很好地利用了光流計算產(chǎn)生的強邊緣信息，并有效地將其融合到基于邊緣的幾何活動輪廓模型中，較完整地分割出運動的目標，同時也說明水平集方法具備拓撲適應(yīng)性。

圖3 輪廓分割效果對比Fig.3 Comparison of different segmentation results

圖4 運動場景的分割Fig.4 Segmentation results with dynamic background

實驗3 為了更好地說明本文算法對攝像機運動情況的適應(yīng)性，采用一段車載攝像機錄制的視頻進行實驗。視頻圖像為640×480的彩色圖像，描述了不同時刻車輛行駛在校園道路上的情況。利用本文算法，分割出場景中相對運動的行人目標。其中分割區(qū)域根據(jù)實際的道路情況來確定，規(guī)定為車前方的一塊梯形區(qū)域，如圖4所示。而場景中的運動目標產(chǎn)生的光流往往與車輛本身行駛時產(chǎn)生的光流場不同，利用這種相異性可以使輪廓曲線收斂于道路區(qū)域中相對運動明顯的邊緣區(qū)域。從實驗結(jié)果看，本文算法具備了分割出動態(tài)場景中相對運動目標的能力。然而，真正應(yīng)用于移動機器人的環(huán)境感知中還有很多因素需要考慮，如道路上的水跡、陰影的影響等，但在相對簡單的場景下，本文算法具有一定的有效性，體現(xiàn)了算法的應(yīng)用和發(fā)展前景。

4 結(jié)論

提出了一種改進的基于活動輪廓和光流的運動目標分割算法，在以下方面進行了較好的改進。

(1) 該算法改進了傳統(tǒng)光流算法中的擴散約束，采取了邊緣增強的非線性擴散約束，有效地保護了運動目標的運動邊緣，得到了更為準確的運動邊緣，可以為后期分割提供更有效、更完整的信息，使得基于光流技術(shù)的運動目標分割算法更加準確和有效。

(2) 將光流信息融合到基于邊緣的幾何活動輪廓模型中，建立新的運動分割模型，并通過相應(yīng)的數(shù)值計算方法，實現(xiàn)完整的運動目標分割。幾組圖像數(shù)據(jù)上的實驗結(jié)果說明本文算法與以往的算法相比有所改進，得到了更為完整的運動目標輪廓，用運動邊緣信息代替運動區(qū)域信息，使活動輪廓和光流信息結(jié)合模型更有效。

(3) 該算法面對攝像機運動的情況仍具有一定的適應(yīng)性，可以分割出動態(tài)場景中的相對運動目標，充分體現(xiàn)了光流技術(shù)應(yīng)用于運動分割中的優(yōu)勢和該算法廣闊的應(yīng)用前景。

[1] Polley R L, Max Q H M, Peter X L. Optical flow and active contour for moving object segmentation and detection in monocular robot[C]//IEEE Conference on Robotics and Automation. Orlando, Florida: IEEE Comput Soc, 2006:4075-4080.

[2] Smith S M, Brady J M. ASSET-2: Real-time motion segmentation and shape tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(8):814-820.

[3] Giachetti A, Campani M, Torre V. The use of optical flow for the autonomous navigation[J]. IEEE Transactions on Robotics and Automation, 1998, 14(1): 34-48.

[4] Muford D, Shan J. Optimal approximation by piecewise smooth functions and associated variational problems[J].Communication Pure Apply of Mathematics, 1989, 42(4):577-685.

[5] Chan T, Vese L. Active contours without edges[J]. IEEE Transaction on Image Processing, 2001, 10(2): 266-277.

[6] 萬成凱, 袁寶宗, 苗振江. 一種基于活動輪廓和Gauss背景模型的固定攝像機運動目標分割算法[J]. 中國科學 F輯: 信息科學, 2009, 39(4): 391-396.

WAN Cheng-kai, YUAN Bao-zong, MAO Zeng-jiang. A moving object segmentation algorithm for static camera via active contours and GMM[J]. Science in China Series F: Information Science, 2009, 39(4): 391-396.

[7] Zinbi Y, Chahir S. Moving object segmentation using optical flow with active contour model[C]//IEEE Conference on ICTTA.Damascus: IEEE Comput Soc, 2008: 273-276.

[8] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial Intelligence, 1981, 17(1/3): 185-203.

[9] Bruhn A, Weickert J. Lucas-Kanade meets Horn-Schunck:Combining local and global optical flow methods[J].International Journal of Computer Vision, 2005, 61(3): 211-231.

[10] Nagel H, Enkelmann W. An investigation of smoothness constraints for the estimation of displacement vector field from image sequence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(5): 565-593.

[11] Weickert J, Schnorr C. A theoretical framework for convex regularizers in PDE-based computation of image motion[J].International Journal of Computer Vision, 2001, 45(3): 245-264.

[12] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.

[13] Cattle F, Coll T, Lion P L. Image selective smoothing and edge detection by nonlinear diffusion[J]. SIAM Journal on Numerical Analysis, 1992, 29(1): 182-193.

[14] Chunming L, Chenyang X. Level set evolution without re-initialization: A new variational formulation[C]//IEEE conference on CVPR. San Diego, CA: IEEE Comput Soc, 2005:430-436.

[15] Chan T, Mulet P. On the convergence of the Lagged diffusivity fixed point method in total varietion image restoration[J]. SLAM Journal on Numerical Analysis, 1999, 36(2): 354-367.