基于RPCA與空間相關(guān)約束的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

蔣秀蓉，朱 林，郝元宏，杜海燕

（北方自動(dòng)控制技術(shù)研究所，太原 030006）

0 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)就是在圖像處理的基礎(chǔ)上，將運(yùn)動(dòng)區(qū)域從圖像背景區(qū)域中提取出來(lái)，為目標(biāo)識(shí)別、目標(biāo)跟蹤、目標(biāo)行為分析提供可靠而準(zhǔn)確的基本數(shù)據(jù)，完成相應(yīng)的目標(biāo)跟蹤和目標(biāo)分析等任務(wù)[1]。運(yùn)動(dòng)目標(biāo)檢測(cè)具有廣闊的應(yīng)用前景和巨大的應(yīng)用價(jià)值，然而現(xiàn)有算法仍不能完全處理實(shí)際復(fù)雜背景下運(yùn)動(dòng)目標(biāo)檢測(cè)中背景雜波、噪聲、光照變化、場(chǎng)景中存在陰影等影響因素[2]。常見(jiàn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法有幀間差分法、光流法、背景差分法等。幀間差分法是將兩幅圖像對(duì)應(yīng)位置相減，差值小于閾值的地方是背景，否則為目標(biāo)，這種算法的計(jì)算速度快，但是當(dāng)背景變化較大時(shí)，會(huì)產(chǎn)生大量的虛假目標(biāo)且魯棒性差。光流法是利用多幀來(lái)計(jì)算每個(gè)像素的運(yùn)動(dòng)方向以及大小，利用運(yùn)動(dòng)特征來(lái)判斷目標(biāo)與背景，這種方法在大部分場(chǎng)景下能夠檢測(cè)出具有獨(dú)立運(yùn)動(dòng)的對(duì)象，但算法計(jì)算復(fù)雜，實(shí)時(shí)性不強(qiáng)且抗噪性能較差。背景差分法是利用某些幀來(lái)建立背景模型，再將待檢測(cè)的一幀圖像與模型相比較，與模型有差別的點(diǎn)就被認(rèn)定為目標(biāo)區(qū)域點(diǎn)，這種算法檢測(cè)效果較好，但是對(duì)所建立模型的質(zhì)量依賴性很強(qiáng)?；旌细咚鼓Ｐ头椒ㄔ谝欢ǔ潭壬峡朔吮尘暗臄_動(dòng)，但運(yùn)算復(fù)雜且對(duì)背景的更新要求很高。而基于背景減除模型的ViBe算法[3]檢測(cè)速度快，但同樣對(duì)光照敏感，容易產(chǎn)生“鬼影”現(xiàn)象，對(duì)復(fù)雜環(huán)境魯棒性較差。

2009年Candes等人提出了基于魯棒主成分分析（RPCA）[4-5]的背景差分方法，與傳統(tǒng)方法相比在檢測(cè)準(zhǔn)確性和魯棒性上有十分明顯的優(yōu)勢(shì)。RPCA模型能夠同時(shí)估計(jì)背景與分離運(yùn)動(dòng)目標(biāo)，且該方法無(wú)需輸入背景干凈的視頻作為背景訓(xùn)練樣本，即可直接從包含運(yùn)動(dòng)目標(biāo)的視頻中進(jìn)行背景估計(jì)。低秩模型能夠?qū)υ肼?、?shù)據(jù)缺失、緩慢的光照變化等退化因素保持魯棒性，對(duì)于前景目標(biāo)的運(yùn)動(dòng)方式無(wú)特殊要求，能夠處理非剛體對(duì)象，并且需要調(diào)節(jié)的參數(shù)較少，有利于模型在工程實(shí)踐中的應(yīng)用與推廣。

然而，傳統(tǒng)的RPCA模型是從壓縮感知的低秩矩陣模型延伸而來(lái)的[6-7]，僅僅從視頻序列組成的矩陣元素方面考慮低秩和稀疏的特性，并未考慮到矩陣元素之間內(nèi)在的時(shí)空相關(guān)聯(lián)系。對(duì)于很多復(fù)雜的運(yùn)動(dòng)目標(biāo)，L1范數(shù)往往不能很好地逼近真實(shí)的前景區(qū)域。如果能夠利用顯著運(yùn)動(dòng)目標(biāo)的時(shí)空分布特征，排除與運(yùn)動(dòng)目標(biāo)特征不一致的部分，就可以魯棒地檢測(cè)出運(yùn)動(dòng)目標(biāo)。從以上動(dòng)機(jī)出發(fā)，本文使用TV正則化結(jié)合L1正則化對(duì)前景目標(biāo)進(jìn)行建模，同時(shí)對(duì)前景目標(biāo)的稀疏性和空間連續(xù)性進(jìn)行約束。在矩陣低秩稀疏分解的框架下，使用核范數(shù)對(duì)背景建模，得到新的目標(biāo)函數(shù)式。使用基于交替迭代思想的增廣拉格朗日乘子法對(duì)目標(biāo)函數(shù)式進(jìn)行求解，得到目標(biāo)檢測(cè)結(jié)果。大量實(shí)驗(yàn)證明，本文算法的準(zhǔn)確性和魯棒性與傳統(tǒng)算法相比均有很大提高。

1 低秩稀疏矩陣分解

魯棒主成分分析算法（RPCA）也常被稱為稀疏矩陣和低秩矩陣分解（SLMD）。其核心思想在于將視頻矩陣分解為一個(gè)低秩矩陣和一個(gè)稀疏矩陣。

式（1）所表示的矩陣分解為一個(gè)NP問(wèn)題，故需要在此基礎(chǔ)上對(duì)模型進(jìn)行修正?，F(xiàn)有可行的方法是用核范數(shù)來(lái)逼近矩陣的秩，用矩陣的L1范數(shù)來(lái)逼近矩陣的L0范數(shù)，進(jìn)而可以得到一個(gè)凸優(yōu)化問(wèn)題的求解模型：

通過(guò)求解此模型，可以分解出低秩背景矩陣A和稀疏前景矩陣E。

2 本文提出的算法

2.1 基于TV正則化的前景空間連續(xù)性約束模型

視頻序列圖像本身包含時(shí)空信息，背景擾動(dòng)（波紋、樹葉和晃動(dòng)）通常是非結(jié)構(gòu)化的，在時(shí)空域分布上呈現(xiàn)為類似噪聲特性。前景目標(biāo)具有很強(qiáng)的空間相關(guān)性，即使視頻圖像受到影響或干擾，相近像素之間的灰度值通常不會(huì)有很大變化，整體呈現(xiàn)線性關(guān)系。如果能夠利用此先驗(yàn)信息對(duì)前景模型進(jìn)行重建，結(jié)合RPCA方法進(jìn)行求解，把矩陣求解與前景像素空間相關(guān)性結(jié)合起來(lái)，就可以彌補(bǔ)RPCA方法的不足之處，大幅度提升檢測(cè)效果。

全變差正則化最早由Rudin-Osher和Fatemi（ROF）提出，其在圖像處理中得到了廣泛應(yīng)用，如Zhou[8]等人利用全變差范數(shù)分析 aCGH 數(shù)據(jù)、Wu[9]等人加入TV空間約束條件實(shí)現(xiàn)HSI圖像去噪、He[10]等人利用TV約束對(duì)HSI圖像進(jìn)行重建，上述方法均取得了良好的效果。受到以上應(yīng)用的啟發(fā)，如果能夠把全變差正則化引入到運(yùn)動(dòng)目標(biāo)監(jiān)測(cè)中，結(jié)合TV范數(shù)對(duì)空間相關(guān)先驗(yàn)信息建立更為精確的模型，目標(biāo)檢測(cè)算法適應(yīng)復(fù)雜環(huán)境的能力也會(huì)得到提升。

本文對(duì)前景的空間連續(xù)性約束進(jìn)行如下定義：

Mkh和Mkv分別表示從水平方向和豎直方向?qū)γ恳粠械那熬跋袼刈霾罘诌\(yùn)算。

通過(guò)結(jié)合前景空間連續(xù)性約束與L1正則化，得到新的前景模型：

其中第1項(xiàng)為空間約束項(xiàng)，約束前景空間的連續(xù)性；第2項(xiàng)為稀疏約束項(xiàng)，控制前景空間的稀疏性。

2.2 基于時(shí)空相關(guān)約束的低秩稀疏目標(biāo)檢測(cè)算法

結(jié)合矩陣低秩稀疏分解的思想與新的前景模型，可以得到如下目標(biāo)函數(shù)：

其中，α是用來(lái)調(diào)節(jié)前景空間相似約束強(qiáng)度的參數(shù)，β是用來(lái)限制前景元素稀疏程度的參數(shù)。當(dāng)α=0時(shí)，本模型退化為傳統(tǒng)的RPCA模型。

目標(biāo)函數(shù)式（6）是一個(gè)凸優(yōu)化問(wèn)題，可以通過(guò)一系列凸優(yōu)化算法求解。本文使用增廣拉格朗日乘子法利用交替迭代的策略求解該問(wèn)題[11]。首先把式（6）轉(zhuǎn)化為等價(jià)最優(yōu)化問(wèn)題式（7）：

式（7）的增廣拉格朗日函數(shù)為：

其中，μ1和 μ2是懲罰參數(shù)，Y1和 Y2是拉格朗日乘子。

通過(guò)交替迭代的策略，依次更新變量A，E，F(xiàn)，Y1，Y2。變量更新過(guò)程可以表示如下：在第k+1次迭代中，依次迭代求解各個(gè)變量。

顯然，優(yōu)化問(wèn)題被分解為3個(gè)主要的子問(wèn)題。

對(duì)于變量A，可以得到：

式（9）有唯一解，可以通過(guò)軟閾值算子與SVD分解來(lái)求解該優(yōu)化問(wèn)題[7]，得到式（9）的最優(yōu)解：

對(duì)于求解變量E，有如下函數(shù)式：

優(yōu)化問(wèn)題（11）可以使用閾值收縮算法求解

其中，x∈R，Δ＞0，式（11）可以由下式求解：

對(duì)于子問(wèn)題F，有如下函數(shù)式：

通過(guò)快速梯度算法可以求解此子問(wèn)題。

綜合以上各個(gè)變量?jī)?yōu)化流程，本文算法總結(jié)如下（見(jiàn)下頁(yè)表1）。

3 實(shí)驗(yàn)結(jié)果及分析

在 Wallflower[12]和 BMC[13]視頻測(cè)試集上對(duì)本文所提出的算法進(jìn)行了測(cè)試，所有的測(cè)試視頻均使用24～48幀，這些視頻均具有不同程度的動(dòng)態(tài)背景。同時(shí)，引入了4種常用算法作比較，分別是：DECOLOR[14]、PCP[7]、ViBe[3]、MoG。在實(shí)驗(yàn)中，本文方法的參數(shù)設(shè)置為其他4種算法均設(shè)置為原算法作者推薦的參數(shù)。

表1 本文算法流程

實(shí)驗(yàn)結(jié)果如圖1所示，測(cè)試了8個(gè)具有復(fù)雜背景的視頻序列。序列（a）、序列（b）、序列（e）描述了具有復(fù)雜動(dòng)態(tài)背景（水面波紋、樹木搖曳）的場(chǎng)景；序列（c）、序列（d）、序列（f）描述了具有噪聲干擾的多目標(biāo)場(chǎng)景；序列（g）、序列（h）描述了具有地面反光和物體遮擋干擾的室內(nèi)場(chǎng)景。

通過(guò)分析實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，由于本文方法引入了基于TV范數(shù)的空間連續(xù)性約束，DECOLOR方法引入的圖割法中包含的空間平滑約束，這兩種方法均可以去除大部分動(dòng)態(tài)背景的干擾；但是DECOLOR方法為了得到更小的能量函數(shù)使其傾向于檢測(cè)大的連續(xù)區(qū)域而忽略小的目標(biāo)，所以在序列（c）的結(jié)果中相近的目標(biāo)被檢測(cè)為同一個(gè)目標(biāo)，在序列（d）、序列（f）中較小的目標(biāo)則被漏檢；相比較而言，本文算法更為穩(wěn)定。PCP算法使用L1范數(shù)約束前景，沒(méi)有考慮到像素之間的聯(lián)系，在動(dòng)態(tài)背景的場(chǎng)景下，會(huì)把動(dòng)態(tài)背景檢測(cè)為前景。ViBe算法是一種基于像素的背景建模方法，變化小的動(dòng)態(tài)背景具有一定的魯棒性，但是會(huì)導(dǎo)致空洞點(diǎn)的產(chǎn)生使目標(biāo)不完整。與ViBe方法不同，MoG方法用若干高斯模型對(duì)背景區(qū)域進(jìn)行建模，該方法對(duì)噪聲和動(dòng)態(tài)背景比較敏感，在實(shí)驗(yàn)結(jié)果中產(chǎn)生了大量虛警。

為了定量分析以上5種算法的性能，把檢測(cè)看作前景和背景的分類問(wèn)題，引入準(zhǔn)確率（precision）和召回率（recall）來(lái)衡量算法的優(yōu)劣：

圖2表示各個(gè)測(cè)試視頻的準(zhǔn)確率和召回率，圖2（a）～ 圖 2（h）對(duì)應(yīng)圖 1 中每段測(cè)試視頻，圖 2（i）為實(shí)驗(yàn)結(jié)果的平均值。不難看出，DECOLOR的Precision值最高，本文算法和PCP方法次之；而本文算法的Recall值比其他算法都高。由于DECOLOR方法趨向于提取比較大的區(qū)域，但同時(shí)又會(huì)使檢測(cè)區(qū)域過(guò)于平滑，造成大量虛警，故其檢測(cè)率較高而召回率較低。本文方法和PCP方法都是基于RPCA的方法，在召回率方面相差不大，但由于本文方法引入了空間相似約束，可以大量降低虛警，所以本文方法的準(zhǔn)確率高于DECOLOR和PCP，這也證明了本文所提出的空間相似約束的優(yōu)越性。

下頁(yè)表2給出了圖2中各個(gè)算法檢測(cè)結(jié)果的F-measure，其中F-measure值最高的算法用加粗來(lái)標(biāo)記，第二高的加下劃線標(biāo)記?？梢钥闯?，本文方法的F-measure值要高出其他4種方法。

表2 各算法性能仿真分析

4 結(jié)論

本文提出了一種基于RPCA和空間相關(guān)約束的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，在矩陣低秩稀疏正則化框架下，利用前景目標(biāo)具有的空間相似性先驗(yàn)，結(jié)合TV正則化提出了新的前景模型，通過(guò)ALM方法對(duì)模型進(jìn)行求解。在不同視頻數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明，在復(fù)雜背景的條件下，本文方法的準(zhǔn)確性和魯棒性與傳統(tǒng)方法相比具有很大的優(yōu)越性。