視頻監(jiān)視前景圖像估計(jì)的盲源提取方法*

王 群，薛 瑞，孫振江

(1. 北京航空航天大學(xué) 電子與信息工程學(xué)院， 北京 100191； 2. 國(guó)防科技大學(xué) 教研保障中心， 湖南 長(zhǎng)沙 410073)

運(yùn)動(dòng)檢測(cè)是從圖像序列中檢測(cè)運(yùn)動(dòng)目標(biāo)，在視頻監(jiān)視的目標(biāo)跟蹤、活動(dòng)識(shí)別和行為理解中具有重要作用[1-16]。運(yùn)動(dòng)檢測(cè)的基本原理是從視頻圖像的背景中提取運(yùn)動(dòng)目標(biāo)，也稱為前景圖像序列。在大多數(shù)視頻監(jiān)視應(yīng)用中，如交通或臨床監(jiān)視，攝像頭是固定的。因此，在靜態(tài)攝像機(jī)下檢測(cè)圖像序列中，運(yùn)動(dòng)物體的運(yùn)動(dòng)檢測(cè)方法受到廣泛關(guān)注，主要包括背景消減法和時(shí)間差分法[16]。由于時(shí)間差分法對(duì)于環(huán)境噪聲較為敏感，僅適用于部分室內(nèi)場(chǎng)景，因此本文重點(diǎn)研究背景消減法。

傳統(tǒng)背景消減法通過(guò)評(píng)估當(dāng)前場(chǎng)景圖像與參考背景圖像像素特征的差異來(lái)提取前景圖像。該方法易于實(shí)現(xiàn)，但對(duì)光照變化非常敏感。為了適應(yīng)環(huán)境(如光照)的變化，學(xué)者們提出多種改進(jìn)方法來(lái)自適應(yīng)地更新參考背景，主要包括兩類：第一類是改進(jìn)方法關(guān)注如何用合適的概率分布對(duì)背景像素進(jìn)行建模[3-13]；第二類是改進(jìn)方法關(guān)注如何構(gòu)建不包含移動(dòng)對(duì)象的參考背景圖像[14-16]。

在第一類改進(jìn)方法中，背景中的每個(gè)像素都被建模為服從特定分布(如高斯分布[3-4]和混合高斯分布[5-9])。文獻(xiàn)[10]提出了用非參數(shù)核密度估計(jì)來(lái)評(píng)估背景像素的概率，文獻(xiàn)[11-12]對(duì)其進(jìn)行了改進(jìn)，以減小計(jì)算量。文獻(xiàn)[13]提出了視頻背景提取算法，為每個(gè)像素存儲(chǔ)一組過(guò)去在相同位置或鄰近區(qū)域獲取的值，通過(guò)將該集合與當(dāng)前像素值進(jìn)行比較，以確定該像素是否屬于背景。然而，在實(shí)際應(yīng)用中，針對(duì)較快變化的背景，上述方法的背景更新過(guò)程占用了大量的計(jì)算時(shí)間。隨著圖像尺寸的增加，第二類改進(jìn)方法受到越來(lái)越多的關(guān)注。

第二類改進(jìn)方法將運(yùn)動(dòng)目標(biāo)視為前景圖像，視頻監(jiān)視圖像視為背景圖像和前景圖像的疊加或線性混合，將前景對(duì)象作為當(dāng)前幀和參考背景圖像之間的差異進(jìn)行檢測(cè)[14]，因此計(jì)算速度快。學(xué)者們分別提出了基于主成分分析(Principal Component Analysis, PCA)[15]、獨(dú)立成分分析(Independent Component Analysis, ICA)的方法[16]，在圖像處理中獲得了廣泛應(yīng)用[17-19]。然而，實(shí)際上視頻的背景圖像和前景圖像通常是相關(guān)的。基于PCA的方法僅能提取方差最大的主成分，而主成分可能不包含前景圖像信息?；贗CA的方法要求背景圖像和前景圖像獨(dú)立，也無(wú)法進(jìn)行很好的提取。因此，如何從相關(guān)的源圖像中提取期望的前景圖像成為一個(gè)難題。

在信號(hào)處理領(lǐng)域，盲源提取(Blind Source Extraction, BSE)是一種利用先驗(yàn)特性提取期望信號(hào)的重要手段[20-21]，與PCA、ICA等盲源分離(Blind Source Separation, BSS)方法相比，BSE精度更高、魯棒性更好。BSE包括使用高階統(tǒng)計(jì)量(Higher Order Statistics, HOS)[20]和二階統(tǒng)計(jì)量(Second Order Statistic, SOS)[22-26]兩類方法。其中，基于線性預(yù)測(cè)器或自回歸(AutoRegressive, AR)模型[22-23]SOS的BSE方法計(jì)算量小，適用于對(duì)實(shí)時(shí)性要求較高的應(yīng)用。Wang等證明了當(dāng)任一期望信號(hào)的AR參數(shù)已知時(shí)，如果源信號(hào)相互獨(dú)立，基于均方交叉預(yù)測(cè)誤差(Mean Square Cross Prediction Error, MSCPE)的BSE算法可以提取期望信號(hào)[22-23]。MSCPE能滿足特定AR模型參數(shù)的要求，并能根據(jù)給定的AR參數(shù)提取任意期望信號(hào)。

基于上述研究，本文將MSCPE從獨(dú)立源信號(hào)中期望信號(hào)的提取推廣到相關(guān)源信號(hào)中期望信號(hào)的提取，提出一種背景消減的盲源提取方法，可以在前景圖像與背景圖像相關(guān)的條件下，直接從混合觀測(cè)矩陣中提取前景圖像，計(jì)算速度快，且可以適應(yīng)不同光照變化。

本文首先給出了視頻監(jiān)視圖像中運(yùn)動(dòng)檢測(cè)的線性混合模型，然后給出了基于MSCPE從相關(guān)源中提取期望信號(hào)的理論證明，提出了基于盲源提取的背景消減方法，隨后基于人工數(shù)據(jù)和真實(shí)數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，最后提出了基于MSCPE的背景消減方法。

1 視頻監(jiān)視中的盲源提取模型

圖1所示為監(jiān)視視頻中的一幀，運(yùn)動(dòng)檢測(cè)的目的是將運(yùn)動(dòng)的物體(見(jiàn)圖2)從背景(見(jiàn)圖3)中分割。運(yùn)動(dòng)的物體也稱前景圖像，因此，感興趣的圖像(見(jiàn)圖1)也可以看作是背景(見(jiàn)圖3)和前景(見(jiàn)圖2)的線性混合。

圖1 源于視頻的圖片F(xiàn)ig.1 An image in a video

圖2 從圖1中抽取的前景圖片F(xiàn)ig.2 Extracted foreground image from Fig.1

圖3 從圖1中抽取的背景圖片F(xiàn)ig.3 Extracted background image from Fig.1

假設(shè)二維圖像f∈RM×N，通過(guò)如下變換將其重構(gòu)為矢量。

x(n)={x[(i-1)N+j]=f(i,j)}
i=1,2,…,M;j=1,2,…,N
n=1,2,…,M×N;x∈RMN×1

(1)

令向量sf(n)表示前景圖像，向量sb(n)表示背景圖像，源信號(hào)s(n)可以表示為：

s(n)=[sf(n),sb(n)]T,s∈R2×MN

(2)

感興趣的視頻監(jiān)視圖像x(n)，可寫(xiě)為：

(3)

式中，x(n)表示圖像序列xj(n),j=1,2,…,K；K=M×N表示一幅圖像的像素?cái)?shù)；A∈RK×2是混合矩陣。

式(3)的物理意義為：目標(biāo)圖像是背景和前景圖像的線性混合。x(n)包含兩個(gè)圖像，一個(gè)是參考圖像xr(n)，另一個(gè)是感興趣圖像xi(n)。其線性模型可進(jìn)一步寫(xiě)為：

(4)

運(yùn)動(dòng)檢測(cè)的目的是通過(guò)觀察量x(n)提取前景圖像sf(n)。

上述問(wèn)題可以看作是一個(gè)BSE模型，其目標(biāo)是在模型y(n)=wTx(n)中求解向量w。然而，源信號(hào)之間通常是相關(guān)的，而非獨(dú)立的。因此，本文利用相關(guān)系數(shù)(Correlation Coefficient，CC)度量提取信號(hào)se和原始信號(hào)so之間的相關(guān)性，記為：

(5)

其中，se和so具有零均值和標(biāo)準(zhǔn)方差。

表1給出了背景圖像(見(jiàn)圖3)和前景圖像(見(jiàn)圖2)對(duì)應(yīng)的相關(guān)系數(shù)，表明實(shí)際圖像是相關(guān)的。

表1 背景和前景的CC值

傳統(tǒng)的BSS信號(hào)提取方法，如PCA和ICA等，通常在操作前進(jìn)行去相關(guān)，因此無(wú)法一次提取線性混合的相關(guān)信號(hào)。

2 基于MSCPE盲源提取的背景消減法

本節(jié)介紹基于MSCPE[18,20]的盲源提取基本原理，并將其用于前景圖像與背景圖像相關(guān)下的背景消減。

2.1 基于AR參數(shù)的盲源提取

在盲源提取問(wèn)題中，N維隨機(jī)信號(hào)向量x(n)形如x(n)=As(n)，其中A為混合矩陣，s(n)為源信號(hào)向量。盲源提取的目的是在形如y(n)=wTx(n)的式子中求解向量w，從而估計(jì)源信號(hào)。為了使算法更加簡(jiǎn)便快捷，通常利用預(yù)白化處理將觀測(cè)到的信號(hào)x變換為Hx，使得E{HxxTHT} =I，其中H為白化矩陣，E{}表示求期望。此外，預(yù)白化處理也可以幫助處理病態(tài)條件。方便起見(jiàn)，假設(shè)x是預(yù)白化處理的結(jié)果，并且具有與s相同的維數(shù)。

假設(shè)已知期望信號(hào)的AR參數(shù)，p表示AR模型的長(zhǎng)度，e(n)表示瞬時(shí)預(yù)測(cè)誤差(Prediction Error, PE)，形如：

(6)

其中，b是期望信號(hào)的AR參數(shù)。

輸出y的平均交叉預(yù)測(cè)誤差(Mean Cross Prediction Error, MCPE)[22-23]可以表示為E{e(n)e(n-q)}，其中q表示誤差延遲。相應(yīng)的e(n)為：

e(n)=y(n)-bTy(n)=wTx(n)-

[b1,b2,…,bP][wTx(n-1),wTx(n-2),…,wTx(n-p)]T

(7)

假設(shè)：

(8)

并且

(9)

MCPE可看作E{e(n)e(n-q)}，有：

E{e(n)e(n-q)}
=E{wTAz(n)zT(n-q)ATw}
=wTAE{z(n)zT(n-q)}ATw

(10)

假設(shè)：

Z(q)=E{z(n)zT(n-q)}

(11)

MCPE為：

E{e(n)e(n-q)}=wTAZ(q)ZT(q)ATw

(12)

均方交叉預(yù)測(cè)誤差為wTAZ(q)ZT(q)ATwT，是文獻(xiàn)[22]中提取期望信號(hào)的代價(jià)函數(shù)。相應(yīng)的代價(jià)函數(shù)的簡(jiǎn)單形式為：

Jq(w)=wTAZ(q)ZT(q)ATw, 0

s.t.wTw=1

(13)

令Σ=Z(q)ZT(q)，為對(duì)角陣，其對(duì)角元素Σ(i,i) (i=1,2,…,M)等于源信號(hào)s(i), (i=1,2,…,M)MCPE的平方。如果源信號(hào)的AR模型參數(shù)不同，則上述代價(jià)函數(shù)最小為零。因此，可以通過(guò)最小化代價(jià)函數(shù)來(lái)提取所需的信號(hào)Jq(w)。

由于在約束wTw=1下最小化代價(jià)函數(shù)Jq(w)等價(jià)于求實(shí)對(duì)稱矩陣AZ(q)ZT(q)AT最小特征值的特征向量，w等價(jià)于Z(q)最小奇異值的奇異向量。因此有以下算法[22]：

(14)

其中，MINEVD{M}是計(jì)算實(shí)對(duì)稱矩陣M的歸一化特征向量對(duì)應(yīng)的最小特征值的算子，MINSVD{M}是計(jì)算矩陣M的歸一化奇異值向量對(duì)應(yīng)的最小奇異值的算子。

當(dāng)存在不同結(jié)構(gòu)時(shí)[25-26]，可以通過(guò)最小正規(guī)化MSPEE{e2(n)}/E{y2(n)}來(lái)提取源信號(hào)。由于x是經(jīng)過(guò)白化處理的，因此去混合標(biāo)量E{y2(n)}的輸出功率是一致的。代價(jià)函數(shù)可以設(shè)為MSPE，即E{e2(n)}，其表達(dá)式如下：

E{e2(n)}=wTARpATw

(15)

并且

(16)

從BSS的角度來(lái)看，本質(zhì)是在被估計(jì)的信號(hào)y(n)=WTx(n)中求解矩陣W。式(14)對(duì)W的求解可以看作

W=SVD{AZ(q)AT}

(17)

或

W=EVD{AZ(q)ZT(q)AT}

(18)

其中，EVD{M}是計(jì)算實(shí)對(duì)稱矩陣M的所有歸一化特征向量算子。SVD{M}是計(jì)算實(shí)對(duì)稱矩陣M的所有歸一化奇異向量算子。

2.2 相關(guān)源的MSCPE盲源提取

文獻(xiàn)[22]和文獻(xiàn)[23]證明，如果任何期望信號(hào)的AR參數(shù)已知，MSCPE將會(huì)避免排列問(wèn)題[22]，并可以提取期望信號(hào)[23]。本文將MSCPE推廣到以相關(guān)源信號(hào)為基礎(chǔ)，提取期望信號(hào)。

定理1 在無(wú)噪聲BSE問(wèn)題中，觀測(cè)量x(n)形如x(n)=As(n)，其中A為未知混合矩陣，s(n)為源信號(hào)向量，假設(shè)：

1)源信號(hào)之間是相關(guān)的；

2)每個(gè)源信號(hào)滿足：

E{si(n)si(n-τ)}=0,τ>0

3)某期望信號(hào)的AR參數(shù)已知；

4)觀測(cè)量x與源信號(hào)具有相同的維度。

那么，當(dāng)期望信號(hào)的MSCPE值小于任意一個(gè)源信號(hào)時(shí)，式(14)的算法可以有效提取出信號(hào)。

(19)

經(jīng)施密特變換[13],有

(20)

由假設(shè)2可知：

(21)

又由于x(n)=As(n)=ABs′(n)，為便于后續(xù)推導(dǎo)，假設(shè)A=AB和s(n)=s′(n)。

當(dāng)式(18)成立時(shí)，Z(q)則為對(duì)角陣，Z(q)ZT(q)為非負(fù)對(duì)角陣，當(dāng)x經(jīng)過(guò)白化處理后，即E{xxT}=I，A將成為正交矩陣。表示為Λ=Z(q)ZT(q)。AZ(q)ZT(q)AT的奇異值分解可表示為：[A,Λ,AT]=SVD(AZ(q)ZT(q)AT)

對(duì)于給定期望源信號(hào)sk的AR模型參數(shù)b，其中k為期望數(shù)，各源信號(hào)的MCPE可表示為[18]E{ej(n)ej(n-q)} (j=1,2,…,N)。其中ej(n)表示殘留誤差。由于源信號(hào)具有不同的AR參數(shù)，有以下特性：

(22)

其中：

(23)

其中，p是AR參數(shù)的長(zhǎng)度，因此，Λ的第k個(gè)對(duì)角元素為最小對(duì)角元素且為0。

在約束條件wTw=1下，最小化代價(jià)函數(shù)Jq(w)等價(jià)于求實(shí)對(duì)稱矩陣AZ(q)ZT(q)A的最小特征值對(duì)應(yīng)的特征向量。

因此，如果期望信號(hào)的MSCPE值小于任意源信號(hào)，則式(14)的算法可以提取期望信號(hào)。

□

以上定理表明，即使源信號(hào)之間互相關(guān)，MSCPE盲源提取方法可以通過(guò)最小化MSCPE值提取出所需的期望信號(hào)。此外，MCPE盲源提取方法可以通過(guò)最小化MCPE值提取期望信號(hào)。因此，從相關(guān)源信號(hào)中提取期望信號(hào)的關(guān)鍵是，找到合適的參數(shù)使相應(yīng)的MSCPE值最小，其中MCPE是MSCPE的特殊情況。

綜上，當(dāng)期望信號(hào)的AR參數(shù)已知時(shí)，MSCPE盲源提取方法可以從線性混合源中提取期望信號(hào)。

2.3 基于盲源提取的背景消減方法

在采用了MSCPE的BSE算法中，由序列中的參考背景圖像和當(dāng)前場(chǎng)景圖像組成數(shù)據(jù)矩陣，是背景圖像和前景圖像的混合。

基于BSE的背景消減方法包括粗提取和精提取兩個(gè)階段。在粗提取階段，利用MSCPE算法將數(shù)據(jù)矩陣與參考背景圖像的AR參數(shù)進(jìn)行去混合，得到兩幅估計(jì)圖像：其中一幅是背景圖像的精細(xì)估計(jì)，另一幅是前景圖像的粗略估計(jì)。在精細(xì)提取階段，利用MSCPE算法將數(shù)據(jù)矩陣與估計(jì)的前景圖像的AR參數(shù)進(jìn)行去混合，估計(jì)出精細(xì)前景圖像。

在粗提取階段，由于提取的兩幅圖像互不相關(guān)，利用參考背景圖像的AR，背景圖像的估計(jì)相對(duì)較好，前景圖像的估計(jì)相對(duì)粗糙。

如果背景圖像和前景圖像是獨(dú)立的，得到的前景圖像在粗糙狀態(tài)下的估計(jì)就是解，這兩個(gè)階段合并為一個(gè)階段。而背景圖像和前景圖像通常是相關(guān)的，此時(shí)兩個(gè)階段是必要的。

基于ICA (BSS)的方案通常包含兩個(gè)階段:訓(xùn)練階段和檢測(cè)階段。與基于ICA的方法相比，基于MSCPE的方法有如下兩個(gè)優(yōu)勢(shì)：

1)基于MSCPE的方法使用的二階統(tǒng)計(jì)量相對(duì)于基于ICA方法使用的高階統(tǒng)計(jì)量運(yùn)算開(kāi)銷??；

2)MSCPE無(wú)須訓(xùn)練階段，更加智能。

3 仿真實(shí)驗(yàn)

在本節(jié)中，使用MSCPE提取視頻監(jiān)視中需要的前景圖像，以驗(yàn)證該方法的可行性。

3.1 真實(shí)圖像的人工混合

本實(shí)驗(yàn)利用實(shí)際數(shù)據(jù)人工混合來(lái)評(píng)估MSCPE的性能。實(shí)驗(yàn)選擇了3組圖片，如圖1～3所示。圖1為視頻圖片，另外兩張分別為前景圖片和背景圖片。然后進(jìn)行兩組實(shí)驗(yàn)，分別記為Exp 1和Exp 2。 Exp 1涉及Image 1和Image 2，Exp 2涉及Image 1和Image 3。

在每個(gè)實(shí)驗(yàn)中，假設(shè)期望信號(hào)的AR模型參數(shù)已知，使用MSCPE提取期望信號(hào)。另外，背景圖像和前景圖像將分別作為所需的信號(hào)。

實(shí)驗(yàn)步驟如下:

Step1: 選擇背景圖像和前景圖像作為源信號(hào)s(n)；

Step2: 生成混合數(shù)據(jù)x(n)=As(n)，其中A∈R2×2表示混合矩陣，由MATLAB隨機(jī)生成；

Step3: 為提取期望信號(hào)選擇特定參數(shù)p和q，(本文p=60,q=1)；

Step4: 利用MSCPE提取期望信號(hào)，其中期望信號(hào)的AR模型參數(shù)由MATLAB中函數(shù)“aryule”計(jì)算得到；

Step5: 對(duì)提取的信號(hào)進(jìn)行標(biāo)準(zhǔn)歸一化，并計(jì)算對(duì)比相應(yīng)的CC。

實(shí)驗(yàn)同時(shí)使用MSCPE和MSPE提取期望信號(hào)。實(shí)驗(yàn)結(jié)果如表2所示，其中CC(MSCPE)是由MSCPE求出的提取信號(hào)和期望信號(hào)計(jì)算而得。CC(MSPE)是用MSPE計(jì)算的CC。兩種CC值都是通過(guò)100次仿真實(shí)驗(yàn)求平均得到。

表2 Exp1和Exp2的實(shí)驗(yàn)結(jié)果

由表2可知，MSCPE提取的圖像與期望圖像之間的CC值均大于99%，而MSPE在Exp 1中圖像2和Exp 2中圖像3的提取效果較好，在兩個(gè)實(shí)驗(yàn)中圖像1的提取效果較差。這是因?yàn)镸SPE來(lái)自ICA，能夠很好地提取獨(dú)立的源信號(hào)，而表1中計(jì)算的CCs表明，背景和前景圖像不是獨(dú)立的，而是相互關(guān)聯(lián)的。因此，ICA很難從相關(guān)源中提取獨(dú)立的源信號(hào)。

備注1 (參數(shù)選擇): 在MSCPE中涉及兩個(gè)參數(shù)p和q。盡管式(16)表明，在選擇不同的q時(shí)，對(duì)于期望信號(hào)MCPE為零,而MCPE的值不為零,甚至在實(shí)際中，對(duì)于固定的q，其值可能并非最小值。這種現(xiàn)象有兩方面的原因：一是AR參數(shù)計(jì)算中累積誤差的影響；二是源信號(hào)是相關(guān)的，這使得期望信號(hào)的AR參數(shù)與相關(guān)信號(hào)的AR參數(shù)相似。在這種情況下，p和q的選擇主要依賴于仿真中的試錯(cuò)。

備注2 (q的選擇): 注意到第3.1節(jié)中對(duì)q選擇，不同的材料，A是不同的，而這部分采用q=1。理論上來(lái)說(shuō)，q>1不會(huì)影響對(duì)源信號(hào)的估計(jì)。但在數(shù)值計(jì)算中，q取值越大會(huì)要求BSE模型的維數(shù)較大，進(jìn)而會(huì)增加SVD計(jì)算的累積誤差。因此，需要在q和累積誤差之間進(jìn)行權(quán)衡，本實(shí)驗(yàn)選擇q=1。

3.2 單參考背景的真實(shí)視頻圖像

通過(guò)第2節(jié)的理論分析以及第3.1節(jié)的實(shí)驗(yàn)結(jié)果表明：MSCPE可以從相關(guān)源中提取期望信號(hào)。本節(jié)進(jìn)而利用MSCPE在BSE框架下，從數(shù)據(jù)矩陣中提取前景信息。該數(shù)據(jù)矩陣是由背景圖片和當(dāng)前場(chǎng)景圖片組成的序列。

該方法涉及粗提取和細(xì)提取兩個(gè)階段。

Step1: 粗提取。采用MSCPE算法，利用式(17)或式(18)對(duì)參考背景圖像的AR參數(shù)進(jìn)行去混合。然后用矩陣AZ(q)ZT(q)A最小特征值對(duì)應(yīng)的歸一化特征向量將信號(hào)分離為背景圖像的精細(xì)估計(jì)，另一分離信號(hào)為前景圖像的粗估計(jì)。

Step2: 細(xì)提取。根據(jù)第一階段對(duì)前景圖像粗估計(jì)的AR參數(shù)，采用MSCPE算法，利用式(14)將與第一階段相同的矩陣進(jìn)行分層。

在上述兩階段的基礎(chǔ)上，分別對(duì)單參考背景和多參考背景進(jìn)行測(cè)試。并與圖像差分法和粗糙階段的結(jié)果進(jìn)行對(duì)比。

單參考背景即參考背景平穩(wěn)。在該示例中，僅改變了照明。測(cè)試房間有兩組熒光燈?；疑囊曨l圖像是10幀/s。在第62幀之前有一組燈被關(guān)閉，之后兩組燈都被打開(kāi)。

圖4 (a)給出了一個(gè)視頻序列中的離散場(chǎng)景圖像，其幀數(shù)分別為10、85和150。選取幀數(shù)為10的圖像作為參考圖像，其光照強(qiáng)度與另外兩幅檢測(cè)圖像不同。圖4(b)、圖4(c)和圖4(d)分別給出了利用兩階段方法、圖像差分方法以及粗提取(第一階段的結(jié)果)方法提取到的前景圖片。由于幀數(shù)為10的圖像被作為參數(shù)，因此對(duì)其提取的前景圖像的所有像素為0，即圖4中第1行后3幅圖像。

圖4(b)表明，本文提出的兩階段提取方法可以很好地提取期望前景圖像。圖4(c)表明，在參考圖像和場(chǎng)景圖像光照不同的情況下，傳統(tǒng)的圖像差分方法效果不佳。圖4(d)表明，粗估計(jì)使得前景圖片在背景中相當(dāng)突出，并且包含了部分背景信息。這是由于背景圖像與前景圖像相關(guān)性的影響。

對(duì)圖4中圖像進(jìn)行二值化，結(jié)果如圖5所示。圖5(b)～(d)分別給出了所提出的兩階段法、圖像差分法以及粗糙階段法的二值化結(jié)果。

由圖5可知，本文所提方法可以在室內(nèi)光照條件下提取出理想的前景圖像。當(dāng)光線變化時(shí)，場(chǎng)景中物體的反射率會(huì)發(fā)生變化，進(jìn)而會(huì)引起圖像大小的改變。值得注意的是，信號(hào)大小的變化對(duì)信號(hào)的AR模型參數(shù)影響較小。進(jìn)而說(shuō)明該方法對(duì)光照變化具有較強(qiáng)的魯棒性。

3.3 多參考背景的真實(shí)視頻圖像

多參考背景是非平穩(wěn)(動(dòng)態(tài))的。例如，房間里窗簾的形狀經(jīng)常受到風(fēng)或行人的影響。第二個(gè)室內(nèi)測(cè)試樣本是一個(gè)人沿著房間的窗簾走。測(cè)試房里有兩組熒光燈?；疑囊曨l圖像拍攝于10幀/s。在第108幀之前有一組燈被關(guān)閉，之后兩組燈都被打開(kāi)。

圖6(a)分別給出了第5幀、65幀、145幀的離散場(chǎng)景圖像。幀數(shù)為5的圖像被作為參考圖像，因此對(duì)其提取的前景圖像的所有像素為0，即圖6中第1行的后3幅圖像。圖6(b)、圖6(c)和圖6(d)分別給出了利用兩階段方法、圖像差分方法以及粗提取(第一階段的結(jié)果)方法提取到的前景圖片。圖6(b)和圖6(d)表明，本文提出的兩階段提取方法和粗估計(jì)方法可以很好地提取期望前景圖像。圖6(c)表明，傳統(tǒng)的圖像差分方法在多參考背景下效果較差。

對(duì)圖6中圖像進(jìn)行二值化，結(jié)果如圖7所示。圖7(b)～(d)分別給出了所提出的兩階段法、圖像差分法以及粗糙階段法的二值化結(jié)果。

由此可知，在多參考背景下，粗糙估計(jì)方法和所提出的兩階段估計(jì)方法都是可行的。這是由于多重參考背景在式(3)的無(wú)噪聲模型中引入了噪聲。

x(n)=As(n)+V(n)

(24)

其中，V(n)表示添加的噪聲，物理意義為當(dāng)前背景和參考背景之間的差異。通常有兩種處理含噪BSE的方法：一是忽略噪聲；二是采用噪聲消除技術(shù)。第二種方法的大部分算法都是基于加性高斯噪聲。由于加性噪聲難以建模，因此采用無(wú)噪聲BSE算法提取期望信號(hào)更為適合。

引入的噪聲將不可避免地影響前景圖像的AR參數(shù)估計(jì)，進(jìn)而降低精細(xì)估計(jì)的效果。然而，本文所提出的方法仍然可以很好地提取期望前景圖像。

4 討論

由于MSCEP算法可以從相關(guān)源中提取所需的信號(hào)，因此該算法也可以用于其他背景消減框架，如基本模型方法和特征背景方法。

4.1 基于MSCPE的基本模型

對(duì)于基本的背景消減法模型，主要的方法是檢測(cè)前景對(duì)象作為當(dāng)前幀，與場(chǎng)景靜態(tài)背景圖像之間的差異為：

|Framei-Backgroundi|>Threshold

(25)

解決上述問(wèn)題的關(guān)鍵是如何自動(dòng)獲取場(chǎng)景的靜態(tài)背景圖像。一是選擇背景作為前n幀的平均值或中值[14]，該方法運(yùn)算速度快，但對(duì)內(nèi)存的開(kāi)銷較大，內(nèi)存需求是框架大小的n倍。二是采用運(yùn)行平均值:

Backgroundi=αFi+(1-α)Backgroundi-1

(26)

其中：Fi表示當(dāng)前場(chǎng)景圖片；α表示學(xué)習(xí)速率，一般取0.05。該方法對(duì)內(nèi)存需求不大，但是如果當(dāng)前場(chǎng)景圖片F(xiàn)i包含了前景信息，則性能會(huì)嚴(yán)重下降。而MSCEP算法可以采用第一階段粗略提取背景圖像，去除或至少減少前景圖像的影響，如圖8所示。

圖8(a)和圖8(b)分別顯示背景圖像和前景圖像的場(chǎng)景圖像，兩幅圖片被重新排列為數(shù)據(jù)矩陣X。圖8(c)為在數(shù)據(jù)矩陣中利用第一階段方法對(duì)前景圖片進(jìn)行粗提取。由圖8(c)可知，在保留了背景圖片的前提下，前景圖片得到了弱化。為了進(jìn)一步驗(yàn)證性能，對(duì)圖8(b)和圖8(c)進(jìn)行零均值標(biāo)準(zhǔn)歸一化，并在圖8(c)中減去圖8(b)得到圖8(d)，其二值化結(jié)果如圖8(e)所示。實(shí)驗(yàn)結(jié)果表明，當(dāng)前場(chǎng)景圖片F(xiàn)i包含前景圖片時(shí)，MSCPE方法仍然能夠取得較好的結(jié)果。

4.2 基于MSCPE的特征背景模型

對(duì)于特征背景模型[15]，主要是利用主成分分析對(duì)n幀序列的背景特征進(jìn)行計(jì)算。其主要步驟如下：

Step1: 對(duì)n幀進(jìn)行重排列，得到矩陣X∈Rn×l，其中l(wèi)是場(chǎng)景圖像的像素個(gè)數(shù)；

Step2: 計(jì)算協(xié)方差矩陣C=XTX,C∈Rl×l；

Step3: 利用協(xié)方差矩陣C，計(jì)算由特征值組成的對(duì)角陣E以及特征向量所組成的矩陣Φ；

Step4: 只保留前m個(gè)較大特征值對(duì)應(yīng)的特征向量，將其記為G，其中，G∈Rm×l；

Step5: 當(dāng)前場(chǎng)景圖片I(1×l)可用時(shí)，將其在G中進(jìn)行投影，并重構(gòu)為I′=IGTG;

Step6: 計(jì)算I與I′的差值，其差值即為前景圖片。

根據(jù)特征值的思路，基于MSCPE的特征背景方法的步驟如下：

Step1: 對(duì)n幀進(jìn)行重排列，得到矩陣X∈Rn×l；

Step2: 利用式(7)～(11)對(duì)協(xié)方差矩陣進(jìn)行計(jì)算，C=AZ(q)AT，其中，C∈Rn×n；

Step3: 根據(jù)式(17)或式(18)，利用協(xié)方差矩陣C，計(jì)算由特征值組成的對(duì)角陣E以及特征向量所組成的矩陣Φ；

Step4: 只保留后m個(gè)較小特征值對(duì)應(yīng)的特征向量，將其記為W(n×m)；

Step5: 記G為m行特征向量子空間，并由G=WTX計(jì)算得到，其中，G∈Rm×l，當(dāng)前場(chǎng)景圖片I(1×l)可用時(shí)，將其在G中進(jìn)行投影，并重構(gòu)為I′=IGTG；

Step6: 計(jì)算I與I′的差值，其差值即為前景圖片。

圖9給出了使用修改后特征背景的多個(gè)參考背景實(shí)驗(yàn)結(jié)果，其中m=4,n=10。圖9(a)～(d)表示最后m個(gè)特征向量構(gòu)成一個(gè)空間，圖9(e)為視頻中第145幀圖片，對(duì)其使用MSCPE方法提取的背景圖像如圖9(f)所示，對(duì)圖9(e)和圖9(f)做差得到前景圖像如圖9(g)所示，其二值化結(jié)果如圖9(h)所示。由該圖可知，基于MSCPE的特征背景方法可以很好地提取前景圖像。仿真實(shí)驗(yàn)進(jìn)一步表明，基于MSCPE的特征背景方法和原始特征背景方法一樣有效。由于篇幅所限，仿真結(jié)果未一一列出。

值得注意的是，當(dāng)m=1時(shí)，基于MSCEP的特征背景方法將退化為基于MSCEP的基本模型方法。因此，基于MSCEP的基本模型方法實(shí)際上是基于MSCEP特征背景方法的一種特例。圖9(c)和圖9(f)表明，基于MSCEP的特征背景方法提取的背景圖片仍然包含了非前景圖片，而基于MSCEP的基本模型方法提取的背景圖片仍然會(huì)受到前景圖片的影響。對(duì)比表明，擴(kuò)展子空間對(duì)背景圖像的提取是有效的。

與此同時(shí)，基于MSCEP特征背景方法的性能大部分時(shí)候較基于MSCEP的基本模型方法好。當(dāng)n幀矩陣X包含前景圖像時(shí)，如果m>1，特征背景方法就無(wú)法工作；當(dāng)m=1時(shí)，基于MSCEP的特征背景方法將退化為基于MSCEP的基本模型方法，可以正常工作，然而此時(shí)特征背景方法效果不佳，如圖10所示。圖10分別給出了第5幀、145幀、165幀構(gòu)成矩陣X，圖10(d)為利用PCA得到的重構(gòu)圖片。由圖可見(jiàn)，重構(gòu)圖片受到了前景圖片干擾。相比而言，MSCPE能夠較好地提取背景圖像。然后通過(guò)相應(yīng)的背景消減法和二值化結(jié)果，驗(yàn)證了基于MSCPE的方法優(yōu)于PCA或特征背景法。

綜上，對(duì)于第二類背景消減的改進(jìn)，有三種方法：基本模型、基于PCA的模型和基于ICA的模型。MSCPE算法可以結(jié)合這三種方法，提高算法的魯棒性，進(jìn)而用于人機(jī)交互[27]、目標(biāo)跟蹤[28]和人臉識(shí)別[29]問(wèn)題。

理論上來(lái)說(shuō)，如果對(duì)源信號(hào)加入適當(dāng)?shù)募s束(非負(fù)約束、瞬時(shí)結(jié)構(gòu)等[21])，相關(guān)源的準(zhǔn)確提取仍然是一個(gè)具有很大挑戰(zhàn)的問(wèn)題。除了BSE外，其他的線性變換，如鄰域線性嵌入[30]和局部線性嵌入[31]，可能也會(huì)被嵌入背景提取中，這將是下一步研究的重點(diǎn)。

5 結(jié)論

在視頻監(jiān)視中，一個(gè)(幀)場(chǎng)景圖像可以被建模為前景和背景視覺(jué)內(nèi)容的線性混合，而實(shí)際上圖像的背景和前景往往是相互關(guān)聯(lián)的。為了解決從與其他源信號(hào)相關(guān)的觀測(cè)數(shù)據(jù)中提取期望信號(hào)的問(wèn)題，本文將MSCPE推廣到視頻監(jiān)視的前景圖像提取中。通過(guò)對(duì)實(shí)際視頻圖像的處理，驗(yàn)證了該框架下算法的效果和效能。

在單參考背景下，前景提取可以看作是一個(gè)無(wú)噪聲BSE問(wèn)題。傳統(tǒng)的圖像差分方法對(duì)光照變化很敏感，這是由于圖像的大小變化造成的。由于信號(hào)的AR參數(shù)對(duì)信號(hào)大小的變化不敏感，因此該方法的對(duì)光照變化具有魯棒性。在多參考背景的情況下，后處理模型可以看作是一個(gè)有噪聲BSE問(wèn)題。由于加性噪聲難以建模，因此采用無(wú)噪聲MSCPE算法提取期望信號(hào)，在提取期望前景圖像時(shí)仍表現(xiàn)良好。

MSCPE還可以用于其他背景消減方案，如基本模型和特征背景模型，從而構(gòu)成了一個(gè)自動(dòng)化和魯棒性性能更好的算法框架，可以有效去除或減小前景圖像的影響。