結合l1/2范數(shù)與顯著性約束的背景減除

張國庭，陳利霞，2，周澤鋒

（1.桂林電子科技大學數(shù)學與計算科學學院，廣西桂林 541004；2.桂林電子科技大學廣西高校數(shù)據(jù)分析與計算重點實驗室，廣西桂林 541004）

0 概述

近年來，視頻運動目標檢測作為計算機視覺和數(shù)字圖像處理領域的熱點研究方向［1-3］，廣泛應用于智能監(jiān)控、交通管制、機器智能、醫(yī)療診斷等任務。背景減除［4］是將視頻中感興趣的目標提取出來并去除不感興趣的背景。常用的背景減除模型主要包括基于概率建模的高斯混合模型（Gaussian Mixture Model，GMM）和魯棒主成分分析（Robust Principal Component Analysis，RPCA）模型［5］。GMM 模型由STAUFFER 等［6］于1999 年提出，通過期望最大化（Expectation Maximization，EM）算法來確定像素顏色分布的時間以及每個分布的參數(shù)。雖然GMM 可以處理背景光線的細微變化，但如果用于參數(shù)學習的初始視頻幀有噪聲，訓練后的模型將會受噪聲影響。為了提高GMM 的性能，學者們試圖通過提出不同的學習方法或修改算法的適應性使該模型對噪聲更具魯棒性［7-9］。RPCA［5］模型利用矩陣的核范數(shù)約束低秩部分，通過l1范數(shù)約束稀疏部分。由于該模型簡單且求解高效，因此被廣泛應用于運動目標檢測任務，但是RPCA 模型的前提假設是背景靜止或幾乎靜止，而現(xiàn)實世界中的背景往往是變化的。針對此問題，CAO 等［10］提出全變分正則化的RPCA模型，利用運動目標的空間連續(xù)性和時間連續(xù)性，抑制了動態(tài)背景的干擾，但對緩慢運動的目標檢測效果較差。針對動態(tài)背景或噪聲干擾問題，EBADI等［11］提出利用動態(tài)樹結構的稀疏矩陣建模前景，從而加強前景的稀疏性。CHEN 等［12］在前景建模中引入l1/1/2范數(shù)，充分描述了視頻的時空相關性，增強了前景的稀疏性。雖然這些模型取得了一定的效果，但處理復雜場景視頻的效果仍有待提升，而且當目標移動緩慢時，檢測出來的前景出現(xiàn)較多空洞現(xiàn)象。本文提出一種結合l1/2范數(shù)和顯著性約束的前景檢測模型。利用l1/2范數(shù)產(chǎn)生更稀疏的解，減少動態(tài)背景對前景的干擾。通過顯著性約束對視頻序列的每一幀進行低秩稀疏分解，有效識別移動緩慢的物體，緩解前景的空洞現(xiàn)象。

1 RPCA 模型

假定給出的視頻圖像序列包含T幀，將所有幀向量化為列向量得到矩陣。檢測運動目標可以通過求解如式（1）所示的RPCA 模型來獲取低秩背景矩陣X1∈Rm×n×T（m、n分別表示圖像的高度和寬度）以及稀疏前景X2∈Rm×n×T：

其中：||X1||*表示矩陣X1的核范數(shù)；||X2||1表示矩陣X2的l1范數(shù)；λ是一個正的權衡參數(shù)。在強動態(tài)背景下，RPCA 檢測結果中前景出現(xiàn)大量誤判像素，檢測性能較差。由于現(xiàn)實世界中視頻的背景復雜多變，因此可將式（1）擴展如下：

其中：ψ（E）為干擾信號，通?？捎谩珽‖F(xiàn)/2 來表示，E為噪聲矩陣，用于表示動態(tài)背景產(chǎn)生的隨機變化。

2 模型建立

一方面，傳統(tǒng)的背景減除模型在檢測移動緩慢的物體時，容易出現(xiàn)空洞現(xiàn)象，導致檢測精度下降。由于前景具有顯著性，而顯著性約束［13-14］能將靜止圖像的前景檢測出來，因此引入顯著性有助于檢測移動緩慢的目標。另一方面，傳統(tǒng)模型多數(shù)利用l1范數(shù)約束稀疏部分的矩陣，而lq(q∈(0，1))正則化比l1正則化能生成更稀疏的解。通過對所有l(wèi)q正則化的研究表明，對于q∈[1/2，1)，q越小，解越稀疏，但是對于q∈（0，1/2]，解的性能沒有明顯下降，但求解的復雜程度遠高于l1/2范數(shù)的求解［15］?；谝陨蟽煞矫?，本文引入l1/2范數(shù)和顯著性約束，提出一種新的背景減除模型，具體如下：

3 模型求解

基于交替方向乘子法，式（3）的增廣拉格朗日函數(shù)表示如下：

其中：[·]：i是矩陣的第i列；mat(·)表示把向量轉化成矩陣，使得mat(vec(Li))≡L i；μ是懲罰參數(shù)；是拉格朗日乘子。為求解式（4），利用交替方向乘子法對其進行變量分離并轉換為6 個問題進行求解。在迭代初始化時，令，迭代次數(shù)k=0。

該問題有閉型解，可通過奇異值閾值化（Singular Value Thresholding，SVT）［16］求解：

其中：Y=USV*；Sτ=sign(S)×max(|S|-τ，0)，τ=。

該問題可通過半閾值化算子［15］求解：

該問題可由SVT 求解，方法與子問題1 類似。

該問題可通過半閾值化算子來求解，方法與子問題2 類似。

5）固定其他變量，利用式（11）更新Ek+1：

6）更新拉格朗日乘子和懲罰參數(shù)：

重復求解以上問題直至滿足以下迭代收斂條件：

4 實驗結果與分析

為驗證本文模型的性能，實驗從CD.net-2014［17］測試數(shù)據(jù)集中選取Boulevard 和Traffic（相機抖動）、CopyMachine 和Backdoor（移動緩慢）、Fountain021和Boats（動態(tài)背景）、Sating 和SnowFall（惡劣天氣）8 組128×128×128 的視頻集進行測試，并在相同條件下 與l1/1/2-RPCA［12］、KBR-RPCA［18］、HoRPCA［19］、FRMC［20］、TRPCA［21］、IALM-RPCA［22］模型從主觀和客觀兩方面進行比較。所有實驗的運行環(huán)境為Matlab 2019a，Intel Core i5-6500 處理器，8 GB 內存，Win10 64 位操作系統(tǒng)。實驗設置參數(shù)λ=0.8、α==0.01、ρ=1.1。實驗視頻集如圖1 所示。

圖1 實驗視頻集Fig.1 Experimental video sets

為準確地評估本文模型的性能，采用查全率（recall）、查準率（precision）和調和平均值（Fmeasure）來評估前景檢測的效果。recall 和precision的定義分別如下：

其中：ttp表示檢測出的正確的前景像素點；ffn表示錯檢為背景的前景像素點；ffp表示錯檢為前景的背景像素點。

采用F-measure 來綜合判斷提取效果。F-measure的定義如下：

4.1 主觀分析

圖2 給出了相機抖動視頻集、移動緩慢視頻集、動態(tài)背景視頻集和惡劣天氣視頻集的視覺效果。

圖2 不同模型下視頻集的視覺效果對比Fig.2 Comparison of visual effects of video sets under different algorithms

對于相機抖動視頻集：FRMC、KBR-RPCA、l1/1/2-RPCA、TRPCA 提取的前景精度較差，運動目標中存在較嚴重的空洞現(xiàn)象；HoRPCA、IALM-RPCA 提取的運動目標的精度較高，但這兩種模型把部分背景也檢測為運動目標；本文模型在去除背景干擾的同時，提取的運動目標精度也較高，整體取得最佳的檢測效果。

對于移動緩慢視頻集：FRMC、KBR-RPCA、TRPCA 提取的運動目標缺乏完整性；HoRPCA 和l1/1/2-RPCA 把部分背景誤判為前景目標；IALMRPCA 和本文模型提取的前景對象都較為完整，檢測精度明顯高于其他4 種模型，但本文模型具有最高的F-measure 值。

對于動態(tài)背景視頻集，F(xiàn)RMC、KBR-RPCA、TRPCA檢測前景的精度較差，運動目標較為模糊；HoRPCA、l1/1/2-RPCA、IALM-RPCA 提取的前景目標均比較清晰和完整，但與本文模型相比，這3 種模型受動態(tài)背景影響的干擾較大，把過多的背景誤判為運動目標；本文模型在去除動態(tài)背景干擾的同時，提取的運動目標精度也較高，整體上取得最佳的檢測效果。

對于惡劣天氣視頻集：FRMC、KBR-RPCA、TRPCA、HoRPCA、l1/1/2-RPCA 提取的前景對象中空洞過大，丟失大量的前景信息；IALM-RPCA 比其他5 種模型提取的運動目標完整，不存在嚴重的空洞問題，但也把部分背景誤判為前景；本文模型與其他模型相比，提取前景的精度較高，同時對背景的誤判較少，整體取得最佳的檢測效果。

4.2 客觀分析

將本文模型和其他6 種模型進行比較，評價指標值如表1 所示，其中，加粗數(shù)據(jù)代表最優(yōu)值，加下劃線數(shù)據(jù)代表次優(yōu)值。從表1 可以看出，雖然其他模型的recall 值和precision 值有比本文模型高的情況，但本文的recall 值和precision 值在此情況下基本也處于次優(yōu)狀態(tài)，而且本文模型的F-measure 值均高于其他模型。以上說明了本文模型在抑制動態(tài)背景產(chǎn)生的噪聲以及目標提取的完整度和精確度方面的綜合效果較好。

表1 不同模型下的客觀評價指標數(shù)據(jù)對比Table 1 Data comparison of objective evaluation index under different models

將本文模型與其他6 種模型進行實驗對比，選取視頻集Skating 中12 個代表幀，每個相隔8 幀，計算各個代表幀的F-measure、precision 和recall 值，得出的相關指標曲線如圖3 所示。由圖3 可以看出，本文模型的F-measure、precision 和recall 值基本每幀都高于其他6 種模型，相比于l1/1/2-RPCA 背景減除模型的平均查全率、查準率和調和平均值分別提升了9、14 和10 個百分點。從圖3（a）、圖3（c）可以看出，本文模型的F-measure 和recall 值均高于其他模型，因此本文模型的綜合檢測效果最好。從圖3（b）可以看出，本文模型只有個別幀的precision 值低于其他模型，而多數(shù)幀的查準率都是處于最優(yōu)的。

圖3 不同模型下的客觀評價指標曲線對比Fig.3 Curve comparison of objective evaluation index under different models

表2 給出了本文模型和其他6 種模型的視頻集平均每幀的運行時間對比結果。從表2 可以看出，本文模型在運行時間方面優(yōu)于KBR-RPCA、IALMRPCA、FRMC、TPRCA 模型，但低于HoRPCA 和l1/1/2-RPCA 模型，說明本文模型在計算方面較為耗時，但與運行速度較快的對比模型差距不大，能滿足視頻監(jiān)控的實時性要求。

表2 不同模型下的運行時間對比Table 2 Comparison of running time under different models s

采用視頻集Skating 作為實驗視頻集，研究參數(shù)變化對實驗結果的影響，如圖4 所示。從圖4（a）中可看出，參數(shù)λ在0.08 處F-measure 取得最大值，因此選取λ=0.08 作為最優(yōu)參數(shù)值。從圖4（b）中可看出，參數(shù)β在0.02 處F-measure 值取得最大值，結合參數(shù)變化對其他視頻集的影響，因此選取β=0.01 作為最優(yōu)參數(shù)值。從圖4（c）可以看出，當參數(shù)α在［0.01，0.1］時對實驗結果幾乎沒有影響，因此選取α=≈0.09 作為最優(yōu)參數(shù)值。

圖4 F-measure 隨參數(shù)取值的變化Fig.4 F-measure changing with parameters value

5 結束語

本文提出一種結合l1/2范數(shù)和顯著性約束的背景減除模型。以RPCA 理論為基礎，使用l1/2范數(shù)替代l1范數(shù)對視頻前景作稀疏約束，減少由動態(tài)背景造成的干擾，提高前景檢測的精確度。利用顯著性約束對每一幀圖像進行低秩稀疏分解，識別移動緩慢的物體，緩解了前景的空洞現(xiàn)象。實驗結果表明，與主流模型相比，本文模型能有效去除動態(tài)背景對前景的干擾，且檢測移動緩慢目標的效果較好，顯著提高了移動目標檢測精度。但當背景顏色和前景顏色相近時，本文模型容易出現(xiàn)誤判的情況，因此后續(xù)將結合視頻序列的顏色信息，進一步提升背景減除模型的檢測精度和適用性。