一種提取抖動視頻中前景目標的新方法

顧 揚，曾凡意，應昊然，王麗平

(1.南京航空航天大學 理學院，江蘇 南京 211106；2.南京航空航天大學 自動化學院，江蘇 南京 211106)

0 引 言

隨著圖像傳感器的普及和廣泛使用以及大數據時代的降臨，計算視覺與模式識別領域快速發(fā)展，監(jiān)控視頻的智能化成為相關領域的前沿熱點[1-4]。在大部分情況下，所有需處理的視頻在錄制過程中難免會受到各種外界因素尤其是自然因素的干擾，導致視頻背景連續(xù)幀之間的不連續(xù)變化，視頻往往具有復雜、多變、動態(tài)的背景，如抖動、陰影等多種非前景目標的噪聲干擾[5-6]。如何剔除各種因其他誤入的噪聲干擾及虛假目標，并快速、高質量、精準有效地從大量視頻中提取出所需的全部真實運動目標是當前國內外民用及軍用視覺監(jiān)控領域研究的熱點和難點之一。近年來,高斯混合模型(Gaussian mixture model，GMM)與小波變換(wavelet transform，WT)是處理抖動視頻前景提取的十分有效的方法。前者能很好地擬合背景顏色信息的變化，后者又能較好地提取圖像的紋理特征，二者的結合互補對抖動視頻的前景提取具有極佳的效果。

針對抖動視頻前景提取所帶來的挑戰(zhàn)，2010年張宗彬[7]研究了一種基于混合高斯模型的運動目標檢測算法，并針對“鬼影”問題和光線突變造成的大面積誤檢問題提出了一種改進算法。2011年蔡念等[1]提出了融合高斯混合模型和小波變換的運動目標檢測方法，利用小波變換提取的圖像紋理信息和高斯混合模型擬合的背景信息，對提取算法進行完善。2016年葛鶴銀等[2]針對抖動視頻提出了一種融合小波變換及自適應SIFT(scale invariant feature transform)算法的運動補償方案，應用Mallat小波提取圖像紋理信息，將亮度信息與紋理信息進行線性組合來檢測和提取運動目標。2018年吳玉香等[8]公開了一種融合高斯混合模型和H-S光流法的視頻前景目標提取方法，對原始圖像先進行混合高斯模型和H-S光流法處理再進行小波變換與濾波去噪。

考慮到小波變換和高斯混合模型的穩(wěn)定的提取效果，該文進一步探索研究更快速、更高效地提取抖動視頻前景的方法。對于抖動視頻的移動性，該文采用在線仿射變換[9]進行去抖動，糾正圖片的姿態(tài)，將抖動的背景變?yōu)橄鄬潭ǖ谋尘?。但仿射變換會帶來隨機噪聲點問題，為去除隨機噪聲點，對在線混合高斯模型(OMoGMF)提取后的前景圖像采用傳統(tǒng)方法和小波變換方法進行去噪，發(fā)現小波變換相關性去噪法[10]在去噪的同時可以有效提取并保留圖片紋理信息(如圖1所示)，進而提出了融入小波變換的在線校準混合高斯模型。但該模型會遇到在線校準“學習準確度”不高和小波去噪不徹底的問題，因此進一步改進，建立了一個前景提取的自適應校準模型。

在每完成一次校準和去噪的迭代后，計算圖像的F值，當下一次迭代得到的F值比本次更小時，將停止迭代。處理之后，采用在線混合高斯模型來提取前景得到最終結果。

圖1 不同方法去噪效果對比

該文的主要貢獻在于綜合地運用仿射變換、小波變換、在線混合高斯模型，設計出一套針對抖動視頻能夠合理、顯著地提取前景的自適應循環(huán)算法體系，獲得了較為理想的實驗結果。

1 在線混合高斯模型

1.1 混合高斯模型

對智能視頻監(jiān)控來說，攝像機處于靜止情況。假設視頻圖像中背景像素點的特征在一段時間內變化不大，則可以認為在這一段時間內，背景像素點服從高斯分布。但是在實際情況中，存在樹枝晃動、水波等干擾，背景像素點會呈現出雙峰或者多峰的現象，因此必須采用多個高斯分布的混合方式來描述背景像素點的特征，以降低干擾[11]。

對于輸入視頻流，可理解為一個3維數據X∈Rw×h×t，其中w，h代表視頻幀的長，寬，t代表視頻幀的幀數。為方便處理，采取如下方法將視頻流轉化為一個矩陣：對于視頻的每一幀，將它的每一列首尾相連，組成一個列向量，然后把每一個列向量按行排列組成一個矩陣，即視頻流X∈R(w×h)×t。

在低秩矩陣分解(LRMF)中，對輸入陣X每一個元素xij(i=1,2,…,w×h,j=1,2,…,t)可以建立如下模型：

xij=(ui)Tvj+εij

(1)

其中，UTV是低秩子空間，ui和vi分別為U和V的第i列向量，εij表示xij中的噪聲。已知足夠多的高斯分布之和可以以任意精度擬合任意連續(xù)分布。因此對于分布未知的噪聲εij，可以通過多個高斯分布的混合來擬合它。假設噪聲εij采樣于一個混合高斯模型p(ε)：

(2)

(3)

觀測到X的概率為觀測到X的每個元素概率之積：

p(X|U,V,Π,Σ)=Πp(xij|(ui)Tvj,Π,Σ)=

(4)

這樣一來就得到了觀測X的概率表達式，然后選擇最優(yōu)的參數U,V,Π,Σ使得X出現的概率最大，即如下的極大似然估計法。

(5)

1.2 在線混合高斯模型

假設式(1)中每一幀xt上都有一個獨立的MoG噪聲分布，可以由MAP(最大后驗)估計推導出OMoGMF的模型。于是得到：

(6)

(7)

對于背景子空間，可以很容易地為其每一行向量設置高斯分布的先驗如下：

(8)

maxLt(Π,Σ,v,U)=-lnp(xt|Π,Σ,v,U)+

(9)

2 融入小波變換的在線校準混合高斯模型

在現實生活中，監(jiān)控攝像頭由于設備老化、外在干擾等因素不可避免地會發(fā)生晃動或偏移，此時視頻也會發(fā)生短暫的抖動現象，一些旋轉平移可能導致像素點的位置發(fā)生較大的移動。由于在很多情況下視頻的抖動是隨機的，無法通過將一個統(tǒng)一的仿射變換算子作用在視頻流X上來完成對整個視頻的校準，因此該文選用了在線更新的算法來對視頻進行逐幀校準。

2.1 在線校準的混合高斯模型

2.1.1 嵌入變換算子

假設選用的變換算子為τ，在視頻的第一幀xt將τ設定為一個初始值，隨后對于視頻的每一幀觀測到當前幀xt的對數似然，利用變換算子來對當前幀進行校準，與此同時，還要根據當前幀的偏移情況來更新變換算子τ，即要在整個視頻流中動態(tài)地學習變換算子，而不是對于每一幀都選用一個恒定的算子。這種處理方式不需要借助太多的先驗知識來建模攝像機的抖動軌跡，而是能夠自適應地學習到一系列用于校準的變換算子。

對于視頻分解的每一幀新圖像xt，在當前子空間U的基礎上得到相應的變換算子τ。定義MoG的噪聲為：

(10)

其中，ε'=xt°τ-Uv，xt°τ表示對當前幀的校準。對此，可以構建最優(yōu)化目標函數：

maxL(Π,Σ,v,U,τ)=-lnp(xt°τ|Π,Σ,v,U)+

(11)

解決此問題的關鍵在于得到更新τ的方程，由于xt°τ是一個非線性的幾何變換，所以重新定義了最優(yōu)化目標函數，如式(12)所示，J是反映變換算子τ的雅可比矩陣。

maxL(Π,Σ,v,U,Δτ)=-lnp(xt°τ+JΔτ|Π,Σ,

(12)

該方法采用局部線性逼近法對原始非線性變換進行迭代逼近。利用以下公式更新v,τ。

(13)

(14)

其中,T=[U,-J]。在得到Δτ后，更新變換算子τ，最后使用與混合高斯模型相同的方法更新子空間U。

2.1.2 在線EM算法求解

初始化：{Π,Σ}={Πt-1,Σt-1},v,τ。

1.執(zhí)行以下步驟直至目標函數收斂。

3.執(zhí)行以下步驟直至收斂：

5.在線M-step：

(2)通過式(14)計算參數{v,Δτ}。

6.執(zhí)行結束后更新變換算子τ=τ+Δτ。

10.結束。

2.2 融入小波去噪的自適應提取

由于視頻成像的顆粒性質，圖像的噪聲是客觀存在的。尤其針對來源于生活的監(jiān)控視頻，由于攝像頭的抖動、背景的變化等都不可避免地會污染視頻、帶來噪聲，因此在對信號做進一步分析之前，需要進行去噪處理，將有效的信號提取出來。

傳統(tǒng)的去噪方法主要包括線性濾波方法或平均方法，而具有“數字顯微鏡”之稱的小波變換具有良好的時頻特性，從而為其在信號降噪中的應用提供了廣闊的前景，開辟了用非線性方法除噪的先河[14]。小波去噪的方法大致可以分為三大類：模極大值去噪法[15]、相關性去噪法、閾值去噪法[16]。小波系數相關性去噪方法效果穩(wěn)定，且在分析邊緣方面有優(yōu)勢，計算量在三種方法中位于中等，因此針對隨機抖動的監(jiān)控視頻所帶來的隨機噪聲，該文采取相關性去噪法進行噪聲消除。

根據上面的分析，采用在線校準的混合高斯模型可以提取出抖動視頻中的前景目標，但是實驗結果表明仿射變換雖然能糾正圖片的姿態(tài)，但同時會產生很多隨機的噪聲點，導致提取效果并不理想。一幀圖片的信息大致可分為亮度信息和紋理信息，在線混合高斯模型能很好地擬合背景顏色信息的變化，小波變換能較好地提取圖像的紋理特征，而紋理特征反映了圖像的區(qū)域局部信息，通常區(qū)域空間結構信息可以消除噪聲及亮度變化影響[2]。并且小波變換對隨機噪聲具有較強的適應性，因而該文在上述模型的基礎上加以改進，融入相關性小波去噪，實驗結果發(fā)現提取效果得到明顯改進，如圖2所示。

圖2 不同提取方法對比

該文進一步分析，由于仿射變換是一個在線學習的過程，不可避免地會遇到“學習準確度”不高的問題，同時一次小波去噪也基本無法將噪聲全部去除，因此將算法進一步改進，提出自適應提取的迭代模型，對每一幀圖像在線校準和小波去噪后引入評價指標，定量判斷提取的效果。算法流程如圖3所示。

圖3 算法流程

該文對仿射變換后的每幀圖片都運用小波相關性去噪法進行去噪，這樣既能保存原來圖片的紋理，又能有效地去除噪聲點。實驗結果表明，小波去噪之后前景得到了明顯的改善。同時考慮到在線校準和小波去噪的次數不同結果可能會產生較大的差異，建立了一個前景提取的自適應模型。

在每完成一次校準和去噪的迭代后，判斷圖像的F值，理論上來說在線校準會引入新的隨機噪聲，而當噪聲去除到一定程度時，圖像的紋理信息也會遭到破壞，因此迭代次數不是越多越好。當第i+1次迭代得到的F值比第i次更小時，停止對圖片的校準和去噪。根據實驗結果，該文得到的迭代次數一般以兩到三次為優(yōu)。接著再運用在線混合高斯模型提取得到最終的前景結果。

3 實驗結果及分析

為驗證文中算法，采用Matlab R2016a編寫相關算法，采用標準視頻監(jiān)控數據庫里的兩段視頻(http:

//cvlab.epfl.ch)對算法進行了驗證，運行環(huán)境為Win10，Intel(R)Core(TM)i7-6500U CPU @2.50 GHz，8 GB內存。這兩段視頻分別含有單目標和多目標的前景，且都出現了攝像頭抖動的情況。

3.1 實驗參數設置

圖4 σ對結果的影響

表1 σ對結果的影響

從圖4中可以看出當σ過小時會導致算法錯誤地將一些噪聲點識別為前景，而當σ過大時則會使提取的前景產生較大的失真。從表1中可以得到，σ取6時各項評價指標均達到最優(yōu)。在實際應用中，綜合考慮噪聲的抑制和前景提取的品質，σ取5～10為宜。

3.2 實驗結果

綜合以上實驗參數的分析，采用混合高斯模型和文中算法對單目標和多目標的抖動視頻進行前景提取的實驗，結果如圖5所示。

圖5 實驗結果

從圖5可以看出，針對單目標視頻雖然混合高斯模型可以提取一定前景，但輪廓不明顯。而文中算法經過三次自適應迭代之后所提取出的前景與之相比有了較為明顯的改善，輪廓清晰、無多余噪聲點。由于視頻發(fā)生抖動時背景變化較大，通過仿射變換將圖片“校正”會帶來一定誤差，顯然在線高斯混合模型更能適應這種誤差。同時由于小波變換能夠有效地提取圖片的紋理信息，并且對隨機噪聲具有較強的適應性，這樣在消除噪聲的同時能盡量保存圖片的輪廓，最終獲得比較完整的前景目標。

針對多目標視頻，混合高斯模型已無法正確地分辨噪聲點和前景點，該算法顯然效果更好。同時觀察結果可知二次迭代的效果明顯優(yōu)于三次迭代，原因是去噪次數過多會在一定程度上破壞前景目標的紋理信息，因此該文提出的前景提取自適應模型是有必要的。

最后，采用IEEE change detection workshop(CDW)評價檢測標準來定量地進行客觀評價分析，定義TP為提取到的正確目標點數，FP為錯誤目標點數，TN為正確背景點數，FN為錯誤背景點數。評價內容包括：

Precision=TP/(TP+FP)

Re(Recall)=TP/(TP+FN)

FPR(False Positive Rate)=FP/(FP+TN)

FNR(False Negative Rate)=FN/(TP+FN)

PWC(Percentage of Wrong Classifications)=100×(FN+FP)/(TP+FN+FP+TN)

F-Measure=(2×Precision×Recall)/(Precision+Recall)

對實驗采用的兩段視頻分別統(tǒng)計上述參數，結果如表2所示。

表2 評價參數比較

針對第一段視頻(單目標提取)，在進行三次迭代之后，文中算法的六個統(tǒng)計參數除了FPR系數比混合高斯得到的結果稍大，其余參數如錯誤率、正確檢測率和精度等都要優(yōu)于經典算法。針對第二段視頻(多目標提取)，在經過兩次迭代之后得到的六個參數都明顯優(yōu)于經典算法。由此可見，該模型具有較強的先進性，故采用文中算法對抖動視頻的前景提取具有良好的效果。

4 結束語

針對抖動視頻的前景提取問題，提出了一種基于小波變換和在線混合高斯模型的提取方案。采用文中算法體系對抖動視頻進行校正，利用在線學習的混合高斯模型進行目標提取。同時，融入自適應的在線校準和小波變換去噪，可以有效去除抖動和校正過程產生的隨機噪聲并減少計算量，在小波變換和在線混合高斯模型處理方法的基礎上進一步提高了前景提取目標的精度與算法的魯棒性。