幀間差分法在視頻監(jiān)控中的應用研究

李 亮，羅 毅

(四川理工學院自動化與電子信息學院，四川 自貢 643000)

引言

隨著社會的發(fā)展，視頻監(jiān)控得到了長足的發(fā)展和應用，越來越多的場合需要得到記錄和監(jiān)控，人工視頻監(jiān)控仍然是大部分場合采用的監(jiān)控手段。但是，人工視頻監(jiān)控存在很多不足［1-2］，不僅不能全天候監(jiān)控采集的視頻，而且不適應工業(yè)智能自動化的發(fā)展和趨勢。因而，在這種視頻監(jiān)控的需求下，對智能視頻監(jiān)控提出了一種可行性方案，對采集到的視頻數據進行幀間差分處理，確定差分閾值后自動對視頻分析計算，記錄發(fā)生變化的場景，實現視頻處理、智能監(jiān)控的要求。采用幀間差分的視頻監(jiān)控可以在無人值守的情況下，實現對監(jiān)控區(qū)域實現全天候監(jiān)控。不僅代替人工實現重復勞動，而且是實現智能監(jiān)控的技術基礎。

視頻監(jiān)控主要用于安全監(jiān)控場合［3-4］，因而對監(jiān)控的穩(wěn)定性和準確性要有較高的要求。例如，銀行自動取款機的安全監(jiān)控、學校辦公等設備的監(jiān)控以及其他以信息獲取判斷為主的場合。其次，視頻監(jiān)控的智能化也是視頻監(jiān)控的重要趨勢。人工視頻監(jiān)控不能做到時時刻刻對視頻及時反應，而智能化視頻監(jiān)控即使是在沒有人工監(jiān)控的情況下，也可以自動對采集到的數據進行視頻幀間差分，對每一幀圖像進行處理，對幀間的差值與設定的閾值比較，得到變化的圖像，確定是否需要響應。

1 視頻監(jiān)控檢測方案

1.1 視頻的采集

視頻監(jiān)控在正常情況下(即無外來物體入侵)，采集到的畫面只會因為光照強度的改變，圖像灰度發(fā)生微小變化;而灰度變化較大時，說明有外來物體入侵。

1.2 視頻的預處理

預處理過程目前通常是圖像去噪和圖像增強，前者用于一些由于攝像頭本身屬性變化而導致監(jiān)控視頻不清晰的情形，后者用于增強圖像凸出處理效果。但預處理部分的有無，可以參照采集環(huán)境和要求。在通常的監(jiān)控情況下，由于設定的優(yōu)化閾值，大部分由于攝像頭自身引起的噪聲可以直接被閾值過濾，這就省略處理環(huán)節(jié)，減少處理數據、加快運算速度，圖像增強可根據具體監(jiān)控環(huán)境。當然，在苛刻情況下，預處理為接下來的視頻處理環(huán)節(jié)提供一定的方便。

1.3 視頻的處理和運算

視頻檢測方法［5-6］分為背景差分法、光流法以及幀間差分法。背景差分是根據隨時間的變化采集到不同圖像、不同場景中目標變化的一種檢測方法，因此背景差分檢測的精確性和穩(wěn)定性就會隨場景和時間發(fā)生變化。但是從實際應用角度而言，變化的場景在不同時間條件下去檢測目標運動情況，最后都會造成檢測結果的不同。光流法則是針對不同時間，檢測出目標運動的趨向和速度。但正是對于速度的敏感，導致其在靜止攝像機作為監(jiān)控方式時，仍然需要和其他檢測方法結合來實現監(jiān)控的目的。作為本文視頻處理的主要核心部分，建立在幀間差分法基礎上進行改進，對視頻處理提出了階段性處理過程策略。幀間差分，即對采集到的視頻每一幀進行差值運算，這符合人腦慣性思維。雖然說視頻中的信息都是判斷的依據，但實際上監(jiān)控所用到的是變化的部分。

當前，幀間差分在視頻監(jiān)控中存在3方面問題:第一，幀間差分是利用視頻圖像之間差值進行處理運算和判斷的，因此視頻檢測處理間隔是算法的關鍵［7-9］。如果算法間隔沒有考慮，監(jiān)控信息的速率變化會導致漏警情形。同理，對于固定背景下長時間無有效信息的監(jiān)控，每一幀處理不僅浪費計算機性能、時間，而且延遲有效信息的獲取;第二，幀間差分在目標提取領域［10-12］可以采用三幀差分、三幀差分和邊緣檢測、幀間差分和混合高斯融合等算法，但可以通過幀間差分得到圖像幀的變化，在圖形幾何上簡單提取出變化的區(qū)域。這樣的邊緣提取不失為一種處理方案，節(jié)省復雜算法下的計算時間和成本;第三，對于監(jiān)控視頻沒有做到區(qū)域劃分，可以根據具體要求確定監(jiān)控畫面的劃分，進而決策監(jiān)控畫面區(qū)域重要級別。

2 對幀間差分法的改進

本文對幀間差分法進行了一定的改進，首先進行每一幀監(jiān)控圖像差分時，采取緩存策略。在圖像灰度的變化小于設定的第一閾值時，就對當前的背景進行更新。

其中，m(k+1).c表示當前時刻需處理的監(jiān)控視頻信息，m(k).c表示上一次背景更新過后的視頻信息，r(obj，k+1)表示讀取當前時刻監(jiān)控視頻信息，dif表示當前時刻監(jiān)控視頻幀的灰度值，th1是設定的第一閾值。

當對固定背景進行監(jiān)控時，由于短時間光照不變或者無人環(huán)境下，視頻監(jiān)控和采集到的畫面是固定的，背景更新策略價值不大。因此，背景更新策略適用于復雜環(huán)境下動態(tài)視頻監(jiān)控范疇。這里采取背景緩存，只是對當前幀的一種更新策略，也可以作為監(jiān)控視頻保留的一個基準，只需要保留監(jiān)控檢測到有圖像發(fā)生變化的時間片段。由于作為物體入侵判斷依據重要因素，th1背景更新的閾值可以采用經驗數值或者試湊法?？紤]到干擾信息和監(jiān)控信息的并存，在多次測試之后th1初步設定為125。閾值的設定在隨后的測試中會不斷修正，以滿足監(jiān)控視頻處理的實際需求。視頻監(jiān)控進行截取劃分，既可以節(jié)約存儲空間，也可以在查詢監(jiān)控時快速準確地定位響應事件。同時，視覺暫留現象也說明監(jiān)控視頻的處理速度應該以接受程度為主，人眼的反應速度是二十四分之一秒。如果一個視頻是30 FPS(Frame Per Second)，這里幀作為最基本的處理單位也是監(jiān)控檢測的間隔，那么可以設置處理間隔為15幀。視頻處理后的結果是一幀幀的圖片，或者做成檢測出異常圖片的簡短視頻。這樣很大程度上節(jié)約了存儲空間，也方便人員查看異常情況。

其中，pr是監(jiān)控視頻處理的間隔幀，obj.FR是監(jiān)控視頻的采集速率。

其次，視頻監(jiān)控的間隔也可以用幀進行劃分，圖像差分時采取緩沖策略，采集到的數據并不需要立刻處理，而是等待上一個運算周期結束后，再進行當前數據處理。由于計算機處理速度有限，并且在實驗環(huán)境Matlab 2012B經過測試得出，每一次處理間隔平均不到2秒鐘。因此初始間隔幀數設定不應過小，為避免不必要的浪費，可以初步設定處理間隔為10幀。同時在后續(xù)處理中采用動態(tài)處理間隔，在監(jiān)控區(qū)域畫面變化快的時候減小處理間隔，變化慢的時候增大處理間隔。達到不遺漏物體入侵的同時，減少處理監(jiān)控數據量。涉及到計算機對于幀間圖像差分的運算，實際上沒有必要做到每一幀都進行運算。這里設定的閾值可以和檢測到的圖像幀數相關聯，按照監(jiān)控攝像機的參數可以確定每秒幀數，這樣把時間變量轉換成幀數變量。不僅不用引入時間變量作為額外參數，還可以同步減少圖像差分計算量。

其中，cme是當前處理結果，作為視頻異常的判斷標準;G(k+1)是當前差分處理后大于設定閾值畫面輸出的變化結果，因為cme作為臨時寄存功能會隨著數據處理而變化，所以在輸出變化圖像時只需要輸出G(k+1);th2是設定的第二閾值判斷幀間差分數值，在當前實驗中設定為180。數值可根據實驗后的效果進行調整。

視頻監(jiān)控中目標的運動速度值得考慮，若物體很短的時間就從監(jiān)控區(qū)域離開，則視為偶然經過的飛行物體，因而沒有監(jiān)控的必要;若監(jiān)控目標在監(jiān)控區(qū)域有一定的停留時間，但停留時間內圖像變化小于設定的第二閾值，則判斷為無物體入侵，反之判斷有物體入侵監(jiān)控區(qū)域。這里，式(2)中i可以作為監(jiān)控視頻處理速度的智能選擇，可以按照式(6)的背景變化速率選擇處理速度。

其中，式(5)表示當前差分處理后畫面灰度大于閾值和前一次差分處理后畫面灰度大于閾值共同決定的布爾運算，G(k+1)＞th2表示當前差分處理后畫面區(qū)域像素灰度大于設定閾值情況，1表示有，0表示沒有。其后的＆＆是邏輯與，當第一項為0，a直接為0。只有當第一項為1時，才計算第二項。a是根據監(jiān)控視頻設定處理間隔，對于相鄰兩次處理的結果，a=1說明相鄰兩幀變化都超過設定閾值，因此將處理間隔減小，以免出現漏警。a≠1說明至少有一次處理結果沒有超過設定的閾值，視為偶然事件，將處理間隔增加。為了避免出現數學錯誤，式中 i-0.2 取值范圍［0.3，0.5］;i+0.1 取值范圍［0.6，1.0］。

物體入侵可以從兩方面入手，第一是目標停留在監(jiān)控區(qū)域，第二是目標并沒有在監(jiān)控區(qū)域停留，只需要檢測是否有目標遺留在監(jiān)控區(qū)域或者原先的背景圖像從監(jiān)控區(qū)域中消失;監(jiān)控目標在監(jiān)控區(qū)域停留時間超過閾值即可進行報警等響應動作，進而有人工對該情形做出相應的判斷和動作。雖然視頻幀間差分并不能確定該監(jiān)控場景的實際情況，但可以初步對監(jiān)控視頻進行分析，大幅度減輕人工監(jiān)控的強度。

3 實驗分析

實驗驗證視頻為錄制的一個時間長度為42秒、每秒20幀、每幀為640×480的視頻。設計的處理速率分別是每1幀處理1次、每10幀處理1次、每20幀處理一次。實驗效果分別如圖1～圖3所示。

圖1 隔1幀的幀間差分法檢測視頻異常 ×4

圖2 隔10幀的幀間差分法檢測視頻異常 ×4

圖3 隔20幀的幀間差分法檢測視頻異常 ×4

圖1展示了每隔1幀對監(jiān)控視頻的處理。圖1中，同樣動作的重復不僅耗費大量的時間、沒有簡化監(jiān)控處理的數據量，而且還會造成存儲空間的高占用、延長監(jiān)控視頻處理時間。

圖2展示了每隔10幀對監(jiān)控視頻的處理。比每一幀進行處理有所改善，得出明顯變化的畫面。不僅在監(jiān)控視頻處理時間縮短10倍，而且處理過后的數據可以作為物體入侵判斷依據。但是也看到由于干擾造成誤判的圖像，處理間隔仍需要調整。

圖3視頻監(jiān)控的檢測結果雖然不非常明顯，但是已經可以從視頻840張圖片中提取到5張有用畫面，目標人員的移動和方向均有體現。設定的處理間隔時間是1秒，足以說明之前視頻處理緩存假設的成立。還有7張時間信息變化的圖片一同被檢測出，這是因為在視頻錄制加入了時間軸，部分時間數字變化的灰度差值達到檢測的閾值，因而被檢測出來。

圖4展示了改進的幀間差分法對視頻中異常情形的檢測。在區(qū)域劃分策略下，完全檢測出了監(jiān)控視頻中實際人員移動的畫面，而沒有僅僅是由于時間軸變化引起的虛警。不僅節(jié)約了監(jiān)控視頻的處理時間和存儲空間，而且可以快速查明監(jiān)控視頻中的物體入侵，沒有漏警。由此說明改進的幀間差分法可以用于視頻監(jiān)控中對物體入侵情形的檢測，效果良好。

圖4 改進幀間差分法檢測視頻異常 ×4

幀間差分法對于慢速物體應選取較大的時間間隔，不然會導致如圖1的檢測情形，前后兩幀幾乎是同一個慢動作，檢測效果不理想。視頻處理在沒有動態(tài)間隔的情況下，會出現大量的空余或者漏掉部分有用信息。改進的幀間差分在實際檢測時，沒有檢測出物體初始入侵時使得檢測達到程序設定的間隔，但可根據接下來的慢速入侵物體提取出入侵結果。對于快速物體，根據式(6)的設定，可快速恢復較小檢測間隔，檢測到物體入侵。同時，改進的幀間差分法在區(qū)域劃分基礎上，可以在近1秒時間內完成相鄰兩幀圖像處理，將大于第二閾值的圖像保存并顯示，小于第二閾值則直接開始下一次差分運算。這樣最后顯示的圖片，就是有物體入侵的畫面。初步設定檢測間隔是1秒，檢測及時性得到了保證。

利用Matlab自帶的視頻播放功能，可以對檢測結果進行播放，方便人員的查看。效果如圖5所示。

圖5 改進幀間差值法檢測效果視頻 ×4

這里，為了保持連貫以及人眼可區(qū)分度，設置圖片的顯示速度為1 FPS，對圖片進行循環(huán)播放。另外，通過視頻可操作面板可以暫停當前時刻的圖片播放。動態(tài)的圖片充分說明了監(jiān)控的效果。

4 結束語

本文通過改進的幀間差值作為視頻監(jiān)控處理方法，對視頻的物體入侵進行了檢測，實驗效果明顯。有效地將監(jiān)控視頻中有用信息提取出來，大幅度減輕人工視頻監(jiān)控的強度。視頻監(jiān)控將圖像處理和計算機視覺結合起來，在人們的日常生活生產中將會得到更加廣泛的應用。對于遠程視頻監(jiān)控，可以通過網絡將處理信息結果及時反饋回控制端，對于監(jiān)控區(qū)域是否有物體入侵得出結果，可以有的放矢地第一時間查明聯動警報具體情形。

[1] 李彤.智能視頻監(jiān)控下的多目標跟蹤技術研究[D].合肥:中國科學技術大學,2013.

[2] 沈盼盼.視頻序列中運動對象檢測與跟蹤的研究[D].成都:電子科技大學,2012.

[3] 向建兵.簡陽變電站遠程數字視頻監(jiān)控系統(tǒng)研究[D].重慶:重慶大學,2004.

[4] 袁國武.智能視頻監(jiān)控中的運動目標檢測和跟蹤算法研究[D].昆明:云南大學,2012.

[5] 呂瑞明.變電站智能視頻監(jiān)控系統(tǒng)研究[D].成都:西南交通大學,2008.

[6] 景美麗.無人值守變電站中智能視頻監(jiān)控的技術研究[D].北京:華北電力大學,2012.

[7] 肖敬文,余志,聶佩林,等.基于幾何與顏色特征的公交車輛視頻檢測算[J].中山大學學報:自然科學版,2005,44(S2):152-155.

[8] 劉鑫,劉輝,強振平,等.混合高斯模型和幀間差分相融合的自適應背景模型[J].中國圖象圖形學報,2008,13(4):729-734.

[9] 劉紅,周曉美,張震.一種改進的三幀差分運動目標檢測[J].安徽大學學報:自然科學版,2014,38(6):55-59.

[10] 薛帥,王光霞,郭建忠.一種基于視頻幀間冗余的空間數據隱藏方法[J].信息工程大學學報,2014,15(6):754-757.

[11] 王溢琴,秦振吉,蘆彩林.基于嵌入式的智能家居之視頻監(jiān)控系統(tǒng)設計[J].計算機測量與控制,2015,22(11):3623-3626.

[12] 譚笑,柯澤賢.基于混合高斯和幀間差分的機場跑道入侵檢測[J].計算機仿真,2014,31(11):38-41.