基于幀間差分與背景消減的視頻摘要算法研究

辛 浩，李玲玲（淮北職業(yè)技術學院 計算機系，安徽 淮北 235000）

基于幀間差分與背景消減的視頻摘要算法研究

辛 浩，李玲玲
（淮北職業(yè)技術學院 計算機系，安徽 淮北 235000）

為克服幀間差分法只適合于幀像素變化較大的視頻檢測及背景消減法只適合于固定背景模型的視頻檢測的缺點，提出一種新的基于幀間差分與背景消減的視頻摘要算法，這種算法首先對前后兩幀的幀圖像像素進行檢測，若無顯著運動對象，則繼續(xù)進行背景模型對比檢測.實驗結果表明，該算法能夠快速、精準地對運動顯著及不顯著的視頻進行摘要提取，濃縮事件精華，較高地還原視頻關鍵信息內(nèi)容.

視頻摘要；運動檢測；幀間差分；背景消減

0 引言

近年來，隨著多媒體技術的發(fā)展，人們越來越認識到視頻摘要和檢索在多媒體內(nèi)容處理的重要性，尤其是在長時間的監(jiān)控視頻方面能夠發(fā)揮重要作用，視頻摘要［1］技術涉及多種學科領域，包括通信、視頻處理、心理感知、模式識別科學等，國內(nèi)外許多學者和實驗室開始研究自動、半自動的摘要視頻生成方法.因此，在理論上有很大的研究意義，在實際應用上也有廣闊的應用前景，已成為國內(nèi)外研究的熱門話題［2］. 目前，已有的視頻摘要技術算法有很多，Acha［3］提出使用均值濾波的方式設計視頻摘要框架；Vu［4］提出視頻場景模型分割的方法.之后人們又先后提出基于光流信息的視頻摘要算法、基于聚類的視頻摘要算法等.這些算法應用到具體的智能視頻監(jiān)控中至今還不能滿足所有需求［5］.因此，從海量的視頻信息里快速有效地提取可靠信息仍是人們迫切需要解決的問題.

1 常用運動目標檢測方法

視頻摘要中的一個重要研究內(nèi)容就是運動目標的檢測方法，其效果不僅關系到摘要算法的精確度，也為運動物體運動軌跡的追蹤及后期的運動軌跡場景的還原起到?jīng)Q定性的作用.運動目標檢測法有很多種，常用的有幀間差分法、背景消減法［6］等.

1.1 幀間差分法

幀間差分法［7］就是靠檢測幀與幀之間的差別來進行運動檢測的方法.其基本原理［8］是把時間段分成若干幀，每幀都有對應的圖像序列，通過直接比較前后相鄰的幀所對應的序列圖像的像素點有無變化來確定有沒有運動的目標.假設幀為ft,t∈(1,2,…,T)，σ為閾值，當ft-ft-1≥σ時，則表示幀間像素點變化較大，幀間有運動目標的產(chǎn)生.幀被標記為新的關鍵幀保存下來.當ft-ft-1≤σ時，則表示幀間像素點變化較小，幀間沒有運動目標的產(chǎn)生，此幀被當作無用幀丟棄.

此算法中σ的取值起到關鍵性的作用［9］.在同一光線背景下，σ的值過大會造成只能檢測大幅度的運動目標，而忽略精細運動的檢測；σ的取值過小，又會造成無法去除圖像中的干擾噪聲，使得檢測結果不準確.如果在背景光線復雜的情況下，閾值σ的選取可以設定為局部閾值與全局閾值，這是因為背景的光照強度相差太大，攝像頭所處環(huán)境不同，為了能夠更好地確定噪音的范圍，提高運動目標的精確度而選擇設定的.

幀間差分法是視頻摘要技術中常用的運動目標檢測法，其優(yōu)點是實現(xiàn)起來簡單方便，缺點是使用幀間差分法并不能精確完整地檢測出運動目標.σ的選取對于檢測結果的影響太大，對于細小的緩慢的運動很難判斷出運動區(qū)域，而大范圍的運動又很難做到精細；光照強度因素影響也較大，因而使用同一個σ值是不可取的［10］.

1.2 背景消減法

背景消減法的使用是建立在背景對比思想上的.其原理是把當前幀的圖像與設定的背景模型對比，如果當前幀的圖像與背景對比小于設定閾值τ，則認為當前幀的圖像與設定的背景參考模型基本吻合，則該幀無運動對象.如果當前幀的圖像與設定的背景參考模型比較變化較大，則認為有運動對象的出現(xiàn)［11］.

背景環(huán)境變化較小的視頻監(jiān)控適合于使用背景消減法提取運動軌跡［12］，所以，對于攝像頭固定不變的視頻尤其適用背景消減法.但是當攝像頭能轉(zhuǎn)動或多個攝像頭采集的多種背景視頻就不適合于使用背景消減法.

2 基于幀間差分與背景消減的視頻摘要算法

幀間差分法實現(xiàn)簡單，適合于幀圖像像素變化較大的視頻檢索，但是誤差較大；背景消減法適用背景模型相對固定的場景，不適合對背景變化較大的視頻檢索，所以，根據(jù)視頻監(jiān)控的實際需求，把幀間差分法與背景消減法相結合，提出一種新的基于幀間差分與背景消減的視頻摘要算法.

2.1 算法思想

基于幀間差分與背景消減的視頻摘要算法是把經(jīng)典的幀間差分檢測法與背景消減檢測法相結合.其基本思想是：設t時刻所對應的幀圖像為fp(t)，則上一時刻所對應的幀圖像為fp(t-1)，首先直接比較fp(t)與fp(t-1)的像素點差值，若fp(t)-fp(t-1)≥σ，可以認為該時刻有運動目標引起圖像像素點變化，則把此刻幀標注為關鍵幀；否則認為前后兩幀的像素點變化極小，需要進行背景消減判斷.設t時刻所對應的背景參考模型為fn(t)，若fp(t)-fn(t)≥τ，可以認為當前時刻的圖像與背景參考模型有一定的差別，因而有運動對象的產(chǎn)生，則標注關鍵幀，更新背景參考模型.

其中，σ與τ為設定的閾值，σ與τ的選擇關系到視頻摘要算法的精確度，σ與τ的取值過高會使得算法對于場景的細小變化難以捕捉，降低算法的靈敏度；但是σ與τ過低，又會使算法難以消除噪聲的干擾，降低算法的精確度.

2.2 算法描述

（1）直接比較前后相鄰的幀所對應的序列圖像的像素點，假設t時刻對應的幀圖像為fp(t),t∈(1,2,…,T)，σ為閾值，計算fp(t)-fp(t-1)

（2）if（fp(t)-fp(t-1)≥σ）

｛使用fp(x,y,t,t-1)=1標注關鍵幀列入序列；用count對已經(jīng)標注的關鍵幀序列進行統(tǒng)計計數(shù)；對統(tǒng)計標注好的關鍵幀序列用冒泡排序法標明下標；對統(tǒng)計好的關鍵幀重新排序及幀視頻更新｝

（3）else if（fp(t)-fn(t)≥τ）

｛使用fp(x,y,t,t-1)=1標注關鍵幀列入序列；統(tǒng)計計數(shù)并對關鍵幀序列用冒泡排序法標明下標；對統(tǒng)計好的關鍵幀重新排序及幀視頻更新；用fn(t)=fp(t)更新背景參考模型｝

（4）else

檢測是否達到視頻最后一幀，若不是最后一幀，則t=t+1，重新進入幀像素的檢測.

2.3 算法流程圖

基于幀間差分與背景消減的視頻摘要算法通過幀圖像的檢測，進行標注顯著運動幀，通過背景檢測進行不顯著運動幀的標注，具體算法流程如圖1所示.

圖1 算法流程

3 實驗結果與分析

為了驗證基于幀間差分與背景消減的視頻摘要算法的有效性，在Vc++的研發(fā)環(huán)境下，使用該算法開發(fā)了“基于幀間差分與背景差分的視頻摘要系統(tǒng)”軟件，該軟件的界面如圖2所示.

圖2 視頻檢索軟件界面

3.1 實驗方法

使用一臺PC，使用已經(jīng)開發(fā)的“基于幀間差分與背景消減的視頻摘要算法”的系統(tǒng)軟件對一段使用手機拍攝的背景有微弱變化的51 s的源監(jiān)控視頻進行視頻摘要，該源視頻中的運動對象處于較弱的光線下，且源視頻中的運動對象前期的運動較微弱不顯著，后期有明顯的走動過程，即運動顯著.具體實驗步驟為：

（1）首先點擊“加載視頻”按鈕導入視頻，然后選擇源視頻文件，對源視頻進行摘要檢索，在打開的對話框中選擇運動方法為“二者結合”，如圖3所示.

圖3 視頻摘要設置

（2）點擊確定，系統(tǒng)軟件會自動對所加載視頻進行“幀間差分與背景消減的視頻摘要算法”的視頻摘要檢測.

（3）導出摘要視頻，另存為“video（摘要視頻）.avi”

（4）比較源視頻與摘要視頻，如圖4和圖5所示.

圖4 源視頻文件

圖5 摘要視頻文件

3.2 實驗結果分析

比較圖4和圖5發(fā)現(xiàn)，源視頻總時間段為51 s，摘要后總時間為29 s；源視頻中1～13 s、27～35 s無運動對象，摘要視頻中一直有運動對象.比較源視頻內(nèi)容與摘要視頻內(nèi)容，發(fā)現(xiàn)摘要視頻是把源視頻的1～13 s和27～35 s認為無運動對象，自動剔除；而對源視頻中的14～26 s和36～51 s的視頻內(nèi)容自動檢測認為有較明顯的運動對象存在，標注關鍵幀進行摘要提取，重新整合為有效的摘要視頻，具體數(shù)據(jù)如表1所示.

表1 源視頻與摘要視頻數(shù)據(jù)

該實驗驗證了基于幀間差分與背景消減的視頻摘要算法的有效性，能夠在背景模型晃動及較暗的外界光線的干擾因素影響下，精確地對視頻中不顯著運動對象自動檢測，而后進行摘要提取，剔除無價值的信息，濃縮精華，高度地還原了視頻的有效價值.

4 結束語

本文提出的基于幀間差分與背景消減的視頻摘要算法，克服了傳統(tǒng)運動對象檢測算法的缺點，在不受外界光線的影響下，既能夠檢測運動物體顯著的場景，也能檢測微弱運動變化的場景，標注出關鍵幀，再對關鍵幀進行排序整合成有效的摘要視頻，高精度地還原了源視頻的有效信息.

［1］岳周龍.基于多目標跟蹤的監(jiān)控視頻摘要系統(tǒng)［D］.合肥：合肥工業(yè)大學，2016.

［2］楊建全，梁華，王成友.視頻監(jiān)控技術的發(fā)展與現(xiàn)狀［J］.現(xiàn)代電子技術，2006,29（21）：84-88.

［3］ACHA R，PRITCH Y，PELEG S.Making a long video short：dynamic video synopsis［C］//2006 IEEE Computer Society Con?ference on Computer Vision and Pattern Recognition v1，New York，2006：435-441.

［4］VU V，BREMOND F，THONNAT M.Automatic video interpretation：a recognition algorithm for temporal scenarios based on pre-compiled scenario models［C］//Proceeding of International Conference on Computer Vision Systems，2003.

［5］BOIMAN O，IRANI M.Detecting irregularities in images and in video［C］//ICCV，Beijing，2005.

［6］解曉萌.復雜背景下運動目標檢測和識別關鍵技術研究［D］.廣州：華南理工大學，2012.

［7］屈晶晶，辛云宏.連續(xù)幀間差分與背景差分相融合的運動目標檢測方法［J］.光子學報，2014，43（7）：213-220.

［8］祝曉斌.面向智能視頻監(jiān)控的異常檢測與摘要技術［M］.北京：知識產(chǎn)權出版社，2015：126-129.

［9］汪國強，蓋琪琳，于懷勇，等.基于背景差分法的視頻目標檢測算法研究［J］.黑龍江大學工程學報，2014（4）：64-67.

［10］朱志輝.基于視頻摘要生成技術的研究［J］.微電子學與計算機，2006，23（2）：76-78.

［11］代科學，李國輝，涂丹，等.監(jiān)控視頻運動目標檢測減背景技術的研究現(xiàn)狀和展望［J］.中國圖象圖形學報，2006，11 （7）：919-922.

［12］張小建，徐慧.基于視頻處理的運動車輛檢測算法的研究［J］.液晶與顯示，2012，27（1）：108-112.

A New Video Summarization Algorithm Based on Frame Difference and Background Subtraction Methods

XIN Hao，LI Lingling
（Department of Computing，Huaibei Vocational and Technical College，235000，Huaibei，Anhui，China）

Traditionally,frame difference method is only suitable to detect videos with huge difference between the pixels of frames while background subtraction method can only be used to detect videos with fixed back?grounds.To address such issues，in this work，a new video summarization algorithm combining both frame dif?ference method and background subtraction method is proposed.First，when detecting the videos，the pixels of two adjacent frames will be detected.If no moving object is detected，background models will be further compared and detected.Experiments show that this new algorithm has good performance to summarize both moving and stationary videos.It can not only fast but also accurately extract the key information of the detect?ed videos.

video summarization；motion detection；frame difference；background subtraction

TP 391.4

A

2095-0691（2017）02-0064-05

2017-03-30

安徽省淮北市科技攻關計劃項目（20140209）；安徽省自然科學研究重點項目（KJ2016A653）

辛 浩（1982— ），男，安徽淮北人，講師，研究方向：計算機軟件開發(fā)及應用.